CN106204594A - 一种基于视频图像的弥散性运动物体的方向检测方法 - Google Patents

Abstract

本发明涉及一种基于视频图像的弥散性运动物体的方向检测方法，包括：首先进行视频图像的灰度化处理；提取前景图像；对前景图像进行二值化处理以及形态学滤波；得到合并后的外接矩形区域；对前后两帧中合并后的外接矩形区域的特征点进行跟踪，计算稠密光流，到疑似运动目标的外接矩形区域中每个像素点光流场；对比前后两帧中同一像素点的运动偏移量，剔除运动偏移量小于2的像素点之后，对比保留下来的像素点数占原有像素点的比例，若比例大于60％，则判断矩形区域符合疑似运动区域；得到物体的运动方向。本发明具有快速简便的特点。

Description

一种基于视频图像的弥散性运动物体的方向检测方法

技术领域

本发明涉及计算机视觉领域中的运动目标检测与方向分析，尤其对弥散性运动物体方向检测具有良好的效果。

背景技术

图像运动目标的检测及处理是计算机视觉中的一个重要的研究内容，蕴含着运动物体的整个运动过程的信息所产生的图像序列能为运动目标的检测提供许多丰富的资料，使运动目标的检测成为可能。对于整个计算机视觉学科来说这是一个非常重要且应用范围很广的研究对象。

整个运动目标检测的实现过程是：从摄像头获取图像序列，将其进行平滑去噪、颜色空间转换、图像形态学处理等一系列图像处理，利用图像系列帧所蕴含的信息，运用混合高斯背景建模的方法建立一个背景模型，将图像序列中的每一帧图像都与这个背景图做差分，从而得到差分图像，最后对差分图像进行二值化处理，得到蕴含运动目标信息的二值图像，最终完成运动目标的检测。而运动目标的检测又是运动目标跟踪，分类识别，方向判断等一系列后续处理的基础，运动目标的漏检或误检将造成这些后续处理的准确性。

针对运动目标的检测，国内外的很多学者对此提出了多种方法，目前流行的主要有一下三种：光流法、帧差法和背景减除法。

在有些场合由于需要检测目标的运动方向,判断是进入检测区域或是离开检测区域,因此需要设定警戒线.运动方向的判断一般通过检测目标的运动方向来判断.也就是运用运动估计的思想.根据传统估算方法,需要对图像中的每一个象素进行计算,算出图像每一点的运动场,然后得到整幅图像的运动场,这样算法,计算量相当大,无法实时完成。

发明内容

本发明提出一种计算简单可以快速检测弥散性物体运动方向的方法。本发明的技术方案如下：

一种基于视频图像的弥散性运动物体的方向检测方法，包括下列的步骤：

1)首先进行视频图像的灰度化处理，将彩色图像转化为灰度图像。

2)采用背景建模的方法提取视频图像的前景图像。

3)对前景图像进行二值化处理以及形态学滤波，再通过对滤波后的二值图像进行轮廓的查找，然后将此轮廓存储在一个序列中，根据序列中元素间的距离对轮廓进行拆分从而将轮廓分成几类，最后将相同类型的轮廓类型用外接矩形框出。

4)对于步骤3)中得到每个零散的外接矩形，进行距离的判断，当两外接矩形的距离小于一定值时，则将两外接矩形合并成一个矩形，若合并后的矩形面积小于一定阈值时，即排除该矩形，得到合并后的外接矩形区域。

5)对前后两帧中合并后的外接矩形区域的特征点进行跟踪，计算稠密光流，得到疑似运动目标的外接矩形区域中每个像素点光流场。

6)由步骤5)得到疑似运动目标的外接矩形区域中每个像素点光流场，对比前后两帧中同一像素点的运动偏移量，剔除运动偏移量小于2的像素点之后，对比保留下来的像素点数占原有像素点的比例，若比例大于60％，则判断矩形区域符合疑似运动区域，若小于60％，则排除该矩形区域。

7)对保留下的像素点，计算其平均运动偏移量，即得到该疑似运动区域中的物体前后两帧移动的平均距离，当移动的平均距离小于4个像素点时则排除此疑似运动区域，否则此疑似运动区域，延长其平均移动矢量与矩形交点，即可得到物体的运动方向。

附图说明

附图为使用本发明算法得到的检测结果：

图1为运动区域的提取；

图2为对运动区域进行光流法，并使用平均偏移量和Mean-Shift算法处理后得到的光流场。

图3为运动方向检测的结果图。

具体实施方式

本发明的基于视频图像的弥散性运动物体的方向检测方法，技术方案如下：

1)首先进行图像的灰度化处理，将彩色图像转化为灰度图像。彩色图像的每个像素点拥有R、G、B三个分量，每个分量的取值范围为0到255，因此每个分量拥有1600万(256*256*256)情况。相比之下，灰度图像的R、G、B三个分量的值相同，因而只有256种情况。灰度图形具有图像数据小，处理效率高，降低算法时间的复杂度等特点。

2)利用运动目标检测的方法提取弥散性运动物体的前景图像，本发明采用背景建模的方法提取前景图像。

3)对前景图像进行二值化处理以及形态学滤波，再通过对滤波后的二值图像进行轮廓(该轮廓包围二值化图像)的查找，然后将此轮廓存储在一个序列中，根据序列中元素间的距离对轮廓进行拆分从而将轮廓分成几类，最后将相同类型的轮廓类型用外接矩形框出，即得每个轮廓的外接矩形。此时得到的外接矩形较为离散，由于弥散性运动物体运动较慢，并且运动具有飘动性，通常将一个运动物体分割成多个小矩形。

4)步骤3)中得到每个零散的外接矩形，对每外接矩形进行距离的判断，当两外接矩形的距离小于一定值时，则将两外接矩形合并成一个矩形。对合并后的矩形有一定的面积要求，当矩形面积小于一定阈值时，即排除该矩形。例如，通常所得到的视频包含时间，显示时间字体的跳动也会被检测出来，通过一定的面积设定，则可以排除字体跳动等带来的影响。

5)利用运动目标检测的算法可以得到运动的矩形区域，并对前后两帧中同一矩形区域的特征点进行跟踪，得其运动偏移量，即在所得到的矩形中用calcOpticalFlowFarneback的算法计算稠密光流(即图像上所有像素点的光流都计算出来)，由此得到矩形区域中每个像素点的光流场。

6)有步骤5)得到矩形区域中每个像素点光流场，对比前后两帧中同一像素点的运动偏移量，当该像素点的运动偏移小于2个像素时，则剔除该像素点，若大于2像素点的距离则保留。对比保留下来的像素点数占原有像素点的比例，若比例大于60％，则矩形区域符合疑似运动区域，若小于60％，则排除该矩形区域。

7)对保留下的像素点，计算其平均偏移量，即可得到该矩形区域中的物体前后两帧移动的平均距离。当移动的平均距离小于4个像素点时则排除该矩形区域。延长该平均移动矢量与矩形交点，即可得到该矩形区域中物体的运动方向。

以下结合实施例说明检测弥漫性运动物体方向的具体实施步骤：

1.图像的灰度化

将彩色图像转化成灰度图像的方法有：

a)取RGB分量的平均值

$GRAY=\frac{R+G+B}{3}$

b)取RGB分量中数值最大的值作为灰度值。

GRAY＝Max(R,G,B)

C)对RGB分量取加权平均，得到灰度值。

GRAY＝ω_rR+ω_gG+ω_bB

2.运动前景的提取

方法中运动前景的提取采用背景均值减除法。

假设f_k(i，j)代表视频序列第k帧的灰度值，B_k(i，j)代表视频序列第k帧的灰度值，D_k(i，j)代表差值：

D_k(i，j)＝|f_k(i，j)-B_k(i，j)|

其中，(i,j)代表图像中的坐标位置，对于前景和背景的差值，选定一个合适的阈值T来判断该点是前景还是背景，若该差值大于阈值T，则判断该点为前景像素，否者判定为背景像素点。用R_k(i，j)表示运动区域的像素点，则：

$R_k(i,j)=\left\{\begin{array}{cc}1& D_k(i,j)\&GreaterEqual;T\\ 0& D_k(i,j)<T\end{array}\right.$

背景均值减除法的原理是：比较f_k(i，j)的灰度值和B_k(i，j)的大小，若f_k(i，j)的值大于B_k(i，j)，则更新下一帧的背景模型在该点出的灰度值，即将该像素点的灰度值加1；若f_k(i，j)的值小于B_k(i，j)，则更新下一帧的背景模型在该点出的灰度值，即将该像素点的灰度值减1；若f_k(i，j)的值等于B_k(i，j)，则更新下一帧的背景模型在该点出的灰度值不变。用公式表示为：

$B_{k+1}(i,j)=\left\{\begin{array}{ccc}{B}_k(i,j)+1& if& f_k(i,j)>B_k(i,j)\\ B_k(i,j)-1& if& f_k(i,j)<B_k(i,j)\\ B_k(i,j)& if& f_k(i,j)=B_k(i,j)\end{array}\right.$

上式中，B_k+1(i，j)代表下一帧的背景模型在该像素点出的灰度值，

$B_k(i,j)=\frac{1}{n}\underset{t=0}{\overset{t=n-1}{\mathrm{\&Sigma;}}}{f}_{k-t-1}(i,j)$

3.对运动像素进行连通域提取

通过对得到的运动前景进行形态学滤波，去除一些小的干扰。再使用膨胀算法，使紧邻的区域融合在一起。最后利用freeman链码的方式描述检测出的各个前景区域的轮廓。

4.运动区域的分类与合并

由于各种因素的影响，一个运动物体往往被分成几块，这就需要对这些区域进行合并。对前景图像进行二值化，再通过对滤波后的二值图像进行轮廓(该轮廓包围二值化图像)的查找，然后将此轮廓存储在一个序列中，根据序列中元素间的距离对轮廓进行拆分从而将轮廓分成几类，最后将相同类型的轮廓类型用外接矩形框出，即得到运动区域。本方法处理的是CIF格式的视频(352*288)，所以当两矩形的距离小于40时，则将两矩形合并成一个矩形。

5.运动方向检测

第一步：对上面得到的矩形区域，对前后两帧在所得到的矩形区域中用calcOpticalFlowFarneback的算法计算稠密光流，得到矩形区域中关于每个像素点光流场，即位移矢量。用Gunnar Farneback的算法计算稠密光流(即图像上所有像素点的光流都计算出来)，它的相关论文是："Two-Frame Motion Estimation Based onPolynomialExpansion"

第二步：由于光流法对光照等因素比较敏感，以及其他因素对所得到的光流场将会产生影响，这就需要对所得到的光流场进行处理。本发明方法中采用平均偏移量：利用运动分割算法获取可疑运动目标，并对前后两帧运动目标的特征点进行跟踪，得其运动偏移量。假定某一区域内有n个特征点，第i个特征点前后两帧的坐标分别为(x_i，y_i)、(x′_i，y′_i)。偏移量为L_i，则判断L_i的大小，当L_i小于2个像素点距离时则剔除该像素点；当L_i大于2个像素点距离时则保留该像素点。

第三步：对第二步所保留下的像素点点采用Mean-Shift算法，Mean-Shift是一种非参数化的多模型分割方法，它的基本计算模块采用的是传统的模式识别程序，即通过分析图像的特征空间和聚类的方法来达到分割的目的。它是通过直接估计特征空间概率密度函数的局部极大值来获得未知类别的密度模式，并确定这个模式的位置，然后使之聚类到和这个模式有关的类别当中。使用Mean-Shift算法对第二步所保留下的每个像素点光流场进行处理，可以得到收敛到概率密度最大的地方，保留离概率密度最大的地方近的点，从而进一步剔除比较边缘的点。

第四步：设矩形区域中满足平均偏移量和Mean-Shift算法的像素点有k个，设前后两帧中k个点坐标的均值为

${\stackrel{\&OverBar;}{x}}_i=\frac{1}{k}{\mathrm{\&Sigma;}}_{i=0}^k{x}_i,\stackrel{\&OverBar;}{y}=\frac{1}{k}{\mathrm{\&Sigma;}}_{i=0}^k{y}_i$

${\stackrel{\&OverBar;}{x}}_i^{\&prime;}=\frac{1}{k}{\mathrm{\&Sigma;}}_{i=0}^k{x}_i^{\&prime;},{\stackrel{\&OverBar;}{y}}_i^{\&prime;}=\frac{1}{k}{\mathrm{\&Sigma;}}_{i=0}^k{y}_i^{\&prime;}$

由可计算出延长两点可得到与矩形的交点 A和B分别代表运动方向的终点和起点，从而得到运动方向。

Claims (1)

1.一种基于视频图像的弥散性运动物体的方向检测方法，包括下列的步骤：

1)首先进行视频图像的灰度化处理，将彩色图像转化为灰度图像；

2)采用背景建模的方法提取视频图像的前景图像；

3)对前景图像进行二值化处理以及形态学滤波，再通过对滤波后的二值图像进行轮廓的查找，然后将此轮廓存储在一个序列中，根据序列中元素间的距离对轮廓进行拆分从而将轮廓分成几类，最后将相同类型的轮廓类型用外接矩形框出；

4)对于步骤3)中得到每个零散的外接矩形，进行距离的判断，当两外接矩形的距离小于一定值时，则将两外接矩形合并成一个矩形，若合并后的矩形面积小于一定阈值时，即排除该矩形，得到合并后的外接矩形区域；

5)对前后两帧中合并后的外接矩形区域的特征点进行跟踪，计算稠密光流，得到疑似运动目标的外接矩形区域中每个像素点光流场；

6)由步骤5)得到疑似运动目标的外接矩形区域中每个像素点光流场，对比前后两帧中同一像素点的运动偏移量，剔除运动偏移量小于2的像素点之后，对比保留下来的像素点数占原有像素点的比例，若比例大于60％，则判断矩形区域符合疑似运动区域，若小于60％，则排除该矩形区域；

7)对保留下的像素点，计算其平均运动偏移量，即得到该疑似运动区域中的物体前后两帧移动的平均距离，当移动的平均距离小于4个像素点时则排除此疑似运动区域，否则此疑似运动区域，延长其平均移动矢量与矩形交点，即可得到物体的运动方向。