CN104966305B - 基于运动矢量划分的前景检测方法 - Google Patents

Abstract

本发明提供了一种基于运动矢量划分的前景检测方法，使用离散运动矢量划分运动趋势以进行前景检测，其在区分前景与背景的运动趋势时，使用稠密光流为分辨的基础，对计算所得的光流场进行量化处理获得离散的运动矢量矩阵，再对该矩阵进行方向的划分，最终寻找连通域，以找出与背景运动方向或速度不同的前景物体，完成前景目标的搜索过程。本发明中的连续矢量量化方法和划分的方法能够较好的对光流矢量场进行分析处理。通过连通域的面积比较得出前景目标也是在前景物体不确定的情况下迅速捕捉前景位置的方法。

Description

基于运动矢量划分的前景检测方法

技术领域

本发明涉及的是一种前景检测方法，具体是一种基于稠密光流和方向划分的图像内容检索方法。

背景技术

随着视频监控***的覆盖和手机等手持移动摄像设备的普及，视频数据正在以一个惊人的速度增长，而如何从数量庞大的视频文件中提取有价值信息也成为一个亟待解决问题。

背景建模和目标追踪是视频分析的基础。背景建模基于背景与前景是否在运动、运动方向和颜色等方面的差异进行前景和背景的区分和识别，而目标追踪根据目标的特征及其运动产生的视频前后帧的差异，实现目标的实时跟踪。

光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。

马里兰大学的Ismail Haritaoglu博士等人在2000年时提出的W4算法用于人类行为识别与监控，该算法因其简单高效的特点而成为最早被实际运用的算法。

比利时列日大学的Oliver Barnich博士等人致力于视频监控技术的应用，特别是背景建模和步态识别，他们的ViBe算法快速高效，有别于传统算法，可嵌入到相机中，鲁棒性强。

西北工业大学的王永忠、梁彦等人从事目标跟踪方面的研究，主要成果：针对传统的混合高斯背景建模方法对非平稳场景较为敏感的缺点，提出了一种新型的混合高斯模型。

上述技术方案均限定在背景静止的条件下，本发明与上述技术方案最大的不同在于，本发明的检测方法是基于对稠密光流场的处理，因而可以在摄像机进行简单运动的情景下进行前景识别。对光流场的计算与分析可以确定背景的运动模式；之后可以将区别于背景运动模式的物体认定为前景；目前在运动背景的前景识别范畴内。

专利文献“一种基于光流场聚类的运动目标分割方法”(专利申请号201310174529.0)中应用了对光流产生的矢量场进行C-均值聚类算法。本发明与该方法不同的是聚类的划分方式不同。本发明的方法没有迭代求取类内误差平方和最小化，而是新定义量化标准与划分方法，拥有更快的处理速度，同时增加对检测结果的平滑处理和有效性检测。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于运动矢量划分的前景检测方法。

根据本发明提供的一种基于运动矢量划分的前景检测方法，使用离散运动矢量划分运动趋势以进行前景检测，包括对视频图像中的至少一帧图像执行如下步骤：

步骤1：对帧图像进行稠密光流计算，得到连续运动矢量；

步骤2：在该帧图像中，对全部像素分别进行所述连续运动矢量的量化处理，得到由多种离散运动矢量构成的量化矢量集；

步骤3：按照离散运动矢量所含的像素数，对该帧图像中存在的每种离散运动矢量进行排序，根据排序结果按照运动趋势由主至次划归出多类运动趋势；其中，首次划归出的运动趋势记为第一类运动趋势；

步骤4：除了所述第一类运动趋势之外，计算在该帧图像中各类运动趋势所构成的连通图面积，并将连通图面积进行排序；将序号靠前的多个连通图面积所对应的连通域作为前景目标；

步骤5：对前景目标的跟踪进行平滑处理和有效性检验。

优选地，所述稠密光流计算采用的光流算法为：

OpenCV开源库函数中的函数calcOpticalFlowFarneback。

优选地，所述量化矢量集为65种离散运动矢量，其中，64种离散运动矢量由4种非零模长和16个方向排列组合得到，1种离散运动矢量为无方向的0模长矢量，具体为：

4种非零模长为：最大模长、四分之一最大模长、二分之一最大模长、四分之三最大模长；其中，所述最大模长是指所有离散运动矢量中的最大模长；

16个方向为：以水平向右为起始方向逆时针方向将圆周角16等分得到的方向。

优选地，所述步骤3，包括如下步骤：

步骤3.1：对该帧图像中存在的每种离散运动矢量按照所含的像素数由多到少进行排序；

步骤3.2：在未划归入运动趋势的离散运动矢量中，选取排序序号靠前的N种离散运动矢量构成一类矢量集合，在该类矢量集合中选取序号最前的离散运动矢量作为运动趋势中心矢量；若该帧图像中未划归入运动趋势的离散运动矢量的种类不足N种，则选取该帧图像中全部未划归入运动趋势的离散运动矢量作为该类矢量集合；

步骤3.3：在该类矢量集合中，计算该运动趋势中心矢量分别与其余离散运动矢量的距离；

步骤3.4：将距离小于阈值的离散运动矢量划归入该运动趋势中心矢量所代表的运动趋势中；

步骤3.5：判断一帧图像中存在的离散运动矢量是否均已划归入运动趋势中：若是，则认为完成运动趋势的划归；否则，则进入步骤3.2继续执行；

其中，对一帧图像，将首次划归出的运动趋势作为所述第一类运动趋势。

优选地，在所述步骤4中，将序号靠前且面积大于面积阈值的多个连通图面积所对应的连通图区域作为前景目标。

优选地，所述有效性检验的判定标准为：对于当前帧，当前帧图像及其前连续两帧图像均满足如下条件：

Δp<δ

其中，p表示目标描述参数，目标描述参数p由目标中心的横坐标x、目标中心的纵坐标y、目标的高度h、目标的宽度w构成；Δp表示目标描述参数在连续两帧图像之间的变化量，δ为连续两帧图像之间目标描述参数变化的有效上限；

若Δp小于δ则判定追踪有效；否则，则判定追踪无效，放弃当前帧图像的检测。

优选地，所述平滑处理的方法为取当前帧图像与其前连续两帧图像的加权平均：

其中，s_i为第i帧图像平滑处理后的目标描述参数，p_i为第i帧图像的目标描述参数，p_i-1为第i-1帧图像的目标描述参数，p_i-2为第i-2帧图像的目标描述参数；其中，i≥3。

优选地，在步骤3.3中的所述距离distance，具体为：

distance²＝(o₁-o₂)²+(m₁-m₂)²

其中，distance表示两个离散运动矢量之间的空间距离，o₁、m₁分别为其中一个离散运动矢量的方向序号、量化模长，o₂、m₂分别为其中另一个离散运动矢量的方向序号、量化模长。

优选地，还包括如下步骤：

步骤0：使用高斯模糊及减采样，处理视频图像。

优选地，所述视频图像的特征为：

特征A：画面中存在与背景有相对运动的前景物体；

特征B：采集视频图像的摄像机允许运动，即背景为运动或者静止；

特征C：高斯金字塔处理根据视频分辨率大小进行。

与现有技术相比，本发明具有如下的有益效果：

本发明通过稠密光流的计算，获取视频帧中每一像素的运动方向矢量。再将连续的运动矢量量化，以便于根据运动趋势的运动矢量划分，得到表征运动趋势的矩阵。寻找该矩阵中的最大连通域，可区分出前景与背景，并定位前景目标。最后添加对前景目标的判别，以消除部分抖动与误检的情况。实验证明，本发明在简单场景中能较好地检测出前景目标的位置、大小，并有较快的运行速率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明的处理流程图；

图2是本发明的矢量划分流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供了一种基于运动矢量划分的前景检测方法。在区分前景与背景的运动趋势时，使用稠密光流为分辨的基础。对于视频文件中的每帧图像采用高斯金字塔对图像进行向下分解，然后采用Gunnar Farneback的稠密光流计算方法，之后对计算所得的光流场进行量化处理获得离散的运动矢量矩阵，再对该矩阵进行方向的划分，最终寻找连通域，以找出与背景运动方向或速度不同的前景物体，完成前景目标的搜索过程。本发明中的连续矢量量化方法和划分的方法能够较好的对光流矢量场进行分析处理。通过连通域的面积比较得出前景目标也是在前景物体不确定的情况下迅速捕捉前景位置的方法。

本发明提供的基于运动矢量划分的前景检测方法，是通过以下方案实现的：

对输入的视频文件进行逐帧处理，首先将每帧图像转换为Mat格式，调用OpenCV开源库函数calcOpticalFlowFarneback()，即Gunnar Farneback的光流算法calcOpticalFlowFarneback。计算每帧图像稠密光流的光流场。之后的分析对象为该光流场，大小与视频文件分辨率相同，每个元素均为标识运动方向的二维向量。

本发明中将连续运动矢量转换为离散数值的离散运动矢量以便于分类。设定离散运动矢量分为包括0模长在内的5种模长(最大模长为所有离散运动矢量中的最大模长，除0以外其余三种模长为最大模长的)和每种模长16个方向(以水平向右为起始方向逆时针方向将圆周角16等分)，得到65个离散运动矢量(0模长运动矢量无方向)；即：65种离散运动矢量，其中，64种离散运动矢量由4种非零模长和16个方向排列组合得到，1种离散运动矢量为无方向的0模长矢量，具体为：4种非零模长为：最大模长、四分之一最大模长、二分之一最大模长、四分之三最大模长；其中，所述最大模长是指所有离散运动矢量中的最大模长；16个方向为：以水平向右为起始方向逆时针方向将圆周角16等分得到的方向。

首先将光流场的二维连续运动矢量进行方向的归一化。通过

式中angle为光流场向量角度，fy为光流场纵坐标y方向数值，fx为光流场横坐标x方向数值，o为连续运动矢量量化后的方向，MOTION_ORIENTATION为离散运动矢量的方向种类数量，参数MOTION_ORIENTATION通过反复实验，确定其值为16时检测效果最佳，表示向下取整，％表示取模。

逐个计算光流场的连续运动矢量量化后的方向。

离散运动矢量的模长由下式求得：

式中m为离散运动矢量的量化模长，mold为每个连续运动矢量的模长，maxmold为连续运动矢量的模长的最大值。

通过将连续的光流场转换为离散的矢量矩阵，可以更方便的对每个像素的运动模型进行分类。对于矢量矩阵分类的目标则是找出相同运动方向的像素构成的连通域。由于光流计算带来的误差、视频清晰度带来的误差以及同一物体不同部分运动方向可接受的细微差异，这里寻找相同运动矢量的方法需要具有一定的鲁棒性。

通过观察一些视频帧的运动矢量量化结果，可以发现规则场景中，绝大多数像素的运动矢量趋于一致，分布于极少数几个运动矢量中。据此可以做出假设：像素数最多的运动矢量代表光流场中背景或主要运动物体的运动。为便于分析每个运动矢量motion占有的像素数，先建立运动矢量到该运动矢量占有像素数的映射。

motion→frequency

对占有像素数frequency进行排序。数据显示，大部分帧中95％以上的像素分布在三个或更少的矢量中，与其他矢量的占有像素数相差悬殊。在此我们认定对应占有像素数排在第一位的为一类运动的代表运动矢量。需从其余运动矢量中区分出与该矢量差异足够小的运动矢量。

设定参数DISTANCE_THRESH对离散运动矢量进行聚类分析。设定第一矢量、第二矢量这两运动矢量的空间距离坐标由模长差和角度差组成，且其缩放比为1:1。由此可得两运动矢量的空间距离平方函数：

distance²＝(o₁-o₂)²+(m₁-m₂)²

式中distance为两运动矢量空间距离，o₁为第一矢量的方向序号，o₂为第二矢量的方向序号，m₁为第一矢量的量化模长，m₂为第二矢量的量化模长。

通过与DISTANCE_THRESH进行比较，认定如满足：

distance<DISTANCE_THRESH

则两运动矢量属于同一运动物体，即同一运动趋势；

式中DISTANCE_THRESH为设定的距离阈值，该参数通过反复实验，确定其值为3或5时检测效果最佳。

根据排序依次对其余矢量进行距离计算，将不属于同一类的运动矢量迭代进行聚类分析。反复以其中占有像素数最高的运动矢量为运动趋势中心矢量进行划分，直至占有像素数最高为0。

划分主要运动方向后，我们可以得到用以表示每个像素属于的运动方向类别的灰度图，图中运动方向属于同一类别的像素表现出相同灰度值。

为了找出图中的主要区域，并以此定位前景物体，首先接收前景物体部分的不同方向运动。需找到前景物体背景物体的区别，即可忽略属于前景物体运动的区别。此处采用轮廓的方法消除不同前景物体运动的干扰，对灰度图进行二值化处理。直观的方法是检测图中的连通域大小，通过不同连通域面积的比较，找出最大连通域为主要前景目标。此处调用OpenCV函数cvContourArea()对连通域面积进行计算。对最大连通域的CvSeq对象，进行cvBoundingRect函数运算，获得包围该连通域的最小矩形，作为前景目标的初步检测。

初步检测之后，可以获得目标的初步定位。由于环境扰动、摄像机抖动等因素带来的光流场的误差会导致表示矢量划分的灰度图的一定扰动，由此带来初步检测场景的抖动与误检。抖动表现为对运动目标的跟踪不稳定，定位存在较剧烈的位置变化和大小变化。误检表现为由于场景中其他干扰，导致***错误地将部分背景作为前景目标。

为减少抖动与误检，在初步检测后增加了有效性判定与平滑处理。

目标定位可以用四个参数进行描述：目标中心的横坐标(x)、目标中心的纵坐标(y)、目标的高度(h)、目标的宽度(w)。此处四个参数统称为目标描述参数p。

有效性判定的判断标准为：

Δp<δ

Δp表示目标描述参数在两帧间的变化量，δ为两帧之间参数变化的有效上限。若超出该上限，则判定该追踪无效，放弃该帧的检测。

平滑处理的方法为取当前帧和前两帧的加权平均：

式中s_i为第i帧调整后的目标描述参数，p_i为第i帧的原始目标描述参数，p_i-1为第i-1帧的原始目标描述参数，p_i-2为第i-2帧的原始目标描述参数。其中，i≥3。

经调整，式中的加权权重可以较好地追踪目标。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于运动矢量划分的前景检测方法，其特征在于，使用离散运动矢量划分运动趋势以进行前景检测，包括对视频图像中的至少一帧图像执行如下步骤：

步骤1：对帧图像进行稠密光流计算，得到连续运动矢量；

步骤2：在该帧图像中，对全部像素分别进行所述连续运动矢量的量化处理，得到由多种离散运动矢量构成的量化矢量集；

步骤3：按照离散运动矢量所含的像素数，对该帧图像中存在的每种离散运动矢量进行排序，根据排序结果按照运动趋势由主至次划归出多类运动趋势；其中，首次划归出的运动趋势记为第一类运动趋势；

步骤4：除了所述第一类运动趋势之外，计算在该帧图像中各类运动趋势所构成的连通图面积，并将连通图面积进行排序；将序号靠前的多个连通图面积所对应的连通域作为前景目标；

步骤5：对前景目标的跟踪进行平滑处理和有效性检验。

2.根据权利要求1所述的基于运动矢量划分的前景检测方法，其特征在于，所述稠密光流计算采用的光流算法为：

OpenCV开源库函数中的函数calcOpticalFlowFarneback。

3.根据权利要求1所述的基于运动矢量划分的前景检测方法，其特征在于，所述量化矢量集为65种离散运动矢量，其中，64种离散运动矢量由4种非零模长和16个方向排列组合得到，1种离散运动矢量为无方向的0模长矢量，具体为：

4种非零模长为：最大模长、四分之一最大模长、二分之一最大模长、四分之三最大模长；其中，所述最大模长是指所有离散运动矢量中的最大模长；

16个方向为：以水平向右为起始方向逆时针方向将圆周角16等分得到的方向。

4.根据权利要求1所述的基于运动矢量划分的前景检测方法，其特征在于，所述步骤3，包括如下步骤：

步骤3.1：对该帧图像中存在的每种离散运动矢量按照所含的像素数由多到少进行排序；

步骤3.2：在未划归入运动趋势的离散运动矢量中，选取排序序号靠前的N种离散运动矢量构成一类矢量集合，在该类矢量集合中选取序号最前的离散运动矢量作为运动趋势中心矢量；若该帧图像中未划归入运动趋势的离散运动矢量的种类不足N种，则选取该帧图像中全部未划归入运动趋势的离散运动矢量作为该类矢量集合；

步骤3.3：在该类矢量集合中，计算该运动趋势中心矢量分别与其余离散运动矢量的距离；

步骤3.4：将距离小于阈值的离散运动矢量划归入该运动趋势中心矢量所代表的运动趋势中；

步骤3.5：判断一帧图像中存在的离散运动矢量是否均已划归入运动趋势中：若是，则认为完成运动趋势的划归；否则，则进入步骤3.2继续执行；

其中，对一帧图像，将首次划归出的运动趋势作为所述第一类运动趋势；

在步骤3.3中的所述距离distance，具体为：

distance²＝(o₁-o₂)²+(m₁-m₂)²

其中，distance表示两个离散运动矢量之间的空间距离，o₁、m₁分别为其中一个离散运动矢量的方向序号、量化模长，o₂、m₂分别为其中另一个离散运动矢量的方向序号、量化模长。

5.根据权利要求1所述的基于运动矢量划分的前景检测方法，其特征在于，在所述步骤4中，将序号靠前且面积大于面积阈值的多个连通图面积所对应的连通图区域作为前景目标。

6.根据权利要求5所述的基于运动矢量划分的前景检测方法，其特征在于，所述有效性检验的判定标准为：对于当前帧，当前帧图像及其前连续两帧图像均满足如下条件：

Δp＜δ

其中，p表示目标描述参数，目标描述参数p由目标中心的横坐标x、目标中心的纵坐标y、目标的高度h、目标的宽度w构成；Δp表示目标描述参数在连续两帧图像之间的变化量，δ为连续两帧图像之间目标描述参数变化的有效上限；

若Δp小于δ则判定追踪有效；否则，则判定追踪无效，放弃当前帧图像的检测。

7.根据权利要求6所述的基于运动矢量划分的前景检测方法，其特征在于，所述平滑处理的方法为取当前帧图像与其前连续两帧图像的加权平均：

<mrow> <msub> <mi>s</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mn>2</mn> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>+</mo> <mn>2</mn> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>+</mo> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> </mrow> <mn>5</mn> </mfrac> </mrow>

其中，s_i为第i帧图像平滑处理后的目标描述参数，p_i为第i帧图像的目标描述参数，p_i-1为第i-1帧图像的目标描述参数，p_i-2为第i-2帧图像的目标描述参数；其中，i≥3。

8.根据权利要求1所述的基于运动矢量划分的前景检测方法，其特征在于，还包括如下步骤：

步骤0：使用高斯模糊及减采样，处理视频图像。

9.根据权利要求8所述的基于运动矢量划分的前景检测方法，其特征在于，所述视频图像的特征为：

特征A：画面中存在与背景有相对运动的前景物体；

特征B：采集视频图像的摄像机允许运动，即背景为运动或者静止；

特征C：对于视频文件中的每帧图像采用高斯金字塔对图像进行向下分解，高斯金字塔处理根据视频分辨率大小进行。