CN101102504B - 一种结合视频编码器的混合运动检测方法 - Google Patents

Abstract

本发明公开了一种结合视频编码器的混合运动检测方法，其包括以下步骤：将待监控区域图像划分为若干区域以及设定区域中的相关特征信息，所述特征信息包括：运动信息阈值，监控慢速目标、快速目标或是超过特定速度的目标；从视频编码器获得运动矢量，并得到监控区域的运动信息；与设定的运动信息阈值相比较，以确定最终的运动信息，并上报运动信息。本发明方法通过使用视频编码器提供的运动矢量，相对于纯粹的帧差法其数据运算量小很多，不占用过多的处理器时间；能够准确检测超过一定速度的物体，根据不同应用可以检测到快速和慢速的物体，减少了出现漏报和误报的可能。

Description

一种结合视频编码器的混合运动检测方法

技术领域

本发明涉及一种网络视频监控方法，具体地说是一种结合视频编码器的运动矢量(MV：motion veter)和帧差法进行混合运动检测的方法。

背景技术

现有技术中常见的运动检测方法有：帧差法(包括背景减除法和时间差分法)、运动向量法等等。所谓背景减除法就是利用当前图像与背景图像的差分来检测出运动区域的一种技术，它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。

所谓时间差分法就是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。

所谓运动向量法就是在参考帧上按块匹配算法，找到当前帧对应块最匹配块的位置，这个参考帧上的最匹配块与当前帧的对应块之间的位移就是运动向量，利用这个信息来判断该块是否发生了运动。运动向量法适合于多维变化的环境，能消除背景中的振动像素，使某一方向的运动对象更加突出的显示出来，但是其计算复杂度相当大，需要专门的硬件来进行处理，成本太高。

因此，现有技术存在缺陷，而有待于改进和发展。

发明内容

本发明的目的在于针对现有技术存在的缺陷，提供一种利用视频编码器所得出的运动向量信息和改进的帧差法相结合来获得最终的运动信息的方法，克服现有运动检测方法计算复杂度太高的缺点，以及很好地减少误报和漏报现象。

本发明的技术方案包括：

一种结合视频编码器的混合运动检测方法，其包括以下步骤：

A、将待监控区域图像划分为若干区域以及设定区域中的相关特征信息，所述特征信息包括：运动信息阈值，用于监控慢速目标、快速目标或是超过特定速度的目标；

B、从视频编码器获得运动矢量，并得到监控区域的运动信息；

B1、获取参考图像，每隔若干帧与参考图像作一次亮度差值运算，得到相应监控区域的运动信息；

B2、对两种运动信息按预定权值相加，再与设定的运动信息阈值相比，获得最终的运动信息，以获取参考图像的频率上报运动信息。

所述的方法，其中，所述步骤B还包括：如果当前帧没有运动矢量则表示为I帧，则跳过此帧。

采用本发明提供的方法，通过使用视频编码器提供的运动矢量，就不必自己去进行运动搜索来获得所需的运动矢量，降低了硬件成本；同时使用运动矢量，由于一个块只有一个运动矢量，相对于纯粹的帧差法(背景减除法、时间差分法)其数据运算量小很多，不占用过多的处理器时间；能够准确检测超过一定速度的物体，根据不同应用可以检测到快速和慢速的物体，不容易出现漏报和误报的现象。

附图说明

图1是本发明结合视频编码器的混合运动检测方法流程图；

图2是本发明结合视频编码器的混合运动检测方法整个***的简略流程图；

图3是本发明方法的选择监控区域的示意图；

图4是本发明方法的较佳实施例中快速运动的小车示意图；

图5是本发明方法的较佳实施例中慢速运动的人和快速运动的鸟的示意图；

图6是本发明方法的较佳实施例中快速运动的人示意图。

具体实施方式

以下结合附图，将对本发明的各较佳实施例进行更为详细的说明。

本发明的结合视频编码器的混合运动检测方法，如图1所示，其包括如下步骤：

第一步，将视频监控区域的图像划分为若干区域以及设定区域中的相关特征信息，这个区域的划分由应用程序来确定，比如通过人为划定需要监控的区域范围，以及监控的区域个数，这些区域是可重叠的；所述运动特征信息包括：各种监控参数的阈值，如运动信息阈值，包括监控慢速目标、快速目标或是超过特定速度的目标等等；

第二步，判断是否是监控快速运动，如果是，则从视频编码器获得运动矢量；

第三步，利用上一步获得的运动矢量得到监控区域的运动信息；

第四步，获取参考图像，每隔若干帧与参考图像作一次亮度差值得到相应监控区域的运动信息；这个参考帧的获得是每隔一段时间进行一次参考帧的更新，这个更新速度跟具体的应用有关，但一定会比纯粹的帧差法的频率要小；

第五步，针对不同的应用，对两种运动信息使用不同的权值相加，再与设定的阈值相比，获得最终的运动信息，以获取参考图像的频率上报运动信息。

上述具体运算过程为现有技术所熟知，因此不再赘述。以下举具体实施例以说明本发明方案的有益效果。

本发明结合视频编码器的混合运动检测方法整个***的简略流程图，如图2所示，本发明方法通过摄像头把图像数据采集进来，进行缩放、数字图像处理等前端处理，利用摄像头中运动模块产生运动信息，再通过网络将报警信息发送给远程视频服务器，最后让应用程序决定进行何种处理。

本发明提供的结合视频编码器的混合运动检测方法能解决帧差法无法检测某种特定速度的运动物体的问题，可以实现只检测超过一定速度的物体。具体的实施步骤如下：

按照应用的需要获得监控区域，设定监控区域的相关特定信息。将监控图像分成若干块，用户想监控什么区域，就选上对应区域的块。例如，用户要想对一幅图像(在监控设备所能看见的可视区域内)的左上角进行监控，他可以直接在左上角选择对应的块，如图3所示。在本发明的如图4所示的实施例中使用了全屏监控，监控的是超过特定速度的目标。

从编码器获得运动矢量。以h264的编码器为例，每个4×4的块就有一个运动矢量，一个352×288的图像就将有6336个运动矢量。在帧差法中使用亮度求差值所需要计算的数据个数则为352×288＝101376，相比之下，本发明方法使用运动向量的计算其运算量只是帧差法的十六分之一。所述运动矢量顾名思义就是体现运动的一个矢量，它反映的是一个块B1在当前帧相对于前一帧匹配块B2的位移，通过运动估计中的搜索算法找到的和B1最匹配的块。如果当前帧没有运动矢量则表示为I帧，则跳过此帧，再假设连续若干帧I帧的频率较大的话，说明此时发生了非常大的运动，直接上报发生运动。

利用上一步获得的运动矢量进行运算初步获得监控区域的运动信息。将整个监控区域按宏块(16×16)划分，每个宏块分为16个4×4的块(即有16个运动矢量)。利用运动矢量来获得运动信息的计算非常简单，将这些运动矢量x和y分量计算平方和再与设定的阈值进行比较，得到一个超过阈值(超过这个阈值就表示这个块发生了运动)的运动矢量个数MovedBlockCount_4×4，该计数再与设定的阈值进行比较，超过了则表示该宏块发生了运动，反之表示该宏块未发生运动。

对这些发生运动的宏块也将有个计数MovedBlockCount_16×16，该计数再与设定的阈值进行比较，这时将获得监控区域是否发生运动的信息。在该步骤中有三次与阈值的比较：运动矢量、超过阈值的运动矢量个数、超过阈值的宏块个数。通过这三次比较本发明方法可以很好消除噪声和编码器运动估计误差的干扰，降低误报的可能性。

以一个大小为cif(352×288)的监控区域为例，其阈值分别为8、12、2。以宏块为单位，对其中的运动矢量进行计算。假设某个宏块运动矢量两个分量的平方和超过8的有2个，该值低于12，这时可以判定超过阈值的运动矢量是由噪声引起的并过滤掉它，该宏块未发生运动。再对其他宏块进行类似的处理，如果发生运动的宏块数超过了2个，就表示该监控区域发生运动。

除此之外，通过设定与运动矢量进行比较的阈值，本发明方法就可以获得只检测超过一定速度的运动的功能。以图4中的小汽车为例，用来说明只有当车的速度超过一个值后，本发明方法才发出报警，其中虚线的小车表示前一个时刻的小车所在的位置，实线显示的小车表示是当前时刻的小车位置，而整个大的实线框表示设定的监控区域。

图4中的小汽车的速度较低，同一部位在不同时刻的相对位移(运动矢量)就比较小，不会超过阈值，则本发明方法的运动检测则认为没有发生运动；反之，小汽车的速度很快，其同一部位的相对位移就很大，则本发明方法的运动检测则认为发生了运动。而使用帧差法，两种情况则分辨不出来的，因为亮度发生变化的区域都很大。

获取参考图像，利用当前帧和参考帧的亮度差值得到相应监控区域的运动信息。这一步在该实施例中作用不大，可以不进行该步骤的操作，在该实施例中，可以直接使用利用运动矢量得到监控区域的运动信息即可。

在本发明的另一实施例中，可以看出本发明所述的混合运动检测方法如何达到降低误报和漏报的效果。其具体的实施步骤如下：

按照应用的需要获得监控区域，设定各种特征信息，设置监控的是慢速或快速的目标；从编码器获得运动矢量；利用运动矢量获得监控区域的运动信息。上述步骤与前一实施例类似。

获取参考图像，每隔若干帧与参考图像作一次亮度差值得到相应监控区域的运动信息；这里的运动信息获得与上面使用运动矢量的情况比较类似，计算的时候同样以宏块单位，将当前帧监控区域中的一个宏块与参考帧对应宏块(相同位置)中所有像素值相减并求绝对值，当这个绝对值超过阈值T1的个数阈值T2，则表示该宏块发生了运动。监控区域中的运动宏块数超过了阈值T3，则表示该区域发生了运动。这里设置3个阈值的目的也是消除噪声的干扰。

根据监控的目标是慢速还是快速来确定取参考帧的频率，目标越慢其频率也小，如图5所示，假设的场景是在高处的一个摄像头有着两个监控区域，偶尔有鸟飞过。在这种场景下本发明方法期望的是有人通过时产生报警，但鸟飞过的时候却屏蔽掉，不然就会发生误报。

图5中所示虚实线的人和鸟的含义同图4所示，实线表示的是当前人和鸟的位置，虚线表示的是前一时刻人和鸟的位置，大的实线框表示整幅图像，小实线框表示两个监控区域，这幅图的目的是要说明如何屏蔽飞过的鸟(慢速监控的时候屏蔽快速物体的干扰)。

如图6所示，是有一个不怀好意的人想从监控区域一闪而过，这个时候取参考帧的频率就要越高越好，不然则会发生漏报。但依照本发明方法的构思，这个时候通过运动矢量能检测到他的运动，所以在此步骤无需将获取参考帧的频率设定太高。还有一种情况就是要监控的物体处于一种缓慢运动，此时就得将获取参考帧的频率设定低一些，不然就会发生露报。

本发明在该实施例的这一步中，取参考帧的间隔有多长，求亮度的差值的间隔就有多长，做完差值运算后将当前帧作为参考帧。假设当前帧是F_n，参考帧是F_n-m，这表示每隔m帧只作一次差值运算，得到监控区域的运动信息，运算完成后将F_n作为下次差值运算的参考帧，当到第F_n+m帧时才再次作差值运算。

依照本发明方法的构思，需要监控的目标速度越慢，在第三步得到的运动信息的权值Q₃就越小，而在第四步得到的运动信息的权值Q₄就越大，反之亦然。这里的权值是一个经验值，得根据实际应用通过测试获得，上述的阈值也可从实际经验中获得。以图5所示为例，假设每10帧获得一个参考帧，每个监控区域获得9个第三步的运动信息m_{1，2，3，4，5，6，7，8，9}，以及1个第四步的运动信息m₀，则最终的运动信息为(m₁+m₂+m₃+m₄+m₅+m₆+m₇+m₈+m₉)*Q₃+m₀*Q₄。左边监控区域为：(1+1+1+1+1+1+1+1+1)*1/16+1*7/16＝1；右边监控区域为：(0+0+1+1+1+1+1+0+0)*1/16+0*7/16＝5/16。假设阈值为9/16，则左边区域的1大于9/16，则表示发生了运动，右边区域的5/16小于9/16则上报为未发生运动。

本发明的结合视频编码器的混合运动检测方法通过结合使用视频编码器提供的运动矢量和帧差法确定监控区域内的运动信息，相对于纯粹的帧差法(背景减除法、时间差分法)其数据运算量小很多，不占用过多的处理器时间，而且硬件要求低，硬件成本低；能够准确检测超过一定速度的物体，根据不同应用可以分别设置检测快速或慢速的物体，减少了出现漏报和误报的可能。

以上所述仅为本发明的较佳实施例，并不能用以限制本发明的专利保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种结合视频编码器的混合运动检测方法，其包括以下步骤：

A、将待监控区域图像划分为若干区域以及设定区域中的相关特征信息，所述特征信息包括：运动信息阈值，用于监控超过特定速度的目标；

B、从视频编码器获得运动矢量，并得到监控区域的运动信息；

B1、获取参考图像，每隔若干帧与参考图像作一次亮度差值运算，得到相应监控区域的运动信息；

B2、对两种运动信息按预定权值相加，再与设定的运动信息阈值相比，获得最终的运动信息，以获取参考图像的频率上报运动信息。

2.根据权利要求1所述的方法，其特征在于，所述步骤B还包括：如果当前帧没有运动矢量则表示为I帧，则跳过此帧。

Images