CN101860664A - 一种对光照变化鲁棒的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种对光照变化鲁棒的运动目标检测方法，步骤为①分别根据当前输入图像和当前背景图像求取前景和背景边缘图像；②对前景和背景边缘图像进行数学形态学滤波处理；③分离前景与背景的边缘，以分离得到的前景边缘作为运动目标边缘集；④对运动目标边缘集进行后续处理，输出运动目标图像；⑤根据当前输入图像和输出运动目标图像，更新当前背景图像。由于图像边缘信息在光照变化的情况下仍能保持相对的不变性，本发明在一定程度上消除了光照变化引起的“曝光”现象。本发明对光照变化鲁棒，能够实时准确地检测出运动目标及其位置，且操作简单，运算速度快，可用于实时智能视频监控***或其他实时智能视频内容分析***。

Description

一种对光照变化鲁棒的运动目标检测方法

技术领域

本发明属于智能视频内容分析领域，特别涉及一种运动目标检测方法，主要用于视频传感器固定时运动目标的检测。

背景技术

智能视频内容分析技术是利用计算机视觉技术对视频信号的内容进行处理、分析和理解，并对视频内容分析的应用***进行控制，从而实现视频内容分析应用***的智能化。智能视频内容分析技术以其直观、方便、信息内容详实被广泛用于银行、商店、车站、码头等一些重要的公共场所以及交通运输、国防、海关，乃至住宅社区等领域的安全防范。

在通常情况下，智能视频内容分析***的一般流程结构如图1所示：

步骤101：视频传感器连续采集视频图像信号，并将采集到的视频图像信号经过数字化后作为输入图像发送给智能视频内容分析部分。

本步骤包括模拟视频信号的采集、模/数转化、量化等一系列处理过程，目前市面上的CCD视频传感器已经集成了将信号由模拟转化为数字的模块，即A/D转换模块。因此，从CCD视频传感器输出的视频图像信号已经实现了数字化。

步骤102：将步骤101输入的数字视频图像进行前景和背景的检测与分离，进而检测出运动目标，提取的运动目标用于后续进一步的内容分析。

目前已经有多种方法用于视频图像序列的运动目标检测，如光流法、视频图像序列的帧间差分法、背景减除法等。

步骤103：将步骤102检测到的运动目标进行分类，以便于针对不同种类的运动目标采用不同的后续分析处理方式。

通常，一个视频传感器覆盖的区域内运动目标具有多样性。对视频传感器覆盖的区域内的不同运动目标进行分类，在后续的分析处理过程中依据不同类别的先验知识给予不同的分析处理方式，提高智能的准确性。当视频传感器覆盖的区域内运动目标为单一时，可以省去本步骤。

步骤104：对步骤102检测到的运动目标进行实时自动跟踪。

跟踪运动目标的目地是为了获取运动目标在各个时刻的位置和状态，依据运动目标在各个时刻的位置和状态不仅能判定运动目标当前时刻的行为而且还能够预测运动目标将来一段时刻内的行为。

步骤105：对步骤104的跟踪结果结合先验知识，对运动目标的行为进行判定和识别。

本步骤通常是与步骤104是密切结合在一起的，本步骤是智能视频内容分析***中“智能”的真正体现。

在智能视频内容分析***中运动目标的检测对整个***的性能起着决定性的作用。能否实现运动目标的准确检测直接决定了整个智能视频内容分析***在后续分析处理过程的准确度。正因为运动目标检测在智能监控***中的重要地位，近几十年来，学者们对视频图像序列中的运动目标检测技术做了大量且深入的研究。目前，运动目标检测技术已经比较成熟，下面是运动目标检测的三种经典方法：光流法、视频图像序列的帧间差分法和背景减除法。

(1)光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。光流法检测采用了目标随时间变化的光流特性。利用光流法可以通过计算位移矢量光流场来实现运动目标的检测。

光流法的优点在于对运动目标在帧间的运动限制较少，可以处理大的帧间位移，还可以应用在摄像头移动的情况；主要缺点是计算相当复杂，对场景条件假设过多，抗噪性能差。

(2)视频图像序列的帧间差分法是通过检测相邻两帧图像之间的灰度变化来检测运动目标。具体做法是：将第k帧图像f_k(x，y)与第k-1帧图像f_k-1(x，y)做差分运算，直接比较连续两幅视频图像帧的不同。通过设定阈值T，得到二值化差分图像D(x，y)：

$D(x,y)=\left\{\begin{array}{c}1,f_k(x,y)-f_{k-1}(x,y)>T\\ 0,f_k(x,y)-f_{k-1}(x,y)\≤T\end{array}\right.$

二值化差分图像D(x，y)中，像素值为“0”表示该像素在前后两帧中没有发生变化，即背景像素点；像素值为“1”表示该像素在前后两帧中发生了变化，即前景像素点，这是由目标运动产生的。

帧间差分的优点是计算简单，速度快；缺点是容易产生“鬼影”，对视频图像连续两帧之间的运动限制较大。

(3)背景减除法是将当前视频图像与事先存储或实时得到的背景图像做差分运算，依据比较结果来确定像素点是否属于运动目标区域。有一些背景减除方法会根据检测结果对背景图像进行实时更新，使背景能够自适应环境的变化，如经典的自适应混合高斯背景建模法。

其优点是操作简单，检测位置准确且速度快；缺点是对光线变化非常敏感，运动目标的阴影可同时被检测出来作为运动目标的一部分。于是，背景减除方法通常要辅以阴影去除方法以提高检测的准确性。

虽然目前的运动目标检测方法已较成熟，但这些方法与实际的智能视频内容分析***的应用需求之间有着较大的差距。

发明内容

本发明的目的在于弥补现有运动目标检测技术的不足，提供一种对光照变化鲁棒的运动目标检测方法，该方法对光照变化有良好的鲁棒性、且操作简单，计算速度快，检测结果准确，可满足多路实时智能视频内容分析的需求。

本发明提供的一种对光照变化鲁棒的运动目标检测方法，其特征在于，该方法包括下述步骤：

第1步：根据当前输入图像求取前景边缘图像，根据当前背景图像求取背景边缘图像；

第2步：对获取的前景边缘图像和背景边缘图像进行数学形态学滤波处理；

第3步：对第2步得到的滤波后的前景边缘图像和滤波后的背景边缘图像进行处理，分离前景与背景的边缘，以分离得到的前景边缘作为运动目标边缘集；

第4步：对获取的运动目标边缘集进行后续处理，获取运动目标的位置和大小，输出运动目标图像；

第5步：利用当前输入图像，更新当前背景图像中除与运动目标相对应区域以外的区域，作为新的当前背景图像。

本发明的运动目标检测方法根据视频图像边缘信息在光照变化的情况下仍能保持相对不变性的特点，利用边缘信息有效地消除了背景减除方法中由于环境光照变化引起的“曝光”现象。本发明对光照变化鲁棒，能准确地检测出运动目标和确定运动目标的位置，而且操作简单，运算速度快，可用于多路实时智能视频监控***。

附图说明

图1为现有智能视频监控***的一般流程结构图；

图2为本发明实施运动目标检测方法实例的流程图；

图3为前景像素区域“异或”处理示意图；

图4为实施实例视频图像场景在白天光照变化的条件下视频的第480帧的检测效果示意图；其中，(4.1)为原彩色输入图、(4.2)为通常的背景建模方法获取的二值化前景运动图、(4.3)为本发明方法检测运动目标边缘集绘出的二值图像、(4.4)为本发明在原彩色输入图像中标出了运动目标的图像；

图5为实施实例视频图像场景在夜晚光照变化的条件下视频的第395帧的检测效果的示意图；其中，(5.1)为原彩色输入图、(5.2)为通常的背景建模方法获取的二值化前景运动图、(5.3)为本发明方法检测运动目标边缘集绘出的二值图像、(5.4)为本发明在原彩色输入图像中标出了运动目标的图像。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及本发明的某一具体应用实例再做进一步详细的说明。

如图2所示，本发明实施实例提供的运动目标检测方法包括：

第1步：根据当前输入图像求取前景边缘图像，根据当前背景图像求取背景边缘图像。

前景是指图像或视频序列中人们所关注的物体。如在视频监控***中，前景通常指的是监控目标；在本发明专利中，前景是指视频图像序列中的运动目标。在二值图像中，前景像素点的像素值通常设置为“1”。

前景区域是指前景像素点所形成的像素区域。

前景边缘图像是指包含有前景边缘信息的二值化图像。

背景边缘图像是指仅含有背景边缘信息的二值化图像。

对当前输入图像和当前背景图像经过平滑滤波后，采用边缘提取算子分别求取二者的边缘图像，获取前景边缘图像和背景边缘图像。

目前，用于边缘提取算子有很多，坎尼(Canny)算子是目前边缘提取效果最好也是应用得最广的一种方法。由于坎尼(Canny)算子已经广泛应用，这里就不再赘述。

第2步：对获取的前景边缘图像和背景边缘图像进行数学形态学滤波处理。

所述的对获取的前景边缘图像和背景边缘图像进行数学形态学滤波处理的方法包括：首先对获取的前景边缘图像和背景边缘图像进行边界跟踪(Bound Tracking)或边缘点连接(Edge Point Linking)，以获取闭合或近似闭合的边缘，再采用数学形态学滤波消除噪声边缘像素点，同时将边缘线上的每个边缘像素点膨胀成一个半径为r的前景像素区域，r的取值范围为1至5个像素。输出数学形态学滤波处理后的前景边缘图像和数学形态学滤波处理后的背景边缘图像。

第3步：对第2步得到的滤波后的前景边缘图像和滤波后的背景边缘图像进行处理，分离前景和背景的边缘，获取运动目标边缘集。结合图3，其具体过程如下：

(3.1)对滤波后的前景边缘图像从左至右，从上到下扫描每一个前景像素区域A，将前景像素区域A与其在背景边缘图像的对应位置且大小相等的像素区域A′进行“异或”处理，即：若前景像素区域A与其对应像素区域A′内的所有像素点的像素值均不相同，则将前景像素区域A的中心像素点的坐标保存下来；否则，不保存前景像素区域A中任何像素点的坐标。重复该过程，直到扫描完滤波后的前景边缘图像中所有的前景像素区域。

(3.2)按照步骤(3.1)的处理方式，对滤波后的背景边缘图像中的每一个前景像素区域进行处理，分离前景和背景的边缘。

(3.3)将步骤(3.1)和步骤(3.2)保存下来的所有像素点坐标当作运动目标边缘集的前景像素点，获取运动目标边缘集。

第4步：对获取的运动目标边缘集进行后续处理，输出运动目标图像。

后续处理可以包括：对获取的运动目标边缘集进行边界跟踪(BoundTracking)或边缘点连接(Edge Point Linking)，以获取闭合或近似闭合的边缘子集，滤去不连接的边缘点或边缘线。

对上述处理后的运动目标边缘集中每个闭合或近似闭合的边缘子集，求取其质心和外接多边形。当前输入图像中与处理后的运动目标边缘集中的闭合或近似闭合边缘子集的质心坐标相对应的像素坐标，就是当前输入图像中相应运动目标的质心坐标；当前输入图像中与处理后的运动目标边缘集中的闭合或近似闭合边缘子集外接多边形的像素坐标相对应的像素坐标，就是当前输入图像中相应运动目标的外接多边形的像素坐标。运动目标的质心和外接多边形确定了运动目标的坐标位置和运动目标的大小，输出运动目标图像。

第5步：根据当前输入图像和输出的运动目标图像更新当前背景图像。

所述的根据当前输入图像和输出的运动目标图像更新当前背景图像的方法包括：根据输出的运动目标图像，在当前输入的图像中确定运动目标所在的像素区域；当前输入图像的运动目标所在的区域是属于前景区域，即不可更新区域，该区域不可以用来更新背景；当前输入图像的前景区域以外的像素区域，以一定的更新速率更新到当前背景图像中相对应的像素区域，将更新后生成的背景图像作为新的当前背景图像。

更新公式如下：

f_B，k(x，y)＝α×f_k(x，y)+(1-α)×f_B，k(x，y)

其中，α为更新速率，取值在区间(0，1)之间，取值为0表示不更新背景图像，取值为1表示用当前输入图像中前景区域以外的像素区域替换当前背景图像中相对应的像素区域。f_k(x，y)为当前输入图像的前景区域以外的像素区域，f_B，k(x，y)为当前背景图像中与当前输入图像的前景区域以外的像素区域相对应的像素区域；当前背景图像中与当前输入图像的前景区域相对应的像素区域不进行更新；

输出更新当前背景图像后的运动目标图像供后续分析过程使用。实例：

图4和图5为本发明在两个不同场景和光照变化条件下实施的效果图，本发明在实施过程中选取的参数如下：

坎尼(Canny)算子双阈值的选取：采用图像梯度直方图的一维熵最大化方法确定高阈值，低阈值取为高阈值的三分之一。

关于图像梯度直方图的一维熵最大化方法的理论思想可详见华中科技大学博士学位论文《基于边缘特征的运动目标检测与跟踪》，作者：陈小平，保存地点：华中科技大学图书馆，论文时间：2008年6月。

数学形态学膨胀半径r取值为3个像素；

背景更新速率α＝0.01；

两个场景下的参数均如上选择，实际图像大小为352×288。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。

Claims (5)

1.一种对光照变化鲁棒的运动目标检测方法，其特征在于，该方法包括下述步骤：

第1步：根据当前输入图像求取前景边缘图像，根据当前背景图像求取背景边缘图像；

第2步：对获取的前景边缘图像和背景边缘图像进行数学形态学滤波处理；

第3步：对第2步得到的滤波后的前景边缘图像和滤波后的背景边缘图像进行处理，分离前景与背景的边缘，以分离得到的前景边缘作为运动目标边缘集；

第4步：对获取的运动目标边缘集进行后续处理，获取运动目标的位置和大小，输出运动目标图像；

第5步：利用当前输入图像，更新当前背景图像中除与运动目标相对应区域以外的区域，作为新的当前背景图像。

2.根据权利要求1所述的运动目标检测方法，其特征在于，

第3步包括下述过程：

(3.1)对滤波后的前景边缘图像从左至右，从上到下扫描每一个前景像素区域A，将前景像素区域A与其在背景边缘图像的对应位置且大小相等的像素区域A′进行“异或”处理，即：若前景像素区域A与其对应像素区域A′内的所有像素点的像素值均不相同，则将前景像素区域A的中心像素点的坐标保存下来；否则，不保存前景像素区域A中任何像素点的坐标；重复该过程，直到扫描完滤波后的前景边缘图像中所有的前景像素区域；

(3.2)按照步骤(3.1)的处理方式，对滤波后的背景边缘图像中的每一个前景像素区域进行处理；

(3.3)将步骤(3.1)和步骤(3.2)保存下来的所有像素点坐标当作运动目标边缘集的前景像素点，获取运动目标边缘集。

3.根据权利要求1所述的运动目标检测方法，其特征在于，

第2步的具体过程为：首先对获取的前景边缘图像和背景边缘图像进行边界跟踪或边缘点连接，以获取闭合或近似闭合的边缘图，再采用数学形态学滤波消除噪声边缘像素点，同时将边缘线上的每个边缘像素点膨胀成一个半径为r的前景像素区域，r的取值范围为1至5个像素，输出数学形态学滤波处理后的前景边缘图像和数学形态学滤波处理后的背景边缘图像。

4.根据权利要求1或2所述的运动目标检测方法，其特征在于，第4步包括下述过程：

所述后续处理是指对获取的运动目标边缘集进行边界跟踪或边缘点连接，以获取闭合或近似闭合的边缘子集，滤去不连接的边缘点或边缘线；

对上述处理后的运动目标边缘集中每个闭合或近似闭合的边缘子集，求取其质心和外接多边形；当前输入图像中与处理后的运动目标边缘集中的闭合或近似闭合边缘子集的质心坐标相对应的像素坐标，就是当前输入图像中相应运动目标的质心坐标；当前输入图像中与处理后的运动目标边缘集中的闭合或近似闭合边缘子集外接多边形的像素坐标相对应的像素坐标，就是当前输入图像中相应运动目标的外接多边形的像素坐标；运动目标的质心和外接多边形确定了运动目标的坐标位置和运动目标的大小，输出运动目标图像。

5.根据权利要求1或2所述的运动目标检测方法，其特征在于，第5步包括下述过程：

根据输出的运动目标图像，在当前输入的图像中确定运动目标所在的像素区域；当前输入图像的运动目标所在的区域是属于前景区域，即不可更新区域，该区域不可以用来更新背景；对于当前输入图像的前景区域以外的像素区域，以预先设定的更新速率α更新到当前背景图像中相对应的像素区域，将更新后生成的背景图像作为当前背景图像；

更新公式如下：

f_B，k(x，y)＝α×f_k(x，y)+(1-α)×f_B，k(x，y)

其中，α为预先设定的更新速率，f_k(x，y)为当前输入图像的前景区域以外的像素区域，f_B，k(x，y)为当前背景图像中与当前输入图像的前景区域以外的像素区域相对应的像素区域；当前背景图像中对于与当前输入图像的前景区域相对应的像素区域不进行更新。

Images