CN103325112A - 动态场景中运动目标快速检测方法 - Google Patents

Abstract

一种动态场景中运动目标快速检测方法。其包括使用CenSurE特征点和单应性变换模型对运动图像序列帧间配准，得到前一帧以当前帧作为参考的配准帧；将该配准帧与当前帧作差得到帧差图生成前景掩膜，根据前景掩膜在当前帧中空间分布信息构建实时更新的动态背景，用背景减除法得到背景减除图；统计帧差图和背景减除图中每个像素灰度的概率密度，当某一像素灰度级的概率密度和大于2φ(k)-1时，以该灰度级作为自适应分割阈值，灰度值大于该阈值的像素判为前景像素，否则为背景像素。本发明方法能达到15帧/秒处理速度，且在保证检测速度同时得到较完整运动目标，因此可满足动态场景中运动目标检测快速性、抗噪性、光照适应性及目标完整性等指标要求。

Description

动态场景中运动目标快速检测方法

技术领域

本发明属于民用航空技术领域，特别是涉及一种动态场景中运动目标快速检测方法。

背景技术

运动目标检测是从视频序列图像中提取出运动物体，是计算机视觉中目标识别、跟踪和行为分析等更高层处理的重要基础。根据摄像机的运动状态，运动目标检测可以分为静态场景中运动目标检测和动态场景中运动目标检测两类。其中静态场景中运动目标检测技术相对比较成熟，在固定视频监控场所已经有了广泛的应用，常用的算法有基于混合高斯模型的背景减除法等。在动态场景中，由于摄像机和目标都在运动，因此增加了目标检测的难度，所以是目前运动目标检测研究的热点和难点问题，并且其在军事目标打击、航拍地面目标的跟踪和旋转摄像机下的全景监控等领域有着广阔的应用前景。

目前动态背景下运动目标检测方法主要有光流法和背景运动补偿法两大类。

其中光流法是根据目标和背景运动速度不同导致光流存在较大差异的思想来判别运动物体，光流法检测运动目标的主要优点是不受摄像机运动状态的限制，可以同时适用于静态背景和动态背景下的运动目标检测。但光流法的缺点是计算量巨大，因此难以满足实时性的要求，而且受光照、噪声和目标遮挡等因素的影响较大，从而限制了其应用范围。

背景运动补偿法是通过背景运动参数和变换模型对连续帧进行配准，将动态场景中运动目标检测问题转化为静态场景下的运动目标检测问题，运动补偿法可参考下面的文献：

[1]SUHR J K，JUNG H G，LI G，et al..Background compensationfor pan-tilt-zoom cameras using1-D feature matching and outlierrejection[J].IEEE transactions on circuits and systems for videotechnology，2011，21(3)：371-377.

[2]王梅，屠大维，周许超.SIFT特征匹配和差分相乘融合的运动目标检测[J].光学精密工程，2011，19(4)：892-899.

[3]朱娟娟，郭宝龙.复杂场景中基于变块差分的运动目标检测[J].光学精密工程，2011，19(1)：183-191.

运动补偿后相邻两帧之间背景相对静止，用帧差法检测出的两帧差异像素就是待检测的运动目标。帧差法的主要优点是运算简单，易于实现，且对场景中整体光照变化具有较好的适应性，但对于整体灰度分布均匀的运动目标，帧差法的检测结果会有较大的空洞，因此目标不完整并且有重影现象。

在帧差法的基础上采用差分相乘的方法能消除检测结果中目标的重影现象，但差分相乘会减少前景信息，结果造成更大的空洞现象。

变块差分能在一定程度上消除空洞，但分块处理使得目标边缘有锯齿现象，而且该方法中背景块和前景块的判别阈值不易确定，并且受噪声影响较大。

对于目标的初步检测结果，现有的方法通常是固定阈值或OTSU方法提取二值前景像素，以便进一步进行目标跟踪、识别与行为分析等后续处理。其中固定阈值二值法适用于静态场景中前景和背景的分割，具有简单易行的特点，但在摄像机处于运动状态的动态场景中，固定阈值分割出的前景像素将会不准确，甚至分割不到有效的前景像素。OTSU方法能根据最大类间方差原则确定分割阈值，能自适应场景的变化，但对于灰度直方图不存在明显的峰和谷的目标初步检测结果图来说，OTSU法二值分割效果不好，这将大大增加了场景中目标误检的风险。

发明内容

为了解决上述问题，本发明的目的在于提供一种目标检测实时性和结果完整性的动态场景中运动目标快速检测方法。

为了达到上述目的，本发明提供的运动目标快速检测方法包括按顺序进行的下列步骤：

1)使用CenSurE特征点和单应性变换模型快速、准确地对运动图像序列帧间进行配准，从而补偿因摄像机运动而引起的帧间背景的平移、旋转和缩放量，以得到前一帧的配准帧；

2)在时序上，将当前帧与上述前一帧的配准帧作差得到帧差图以生成运动目标前景掩膜，然后根据该前景掩膜在当前帧中的空间分布信息构建实时更新的动态背景，最后用背景减除法得到包含有运动前景目标的背景减除图；

3)采用直方图统计步骤2)中帧差图和背景减除图中每个像素灰度的概率密度，当某一像素灰度级的概率密度和大于阈值2φ(k)-1时就是所求的自适应分割阈值，灰度值大于该阈值的像素判为前景像素，否则为背景像素。

所述的步骤1)中的配准方法如下：首先提取前后相邻两帧的CenSurE特征点并用U-SURF生成特征点描述符，然后以欧氏距离作为特征的相似性度量并采用特征分类策略快速匹配相邻两帧的特征点集，再通过随机抽样一致算法过滤掉部分外点而得到准确的背景匹配点对，最后利用最小二乘法计算出精确的帧间单应性矩阵，根据该单应性矩阵对前一帧进行变换得到前一帧的配准帧。

所述的步骤2)中包含有前景运动目标的背景减除图产生方法如下：首先将运动图像序列的当前帧与上述前一帧的配准帧作差得到帧差图，然后将该帧差图自适应二值分割，用轮廓检测法检测到运动目标图像块并用最小外接矩阵将该区域标定，从而在时域得到包含了运动目标最大可能区域的前景掩膜；接着取序列的第一帧作为初始背景帧，并实时地将背景帧中对应的前景掩膜区域用前一帧经步骤1)得到的配准帧的对应区域替代，将背景帧的其他区域用当前序列对应区域来更新，从而得到动态更新的实时背景图像，最后用背景减除法得到包含前景运动目标的背景减除图。

所述的步骤3)中自适应分割阈值的分割方法如下：对步骤2)中的帧差图和背景减除图，统计图上每一像素与该帧所有像素均值的差值大小，若该差值小于某一阈值，则判为背景像素，否则为前景像素；再根据随机变量的正态分布规律，统计每一像素灰度级分布概率，若该分布概率大于某一阈值，则判为前景像素，否则为背景像素，该像素对应的灰度级即为自适应分割阈值。

本发明提供的动态场景中运动目标快速检测方法能够达到15帧/秒的处理速度，且在保证检测速度的同时还能够得到较完整的运动目标，因此可以基本满足动态场景中运动目标检测的快速性、抗噪性、光照适应性以及目标完整性等指标的要求。

附图说明

图1为本发明提供的动态场景中运动目标快速检测方法流程图。

图2a-图2d分别为Coastguard标准测试序列中相邻两帧图像、利用差分相乘法对上述图像的运动目标检测结果以及利用本发明方法对上述图像的运动目标检测结果。

图3a-图3d分别为Stefan标准测试序列中相邻两帧图像、利用差分相乘法对上述图像的运动目标检测结果以及利用本发明方法对上述图像的运动目标检测结果。

图4a-图4d分别为室内机器人标准测试序列中相邻两帧图像、利用差分相乘法对上述图像的运动目标检测结果以及利用本发明方法对上述图像的运动目标检测结果。

图5为利用OTSU法分别对图2b、图3b和图4b图像中运动目标检测结果进行前景二值分割的结果。

图6为利用本发明方法分别对图2b、图3b和图4b图像中运动目标检测结果进行前景二值分割的结果。

具体实施方式

下面结合附图和具体实施例对本发明提供的动态场景中运动目标快速检测方法进行详细说明。

如图1所示，本发明提供的动态场景中运动目标快速检测方法包括按顺序进行的下列步骤：

1)首先，根据CenSurE特征点提取快速性和精确性的特点，使用该特征点和单应性变换模型快速、准确地对运动图像序列帧间进行配准，从而补偿因摄像机运动而引起的帧间背景的平移、旋转和缩放量，以得到前一帧的配准帧；

所述的配准方法如下：首先提取前后相邻两帧的CenSurE特征点并用U-SURF生成特征点描述符，然后以欧氏距离作为特征的相似性度量并采用特征分类策略快速匹配相邻两帧的特征点集，再通过随机抽样一致算法(RANSAC)过滤掉部分外点而得到准确的背景匹配点对，最后利用最小二乘法计算出精确的帧间单应性矩阵，根据该单应性矩阵对前一帧进行重采样得到当前帧的配准帧。

配准关键在于计算运动图像序列的帧间变换关系，然后通过该变换补偿由于摄像机运动而引起的背景运动。平面单应性定义为从一个平面到另一个平面的投影映射，单应性矩阵将源图像平面上点集位置与目标图像平面上点集位置关联起来。

在实际工程中，相邻两帧之间通常只有几个像素距离的小范围变化，动态场景缓慢变化而不会发生突变，因此求解单应性矩阵所需的特征点提取算法需要实时性较好并且对小尺度的平移、旋转和缩放变化具有很好的不变性，对于光照、噪声和一定程度的视角变化也具有适应性，CenSurE能较好地满足上述要求。

CenSurE是一种计算效率极高的局部不变特征，主要思路是首先利用双层高斯拉普拉斯滤波器构建尺度空间，用积分图像加速计算每个像素的中心环绕哈尔小波响应值，然后采用非极大值抑制方法检测局部极值，最后滤除响应值较小和分布在边缘或线上的不稳定点。

考虑到相邻两帧之前的角度偏差并不大，Bay等人提出的SURF算法中提到的U-SURF特征描述就能很好地满足小角度旋转情况下特征点鲁棒性的要求，并且运算速度较快。U-SURF特征描述子生成过程如下：依次以CenSurE特征点为中心构建20s×20s窗口(s为该特征点的尺度)，将该窗口区域均分为16个子区域，在5s×5s的子区域内以s为采样步长分别计算x和y方向上的哈尔小波响应d_x和d_y并分别赋以不同的权重系数，然后用四维向量V＝(∑d_x，∑d_y，∑|d_x|，∑|d_y|)描述该子区域，对16个子区域做同样的运算就可得到一个64维的特征描述向量，最后用归一化去除光照对描述符的影响。

采用欧氏距离作为特征向量的相似性度量，对于当前帧的特征点集中任一个特征点，在待配准的前一帧特征点集中找出欧式距离最近和次近的两个特征点，若最近距离和次近距离比满足：

d_最近/d_次近＜T             (1)

则认为距离最近的两特征点匹配成功。考虑到CenSurE特征点有极大值和极小值两类，本发明将其加以分类，提高了匹配速度，同时也提高了匹配的准确率。此时匹配点对集中可能还有一些来自于运动前景目标或者存在少数误匹配点对，用随机抽样一致算法(RANSAC)将其滤除。

平面单应性定义为从一个平面到另一个平面的投影映射，它将待配准的上一帧特征点集的位置和当前帧特征点集的位置关联起来，单应性矩阵：

$H=\left(\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right)=\left(\begin{array}{c}{h}_1^T\\ h_2^T\\ h_3^T\end{array}\right)---\left(2\right)$

其中

平面单应性矩阵只有8个自由度，令h₃₃＝1。

假设p＝(x，y，l)^T和q＝(u，v，1)^T是匹配点对的齐次坐标，则通过单应性矩阵将p变换到q：

q＝Hp                    (3)

其中H包含相邻两帧间的平移、旋转和缩放等变化。

将上式展开得到：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{c}{h}_1^{T}p\\ h_2^{T}p\\ h_3^{T}p\end{array}\right)=\left(\begin{array}{c}{h}_1^{T}p/h_3^{T}p\\ h_2^{T}p/h_3^{T}p\\ 1\end{array}\right),$ 即： $\left\{\begin{array}{c}{h}_1^{T}p-u\left(h_3^{T}p\right)=0\\ h_2^{T}p-v\left(h_3^{T}p\right)=0\end{array}\right.,$ 将 $h_i^T={(h_{i1},h_{i2},h_{i3})}^T$ 代入整理得到关于h_ij的八元一次方程组：

$\left\{\begin{array}{c}{h}_{11}x+h_{12}y+h_{13}-u{h}_{31}x-u{h}_{32}y=u\\ h_{21}x+h_{22}y+h_{23}-v{h}_{31}x-v{h}_{32}y=v\end{array}\right.---\left(4\right)$

从式(4)可知，理论上计算8个自由度的平面单应性矩阵只需4个匹配点对。为了得到更精确和鲁棒的变换参数，在背景区域提取更多的匹配点对，通过最小二乘法求最优变换矩阵。用矩阵表示如式(5)所示。

AX＝B                      (5)

其中，

$A_{2n\×8}={\left(\begin{array}{cccccccc}{x}_1& y_1& 1& 0& 0& 0& -x_1{u}_1& -y_1{u}_1\\ \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·& \·& \·\\ & & & x_1& y_1& 1& -x_1{v}_1& -y_1{v}_1\end{array}\right)}_{2n\×8},$

X_8×1＝(h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂)^T，B_2n×1＝(x₁...u₁...)_2n×1 ^T，(x_i，y_i)与(u_i，v_i)分别为前一帧和当前帧中匹配的背景特征点对坐标，n≥4。

利用帧间单应性矩阵，将上一帧映射到配准帧上，非整数位置上的像素灰度值由双线性插值得到，补偿由于摄像机运动而引起的背景旋转、缩放及平移等变化。六参数的仿射变换模型也可以描述平面图像的平移、旋转和缩放等线性变换，用于运动摄像机下背景的全局运动估计，但该模型只能对平面图像进行平行映射，这就需要目标场景距离摄像机足够远，从而使目标场景可视为一平面。事实上，仿射变换可以理解为平面单应性变换中单应性矩阵元素h₃₁＝h₃₂＝0时的一种特例，本发明中的配准模型能够描述3D空间中的平面到平面之间映射关系，较仿射变换模型更具一般性。

2)经过步骤1)对运动图像序列帧间配准后，序列的相邻两帧之间背景相对静止，消除了由于摄像机运动等引起的场景中背景的平移、旋转和缩放等变化，因此场景中主要差异来自于前景目标运动。

本发明利用时空信息相结合的方法提取到较为完整运动目标，总体思路如下：首先在时序上，将当前帧与上述前一帧的配准帧作差得到帧差图以生成运动目标前景掩膜，然后根据该前景掩膜在当前帧中的空间分布信息构建实时更新的动态背景，最后用背景减除法得到包含有运动前景目标的背景减除图；

设f(x，y，t)为运动图像序列的第t帧，f′(x，y，t-1)为将序列第t帧作为参考帧时第t-1帧图像的配准结果，用帧差法得到帧差图如下：

dif(x，y，t)＝|f(x，y，t)-f′(x，y，t-1)|     (6)

将上述帧差图二值分割：

$\mathrm{difB}=(x,y,t)=\left\{\begin{array}{cc}1,& \mathrm{dif}(x,y,t)\&GreaterEqual;{\mathrm{Th}}_1\\ 0,& \mathrm{dif}(x,y,t)<{\mathrm{Th}}_1\end{array}\right.---\left(7\right)$

其中Th₁为帧差图的前景和背景的自适应分割阈值，步骤3)介绍了该自适应分割阈值的确定方法。

用轮廓检测法检测二值化的帧差图中运动目标块，去除面积较小的噪声块，将运动目标块用最小外接矩阵算法标定起来并将该区域内像素灰度值设为1，其它像素的灰度值则置0。由此得到时域运动目标前景掩膜M(x，y，t)：

它包含了运动目标最大的可能区域。

背景减除法能比帧差法提取到更完整的运动前景目标，本文创建一个实时更新的动态背景B(x，y，t)：

(1)首先取运动图像序列的第一帧作为第一帧背景B(x，y，t)＝f(x，y，t)，t＝1。

(2)根据前景掩膜的空间分布信息，实时地更新背景图像，背景更新原则是：运动前景掩膜区域用前一帧经步骤1)得到的配准帧的背景区域替代，其他区域用当前运动图像序列帧来更新，即：

其中B′(x，y，t-1)表示t-1时刻的序列图像以当前帧作为参考帧经步骤1)配准后的图像：

B′(x，y，t-1)＝T(B(x，y，t-1))             (10)

T(·)表示步骤1)中提到的前一帧与当前帧之间的单应性变换，

为背景更新速率因子，

最后，用背景减除法得到包含有运动前景目标的背景减除图：

Dif(x，y，t)＝f(x，y，t)-B(x，y，t)         (11)

二值分割上述背景减除图得到运动前景目标：

$F(x,y,t)=\left\{\begin{array}{cc}255,& \mathrm{Dif}(x,y,t)\&GreaterEqual;{\mathrm{Th}}_2\\ 0,& \mathrm{Dif}(x,y,t)<{\mathrm{Th}}_2\end{array}\right.---\left(12\right)$

其中Th₂为背景减除图的前景和背景的自适应分割阈值，步骤3)介绍了该自适应分割阈值的确定方法。

3)为了使步骤2)中前景和背景的自适应分割阈值能够自适应场景的变化，本发明最后提出一种基于概率统计的方法计算前景和背景的自适应分割阈值，以实现前景目标的快速准确分割。

背景和前景的自适应分割阈值不能太小，否则会引入过多的噪声，也不能太大，否则会漏检很多运动目标前景点。Otsu算法根据最大类间方差原则确定分割阈值，但对于灰度直方图不存在明显的峰和谷的帧差图和背景减除图来说，二值分割效果不好。

本发明基于混合高斯背景建模算法中背景点|X-μ|≤2.5σ的判别思想，充分利用帧差图和背景减除图中灰度正态分布的特点，提出一种概率统计法的快速自适应分割阈值计算方法。具体来说，本发明采用直方图统计步骤2)中的帧差图和背景减除图中每个像素灰度的概率密度，当某一像素灰度级的概率密度和大于2φ(k)-1时，以该灰度级作为自适应分割阈值，灰度值大于该阈值的像素判为前景像素，否则为背景像素。

对步骤2)中的帧差图和背景减除图，统计每一像素与该帧所有像素均值的差值大小，若该差值小于一定阈值，则判为背景像素，否则为前景像素：

而根据随机变量的正态分布规律有：

P{|d(x，y，t)-u_t|＜kδ_t}

＝P{-kδ_t＜d(x，y，t)-u_t＜kδ_t}

＝P{u_t-kδ_t＜d(x，y，t)＜u_t+kδ_t}

＝φ(k)-φ(-k)

＝2φ(k)-1                          (14)

其中φ(·)表示标准正态分布函数，公式(14)说明对于步骤2)中的帧差图和背景减除图中每一个像素，当其灰度级大于2φ(k)-1时则为前景像素，否则为背景像素。本发明的前景和背景的自适应分割阈值方法不需要显式地计算每帧像素具体的均值和方差，大大简化了运算，具有简单高效的特点。

为了验证本发明的效果，本发明人给出了在配置为Pentium(R)Dual-Core2.70GHz CPU，2GB RAM的PC机上，使用Visual Studio2010集成开发环境和OpenCV2.3.1对运动摄像机下的标准测试序列：1)大小为352×288的Coastguard标准测试序列；2)大小为352×288的Stefan标准测试序列；3)大小为320×240的室内机器人(Robots)跟拍序列(http://www.ces.clemson.edu/～stb/images/)进行测试的结果，如图2-图6所示。

本发明充分利用了CenSurE特征对于小尺度的缩放、旋转和平移等变化的鲁棒性以及特征点位置的精确性，保证了帧间变换参数计算的精确性，单应性变换模型比仿射变化模型更适用于一般摄像机运动场景中帧间背景的配准。

CenSurE算子的极高计算效率和U-SURF描述符快速性以及本发明采用的概率统计法前景分割的高效性，使得本发明方法具有较快的运行速度，测试序列的实验结果达到15帧/s，较基于SIFT特征匹配的差分相乘算法，处理速度提高了近10倍，如下面表1所示。

表1不同方法的耗时比较

比较图2c和图2d，图3c和图3d，图4c和图4d可以看出，本发明在保证目标检测速度的同时，采用时空相关算法比差分相乘算法能检测到更多的运动前景像素，检测到的目标更为完整，大大降低了目标漏检的风险。

最后对比图5和图6两种前景分割方法可以看出，OTSU法的前景和背景分割结果会引入过多的噪声，本发明的基于概率统计方法能分割出较准确地前景像素。

总的来看，本发明同时兼顾了动态场景中运动目标检测实时性和完整性的要求，在降低算法耗时的情况下，同时提高了目标检测结果的完整性，特别适用于复杂场景中摄像机缓慢运动的条件下运动目标的检测。

Claims (4)

1.一种动态场景中运动目标快速检测方法，其特征在于：所述的运动目标快速检测方法包括按顺序进行的下列步骤：

1)使用CenSurE特征点和单应性变换模型快速、准确地对运动图像序列帧间进行配准，从而补偿因摄像机运动而引起的帧间背景的平移、旋转和缩放量，以得到前一帧的配准帧；

2)在时序上，将当前帧与上述前一帧的配准帧作差得到帧差图以生成运动目标前景掩膜，然后根据该前景掩膜在当前帧中的空间分布信息构建实时更新的动态背景，最后用背景减除法得到包含有运动前景目标的背景减除图；

3)采用直方图统计步骤2)中帧差图和背景减除图中每个像素灰度的概率密度，当某一像素灰度级的概率密度和大于阈值2φ(k)-1时就是所求的自适应分割阈值，灰度值大于该阈值的像素判为前景像素，否则为背景像素。

2.根据权利要求1所述的动态场景中运动目标快速检测方法，其特征在于：所述的步骤1)中的配准方法如下：首先提取前后相邻两帧的CenSurE特征点并用U-SURF生成特征点描述符，然后以欧氏距离作为特征的相似性度量并采用特征分类策略快速匹配相邻两帧的特征点集，再通过随机抽样一致算法过滤掉部分外点而得到准确的背景匹配点对，最后利用最小二乘法计算出精确的帧间单应性矩阵，根据该单应性矩阵对前一帧进行变换得到前一帧的配准帧。

3.根据权利要求1所述的动态场景中运动目标快速检测方法，其特征在于：所述的步骤2)中包含有前景运动目标的背景减除图产生方法如下：首先将运动图像序列的当前帧与上述前一帧的配准帧作差得到帧差图，然后将该帧差图自适应二值分割，用轮廓检测法检测到运动目标图像块并用最小外接矩阵将该区域标定，从而在时域得到包含了运动目标最大可能区域的前景掩膜；接着取序列的第一帧作为初始背景帧，并实时地将背景帧中对应的前景掩膜区域用前一帧经步骤1)得到的配准帧的对应区域替代，将背景帧的其他区域用当前序列对应区域来更新，从而得到动态更新的实时背景图像，最后用背景减除法得到包含前景运动目标的背景减除图。

4.根据权利要求1所述的动态场景中运动目标快速检测方法，其特征在于：所述的步骤3)中自适应分割阈值的分割方法如下：对步骤2)中的帧差图和背景减除图，统计图上每一像素与该帧所有像素均值的差值大小，若该差值小于某一阈值，则判为背景像素，否则为前景像素；再根据随机变量的正态分布规律，统计每一像素灰度级分布概率，若该分布概率大于某一阈值，则判为前景像素，否则为背景像素，该像素对应的灰度级即为自适应分割阈值。

Images