CN103530893A - 相机抖动场景下基于背景差和运动信息的前景检测方法 - Google Patents

Abstract

本发明公开了一种相机抖动场景下基于背景差和运动信息的前景检测方法，属于图像处理与计算机视觉技术领域。本发明通过分析相机抖动场景下像素点的运动信息，采用概率阈值判断去除相机抖动造成的误检前景点，提高运动检测的准确性，解决现有运动检测方法对场景中相机抖动适应性不高的问题。在背景差法运动检测中，相机抖动造成边缘处像素点在前一帧被检测为前景点，当前帧却被检测为背景点，下一帧又可能被检测为前景点。运动目标运动是由前一帧的运动像素点移动过来，在序列图像中形成连续的运动，且连续运动持续的时间与运动物体的尺寸有关。获取相机抖动造成的运动信息的概率分布，实现相机抖动场景下误检前景的剔除。

Description

相机抖动场景下基于背景差和运动信息的前景检测方法

技术领域

本发明属于图像处理与计算机视觉技术领域，具体地说，涉及一种相机抖动场景下基于背景差和运动信息的前景检测方法，更具体地说，涉及一种通过分析相机抖动造成背景运动与真实物体运动的差异性以获得精确运动目标的检测方法。

背景技术

运动目标检测是智能视频***中各种智能分析处理的基础和关键所在，它的目的是在序列图像中检测出变化的区域并将运动的目标从背景图像中提取出来，为后续的运动目标识别、跟踪以及行为分析提供了支持。

目前，常用的运动目标检测算法主要有帧间差分法、光流法和背景差分法。其中，帧间差分法计算简单实时性强，但其提取的目标前景内部容易出现空洞。光流法在动态场景中能有着好的检测结果，但是其计算复杂。背景差法是通过提取场景图像中的特征数据来对该场景的背景进行背景参考图像的构建，将当前帧与构建的背景参考图像相减，再对差值结果进行阈值判决，从而分割出运动前景，其在计算速度和检测精度上有着好的效果而被人们广泛研究。但是背景差法的检测精度取决于参考背景图像构建的精度，即构建的背景参考图像是否能够真实反映当前场景，且参数的实时更新能否适应背景的变化，这些背景变化有：光照变化（包括缓慢的光照变化和光照的突变），背景中随风摆动的树叶、波浪、云、烟、雨、雾等运动的物体，摄像机的抖动和阴影问题等。由于构建背景参考图像需要考虑这些困难因素，使得目前构建一个好的背景建模以及自适应背景图像更新的算法成为一项比较困难的工作。

针对上述的问题，Stauffer等人于1999年在《IEEE Computer Society Conference onComputer Vision and Pattern Recognition》上发表了《Adaptive background mixture models forreal-time tracking》提出的自适应混合高斯方法，采用多个高斯分布描述像素过程，该方法能够适应场景的缓慢变化，但这类方法需要事先假定背景分布模型及进行模型参数估计和优化，且不能适应光照或背景的突变问题；Elgammal等人于2000年在《IEEE Computer SocietyConference on Computer Vision》上发表了《Non-parametric background model for backgroundsubtraction》提出的一种非参数核密度估计算法，对样本数据用核函数进行估计，选出概率密度最大的样本数据作为背景，该方法能够适应不同的场景，不过由于采样样本中包含噪声且对图像非典型运动像素也进行了核密度估计，由此不可避免地造成计算大，产生估计错误噪声等问题。采用单个全局阈值；Kim等人于2005年在《Real-Time Imaging》上发表了《Real-timeforeground-background segmentation using code-book model》提出的一种结构化的Codebook的运动检测方法，利用现存码元和新像素值进行比较，区别出背景和前景像素，具有很好的实时性，但存在参数设置复杂和理论支持不足的缺点；但以上这些运动检测算法都是基于场景的像素或色彩分布构建背景图像，其在相机抖动场景中检测效果仍存在缺陷。

发明内容

1、要解决的问题

针对现有运动检测方法对场景中相机抖动适应性不高的问题，本发明提出了一种相机抖动场景下基于背景差和运动信息的前景检测方法，其通过分析相机抖动场景下像素点的运动信息，采用概率阈值判断去除相机抖动造成的误检前景点，提高运动检测的准确性，在背景差法运动检测中，相机抖动场景下，相机抖动造成边缘处像素点在前一帧被检测为前景点，当前帧却被检测为背景点，下一帧又可能被检测为前景点，运动目标运动是由前一帧的运动像素点移动过来，在序列图像中形成连续的运动，且连续运动持续的时间与运动物体的尺寸有关。基于这种运动信息的差异性，获取相机抖动造成的运动信息的概率分布，实现相机抖动场景下误检前景的剔除。

2、技术方案

本发明的目的通过以下技术方案实现：

一种相机抖动场景下基于背景差和运动信息的前景检测方法，其步骤为：

（1）采用平均值背景法构建初始背景图像

连续采集视频序列中前N帧图像，将该N帧图像对应像素灰度值的平均值作为初始背景图像的像素灰度值，计算公式如下：

$B_t(x,y)=\frac{1}{N}{\mathrm{\Σ}}_{i=t-N+1}^N{I}_i(x,y)$

其中，I_i(x,y)表示该N帧图像中第i帧图像在像素点(x,y)处对应的像素灰度值，B_t(x,y)为t时刻初始背景图像中像素点(x,y)对应的像素灰度值；

（2）采用背景差法构建初始运动目标的二值图像

将当前帧图像I_t与步骤（1）中的初始背景图像B_t相减得到差值图像，对差值图像进行自适应阈值分割，如果像素值大于设定的阈值，则该像素为候选的前景像素点，设为“1”，否则为背景像素点，设为“0”，得到二值图像L_t，如下式所示，

$L_t(x,y)=\left\{\begin{array}{cc}1,& {|I}_t(x,y)-B_t(x,y)|>\mathrm{th}\\ 0,& \mathrm{else}\end{array}\right.$

其中，L_t(x,y)＝1表示t时刻像素点(x,y)为运动前景点，L_t(x,y)＝0表示t时刻像素点(x,y)是背景点，th表示二值判决阈值；

（3）获取相机抖动场景下背景运动信息的分布概率密度函数及误检判决阈值

采集连续的M帧二值图像L_m(m∈[1,M])，其中，100≤M≤300，统计像素点(x,y)在M帧二值图像L_m(m∈[1,M])中被交替检测为前景点和背景点的持续帧数，记为向量l(x,y)＝{l₁,l₂,…，l_T}，其中前景点的持续帧数用正数表示，背景点的持续帧数用负数表示，将该持续帧数作为初始样本集，用Parzen核密度估计该样本集的概率密度函数f_t(l)，采用Mean-shift算法，求出f_t(l)的极值，记为E_v，并设误检判决阈值th1＝0.1E_v；

（4）剔除因相机抖动造成的误检前景

在步骤（3）的基础上，从第M+1帧开始，对于t时刻二值图像L_t中的前景点(x,y)，统计其在最近的W帧二值图像L_q(x,y)(q∈[t-W+1,t])中被交替检测为前景点和背景点的持续帧数，记为向量l_new(x,y)＝{l_nwe1,l_new2,…}，其中，W的值为视频序列的帧率，用概率密度函数f_t(l)计算出向量{l_nwe1,l_new2,…}中各个元素出现的概率{p_new1(x,y),p_new2(x,y),…}，并对{p_new1(x,y),p_new2(x,y),…}求算术平均值，记为p_t(x,y)；将p_t(x,y)与误检判决阈值th1比较，不小于误检判决阈值th1则该点为相机抖动造成的误检前景像素点，则将L_t(x,y)置为“0”，视为背景像素点，否则置为“1”，视为前景像素点；

（5）采用选择性的自适应更新的方式更新初始背景，采用“先进先出”的方式更新概率密度估计的样本集。

优选地，所述的步骤（2）中二值判决阈值th采用自适应方式更新，方法如下：

计算当前帧图像I_t中所有背景点的像素灰度值的标准差σ_t，计算公式如下，

其中，I_tp(x,y)表示当前帧图像I_t中第p个背景点的像素灰度值，Num表示当前帧图像I_t中背景点的总个数，μ_t表示当前帧图像I_t中所有背景点像素灰度值的平均值，σ_t表示当前帧图像I_t中所有背景点像素灰度值的标准差，取二值判决阈值th为5σ_t。

优选地，所述步骤（3）中概率密度函数f_t(l)的求法如下，

对于任意的l_n（1≤n≤T）出现的概率f_t(l_n)采用非参数的核密度估计，公式如下：

$f_t\left(l_n\right)=\frac{1}{T}{\mathrm{\Σ}}_{j=1}^T{K}_h(l_n-l_j)$

其中，K_h是核函数，核函数的窗宽为h，

n是样本长度，σ_h是样本的标准差， ${\mathrm{\σ}}_h=\sqrt{\frac{\underset{j=1}{\overset{T}{\mathrm{\Σ}}}(l_j-(\left(\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{l}_j\right)/T))}{T}};$

核函数K_h选择高斯函数作为核函数，则：

$f_t\left(l\right)=\frac{1}{T}{\mathrm{\Σ}}_{j=1}^T\frac{1}{\sqrt{{2\mathrm{\πh}}^2}}{e}^{(-\frac{{(l_n-l_j)}^2}{{2h}^2})}$

采用Mean-shift算法，求概率密度函数f_t(l)的极值E_v：

①Mean-shift的起始点l₀=0；

②计算Mean-shift偏移量：

$M\left(l_0\right)\≡\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{G}_H(l_j-l_0)w\left(l_j\right)(l_j-l_0)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{G}_H(l_j-l_0)w\left(l_j\right)}$

其中，G(l)是一个单位核函数，G_H(l_j-l₀)＝|H|^-1/2G(H^-1/2(l_j-l₀))，

H是一个正定的对称n×n矩阵，我们一般称之为带宽矩阵，

w(l_j)≥0是一个赋给采样点x_j的权重；

③令 $\stackrel{\‾}{l}=M\left(l_0\right)+l_0;$

④若

停止循环，则

为极值点，其对应的概率极值为

其中ξ为容许误差；否则，令

并回到步骤②。

优选地，所述步骤（4）中，剔除相机抖动造成的误检前景的具体方法如下式所示：

$L_t(x,y)=\left\{\begin{array}{cc}1,& p_t(x,y)>0.1E_v\\ 0,& p_t(x,y)\≤{0.1E}_v\end{array}\right.$

p_t(x,y)＞0.1E_v表示点(x,y)为相机抖动造成的误检前景像素点，则将L_t(x,y)置为“0”，否则视为真实运动目标前景点，将L_t(x,y)置为“1”。

优选地，所述步骤（5）中，选择性自适应更新初始背景的方法如下，

采用前一帧二值图像的检测结果作为更新的判定依据，如果当前帧二值图像L_t的像素点(x,y)在前一帧二值图中的值为0，则表示在L_t中此像素点属于背景点，则该像素点参与背景图像更新，并以一定的比例更新到背景图像中，否则不参与更新，更新公式如下：

其中，B_t(x,y)为初始背景图像中像素点(x,y)对应的像素灰度值，B_t+1(x,y)为更新后的背景图像中像素点(x,y)对应的像素灰度值，α为一个常量，代表背景图像的更新速度，此处，α＝e^-(1+t/40)+Δ，Δ＝0.001；

采用“先进先出”的方式更新概率密度估计样本集的方法如下：

利用二值图像L_t来更新步骤（3）中的样本集L_m(x,y)(m∈[1,M])，采用“先进先出”的更新方式，以上一帧二值图像为参考，如果当前帧二值图像L_t中L_t(x,y)的值发生“0”、“1”跳变，则将L_t(x,y)加到样本集中，并去除L₁(x,y)的值，如果没有发生跳变，则样本集保持不变。

3、有益效果

相比于现有技术，本发明的有益效果为：

（1）本发明在背景差法提取候选前景的基础上，分析二值图像中的运动信息，获得的每个像素点的运动信息分布规律来剔除相机抖动造成误检为前景的背景点，弥补了基于图像中每个像素的颜色值（灰度或色彩）运动检测方法在相机抖动场景下的不足，降低了相机抖动场景下误检率；

（2）本发明采用像素被交替检测为前景和背景的持续时间来表示像素点的运动行为，用非参数的核密度估计该运动行为的概率密度函数，无需预先假设样本的分布模型，且实现简单；

（3）本发明采用自适应的判决阈值，避免了单个的全局阈值不能适应不同场景的变化问题，提高了运动检测对场景的鲁棒性；

（4）本发明的二值判决阈值th为5σ_t，由于图像中每个像素点的噪声为随机过程，并符合高斯分布，根据切比雪夫不等式，

对于任意正数ε，当ε＝5σ时，误判率小于0.04。

附图说明

图1为本发明的算法流程图；

图2为Sidewalk视频中第425帧图像的灰度图像；

图3为图2采用平均值背景法处理后的二值图像；

图4为图2中a点在连续300帧二值图像中的运动信息分布图；

图5为图2中b点在连续300帧二值图像中的运动信息分布图；

图6为图2中a点运动信息直方图；

图7为图2中a点运动信息的概率密度曲线图；

图8为本发明背景图像更新速度与时间的关系图；

图9为Sidewalk中对所检测图像使用本发明的运动检测方法与使用平均值背景差方法、非参数核密度估计方法的运动检测结果对比图，其中，图9中的a为所检测图像的灰度图像，图9中的b是平均值背景差法的运动检测结果，图9中的c是非参数核密度估计方法的运动检测结果，图9中的d是本发明的运动检测结果；

图10为本发明算法、非参数核密度估计法与平均值背景法的正确检测率对比曲线；

图11为本发明算法、非参数核密度估计法与平均值背景法的虚检率对比曲线；

图12为Badminton中对所检测图像使用本发明的运动检测方法与使用平均值背景差方法、非参数核密度估计方法的运动检测结果对比图，其中，图12中的a为所检测图像的灰度图像，图12中的b是平均值背景差法的运动检测结果，图12中的c是非参数核密度估计方法的运动检测结果，图12中的d是本发明的运动检测结果。

具体实施方式

下面结合具体附图及实施例对本发明进行详细描述。

实施例1

如图1所示，为本发明的算法流程图，本实施例中测试的图片来自于change detection网站提供的Camera Jitter视频库。如图2所示，为视频库室外Sidewalk视频中的第425帧图像的灰度图像，图中的a点位于斑马线的边缘，b点位于道路上，其步骤为：

（1）采用平均值背景法构建初始背景图像

连续采集视频序列中前15帧图像（即第411帧图像到第425帧图像），将该15帧图像对应像素灰度值的平均值作为初始背景图像的像素灰度值，计算公式如下：

$B_t(x,y)=\frac{1}{15}{\mathrm{\Σ}}_{i=t-14}^{15}{I}_i(x,y)$

其中，I_i(x,y)表示该15帧图像中第i帧图像在像素点(x,y)处对应的像素灰度值，B_t(x,y)为t时刻初始背景图像中像素点(x,y)对应的像素灰度值；

（2）采用背景差法构建初始运动目标的二值图像

将当前帧图像I_t与步骤（1）中的初始背景图像B_t相减得到差值图像，对差值图像进行自适应阈值分割，如果像素值大于设定的阈值，则该像素为候选的前景像素点，设为“1”，否则为背景像素点，设为“0”，得到二值图像L_t，如下式所示，

$L_t(x,y)=\left\{\begin{array}{cc}1,& {|I}_t(x,y)-B_t(x,y)|>\mathrm{th}\\ 0,& \mathrm{else}\end{array}\right.$

其中，L_t(x,y)＝1表示t时刻像素点(x,y)为运动前景点，L_t(x,y)＝0表示t时刻像素点(x,y)是背景点，th表示二值判决阈值；二值判决阈值th采用自适应方式更新，方法如下：

计算当前帧图像I_t中所有背景点的像素灰度值的标准差σ_t，计算公式如下，

其中，I_tp(x,y)表示当前帧图像I_t中第p个背景点的像素灰度值，Num表示当前帧图像I_t中背景点的总个数，μ_t表示当前帧图像I_t中所有背景点像素灰度值的平均值，σ_t表示当前帧图像I_t中所有背景点像素灰度值的标准差。本发明的图像中每个像素点的噪声为随机过程，并符合高斯分布，根据切比雪夫不等式，

对于任意正数ε，当ε＝5σ时，误判率小于0.04，故取二值判决阈值th为5σ_t。

（3）获取相机抖动场景下背景运动信息的分布概率密度函数及误检判决阈值

采集连续的300帧二值图像L_m(m∈[1,300])，统计像素点(x,y)在300帧二值图像L_m(m∈[1,300])中被交替检测为前景点和背景点的持续帧数，记为向量l(x,y)＝{l₁,l₂,…l_T}，其中前景点的持续帧数用正数表示，背景点的持续帧数用负数表示，将该持续帧数作为初始样本集；用Parzen核密度估计该样本集的概率密度函数f_t(l)，采用Mean-shift算法，求出f_t(l)的极值，记为E_v，并设误检判决阈值th1＝0.1E_v；概率密度函数f_t(l)的求法如下，

对于任意的l_n（1≤n≤T）出现的概率f_t(l_n)采用非参数的核密度估计，公式如下：

$f_t\left(l_n\right)=\frac{1}{T}{\mathrm{\Σ}}_{j=1}^T{K}_h(l_n-l_j)$

其中，K_h是核函数，核函数的窗宽为h，

n是样本长度，σ_h是样本的标准差， ${\mathrm{\σ}}_h=\sqrt{\frac{\underset{j=1}{\overset{T}{\mathrm{\Σ}}}(l_j-(\left(\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{l}_j\right)/T))}{T}}.$

核函数K_h选择高斯函数作为核函数，则：

$f_t\left(l\right)=\frac{1}{T}{\mathrm{\Σ}}_{j=1}^T\frac{1}{\sqrt{{2\mathrm{\πh}}^2}}{e}^{(-\frac{{(l_n-l_j)}^2}{{2h}^2})}$

如图4、图5所示，分别为该300帧二值图像中a点和b点的运动信息分布图，图6为相机抖动下，a点被交替检测为前景和背景的持续帧数分布情况的直方图；图7为相机抖动下，a点被交替检测为前景和背景的间隔持续帧数分布情况的概率密度曲线图。

采用Mean-shift算法，求概率密度函数f_t(l)的极值E_v：

①Mean-shift的起始点l₀=0；

②计算Mean-shift偏移量：

$M\left(l_0\right)\≡\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{G}_H(l_j-l_0)w\left(l_j\right)(l_j-l_0)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{G}_H(l_j-l_0)w\left(l_j\right)}$

其中，G(l)是一个单位核函数，G_H(l_j-l₀)＝|H|^-1/2G(H^-1/2(l_j-l₀))，

H是一个正定的对称n×n矩阵，我们一般称之为带宽矩阵，

w(l_j)≥0是一个赋给采样点x_j的权重；

③令 $\stackrel{\‾}{l}=M\left(l_0\right)+l_0;$

④若

停止循环，则为极值点，其对应的概率极值为

其中ξ为容许误差；否则，令

并回到步骤②。

（4）剔除因相机抖动造成的误检前景

在步骤（3）的基础上，从第301帧开始，对于t时刻二值图像中前景点(x,y)，统计其在最近的24帧二值图像L_q(q∈[t-23,t])中被交替检测为前景点和背景点的持续帧数，记为向量l_new(x,y)＝{l_nwe1,l_new2,…}，其中，24为视频序列的帧率，用概率密度函数f_t(l)计算出向量{l_nwe1,l_new2,…}中各个元素出现的概率{p_new1(x,y),p_new2(x,y),…}，并对{p_new1(x,y),p_new2(x,y),…}求算术平均值，记为p_t(x,y)，将p_t(x,y)与误检判决阈值th1比较，不小于误检判决阈值th1则该点为相机抖动造成的误检前景像素点；如下式所示，

$L_t(x,y)=\left\{\begin{array}{cc}1,& p_t(x,y)>0.1E_v\\ 0,& p_t(x,y)\≤{0.1E}_v\end{array}\right.$

p_t(x,y)＞0.1E_v表示点(x,y)为相机抖动造成的误检前景像素点，则将L_t(x,y)置为“0”，否则视为真实运动目标前景点，将L_t(x,y)置为“1”。

（5）采用选择性的自适应更新的方式更新初始背景，采用“先进先出”的方式更新概率密度估计的样本集：

选择性自适应更新初始背景的方法如下，

采用前一帧二值图像的检测结果作为更新的判定依据，如果当前帧二值图像L₄₂₅的像素点(x,y)在前一帧二值图中的值为0，则表示在L₄₂₅中此像素点属于背景点，则该像素点参与背景图像更新，并以一定的比例更新到背景图像中，否则不参与更新，更新公式如下，

其中，B_t(x,y)为初始背景图像中像素点(x,y)对应的像素灰度值，B_t+1(x,y)为更新后的背景图像中像素点(x,y)对应的像素灰度值，α为一个常量，代表背景图像的更新速度，本实施例中，α＝e^-(1+t/40)+Δ，Δ＝0.001，如图8所示，为本实施例中背景图像更新速度与时间的关系。

采用“先进先出”的方式更新概率密度估计样本集的方法如下，

利用二值图像L_t来更新步骤（3）中的样本集L_m(x,y)(m∈[1,300])，采用“先进先出”的更新方式，以上一帧二值图像为参考，如果当前帧的二值图像L_t中L_t(x,y)的值发生“0”、“1”跳变，则将L_t(x,y)加到样本集中，并去除L₁(x,y)的值，如果没有发生跳变，则样本集保持不变。

本实施例中从两个方面对本实施例的实验结果进行了分析，第一，将本实施例的结果与平均值背景差法及非参数核密度估计法的运动检测结果比较；第二，将本实例的结果与平均值背景差法及非参数核密度估计法的运动检测结果量化比较。图9为Sidewalk中对所检测图像使用本发明的运动检测方法与使用平均值背景差方法、非参数核密度估计方法的运动检测结果对比图，其中，图9中的a为所检测图像的灰度图像，图9中的b是平均值背景差法的运动检测结果，图9中的c是非参数核密度估计方法的运动检测结果，图9中的d是本发明的运动检测结果。

为了更进一步的量化比较这三种算法的性能，本发明用正确检测率(True Positive Rate:TPR)和虚检率(False Positive Rate：FPR)作为衡量指标。对于单个像素而言，其检测结果有四种情况：正确检测为前景、正确检测为背景、误检为前景和误检为背景。因此定义正确检测率和虚检率如下，

图10为本发明算法、非参数核密度估计法与平均值背景法的正确检测率对比曲线；图11为本发明算法、非参数核密度估计法与平均值背景法的虚检率对比曲线。其中横轴表示帧数，纵轴表示TPR和FPR的百分率。在TPR曲线中，曲线值越大，正确检测率越大，算法性能越好；在FPR曲线中，曲线值越小，虚检率越小，算法性能越好。图10和图11的结果表明了本文算法具有相对较高的正确检测率和相对较低的虚检率，性能优于平均值差值法和非参数核密度估计法。

通过将本实例的运动检测方法与平均值背景差法及非参数核密度估计法的运动检测结果比较，可以得出本发明算法在相机抖动场景下，可以剔除相机抖动造成背景被误检为前景的像素点，能够较准确、完整地分割出运动目标，提高了运动检测的准确性，提高了算法对相机抖动场景的适应性。

实施例2

本实施例的一种相机抖动场景下基于背景差和运动信息的前景检测方法与实施例1相比，其不同之处在于，本实施例采用了change detection网站提供的Camera Jitter视频库中的室内Badminton视频，对于视频中的第311帧图像进行运动检测；图12为Badminton中对所检测图像使用本发明的运动检测方法与使用平均值背景差方法、非参数核密度估计方法的运动检测结果对比图，其中，图12中的a为所检测图像的灰度图像，图12中的b是平均值背景差法的运动检测结果，图12中的c是非参数核密度估计方法的运动检测结果，图12中的d是本发明的运动检测结果。步骤（1）中N=30，步骤（3）中M可以取区间[100，300]上的任意一个数，本实施例中M=100，步骤（4）中W=30。

由图12可以发现，平均值背景差值算法能够将前景准确检测出来，但运动物体由运动到静止再到运动的过程中，其静止时覆盖的背景区域易在运动物体离开后被检测为前景；非参数核密度估计法虽降低了背景边缘点的误检，但仍有大部分网球场的场地线仍被检测为前景；本发明的运动检测方法基本去除相机抖动对背景边缘点的影响，能够准确检测出运动员。

以上示意性地对本发明及其实施方式进行了描述，该描述没有限制性，如果本领域的普通技术人员受其启示，在不脱离本发明宗旨的情况下，不经创造性地设计出与该技术方案相似的方法及实施例，均应属于本专利的保护范围。

Claims (5)

1.一种相机抖动场景下基于背景差和运动信息的前景检测方法，其步骤为：

（1）采用平均值背景法构建初始背景图像

连续采集视频序列中前N帧图像，将该N帧图像对应像素灰度值的平均值作为初始背景图像的像素灰度值，计算公式如下：

$B_t(x,y)=\frac{1}{N}{\mathrm{\Σ}}_{i=t-N+1}^N{I}_i(x,y)$

其中，I_i(x,y)表示该N帧图像中第i帧图像在像素点(x,y)处对应的像素灰度值，B_t(x,y)为t时刻初始背景图像中像素点(x,y)对应的像素灰度值；

（2）采用背景差法构建初始运动目标的二值图像

将当前帧图像I_t与步骤（1）中的初始背景图像B_t相减得到差值图像，对差值图像进行自适应阈值分割，如果像素值大于设定的阈值，则该像素为候选的前景像素点，设为“1”，否则为背景像素点，设为“0”，得到二值图像L_t，如下式所示，

$L_t(x,y)=\left\{\begin{array}{cc}1,& {|I}_t(x,y)-B_t(x,y)|>\mathrm{th}\\ 0,& \mathrm{else}\end{array}\right.$

其中，L_t(x,y)＝1表示t时刻像素点(x,y)为运动前景点，L_t(x,y)＝0表示t时刻像素点(x,y)是背景点，th表示二值判决阈值；

（3）获取相机抖动场景下背景运动信息的分布概率密度函数及误检判决阈值

采集连续的M帧二值图像L_m(m∈[1,M])，其中，100≤M≤300，统计像素点(x,y)在M帧二值图像L_m(m∈[1,M])中被交替检测为前景点和背景点的持续帧数，记为向量l(x,y)＝{l₁,l₂,…，l_T}，其中前景点的持续帧数用正数表示，背景点的持续帧数用负数表示，将该持续帧数作为初始样本集，用Parzen核密度估计该样本集的概率密度函数f_t(l)，采用Mean-shift算法，求出f_t(l)的极值，记为E_v，并设误检判决阈值th1＝0.1E_v；

（4）剔除因相机抖动造成的误检前景

在步骤（3）的基础上，从第M+1帧开始，对于t时刻二值图像L_t中的前景点(x,y)，统计其在最近的W帧二值图像L_q(q∈[t-W+1,t])中被交替检测为前景点和背景点的持续帧数，记为向量l_new(x,y)＝{l_nwe1,l_new2,…}，其中，W的值为视频序列的帧率，用概率密度函数f_t(l)计算出向量{l_nwe1,l_new2,…}中各个元素出现的概率{p_new1(x,y),p_new2(x,y),…}，并对{p_new1(x,y),p_new2(x,y),…}求算术平均值，记为p_t(x,y)，将p_t(x,y)与误检判决阈值th1比较，不小于误检判决阈值th1则该点为相机抖动造成的误检前景像素点，则将L_t(x,y)置为“0”，视为背景像素点，否则置为“1”，视为前景像素点；

（5）采用选择性的自适应更新的方式更新初始背景，采用“先进先出”的方式更新概率密度估计的样本集。

2.根据权利要求1所述的一种相机抖动场景下基于背景差和运动信息的前景检测方法，其特征在于，所述的步骤（2）中二值判决阈值th采用自适应方式更新，方法如下：

计算当前帧图像I_t中所有背景点的像素灰度值的标准差σ_t，计算公式如下，

其中，I_tp(x,y)表示当前帧图像I_t中第p个背景点的像素灰度值，Num表示当前帧图像I_t中背景点的总个数，μ_t表示当前帧图像I_t中所有背景点像素灰度值的平均值，σ_t表示当前帧图像I_t中所有背景点像素灰度值的标准差，取二值判决阈值th为5σ_t。

3.根据权利要求1或2所述的一种相机抖动场景下基于背景差和运动信息的前景检测方法，其特征在于，所述步骤（3）中概率密度函数f_t(l)的求法如下，

对于任意的l_n（1≤n≤T）出现的概率f_t(l_n)采用非参数的核密度估计，公式如下：

$f_t\left(l_n\right)=\frac{1}{T}{\mathrm{\Σ}}_{j=1}^T{K}_h(l_n-l_j)$

其中，K_h是核函数，核函数的窗宽为h，n是样本长度，σ_h是样本的标准差， ${\mathrm{\σ}}_h=\sqrt{\frac{\underset{j=1}{\overset{T}{\mathrm{\Σ}}}(l_j-(\left(\underset{j=1}{\overset{T}{\mathrm{\Σ}}}{l}_j\right)/T))}{T}};$

核函数K_h选择高斯函数

作为核函数，则：

$f_t\left(l\right)=\frac{1}{T}{\mathrm{\Σ}}_{j=1}^T\frac{1}{\sqrt{{2\mathrm{\πh}}^2}}{e}^{(-\frac{{(l_n-l_j)}^2}{{2h}^2})}$

采用Mean-shift算法，求概率密度函数f_t(l)的极值E_v：

①Mean-shift的起始点l₀=0；

②计算Mean-shift偏移量：

$M\left(l_0\right)\≡\frac{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{G}_H(l_j-l_0)w\left(l_j\right)(l_j-l_0)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{G}_H(l_j-l_0)w\left(l_j\right)}$

其中，G(l)是一个单位核函数，G_H(l_j-l₀)＝|H|^-1/2G(H^-1/2(l_j-l₀))，

H是一个正定的对称n×n矩阵，我们一般称之为带宽矩阵，

w(l_j)≥0是一个赋给采样点x_j的权重；

③令 $\stackrel{\‾}{l}=M\left(l_0\right)+l_0;$

④若

停止循环，则

为极值点，其对应的概率极值为

其中ξ为容许误差；否则，令

并回到步骤②。

4.根据权利要求3所述的一种相机抖动场景下基于背景差和运动信息的前景检测方法，其特征在于，所述步骤（4）中，剔除相机抖动造成的误检前景的具体方法如下式所示：

$L_t(x,y)=\left\{\begin{array}{cc}1,& p_t(x,y)>0.1E_v\\ 0,& p_t(x,y)\≤{0.1E}_v\end{array}\right.$

p_t(x,y)＞0.1E_v表示点(x,y)为相机抖动造成的误检前景像素点，则将L_t(x,y)置为“0”，否则视为真实运动目标前景点，将L_t(x,y)置为“1”。

5.根据权利要求4所述的一种相机抖动场景下基于背景差和运动信息的前景检测方法，其特征在于，所述步骤（5）中，选择性自适应更新初始背景的方法如下，

采用前一帧二值图像的检测结果作为更新的判定依据，如果当前帧二值图像L_t的像素点(x,y)在前一帧二值图中的值为0，则表示在L_t中此像素点属于背景点，则该像素点参与背景图像更新，并以一定的比例更新到背景图像中，否则不参与更新，更新公式如下：

其中，B_t(x,y)为初始背景图像中像素点(x,y)对应的像素灰度值，B_t+1(x,y)为更新后的背景图像中像素点(x,y)对应的像素灰度值，α为一个常量，代表背景图像的更新速度，此处，α＝e^-(1+t/40)+Δ，Δ＝0.001；

采用“先进先出”的方式更新概率密度估计样本集的方法如下：

利用二值图像L_t来更新步骤（3）中的样本集L_m(x,y)(m∈[1,M])，采用“先进先出”的更新方式，以上一帧二值图像为参考，如果当前帧二值图像L_t中L_t(x,y)的值发生“0”、“1”跳变，则将L_t(x,y)加到样本集中，并去除L₁(x,y)的值，如果没有发生跳变，则样本集保持不变。

Images