CN102970528A - 基于变化检测和帧差累积的视频对象分割方法 - Google Patents

Abstract

本发明公开了一种基于变化检测和帧差累积的视频对象分割方法，首先使用t显著性检验检测间隔为k帧的对称帧的帧间变化，再对检测出的初始运动变化区域通过时域定区间帧差累积计算，并进一步整合形成记忆掩膜；而后使用基于不连续性检测的Kirsch边缘检测算子通过图像边缘连续性检测来调节阈值，从而得到当前帧中连通的所有边缘信息；接着通过时空滤波器获得语义视频对象平面；最终选择性的应用填充及形态学处理操作实现视频对象的分割。这是一种新的视频对象分割方法，它的提出有效地解决了视频对象分割方法经常出现的对象不规则运动造成的视频对象内部缺失和背景显露。分割速度、分割效果、适用范围及可移植性均有了很大的改善。

Description

基于变化检测和帧差累积的视频对象分割方法

技术领域

本发明涉及一种视频对象提取中的处理方法，特别涉及一种基于变化检测和帧差累积的视频对象分割方法。在保证分割效果和速度的前提下，改变了传统变化检测需要多次试验获取帧差阈值的缺点，充分考虑了像素邻域的信息，更为准确的获取视频对象。帧差累计应用一段时间内的信息，解决了运动对象不规则运动所带来的局部运动对象缺失问题，基于不连续性检测的Kirsch边缘检测算子得到当前帧中连通的完整图像边缘信息并二值化，三种方法结合应用，使该方法更具有实用性和推广性。 

背景技术

基于对象的视频分割是实现MPEG-4基于内容的编码和交互功能的关键，伴随着MPEG-4标准基于内容编码技术的推广，视频对象分割技术已经成为当前研究的热点。目前，基于对象的视频分割在视频监控，人机交互，军事，通讯等领域都有着极为广泛的应用前景。尽管近年来人们对视频对象分割进行了广泛的研究，但是仍没有完全解决这个问题。 

视频对象分割方法按照是否需要人工参于分割过程分为自动分割（参见Thomas Meier,King N.Ngan.Automatic segmentation of moving objects for video object plane generation[J].IEEE Transactions on Circuits and Systems for Video Technology，1998,8(5):525-538)和半自动分割（参见Munchurl Kim,J.G.Jeon,J.S.Kwak,M.H.Lee,C.Ahn.Moving object segmentation in video sequences by user interaction and automatic object tracking[J].Image and Vision Computing,2001,19(5):245-260）。 

按照应用领域不同主要包括：时域分割方法，空域分割方法及时空融合分割方法。时域分割方法利用视频序列的时序属性，通过相邻帧的时域变化来检测运动目标。常用的方法有帧间差分法和背景差分法。帧间差分法（参见Zhan C H.An improved moving object detection algorithm based on frame difference and edge detection[A].International Conference on Image and Graphics[C],2007:519-523）；方法实现简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好，但是不能提取出对象的完整区域，只能提取出边界，依赖于选择的帧间差的时间间隔。背景差分法（参见Olivier Barnich,Marc Van Droogenbroeck.A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1723）；其原理和方法设计简单根据实际情况确定阈值进行处理，所得结果直接反映了运动目标的位置、大小、形状等信息，能够得到比较精确的运动目标信 息，但是背景更新的计算量比较大容易产生离散噪声点，受光线、天气等外界条件变化的影响较大。光流（参见Jareal A,Venkatesh K S.A new color based optical flow a1gorithm for environment mapping using a mobile robot[A].IEEE International Symposium on Intelligent Control[C].2007:567-572）；携带了目标的运动信息，在场景信息未知情况下，能很好地检测出运动对象，检测准确度高，但光流法计算量大一般不能被应用于实时处理场景。空域分割方法（参见Jaime S.Cardoso,Jorge C.S.Cardoso,Luis Corte-Real.Object-based spatial segmentation of video guided by depth and motion information[A].IEEE Workshop on Motion and Video Computing[C].2007.）；利用图像的颜色、亮度、纹理以及边缘信息等空域属性来提取视频对象。时空融合分割方法（Ahmed,R.,Karmakar,G.C.,Dooley，L.S.Incorporation of texture information for joint spatio-temporal probabilistic video object[A].IEEE International Conference on Image Processing[C].2007,6,293-296）；是现在最常用的分割方法，该方法结合视频序列的时域信息及空域信息。两种信息相互融合得到相对准确的分割结果。 

然而无论是采用哪种方法来分割运动对象，显露背景和对象的不规则运动（运动对象或者其某一部分在一段时间内静止）都会造成分割准确度的下降。在运动分析中，显露背景和因对象的不规则运动造成的静态前景区域易被错误地检测为前景或是背景，从而造成分割准确度的下降。 

发明内容：

本发明提出了一种基于变化检测和帧差图像累积的视频对象分割方法，首先利用高斯滤波对各帧视频图像进行高斯平滑滤波，然后使用t显著性检验检测间隔为k帧的对称帧的帧间变化，再对检测出的初始运动变化区域通过时域定区间帧差累积计算，并进一步整合形成记忆掩膜；而后使用基于不连续性检测的Kirsch边缘检测算子通过图像边缘连续性检测来调节阈值，从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节；接着通过时空滤波器获得语义视频对象平面；最终选择性的应用填充及形态学处理操作实现视频对象的分割。这是一种新视频对象分割方法，它的提出有效地解决了视频对象分割方法经常出现的由不规则运动（运动对象或者其某一部分在一段时间内静止）引起的视频对象内部缺失和显露背景的问题，分割速度、分割效果、适用范围及可移植性均有了很大的改善。 

本发明要解决的技术问题是： 

1、当直接通过帧间差分获取运动对象的变化区域时，需要通过多次实验获取帧差法的阈值，对噪声和光线变化敏感且获取完整的运动区域存在严重缺失的问题； 

2、视频对象不规则运动（运动对象或者其某一部分在一段时间内静止）产生的遮挡（覆盖/显露）问题。 

3、Kirsch边缘检测算子获取视频对象边界存在不连续性。 

本发明解决其技术问题所采用的技术方案：基于变化检测和帧差图像累积的视频对象分割方法，包括以下步骤： 

步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行经过对称帧距变化区域相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割； 

步骤二：对原始视频的每一帧用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割； 

步骤三：采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。 

本发明与现有技术相比所具有的优点在于： 

1、本方法利用t分布显著性检验检测帧间的变化，不需要知道视频内噪声的方差因此避免了噪声参数的估计，且获取帧差图像时不需要手动实验获取阈值，可以根据t分布表查找获得最优阈值。假设检验的统计变化检测技术可以很好的抑制相机噪声对分割结果的影响，分割结果明显的优于阈值分割得到的结果。 

2、本方法利用间隔为k帧的图像可以更好的处理视频对象缓慢运动，提出了记忆掩膜MT(Memory Template)的概念，采用时域内定区间帧差累积的方法获取记忆模板，有效解决运动区域边界的缺失问题。 

3、直接利用Kirsch边缘检测获得的边缘线容易出现断点，效果不是很理想。本方法采用4×4的方向模板计算目标点周围6个方向上的差值，当最大差值超过某个门限值时，则可认为该点为不连续点，由此来检测图像边缘的不连续性。从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节。 

附图说明：

图1是本发明的基于变化检测和帧差累积的视频对象分割方法的流程图。 

图2是Akiyo视频序列变化检测和帧差累积效果图：其中(a)表示Akiyo视频序列的 第5帧；(b)表示Akiyo视频序列的第21帧；(c)表示图(a)通过t显著性检验检测后得到的初始运动变化区域；(d)表示图(b)通过t显著性检验检测后得到的初始运动变化区域；(e)表示图(c)经时域定区间帧差累积的完整的运动变化区域；(f)表示图(d)经时域定区间帧差累积后的完整的运动变化区域。 

图3是Akiyo视频序列的记忆掩膜图：其中(a)表示Akiyo视频序列的第一个和第二个记忆掩膜。 

图4是Akiyo视频序列VOP提取效果图：其中(a)表示Akiyo视频序列的第5帧；(b)表示Akiyo视频序列的第21帧；(c)表示从图(a)中提取到的VOP；(d)表示从图(b)中提取到的VOP； 

图5是Grandma视频序列采用本发明方法提取出的VOP效果图：其中(a)表示Grandma视频序列的第4帧；(b)表示从图(a)中提取到的VOP；(c)表示Claire视频序列的第19帧；(d)表示从图(c)中提取到的VOP； 

图6是Claire视频序列采用本发明方法提取出的VOP效果图：其中(a)表示Claire视频序列的第8帧；(b)表示从图(a)中提取到的VOP；(c)表示Claire视频序列的第16帧；(d)表示从图(c)中提取到的VOP； 

图7是Miss-American视频序列采用本发明方法提取出的VOP效果图：其中(a)表示Miss-American视频序列的第20帧；(b)表示从图(a)中提取到的VOP；(c)表示Miss-American视频序列的第40帧；(d)表示从图(c)中提取到的VOP； 

图8是Mother and daughter及Hall monitor视频序列采用本发明方法提取出的VOP效果图：其中(a)表示Mother and daughter视频序列的第15帧；(b)表示从图(a)中提取到的VOP；(c)表示Hall monitor视频序列的第70帧；(d)表示从图(c)中提取到的VOP； 

图9是本文方法和参考（祝世平，马丽，侯仰栓.基于时域定区间记忆补偿的视频对象分割算法[J].光电子．激光,2010,21(8):1241-1246.）方法应用于Grandma视频序列和Miss-American视频序列的前20帧分割结果的空间准确度对比图。(a)是应用于Grandma视频序列的空间准确度对比图；(b)是应用于Miss-American视频序列的空间准确度对比图；其中空间准确度1代表应用本文方法所获得的空间准确度结果，空间准确度2代表应用参考方法所获得空间准确度结果。 

具体实施方式：

下面结合附图及具体实施方式进一步详细介绍本发明。 

本发明的基于时域定区间记忆补偿的视频对象分割方法，图1为本发明方法的流程图， 本方法包括以下步骤： 

步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行经过对称帧距变化区域相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割； 

设F_(n)表示图像序列的第n帧，F_(n)与F_(n-k)之间的差值图像包含F_(n)中的视频对象和由于对象的运动而暴露的背景区域。F_(n+k)与F_(n)之间的帧差掩膜包含F_(n)中的视频对象和由于对象运动在F_(n+k)中覆盖的背景区域。接下来，对视频图像进行变化检测，采用基于t分布的变化检测技术，统计帧差图像中未变化区域的值及变化区域的值，得到初始变化检测掩膜。采用基于t分布的变化检测技术避免了多次实验获取分割阈值，充分考虑了检测像素邻域内的信息，得到的判断结果更为准确。由于假设检验存在的误警概率而丢失的运动细节和运动对象内部由于纹理细节缺失而造成的内部孔洞以及零散分布的噪声区域存在于初始运动变化区域。 

进行时域分割时，如果目标部分运动不明显，就难以找到包含完整视频对象的运动区域，所以首先采用对称帧距帧差来进行运动累计。 

设视频序列灰度化后第n帧为F_n(x,y)，经过高斯滤波平滑过后为G_n(x,y)。 

视频序列内每帧图像噪声记为N_n(x,y)方差记为 

故可将视频序列中第n帧图像G_n(x,y)表示为： 

$G_n(x,y)={\stackrel{\‾}{G}}_n(x,y)+N_n(x,y)$

其中 

为视频图像的实际值。根据上式，可得差分图像: 

$\mathrm{FD}(x,y)={\stackrel{\‾}{G}}_n(x,y)-{\stackrel{\‾}{G}}_{(n-k)}(x,y)+N_n(x,y)-N_{(n-k)}(x,y)$

设D_(x，y)=N_n(x,y)-N_(n-k)(x,y)，其中N_n(x,y)与N_(n-k)(x,y)是概率密度相同并且相互独立的随机变量，故D_(x，y)仍为加性零均值高斯噪声随机变量，方差为 

由于各个像素点的噪声是互相独立的，如果窗内所有不为零的帧差值都是由噪声引起的，这些值的均值μ应该为零，所以根据概率论知识进行假设检验，设位置(x,y)为背景（即零假设H₀）：H₀:μ=0。在噪声方差未知的情况下，采用t显著性检验检测，根据邻域窗内的像素点构造统计测试量t： 

$t=\frac{A_d\left(n\right)}{s/\sqrt{p}}$

其中，A_d(n)和s分别为邻域窗内的样本均值和样本方差。 

$A_d\left(n\right)=\frac{1}{p}\underset{-n}{\overset{n}{\mathrm{\Σ}}}\underset{-n}{\overset{n}{\mathrm{\Σ}}}\left|\mathrm{FD}(x+l,y+m)\right|$

$s=\sqrt{\frac{1}{p-1}\underset{-n}{\overset{n}{\mathrm{\Σ}}}\underset{-n}{\overset{n}{\mathrm{\Σ}}}{(\mathrm{FD}(x+l,y+m)-A_d\left(n\right))}^2}$

根据显著性测试理论，阈值由给定的显著性水平α和t所服从的分布决定： 

$\left|t\right|\≥t_{\frac{\mathrm{\α}}{2}}(p-1)$

显著性水平α的选择与具体视频序列中的摄像机噪声强度相关，它的值通常可设为10^-2，10^-6等（本文中选取α值为10^-2，窗口大小选为5×5），可以取得理想的结果.根据设定的显著性水平α，若 

式成立，则该中心像素点属于m(n)。 

初始运动变化区域可表示为： 

经过对称帧距变化区域相与操作，可将视频对象运动不明显部分包含在内，得到完整的运动变化区域： 

如果运动目标的内部纹理具有高度的一致性，运动目标整个或局部在某个时间静止或运动缓慢，仅使用上述变化检测方法不能检测到完整的运动区域，从而导致在时空融合时，无法得到精确的运动目标边界轮廓，从而在最终的提取中造成目标缺失。 

针对上述情况本文应用时域定区间帧差累积方法，能够有效解决视频对象边界缺失问题。该方法利用视频序列各帧间在时间域的相关性及目标运动的连续性，综合考虑在某段时间内，各像素出现的次数。即在给定时间段内，出现次数频繁的部分作为有效模板出现在整个运动时段内。充分考虑了视频对象在一段时间上的运动连贯性，即充分挖掘了一个整体区块上的时间信息。 

设给定时间段长度为l，在这段时区中的包含L帧视频图像，分别为M₁,M₂,…,M_l-1,M_l，该区段对应的有效模板EM (effective mask)，与每帧视频图像大小相同： 

$\mathrm{EM}(x,y)=\left\{\begin{array}{cc}255,& T\&GreaterEqual;\mathrm{\&tau;}\\ 0,& T<\mathrm{\&tau;}\end{array}\right.$

其中，T=n_i/L，n_i为点(x,y)在L帧视频图像中被标记为目标运动点的次数，M₁,M₂,…,M_l-1，M_l是经过变化检测得到的运动变化区域掩膜图像M₁(x,y),M₂(x,y),…,M_l-1(x,y),M_l(x,y)，τ为设定的一个比例阈值。根据不同视频序列来选取不同的比例阈值τ。对于运动速度较快，运动幅度较大的视频可以选取较大的值；反之，对于运动速度较慢，运动幅度较小的视频要选择较小的值。 

对于任意像素点(x,y)，如果EM(x,y)为0，则不进行帧差累计计算，若EM(x,y)为255，则进行时域定区间帧差累积计算。 

进行帧差累积计算后对应时间段内的每帧视频图像的相应点的像素值均为设定为255，即 

F₁(x,y)=F₂(x,y)=...F_m(x,y)=255 

图2是Akiyo进行t分布变化检测和定区间帧差累积计的结果。试验中，选取的对称帧距k=2，帧差累积中比例阈值τ=2/12。 

从图2可以看出，经过变化检测的帧差图像中的运动区域中有存在许多空洞，运动目标并不完整，但是经过帧差累积计算后效果有了相当大的改进，不仅得到了完整的边界轮廓，而且运动区域内部空洞也得到了较好的填充。 

经过时域定区间帧差累积计后，虽然效果较初始t分布变化检测得到了很大的改善，但在视频对象内部的仍存在空洞。所以，本文提出了记忆掩膜MT(Memory Template)的概念。即将经过帧差累积计算的掩膜进行形态学处理及填充操作，得到完整的视频对象掩膜则共得到N/L个记忆掩膜。 

开启、闭合是形态学中重要的操作，它们是由膨胀和腐蚀级连结合使用形成的。 

灰度膨胀和灰度腐蚀操作，可视为图像滤波操作，利用结构元素对信号进行灰度腐蚀和灰度膨胀，其定义如下：

$(A\&CirclePlus;B)(s,t)=\max \{A(s-x,t-y)+B(x,y)|(s-x,t-y)\&Element;D_A;(x,y)\&Element;D_B\}$

(AΘB)(s,t)=min{A(s+x,t+y)+B(x,y)|(s+x,t+y)∈D_A;(x,y)∈D_B} 

其中D_A和D_B分别是A和B的定义域，B是用于重构操作的正方形结构单元。 

开操作一般使图像的轮廓变得光滑，断开狭窄的间断和轮廓上的毛刺。闭操作同样可使轮廓线更为光滑，但与开操作相反的是，它通常消除狭窄的尖端和长细的鸿沟，消除小的空 洞，并填补轮廓线中的断裂。 

下面两式分别表示形态学的开操作和闭操作： 

$A\&CenterDot;B=(A\&CirclePlus;B)\mathrm{\&Theta;B}$

根据边界填充运动对象模板步骤： 

1、进行水平填充，即：遍历整个运动对象模板，找到每一行中第一个边界点和最后一个边界点，将这两点之间的像素点全部标记为运动对象内部点； 

2、进行垂直填充，即：遍历整个运动对象模板，找到每一列中第一个边界点和最后一个边界点，将这两点之间的像素点全部标记为运动对象内部点； 

3、将水平填充结果与垂直填充结果取交集，得到最终填充完毕后的视频运动对象模板。 

由于开闭操作会使计算量增大，因此对于轮廓比较光滑的MT，可以不进行形态学处理，只需要进行填充即可。图2中的掩膜轮廓连续且光滑，可以直接填充，其填充结果在图3中列出。 

步骤二：对原始视频的每一帧用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割； 

在边缘检测时，一些重要的边缘细节由于干扰或对比度不足变得模糊、微弱。直接利用Kirsch边缘检测获得的边缘线容易出现断点，效果不是很理想。本文利用图像边缘连续性检测来调节阈值，从而得到连通的图像边缘。通常在边缘不连续的地方，像素值会有较大的差异，本文中用4×4的方向模板计算目标点周围6个方向上的差值，当最大差值超过某个门限值时，则可认为该点为不连续点，由此来检测图像边缘的不连续性。通过该方法在抑制噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节，获得了令人满意的效果。阈值决定着边缘定位的精度和边缘的连续。记原视频序列经过边缘检测并经过填充及二值化的结果为M_e。 

步骤三：采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。 

N/L个时域记忆掩膜MT分别和每个空域二值化边缘检测结果M_e融合提取二值运动对象模板： 

B(x,y)=MT(x,y)∩M_e(x,y) 

若对应的B(x,y)应为255，即该点被最终标记为前景，否则标记为背景。采用这样上述 融合方式，很显然能够将记忆母板中由于视频对象运动而产生的遮挡区域通过边界的约束剔除掉。最后，结合原始视频序列V_O(x,y)，完成视频对象的分割： 

$\mathrm{VO}(x,y)=\left\{\begin{array}{cc}{V}_O(x,y),& B(x,y)=255\\ 255,& B(x,y)=0\end{array}\right.$

为了说明本文方法的有效性，选择了标准视频测试序列“Akiyo”、“Grandma”、“Claire”、“Miss-American”、“Mother and daughter”和“Hall monitor”作为实验对象。六段测试视频均为QCIF格式，大小为176×144像素。实验结果表明本文方法对不同类型的视频序列都具有很好的分割效果。 

本文选择C语言作为所述方法的实现语言， CoreTM 2Duo E6300，1.86GHz主频，内存大小为2G，使用Visual C++6.0开发环境编程实现。 

为了更好的反映本文方法的正确性，本文采用MPEG-4核心实验中由Wollborn等提出的准确性评价。空间准确性评价定义了每一帧分割对象掩膜的空间准确度SA(Spatial Accuracy)。 

则可由如下公式给出方法的分割正确率。 

$\mathrm{\&Omega;}(I_s,I_g)=1-\frac{|I_e-I_r|}{I_r}$

式中，I_e和I_r分别表示第t帧的参考分割和实际分割方法所得到的对象模板；空间准确度反映了每一帧的分割结果与参考分割模板之间的形状相似程度，SA越大，表明分割越准确，SA越小，表明分割越不准确。 

表1和表2分别列出了本文方法和参考（祝世平，马丽，侯仰栓.基于时域定区间记忆补偿的视频对象分割算法[J].光电子．激光,2010,21(8):1241-1246.）应用于Grandma视频序列和Miss-American视频序列的前20帧分割结果的空间准确度对比。通过对比可以看出，本文方法的空间准确度绝对优于对比方法。 

表1Grandma前20帧采用本方法和参考方法求取的空间准确度对比 

表2Miss-American前20帧采用本方法和参考方法求取的空间准确度对比 。

Claims (4)

1.一种基于变化检测和帧差累积的视频对象分割方法，该视频对象分割方法的特征在于：时域分割利用t显著性检验检测帧间变化，不需要根据繁琐的实验数据设定阈值，根据t分布表查找获得最优阈值，不需要知道视频内噪声的方差，因此避免了噪声参数的估计；在帧差累积阶段提出了有效模板和记忆掩膜的概念和两者的使用及其形成方法；空域分割利用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子获得完整精细的连通边缘，该视频对象分割方法的具体步骤如下：

步骤一：利用高斯滤波平滑视频序列各帧图像，使用t显著性检验检测间隔为k帧的对称帧的帧间变化获得各帧初始运动变化区域，再对检测出的初始运动变化区域进行相与操作获得完整运动变化区域，而后采取时域定区间帧差累积计算，获得定时段有效模板，并进一步整合形成记忆掩膜，完成视频对象的时域分割；

步骤二：对原始视频的每一帧采用改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测；二值化边缘检测的结果完成视频对象的空域分割；

步骤三：采用并行时空融合的方式将由步骤一中形成的分段记忆掩膜与视频序列的每一帧通过步骤二中得到的二值化边缘检测结果进行相与操作提取出运动对象的精确边界轮廓；根据边界信息选择性的进行形态学开闭及填充操作完成视频对象的提取。

2.根据权利要求1中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于：所述步骤一的时域运动变化检测：先对间隔为k的对称帧的灰度图像进行帧差计算，然后通过t显著性检验检测获取初始运动变化区域，再进行时域定区间帧差累积计算，并进一步整合形成记忆模板，具体步骤如下：

(1)、设视频序列灰度化后第n帧为F_n(x,y)，经过高斯滤波平滑过后为G_n(x,y)。

(2)、视频序列内每帧图像噪声记为N_n(x,y)方差记为

故可将视频序列中第n帧灰度图像G_n(x,y)表示为：

$G_n(x,y)={\stackrel{\&OverBar;}{G}}_n(x,y)+N_n(x,y)$

其中

为视频图像的实际值。根据上式，可得差分图像:

$\mathrm{FD}(x,y)={\stackrel{\&OverBar;}{G}}_n(x,y)-{\stackrel{\&OverBar;}{G}}_{(n-k)}(x,y)+N_n(x,y)-N_{(n-k)}(x,y)$

设D_(x，y)=N_n(x,y)-N_(n-k)(x,y)，其中N_n(x,y)与N_(n-k)(x,y)是概率密度相同并且相互独立的随机变量，故D_(x，y)仍为加性零均值高斯噪声随机变量，方差为

由于各个像素点的噪声是互相独立的，如果窗内所有不为零的帧差值都是由噪声引起的，这些值的均值μ应该为零，所以根据概率论知识进行假设检验，设位置(x,y)为背景（即零假设H₀）：H₀:μ=0。在噪声方差未知的情况下，采用t显著性检验检测，根据邻域窗内的像素点构造统计测试量t：

$t=\frac{A_d\left(n\right)}{s/\sqrt{p}}$

其中，A_d(n)和s分别为邻域窗内的样本均值和样本方差。

$A_d\left(n\right)=\frac{1}{p}\underset{-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{-n}{\overset{n}{\mathrm{\&Sigma;}}}\left|\mathrm{FD}(x+l,y+m)\right|$

$s=\sqrt{\frac{1}{p-1}\underset{-n}{\overset{n}{\mathrm{\&Sigma;}}}\underset{-n}{\overset{n}{\mathrm{\&Sigma;}}}{(\mathrm{FD}(x+l,y+m)-A_d\left(n\right))}^2}$

根据显著性测试理论，阈值由给定的显著性水平α和t所服从的分布决定：

$\left|t\right|\&GreaterEqual;t_{\frac{\mathrm{\&alpha;}}{2}}(p-1)$

显著性水平α的选择与具体视频序列中的摄像机噪声强度相关，根据设定的显著性水平α，若

成立，则该中心像素点属于m(n)。

初始运动变化区域可表示为：

经过对称帧距变化区域相与操作，可将视频对象运动不明显部分包含在内，得到完整的运动变化区域：

(3)、时域定区间帧差累积计算:对于包含内部纹理具有高度的一致性的视频对象或视频对象在某个时间段静止或运动缓慢，仅使用上述(1)、(2)两步所述变化检测方法不能检测到完整的运动区域，导致在时空滤波时，无法得到精确的运动目标边界轮廓，从而在最终的视频对象提取中造成目标局部缺失。

应用时域定区间帧差累积方法，能够有效解决目标局部缺失问题。时域定区间帧差累积方法利用视频序列各帧间在时间域的相关性及目标运动的连续性，不但综合考虑在某段时间内，各像素出现的次数即在给定时间段内，出现次数频繁的部分作为有效模板出现在整个运动时段内。而且充分考虑了视频对象在一段时间上的运动连贯性，即充分挖掘了一个整体区块上的时间信息。

设给定时间段长度为l，在这段时区中的包含L帧视频图像，分别为M₁,M₂,…,M_l-1,M_l，该区段对应的有效模板EM(effective mask)，与每帧视频图像大小相同：

$\mathrm{EM}(x,y)=\left\{\begin{array}{cc}255,& T\&GreaterEqual;\mathrm{\&tau;}\\ 0,& T<\mathrm{\&tau;}\end{array}\right.$

其中，T=n_i/L，n_i为点(x,y)在L帧视频图像中被标记为目标运动点的次数，M₁,M₂,…,M_l-1,M_l是经过变化检测得到的运动变化区域掩膜图像M₁(x,y),M₂(x,y),…,M_l-1(x,y),M_l(x,y)，τ为设定的一个比例阈值。根据不同视频序列来选取不同的比例阈值τ。对于运动速度较快，运动幅度较大的视频可以选取较大的值；反之，对于运动速度较慢，运动幅度较小的视频要选择较小的值。

对于任意像素点(x,y)，如果EM(x,y)为0，则不进行帧差累计计算，若EM(x,y)为255，则进行时域定区间帧差累积计算。

进行帧差累积计算后对应时间段内的每帧视频图像的相应点的像素值均为设定为255，即

F₁(x,y)=F₂(x,y)=...F_m(x,y)=255

(4)、经过时域定区间帧差累积计后，虽然效果较初始t分布变化检测得到了很大的改善，但在视频对象内部的仍存在空洞。所以，本文提出了记忆掩膜MT(Memory Template)的概念。即将经过帧差累积计算的掩膜进行形态学处理及填充操作，得到完整的视频对象掩膜则共得到N/L个记忆掩膜。

由于开闭操作会使计算量增大，因此对于轮廓比较光滑的MT，可以不进行形态学处理，只需要进行填充即可。

3.根据权利要求1中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于，所述步骤二的改进的Kirsch边缘检测算子即基于不连续性检测的Kirsch算子进行边缘检测，具体步骤如下：

(1)、利用传统Kirsch边缘检测算子进行边缘检测计算，得到初始各帧视频序列的边缘图像。边缘检测时，一些重要的边缘细节由于干扰或对比度不足变得模糊、微弱。

(2)、直接利用Kirsch边缘检测获得的边缘线容易出现断点，效果不理想。本方法采用4×4的方向模板计算目标点周围6个方向上的差值，当最大差值超过某个门限值时，则可认为该点为不连续点，由此来检测图像边缘的不连续性。从而得到当前帧中连通的所有图像边缘信息，减少记忆掩膜中的残留噪声、保证边缘连续性的同时较好地保护了低强度的边缘细节。经过二值化过后得到M_e。

4.根据权利要求1中所述的一种基于变化检测和帧差累积的视频对象分割方法，其特征在于，所述步骤三的时空滤波获取完整语义视频对象，具体步骤如下：

(1)、N/L个时域记忆掩膜MT分别和每个空域二值化边缘检测结果M_e融合提取二值运动对象模板：

B(x,y)=MT(x,y)∩M_e(x,y)

若对应的B(x,y)应为255，即该点被最终标记为前景，否则标记为背景。

(2)、采用这样上述融合方式，很显然能够将记忆母板中由于视频对象运动而产生的遮挡区域通过边界的约束剔除掉。最后，结合原始视频序列V_O(x,y)，完成视频对象的分割：

$\mathrm{VO}(x,y)=\left\{\begin{array}{cc}{V}_O(x,y),& B(x,y)=255\\ 255,& B(x,y)=0\end{array}\right.$

Images