CN101315701B - 运动目标图像分割方法 - Google Patents

Abstract

本发明属于图像处理计算机技术领域，提供一种运动目标图像分割方法，采用如下的步骤：采用最小中位方差法获取背景图像；采用间接差分函数获得差分图像；步骤三：选择分割阈值T，将差分图像二值化，获得二值化前景图像；根据更新后和当前的背景图像以及二值化前景图像，动态更新背景图像；利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。本发明可为监控***的有效使用及监控效果的可靠评价提供帮助，可广泛应用于公安、消防、海关、港口、车站等各种公共场所，获得可观的社会效益和公共安全服务的提升。

Description

运动目标图像分割方法

技术领域

本发明属于图像处理计算机技术领域，涉及一种运动目标图像分割方法。

背景技术

复杂背景下运动人体图像的分割是视频监控图像处理最基本的环节，它旨在从监控所得视频序列图像中将运动人体区域从背景图象中提取出来。运动区域的有效分割对于监控目标的分类、跟踪和身份识别等后期处理非常重要。然而由于背景图象的动态变化，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，使得运动人体图像的检测成为一件相当困难的工作。也因此引起了国内外许多研究者的浓厚兴趣，成为近年来视频图像信息检测领域备受关注的前沿热点。

依据算法特点，复杂背景下视频图像中运动人体检测方法可大致分为运动分割和静止分割两类算法。运动分割算法是利用移动目标所具有的运动属性，将其从序列图像背景中区分出来。静止分割算法则是首先对单帧图像依据其各区域的灰度、纹路或轮廓梯度等信息做静态分割，之后在连续帧图像之间采用相似块匹配法做运动估计，最后再合并各分割区域完成运动目标的提取。对于背景静止、只有简单全局场景运动的视频图像，通常采用差分运动检测算法或背景建模运动检测算法。差分运动检测算法是将相邻两帧或三帧的图像差做阈值化来提取图像的运动区域。背景建模运动检测算法是常用的运动分割方法之一。通常，该算法先要利用完整的视频图像序列信息进行统计建模以区分像素类别(背景/运动区域)并生成背景图像；再从每帧图像扣除背景以获得运动目标。总之，运动分割算法众多，关键是寻找到一个最恰当的方法，即在代价最小的情况下实现预期的分割目标。

发明内容

本发明针对公共场所定点监控所得视频图像具有背景静止与全景运动的特点，提出一种可用于复杂背景视频监控中运动目标图像分割方法。本发明可为监控***的有效使用及监控效果的可靠评价提供帮助，可广泛应用于公安、消防、海关、港口、车站等各种公共场所，获得可观的社会效益和公共安全服务的提升。

本发明采用如下的技术方案：

一种运动目标图像分割方法，每次的图像分割采用如下的步骤：

步骤一：采用最小中位方差法获取背景图像；

步骤二：采用间接差分函数 $f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)+(b+1)}\frac{2\sqrt{(256-a)(256-b)}}{(256-a)+(256-b)}$ 获得差分图像，其中a，b分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且0≤a，b≤255，0≤f(a，b)≤1；

步骤三：选择分割阈值T， $M_{(x,y)}=\left\{\begin{array}{cc}1& f(a_{(x,y)},b_{(x,y)})\≥T\\ 0& \mathrm{Otherwise}\end{array}\right.$ 将差分图像二值化，获得二值化前景图像；

步骤四：设I_(x，y) ^t为N帧采集的序列图像，B_(x，y) ⁿ⁺¹和B_(x，y) ⁿ分别为根据步骤一得到的更新后和当前的背景图像，M_(x，y) ⁿ为根据步骤三得到的二值化前景图像，根据公式

动态更新背景图像；

步骤五：利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。上述的运动目标图像分割方法，步骤一中，可以根据公式 $B_{(x,y)}=\arg \left\{{\min }_p{\mathrm{med}}_t{(I_{(x,y)}^t-p)}^2\right\}$ 分别得到R、G、B三个分量的背景图像，式中p是像素位置(x，y)处待确定的彩色图像值，t为帧索引值；步骤三中可以采用最大化类间方差法来确定阈值T；步骤四中，α可以取0.8。

本发明所用视频图像数据具有背景静止与全景运动的特点，采用动态背景建模和差分运动检测相结合的算法来分割运动目标图像。从图3、图4和图5的各阶段结果来看，本发明所采用复杂背景视频监控中运动人体轮廓图像分割方法的总体方案是合适的；其中静止背景建模、动态背景更新、差分运动分割与形态学后处理等处理环节皆是不可缺或的；其处理流程基本合理，最终分割结果比较清楚、利索。

在现代社会监控***中，自动获取监控对象数据的方法大致可以分为两类：一类是利用压电、红外、环形磁感应线圈等传感器获得监控对象本身的参数，这类方法跟踪识别率较高，但是容易损坏，安装也不方便；还有一类就是基于图像处理和模式识别的方法(本发明属于此种)，克服了前面一类方法的局限，由于图像处理识别技术的进步和硬件性价比的大幅提高，使得本发明所提出的方法得以实施。与前一种方法相比较，本发明产生的技术效果显著，环境适应能力强，能长期稳定工作，并可在被监控对象不知情的情况下进行监控，使得安全监控的效果大大提高，并能避免传统(第一种)监控器监测时与监控对象产生的的不必要的摩擦与矛盾。

附图说明

图1运动人体轮廓图像分割流程。

图2不同背景灰度的差分函数。

图3(a)R分量的运动分割结果。

图3(b)G分量的运动分割结果。

图3(c)B分量的运动分割结果。

图3(d)a、b、c三幅图取“或”运算结果。

图4形态学滤波处理后结果。

图5最后运动目标分割结果。

图6二值图像的膨胀运算示例，(a)是一幅二值图像，(b)图为结构元素B，标有“+”代表结构元素的参考点，(c)膨胀结果图。

图7二值图像的腐蚀运算示例，(a)是一幅二值图像(b)图为结构元素B，标有“+”代表结构元素的参考点，(c)腐蚀结果图。

具体实施方式

下面结合附图和实施例对本发明做详细描述。

本发明以复杂背景视频监控中的运动人体轮廓图像分割方法作为实施例，整个图像分割过程包括静止背景建模、动态背景更新、差分运动分割与形态学后处理等步骤，如图1所示。下面分别对每个步骤，结合实施例做进一步详细描述。

1.静止背景建模

本发明实验所用数据为中国科学院北京自动化研究所发布的步态数据库。它是一个含20个对象的小型数据库，所有数据均在户外使用单台摄像机(Panasonic NV-DX100EN)采集而得，每个对象摄取三个方向行走(0°、45°、90°)的视频序列数据。本发明中仅使用0°方向的数据，即人体侧面行走序列。

本发明采用最小中位方差法(Least median of squares，LmedS)对背景图像进行建模。最小中位方差法(LmedS)是以稳健统计为理论基础提出的一种算法。稳健的概念是指个别异常值对统计量的影响程度，稳健统计是一种适用于样本群中存在异常值的参数估计方法。稳健统计在计算机视觉领域中受到了广泛的关注，主要是由于计算机视觉问题的输入数据中常常被异常值所干扰。

在稳健统计中，为了评价某种算法抵抗异常值扰动的能力，Hampel提出了失效点BP(Breakdown Point)的概念。由于起初它是一个渐近结果，不便计算，故而Donoho和Huber定义了对于有限样本的BP为：

其中T为参数估计值，n为样本X的含量，β(m；T，X)表示将X中任意替换m个点后两侧参数估计值之差的上确界。对于有限样本的BP，表示用该法作参数估计时，允许数据中存在的不会使估计值失效的异常点数目的最小比例，当数据中的异常点比例超过BP时，估计值会变得很不稳定。

对异常点的处理方法基本有两种，一种是自协调方法(Accommodation-basedapproach)，即方法本身能够承受异常点的干扰，另一种则是首先剔除异常点，再按传统方法进行处理。最小中位方差算法(LmedS)是二者的结合，在自协调前提下，再用最小均方估计算法(Least mean square，LMS)进行估计，因此它既能消除异常点干扰，同时能获得较好的估计效果。Rousseeuw和Leroy关于最小中位方差法的定义为：

已知序列X＝{x₁，x₂，…x_i，…x_N}中x_i是x的N个观测值，根据x_i对x进行估计，假设估计值为

则：

$\widehat{\mathrm{\θ}}=\arg \left\{{\min }_{\mathrm{\θ}}{\mathrm{med}}_i{(x_i-\mathrm{\θ})}^2\right\}---\left(2\right)$

其中i＝1，2…，N。

本发明所使用数据库中的视频序列是固定摄像机拍摄所得，理论上来说，即若完全不存在干扰或其他影响，背景是静止的。对视频序列单帧分析，跟踪其中某一点灰度随时间变化曲线，该曲线应基本保持平稳。然而，对有运动物体或其他环境干扰因素发生点而言，其灰度分布曲线会随时间而变化。本发明尝试对步态序列中不同位置像素的灰度进行了跟踪观察。

静止背景建模过程如下所述。

若令I_(x，y) ^t代表N帧采集的序列图像，其中t代表帧索引值(t＝1，2，．，N)，(x，y)∈I^t，则背景B_(x，y)为：

$B_{(x,y)}=\arg \left\{{\min }_p{\mathrm{med}}_t{(I_{(x,y)}^t-p)}^2\right\}---\left(3\right)$

式中p是像素位置(x，y)处待确定的彩色图像(R，G，B)值，若每个分量是8比特的图像，则p的取值范围是0～255；t是帧索引值，它在1～N之间变化。(arg表示满足()中要求的未知数的值)算法的具体流程为(仅以R分量为例)：

(i)选定一个像素点位置(x，y)；

(ii)p＝0；

(iii)依次计算(I_(x，y) ¹-p)²，(I_(x，y) ²-p)²，…，(I_(x，y) ^N-p)²；

(iv)对计算结果排序，若N为偶数，取排序后第N/2和(N+1)/2个数的平均值，若N为奇数，则取第N/2个数，结果保存到数组med中，即med₀；

(v)p＝p+1，当p＜＝255，返回(iii)，重复执行(iii)，(iv)，(v)，结果保存为med_p，否则执行(vi)；

(vi)找出med₀，med₁，…med₂₅₅中最小值，对应的p值即为该像素点位置的背景灰度值。

(vii)重新选择像素点位置，返回(ii)重复执行，直到图像中所有像素点均计算完毕。

考虑到数据库图像均为RGB格式，因此这里对R、G、B三个分量分别建模，经合成也可获得R、G、B格式的彩色背景图像。

1.差分运动分割

为了确定运动目标，最常用方法是对当前图像与背景模型相减得到的差分图像再进行阈值分割。这种方法的一个很大不足是对低对比度图像，将因其灰度变化太小而难以确定分割阈值，即很难将运动目标从背景中完全清晰地提取出来。为此，本发明改用一个间接差分函数来执行差分操作。该差分函数的表达为：

$f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)+(b+1)}\frac{2\sqrt{(256-a)(256-b)}}{(256-a)+(256-b)}---\left(5\right)$

其中a，b分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且0≤a，b≤255，0≤f(a，b)≤1。当a＝b时，f(a，b)＝0；当a，b不同时，f(a，b)与a，b之间的差值成正比。同时，差分函数的灵敏度可随背景灰度值自动改变。以b＝5和b＝100为例，其差分函数如图2所示。从图中可看出b不同，差分函数f(a，b)也不同，当b较小(b＝5)时，差分函数随着a的增长迅速变大，这说明在低对比度情况下差分函数的灵敏度会自动提高，这种自适应性提高了图像分割的准确度。

当确定了背景图像与当前图像的差分值后，就需要选择分割阈值T(0≤T≤1)。本发明采取Otsu方法(论文出处：Otsu N.A threshold selection method from grey-levelhistograms.In：IEEE Trans.Systems，Man and Cybernetics，1979，SMC-9(1)，62~66)，即通过最大化类间方差来确定阈值T。其二值化过程可表述为：

$M_{(x,y)}=\left\{\begin{array}{cc}1& f(a_{(x,y)},b_{(x,y)})\≥T\\ 0& \mathrm{Otherwise}\end{array}\right.---\left(6\right)$

2.动态背景更新

以上虽然通过最小中位方差法建立了静止背景模型，但由于噪声和光照变化的影响，实际视频序列的背景并非是时刻保持静止不变的。为了获得更加精确的差分运动分割(也即背景减除)效果，必须动态地更新背景。本发明采用Karmann与Brandt的卡尔曼滤波方法进行背景的动态更新(论文出处：Karmann K，Brandt A.Moving object recognitionusing an adaptive background memory.In：Cappellini V ed.Time-varying ImageProcessing and Moving Object Recognition.2.Elsevier，Amsterdam，The Netherlands，1990)。设B_(x，y) ⁿ⁺¹和B_(x，y) ⁿ分别为更新后和当前的背景，根据当前帧I_(x，y) ⁿ中做完运动检测所获取的二值化前景图像M_(x，y) ⁿ，背景更新过程为：

其中α是加权系数，本发明通过实验分析得出α取0.8较为合适。当更新后背景和更新前背景之间足够接近时，停止更新。

用自动更新的背景进行运动分割的结果如图3所示。

3.形态学后处理

运动分割后的图像中难免会存在噪声，同时运动目标中会有少量点被误判为背景，因此还需要对图像进行后处理，以获得最佳的分割效果。本发明使用形态学滤波来消除二值图像中的噪声并填补运动目标中的缺失。

在形态学中，膨胀运算和腐蚀运算是最基本的形态变换。

①膨胀运算(Dilation)

膨胀运算也称扩张运算，用符号

表示，X用B来膨胀记为

定义为

膨胀过程可以描述如下：集合B首先做关于原点的映射B^，然后平移x形成集合(B^)x，最后计算集合(B^)x与集合X不为空集的结构元素参考点的集合。换句话说，用B来膨胀X得到的集合是B^的位移与集合X至少有一个非零元素相交时结构元素B的参考点位置的集合。

例1.膨胀运算示例

如图6(a)是一幅二值图像，阴影部分代表灰度值为高(一般为1)的区域，白色部分代表灰度值为低(一般为0)的区域，其左上角空间坐标为(0，0)。(b)图为结构元素B，标有“+”代表结构元素的参考点。膨胀的结果如图(c)所示，其中黑色为膨胀扩大的部分。把结果

与X相比发现，X按照B的形态膨胀了一定范围。因此，该运算被名之为膨胀。

②腐蚀运算(Erosion)

腐蚀运算也称侵蚀运算，用符号表示，X用B来腐蚀记为

定义为

腐蚀过程可以描述如下：集合B平移x后仍在集合X中的结构元素参考点的集合。换句话说，用B来腐蚀X得到的集合是B完全包括在集合X中时B的参考点位置的集合。

例2腐蚀运算示例

如图7(a)是一幅二值图像，(b)图为结构元素B，标有“+”代表参考点。腐蚀的结果如图(c)所示，其中黑色为腐蚀后留下的部分。把结果与X相比发现，X的区域范围被缩小了，可见，不能容纳结构元素的部分都被腐蚀掉了。

在形态学中，开运算AοB是指A被B腐蚀后再用B来膨胀的结果，即：

式中

表示腐蚀运算，

表示膨胀运算。开运算可完全删除不能包含结构元素的对象，如平滑对象的凸轮廓、断开狭窄的连接、去掉细小的突起部分。闭运算与开运算刚好相反，它的定义是指A被B膨胀后再用B来腐蚀的结果，即：

闭运算可填充比结构元素小的洞，如平滑对象的凹轮廓、将狭长缺口连接成细长弯口。可利用开运算和闭运算的上述性质，实现滤波和填充空洞的功能。图4给出了形态学滤波处理的结果。

形态学滤波处理后，噪声并不一定完全消除，有的杂散噪声可能会形成大小不一的块，而运动目标往往是这些块中最大的，因此可对图像进行连通域分析，目的在于在图像中仅保留运动目标。连通域分析的步骤为：

(i)标记连通矩阵；

(ii)计算每个矩阵像素个数；

(iii)找出像素最多的矩阵；

(iv)确定运动目标。

最后获得的运动目标分割如图5所示。

Claims (4)

1.一种运动目标图像分割方法，每次的图像分割采用如下的步骤：

步骤一：采用最小中位方差法获取背景图像；

步骤二：采用间接差分函数 $f(a,b)=1-\frac{2\sqrt{(a+1)(b+1)}}{(a+1)+(b+1)}\frac{2\sqrt{(256-a)(256-b)}}{(256-a)+(256-b)}$ 获得差分图像，其中a，b分别表示当前图像与背景图像在同一像素点位置的灰度(强度)值，且0≤a，b≤255，0≤f(a，b)≤1；

步骤三：选择分割阈值T， $M_{(x,y)}=\left\{\begin{array}{cc}1& f(a_{(x,y)},b_{(x,y)})\≥T\\ 0& \mathrm{Otherwise}\end{array}\right.$ 将差分图像二值化，获得二值化前景图像；

步骤四：设I_(x，y) ^t为N帧采集的序列图像，B_(x，y) ⁿ⁺¹和B_(x，y) ⁿ分别为根据步骤一得到的更新后和当前的背景图像，M_(x，y) ⁿ为根据步骤三得到的二值化前景图像，根据公式其中，α是加权系数，动态更新背景图像；

步骤五：利用形态学滤波消除二值图像中的噪声并填补运动目标图像中的缺失。

2.根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤一中，根据公式 $B_{(x,y)}=\arg \left\{{\min }_p{\mathrm{med}}_t{(I_{(x,y)}^t-p)}^2\right\}$ 分别得到R、G、B三个分量的背景图像，式中p是像素位置(x，y)处待确定的彩色图像值，t为帧索引值。

3.根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤三中采用最大化类间方差法来确定阈值T。

4.根据权利要求1所述的运动目标图像分割方法，其特征在于，步骤四中，α取0.8。

Images