CN102087707A - 图像处理设备和图像处理方法 - Google Patents

Abstract

公开了一种图像处理设备和图像处理方法。图像处理设备包括：判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；识别装置，其通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未识别为所述预定对象的前景像素最终确定为背景像素；和更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型。

Description

图像处理设备和图像处理方法

技术领域

本发明一般涉及用于从视频序列中检测运动对象的图像处理设备和图像处理方法，尤其涉及基于高斯混合模型来区分视频序列的图像中背景与前景的图像处理设备和图像处理方法。

背景技术

随着视频图像处理技术的发展，人们已经不满足于视频图像的捕捉、编/解码和传输，而是对视频图像中运动对象的识别、分析和处理提出了更多的要求。为满足这些要求，基础的工作是从视频序列中分割出运动对象，即区分运动前景和背景。

目前，运动对象检测的问题主要分为两类，摄像机固定和摄像机运动。对于摄像机固定的情形，前景是指在假设背景为静止的情况下，任何有意义的运动对象即为前景。相对比地，背景的变化是缓慢的，而且主要是由于光照，风等等的影响。通常采用高斯混合模型来对背景进行建模，在视频序列的图像中分离出前景和背景。在Chris Stauffer和W.E.L.Grimson的文章“Adaptive background mixture models for real-time tracking”，1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′99)-Volume 2，pp.2246，1999中描述了如何采用高斯混合模型对背景进行建模以及如何在图像中区分前景和背景。

发明内容

由于存在光线变化、风吹导致的慢速摆动等因素，背景中会存在缓慢的变化。在基于高斯混合模型的各种方案中，能够根据学习速率α和ρ来更新模型，以适应背景的这种改变。然而如果背景改变的速度超过高斯混合模型的学习速度，则背景改变会被误检为前景，从而提高背景噪声。虽然高的学习速率α和ρ使得高斯混合模型能够适应快的背景改变，然而也提高了将运动对象误检为背景，从而丢失前景的概率。调节高斯混合模型的学习速度显然不是解决问题的优选途径。

在基于高斯混合模型的各种方案中，图像的每个像素均有一个高斯混合模型，其由多个高斯分布组成。当判断一个像素是背景像素还是前景像素时，根据相应高斯混合模型求出与该像素的值匹配的各个高斯分布的权重和。如果权重和超过预定阈值，则判断该像素为背景像素，否则为前景像素。此外，还对高斯混合模型进行更新。在更新过程中，对于与该像素的值匹配成功的高斯分布，提高匹配成功的高斯分布在高斯混合模型中的权重并更新其模型参数；对于与该像素的值未匹配成功的高斯分布，降低未匹配成功的高斯分布在高斯混合模型中的权重。

只要匹配成功，便对高斯分布的参数进行更新。然而并非所有的更新都是有益的。例如，有关像素的值与高斯分布是否匹配的判断依据是高斯分布的后验概率大小。然而在更新过程中，高斯分布的后验概率大小与像素的值的稳定性相关。具体地，高斯混合模型的第k个高斯分布的后验概率为

$\mathrm{\η}(X,{\mathrm{\η}}_k,{\mathrm{\Σ}}_k)=\frac{1}{{\left(2\mathrm{\π}\right)}^{D/2}{\left|{\mathrm{\Σ}}_k\right|}^{1/2}}{e}^{-(1/2){(X-{\mathrm{\μ}}_k)}^T{{\mathrm{\Σ}}_k}^{-1}(X-{\mathrm{\μ}}_k)}$

其中∑_k是第k个高斯分布的相应协方差矩阵，μ_k是这个高斯分布的相应均值，X是像素的值，D是X的维数。在实际更新中，如果高斯分布的相应像素的值一直保持不变，就使得协方差矩阵∑_k的行列式|∑_k|^1/2趋近于零。这使得后验概率减小，导致将视频序列的后续图像中的该像素的值与该高斯分布的匹配失败。

本发明的一个目的在于提供一种图像处理设备和图像处理方法，其能够通过改进高斯混合模型的更新来降低背景噪声。

本发明的另一个目的在于提供一种图像处理设备和图像处理方法，其能够通过改进高斯混合模型的更新来避免不期望的更新。

本发明的一个实施例是一种图像处理设备，包括：判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；识别装置，其通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未识别为所述预定对象的前景像素最终确定为背景像素；和更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型。

进一步地，在上述图像处理设备中，识别装置可以包括：前景分割单元，其将所述判断装置确定的前景像素划分为一或多个前景单连通区域；识别单元，其通过模式识别方法确定每个所述前景单连通区域是否所述预定对象；和修正单元，其将未被确定为所述预定对象的前景单连通区域的像素最终确定为背景像素。

进一步地，上述图像处理设备还可以包括：前景补偿装置，其将被识别为所述预定对象的前景单连通区域中由所述判断装置确定的背景像素最终确定为前景像素。

进一步地，在上述图像处理设备中，前景补偿装置可以包括：背景分割单元，其将被识别为所述预定对象的前景单连通区域中由所述判断装置确定的背景像素划分为一或多个背景单连通区域；和补偿单元，其在每个所述背景单连通区域的大小与其所处的被识别为所述预定对象的前景单连通区域的大小的比值小于预定阈值的情况下，将所述背景单连通区域的像素最终确定为前景像素。

进一步地，在上述图像处理设备中，更新装置可以包括：确认单元，其针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数是否满足预定条件；和恢复单元，其在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯分布恢复到更新前的状态。优选地，预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

进一步地，在上述图像处理设备中，更新装置被配置为对于所更新的高斯混合模型，根据所述像素与所更新的高斯混合模型的各个高斯分布的匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。

本发明的另一个实施例是一种图像处理方法，包括：判断步骤，针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；识别步骤，通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未识别为所述预定对象的前景像素最终确定为背景像素；和更新步骤，针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型。

进一步地，在上述图像处理方法中，识别步骤可以包括：将所述判断步骤确定的前景像素划分为一或多个前景单连通区域；通过模式识别方法确定每个所述前景单连通区域是否所述预定对象；和将未被确定为所述预定对象的前景单连通区域的像素最终确定为背景像素。

进一步地，上述图像处理方法还可以包括：前景补偿步骤，将被识别为所述预定对象的前景单连通区域中由所述判断步骤确定的背景像素最终确定为前景像素。

进一步地，在上述图像处理方法中，前景补偿步骤可以包括：将被识别为所述预定对象的前景单连通区域中由所述判断步骤确定的背景像素划分为一或多个背景单连通区域；和在每个所述背景单连通区域的大小与其所处的被识别为所述预定对象的前景单连通区域的大小的比值小于预定阈值的情况下，将所述背景单连通区域的像素最终确定为前景像素。

进一步地，在上述图像处理方法中，更新步骤可以包括：针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数是否满足预定条件；和在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯分布恢复到更新前的状态。优选地，预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

进一步地，在上述图像处理方法中，更新步骤包括：对于所更新的高斯混合模型，根据所述像素与所更新的高斯混合模型的各个高斯分布的匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。

本发明的另一个实施例为一种图像处理设备，包括：判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；和更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型，其中，所述更新装置包括：确认单元，其针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数是否满足预定条件；和恢复单元，其在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯分布恢复到更新前的状态。优选地，预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

本发明的另一个实施例是一种信息处理设备，包括上述图像处理设备之一。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。

图1是示出常规图像处理设备的示例性结构的框图。

图2是示出常规图像处理方法的示例性过程的流程图。

图3是示出根据本发明一个实施例的图像处理设备的示例性结构的框图。

图4是示出根据本发明一个实施例的图像处理方法的示例性过程的流程图。

图5是示出输入图像及结果图像的例子的示意图。

图6是示出根据本发明一个实施例的识别装置的示例性结构的框图。

图7是示出根据本发明一个实施例的识别装置所执行的示例性过程的流程图。

图8是示出根据本发明一个实施例的图像处理设备的示例性结构的框图。

图9是示出根据本发明一个实施例的图像处理方法的示例性过程的流程图。

图10是示出根据本发明一个实施例的前景补偿装置的示例性结构的框图。

图11是示出根据本发明一个实施例的图像处理设备的示例性结构的框图。

图12是示出实现本发明的设备和方法的计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

为便于描述本发明的实施例，首先结合图1和图2来说明常规图像处理设备和图像处理方法，其中采用Chris Stauffer和W.E.L.Grimson在文章“Adaptive background mixture models for real-time tracking”，1999 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR′99)-Volume 2，pp.2246，1999中描述的运动对象检测方法。然而所属领域技术人员明白，Chris Stauffer和W.E.L.Grimson提出的上述方法有许多变型，例如参见T.Bouwmans，F.El Baf和B.Vachon的文章“Background Modeling using Mixture of Gaussians for Foreground Detection-A Survey”，Recent Patents on Computer Science 1，3(2008)219-237。

图1是示出常规图像处理设备100的示例性结构的框图。如图1所示，图像处理设备100包括判断装置101和更新装置102，并且能够访问高斯混合模型库103。

视频序列包括对应于不同时刻t的图像。这些图像的每个像素位置都有一个相应的高斯混合模型

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})---\left(1\right),$

其中，X_t表示对应于时刻t的图像中该像素位置的像素值(RGB空间的强度)，K是高斯分布η(X，μ，∑)的数目，ω_i，t是时刻t第i个高斯分布的权重，μ_i，t是时刻t第i个高斯分布的权重均值，∑_i，t是时刻t第i个高斯分布的协方差矩阵，η是高斯概率密度函数

$\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{D/2}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{1/2}}{e}^{-(1/2){(X_t-{\mathrm{\μ}}_{i,t})}^T{{\mathrm{\Σ}}_{i,t}}^{-1}(X_t-{\mathrm{\μ}}_{i,t})}---\left(2\right)$

其中D是X_t的维数。

高斯混合模型库103包括各个像素位置的相应高斯混合模型，即这些模型的K个高斯分布的参数，即权重、均值和协方差矩阵。可通过期望最大化(EM)方法或K均值(K-mean)方法来初始化这些参数。对于每个高斯混合模型，按照排序比值r_i＝ω_i/σ_i从大到小的顺序排列其K个高斯分布，其中ω_i为第i个高斯分布的权重，σ_i为第i个高斯分布的方差。对于经过排序的K个高斯分布，则前B个高斯分布属于背景模型，其余的高斯分布属于前景模型：

$B={\arg \min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}>T)---\left(3\right)$

其中T为预定阈值。

对于输入图像，判断装置101将输入图像的每个像素的值X_t+1与相应高斯混合模型的K个高斯分布逐个进行匹配测试，确定像素值与高斯分布的匹配程度。匹配程度可以有各种度量，这里以马氏距离(Mahalanobis distance)为例。如果像素值与第i个高斯分布的均值的马氏距离

其中k为等于2.5的恒定阈值(4)，

则认为像素值X_t+1与第i个高斯分布匹配。如果K个高斯分布中存在与像素值匹配的高斯分布，则判断装置101确定这些匹配高斯分布中顺序最靠前(例如排序比值最大)的匹配高斯分布是否属于背景模型。如果属于背景模型，则判断装置101确定该像素为背景像素。如果属于前景模型，则判断装置101确定该像素为前景像素。如果K个高斯分布中不存在与像素值匹配的高斯分布，则判断装置101确定该像素为前景像素。于是，判断装置101得到输入图像的只包含前景像素和背景像素的二值图像。根据区分前景像素和背景像素的二值图像，能够从原始图像中分割出前景部分，即所检测的运动对象，以便用于后续的图像处理。

更新装置102根据判断装置101获得的像素值与相应高斯混合模型的各个高斯分布的匹配结果来更新高斯混合模型。

具体地，如果像素值X_t+1与任何高斯分布存在匹配，对于时刻t的第i个高斯分布，

1)如果像素值X_t+1与其匹配，则将该高斯分布针对下一时刻t+1的权重更新为

ω_i，t+1＝(1-α)ω_i，t+α，其中α为学习速率 (5)，

并且将均值和协方差矩阵更新如下：

μ_i，t+1＝(1-ρ)μ_i，t+ρX_t+1    (6)

${\mathrm{\σ}}_{i,t+1}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{i,t}^2+\mathrm{\ρ}(X_{t+1}-{\mathrm{\μ}}_{i,t+1}){(X_{t+1}-{\mathrm{\μ}}_{i,t+1})}^T---\left(7\right)$

其中ρ＝αη(X_t+1，μ_i，∑_i)；

2)如果像素值X_t+1不与其匹配，则将该高斯分布针对下一时刻t+1的权重更新为ω_i，t+1＝(1-α)ω_i，t，并且均值和协方差矩阵保持不变。

如果像素值X_t+1不与任何高斯分布匹配，则将该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小)的高斯分布：

ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

当然，更新的权重需要进行归一化处理。需要注意，更新装置102的更新也包括根据新的排序比值来重新划分背景模型和前景模型。

在一个可选实施例中，更新装置102可以依据匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。对于经过排序的K个高斯分布，将前B个高斯分布分类为属于背景模型，将其余的高斯分布分类为属于前景模型，其中B由式(3)来确定。这样更新的高斯混合模型被用于下一时刻图像的背景判断。

相应地，如果K个高斯分布中存在与像素值匹配的高斯分布，则判断装置101确定这些匹配高斯分布中顺序最靠前(根据前一时刻的匹配程度来排序)的匹配高斯分布是否属于背景模型。如果属于背景模型，则判断装置101确定该像素为背景像素。如果属于前景模型，则判断装置101确定该像素为前景像素。如果K个高斯分布中不存在与像素值匹配的高斯分布，则判断装置101确定该像素为前景像素。

另外，如果像素值X_t+1不与任何高斯分布匹配，则更新装置102将该像素值视为新颜色，用具有下述参数的高斯分布替换顺序最靠后(根据前一时刻的匹配程度来排序)的高斯分布：

ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

图2是示出常规图像处理方法200的示例性过程的流程图。

如图2所示，方法200从步骤201开始。

在步骤203，设置各个像素位置的相应高斯混合模型的高斯分布的参数，即权重、均值和协方差矩阵(即时刻t的高斯混合模型)。可通过期望最大化(EM)方法或K均值(K-mean)方法来初始化这些参数。此外，对于每个高斯混合模型，按照排序比值r_i＝ω_i/σ_i从大到小的顺序排列其K个高斯分布。对于经过排序的K个高斯分布，则前B个高斯分布属于背景模型，其余的高斯分布属于前景模型，其中B满足等式(3)所列的条件。

在步骤205，输入下一时刻t+1的图像，并确定开始处理的像素为当前像素。

在步骤207，判断当前像素为背景像素还是前景像素，其中，将当前像素的值X_t+1与相应高斯混合模型的K个高斯分布逐个进行匹配测试，其中如果像素值与均值的马氏距离满足式(4)所列的条件，则认为像素值X_t+1与第i个高斯分布匹配。

如果K个高斯分布中存在与像素值匹配的高斯分布，则确定这些匹配高斯分布中排序比值最大的匹配高斯分布是否属于背景模型。如果属于背景模型，则确定该像素为背景像素。如果属于前景模型，则确定该像素为前景像素。如果K个高斯分布中不存在与像素值匹配的高斯分布，则确定该像素为前景像素。

在步骤209，根据步骤207获得的像素值与相应高斯混合模型的各个高斯分布的匹配结果来更新高斯混合模型。

具体地，如果像素值X_t+1与任何高斯分布存在匹配，对于时刻t的第i个高斯分布，

1)如果像素值X_t+1与其匹配，则根据式(5)、(6)、(7)更新该高斯分布针对下一时刻t+1的权重、均值和协方差矩阵；

2)如果像素值X_t+1不与其匹配，则将该高斯分布针对下一时刻t+1的权重更新为ω_i，t+1＝(1-α)ω_i，t，并且均值和协方差矩阵保持不变。

如果像素值X_t+1不与任何高斯分布匹配，则用具有下述参数的高斯分布替换排序比值最小的高斯分布：

ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

接着，对更新的权重进行归一化处理。需要注意，步骤209的更新也包括根据新的排序比值来重新划分背景模型和前景模型。

在一个可选实施例中，步骤209可以依据匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。对于经过排序的K个高斯分布，将前B个高斯分布分类为属于背景模型，将其余的高斯分布分类为属于前景模型，其中B由式(3)来确定。这样更新的高斯混合模型被用于下一时刻图像的背景判断。

相应地，如果K个高斯分布中存在与像素值匹配的高斯分布，则在步骤207确定这些匹配高斯分布中顺序最靠前(根据前一时刻的匹配程度来排序)的匹配高斯分布是否属于背景模型。如果属于背景模型，则在步骤207确定该像素为背景像素。如果属于前景模型，则在步骤207确定该像素为前景像素。如果K个高斯分布中不存在与像素值匹配的高斯分布，则在步骤207确定该像素为前景像素。

另外，如果像素值X_t+1不与任何高斯分布匹配，则在步骤209将该像素值视为新颜色，用具有下述参数的高斯分布替换顺序最靠后(根据前一时刻的匹配程度来排序)的高斯分布：

ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

在步骤211确定是否还有未处理的像素。如果有，则在步骤213将下一个未处理的像素确定为当前像素，并且接着执行步骤207。如果没有，则执行步骤215。于是，得到输入图像的只包含前景像素和背景像素的二值图像。

在步骤215，确定视频序列中是否还有下一个要处理的图像。如果有，则转移到步骤205以输入下一个要处理的图像。如果没有，则方法200在步骤217结束。

下面说明本发明的实施例。

图3是示出根据本发明一个实施例的图像处理设备300的示例性结构的框图。

如图3所示，图像处理设备300包括判断装置301、识别装置304和更新装置302。图像处理设备300能够访问高斯混合模型库303。高斯混合模型库303可以与结合图1描述的高斯混合模型库103相同，因此这里不再重复说明。

判断装置301与结合图1描述的判断装置101基本相同，但并未在判断每个像素是背景像素还是前景像素后立即触发高斯混合模型的更新，而是保存像素值与高斯混合模型的各个高斯分布的匹配结果，以供更新装置302使用。

虽然基于高斯混合模型的各种方案能够在一定程度上适应背景的改变，然而如果背景改变的速度超过高斯混合模型的学习速度，则背景改变会被误检为前景，从而提高背景噪声。

响应于判断装置301获得二值图像，识别装置304通过模式识别方法从二值图像的前景像素中识别预定对象。预定对象是指要作为检测和分割目标的对象。例如，预定对象可以是人、特定动物、车辆等，这取决于具体应用的需要。可通过各种已知的模式识别技术来识别图像中的预定对象。例如Paul Viola和Michael Jones在“Robust Real-time Object Detection”，Second International Workshop On Statistical And Computational Theories Of Vision-Modeling，Learning，Computing，And Sampling，Vancouver，Canada，July 13，2001中公开了一种通过分类器来识别预定对象的技术。

根据模式识别的结果，识别装置304将二值图像的前景像素中未识别为预定对象的前景像素修改为背景像素。也就是说，通过模式识别方法，仅将前景像素中属于预定对象的部分保留为前景，而将其它前景像素作为背景噪声来去除，即还原为背景。

更新装置302针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新像素的高斯混合模型。更新装置302与结合图1描述的更新装置102基本相同，但并未在判断装置301判断每个像素是背景像素还是前景像素后立即被触发来更新该像素的高斯混合模型，而是识别装置304根据模式识别结果修改二值图像后进行更新。对于识别装置304的修改未涉及到的二值图像的像素，更新装置根据判断装置301提供的像素值与相应高斯混合模型的各个高斯分布的匹配结果，按照结合更新装置102描述的方法来进行更新。而对于被识别装置304由前景像素修改为背景像素的像素，则认为其像素值X_t+1不与任何高斯分布匹配，即把该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小或匹配程度最低)的高斯分布：ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

图4是示出根据本发明一个实施例的图像处理方法400的示例性过程的流程图。

如图4所示，方法400从步骤401开始。

在步骤403进行模型初始化。步骤403与图2的步骤203的处理相同，因此不再重复说明。

在步骤405，输入下一时刻t+1的图像，并确定开始处理的像素为当前像素。

在步骤407，判断当前像素为背景像素还是前景像素。步骤407与图2的步骤207的处理基本相同，因此不再重复说明。此外，在步骤407保存像素值与高斯混合模型的各个高斯分布的匹配结果，以供后续更新使用。

在步骤409确定是否还有未处理的像素。如果有，则在步骤411将下一个未处理的像素确定为当前像素，并且接着执行步骤407。如果没有，则执行步骤413。于是，得到输入图像的只包含前景像素和背景像素的二值图像。

在步骤413，响应于获得二值图像，通过模式识别方法从二值图像的前景像素中识别预定对象。根据模式识别的结果，将二值图像的前景像素中未识别为预定对象的前景像素修改为背景像素。也就是说，通过模式识别方法，仅将前景像素中属于预定对象的部分保留为前景，而将其它前景像素作为背景噪声来去除，即还原为背景。

响应于根据模式识别结果修改二值图像，在步骤415，针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新像素的高斯混合模型。对于步骤413的修改未涉及到的二值图像的像素，根据步骤407提供的像素值与相应高斯混合模型的各个高斯分布的匹配结果，按照结合步骤209描述的方法来进行更新。而对于由前景像素修改为背景像素的像素，则认为其像素值X_t+1不与任何高斯分布匹配，即把该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小或匹配程度最低)的高斯分布：ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

在步骤417，确定视频序列中是否还有下一个要处理的图像。如果有，则转移到步骤405以输入下一个要处理的图像。如果没有，则方法400在步骤419结束。

图5是示出输入图像及结果图像的例子的示意图，其中以人作为预定对象。在执行步骤405时，输入图5(a)所示的图像，其中包含一个人。在用步骤407处理了图5(a)所示的图像的所有像素后，得到图5(b)所示的二值图像，其中黑色表示背景像素，白色表示前景像素。图5(b)包含对应于人体的白色区域，和对应于背景噪声的小白色区域。在步骤413中，通过模式识别将图5(b)中对应于人体的白色区域识别为人，并且将除识别为人的区域之外的白色区域修改为背景，因而得到图5(c)所示的经过修改的二值图像。图5(d)示出了基于图5(c)的二值图像而分割出的运动对象。

为降低模式识别的工作量，可以基于单连通区域来进行模式识别。

图6是示出根据本发明一个实施例的识别装置600的示例性结构的框图，其中基于单连通区域来进行模式识别。

在图6所示的例子中，识别装置600包括前景分割单元601、识别单元602和修正单元603。

前景分割单元601将判断装置获得的二值图像中的前景像素划分为一或多个前景单连通区域。可通过各种连通域分析方法，例如B.Han，Y.Hu，等人在“Enhanced Sports Video Shot Boundary Detection Based on Middle Level Features and a Unified Model”，IEEE Trans.Consumer Electronics，vol.53，no.3，pp.1168-1176，2007中介绍的方法将前景像素划分为前景单连通区域。前景分割单元601的处理结果的例子如图5(e)所示，其中每一个白色方框内都包含一个独立的前景单连通区域。

识别单元602通过模式识别方法确定每个前景单连通区域是否预定对象。

在二值图像中，修正单元603将未被确定为预定对象的前景单连通区域的像素最终确定为背景像素。

图7是示出根据本发明一个实施例的识别装置600所执行的示例性过程的流程图，其中基于单连通区域来进行模式识别。

图7所示的示例性过程从步骤701开始。在步骤703，将经过判断步骤获得的二值图像中的前景像素划分为一或多个前景单连通区域。可通过各种连通域分析方法将前景像素划分为前景单连通区域。图5(e)示出了经过步骤703所获得的结果的例子，其中每一个白色方框内都包含一个独立的前景单连通区域。

在步骤705，通过模式识别方法确定每个前景单连通区域是否预定对象。

在步骤707，在二值图像中，将未被确定为预定对象的前景单连通区域的像素最终确定为背景像素。于是过程在步骤709结束。

在基于前景单连通区域识别预定对象时，可能出现对应于对象(例如人体)的前景单连通区域中包含由背景像素组成的区域的情况。实际上这种由背景像素组成的区域也应属于前景。优选地，可以将这样的区域补偿为前景。

图8是示出根据本发明一个实施例的图像处理设备的示例性结构的框图。

如图8所示，图像处理设备800包括判断装置801、识别装置804、更新装置802和前景补偿装置805。图像处理设备800能够访问高斯混合模型库803。判断装置801和高斯混合模型库303可以与结合图3描述的判断装置301和高斯混合模型库303相同，因此这里不再重复说明。识别装置804与结合图6描述的识别装置600相同，其中前景分割单元811、识别单元812和修正单元813分别与前景分割单元601、识别单元602和修正单元603相同，因此这里不再重复说明。

在修正单元813获得的二值图像中，前景补偿装置805将识别单元812识别为预定对象的前景单连通区域中由判断装置801确定的背景像素最终确定(即修改)为前景像素。例如，在图5(f)中，对应于人体的白色前景单连通区域中包含一个由背景像素组成的方框。在这个例子中，前景补偿装置805识别对应于人体的白色前景单连通区域中包含的背景像素，并将这些背景像素修改为前景像素。

更新装置802与结合图3描述的更新装置302基本相同，但是根据前景补偿装置805获得的二值图像来进行更新。对于识别装置804和前景补偿装置805的修改均未涉及到的二值图像的像素，更新装置802根据判断装置801提供的像素值与相应高斯混合模型的各个高斯分布的匹配结果，按照结合更新装置102描述的方法来进行更新。对于被识别装置804由前景像素修改为背景像素但未被前景补偿装置805修改的像素，认为其像素值X_t+1不与任何高斯分布匹配，即把该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小或匹配程度最低)的高斯分布：ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

对于被前景补偿装置805修改为前景像素的像素，更新装置802认为该像素对应的颜色值X_t+1不与任何高斯分布匹配，即把该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小或匹配程度最低)的高斯分布：ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

图9是示出根据本发明一个实施例的图像处理方法900的示例性过程的流程图。

如图9所示，方法900从步骤901开始。步骤903、905、907、909、911、917分别与图4的步骤403、405、407、409、411、417相同，并且步骤913-1、913-3、913-5分别与图7的步骤703、705、707相同，这里不再重复说明。

在步骤914，在经过步骤913-5获得的二值图像中，将由步骤913-3识别为预定对象的前景单连通区域中由步骤907确定的背景像素最终确定(即修改)为前景像素。

步骤915的处理与结合图4描述的步骤415基本相同，但是根据步骤914获得的二值图像来进行更新。对于步骤913-5和914的修改均未涉及到的二值图像的像素，根据步骤907提供的像素值与相应高斯混合模型的各个高斯分布的匹配结果，按照结合步骤415描述的方法来进行更新。对于通过步骤913-5由前景像素修改为背景像素但未被步骤914修改的像素，认为其像素值X_t+1不与任何高斯分布匹配，即把该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小或匹配程度最低)的高斯分布：ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

对于被步骤914修改为前景像素的像素，则认为该像素对应的颜色值X_t+1不与任何高斯分布匹配，即把该像素值视为新颜色，用具有下述参数的高斯分布替换排序顺序最靠后(例如排序比值最小或匹配程度最低)的高斯分布：ω_i，t+1＝低的权重，μ_i，t+1＝X_t+1，

图10是示出根据本发明一个实施例的前景补偿装置1000的示例性结构的框图。

在图10所示的例子中，前景补偿装置1000包括背景分割单元1001和补偿单元1002。

背景分割单元1001将被识别为预定对象的前景单连通区域中由判断装置确定的背景像素划分为一或多个背景单连通区域。例如，在图5(f)中，对应于人体的白色前景单连通区域为识别为预定对象的前景单连通区域的例子，其中包含一个由背景像素组成的黑块。这个黑块即为背景分割单元1001划分的背景单连通区域的例子。

补偿单元1002在每个背景单连通区域的大小与其所处的被识别为预定对象的前景单连通区域的大小的比值小于预定阈值的情况下，将该背景单连通区域的像素最终确定为前景像素。这样可以避免将较大的遮挡物体误检为前景。

相应地，可以进一步修改图9的方法900，使得步骤914包括与背景分割单元1001和补偿单元1002相应的处理，即，将被识别为预定对象的前景单连通区域中由步骤907确定的背景像素划分为一或多个背景单连通区域；和在每个背景单连通区域的大小与其所处的被识别为预定对象的前景单连通区域的大小的比值小于预定阈值的情况下，将该背景单连通区域的像素最终确定为前景像素。

如在发明内容部分所介绍的，并非所有的更新都是有益的。因此，可以考虑放弃不利的更新。

图11是示出根据本发明一个实施例的图像处理设备1100的示例性结构的框图。如图11所示，图像处理设备1100包括包括判断装置1101和更新装置1102，并且能够访问高斯混合模型库1103。判断装置1101和高斯混合模型库1103与图1的判断装置101和高斯混合模型库103相同，因此不再重复说明。

更新装置1102包含图1的更新装置102的功能，即针对输入图像的每个像素，根据有关该像素是背景像素还是前景像素的确定结果来更新该像素的高斯混合模型。此外，更新装置1102还包括确认单元1111和恢复单元1112。确认单元1111针对高斯混合模型中每个被更新的高斯分布，确认被更新的高斯分布的参数是否满足预定条件。如果满足预定条件，则认为更新是有益的。可以根据具体应用或所针对的具体问题来确定预定条件。例如，对于以某个因素(例如风)导致的背景改变为主的视频序列，为排除这个因素所带来的影响，可以专门设计出预定条件，来控制模型的学习质量。

以静止背景像素为例。有关像素的值与高斯分布是否匹配的判断依据是高斯分布的后验概率大小。然而在更新过程中，高斯分布的后验概率大小与像素的值的稳定性相关。具体地，高斯混合模型的第k个高斯分布的后验概率为

$\mathrm{\η}(X,{\mathrm{\μ}}_k,{\mathrm{\Σ}}_k)=\frac{1}{{\left(2\mathrm{\π}\right)}^{D/2}{\left|{\mathrm{\Σ}}_k\right|}^{1/2}}{e}^{-(1/2){(X-{\mathrm{\μ}}_k)}^T{{\mathrm{\Σ}}_k}^{-1}(X-{\mathrm{\μ}}_k)}$

其中∑_k是第k个高斯分布的相应协方差矩阵，μ_k是这个高斯分布的相应均值，X是像素的值，D是X的维数。在实际更新中，如果高斯分布的相应像素的值一直保持不变，就使得协方差矩阵∑_k的行列式|∑_k|^1/2趋近于零。这使得后验概率减小，导致将视频序列的后续图像中的该像素的值与该高斯分布的匹配失败。因此，预定条件可以为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

恢复单元1102在被更新的高斯分布的参数不满足预定条件的情况下，将被更新的高斯分布恢复到更新前的状态。可通过各种方式来进行恢复。例如，可以在进行更新之前备份更新前的参数，并且在恢复时用备份的参数覆盖更新的参数。或者，可以先将要更新的参数临时存储在一个位置，并且在恢复时放弃临时存储的参数，不实际执行更新；在确定不进行恢复时，用临时存储的参数覆盖当前参数。

也可以对结合图3至10描述的图像处理设备和图像处理方法进行类似的改进。

例如，对于结合图3至10描述的图像处理设备，除原有功能外，其更新装置还可以包括确认单元和恢复单元。确认单元针对高斯混合模型中每个被更新的高斯分布，确认被更新的高斯分布的参数是否满足预定条件。恢复单元在被更新的高斯分布的参数不满足预定条件的情况下，将被更新的高斯分布恢复到更新前的状态。优选地，预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

例如，对于结合图3至10描述的图像处理方法，除原有功能外，其更新步骤还可以包括确认步骤和恢复步骤。确认步骤针对高斯混合模型中每个被更新的高斯分布，确认被更新的高斯分布的参数是否满足预定条件。恢复步骤在被更新的高斯分布的参数不满足预定条件的情况下，将被更新的高斯分布恢复到更新前的状态。优选地，预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

本发明的设备和方法可通过硬件、软件和二者的结合的方式来实现。在通过硬件实现的情况下，对于设备包括的各个装置，可以根据其功能设计出输入输出的逻辑真值表，然后按照数字逻辑设计方法由逻辑真值表构造出相应逻辑电路。也可以根据逻辑真值表对可编程逻辑器件进行编程，以实现相应逻辑电路。各个装置可通过总线、专用连接或网络相连。对于方法的各个步骤，可以根据其功能设计出输入输出的逻辑真值表，然后按照数字逻辑设计方法由逻辑真值表构造出执行步骤的功能的相应逻辑电路。也可以根据逻辑真值表对可编程逻辑器件进行编程，以实现步骤的功能的相应逻辑电路。相互衔接的步骤可通过总线、专用连接或网络相连。例如在Jiang H，Ardo H，Owall V.的文章“Hardware accelerator design for video segmentation with multi-modal b ackground modeling.”Int Symposium on Circuits and Systems(ISCAS 2005)，May 2005；2：1142-1145中介绍了硬件实现的体系结构。

在通过软件实现的情况下，可将设备的各个装置和方法的各个步骤的功能通过诸如C、BASIC、JAVA等的编程语言编制成计算机程序。当诸如个人计算机的计算机执行这样的计算机程序时，能够实现设备和方法的功能。

图12是示出实现本发明的设备和方法的计算机的示例性结构的框图。

在图12中，中央处理单元(CPU)1201根据只读映射数据(ROM)1202中存储的程序或从存储部分1208加载到随机存取映射数据(RAM)1203的程序执行各种处理。在RAM 1203中，也根据需要存储当CPU 1201执行各种处理等等时所需的数据。

CPU 1201、ROM 1202和RAM 1203经由总线1204彼此连接。输入/输出接口1205也连接到总线1204。

下述部件连接到输入/输出接口1205：输入部分1206，包括键盘、鼠标等等；输出部分1207，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分1208，包括硬盘等等；和通信部分1209，包括网络接口卡比如LAN卡、调制解调器等等。通信部分1209经由网络比如因特网执行通信处理。

根据需要，驱动器1210也连接到输入/输出接口1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体映射数据等等根据需要被安装在驱动器1210上，使得从中读出的计算机程序根据需要被安装到存储部分1208中。

在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图12所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘、光盘(包含光盘只读映射数据(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体映射数据。或者，存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等，其中存有程序，并且与包含它们的方法一起被分发给用户。

在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。

Claims (17)

1.一种图像处理设备，包括：

判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；

识别装置，其通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未识别为所述预定对象的前景像素最终确定为背景像素；和

更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型。

2.如权利要求1所述的图像处理设备，其中，所述识别装置包括：

前景分割单元，其将所述判断装置确定的前景像素划分为一或多个前景单连通区域；

识别单元，其通过模式识别方法确定每个所述前景单连通区域是否所述预定对象；和

修正单元，其将未被确定为所述预定对象的前景单连通区域的像素最终确定为背景像素。

3.如权利要求2所述的图像处理设备，还包括：

前景补偿装置，其将被识别为所述预定对象的前景单连通区域中由所述判断装置确定的背景像素最终确定为前景像素。

4.如权利要求3所述的图像处理设备，其中，所述前景补偿装置包括：

背景分割单元，其将被识别为所述预定对象的前景单连通区域中由所述判断装置确定的背景像素划分为一或多个背景单连通区域；和

补偿单元，其在每个所述背景单连通区域的大小与其所处的被识别为所述预定对象的前景单连通区域的大小的比值小于预定阈值的情况下，将所述背景单连通区域的像素最终确定为前景像素。

5.如权利要求1所述的图像处理设备，其中，所述更新装置包括：

确认单元，其针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数是否满足预定条件；和

恢复单元，其在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯分布恢复到更新前的状态。

6.如权利要求5所述的图像处理设备，其中所述预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

7.如权利要求1所述的图像处理设备，其中，所述更新装置被配置为对于所更新的高斯混合模型，根据所述像素与所更新的高斯混合模型的各个高斯分布的匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。

8.一种图像处理方法，包括：

判断步骤，针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；

识别步骤，通过模式识别方法从前景像素中识别预定对象，并且将所述前景像素中未识别为所述预定对象的前景像素最终确定为背景像素；和

更新步骤，针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型。

9.如权利要求8所述的图像处理方法，其中，所述识别步骤包括：

将所述判断步骤确定的前景像素划分为一或多个前景单连通区域；

通过模式识别方法确定每个所述前景单连通区域是否所述预定对象；和

将未被确定为所述预定对象的前景单连通区域的像素最终确定为背景像素。

10.如权利要求9所述的图像处理方法，还包括：

前景补偿步骤，将被识别为所述预定对象的前景单连通区域中由所述判断步骤确定的背景像素最终确定为前景像素。

11.如权利要求10所述的图像处理方法，其中，所述前景补偿步骤包括：

将被识别为所述预定对象的前景单连通区域中由所述判断步骤确定的背景像素划分为一或多个背景单连通区域；和

在每个所述背景单连通区域的大小与其所处的被识别为所述预定对象的前景单连通区域的大小的比值小于预定阈值的情况下，将所述背景单连通区域的像素最终确定为前景像素。

12.如权利要求8所述的图像处理方法，其中，所述更新步骤包括：

针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数是否满足预定条件；和

在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯分布恢复到更新前的状态。

13.如权利要求12所述的图像处理方法，其中所述预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

14.如权利要求8所述的图像处理方法，其中，所述步骤包括：

对于所更新的高斯混合模型，根据所述像素与所更新的高斯混合模型的各个高斯分布的匹配程度来重新划分背景模型和前景模型，其中按照匹配程度由高到低的顺序排列各个高斯分布。

15.一种图像处理设备，包括：

判断装置，其针对输入图像的每个像素，利用所述像素的高斯混合模型来确定所述像素是背景像素还是前景像素；和

更新装置，其针对输入图像的每个像素，根据有关所述像素是背景像素还是前景像素的确定结果来更新所述像素的高斯混合模型，

其中，所述更新装置包括：

确认单元，其针对所述高斯混合模型中每个被更新的高斯分布，确认所述被更新的高斯分布的参数是否满足预定条件；和

恢复单元，其在所述被更新的高斯分布的参数不满足所述预定条件的情况下，将所述被更新的高斯分布恢复到更新前的状态。

16.如权利要求15所述的图像处理设备，其中所述预定条件为协方差矩阵∑_k的行列式|∑_k|^1/2大于预定阈值。

17.一种信息处理设备，包括如权利要求1至7和权利要求15至16之一所述的图像处理设备。

Images