CN103824297B - 基于多线程在复杂高动态环境中快速更新背景和前景的方法 - Google Patents

Abstract

本发明涉及图像处理领域，具体涉及一种基于多线程在复杂高动态环境中快速更新背景和前景的方法，包括以下步骤：对像素点及其邻近像素点进行Haar‑like特征提取；根据场景的复杂程度，将前10～35帧图像的特征向量直接并入背景模型矩阵的末尾；获取图像中的某一像素点，计算该像素点到其背景模型的距离，以此来判别该像素点当前是否为前景点；如果通过步骤三得出当前像素点为背景点，则更新背景模型矩阵中与当前P2M距离最小的特征值；如果通过步骤三得出当前像素点为背景点，从当前像素点邻近的像素点中随机选取一个点，更新其背景模型中与当前像素特征距离最大的特征。本发明能实时、准确地更新背景，适应各种复杂环境，有效提高前景检测的准确性和适应性。

Description

基于多线程在复杂高动态环境中快速更新背景和前景的方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于多线程在复杂高动态环境中快速更新背景和前景的方法。

背景技术

随着视频监控、人机交互、图像编码和检索等新兴领域的迅速发展和技术需求的快速增多，计算机视觉的相关技术也取得了巨大的突破，图像处理成为行业的基础和领域的技术核心，而背景建模作为其中的常见处理手段，也取得了长足的进步。

最流行、使用最广泛的背景建模方法当属混合高斯模型。它将图像中的每一个像素点进行建模，定义每个像素点的分布模型为由多个单高斯模型组成的集合，根据每一个新的像素值更新模型参数，按照一定的准则判断哪些像素点为背景点、哪些为前景点；当光照发生大规模的迅速变化时，混合高斯模型将为其新建一个高斯体，但仍以以前的像素值作为背景(因为新的高斯体的“力量”还不到能够取代原来主高斯体的地步)，直到一定帧数后，新的高斯体取代原来的背景。但是对于城市里高动态、光照变化复杂的环境，前景目标数量很大而移动缓慢，背景中的光照、阴影、树叶摇动等小变化层出不穷，常常出现背景还没来得及更新完毕环境又发生变化的情况，混合高斯模型就出现了不断建新的高斯体、在各种变化间疲于计算的结果，达不到实时、准确检测前景的目的。

贝叶斯方法作为混合高斯建模的替代品，使用了核密度估计的方法，递归地使用贝叶斯学习来近似每个像素的概率密度分布，代替了混合高斯模型的精确参数估计方法。但是贝叶斯方法仍然无法解决前景移动缓慢的判别问题(即将移动缓慢的前景误认为背景)；接着，码本算法将像素值量化编码，使得邻域的信息被加入模型，解决了缓慢前景的问题。但是码本算法需要花费大量的时间在离线训练上，难以满足复杂高动态环境多变的要求。

将背景建模问题看作一个信号重建的问题是最近一种较为流行的做法。当环境中的前景只占很小一部分时，使用压缩感知理论来对前景进行检测是一种行之有效的方法，即是将前景看作是信号重建中的噪声，这样背景建模就成了一个主信号量恢复的问题。同时，还有一种做法是将前景在环境中看作一个暂时出现的量，使用稀疏表达，将前景看作一个稀疏量，从而从过去的一些图像里恢复出当前的背景。然而，在复杂高动态环境下，任何时间或者空间上的稀疏假设都是不存在的，前景有可能在在时空中占有很大的比例。因此，便有了一种将混合高斯建模和信号恢复串联起来的方法，使用主成分分析，将背景从主特征中恢复出来。但是，这种方法显然需要花费大量的资源在训练和参数估计上，难以达到实时的目的。

发明内容

本发明的目的在于提供基于多线程在复杂高动态环境中快速更新背景和前景的方法，解决现有的建模方法无法应对复杂高动态环境，无法实时、准确地更新背景模型，并且前景检测的准确性和适应性不高的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种基于多线程在复杂高动态环境中快速更新背景和前景的方法，包括以下步骤：

步骤一，对像素点及其邻近像素点进行Haar-like特征提取；

步骤二，根据场景的复杂程度，将前10～35帧图像的特征向量直接并入背景模型矩阵的末尾；

步骤三，获取图像中的某一像素点，计算该像素点到其背景模型的P2M距离，以此来判别该像素点当前是否为前景点；

步骤四，如果通过步骤三得出当前像素点为背景点，则更新背景模型矩阵中与当前P2M距离最小的特征值；

步骤五，如果通过步骤三得出当前像素点为背景点，从当前像素点邻近的像素点中随机选取一个点，更新其背景模型中与当前像素特征P2M距离最大的特征。

更进一步的技术方案是，所述步骤一中Haar-like特征提取具体方法是：

获取当前帧图像中第k个像素点和其邻近点构成的像素块向量P_k，利用积分图，将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存起来，当要计算某个区域的像素和时直接索引数组中对应点的值，通过加减算法得到乘数，将压缩感知矩阵与像素块向量乘法的问题转变成积分图得到的乘数和权值相乘再求和的问题，从而获取到压缩感知矩阵A，进而得到第k个像素点的特征向量v_k＝AP_k。

更进一步的技术方案是，所述压缩感知矩阵(n＞m)，其中n为目标向量的维度，即是以当前像素为中心的图像块的长度，m为经过压缩感知后的特征维度，即是背景模型矩阵的行数。

更进一步的技术方案是，所述步骤二中，判断当前帧图像如果属于前N帧，则第k个像素点的背景模型矩阵表示为M_k＝{v_k,1,v_k,2,…,v_k,N}，其中代表第k个像素点第i帧的特征向量。

更进一步的技术方案是，所述步骤三中，判别该像素点当前是否为前景点的方法为：

用I_k代表当前帧图像中第k个像素点的像素值，用代表其背景模型，用v_k代表该像素点的特征向量，用v_k,l代表该像素点特征向量第l维的值(1≤l≤m)，用v_k,i,l代表该像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)。那么最小P2M距离定义为

$Min\_P2M(I_k,M_k)=\underset{l=1}{\overset{m}{\Σ}}\underset{i\∈\{1,2,\mathrm{...},N\}}{\min }{(v_{k,l}-v_{k,i,l})}^2$

如果满足

Min_P2M(I_k，M_k)＞Threshold

那么，认为该像素点为前景点，其中Threshold为手动指定的常量，通过国际通用的背景模型效果的F-Measure来评估：

$F=2\left(\frac{precision\·recall}{precision+recall}\right),0\≤F\≤1$

其中，precision为前景检测的准确率，recall为前景检测的捕获率，F-Measure越大，前景检测效果越好。

更进一步的技术方案是，所述当前像素点为背景点时，对其更新分为像素点背景更新和邻域像素点背景更新，

其中所述像素点背景更新方法是：用v_k,i,l表示该第k个像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，用v_k,l表示该像素点特征向量第l维的值(1≤l≤m)，利用公式

${v_{k,i,l}}^{new}=v_{k,l},(i=\underset{i\∈\{1,2,\mathrm{...},N\}}{\arg \min }{\left(v_{k,l}-v_{k,i,l}\right)}^2)$

得出该像素和其邻近的块新的特征向量v_k,i,l ^new；

其中所述邻域像素点背景更新方法是：我们从第k个像素点的8邻域中随机选取一个像素点，设其为图像中第j个像素点，用I_j代表该像素点的像素值，用代表其背景模型，用v_j代表该像素点的特征向量，用v_j,l代表该像素点特征向量第l维的值(1≤l≤m)，用v_j,i,l代表该像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，最大P2M距离为

$Max\_P2M(I_j,M_j)=\underset{l=1}{\overset{m}{\Σ}}\underset{i\∈\{1,2,\mathrm{...},N\}}{\max }{(v_{j,l}-v_{j,i,l})}^2$

邻域随机点的背景更新，利用公式，

${v_{j,i,l}}^{new}=v_{j,l},(i=\underset{i\∈\{1,2,\mathrm{...},N\}}{\arg \min }{\left(v_{j,l}-v_{j,i,l}\right)}^2)$

得到新的像素特这向量v_k,i,l ^new，其中v_j,i,l为该第j个像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，v_j,l为该像素点特征向量第l维的值(1≤l≤m)。

与现有技术相比，本发明的有益效果是：

采用像素到模型的思想，将单个像素点用一系列基于压缩感知的局部描述器特征表示，并用点到类的距离来衡量像素是否为前景点；同时，在进行背景模型更新的时候，也使用了点到类的距离来对局部描述器构成的模型平滑而有效地进行更新，从而使得背景建模和前景检测无论在室内还是室外的复杂环境，都有着快速而高效的性能；能实时、准确地更新背景，适应各种复杂环境，有效提高前景检测的准确性和适应性。

附图说明

图1为本发明的流程示意图。

图2为Haar-like特征提取的示意图。

图3为最小点到类距离更新背景模型的示意图。

图4为最大点到类距离更新背景模型的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明可以在Windows和Linux平台上实现，编程语言也是可以选择的，可以采用C++实现的，使用了多线程的方法。

图1示出了本发明一种基于多线程在复杂高动态环境中快速更新背景和前景的方法的一个实施例：一种基于多线程在复杂高动态环境中快速更新背景和前景的方法，包括以下步骤：

步骤一，对像素点及其邻近像素点进行Haar-like特征提取；

步骤二，根据场景的复杂程度，将前10～35帧图像的特征向量直接并入背景模型矩阵的末尾；

步骤三，获取图像中的某一像素点，计算该像素点到其背景模型的P2M距离，以此来判别该像素点当前是否为前景点；

步骤四，如果通过步骤三得出当前像素点为背景点，则更新背景模型矩阵中与当前P2M距离最小的特征值；

步骤五，如果通过步骤三得出当前像素点为背景点，从当前像素点邻近的像素点中随机选取一个点，更新其背景模型中与当前像素特征P2M距离最大的特征。

图2示出了本发明一种基于多线程在复杂高动态环境中快速更新背景和前景的方法的一个优选实施例，所述步骤一中Haar-like特征提取具体方法是：

获取当前帧图像中第k个像素点和其邻近点构成的像素块向量P_k，利用积分图(积分图是用来计算压缩感知矩阵A的)，将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存起来，当要计算某个区域的像素和时直接索引数组中对应点的值，通过加减算法得到乘数，将压缩感知矩阵与像素块向量乘法的问题转变成积分图得到的乘数和权值相乘再求和的问题，从而获取到压缩感知矩阵A，进而得到第k个像素点的特征向量v_k＝AP_k。

根据本发明基于多线程在复杂高动态环境中快速更新背景和前景的方法的另一个优选实施例，所述压缩感知矩阵(n＞m)，其中n为目标向量的维度，即是以当前像素为中心的图像块的长度，m为经过压缩感知后的特征维度，即是背景模型矩阵的行数；根据实验，对于室外场景，m不宜大于5，n不宜大于32，m设为3、n设为25时效果较好。

根据本发明基于多线程在复杂高动态环境中快速更新背景和前景的方法的另一个优选实施例，所述步骤二中，判断当前帧图像如果属于前N帧，则第k个像素点的背景模型矩阵表示为M_k＝{v_k,1,v_k,2,…,v_k,N}，其中代表第k个像素点第i帧的特征向量；根据目前已经存在的例如CodeBook和PBAS等背景建模方法，及现场的实验，背景模型需要进行10～35帧的训练，对于普通的室外场景和交通场景，训练20帧已经足够。

根据本发明一种基于多线程在复杂高动态环境中快速更新背景和前景的方法的另一个优选实施例，所述步骤三中，判别该像素点当前是否为前景点的方法为：

用I_k代表当前帧图像中第k个像素点的像素值，用代表其背景模型，用v_k代表该像素点的特征向量，用v_k,l代表该像素点特征向量第l维的值(1≤l≤m)，用v_k,i,l代表该像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)。那么最小P2M距离定义为

$Min\_P2M(I_k,M_k)=\underset{l=1}{\overset{m}{\Σ}}\underset{i\∈\{1,2,\mathrm{...},N\}}{\min }{(v_{k,l}-v_{k,i,l})}^2$

如果满足

Min_P2M(I_k，M_k)＞Threshold

那么，认为该像素点为前景点，其中Threshold为手动指定的常量，通过国际通用的背景模型效果的F-Measure来评估：

$F=2\left(\frac{precision\·recall}{precision+recall}\right),0\≤F\≤1$

其中，precision为前景检测的准确率，recall为前景检测的捕获率，F-Measure越大，前景检测效果越好，根据实验，当Threshold＝3000时，可以取得比较好的效果。

根据本发明基于多线程在复杂高动态环境中快速更新背景和前景的方法的另一个优选实施例，所述当前像素点为背景点时，对其更新分为像素点背景更新和邻域像素点背景更新，

其中所述像素点背景更新方法是：如图3所示，用v_k,i,l表示该第k个像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，用v_k,l表示该像素点特征向量第l维的值(1≤l≤m)，利用公式

${v_{k,i,l}}^{new}=v_{k,l},(i=\underset{i\∈\{1,2,\mathrm{...},N\}}{\arg \min }{\left(v_{k,l}-v_{k,i,l}\right)}^2)$

得出该像素和其邻近的块新的特征向量v_k,i,l ^new；

其中所述邻域像素点背景更新方法是：如图4所示，我们从第k个像素点的8邻域中随机选取一个像素点，设其为图像中第j个像素点，用I_j代表该像素点的像素值，用代表其背景模型，用v_j代表该像素点的特征向量，用v_j,l代表该像素点特征向量第l维的值(1≤l≤m)，用v_j,i,l代表该像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，最大P2M距离为

$Max\_P2M(I_j,M_j)=\underset{l=1}{\overset{m}{\Σ}}\underset{i\∈\{1,2,\mathrm{...},N\}}{\max }{(v_{j,l}-v_{j,i,l})}^2$

邻域随机点的背景更新，利用公式，

${v_{j,i,l}}^{new}=v_{j,l},(i=\underset{i\∈\{1,2,\mathrm{...},N\}}{\arg \min }{\left(v_{j,l}-v_{j,i,l}\right)}^2)$

得到新的像素特这向量v_k,i,l ^new，其中v_j,i,l为该第j个像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，v_j,l为该像素点特征向量第l维的值(1≤l≤m)。

Claims (4)

1.一种基于多线程在复杂高动态环境中快速更新背景和前景的方法，其特征在于：包括以下步骤：

步骤一，对像素点及其邻近像素点进行Haar-like特征提取；

步骤二，根据场景的复杂程度，将前10～35帧图像的特征向量直接并入背景模型矩阵的末尾；

步骤三，获取图像中的某一像素点，计算该像素点到其背景模型的P2M距离，以此来判别该像素点当前是否为前景点；

步骤四，如果通过步骤三得出当前像素点为背景点，则更新背景模型矩阵中与当前P2M距离最小的特征值；

步骤五，如果通过步骤三得出当前像素点为背景点，从当前像素点邻近的像素点中随机选取一个点，更新其背景模型中与当前像素特征P2M距离最大的特征；

所述步骤一中Haar-like特征提取具体方法是：

获取当前帧图像中第k个像素点和其邻近点构成的像素块向量P_k，利用积分图，将图像从起点开始到各个点所形成的矩形区域像素之和作为一个数组的元素保存起来，当要计算某个区域的像素和时直接索引数组中对应点的值，通过加减算法得到乘数，将压缩感知矩阵与像素块向量乘法的问题转变成积分图得到的乘数和权值相乘再求和的问题，从而获取到压缩感知矩阵A，进而得到第k个像素点的特征向量v_k＝AP_k；

所述步骤三中，判别该像素点当前是否为前景点的方法为：

用I_k代表当前帧图像中第k个像素点的像素值，用代表其背景模型，用v_k代表该像素点的特征向量，用v_k,l代表该像素点特征向量第l维的值(1≤l≤m)，用v_k,i,l代表该像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)；那么最小P2M距离定义为 $Min\_P2M(I_k,M_k)=\underset{l=1}{\overset{m}{\Σ}}\underset{i\∈\left\{1,2,...,N\right\}}{\min }{(v_{k,l}-v_{k,i,l})}^2$

如果满足

Min_P2M(I_k，M_k)＞Threshold

那么，认为该像素点为前景点，其中Threshold为手动指定的常量，通过国际通用的背景模型效果的F-Measure来评估：

$\begin{array}{cc}F=2\left(\frac{precision\·recall}{precision+recall}\right)& 0\≤F\≤1\end{array}$

其中，precision为前景检测的准确率，recall为前景检测的捕获率，F-Measure越大，前景检测效果越好。

2.根据权利要求1所述的基于多线程在复杂高动态环境中快速更新背景和前景的方法，其特征在于：所述压缩感知矩阵(n＞m)，其中n为目标向量的维度，即是以当前像素为中心的图像块的长度，m为经过压缩感知后的特征维度，即是背景模型矩阵的行数。

3.根据权利要求1所述的基于多线程在复杂高动态环境中快速更新背景和前景的方法，其特征在于：所述步骤二中，判断当前帧图像如果属于前N帧，则第k个像素点的背景模型矩阵表示为M_k＝{v_k,1,v_k,2,…,v_k,N}，其中代表第k个像素点第i帧的特征向量。

4.根据权利要求1所述的基于多线程在复杂高动态环境中快速更新背景和前景的方法，其特征在于：所述当前像素点为背景点时，对其更新分为像素点背景更新和邻域像素点背景更新，

其中所述像素点背景更新方法是：用v_k,i,l表示该第k个像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，用v_k,l表示该像素点特征向量第l维的值(1≤l≤m)，利用公式

$\begin{array}{cc}{v_{k,i,l}}^{new}=v_{k,l}& \left(i=\underset{i\∈\left\{1,2,...,N\right\}}{\arg \min }{\left(v_{k,l}-v_{k,i,l}\right)}^2\right)\end{array}$

得出该像素和其邻近的块新的特征向量v_k,i,l ^new；

其中所述邻域像素点背景更新方法是：我们从第k个像素点的8邻域中随机选取一个像素点，设其为图像中第j个像素点，用I_j代表该像素点的像素值，用代表其背景模型，用v_j代表该像素点的特征向量，用v_j,l代表该像素点特征向量第l维的值(1≤l≤m)，用v_j,i,l代表该像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，最大P2M距离为

$Max\_P2M(I_j,M_j)=\underset{l=1}{\overset{m}{\mathrm{\Σ}}}\underset{i\∈\left\{1,2,...,N\right\}}{\max }{(v_{j,l}-v_{j,i,l})}^2$

邻域随机点的背景更新，利用公式，

$\begin{array}{cc}{v_{j,i,l}}^{new}=v_{j,l}& \left(i=\underset{i\∈\left\{1,2,...,N\right\}}{\arg \min }{\left(v_{j,l}-v_{j,i,l}\right)}^2\right)\end{array}$

得到新的像素特征向量v_k,i,l ^new，其中v_j,i,l为该第j个像素点背景模型中第i个的特征向量第l维的值(1≤i≤N，1≤l≤m)，v_j,l为该像素点特征向量第l维的值(1≤l≤m)。