CN102073852B - 基于最优阈值和随机标号法的多车辆分割方法 - Google Patents

Abstract

本发明涉及一种基于最优阈值和随机标号法的多车辆分割方法，所述方法包括图像采集、图像色彩空间变换、图像阈值粗分割、图像细分割、背景提取及更新等步骤。所述图像粗分割根据与阈值相关的约束关系建立能量函数，运用模拟退火算法计算最优双阈值以对图像进行分割，提高了分割效率。所述背景提取和更新中通过相似度决定背景更新速度的选择性背景更新方法，减少了分割计算量，提高了实时性。所述方法对光照极强和极弱或者是在横向和纵向阴影干扰环境下，都能够准确对多车辆进行分割与检测，适用于较为复杂的室外环境下道路交通管理或其它类似场合，本方法的实施主要使用摄像机和计算机***，可用于交通监控及相近领域。

Description

基于最优阈值和随机标号法的多车辆分割方法

技术领域

本发明涉及一种基于机器视觉的车辆检测方法，更进一步地，涉及一种机器视觉结合最优阈值和随机标号法的多车辆分割方法。

背景技术

随着车辆的日益增多，有关交通控制问题的研究已经成为了近年来的热点。其中最为核心的车辆识别技术受到了广大研究人员的极大关注。车辆识别技术在自主导航车、助驾***、智能交通监控***和自动泊车***中都起着非常关键的作用。在自下而上的识别过程中，车辆分割的好坏直接影响着车辆识别的质量。由于车辆行驶在室外环境中，车辆的分割受到了光照变化、阴影、运动背景（比如摇动的树枝）等干扰的影响，使得车辆分割问题成为了一个极富挑战性的问题。一般而言，优秀的车辆分割方法需要满足以下要求：1)适应不同的光线、天气变化，如雾天、严重阴影和区域光线剧烈变化等。2)克服不同的交通流状况对检测的影响。3)具有足够高的实时性和鲁棒性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于最优阈值和随机标号法的多车辆分割方法，减少了环境因素对室外车辆检测过程的干扰，提高了在复杂环境下对运动目标检测的鲁棒性和实时性。

为了达到上述目的，本发明所采用的技术方案是：

一种基于最优阈值和随机标号法的多车辆分割方法，包括以下步骤：

(1)图像采集；

(2)图像色彩空间变换；

(3)图像阈值粗分割；

(4)图像细分割；

(5)背景提取及更新；

所述图像阈值粗分割中，选取双阈值消除前景与背景相减可能出现正负的情况，根据与阈值相关的约束关系建立能量函数，运用模拟退火算法循环迭代计算出全局能量最小的分割阈值，进而得到最优双阈值以对图像进行分割，以上循环迭代过程和背景提取更新过程共同组成双循环结构；

所述图像阈值粗分割包括以下步骤得到：

(1)设粗分割图M_t中包含了k个分割块，由S_r表示，每一个S_r在图像

和背景图B_t中对应的区域用分别用Γ_r和Λ_r表示，函数Ψ(Γ_r)表示求块Γ_r中像素点的个数，其中r＝1,2,…,k；

(2)选取双阈值

和

并且满足

由中值确定，其中γ由聚合区域的大小决定；

(3)结合与阈值相关的约束关系生成能量函数

$U({\hat{I}}_t,M_t,B_t)=U_d({\hat{I}}_t,M_t,B_t)+U_c({\hat{I}}_t,M_t,B_t)+U_p({\hat{I}}_t,M_t,B_t);$

其中：

$U_d({\hat{I}}_t,M_t,B_t)=\frac{-\underset{r=1}{\overset{k}{\mathrm{\Σ}}}\underset{\mathrm{\ω}\∈{\mathrm{\Γ}}_r}{\mathrm{\Σ}}{\left|\right|{\mathrm{\Γ}}_r\left(\mathrm{\ω}\right)-{\mathrm{\Λ}}_r\left(\mathrm{\ω}\right)\left|\right|}^2}{\underset{r=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{\Ψ}\left({\mathrm{\Γ}}_r\right)},$ 表示当前图像与背景图像的颜色差异关系，

表示选定区域内的连通关系，

$U_p({\hat{I}}_t,M_t,B_t)=\frac{\mathrm{\ν}}{\underset{\mathrm{\γ}=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{\Ψ}\left({\mathrm{\Γ}}_r\right)},$ 表示分割占空比关系；

(4)在能量函数式

基础上结合模拟退火算法计算得到全局能量最小的分割阈值

具体方法如下：

输入：初始化阈值中值

初始温度C_init，终止温度C_final；

初始化当前阈值

温度C=C_init；

迭代，通过N次内耗迭代后，每K次迭代减小温度C一次；

每一次迭代都要进行如下步骤：

a、从阈值空间中随机选取阈值T′，

b、以T′计算当前能量函数

c、计算接收率A(T′)：

$A\left(T^{\′}\right)=\min \{1,{\left(\frac{U_n({\hat{I}}_t,M_t,B_t)}{U_{n-1}({\hat{I}}_t,M_t,B_t)}\right)}^{\frac{1}{c}}\},$

d、从均匀分布U[0,1]中选取随机数

进行状态更新：

e、如果C＝C_final,则得到最优阈值

结束迭代过程，

输出：最优阈值 $T_t^1=T_{\mathrm{opt}}^c+\mathrm{\γ}/2,$ $T_t^2=T_{\mathrm{opt}}^c-\mathrm{\γ}/2;$

(5)将t时刻帧图像

与背景B_t(ω)相减并利用计算出的最优双阈值

和

进行二值化，得到粗分割图像M_t(ω)，具体二值化规则如下：

$M_t\left(\mathrm{\&omega;}\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)>T_t^1\left|\right|{\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)<T_t^2\\ 0,& \mathrm{if}& T_t^2\&le;{\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)\&le;T_t^1\end{array}\right.;$

所述图像细分割采用以下方法得到：

最优阈值分割已将图像粗分成多个块，针对每个粗分割的块运用标号法区分出每个像素的类型，从而完全去除车辆分割图中的阴影和背景，其中每一个像素点的标号利用最大后验概率来确定，即计算出每个像素点在三种像素类型下的后验概率再由最大的后验概率确定标号；

后验概率由下式确定：

$p\left(l_t\left(\mathrm{\&omega;}\right)\right|{\mathrm{\&Gamma;}}_{\mathrm{\&gamma;}}^t\left(\mathrm{\&omega;}\right))\&Proportional;p\left({\mathrm{\&Gamma;}}_{\mathrm{\&gamma;}}^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right))\&times;p\left(l_t\left(\mathrm{\&omega;}\right)\right);$

其中：

为相似度，

p(l_t(ω))为先验概率，

l_t(ω)表示当前点ω是属于哪一个分类e_i，

e_i＝i＝1,2,3，e₁,e₂,e₃分别表示前景，阴影和背景；

所述图像细分割中采用如下方法确定图像像素点灰度ω在时间t的相似度 $p\left({\mathrm{\&Gamma;}}_r^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right)):$

假设图像只是受到高斯噪声的干扰，则：

背景点的观测模型表示为 $g_t\left(\mathrm{\&omega;}\right)={\hat{I}}_t\left(\mathrm{\&omega;}\right)+n_t\left(\mathrm{\&omega;}\right),$

阴影点的观测模型表示为 $g_t\left(\mathrm{\&omega;}\right)=r_t\left(\mathrm{\&omega;}\right){\hat{I}}_t\left(\mathrm{\&omega;}\right)+n_t\left(\mathrm{\&omega;}\right),$

其中：

n_t(ω)是均值为0方差为(δ_t(ω))²的高斯噪声；

分别假设粗分割块中某像素点的三种类型标号的一种，计算出相似度如下：

$p\left({\mathrm{\&Gamma;}}_r^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right))=\left\{\begin{array}{ccc}N(g_t\left(\mathrm{\&omega;}\right);{\hat{I}}_t\left(\mathrm{\&omega;}\right),{\left({\mathrm{\&delta;}}_t\left(\mathrm{\&omega;}\right)\right)}^2),& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_1\\ N(g_t\left(\mathrm{\&omega;}\right);r_t\left(\mathrm{\&omega;}\right){\hat{I}}_t\left(\mathrm{\&omega;}\right),{\left({\mathrm{\&delta;}}_t\left(\mathrm{\&omega;}\right)\right)}^2),& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_2\\ c,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_3\end{array}\right.;$

其中:

N(z;μ，(δ)²)是以μ为均值，

(δ)²为方差的高斯分布；

所述图像细分割中采用如下方法确定标号的先验概率：

在t时刻，如果给定图像

标号域l_t满足马尔科夫属性，则标记域的分布可以近似为一个Gibbs分布，即

$p\left(l_t\left(\mathrm{\&omega;}\right)\right)\&Proportional;\exp \{-\underset{\mathrm{\&omega;}\&Element;X}{\mathrm{\&Sigma;}}[V_{\mathrm{\&omega;}}\left(l_t\left(\mathrm{\&omega;}\right)\right)+\underset{\mathrm{\&xi;}\&Element;N_{\mathrm{\&omega;}}}{\mathrm{\&Sigma;}}{V}_{\mathrm{\&omega;},\mathrm{\&xi;}}(l_t\left(\mathrm{\&omega;}\right),l_t\left(\mathrm{\&xi;}\right))\left]\right\};$

其中：

$V_{\mathrm{\&omega;}}\left(l_t\left(\mathrm{\&omega;}\right)\right)=-\ln p\left(l_t\left(\mathrm{\&omega;}\right)\right)=\left\{\begin{array}{ccc}{\mathrm{\&alpha;}}_1,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=l_{t-1}\left(\mathrm{\&omega;}\right)\\ {\mathrm{\&alpha;}}_2,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)\&NotEqual;l_{t-1}\left(\mathrm{\&omega;}\right)\end{array}\right.,$

$V_{\mathrm{\&omega;},\mathrm{\&xi;}}(l_t\left(\mathrm{\&omega;}\right),l_t\left(\mathrm{\&xi;}\right))=-\frac{{\mathrm{\&beta;}}_2\mathrm{\&delta;}(l_t\left(\mathrm{\&omega;}\right)-l_t\left(\mathrm{\&xi;}\right))}{{\left|\right|g_t\left(\mathrm{\&omega;}\right)-g_t\left(\mathrm{\&xi;}\right)\left|\right|}^2/\mathrm{\&epsiv;}+1};$

所述背景提取与更新采用平均帧法进行背景更新：

每当重新采集到t时刻并经色彩空间变换的帧图像在t-1时刻背景图像B_t-1的基础上，根据不同的更新权重计算出t时刻的背景图像B_t，原理如下：

$B_t=(1-\mathrm{\&alpha;})B_{t-1}+\mathrm{\&alpha;}{\hat{I}}_t;$

其中：

B_t为t时刻背景，

B_t-1为t-1时刻背景，

为t时刻通过色彩空间转换后的视频帧，

α为更新因子，根据像素点与真实背景的相似程度可以分成3类，决定更新因子α的取值：

（1）粗分割图M_t中被去除的背景像素与真实背景的差异很小，则认为这些背景就是真实背景，可以直接替换背景图像B_t中的对应像素点，即更新因子α为1，

（2）粗分割图M_t中未被去除的背景像素与真实背景差异较大，可根据该点与真实背景的相似程度

决定B_t中对应像素点的更新因子α，

（3）粗分割图M_t中保留的车辆和阴影图像，即更新因子α为0；

通过(1)、(2)、(3)的分析得到决定背景更新速度的公式：

$\mathrm{\&alpha;}=\left\{\begin{array}{ccc}1,& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=0\\ p\left(l_x^t\left(\mathrm{\&omega;}\right)\right),& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=255\mathrm{and}{l}_t\left(\mathrm{\&omega;}\right)=e_3\\ 0,& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=255\mathrm{and}{l}_t\left(\mathrm{\&omega;}\right)=e_1\mathrm{or}{l}_t\left(\mathrm{\&omega;}\right)=e_2\end{array}\right..$

进一步地，所述图像色彩空间变换采用K-L变换，具体方法如下：

将图像色彩从(R，G，B)空间域转换到一个新(u，v)空间域，提取出图像颜色的主要分量，减小色彩空间的维数，使得车辆颜色积聚在一个较小的范围内，用以消除光照强度变化引起的颜色剧烈变化；

K-L变换的规则如下：

$u_{\mathrm{\&omega;}}=\frac{2Z_{\mathrm{\&omega;}}-G_{\mathrm{\&omega;}}-B_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}}---\left(a\right),$

$v_{\mathrm{\&omega;}}=\mathrm{Max}\{\frac{Z_{\mathrm{\&omega;}}-G_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}},\frac{Z_{\mathrm{\&omega;}}-B_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}}\}---\left(b\right);$

其中：

(R_ω,G_ω,B_ω)是像素ω的颜色,

Z_ω=(R_ω+G_ω+B_ω)/3

跟现有技术相比，本发明的有益效果在于采用图像色彩空间变换，消除了室外实际复杂环境中的多种干扰(特别是光照突然变化)，通过相似度决定背景更新速度的选择性背景更新方法，减少了分割计算量，提高了实时性；同时本发明还运用分割双阈值的阈值分割方法来提高了分割效率，利用随机标号法消除粗分割中的阴影区域提高了分割算法的准确性。

附图说明

图1是本发明所述基于最优阈值和随机标号法的多车辆分割方法的流程图。

具体实施方式

下面结合附图对本发明方法进行进一步的说明。

参见图1，所述多车辆分割检测方法主要部分的具体内容如下：

1、图像采集

通过摄像机针对具体车辆行驶交通现场以平均每秒24帧的速度进行采集连续序列图像，图像大小为320×240像素，在对采集到的图像进行数字化处理后得到第t时刻的图像Q_t。

2、图像色彩空间变换；

图像色彩空间变换的作用主要是减小噪声特别是光照突然变化的影响，突出车辆颜色，提高后面步骤中的分割效率，主要方法是通过K-L变换对图像进行处理，具体实施方式如下：

在得到t时刻的图像Q_t之后，将图像色彩从(R，G，B)空间域转换到一个新(u,v)空间域，提取出图像颜色的主要分量，减小色彩空间的维数，使得车辆颜色积聚在一个较小的范围内，用以消除光照强度变化引起的颜色剧烈变化，提高了车辆分割的效率；

K-L变换的规则如下：

$u_{\mathrm{\&omega;}}=\frac{2Z_{\mathrm{\&omega;}}-G_{\mathrm{\&omega;}}-B_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}}---\left(a\right),$

$v_{\mathrm{\&omega;}}=\mathrm{Max}\{\frac{Z_{\mathrm{\&omega;}}-G_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}},\frac{Z_{\mathrm{\&omega;}}-B_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}}\}---\left(b\right);$

其中：

(R_ω,G_ω,B_ω)是像素ω的颜色,

Z_ω=(R_ω+G_ω+B_ω)/3；

K-L变换生成t时刻新的帧图像

3、图像阈值粗分割

本步骤主要采用最优分割双阈值对视频图像进行粗分割，通过结合占空比、当前图像与背景图像差异和连通性确定能量函数U，将t时刻帧图像

与背景B_t(ω)相减并利用计算出的最优双阈值

和

进行二值化，从而通过最优阈值对当前图像进行粗分割，以此大致提取出车辆分块，为后面的细分割作准备。

所述图像阈值粗分割包括以下步骤：

(1)设粗分割图M_t中包含了k个分割块，由S_r表示，每一个S_r在图像

和背景图B_t中对应的区域用分别用Γ_r和Λ_r表示，函数Ψ(Γ_r)表示求块Γ_r中像素点的个数，其中r=1,2,…,k；

(2)选取双阈值和

并且满足

由中值

确定，其中γ由聚合区域的大小决定；

(3)结合与阈值相关的约束关系生成能量函数

$U({\hat{I}}_t,M_t,B_t)=U_d({\hat{I}}_t,M_t,B_t)+U_c({\hat{I}}_t,M_t,B_t)+U_p({\hat{I}}_t,M_t,B_t);$

其中：

$U_d({\hat{I}}_t,M_t,B_t)=\frac{-\underset{r=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&omega;}\&Element;{\mathrm{\&Gamma;}}_r}{\mathrm{\&Sigma;}}{\left|\right|{\mathrm{\&Gamma;}}_r\left(\mathrm{\&omega;}\right)-{\mathrm{\&Lambda;}}_r\left(\mathrm{\&omega;}\right)\left|\right|}^2}{\underset{r=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{\&Psi;}\left({\mathrm{\&Gamma;}}_r\right)},$ 表示当前图像与背景图像的颜色差异关系，即各个粗分割块中图像与背景的颜色方差之和占所有像素点的比例；若Γ_r是一个好的分割块，即包含了较为完好的前景又完全消除了背景，也就是图像与背景之间的平均差异最大；

表示选定区域内的连通关系，通过色彩空间变换后，车辆颜色与背景间的差异比较大，车辆区域内有较好的连通性，并引入像素点ω与其邻域N_ω中点的颜色均方差来衡量块Γ_r连通性的好坏利用，从而衡量图像分割效果的好坏；

$U_p({\hat{I}}_t,M_t,B_t)=\frac{\mathrm{\&nu;}}{\underset{\mathrm{\&gamma;}=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{\&Psi;}\left({\mathrm{\&Gamma;}}_r\right)},$ 表示分割占空比关系，即各分块Γ_r中像素点的个数之和与图像总像素点个数之比。

(4)在能量函数式

基础上结合模拟退火算法计算得到全局能量最小的分割阈值

具体方法如下：

输入：初始化阈值中值

初始温度C_init，终止温度C_final；

初始化当前阈值

温度C=C_init；

迭代，通过N次内耗迭代后，每K次迭代减小温度C一次；

每一次迭代都要进行如下步骤：

a、从阈值空间中随机选取阈值T′，

b、以T′计算当前能量函数

c、计算接收率A(T′)：

$A\left(T^{\&prime;}\right)=\min \{1,{\left(\frac{U_n({\hat{I}}_t,M_t,B_t)}{U_{n-1}({\hat{I}}_t,M_t,B_t)}\right)}^{\frac{1}{c}}\},$

d、从均匀分布U[0,1]中选取随机数进行状态更新：

e、如果C＝C_final,则得到最优阈值

结束迭代过程，

输出：最优阈值 $T_t^1=T_{\mathrm{opt}}^c+\mathrm{\&gamma;}/2,$ $T_t^2=T_{\mathrm{opt}}^c-\mathrm{\&gamma;}/2;$

(5)将t时刻帧图像

与背景B_t(ω)相减并利用计算出的最优双阈值和

进行二值化，得到粗分割图像M_t(ω)，具体二值化规则如下：

$M_t\left(\mathrm{\&omega;}\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)>T_t^1\left|\right|{\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)<T_t^2\\ 0,& \mathrm{if}& T_t^2\&le;{\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)\&le;T_t^1\end{array}\right..$

4、图像细分割

本步骤利用条件随机域模型及随机标号法对粗分割图像进行细分割，由车辆视频所具有的马尔科夫属性，用条件随机域工具结合时空约束关系计算相似度，以确定像素点的分类(车辆、阴影和背景)，同时把相似度进行反馈作为背景更新因子，具体按如下方法：

最优阈值分割已将图像粗分成多个块，针对每个粗分割的块运用标号法区分出每个像素的类型（前景、背景，阴影3种类型），从而完全去除车辆分割图中的阴影和背景。每一个像素点的标号利用最大后验概率来确定，即计算出每个像素点在三种像素类型下的后验概率再由最大的后验概率确定标号，其中后验概率由下式确定：

$p\left(l_t\left(\mathrm{\&omega;}\right)\right|{\mathrm{\&Gamma;}}_{\mathrm{\&gamma;}}^t\left(\mathrm{\&omega;}\right))\&Proportional;p\left({\mathrm{\&Gamma;}}_{\mathrm{\&gamma;}}^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right))\&times;p\left(l_t\left(\mathrm{\&omega;}\right)\right)$

其中：

为相似度，

p(l_t(ω))为先验概率，

l_t(ω)表示当前点ω是属于哪一个分类，

e_i，e_i＝i＝1,2,3，e₁,e₂,e₃分别表示前景，阴影和背景。

其中相似度

和先验概率p(l_t(ω))分别按照以下方法计算：

（1）图像像素点灰度ω在时间t的相似度的确定：

假设图像只是受到高斯噪声的干扰，则：

背景点的观测模型表示为 $g_t\left(\mathrm{\&omega;}\right)={\hat{I}}_t\left(\mathrm{\&omega;}\right)+n_t\left(\mathrm{\&omega;}\right),$

阴影点的观测模型表示为 $g_t\left(\mathrm{\&omega;}\right)=r_t\left(\mathrm{\&omega;}\right){\hat{I}}_t\left(\mathrm{\&omega;}\right)+n_t\left(\mathrm{\&omega;}\right),$

其中：

n_t(ω)是均值为0方差为(δ_t(ω))²的高斯噪声；

分别假设粗分割块中某像素点的三种类型标号的一种，计算出相似度如下：

$p\left({\mathrm{\&Gamma;}}_r^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right))=\left\{\begin{array}{ccc}N(g_t\left(\mathrm{\&omega;}\right);{\hat{I}}_t\left(\mathrm{\&omega;}\right),{\left({\mathrm{\&delta;}}_t\left(\mathrm{\&omega;}\right)\right)}^2),& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_1\\ N(g_t\left(\mathrm{\&omega;}\right);r_t\left(\mathrm{\&omega;}\right){\hat{I}}_t\left(\mathrm{\&omega;}\right),{\left({\mathrm{\&delta;}}_t\left(\mathrm{\&omega;}\right)\right)}^2),& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_2\\ c,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_3\end{array}\right.;$

其中:

N(z;μ，(δ)²)是以μ为均值，

(δ)²为方差的高斯分布。

（2）标号的先验概率的确定：

在t时刻，如果给定图像

标号域l_t满足马尔科夫属性，则标记域的分布可以近似为一个Gibbs分布，即

$p\left(l_t\left(\mathrm{\&omega;}\right)\right)\&Proportional;\exp \{-\underset{\mathrm{\&omega;}\&Element;X}{\mathrm{\&Sigma;}}[V_{\mathrm{\&omega;}}\left(l_t\left(\mathrm{\&omega;}\right)\right)+\underset{\mathrm{\&xi;}\&Element;N_{\mathrm{\&omega;}}}{\mathrm{\&Sigma;}}{V}_{\mathrm{\&omega;},\mathrm{\&xi;}}(l_t\left(\mathrm{\&omega;}\right),l_t\left(\mathrm{\&xi;}\right))\left]\right\};$

其中：

$V_{\mathrm{\&omega;}}\left(l_t\left(\mathrm{\&omega;}\right)\right)=-\ln p\left(l_t\left(\mathrm{\&omega;}\right)\right)=\left\{\begin{array}{ccc}{\mathrm{\&alpha;}}_1,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=l_{t-1}\left(\mathrm{\&omega;}\right)\\ {\mathrm{\&alpha;}}_2,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)\&NotEqual;l_{t-1}\left(\mathrm{\&omega;}\right)\end{array}\right.,$

$V_{\mathrm{\&omega;},\mathrm{\&xi;}}(l_t\left(\mathrm{\&omega;}\right),l_t\left(\mathrm{\&xi;}\right))=-\frac{{\mathrm{\&beta;}}_2\mathrm{\&delta;}(l_t\left(\mathrm{\&omega;}\right)-l_t\left(\mathrm{\&xi;}\right))}{{\left|\right|g_t\left(\mathrm{\&omega;}\right)-g_t\left(\mathrm{\&xi;}\right)\left|\right|}^2/\mathrm{\&epsiv;}+1}.$

5、背景提取及更新

背景提取与更新采用平均帧法进行背景更新，即每当重新采集到t时刻并经色彩空间变换的帧图像

在t-1时刻背景图像B_t-1的基础上，根据不同的更新权重计算出t时刻的背景图像B_t，原理如下：

$B_t=(1-\mathrm{\&alpha;})B_{t-1}+\mathrm{\&alpha;}{\hat{I}}_t;$

其中:

B_t为t时刻背景，

B_t-1为t-1时刻背景，

为t时刻通过色彩空间转换后的视频帧，

α为更新因子，根据像素点与真实背景的相似程度可以分成3类，决定更新因子α的取值：

(1)粗分割图M_t中被去除的背景像素与真实背景的差异很小，则认为这些背景就是真实背景，可以直接替换背景图像B_t中的对应像素点，即更新因子α为1，

(2)粗分割图M_t中未被去除的背景像素与真实背景差异较大，可根据该点与真实背景的相似程度

决定B_t中对应像素点的更新因子α，

(3)粗分割图M_t中保留的车辆和阴影图像，即更新因子α为0；

联立上述表述得到如下决定背景更新速度的公式：

$\mathrm{\&alpha;}=\left\{\begin{array}{ccc}1,& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=0\\ p\left(l_x^t\left(\mathrm{\&omega;}\right)\right),& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=255\mathrm{and}{l}_t\left(\mathrm{\&omega;}\right)=e_3\\ 0,& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=255\mathrm{and}{l}_t\left(\mathrm{\&omega;}\right)=e_1\mathrm{or}{l}_t\left(\mathrm{\&omega;}\right)=e_2\end{array}\right.$

以上过程完成一个周期内的车辆分割，***在背景更新结束后自动进入下一个分割周期，如此循环，根据采集图像的数量进行不间断的计算，最终实现动态多车辆分割。

Claims (2)

1.一种基于最优阈值和随机标号法的多车辆分割方法，包括以下步骤：

(1)图像采集；

(2)图像色彩空间变换；

(3)图像阈值粗分割；

(4)图像细分割；

(5)背景提取及更新；

其特征在于：所述图像阈值粗分割中，选取双阈值消除前景与背景相减可能出现正负的情况，根据与阈值相关的约束关系建立能量函数，运用模拟退火算法循环迭代计算出全局能量最小的分割阈值，进而得到最优双阈值以对图像进行分割，以上循环迭代过程和背景提取更新过程共同组成双循环结构；

所述图像阈值粗分割包括以下步骤得到：

(1)设粗分割图M_t中包含了k个分割块，由S_r表示，每一个S_r在图像

和背景图B_t中对应的区域用分别用Γ_r和Λ_r表示，函数Ψ(Γ_r)表示求块Γ_r中像素点的个数，其中r=1,2,…,k；

(2)选取双阈值

和

并且满足由中值

确定，其中γ由聚合区域的大小决定；

(3)结合与阈值相关的约束关系生成能量函数

$U({\hat{I}}_t,M_t,B_t)=U_d({\hat{I}}_t,M_t,B_t)+U_c({\hat{I}}_t,M_t,B_t)+U_p({\hat{I}}_t,M_t,B_t);$

其中：

$U_d({\hat{I}}_t,M_t,B_t)=\frac{-\underset{r=1}{\overset{k}{\mathrm{\&Sigma;}}}\underset{\mathrm{\&omega;}\&Element;{\mathrm{\&Gamma;}}_r}{\mathrm{\&Sigma;}}{\left|\right|{\mathrm{\&Gamma;}}_r\left(\mathrm{\&omega;}\right)-{\mathrm{\&Lambda;}}_r\left(\mathrm{\&omega;}\right)\left|\right|}^2}{\underset{r=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{\&Psi;}\left({\mathrm{\&Gamma;}}_r\right)},$ 表示当前图像与背景图像的颜色差异关系，

表示选定区域内的连通关系，

$U_p({\hat{I}}_t,M_t,B_t)=\frac{\mathrm{\&nu;}}{\underset{\mathrm{\&gamma;}=1}{\overset{k}{\mathrm{\&Sigma;}}}\mathrm{\&Psi;}\left({\mathrm{\&Gamma;}}_r\right)},$ 表示分割占空比关系；

(4)在能量函数式

基础上结合模拟退火算法计算得到全局能量最小的分割阈值

具体方法如下：

输入：初始化阈值中值

初始温度C_init，终止温度C_final；

初始化当前阈值

温度C=C_init；

迭代，通过N次内耗迭代后，每K次迭代减小温度C一次；

每一次迭代都要进行如下步骤：

a、从阈值空间中随机选取阈值T′，

b、以T′计算当前能量函数

c、计算接收率A(T′)：

$A\left(T^{\&prime;}\right)=\min \{1,{\left(\frac{U_n({\hat{I}}_t,M_t,B_t)}{U_{n-1}({\hat{I}}_t,M_t,B_t)}\right)}^{\frac{1}{c}}\},$

d、从均匀分布U[0,1]中选取随机数

进行状态更新：

e、如果C＝C_final,则得到最优阈值

结束迭代过程，

输出：最优阈值 $T_t^1=T_{\mathrm{opt}}^c+\mathrm{\&gamma;}/2,$ $T_t^2=T_{\mathrm{opt}}^c-\mathrm{\&gamma;}/2;$

(5)将t时刻帧图像

与背景B_t(ω)相减并利用计算出的最优双阈值

和

进行二值化，得到粗分割图像M_t(ω)，具体二值化规则如下：

$M_t\left(\mathrm{\&omega;}\right)=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)>T_t^1\left|\right|{\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)<T_t^2\\ 0,& \mathrm{if}& T_t^2\&le;{\hat{I}}_t\left(\mathrm{\&omega;}\right)-B_t\left(\mathrm{\&omega;}\right)\&le;T_t^1\end{array}\right.;$

所述图像细分割采用以下方法得到：

最优阈值分割已将图像粗分成多个块，针对每个粗分割的块运用标号法区分出每个像素的类型，从而完全去除车辆分割图中的阴影和背景，其中每一个像素点的标号利用最大后验概率来确定，即计算出每个像素点在三种像素类型下的后验概率再由最大的后验概率确定标号；

后验概率由下式确定：

$p\left(l_t\left(\mathrm{\&omega;}\right)\right|{\mathrm{\&Gamma;}}_{\mathrm{\&gamma;}}^t\left(\mathrm{\&omega;}\right))\&Proportional;p\left({\mathrm{\&Gamma;}}_{\mathrm{\&gamma;}}^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right))\&times;p\left(l_t\left(\mathrm{\&omega;}\right)\right);$

其中：

为相似度，

p(l_t(ω))为先验概率，

l_t(ω)表示当前点ω是属于哪一个分类e_i，

e_i＝i＝1,2,3，e₁,e₂,e₃分别表示前景，阴影和背景；

所述图像细分割中采用如下方法确定图像像素点灰度ω在时间t的相似度 $p\left({\mathrm{\&Gamma;}}_r^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right)):$

假设图像只是受到高斯噪声的干扰，则：

背景点的观测模型表示为 $g_t\left(\mathrm{\&omega;}\right)={\hat{I}}_t\left(\mathrm{\&omega;}\right)+n_t\left(\mathrm{\&omega;}\right),$

阴影点的观测模型表示为 $g_t\left(\mathrm{\&omega;}\right)=r_t\left(\mathrm{\&omega;}\right){\hat{I}}_t\left(\mathrm{\&omega;}\right)+n_t\left(\mathrm{\&omega;}\right),$

其中：

n_t(ω)是均值为0方差为(δ_t(ω))²的高斯噪声；

分别假设粗分割块中某像素点的三种类型标号的一种，计算出相似度如下：

$p\left({\mathrm{\&Gamma;}}_r^t\left(\mathrm{\&omega;}\right)\right|l_t\left(\mathrm{\&omega;}\right))=\left\{\begin{array}{ccc}N(g_t\left(\mathrm{\&omega;}\right);{\hat{I}}_t\left(\mathrm{\&omega;}\right),{\left({\mathrm{\&delta;}}_t\left(\mathrm{\&omega;}\right)\right)}^2),& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_1\\ N(g_t\left(\mathrm{\&omega;}\right);r_t\left(\mathrm{\&omega;}\right){\hat{I}}_t\left(\mathrm{\&omega;}\right),{\left({\mathrm{\&delta;}}_t\left(\mathrm{\&omega;}\right)\right)}^2),& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_2\\ c,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=e_3\end{array}\right.;$

其中:

N(z;μ，(δ)²)是以μ为均值，

(δ)²为方差的高斯分布；

所述图像细分割中采用如下方法确定标号的先验概率：

在t时刻，如果给定图像

标号域l_t满足马尔科夫属性，则标记域的分布可以近似为一个Gibbs分布，即

$p\left(l_t\left(\mathrm{\&omega;}\right)\right)\&Proportional;\exp \{-\underset{\mathrm{\&omega;}\&Element;X}{\mathrm{\&Sigma;}}[V_{\mathrm{\&omega;}}\left(l_t\left(\mathrm{\&omega;}\right)\right)+\underset{\mathrm{\&xi;}\&Element;N_{\mathrm{\&omega;}}}{\mathrm{\&Sigma;}}{V}_{\mathrm{\&omega;},\mathrm{\&xi;}}(l_t\left(\mathrm{\&omega;}\right),l_t\left(\mathrm{\&xi;}\right))\left]\right\};$

其中：

$V_{\mathrm{\&omega;}}\left(l_t\left(\mathrm{\&omega;}\right)\right)=-\ln p\left(l_t\left(\mathrm{\&omega;}\right)\right)=\left\{\begin{array}{ccc}{\mathrm{\&alpha;}}_1,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)=l_{t-1}\left(\mathrm{\&omega;}\right)\\ {\mathrm{\&alpha;}}_2,& \mathrm{if}& l_t\left(\mathrm{\&omega;}\right)\&NotEqual;l_{t-1}\left(\mathrm{\&omega;}\right)\end{array}\right.,$

$V_{\mathrm{\&omega;},\mathrm{\&xi;}}(l_t\left(\mathrm{\&omega;}\right),l_t\left(\mathrm{\&xi;}\right))=-\frac{{\mathrm{\&beta;}}_2\mathrm{\&delta;}(l_t\left(\mathrm{\&omega;}\right)-l_t\left(\mathrm{\&xi;}\right))}{{\left|\right|g_t\left(\mathrm{\&omega;}\right)-g_t\left(\mathrm{\&xi;}\right)\left|\right|}^2/\mathrm{\&epsiv;}+1};$

所述背景提取与更新采用平均帧法进行背景更新：

每当重新采集到t时刻并经色彩空间变换的帧图像

在t-1时刻背景图像B_t-1的基础上，根据不同的更新权重计算出t时刻的背景图像B_t，原理如下：

$B_t=(1-\mathrm{\&alpha;})B_{t-1}+\mathrm{\&alpha;}{\hat{I}}_t;$

其中:

B_t为t时刻背景，

B_t-1为t-1时刻背景，

为t时刻通过色彩空间转换后的视频帧，

α为更新因子，根据像素点与真实背景的相似程度可以分成3类，决定更新因子α的取值：

（1）粗分割图M_t中被去除的背景像素与真实背景的差异很小，则认为这些背景就是真实背景，可以直接替换背景图像B_t中的对应像素点，即更新因子α为1，

（2）粗分割图M_t中未被去除的背景像素与真实背景差异较大，可根据该点与真实背景的相似程度

决定B_t中对应像素点的更新因子α，

（3）粗分割图M_t中保留的车辆和阴影图像，即更新因子α为0；

通过(1)、(2)、(3)的分析得到决定背景更新速度的公式：

$\mathrm{\&alpha;}=\left\{\begin{array}{ccc}1,& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=0\\ p\left(l_x^t\left(\mathrm{\&omega;}\right)\right),& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=255\mathrm{and}{l}_t\left(\mathrm{\&omega;}\right)=e_3\\ 0,& \mathrm{if}& M_t\left(\mathrm{\&omega;}\right)=255\mathrm{and}{l}_t\left(\mathrm{\&omega;}\right)=e_1\mathrm{or}{l}_t\left(\mathrm{\&omega;}\right)=e_2\end{array},.\right.$

2.如权利要求1所述的基于最优阈值和随机标号法的多车辆分割方法，其特征在于，所述图像色彩空间变换采用K-L变换，具体方法如下：

将图像色彩从(R，G，B)空间域转换到一个新(u，v)空间域，提取出图像颜色的主要分量，减小色彩空间的维数，使得车辆颜色积聚在一个较小的范围内，用以消除光照强度变化引起的颜色剧烈变化；

K-L变换的规则如下：

$u_{\mathrm{\&omega;}}=\frac{2Z_{\mathrm{\&omega;}}-G_{\mathrm{\&omega;}}-B_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}}---\left(a\right),$

$v_{\mathrm{\&omega;}}=\mathrm{Max}\{\frac{Z_{\mathrm{\&omega;}}-G_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}},\frac{Z_{\mathrm{\&omega;}}-B_{\mathrm{\&omega;}}}{Z_{\mathrm{\&omega;}}}\}---\left(b\right);$

其中：

(R_ω,G_ω,B_ω)是像素ω的颜色,

Z_ω=(R_ω+G_ω+B_ω)/3。

Images