CN103559498A - 基于多特征融合的快速人车目标分类方法 - Google Patents

Abstract

本发明属于图像处理、光电技术领域，具体涉及一种基于多特征融合的快速人车目标分类方法。本发明的方法包括以下步骤：获取监控视频图像，得到相邻两帧图像的差分图像并进行图像分割、去除噪点、填补空洞，形成目标图像；在目标图像上确定目标区域，计算每个目标区域的面积、外接矩形的面积、质心坐标和矩形饱和度；将相邻两帧图像中面积差异小、质心坐标欧氏距离最近的两个目标区域判定为同一目标；若同一目标稳定出现若干帧以上，依据该目标的面积、速度和矩形饱和度，判断该目标为人员或车辆。本发明实现了运动目标人车属性的快速判别，分类准确高、实时性好。

Description

基于多特征融合的快速人车目标分类方法

技术领域

本发明属于图像处理、光电技术领域，具体涉及一种基于多特征融合的快速人车目标分类方法。

背景技术

在视频监控***中，会出现大量的运动目标，而在全部的运动目标中，以人员目标和车辆目标为主，同时这两类目标也是监控的重点目标。由于对于人员目标和车辆目标的管理要求具有显著区别，因此在视频监控***中存在人车目标分类的需求。

现有技术中的人车目标分类方法主要基于统计训练，需要收集大量的车辆和人员的图像样本，且识别速度慢、对运算设备需求较高，极大地影响了识别效果。

发明内容

本发明需要解决的技术问题为：现有技术中的人车目标分类方法主要基于统计训练，需要收集大量的车辆和人员的图像样本，识别效率低。

本发明的技术方案如下所述：

一种基于多特征融合的快速人车目标分类方法，包括如下步骤：

获取监控视频图像，对相邻两帧图像进行帧间差分，得到差分图像；采用最大类间方差法确定阈值，对差分图像进行图像分割；去除分割图像中的噪点，填补空洞，形成目标图像；对目标图像进行像素统计，去除目标图像像素值低的区域，形成目标区域，依据目标区域像素横纵坐标的最大值和最小值，构造该区域的外接矩形，计算目标图像中每个目标区域的面积、外接矩形的面积、质心坐标和矩形饱和度；将相邻两帧图像中面积差异小、质心坐标欧氏距离最近的两个目标区域判定为同一目标；若同一目标稳定出现若干帧以上，依据该目标的面积、速度和矩形饱和度，判断该目标为人员或车辆。

作为优选方案，本发明的方法包括以下步骤：

步骤1.

获取监控视频图像，第k帧图像记为F_k；对相邻两帧图像进行帧间差分：取相邻两帧图像相应像素值差值的绝对值，逐像素差分后，得到差分图像FD_k；

步骤2.

计算差分图像FD_k均值μ和标准差σ，针对差分图像FD_k中大于μ+σ的像素值，以最大类间方差准则计算最优分割阈值Th，根据阈值Th对差分图像FD_k进行图像分割，形成分割图像FS_k：

${\mathrm{FS}}_k(i,j)=\left\{\begin{array}{cc}1& {\mathrm{FD}}_k(i,j)\&GreaterEqual;\mathrm{Th}\\ 0& {\mathrm{FD}}_k(i,j)<\mathrm{Th}\end{array}\right.$

其中，

FD_k(i,j)表示差分图像FD_k第i行第j列像素的像素值；

FS_k(i,j)表示分割图像FS_k第i行第j列像素的像素值；

步骤3

采用形态学操作去除分割图像中的噪点，填补空洞，形成目标图像FM_k；

步骤4

将目标图像FM_k中像素值为1的连通区域进行像素数统计，去除像素数小于N1的区域，对保留下的目标区域，依据像素横纵坐标的最大值和最小值，形成该区域的外接矩形，用以标识该目标区域，计算出图像中每个目标区域的面积S、外接矩形的面积RS、质心坐标(x,y)和矩形饱和度R,

步骤5

对监控视频的每一帧图像进行上述步骤1～步骤4，统计每一帧图像目标区域的面积、目标区域外接矩形的面积和目标区域质心坐标等特征，根据特征进行目标关联：设第k帧中有N个目标区域，对于其第n个目标区域，在第k-1帧中，在满足面积差异小于10%的条件下质心距离第k帧第n个目标区域欧氏距离最小的目标区域，判定为同一目标；

步骤6

若同一目标稳定出现N2帧以上，则通过多特征识别判断该目标为人员或车辆：

其中，

d_s、d_v、d_r依次为面积特征加权系数、速度特征加权系数、矩形饱和度特征加权系数；

ThS₁、ThS₂依次为目标面积高、低阈值；

ThV₁、ThV₂依次为目标速度高、低阈值；

ThR₁、ThR₂依次为目标矩形饱和度高、低阈值；

S_n为第k帧第n个目标区域的面积；

V_n为第k帧第n个目标区域的速度；

R_n为第k帧第n个目标区域的矩形饱和度；

ThS₁、ThS₂、ThV₁、ThV₂、ThR₁、ThR₂数值根据监控场景具体设定；

设定阈值Th₀，若F_n≥Th₀，判定该目标为车辆；若F_n<Th₀，判定该目标为人员。

作为优选方案，

步骤3中，采用5×5的正方形模板对FS_k进行腐蚀操作，去除噪点；对去除噪点后的图像采用7×7的正方形模板对FS_k进行膨胀操作，填补图像中的空洞，形成目标图像FM_k。

作为优选方案，

步骤6中，

计算第k帧第n个目标区域速度的方法如下所述，k≥2：

$\left\{\begin{array}{c}{V}_{\mathrm{nk}}=a\&times;D_{n(k-1)}+b\&times;D_{\mathrm{nk}}\\ D_{\mathrm{nk}}=\sqrt{{({\mathrm{xn}}_k-{\mathrm{xn}}_{k-1})}^2+{({\mathrm{yn}}_k-{\mathrm{yn}}_{k-1})}^2}\\ D_{n1}=0\end{array}\right.$

其中，

V_nk为第k帧第n个目标区域的速度；

a、b均为加权系数，优选值为a=0.7，b=0.3；

D_nk为第k帧第n个目标区域的质心位移；

D_n(k-1)为第k-1帧中与第k帧第n个目标区域被判定为同一目标的目标区域的质心位移；

(xn_k,yn_k)为第k帧第n个目标区域的质心坐标；

(xn_k-1,yn_k-1)为第k-1帧中与第k帧第n个目标区域被判定为同一目标的目标区域的质心坐标。

作为优选方案，

N1=60；N2=10；d_s=0.3，d_v=0.3，d_r=0.4；ThS₁=2000像素数，ThS₂=6000像素数；ThV₁=4像素/帧，ThV₂=8像素/帧；ThR₁=0.5，ThR₂=0.8；Th₀=0.5。

本发明的有益效果为：

本发明的一种基于多特征融合的快速人车目标分类方法，通过提取运动目标的面积、速度和矩形饱和度等特征，实现运动目标人车属性的快速判别，分类准确高、实时性好。

附图说明

图1为本发明的一种基于多特征融合的快速人车目标分类方法流程图。

具体实施方式

下面结合附图和实施例对本发明的一种基于多特征融合的快速人车目标分类方法进行详细说明。

本发明的一种基于多特征融合的快速人车目标分类方法，包括以下步骤：

步骤1.

获取监控视频图像，第k帧图像记为F_k；对相邻两帧图像进行帧间差分：取相邻两帧图像相应像素值差值的绝对值，逐像素差分后，得到差分图像FD_k，即FD_k=|F_k-F_k-1|。

步骤2.

设差分图像FD_k为r行c列，FD_k(i,j)表示第i行第j列像素的像素值，计算差分图像FD_k均值μ和标准差σ：

$\left\{\begin{array}{c}\mathrm{\&mu;}=\frac{1}{r\&times;c}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{c}{\mathrm{\&Sigma;}}}{\mathrm{FD}}_k(i,j)\\ \mathrm{\&sigma;}=\sqrt{\frac{1}{r\&times;c-1}\underset{i=1}{\overset{r}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{c}{\mathrm{\&Sigma;}}}{({\mathrm{FD}}_k(i,j)-\mathrm{\&mu;})}^2}\end{array}\right..$

针对差分图像FD_k中大于μ+σ的像素值，以最大类间方差（OTSU）准则计算最优分割阈值Th。

根据阈值Th对差分图像FD_k进行图像分割，形成分割图像FS_k。分割法则如下：

${\mathrm{FS}}_k(i,j)=\left\{\begin{array}{cc}1& {\mathrm{FD}}_k(i,j)\&GreaterEqual;\mathrm{Th}\\ 0& {\mathrm{FD}}_k(i,j)<\mathrm{Th}\end{array}\right.$

其中，FS_k(i,j)表示分割图像FS_k第i行第j列像素的像素值。

步骤3

采用形态学操作去除分割图像中的噪点，填补空洞：采用5×5的正方形模板对FS_k进行腐蚀操作，去除噪点；对去除噪点后的图像采用7×7的正方形模板对FS_k进行膨胀操作，填补图像中的空洞，形成目标图像FM_k。

步骤4

将目标图像FM_k中像素值为1的连通区域进行像素数统计，去除像素数小于N1的区域，本实施例中N1=60。对保留下的目标区域，依据像素横纵坐标的最大值和最小值，形成该区域的外接矩形，用以标识该目标区域，计算出图像中每个目标区域的面积S、外接矩形的面积RS、质心坐标(x,y)和矩形饱和度R,

步骤5

对监控视频的每一帧图像进行上述步骤1～步骤4，统计每一帧图像目标区域的面积、目标区域外接矩形的面积和目标区域质心坐标等特征，根据特征进行目标关联：设第k帧中有N个目标区域，对于其第n个目标区域，在第k-1帧中，在满足面积差异小于10%的条件下质心距离第k帧第n个目标区域欧氏距离最小的目标区域，判定为同一目标。

步骤6

若同一目标稳定出现N2帧以上，则通过多特征识别判断该目标为人员或车辆：

其中，

d_s、d_v、d_r依次为面积特征加权系数、速度特征加权系数、矩形饱和度特征加权系数；

ThS₁、ThS₂依次为目标面积高、低阈值；

ThV₁、ThV₂依次为目标速度高、低阈值；

ThR₁、ThR₂依次为目标矩形饱和度高、低阈值；

S_n为第k帧第n个目标区域的面积；

V_n为第k帧第n个目标区域的速度；

R_n为第k帧第n个目标区域的矩形饱和度。

ThS₁、ThS₂、ThV₁、ThV₂、ThR₁、ThR₂数值根据监控场景具体设定。

本实施例中，N2=10；d_s=0.3，d_v=0.3，d_r=0.4；ThS₁=2000像素数，ThS₂=6000像素数；ThV₁=4像素/帧，ThV₂=8像素/帧；ThR₁=0.5，ThR₂=0.8。

其中，计算第k帧（k≥2）第n个目标区域速度的方法如下所述：

$\left\{\begin{array}{c}{V}_{\mathrm{nk}}=a\&times;D_{n(k-1)}+b\&times;D_{\mathrm{nk}}\\ D_{\mathrm{nk}}=\sqrt{{({\mathrm{xn}}_k-{\mathrm{xn}}_{k-1})}^2+{({\mathrm{yn}}_k-{\mathrm{yn}}_{k-1})}^2}\\ D_{n1}=0\end{array}\right.$

其中，

V_nk为第k帧第n个目标区域的速度；

a、b均为加权系数，本实施例中，a=0.7，b=0.3；

D_nk为第k帧第n个目标区域的质心位移；

D_n(k-1)为第k-1帧中与第k帧第n个目标区域被判定为同一目标的目标区域的质心位移；

(xn_k,yn_k)为第k帧第n个目标区域的质心坐标；

(xn_k-1,yn_k-1)为第k-1帧中与第k帧第n个目标区域被判定为同一目标的目标区域的质心坐标。

考虑到人员目标面积小、车辆目标面积大，人员目标运动速度小、车辆目标运动速度大，人员目标矩形饱和度低、车辆目标矩形饱和度高，可以通过下述准则进行人车分类：

设定阈值Th₀，若F_n≥Th₀，判定该目标为车辆；若F_n<Th₀，判定该目标为人员。本实施例中，Th₀=0.5。

Claims (6)

1.一种基于多特征融合的快速人车目标分类方法，其特征在于：包括如下步骤： 

获取监控视频图像，对相邻两帧图像进行帧间差分，得到差分图像；采用最大类间方差法确定阈值，对差分图像进行图像分割；去除分割图像中的噪点，填补空洞，形成目标图像；对目标图像进行像素统计，去除目标图像像素值低的区域，形成目标区域，依据目标区域像素横纵坐标的最大值和最小值，构造该区域的外接矩形，计算目标图像中每个目标区域的面积、外接矩形的面积、质心坐标和矩形饱和度；将相邻两帧图像中面积差异小、质心坐标欧氏距离最近的两个目标区域判定为同一目标；若同一目标稳定出现若干帧以上，依据该目标的面积、速度和矩形饱和度，判断该目标为人员或车辆。 

2.根据权利要求1所述的基于多特征融合的快速人车目标分类方法，其特征在于：包括以下步骤： 

步骤1. 

获取监控视频图像，第k帧图像记为F_k；对相邻两帧图像进行帧间差分：取相邻两帧图像相应像素值差值的绝对值，逐像素差分后，得到差分图像FD_k； 

步骤2. 

计算差分图像FD_k均值μ和标准差σ，针对差分图像FD_k中大于μ+σ的像素值，以最大类间方差准则计算最优分割阈值Th，根据阈值Th对差分图像FD_k进行图像分割，形成分割图像FS_k： 

其中， 

FD_k(i,j)表示差分图像FD_k第i行第j列像素的像素值； 

FS_k(i,j)表示分割图像FS_k第i行第j列像素的像素值； 

步骤3 

采用形态学操作去除分割图像中的噪点，填补空洞，形成目标图像FM_k； 

步骤4 

将目标图像FM_k中像素值为1的连通区域进行像素数统计，去除像素数小于N1的区域，对保留下的目标区域，依据像素横纵坐标的最大值和最小值，形成该区域的外接矩形，用以标识该目标区域，计算出图像中每个目标区域的面积S、外接矩形的面积RS、质心坐标(x,y)和矩形饱和度R,

步骤5 

对监控视频的每一帧图像进行上述步骤1～步骤4，统计每一帧图像目标区域的面积、目标区域外接矩形的面积和目标区域质心坐标等特征，根据特征进行目标关联：设第k帧中有N个目标区域，对于其第n个目标区域，在第k-1帧中，在满足面积差异小于10%的条件下质心距离第k帧第n个目标区域欧氏距离最小的目标区域，判定为同一目标； 

步骤6 

若同一目标稳定出现N2帧以上，则通过多特征识别判断该目标为人员或车辆： 

其中， 

d_s、d_v、d_r依次为面积特征加权系数、速度特征加权系数、矩形饱和度特征加权系数； 

ThS₁、ThS₂依次为目标面积高、低阈值； 

ThV₁、ThV₂依次为目标速度高、低阈值； 

ThR₁、ThR₂依次为目标矩形饱和度高、低阈值； 

S_n为第k帧第n个目标区域的面积； 

V_n为第k帧第n个目标区域的速度； 

R_n为第k帧第n个目标区域的矩形饱和度； 

ThS₁、ThS₂、ThV₁、ThV₂、ThR₁、ThR₂数值根据监控场景具体设定； 

设定阈值Th₀，若F_n≥Th₀，判定该目标为车辆；若F_n<Th₀，判定该目标为人员。 

3.根据权利要求2所述的基于多特征融合的快速人车目标分类方法，其特征在于： 

步骤6中， 

计算第k帧第n个目标区域速度的方法如下所述，k≥2： 

其中， 

V_nk为第k帧第n个目标区域的速度； 

a、b均为加权系数； 

D_nk为第k帧第n个目标区域的质心位移； 

D_n(k-1)为第k-1帧中与第k帧第n个目标区域被判定为同一目标的目标区域的质心位移； 

(xn_k,yn_k)为第k帧第n个目标区域的质心坐标； 

(xn_k-1,yn_k-1)为第k-1帧中与第k帧第n个目标区域被判定为同一目标的目标区域的质心坐标。 

4.根据权利要求3所述的基于多特征融合的快速人车目标分类方法，其特征在于：a=0.7，b=0.3。 

5.根据权利要求2或3所述的基于多特征融合的快速人车目标分类方法，其特征在于：步骤3中，采用5×5的正方形模板对FS_k进行腐蚀操作，去除噪点；对去除噪点后的图像采用7×7的正方形模板对FS_k进行膨胀操作，填补图像中的空洞，形成目标图像FM_k。 

6.根据权利要求2或3或4所述的基于多特征融合的快速人车目标分类方法，其特征在于：N1=60；N2=10；d_s=0.3，d_v=0.3，d_r=0.4；ThS₁=2000像素数，ThS₂=6000像素数；ThV₁=4像素/帧，ThV₂=8像素/帧；ThR₁=0.5，ThR₂=0.8；Th₀=0.5。 

Images