CN103325114A - 基于改进视觉注意模型的目标车辆匹配方法 - Google Patents

Abstract

一种基于改进视觉注意模型的目标车辆匹配方法，本发明涉及基于图像的目标匹配识别领域，可应用于智能交通管理。本发明改进了视觉注意模型，融合了多种目标车辆的图像特征，因而能更全面的表示目标，减少信息的丢失，提高匹配的准确性。本发明将改进的视觉注意模型应用到海量视频中肇事车辆匹配中，通过融合视觉注意模型和图像匹配提高了目标车辆匹配的准确性和鲁棒性。本发明作为一个准确鲁棒的基于改进视觉注意模型和基于图像的目标匹配算法是智能交通***必不可少的一部分。

Description

基于改进视觉注意模型的目标车辆匹配方法

技术领域

本发明涉及基于图像的目标匹配识别领域，可应用于智能交通管理。

背景技术

随着社会的不断发展，中国已经进入了机动化时代。但是在生活逐步便利的同时，交通事故、交通拥堵也成为了急需解决的难题。采用基于视频的智能交通***可以保障出行安全，降低事故率，同时最大限度的节省人力和物力资源。而在已存储的海量视频库中准确快速稳定的定位目标，即肇事车辆，是实现智能化交通管理与控制的基本保证。车辆的唯一标识是车牌。但在实际情况中，车牌信息往往由于模糊、缺失等原因而无法获得。

尽管基于图像的目标匹配在现代生活中有着极为广泛的应用，但由于拍摄图像所处环境的多变性和未知性，一个准确稳定通用的匹配算法仍然面临着重大挑战。

发明内容

本发明目的在于提出一种基于改进视觉注意模型的目标车辆匹配方法。

本发明给出的技术方案为：

一种基于改进视觉注意模型的目标车辆匹配方法，其特征在于，包括如下步骤：

步骤1：对两张对比目标车辆的输入图像分别进行形态学预处理，利用高斯模型平滑去噪， $I^{\′}=I\⊗G$

其中，I为输入图像，G为高斯函数，I′为平滑处理后的图像，为卷积符号；

步骤2：对处理后的两张图像分别提取亮度、颜色、边缘、角点四种特征，形成四张合并特征图，再融合成一张显著图；

所述分别提取亮度、颜色、边缘、角点四种特征，具体包括如下步骤实现：

2.1亮度特征

原图像为彩色图，RGB三个通道，像素值为该像素点的亮度，

其中I为亮度，R，G，B为图像的红绿蓝三个颜色分量，将三个颜色通道算术平均，得到一张亮度特征图；

2.2颜色特征

获得两张颜色特征图，分为红绿颜色RG分量和蓝黄BY分量：

$\left\{\begin{array}{c}R=r-\frac{g+b}{2}\\ G=g-\frac{r+b}{x}\\ B=b-\frac{r+g}{2}\\ Y=r+g+2\left(\right|r-g|+b)\end{array}\right.$ $\left\{\begin{array}{c}\mathrm{RG}=R-G\\ \mathrm{BY}=B-Y\end{array}\right.$

r，g，b为原图像每个通道的像素值，R，G，B，Y为转换后的红绿蓝黄四种颜色，RG和BY就是最终得到的红绿颜色分量和蓝黄颜色分量；

2.3边缘特征

边缘采用Canny算子，使用多个掩码与原图像卷积，可以得到每一点的梯度大小和方向，最终生成七张边缘特征图，分别代表0°、30°、60°、90°、120°、150°、180°七个方向；将每一个像素点都向这七个方向进行投影，得出这个像素点的梯度在这个方向的分量大小；生成的七张边缘特征图都是单通道图像，每一个像素值代表其边缘特征在不同方向的大小；

2.4角点特征

角点特征的提取采用Harris角点检测算法，若某一个像素点为角点，则将其像素值设置为255，否则置为0，生成一张单通道角点特征图，每一个像素值代表其是否为角点；

步骤3：将上述步骤3共获得的十一张特征图归一化，并进行特征突出处理，为接下来的融合做准备，

对每一张特征图都设定一个阈值，将阈值设为这张图像像素值最大值的五分之一，然后统计超过阈值的像素点个数，最后根据下面的公式更新像素值

$\left\{\begin{array}{c}{I}^{\′}=I/\sqrt{{\mathrm{num}}_1}\\ C^{\′}=C/\sqrt{{\mathrm{num}}_2}\\ E^{\′}=E/\sqrt{{\mathrm{num}}_3}\\ P^{\′}=P/\sqrt{{\mathrm{num}}_4}\end{array}\right.$

其中I′、C′、E′、P′分别表示更新后的亮度、颜色、边缘和角点；

步骤4：在步骤3中共得到十一张特征图，每张特征图的像素值大小都在0到255之间，首先将其中颜色特征的两张特征图合并为一张，同样将其中边缘特征的七张特征图也合并为一张，

$\left\{\begin{array}{c}C={\mathrm{\ω}}_{21}{C}_{\mathrm{rg}}+{\mathrm{\ω}}_{22}{C}_{\mathrm{by}}\\ E={\mathrm{\ω}}_{31}{E}_0+{\mathrm{\ω}}_{32}{E}_{30}+\·\·\·+{\mathrm{\ω}}_{37}{E}_{180}\end{array}\right.$ $\left\{\begin{array}{c}{\mathrm{\ω}}_{21}+{\mathrm{\ω}}_{22}=1\\ {\mathrm{\ω}}_{31}+{\mathrm{\ω}}_{32}+\·\·\·+{\mathrm{\ω}}_{37}=1\end{array}\right.$

这样就合并得到了亮度、颜色、边缘、角点四张合并特征图，再取不同的权值将该四张合并特征图融合成一张显著图，

S＝ω₁I+ω₂C+ω₃E+ω₄P  ω₁+ω₂+ω₃+ω₄＝1

步骤5：将所述融合的显著图看成目标显著性的概率分布，用直方图表示，

取13个区间，每个区间的跨度为20，利用直方图统计出整个图像的显著性分布，并用这个直方图作为新的特征去表示目标车辆；

步骤6，计算两个对比目标车辆的直方图之间的巴氏距离，得出车辆之间相似度的大小，小于阈值则匹配成功，大于则失败，公式如下，其中p，q为两个直方图分别对应的概率分布函数，D_B为直方图之间的巴氏距离：

D_B(p，q)＝-ln(BC(p，q)) $\mathrm{whereBC}(p,q)=\underset{x\∈X}{\mathrm{\Σ}}\sqrt{p\left(x\right)q\left(x\right)}$

本发明改进了视觉注意模型，融合了多种目标车辆的图像特征，因而能更全面的表示目标，减少信息的丢失，提高匹配的准确性。本发明将改进的视觉注意模型应用到海量视频中肇事车辆匹配中，通过融合视觉注意模型和图像匹配提高了目标车辆匹配的准确性和鲁棒性。本发明作为一个准确鲁棒的基于改进视觉注意模型和基于图像的目标匹配算法是智能交通***必不可少的一部分。

附图说明

图1基于改进视觉注意模型的目标车辆匹配方法的总体流程图。

图2改进后的视觉注意模型流程图。

具体实施方式

本发明基于改进视觉注意模型的目标车辆匹配方法的总体流程如图1所示。

参照图1，本发明的具体实施如下，其中步骤1至4为改进后的视觉注意模型，如图2所示：

步骤1：对两张对比目标车辆的输入图像分别进行形态学预处理，利用高斯模型平滑去噪。

$I^{\′}=I\⊗G$

其中，I为输入图像，G为高斯函数，I′为平滑处理后的图像，为卷积符号。

步骤2：对处理后的两张图像分别提取亮度、颜色、边缘、角点四种特征，形成四张合并特征图，再融合成一张显著图。

2.1亮度特征

原图像为彩色图，RGB三个通道，亮度特征图为单通道图像，像素值为该像素点的亮度。

$I=\frac{1}{3}(R+G+B)$

I为亮度，R，G，B为图像的红绿蓝三个颜色分量。亮度与灰度不同，反应的是每一点的光照强度，因此将三个颜色通道算术平均，得到一张亮度特征图。

2.2颜色特征

颜色特征图有两张，分为红绿颜色RG分量和蓝黄BY分量。

$\left\{\begin{array}{c}R=r-\frac{g+b}{2}\\ G=g-\frac{r+b}{x}\\ B=b-\frac{r+g}{2}\\ Y=r+g+2\left(\right|r-g|+b)\end{array}\right.$ $\left\{\begin{array}{c}\mathrm{RG}=R-G\\ \mathrm{BY}=B-Y\end{array}\right.$

r，g，b为原图像每个通道的像素值。R，G，B，Y为转换后的红绿蓝黄四种颜色。RG和BY就是最终得到的红绿颜色分量和蓝黄颜色分量。

2.3边缘特征

边缘采用Canny算子，使用多个掩码与原图像卷积，可以得到每一点的梯度大小和方向。最终生成七张边缘特征图，代表0°、30°、60°、90°、120°、150°、180°七个方向。将每一个像素点都向这七个方向进行投影，得出这个像素点的梯度在这个方向的分量大小。生成的七张边缘特征图都是单通道图像，每一个像素值代表其边缘特征在不同方向的大小。

2.4角点特征

角点特征的提取采用Harris角点检测算法，若某一个像素点为角点，则将其像素值设置为255，否则置为0，生成一张单通道角点特征图，每一个像素值代表其是否为角点。

步骤3：将上述十一张特征图归一化，并进行特征突出处理，为接下来的融合做准备。

在融合之前，需要进一步突出显著的特征。本发明对每一张特征图都设定一个阈值(threshold)，本发明将阈值设为这张图像像素值最大值的五分之一。然后统计超过阈值的像素点个数(num)，最后根据下面的公式更新像素值。

$\left\{\begin{array}{c}{I}^{\′}=I/\sqrt{{\mathrm{num}}_1}\\ C^{\′}=C/\sqrt{{\mathrm{num}}_2}\\ E^{\′}=E/\sqrt{{\mathrm{num}}_3}\\ P^{\′}=P/\sqrt{{\mathrm{num}}_4}\end{array}\right.$

其中I′、C′、E′、P′分别表示更新后的亮度、颜色、边缘和角点。这样可以抑制显著性不高的像素点，而且更加突出显著性高的特征。

步骤4：在步骤3中共得到十一张特征图，每张特征图的像素值大小都在0到255之间，首先本发明将其中颜色特征的两张特征图合并为一张，同样将其中边缘特征的七张特征图也合并为一张。

$\left\{\begin{array}{c}C={\mathrm{\ω}}_{21}{C}_{\mathrm{rg}}+{\mathrm{\ω}}_{22}{C}_{\mathrm{by}}\\ E={\mathrm{\ω}}_{31}{E}_0+{\mathrm{\ω}}_{32}{E}_{30}+\·\·\·+{\mathrm{\ω}}_{37}{E}_{180}\end{array}\right.$ $\left\{\begin{array}{c}{\mathrm{\ω}}_{21}+{\mathrm{\ω}}_{22}=1\\ {\mathrm{\ω}}_{31}+{\mathrm{\ω}}_{32}+\·\·\·+{\mathrm{\ω}}_{37}=1\end{array}\right.$

这样就合并得到了亮度、颜色、边缘、角点四张合并特征图，再取不同的权值将该四张合并特征图融合成一张显著图。

S＝ω₁I+ω₂C+ω₃E+ω₄P  ω₁+ω₂+ω₃+ω₄＝1

步骤5：将所述融合的显著图看成目标显著性的概率分布，用直方图表示。本发明取13个区间，每个区间的跨度为20。这样就利用直方图统计出来整个图像的显著性分布，并用这个直方图作为新的特征去表示目标车辆。由于显著性有效的融合了多种特征，因此这个直方图可以更加全面有效的表示目标，提高匹配准确性。

步骤6，计算两个对比目标车辆的直方图之间的巴氏距离，得出车辆之间相似度的大小，小于阈值则匹配成功，大于则失败。公式如下，其中p，q为两个直方图分别对应的概率分布函数，D_B为直方图之间的巴氏距离：

D_B(p，q)＝-ln(BC(p，q)) $\mathrm{whereBC}(p,q)=\underset{x\∈X}{\mathrm{\Σ}}\sqrt{p\left(x\right)q\left(x\right)}$

。

Claims (1)

1.一种基于改进视觉注意模型的目标车辆匹配方法，其特征在于，包括如下步骤：

步骤1：对两张对比目标车辆的输入图像分别进行形态学预处理，利用高斯模型平滑去噪， $I^{\′}=I\⊗G$

其中，I为输入图像，G为高斯函数，I′为平滑处理后的图像，为卷积符号；

步骤2：对处理后的两张图像分别提取亮度、颜色、边缘、角点四种特征，形成四张合并特征图，再融合成一张显著图；

所述分别提取亮度、颜色、边缘、角点四种特征，具体包括如下步骤实现：

2.1亮度特征

原图像为彩色图，RGB三个通道，像素值为该像素点的亮度，

其中I为亮度，R，G，B为图像的红绿蓝三个颜色分量，将三个颜色通道算术平均，得到一张亮度特征图；

2.2颜色特征

获得两张颜色特征图，分为红绿颜色RG分量和蓝黄BY分量：

$\left\{\begin{array}{c}R=r-\frac{g+b}{2}\\ G=g-\frac{r+b}{x}\\ B=b-\frac{r+g}{2}\\ Y=r+g+2\left(\right|r-g|+b)\end{array}\right.$ $\left\{\begin{array}{c}\mathrm{RG}=R-G\\ \mathrm{BY}=B-Y\end{array}\right.$

r，g，b为原图像每个通道的像素值，R，G，B，Y为转换后的红绿蓝黄四种颜色，RG和BY就是最终得到的红绿颜色分量和蓝黄颜色分量；

2.3边缘特征

边缘采用Canny算子，使用多个掩码与原图像卷积，可以得到每一点的梯度大小和方向，最终生成七张边缘特征图，分别代表0°、30°、60°、90°、120°、150°、180°七个方向；将每一个像素点都向这七个方向进行投影，得出这个像素点的梯度在这个方向的分量大小；生成的七张边缘特征图都是单通道图像，每一个像素值代表其边缘特征在不同方向的大小；

2.4角点特征

角点特征的提取采用Harris角点检测算法，若某一个像素点为角点，则将其像素值设置为255，否则置为0，生成一张单通道角点特征图，每一个像素值代表其是否为角点；

步骤3：将上述步骤3共获得的十一张特征图归一化，并进行特征突出处理，为接下来的融合做准备，

对每一张特征图都设定一个阈值，将阈值设为这张图像像素值最大值的五分之一，然后统计超过阈值的像素点个数，最后根据下面的公式更新像素值

$\left\{\begin{array}{c}{I}^{\′}=I/\sqrt{{\mathrm{num}}_1}\\ C^{\′}=C/\sqrt{{\mathrm{num}}_2}\\ E^{\′}=E/\sqrt{{\mathrm{num}}_3}\\ P^{\′}=P/\sqrt{{\mathrm{num}}_4}\end{array}\right.$

其中I′、C′、E′、P′分别表示更新后的亮度、颜色、边缘和角点；

步骤4：在步骤3中共得到十一张特征图，每张特征图的像素值大小都在0到255之间，首先将其中颜色特征的两张特征图合并为一张，同样将其中边缘特征的七张特征图也合并为一张，

$\left\{\begin{array}{c}C={\mathrm{\ω}}_{21}{C}_{\mathrm{rg}}+{\mathrm{\ω}}_{22}{C}_{\mathrm{by}}\\ E={\mathrm{\ω}}_{31}{E}_0+{\mathrm{\ω}}_{32}{E}_{30}+\·\·\·+{\mathrm{\ω}}_{37}{E}_{180}\end{array}\right.$ $\left\{\begin{array}{c}{\mathrm{\ω}}_{21}+{\mathrm{\ω}}_{22}=1\\ {\mathrm{\ω}}_{31}+{\mathrm{\ω}}_{32}+\·\·\·+{\mathrm{\ω}}_{37}=1\end{array}\right.$

这样就合并得到了亮度、颜色、边缘、角点四张合并特征图，再取不同的权值将该四张合并特征图融合成一张显著图，

S＝ω₁I+ω₂C+ω₃E+ω₄P  ω₁+ω₂+ω₃+ω₄＝1

步骤5：将所述融合的显著图看成目标显著性的概率分布，用直方图表示，

取13个区间，每个区间的跨度为20，利用直方图统计出整个图像的显著性分布，并用这个直方图作为新的特征去表示目标车辆；

步骤6，计算两个对比目标车辆的直方图之间的巴氏距离，得出车辆之间相似度的大小，小于阈值则匹配成功，大于则失败，公式如下，其中p，q为两个直方图分别对应的概率分布函数，D_B为直方图之间的巴氏距离：

D_B(p，q)＝-ln(BC(p，q)) $\mathrm{whereBC}(p,q)=\underset{x\∈X}{\mathrm{\Σ}}\sqrt{p\left(x\right)q\left(x\right)}\·$

Images