CN103020582A - 计算机通过视频图像识别车辆类型的方法 - Google Patents

Abstract

本发明公开了一种计算机通过视频图像识别车辆类型的方法，其特征在于所述方法包括以下步骤：（1）计算机获取视频图像，从视频图像中提取出目标关键帧，通过背景剪除提取出待识别的目标区域，并对视频图像进行预处理；（2）对预处理完毕的图像进行特征提取，选用图像形状特征中的Hu几何不变矩作为车辆特征参数，计算目标区域的形状特征；（3）通过机器学习方法进行所有车辆类型的样本训练，当样本训练完毕后对待识别的目标区域进行分类预测识别出车辆类型。该方法能够半自动地对车型分类，尽量提高分类的正确率。

Description

计算机通过视频图像识别车辆类型的方法

技术领域

本发明属于图像识别技术领域，具体涉及一种计算机通过视频图像识别车辆类型的方法。

背景技术

近年来，智能交通***发展快速（ITS），随着计算机视觉和模式识别技术的发展，为智能交通***更有效的应用提供了契机。计算机视觉是利用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。

基于图像识别的车辆分类过程主要包括从图像中提取目标车辆并提取特征参数；在分类器中输入特征参数并得到分类结果两个阶段。

第一阶段，特征参数的选取主要集中在对车辆几何尺寸的度量，有绝对几何尺寸和相对几何尺寸。绝对几何尺寸是根据摄像机与车辆之间的距离和拍摄的角度算出车辆的实际大小，这种方法存在的缺陷是，摄像机与车辆之间的距离必须保持不变，而这在实际应用中是难以实现的。

第二阶段，最简单的方法就是对得到参数与已有的标准进行匹配，这种方法运算量小，但是只适用于参数个数较少的情况下，而且参数太少就无法对车辆进行有效分类。模板匹配法把得到的特征参数与标准模板进行比较，这需要耗费很多的计算时间而且容错性差。

另一个更实际的问题是，目前的分类将车辆分为大中小或者轿车、客车、卡车三类，而在实际应用中都要求按照车辆的座位数和吨数来收费，因此上述分类结果很难应用在实际之中。本发明因此而来。

发明内容

本发明目的在于提供一种计算机通过视频图像识别车辆类型的方法，解决了现有技术中计算机通过视频图像识别车辆类型耗费很多的计算时间而且容错性差等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种计算机通过视频图像识别车辆类型的方法，其特征在于所述方法包括以下步骤：

（1）计算机获取视频图像，从视频图像中提取出目标关键帧，通过背景剪除提取出待识别的目标区域，并对视频图像进行预处理；

（2）对预处理完毕的图像进行特征提取，选用图像形状特征中的Hu几何不变矩作为车辆特征参数，计算目标区域的形状特征；

（3）通过机器学习方法进行所有车辆类型的样本训练，当样本训练完毕后对待识别的目标区域进行分类预测识别出车辆类型。

优选的，所述方法步骤（2）中计算目标区域的形状特征采用的HU矩计算公式为：

h₁＝η₂₀+η₀₂；

h₂＝(η₂₀-η₀₂)²+η₁₁ ²；

h₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

h₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²；

h₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₂₁+η₀₃)²

-(η₂₁+η₀₃)²]；

h₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)；

h₇＝(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(3η₂₁+η₀₃)²-(η₂₁+η₀₃)²]

-(η₃₀-η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²

-(η₂₁+η₀₃)²]；

其中图像f(x，y)的(p+q)阶几何矩定义为：M_pq＝∫∫x^p*y^q*f(x，y)dxdy(p，q＝1，...，∞)；其中M₀₀＝∫∫f(x，y)dxdy，通过一阶矩(M₀₁，M₁₀)确定图像质心(x_c，y_c)：x_c＝M₁₀/M₀₀；y_c＝M₀₁/M₀₀，然后将坐标原点移至x_c和y_c处，就得到了对于图像位移不变的中心矩，即μ_p，q＝∫∫[(x-x_c)^p]*[(y-y_c)^p]*f(x，y)dxdy。

几何矩是由HU(Visual pattern recognition by moment invariants)在1962年提出的。图像f(x，y)的(p+q)阶几何矩定义为：M_pq＝∫∫x^p*y^q*f(x，y)dxdy(p，q＝1，...，∞)矩在统计学中被用来反映随机变量的分布情况，推广到力学中，它被用作刻画空间物体的质量分布。

同样的道理，如果我们将图像的灰度值看作是一个二维或三维的密度分布函数，那么矩方法即可用于图像分析领域并用作图像特征的提取。最常用的，物体的零阶矩表示了图像的“质量”：M₀₀＝∫∫f(x，y)dxdy，一阶矩(M₀₁，M₁₀)用于确定图像质心(x_c，y_c)：x_c＝M₁₀/M₀₀；y_c＝M₀₁/M₀₀，若将坐标原点移至x_c和y_c处，就得到了对于图像位移不变的中心矩。如μ_p，q＝∫∫[(x-x_c)^p]*[(y-y_c)^p]*f(x，y)dxdy；归一化矩和中心距也基本相同，除了每个矩都要除以M₀₀的某个幂： ${\mathrm{\η}}_{p,q}={\mathrm{\μ}}_{p,q}/{M_{00}}^{\frac{p+q}{2}+1}.$

HU矩是归一化的中心距的线性组合，这样做是为了能够获取代表图像某个特征的矩函数，这些矩函数对某些变化如缩放、旋转和镜像映射具有不变性。HU矩是从中心距中计算得到，其计算公式如上图h1-h7

优选的，所述方法步骤（3）机器学习方法为SVM支持向量机和BP的人工神经网络相结合的方法，先将准备好的汽车类型训练样本图片集特征输入SVM支持向量机网络和BP神经网络进行样本训练。

本发明技术方案的基本流程是获得图像——>图像预处理——>提取特征——>图像分类，该方法中基于图像识别进行车辆分类识别的过程主要包括两个阶段：1、从图像中提取目标车辆并提取特征参数。2、在分类器中输入特征参数并得到分类结果。该方法能够半自动地对车型分类，尽量提高分类的正确率。

车型分类最直观的特征为车辆轮廓，相同类型的车辆具有相似的图像轮廓，相比于图像的颜色和纹理特征，图像的形状特征能够更好的区分不同类型的车辆，而形状特征中，考虑到设备获取的图像有远近高低和角度的不同，因此选用形状特征作中具有旋转和平移不变性的矩特征为特征参数。

因为基于图像识别的车辆分类问题具有模糊、残缺、不确定的特点，良好的机器学习算法相比于以往模版方法能够更好的适应半自动化的学习，同是考虑到各类车辆形状相对固定，车型样本数量不用过多的因素，因此采用SVM支持向量机与BP神经网络相结合的方法来完成特征映射。最后考虑到实际应用的需要，根据作为数量将类别设计为小轿车、SUV和客车。

本发明与现有技术相比，具有如下的有益效果：

本发明技术方案选用图像形状特征中的Hu几何不变矩作为车辆特征参数，相比现有的绝对几何特征能够更加精确地标识车辆特征。它属于相对几何特征，不要求计算车辆的实际大小，而是计算车辆各个几何参数之间的比例，这能够反映车辆的整体结构，而且对车辆的形状大小不做限制，即要求摄像头的安装比较灵活，扩大了应用范围。而且Hu几何不变矩技术成熟，有良好的应用基础。

本发明技术方案选用SVM支持向量机和BP的人工神经网络相结合的分类方法，能够更加精确地分类样本。与传统的模板匹配法相比，人工神经网络方法更加擅长解决图像识别这种具有模糊、残缺、不确定的特点的问题。同时SVM支持向量机善于处理小样本和函数非线性拟合问题，相比模板匹配法受制于参数规模，SVM支持向量机与人工神经网络相结合的方法在处理规模较大的样本时仍然有较快的计算速度和容错性。经测试样本测试，BP神经网络对于客车的识别率高，达到88%，而SVM支持向量机对于轿车有较高识别率，达到85%，两者结合较好解决了三类车型的分类。

本发明技术方案优化了分类标准：现有的分类标准多将车辆分成大中小或者轿车卡车客车三类，实际用用意义不大。本发明将分类标准细化，根据客运车辆座位数量，将分类标准分为客车（大于10座）、SUV（大于5座且小于10座）、轿车（小于5座），相比以往分类更具有操作性。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为预处理后客车、SUV、轿车的轮廓图像；

图2为图像预处理的工作流程图；

图3为图像特征提取的工作流程图；

图4为分类器训练的工作流程图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

该实施例中计算机通过视频图像识别车辆类型的方法，按照如下步骤进行：

（1）计算机获取视频图像，从视频图像中提取出目标关键帧，通过背景剪除提取出待识别的目标区域，并对视频图像进行预处理；

（2）对预处理完毕的图像进行特征提取，选用图像形状特征中的Hu几何不变矩作为车辆特征参数，计算目标区域的形状特征；

（3）通过机器学习方法进行所有车辆类型的样本训练，当样本训练完毕后对待识别的目标区域进行分类预测识别出车辆类型。

整个技术方案主要有三个部分：视频图像预处理、特征提取和分类器训练。

1、视频图像预处理：从视频图像中提取出目标关键帧，运用背景剪除技术提取出待识别的目标区域，对含有目标区域的帧图像进行增强、降噪、矫正、分割、二值化等图像处理，使其相对清晰且利于特征提取并保存得到的结果。图1为预处理后的三种汽车图像轮廓。

2、特征提取：利用hu矩计算公式：

h₁＝η₂₀+η₀₂；

h₂＝(η₂₀-η₀₂)²+η₁₁ ²；

h₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

h₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²；

h₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η2₁₊η₀₃)²]

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₂₁+η₀₃)²

-(η₂₁+η₀₃)²]；

h₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)；

h₇＝(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(3η₂₁+η₀₃)²-(η₂₁+η₀₃)²]

-(η₃₀-η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²

-(η₂₁+η₀₃)²]；

其中

图像f(x，y)的(p+q)阶几何矩定义为：M_pq＝∫∫x^p*y^q*f(x，y)dxdy(p，q＝1，...，∞)；其中M₀₀＝∫∫f(x，y)dxdy，通过一阶矩(M₀₁，M₁₀)确定图像质心(x_c，y_c)：x_c＝M₁₀/M₀₀；y_c＝M₀₁/M₀₀，然后将坐标原点移至x_c和y_c处，就得到了对于图像位移不变的中心矩，即μ_p，q＝∫∫[(x-x_c)^p]*[(y-y_c)^p]*f(x，y)dxdy。

对预处理完毕的图像进行运算计算目标区域的形状特征，保存得到的结果。

3、将准备好的训练样本图片集特征输入SVM支持向量机网络和BP神经网络进行样本训练，分类器训练完毕后即可对待分类样本进行分类预测。

如图2所示，图像预处理的程序包括判断当前视频图像是否存在背景图像的步骤。当当前视频图像存在背景图像时，更新背景图像；否则，将当前视频图像作为前景图像。将背景图像与前景图像进行相减操作，得到运动目标图像；对运动目标图像进行二值化、降噪、腐蚀、膨胀增强处理，提取运动目标的轮廓得到运动目标轮廓图像，然后对运动目标轮廓图像进行后续处理。

如图3所示，图像特征提取时，根据运动目标轮廓图像计算Hu矩，获得图像特征参数。

分类器训练的流程如如图4所示，将训练样本导入分类器，分类器参数进行初始化，然后判断训练样本是否满足精度要求。当训练样本满足精度要求时，存储分类器参数；否则继续训练，循环判断训练样本的精度要求是否满足分类器的标准。

得到的结果如表1~5所示。

表1部分样本形状特征数据(归一化后)

	1	2	3	4	5	6	7
								1	0.1598	0.1290	0.0141	0.0033	1.2205e-04	0.0075	0.0950
2	0.6275	0.5381	0.6137	0.4254	0.2074	0.2853	0.5357
								3	0.7485	0.6967	0.2959	0.1585	0.0297	0.0888	0.2051
4	0.5266	0.4221	0.4475	0.1646	0.0323	0.0511	0.2853
								5	0.3389	0.2577	0.2018	0.0616	0.0033	0.0141	0.0579
6	0.6023	0.5213	0.3209	0.0929	0.0035	0	0
								7	0.4814	0.4105	0.1006	0.0565	0.0042	0.0380	0.0852
8	0.8246	0.7888	0.2654	0.1364	0.0215	0.0789	0.1868

表2神经网络训练结束后部分权值

	1	2	3	4	5	6	7
								1	2.1329	0.0276	-1.6270	1.9915	-0.6882	1.1932	0.1429
2	-0.9149	1.1411	-1.3899	-0.8599	1.8962	1.4543	1.6001
								3	0.4056	1.8594	1.6207	-1.4432	0.4065	-0.5678	2.0644
4	-1.3425	2.2326	-1.1944	-1.2100	0.2417	0.3297	-1.7990
								5	1.2410	0.2332	1.5522	0.5731	2.0604	-2.0948	0.3399
6	-1.2491	-1.8432	-1.3082	-0.1362	-1.0923	-2.2751	-0.1561

表3神经网络训练结束后部分权值

	1	2	3	4	5	6
							1	-0.9762	-0.6756	-0.3776	-0.6687	-0.4741	0.3784
2	-0.3258	0.5886	0.0571	0.2040	0.3082	0.4963

神经网络的两组权值w和v已经训练完毕了。为6＊7的二维向量，

为2＊6的二维向量。通过

即完成了某一个输入特征向量到隐含层的映射，得到结果通过

即完成了隐含层到输出层的映射，得到最后的输出结果

表4 SVM支持向量机训练结束后的Model

Field	Value	Min	Max
				Parameters	[1;2;3;2.80000;0]	2	2
Nr_class	2	2	2
				totalCV	28	28	28
Rho	-0.5366	-0.5366	-0.5366
				Label	[1;0]	0	1
ProbA	[]
				ProbB	[]
nSV	[15;13]	13
				sv_coef	<28＊1 double>	-1.78	1.78
Svs	<28＊7 double>

表5部分预测结果，数字1代表轿车，数字0代表SUV

	1
		1	0
2	1
		3	1
4	1
		5	1
6	1
		7	1

结果表明，测试样本集精确度约为84%。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种计算机通过视频图像识别车辆类型的方法，其特征在于所述方法包括以下步骤：

（1）计算机获取视频图像，从视频图像中提取出目标关键帧，通过背景剪除提取出待识别的目标区域，并对视频图像进行预处理；

（2）对预处理完毕的图像进行特征提取，选用图像形状特征中的Hu几何不变矩作为车辆特征参数，计算目标区域的形状特征；

（3）通过机器学习方法进行所有车辆类型的样本训练，当样本训练完毕后对待识别的目标区域进行分类预测识别出车辆类型。

2.根据权利要求1所述的方法，其特征在于所述方法步骤（2）中计算目标区域的形状特征采用的HU矩计算公式为：

h₁＝η₂₀+η₀₂；

h₂＝(η₂₀-η₀₂)²+η₁₁ ²；

h₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²；

h₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²；

h₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]

+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₂₁+η₀₃)²

-(η₂₁+η₀₃)²]；

h₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)；

h₇＝(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(3η₂₁+η₀₃)²-(η₂₁+η₀₃)²]

-(η₃₀-η₁₂)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²

-(η₂₁+η₀₃)²]；

其中

图像f(x，y)的(p+q)阶几何矩定义为：M_pq＝∫∫x^p*y^q*f(x，y)dxdy(p，q＝1，...，∞)；其中M₀₀＝∫∫f(x，y)dxdy，通过一阶矩(M₀₁，M₁₀)确定图像质心(x_c，y_c)：x_c＝M₁₀/M₀₀；y_c＝M₀₁/M₀₀，然后将坐标原点移至x_c和y_c处，就得到了对于图像位移不变的中心矩，即μ_p，q＝∫∫[(x-x_c)^p]*[(y-y_c)^p]*f(x，y)dxdy。

3.根据权利要求1所述的方法，其特征在于所述方法步骤（3）机器学习方法为SVM支持向量机和BP的人工神经网络相结合的方法，先将准备好的汽车类型训练样本图片集特征输入SVM支持向量机网络和BP神经网络进行样本训练。

Images