CN102184413A

CN102184413A - 车辆智能监控***中车身颜色自动识别方法

Info

Publication number: CN102184413A
Application number: CN 201110124540
Authority: CN
Inventors: 陈以超; 张兴明; 傅利泉; 朱江明; 吴军; 吴坚
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2011-05-16
Filing date: 2011-05-16
Publication date: 2011-09-14
Anticipated expiration: 2031-05-16
Also published as: CN102184413B

Abstract

本发明公开了一种车辆智能监控***中车身颜色自动识别方法，该方法首先根据所得车牌的位置和车身纹理特征，检测代表车身颜色的特征区域；然后对车身特征区域像素进行色彩空间转换及矢量空间量化合成，在量化后的矢量空间提取模糊直方图Bin的归一化特征；并采用LDA方法对获取的高维特征进行特征降维；通过车身颜色多类子空间分析后，利用离线训练分类器的识别参数，采用多特征模板匹配或SVM方法进行子空间的车身颜色识别；最后根据初识别可信度和颜色先验知识，对易交叉和可信度低的颜色进行校正,以得到最终的车身颜色识别结果；本发明适用于白天、夜晚及多光照条件，且识别速度快、识别准确率高。

Description

车辆智能监控***中车身颜色自动识别方法

技术领域

本发明涉及模式识别和图像处理技术，尤其涉及一种基于车辆静止图像或视频流中代表车身颜色的识别方法。

背景技术

随着社会经济的快速发展，道路交通迅速发展，车辆保有量及交通出行量剧增，为解决地面交通迅速发展所引发的诸多问题，智能交通***（ITS）发挥着重要的作用，而在智能交通领域的智能监控技术中，车牌自动识别技术为其核心，经过多年的研究发展，其技术已经逐渐成熟，并在交通管理的各种应用场合中得到很好的应用。例如自动收费、不停车收费、失窃车辆追寻等。

然而，随着车辆数量不断增加，交通事故、违章逃逸及犯罪分子作案的多样性和复杂性，车辆智能监控仅依靠车牌识别的信息是不足的，另外车牌受部分遮挡、污迹、环境光照等因素影响时，其准确识别率急剧下降；另外，车牌识别***在一车多牌、一牌多车、套牌等情况下显得无能为力了。因此，在对车牌号进行识别的同时，还需要对车辆的其他特征信息进行识别，如车身颜色，车标，车型等。

目前有关车身颜色识别的文献研究还比较少，获取与车牌同等的正确识别率难度很大，主要是由于车身表面颜色受光照、不同天气及噪声等多因素干扰而产生颜色失真，以及车身颜色随光照条件和入射光颜色变化而变化。为此，本发明在现有研究成果和自主开发车牌自动识别***的基础上，提出了车辆智能监控***中车身颜色自动识别方法。

现使用的车身颜色识别方法有：

（1）基于色差的方法。该方法主要将RGB空间转换到HSI空间，然后在HIS空间计算色差值，根据色差值最小在颜色表中查找相应的颜色即为识别结果。该方法简单快速，在光线较好的情况下可获取较好的识别结果，但实际应用中，光照，天气都有很大的变化，获取的车辆图像其车身颜色都不稳定。详见文献：李贵俊, 刘正熙等. 一种基于色差和彩色归一化的车身颜色识别方法. 计算机应用, 2004, 9.

（2）基于色度信息和SVM识别方法。它首先将RGB空间转换到Lab、HSV，然后分别利用色度信息ab和HS，对具有相似色度信息的颜色进行合并，分别在不同的特征颜色区间进行SVM和最近邻分类识别，提高了其准确率。但是该车身颜色识别方法是基于整个车辆图像（除背景外）的颜色识别，运算量大，且引入了一些干扰区域，如车窗，车灯部分，导致***可靠性和识别不够鲁棒。详见文献：王运琼, 游志胜. 利用支持向量机识别汽车颜色. 计算机辅助设计与图形学学报, 2004, 5。

上述的车身颜色识别方法在一定光照环境下对车身颜色较单一的小轿车可取得较好效果，但对一些大型卡车和货车通常受车头或车尾散热箱、排气扇的影响，车身颜色检测区域不够准确（检测的区域中含有其他非车身颜色）而产生干扰情况下，其可靠性较差，识别精度较低；另外，在夜晚，车辆图像中车身部分光线较暗且不均匀，即使有闪光灯条件下，车身颜色识别误差较大，上所述方法对夜晚车辆图像颜色的可靠识别还没有很好地解决。

发明内容

本发明的目的在于针对现有技术的不足，提供一种车辆智能监控***中车身颜色自动识别方法，该方法对采集的交通车辆视频和图像采用智能化处理，实现对车辆车身颜色的快速自动识别。

本发明的目的是通过以下技术方案来实现的：一种车辆智能监控***中车身颜色自动识别方法，包括以下步骤：

（1）参考通过车牌定位技术所得的车牌高、宽及位置坐标信息，在车牌上方检测代表车身颜色的粗区域。

（2）根据车身区域的纹理特征，在检测的车身颜色粗区域中进一步搜索车身颜色的精确特征区域。

（3）车身颜色特征区域RGB像素转换到HSV空间，并基于HSV性质合成新颜色空间

Figure 2011101245407100002DEST_PATH_IMAGE002

。

（4）采用模糊C均值聚类方法在量化的矢量颜色空间计算模糊直方图Bin归一化特征，并利用LDA方法对特征降维，获取有利于颜色辨别的特征数据。

（5）根据离线样本训练的分类器识别参数，对车辆图像车身颜色特征区域采用基于多类子空间的特征模板匹配或SVM方法识别，得到初步的车身颜色结果。

（6）根据初识别可信度和颜色先验知识，对易交叉和可信度低的车辆颜色分别进行白天和夜晚的校正与确认,以得到最终的车身颜色识别结果。

可选的，所述在车牌上方检测代表车身颜色的粗区域包括以车牌区域的中心为参考点，在上方截取一个高为宽为

Figure 2011101245407100002DEST_PATH_IMAGE006

的矩形区域，其中

Figure 2011101245407100002DEST_PATH_IMAGE008

分别为车牌的高和宽，为统计得到的经验值。

可选的，所述利用车身区域纹理特征，进一步搜索的车身颜色的精确特征区域，包括：

（a）计算粗区域像素灰度在水平和垂直方向的差分；

（b）利用改进的快速Otsu技术，对粗区域像素灰度差分结果进行二值化；

（c）根据所设定的纹理阈值，检测代表车身颜色的精确特征区域：设置阈值为

Figure 2011101245407100002DEST_PATH_IMAGE014

、

Figure 2011101245407100002DEST_PATH_IMAGE016

、

Figure 2011101245407100002DEST_PATH_IMAGE018

（其中，

Figure 2011101245407100002DEST_PATH_IMAGE020

为车身颜色粗区域的宽；

Figure 2011101245407100002DEST_PATH_IMAGE022

；为车身颜色区域在水平方向的纹理阈值；

和

为垂直方向上的两级纹理阈值，且

>），在二值化图上自底向上搜索，统计每一行非边缘像素数量（即背景像素），将大于

的行记录下来，并统计连续大于

的行总数

Figure 2011101245407100002DEST_PATH_IMAGE026

；通过比较

Figure 2011101245407100002DEST_PATH_IMAGE028

与阈值

和

的值来定位车身颜色的精区域。

可选的，所述基于HSV性质合成新颜色空间

，进一步包括：像素RGB转换为HSV空间；HSV色彩空间奇异像素点的校正；校正后的像素HSV合成新的颜色空间

，其主要步骤如下：

（a）RGB颜色转换为HSV空间：设max = max（R,G,B），min = min（R,G,B）；当max ≠min时，定义

Figure 2011101245407100002DEST_PATH_IMAGE030

Figure 2011101245407100002DEST_PATH_IMAGE032

则 H = 60*h，S = （max-min）/max，V=max/255；当max = min，即R=G=B时，则 H = S = 0，V = R/255。

（b）HSV空间奇异像素点的校正方法：当

Figure 2011101245407100002DEST_PATH_IMAGE034

；则

Figure 2011101245407100002DEST_PATH_IMAGE036

，

Figure 2011101245407100002DEST_PATH_IMAGE038

，

Figure 2011101245407100002DEST_PATH_IMAGE040

；

当

Figure 2011101245407100002DEST_PATH_IMAGE042

and

Figure 2011101245407100002DEST_PATH_IMAGE044

；则

，

，

Figure 2011101245407100002DEST_PATH_IMAGE046

；其中参数，，

为奇异像素点校正阈值，由训练样本统计得到。

（c）像素校正后HSV空间合成新颜色空间包括：

Figure 2011101245407100002DEST_PATH_IMAGE054

，

Figure 2011101245407100002DEST_PATH_IMAGE056

，

Figure 2011101245407100002DEST_PATH_IMAGE058

。

可选的，所述采用模糊C均值聚类方法在量化的矢量颜色空间计算模糊直方图Bin归一化特征，进一步包括：

（a）颜色空间的量化与Bin值选取：将颜色分量

Figure 2011101245407100002DEST_PATH_IMAGE060

、

Figure 2011101245407100002DEST_PATH_IMAGE062

、V分别量化为

、

个Bin，其中V空间采用非均匀量化方式，而

和

空间采用均匀量化；参数，

和

则依据训练样本测试的最佳识别率反馈得到一个最优值。

（b）量化后的三维颜色空间合成一维矢量空间的表示：一维矢量空间设计为Y =

Figure 2011101245407100002DEST_PATH_IMAGE070

+

Figure 2011101245407100002DEST_PATH_IMAGE072

+

Figure 2011101245407100002DEST_PATH_IMAGE074

，且

Figure 2011101245407100002DEST_PATH_IMAGE076

，其中

和

分别是颜色分量C2和V的量化级数；另外考虑到车辆处于不同的光照环境，在一维矢量空间的表示中融入了亮度信息V。

（c）计算模糊域直方图Bin归一化特征：设

Figure 2011101245407100002DEST_PATH_IMAGE078

为Y空间的归一化直方图特征，其中n =，为特征向量维数；

Figure 2011101245407100002DEST_PATH_IMAGE082

，N为像素总数，

Figure 2011101245407100002DEST_PATH_IMAGE084

为属于第i个颜色Bin的总像素数。根据概率理论，可表示为，其中

Figure 2011101245407100002DEST_PATH_IMAGE090

为第j个像素属于第i个颜色Bin的条件概率；此处

Figure 2011101245407100002DEST_PATH_IMAGE092

采用模糊C均值聚类（FCM）方法计算车身颜色区域中每个像素属于第i个颜色Bin的模糊隶属度值来得到。

可选的，所述获取离线样本训练的分类器识别参数进一步包括：

（a）选择不同类车身颜色的若干训练样本；

（b）计算样本的多维特征向量；

（c）利用LDA方法对高维特征向量进行降维，并得到特征的降维转换矩阵；

（d）采用K-Means聚类或混合高斯模型聚类（GMM）分析法，对各类别样本进行聚类，根据训练样本的测试识别率反馈调整各类特征模板数和特征模板向量的最佳参数。

可选的，所述对车辆图像的车身颜色区域采用基于多类子空间的特征模板匹配或SVM方法识别进一步包括：

（a）在HSV空间根据色调H值将七种颜色（白、灰、黑、红、黄、蓝、绿）划分为5个子类，每个子类包含着不同的颜色类别；

（b）利用LDA方法进行特征降维是针对所有类别颜色样本计算降维转换矩阵，只是在子类空间采用特征模板匹配或SVM识别时去掉该子类中没有的颜色类样本，即所有子类空间颜色识别所采用的特征维数是相同的，而各子类空间识别的类别数不同；相对在所有车身颜色类中识别，在子空间识别的颜色类数少很多，从而提高了识别速度和识别率。

可选的，所述根据颜色先验知识，对初步识别可信度较低和易交叉颜色进行二次确认和校正，进一步包括：

（a）对当前车辆图像处于白天和夜晚的时间模式进行算法判断：首先计算图像平均亮度值和图像中低亮度像素占所有像素的比例值；然后设计图像平均亮度阈值和低亮度像素的比例阈值，并将其与当前计算的图像亮度值和比例值进行比较来判断车辆是处于白天还是夜晚。

（b）对易交叉的颜色类（如，深蓝色与黑色，浅红色与黄色等）及初识别结果可信度较低的颜色进行二次确认与校正；

需要说明的是，设定的判断阈值是根据不同时间段的大量车辆图像统计计算得到；对于视频流的车辆图像，仅需对获取的背景图像进行相同方法计算即可；白天和夜晚模式的判别主要是基于车身颜色初步识别后，设置白天和夜晚车辆的识别结果的校正参数不一样。

可选的，所述先验知识包括利用易交叉颜色的R、G、B值间约束关系及车身主颜色在检测区域中占的比例关系。

可选的，所述车身颜色初识别结果的可信度

Figure 2011101245407100002DEST_PATH_IMAGE094

，其中d1为分类器最小准则值，d2为分类器次小准则值；通过比较当前计算得到的识别结果可信度值与可信度阈值，决定颜色校正是否。

本发明的有益效果是，与现有技术相比，本发明可以克服不同光照环境、噪声和车身颜色区域检测不够准确情况对车身颜色识别的影响，同时因采用LDA方法对高维特征数据的有效降维和基于颜色多子类空间的识别方案，从而提高识别准确率，减少***运算量。

附图说明

图1是本发明实施方式中车身颜色识别方法的流程示意图；

图2是本发明实施方式中用于车身颜色特征区域定位的流程示意图；

图3是本发明实施方式中用于车身颜色检测区域的特征提取流程示意图；

图4是本发明实施方式中车身颜色多类子空间与识别的流程示意图；

图5是图1所示车身颜色识别中步骤S160的样本训练流程示意图；

图6是图1所示车身颜色识别中步骤S170车身颜色二次确认与校正流程示意图。

具体实施方式

本发明提供一种由粗到精的车身颜色区域定位方法，并通过计算车身颜色区域的有效多维特征，采用基于颜色多类子空间的特征模板匹配识别车身颜色，与此同时，对部分易交叉颜色（如，深蓝色与黑色等）采用颜色先验知识和初识别结果可信度结合的方法，分别进行白天和夜晚车辆图像车身颜色识别的二次确认与校正，以得到最终可靠、高准确率的车身颜色识别结果。本发明提出的技术方案实现了快速、准确的车身颜色识别，为智能交通车辆管理自动化提供新途径。

以下结合附图和实施例来详细说明本发明技术方案的实施方式，主要包括以下几个具体步骤。

1、检测车辆车身颜色特征区域

车辆车身颜色特征区域检测采用了由粗到精的定位策略，如图1和图2所示。

1）输入的原始车辆图像

通过步骤S100，输入的车辆图像可以为静态车辆图像，也可以为视频系列中通过运动目标检测算法检测到的前景车辆图像。

2）车身颜色特征粗区域定位

在步骤S200中，根据车牌定位技术获取车牌高、宽及位置坐标，设车牌高和宽分别为H、W，以车牌区域中心为参考点，在上方截取一个高为

Figure 2011101245407100002DEST_PATH_IMAGE096

，宽为的矩形区域，其中

Figure 2011101245407100002DEST_PATH_IMAGE098

为统计得到的经验值。

3）车身颜色特征精确区域定位

在步骤S210中，计算车身颜色特征粗区域中像素灰度在水平和垂直方向的差分，然后对差分结果采用改进的快速Otsu技术进行二值化。在步骤S220中，利用车身纹理特征寻找代表车身颜色的精确特征区域，因车身颜色区域光滑、平坦，其纹理特征表现在二值化图上即为大片背景像素。设置阈值为

、

、

（其中，

为车身颜色粗区域的宽；；

为车身颜色区域在水平方向的纹理阈值；

和为垂直方向上的两级纹理阈值，且>

），在二值化图上自底向上搜索，统计每一行非边缘像素数量（即背景像素），将大于

的行记录下来，并统计连续大于

的行总数；通过比较与阈值和

的值来定位车身颜色的精区域。

2、特征区域像素颜色空间转换与矢量空间量化表示

1）像素RGB转换HSV色彩空间及奇异像素点校正

在步骤S310中本实施例中将步骤S300中车身特征区域像素RGB转换到HSV空间，符合人眼视觉对颜色的分类特征，其具体的转换公式如下，设max = max（R,G,B），min = min（R,G,B）；当max ≠min时，定义

Figure 2011101245407100002DEST_PATH_IMAGE100

Figure 2011101245407100002DEST_PATH_IMAGE102

则 H = 60*h， S = （max-min）/max，V=max/255；当max = min，即R=G=B时，则 H = S = 0； V = R/255。

HSV空间表现为半锥体，在V分量的两端会出现像素奇异，基于此，像素RGB转换到HSV空间后，需要对HSV空间的奇异像素点作校正，具体校正方法如下：当

，则

，，

Figure 2011101245407100002DEST_PATH_IMAGE104

；当

and

，则

，

，

；其中参数

，

，

为奇异像素点校正阈值，由训练样本统计得到。

2）合成新颜色空间

HSV为非均匀颜色空间，不利于颜色特征的识别，为对车身颜色进行有效的特征识别，在步骤S320中，对奇异像素点校正后的HSV颜色空间建立一种新的均匀颜色空间

，其与HSV的关系为

，

，

。

3）颜色空间量化与一维矢量空间表示

在步骤S330中，对新颜色空间

V的分量

、

、V分别量化为

、

个Bin，在本实施例中，V分量采用非均匀量化方式，而

和

分量采用均匀量化；参数，

和有实验测试得到最佳值分别为16、4、4。然后将量化后的三维颜色空间合成一维矢量空间表示为Y = +

Figure 2011101245407100002DEST_PATH_IMAGE114

+

，则

Figure 2011101245407100002DEST_PATH_IMAGE116

，此处考虑到车辆处于不同的光照环境，在一维矢量空间的表示中融入了亮度信息V。

3、计算车身颜色区域的模糊直方图Bin的归一化特征

如步骤S340所示，在一维矢量空间Y中计算车身颜色区域的模糊直方图Bin归一化特征。设

Figure 2011101245407100002DEST_PATH_IMAGE118

为Y空间的归一化直方图特征向量，其中n =

Figure 2011101245407100002DEST_PATH_IMAGE120

为特征向量维数，

Figure 2011101245407100002DEST_PATH_IMAGE122

，N为像素总数，

Figure 2011101245407100002DEST_PATH_IMAGE124

为属于第个颜色Bin的总像素数。根据概率理论，

Figure 2011101245407100002DEST_PATH_IMAGE128

可表示如下：

Figure 2011101245407100002DEST_PATH_IMAGE130

，

为第

个像素属于第

个颜色Bin的条件概率；此处

采用模糊C均值聚类（FCM）方法计算车身颜色区域中每个像素属于第

个颜色Bin的模糊隶属度值得到。在本实施例中，通过实验测试，计算256维特征时车身颜色识别率最高。

4、特征数据降维

相对主成分分析法（PCA），线性判别分析法（LDA）不仅对光照不敏感，还在去除特征数据相关性的同时，考虑了不同类别数据间的分类特征，提取有利于鉴别类别信息的特征，为此本实例在步骤S130中，采用LDA对计算的高维特征进行降维，得到低维特征向量，使得分类器识别速度和识别率提高。

5、获取离线样本训练的分类器识别参数

在步骤S160中，车身颜色识别时需要使用离线样本训练的分类器识别参数，这些参数主要包括特征降维转换矩阵、多模板特征向量、各颜色类的模板数量等。这些参数量是通过车身颜色样本的离线训练得到，具体如图5所示。

需说明的是，在图5中步骤S510至S520，与图1所示的步骤S120至S130相同，即对车身颜色像素进行颜色空间转换和特征提取与LDA降维。

在步骤S530中，利用K-Means聚类或混合高斯模型聚类（GMM）分析法对各类别训练样本进行聚类识别的训练。

在步骤S550中，根据车身颜色训练样本的识别率反馈，调整影响训练样本识别率的参数，主要包括特征的降维矩阵、不同颜色的模板数及相应的模板特征向量。在测试样本的识别率满足要求时得到分类器训练参数最佳，才得以保存。

6、车身颜色多类子空间的多特征模板匹配或SVM识别

在步骤S140中，根据色调H不同范围值将颜色划分为5个子类空间：（白，灰，黑，红，黄）；（白，灰，黑，黄，绿）；（白，灰，黑，绿，蓝）；（白，灰，黑，蓝）；（白，灰，黑，红，蓝），待识别颜色在送入分类器识别前，先被划分到相应的子空间；利用LDA方法特征降维仍对所有类别颜色样本进行，只是在子类空间识别时去掉该子类中没有的颜色类样本，即所有各子类空间颜色识别最终采用的特征维数是相同的，而各子类空间识别的类别数则不同；相对在所有车身颜色类中识别，在子空间识别的颜色类数较少，从而提高识别速度和识别率。具体流程图可参阅图4。

在步骤S150中，在各类子空间识别采用多特征模板匹配识别，分类器准则函数为欧式距离，各颜色类的特征模板特征向量在样本训练时已经建立，且各颜色类的特征模板数量依据各颜色样本的分布自动获取；本实施例中采用的识别方法不限于多特征模板匹配，也可采用SVM方法直接在子空间进行识别。

7、车身颜色初识别结果的校正与确认

受摄像机成像质量和光照变化等因素的影响，使得本身比较接近的颜色容易交叉，如深蓝色与黑色，浅红色与黄色等，导致分类器在识别这些颜色时发生误识别。另外，同一颜色车辆在白天和夜晚体现出很大的差异，也导致白天和夜晚同一颜色是误识别。基于以上因素考虑，本发明在初识别结果的基础上，结合颜色先验知识和识别可信度，对易交叉车辆颜色和白天与夜晚的车辆颜色分别进行校正与确认，建立高鲁棒的车身颜色识别***。具体流程如图6所示。

1）车辆图像的时间模式判别

在步骤S610中，当前车辆图像的时间模式判断主要有两种情况：第一，早晨5点至夜晚7点这个时间段的车辆图像；第二，夜晚7点到第二天凌晨5点时间段内的车辆图像。对于第二种情况，车辆图像的时间模式都设置为夜晚，因此本实施例中车辆图像的时间模式的判断分析是针对第一种情况提出的。通过计算图像平均亮度值和直方图中低亮度像素占所有像素的比例值，通常白天图像平均亮度值与夜晚的相差较大，且白天图像中高亮度像素占比例大，而夜晚则相反；根据此属性，设定图像平均亮度阈值和低亮度像素的比例阈值即可判断白天和晚上模式；为提高准确率，设定的阈值由不同时间段的大量车辆图像统计得到；对于视频流，只需对获取的背景图像进行相同方法计算即可。

2）车身颜色识别结果的校正与确认

在步骤S650中，颜色的RGB值约束关系主要指不同颜色间R，G，B比值大小不同，例如对易混淆的浅红色与黄色的RGB值有如下关系：黄色的R与G值相当，且都比B大，而红色的G与B值相当，且都比R值小，红色R与G的差值大于G与B间的差值，而浅红色相反，其他依次类似计算；然后根据计算的识别结果的可信度

Figure 2011101245407100002DEST_PATH_IMAGE134

，其中d1为分类器最小准则值，d2为分类器次小准则值，对识别可信度低的不同交叉颜色设置参数阈值及辅助主颜色在车身特征区域中占的比例值对初识别结果进行校正和确认，以得到最终的车身颜色识别结果。

本发明提供的车辆智能监控***中车身颜色自动识别方法，简单易行，基于LDA特征降维和多类颜色子空间的多特征模板匹配，减少计算量，从而快速获取车身颜色识别结果，与此同时，利用颜色先验知识等，对易交叉和初识别可信度低的颜色进行校正与确认，提高识别率，为车辆智能监控***中车身颜色自动识别的可靠性提供保证。

本发明所公开的实施方式如上，但并非用以限定本发明，任何本领域技术人员在不脱离本发明公开的精神和范围内，都可实施可能的变化和修改，但本发明的专利保护范围，仍应当以本发明所附的权利要求书所界定的范围为准。