CN113657183A

CN113657183A - 一种基于多层特征的光滑神经网络下车辆24色识别方法

Info

Publication number: CN113657183A
Application number: CN202110841553.XA
Authority: CN
Inventors: 胡明娣; 白龙; 李英
Original assignee: Xian University of Posts and Telecommunications
Current assignee: Xian University of Posts and Telecommunications
Priority date: 2021-07-26
Filing date: 2021-07-26
Publication date: 2021-11-16

Abstract

本发明公开了一种基于多层特征的光滑神经网络用于车辆24色长尾识别方法，该网络包括特征提取、多尺度特征融合、建议框生成和光滑调制四个部分，涉及机器学习的图像处理和目标检测技术领域，能够提升在智能交通管理和刑侦辅助判案中的车辆颜色识别问题。具体方案为：首先采集城市道路监控视频共100小时，截取图像10091张，每张图像包含多色车辆，涵盖24种颜色类型，包括红色、暗红色、粉红色、橙色、暗橙色、橙红色、黄色、柠檬黄、土黄色、绿色、暗绿色、草绿色、青色、蓝色、暗蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色、深棕色，数据库呈长尾分布；其次对图像进行去雾、光照调整等预处理操作；然后通过逐层可视化和煅烧实验解释了网络设置的科学性；最后训练出模型用于车辆颜色24类长尾识别。本发明能够提高车辆颜色识别的准确率，且可以实时检测识别，更好的满足了车辆颜色精细分类的需要。

Description

一种基于多层特征的光滑神经网络下车辆24色识别方法

技术领域

本发明属于机器学习的图像处理和目标检测技术领域，具体涉及一种基于多层特征的光滑神经网络下车辆24色长尾识别方法及自建车辆24色基准数据库。

背景技术

目前车辆管理主要是依据车牌、颜色、车型、线条等属性来实时决策，如果车辆更换、篡改、遮挡、拆卸或伪造车牌时，导致摄像头不能实时捕捉车牌，便不能依靠车牌快速识别车辆做出实时决策。而车辆颜色作为获取车辆信息的另一个重要属性，可以辅助交通执法，提高车辆身份识别的可靠性。

由于涂料和调色的复杂，车辆颜色丰富且个性，至少有上百种颜色。目前提出的车辆颜色识别技术通常只有8种颜色类别，所以提升车辆颜色的精细分类迫在眉睫。而雨雾、光照等自然环境的变化，车身上灰尘的堆积，涂层氧化导致车色的蜕变和模糊，车辆颜色的数据分布存在长尾效应等以上情况的出现，会导致在对车辆图像进行颜色分类时发生错误，从而影响识别率和准确度。

目前车辆颜色识别的研究通常使用的是Chen等人建立的车辆颜色数据集，涵盖8种类别：白色、黑色、灰色、红色、青色、蓝色、黄色、绿色，共15601张图像，每张图像只包含一辆汽车。Jeong等人建立的车辆颜色数据集，包含黑色、灰色、银色、白色、蓝色、红色、黄色7种颜色，共6819张图像。Tilakaratna等人建立的车辆颜色数据集，包含银色、白色、黑色、灰色、天蓝色、红色、蓝色、棕色、橙色、粉色、绿色、黄色和紫色13 种颜色，共7000张图像。由于现存公开的车辆数据集中所包含车辆颜色的种类较少，且单张图片中的车辆颜色单一，所以需要制作颜色更加丰富的数据集，以提高车辆颜色精细分类的准确率。

国内外学者的杰出研究工作基本可以分为两类。一类是手工设计特征提取方案然后使用分类器进行识别，包括Chen等人提取颜色直方图特征，利用空间金字塔匹配和特征上下文信息，并结合支持向量机来识别车辆颜色；Dule等人提出从不同的颜色空间中提取不同的颜色特征，并使用K近邻、支持向量机和人工神经网络来研究车辆颜色的识别性能。但是其数据库只有五到八种类别，都存在分类不足的问题，且识别准确率仍有待提高。另一类是2015年以后采用深度学习的算法进行车辆颜色识别，包括Hu等人利用深度神经网络获取图像的特征图，结合传统分类器将其应用于车辆颜色识别；Rachmadi等人采用端到端深度神经网络结构，通过联合优化将特征提取和分类器融合为统一的框架；Fu等人利用基于残差学习的多尺度综合特征融合卷积神经网络用于车辆颜色识别，并建立了一个在实际交通场景中用于车辆颜色识别的***。但是由于卷积神经网络结构的复杂、易出现过拟合的现象、数据集种类较少且分布不均，复杂应用场景达不到相应的实时性和准确率。

综上所述，当前类似方案都未能解决精细分类、准确高效的车辆颜色识别的问题。

发明内容

为克服上述问题，因此本发明自建了更大规模、颜色多样化的车辆颜色分类数据库，并提出一种基于多层特征表示的光滑调制神经网络方法用于车辆24色识别方法，能够提高车辆24色识别的准确率。

所述的一种基于多层特征表示的光滑调制神经网络方法用于车辆24色长尾识别方法，其特征在于包括如下步骤：

步骤1：构建车辆24色数据库，并进行专家标注，按8:1:1的比例分为训练数据、验证数据和测试数据；

步骤2：对存在雾霾的图像进行去雾处理；

步骤3：在RGB三通道上对图像亮度进行线性调整；

步骤4：调整ResNet-50部分卷积级联块，用轻量化的特征提取网络从图片中提取颜色、车型的重要特征，得到具有关键属性的特征图；

步骤5：将步骤4中深层网络和浅层网络提取的颜色特征进行融合，构建了多尺度特征融合网络，以使其融合不同深度的特征层；

步骤6：在特征图上生成多个候选感兴趣区域，利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；

步骤7：通过增加超参数β来调整Smooth L1损失函数来对目标框和不同种类目标进行精确调整；

步骤8：训练网络模型，进行车辆颜色识别。

通过采用上述技术，与现有技术相比，本发明的有益效果如下：本发明对图片进行预处理，能克服复杂环境噪音的干扰，通过轻量化特征提取网络和多尺度特征融合网络得到具有关键属性的特征图，避免手工设计特征区域的局限性，达到实时准确的车辆颜色识别。

附图说明

图1为本方法的流程图；

图2为本方法总体结构图；

图3为24色车辆分布图；

图4为特征提取与特征融合流程图。

具体实施方式

以下结合说明书附图及实施例对本发明作进一步的描述，但本发明的保护范围并不仅限于此。

本发明能够提高车辆颜色识别的准确率，且可以实时检测识别，更好的满足了车辆颜色精细分类的需要。

如图1-2所示，本发明的一种基于多层特征表示的光滑调制神经网络方法，包括以下步骤：

步骤1：构建车辆颜色数据库共10091张图片，分辨率为1920×1080像素，共31232辆车，每张图像包含多色车辆，涵盖24种颜色类型，包括红色、暗红色、粉红色、橙色、暗橙色、橙红色、黄色、柠檬黄、土黄色、绿色、暗绿色、草绿色、青色、蓝色、暗蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色、深棕色，包含轿车、卡车和公交车等多种车辆类型，并进行专家标注，按8∶1∶1的比例分为训练数据、验证数据和测试数据，每种车辆颜色的分布情况如图3所示，数量情况如表1所示，初步分析得出数据库存在长尾效应；

表1

颜色

数量

占比

颜色

数量

占比

颜色

数量

占比

白色

11827

37.87％

红色

644

2.06％

柠檬黄

92

0.29％

黑色

6270

20.08％

青色

553

1.77％

暗橙色

90

0.29％

橙色

2431

7.78％

香槟色

466

1.49％

暗绿色

70

0.22％

银灰色

2125

6.80％

深蓝色

365

1.17％

橙红色

63

0.20％

草绿色

1766

5.65％

蓝色

316

1.01％

土黄色

52

0.17％

深灰色

1555

4.98％

暗棕色

230

0.74％

绿色

50

0.16％

暗红色

1263

4.04％

棕色

118

0.38％

粉色

35

0.11％

灰色

736

2.36％

黄色

100

0.32％

紫色

15

0.04％

步骤2：按照公式(1)对图像进行去雾操作；

式中J(x)是要恢复的无雾图像，I(x)是待去雾的图像，A是全球大气光成分，t(x)为透射率，t₀为阈值，本方法均以t₀＝0.1为标准。

步骤3：按照公式(2)在GRB三通道上对图像亮度进行线性调整；

Val_i＝α×Col_i+β，i＝r，g，b (2)

其中Col_i代表原始图像的RGB值，Val_i表示调整后的RGB值，α和β是超参数，夜间需增强图像亮度时，将α设置为1.5，β设置为0，使不同颜色之间的特征差距将更加明显，正午需减少图像曝光时，将α设置为0.8，β设置为-10，可以减少整个图像的曝光；

步骤4：对图像特征进行提取，利用逐层可视化的手段直观确定网络卷积模块数目，调整 ResNet-50部分卷积块级联块，然后通过对比分析给出平衡取值，在精度牺牲较小的情况下卷积模块大幅度下调，从而确定构造量级网络特征提取模块，本方法构建的特征提取网络的结构参数如表2所示，分为5个卷积块，共42层网络；

表2

步骤5：将步骤4中深层网络和浅层网络提取的颜色特征进行融合，构建了多尺度特征融合网络，由于特征像素的通道数量不同，在融合之前将每层的输出特征标准化，本方法定义的特征提取网络框架如图4所示；

步骤6：生成建议框，在特征图上生成多个候选感兴趣区域，然后利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；

步骤7：通过增加超参数β来调整Smooth L1损失函数来对目标框和不同种类目标进行优化，如式(3)所示：

其中y_i为真实值，f(x_i)为预测值，β的取值为0.11；

步骤8：训练网络模型，进行车辆颜色识别。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims

1.一种基于多层特征的光滑神经网络方法用于车辆24色长尾识别方法，其特征在于包括如下步骤：

S1：自建车辆颜色24分类数据库，并进行专家标注；

S2：预处理，包含雨雾的去除、光照的调整；

S3：用轻量化的特征提取网络从图片中提取颜色、车型的重要特征，并结合多尺度特征融合网络，得到具有关键属性的特征图；

S4：在特征图上生成多个候选感兴趣区域，然后利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；

S5：光滑调制，分类损失函数用于区分不同种类的目标；回归损失函数用来对目标框进行精确调整。

2.根据权利要求1所述的自建24色车辆颜色数据集，其特征在于：步骤S1中搜集来自西安市多处道路监控摄像头拍摄的视频共100小时，拍摄方向为车辆前方图像（或轻微的角度变化），截取图片共10091张，分辨率为1920×1080，共31232辆车。

3.根据权利要求1所述的自建24色车辆颜色数据集，其特征在于：步骤S1中每张图像包含多色车辆，涵盖24种颜色类型，包括红色、暗红色、粉红色、橙色、暗橙色、橙红色、黄色、柠檬黄、土黄色、绿色、暗绿色、草绿色、青色、蓝色、暗蓝色、紫色、黑色、白色、银灰色、灰色、深灰色、香槟色、棕色、深棕色。

4.根据权利要求1所述的自建24色车辆颜色数据集，其特征在于：步骤S1中的数据集包括轿车、卡车和公交车等多种车辆类型，并存在雨雾或光照等自然情况的影响，数据分布存在明显的长尾效应，其中白色车辆最多，有11827辆，占比高达37.87%，紫色车辆最少，有15辆，占比0.04%。

5.根据权利要求1所述的基于多层特征表示的光滑调制神经网络方法，其特征在于：步骤S2中预处理恢复无雾图像如公式(1)所示：

(1)

式中J(x)是要恢复的无雾图像，I(x)是待去雾的图像，A是全球大气光成分，t(x)为透射率，t ₀为阈值，本方法均以t ₀=0.1为标准。

6.根据权利要求1所述的基于多层特征表示的光滑调制神经网络方法，其特征在于：步骤S2中预处理阶段在RGB三通道上对光照进行线性调整，如式(2)所示：

(2)

其中Col _i代表原始图像的RGB值，Val _i表示调整后的RGB值，

和

是超参数，夜间需增强图像亮度时，将

设置为1.5，

设置为0，使不同颜色之间的特征差距将更加明显，正午需减少图像曝光时，将

设置为0.8，

设置为-10，可以减少整个图像的曝光。

7.根据权利要求1所述的基于多层特征表示的光滑调制神经网络方法，其特征在于：步骤S3中构建的特征提取网络的结构参数如附表2所示，分为5个卷积块；第一个卷积块是由1个7*7大小、步长为2的卷积核构成，输出通道数为64；第二个卷积块中由1个3*3、步长为2的最大池化层，和3个残差块级联，输出通道数为256；第三个卷积块由4个残差块级联，输出通道数为512；第四个卷积块由4个卷积块级联，输出通道数为1024；第五个卷积块由3个卷积块级联，输出通道数为2048；最后加上一个全连接层，输出通道数为1000，共42层网络。

8.根据权利要求1所述的基于多层特征表示的光滑调制神经网络方法，其特征在于：步骤S5中通过增加超参数

来调整Smooth L1损失函数来对目标框和不同种类目标进行优化调整，如式(3)所示：

(3)

其中y _i为真实值，f(x _i )为预测值，

的取值为0.11。