CN112785561A - 一种基于改进Faster RCNN预测模型的二手商用车车况检测方法 - Google Patents

Abstract

本发明公开了一种基于改进Faster RCNN预测模型的二手商用车车况检测方法，包括采集二手商用车待检测部位的图像，将待检测部位的图像按比例划分为训练集和测试集；使用图像标记工具对训练集中事故点的类别和位置坐标进行标记；将训练集命名为预设格式的图像文件，通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸，之后对其进行数据增强操作，获取预处理图像等步骤。优点是：将深度学习技术和图像处理技术相结合，用深度学习的方法对复杂场景中二手商用车上事故点进行检测识别，提高了检测的速度和精度。对Faster RCNN预测模型的网络结构和训练方式进行了改进，对优化算法和数据增广的方法进行了改进，提高了检测的效果。

Description

一种基于改进Faster RCNN预测模型的二手商用车车况检测 方法

技术领域

本发明涉及二手车车辆检测技术领域，尤其涉及一种基于改进Faster RCNN预测模型的二手商用车车况检测方法。

背景技术

二手车的置换是促进新车销售的前提和关键，其交易量逐年上升，特别是二手商用车占整个二手车交易量的比重不断扩大，但不可否认的是二手商用车交易市场仍存在许多痛点，其中最为明显的是评估检测体系。商用车的评估检测体系需要复杂的流程以及对驾驶室、底盘、发动机、变速箱等进行全方位的检测，一般买家不具备甄别能力。同时，由于车辆实际使用环境和从业人员的专业知识以及专业第三方服务机构较少，二手商用车市场始终没有一套合理的评估制度或统一的标准，这使得购买二手商用车的用户往往很难准确判断车况，对二手车的信任度不断降低。

买家在购买二手商用车时，最关心的问题莫过于二手商用车是否经历过事故，事故产生了哪些事故点和事故现象；而使用传统手工特征的目标检测方法去对二手商用车的车辆上的事故点进行检测，虽然能完成检测任务，但是手工设计的特征对于多样性的变化没有很好的鲁棒性，检测识别效果不理想。

发明内容

本发明的目的在于提供一种基于改进Faster RCNN预测模型的二手商用车车况检测方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于改进Faster RCNN预测模型的二手商用车车况检测方法，包括如下步骤，

S1、采集二手商用车待检测部位的图像，将待检测部位的图像按比例划分为训练集和测试集；使用图像标记工具对训练集中事故点的类别和位置坐标进行标记；

S2、将训练集命名为预设格式的图像文件，通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸，之后将其通过gamma矫正、颜色通道分离和随机翻转处理进行数据增强，获取预处理图像；

S3、将预处理图像输入到添加有注意力机制的卷积神经网络中进行处理，得到特征图像；

S4、将特征图像输入到RPN网络中，通过特征图像与待检测图像之间的映射关系生成一系列anchor框，并对所有的anchor框进行处理获取候选框；

S5、将候选框和特征图像一起输入到ROI Align层中，获取固定大小的候选区域特征图；

S6、将候选区域特征图输入到分类网络和回归网络中，利用分类网络预测事故点的类别，并根据预测的事故点类别和事故点的真实类别标签计算分类损失函数；利用回归网络预测事故点的位置坐标，并根据预测的事故点位置坐标和事故点的真实位置坐标计算位置坐标回归损失函数；使用优化算法不断优化分类损失函数和位置坐标回归损失函数，进而优化预测模型；

S7、将二手商用车的待预测图像输入优化好的预测模型中，识别图像的事故点的类别和位置坐标。

优选的，二手商用车的待检测部位包括二手商用车的驾驶室、底盘、发动机、变速箱、驱动桥和上装；其中，所述驾驶室包括驾驶室后围、驾驶室上边梁、驾驶室下边梁、右侧车门、左侧车门、驾驶室前围骨架、驾驶室右A柱、驾驶室右B柱、驾驶室右侧围、驾驶室左A柱、驾驶室左B柱和驾驶室左侧围；所述底盘包括右前纵梁、右中纵梁、右后纵梁、左前纵梁、左中纵梁、左后纵梁、前横梁、中横梁、后横梁和车架号。

优选的，所述事故点的类别有钣金、变形、锈蚀、破损、拆装和渗油。

优选的，所述卷积神经网络中添加有注意力机制；所述卷积神经网络的卷积层中添加有DropBlock，所述卷积神经网络的激活层采用的激活函数为Mish函数。

优选的，所述注意力机制包括通道注意力操作和空间注意力操作，其计算公式分别为，

其中，Mc表示在通道维度上做注意力提取的操作，Ms表示的是在空间维度上做注意力提取的操作；

表示点乘；F表示输入到卷积神经网络中的预处理图像；F′表示经过通道注意力操作后的预处理图像，F″表示输出的特征图像。

优选的，步骤S4具体为，输入的特征图像经过卷积层和激活层进一步进行特征提取，之后经过1*1的卷积层改变通道数分为两个分支，分别为分类分支和回归分支，将分类分支经过softmax函数判断anchor属于正样本或负样本；将回归分支经过CIoU Loss回归损失函数去修正正样本anchor，获得精准的候选框；所述正样本即为事故点类别为钣金、变形、锈蚀、破损、拆装或渗油的样本；所述负样本即为事故点类别不是钣金、变形、锈蚀、破损、拆装或渗油的样本。

优选的，所述优化算法为ranger算法。

本发明的有益效果是：1、将深度学习技术和图像处理技术相结合，用深度学习的方法对复杂场景中二手商用车上事故点进行检测识别，提高了检测的速度和精度。2、对Faster RCNN预测模型的网络结构和训练方式进行了改进，对优化算法和数据增广的方法进行了改进，提高了检测的效果。

附图说明

图1是本发明实施例中检测识别方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本实施例中，提供了一种基于改进Faster RCNN预测模型的二手商用车车况检测方法，包括如下步骤，

S1、采集二手商用车待检测部位的图像，将待检测部位的图像按比例划分为训练集和测试集；使用图像标记工具对训练集中事故点的类别和位置坐标进行标记；

S2、将训练集命名为预设格式的图像文件，通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸，之后将其通过gamma矫正、颜色通道分离和随机翻转处理进行数据增强，获取预处理图像；

S3、将预处理图像输入到添加有注意力机制的卷积神经网络中进行处理，得到特征图像；

S4、将特征图像输入到RPN网络中，通过特征图像与待检测图像之间的映射关系生成一系列anchor框，并对所有的anchor框进行处理获取候选框；

S5、将候选框和特征图像一起输入到ROI Align层中，获取固定大小的候选区域特征图；

S6、将候选区域特征图输入到分类网络和回归网络中，利用分类网络预测事故点的类别，并根据预测的事故点类别和事故点的真实类别标签计算分类损失函数；利用回归网络预测事故点的位置坐标，并根据预测的事故点位置坐标和事故点的真实位置坐标计算位置坐标回归损失函数；使用优化算法不断优化分类损失函数和位置坐标回归损失函数，进而优化预测模型；

S7、将二手商用车的待预测图像输入优化好的预测模型中，识别图像的事故点的类别和位置坐标。

本实施例中，训练集和测试集的比例可以根据实际情况进行设置，以便更好的满足实际需求。预设大小尺寸同样可以根据具体情况进行设置，通常设置为800*600。

本实施例中，步骤S2属于对图像的预处理过程，对输入的图像进行统一的理，使其保证符合输入网络模型的输入格式；对其数据进行差异化数据增广，保证输入的数据的多样性和复杂性。主要包括，

(1)双线性插值：将不同的输入图像重命名，采用双线性插值法缩放成

800*600，双线性插值算法就是一种比较好的图像缩放算法，它充分的利用了源图中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，因此缩放效果比简单的最邻近插值要好很多。对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)(其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0,1)区间的浮点数)，则这个像素得值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)(i+1,j+1)所对应的周围四个像素的值决定，即：f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)其中f(i,j)表示源图像(i,j)处的像素值，以此类推。

(2)、gamma矫正：对图像gamma矫正进行数据增广，图像的整体亮度值得到提升，同时低灰度处的对比度得到增加，更利于分辩低灰度值时的图像细节。其操作是首先对图像进行归一化，将像素值转换为0～1之间的实数；其次进行预补偿，将像素归一化后的数据求出以1/gamma为指数的对应值；最后进行反归一化，将经过预补偿的实数值反变换为0～255之间的整数值。

(3)、颜色通道的分离和随机翻转：将输入的图像分离为B,G,R三个通道，并随机输出某一通道的图片；将输入的图像进行水平翻转，垂直翻转并随机输出某一方向的翻转图像。

(4)、mosaic数据增强：训练时每批数据增广采用mosaic，mosaic数据增强则利用了四张图片，对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，然后我们将这样一张新的图片传入到神经网络当中去学习，相当于一下子传入四张图片进行学习了。这极大丰富了检测物体的背景。且在标准化BN计算的时候一下子会计算四张图片的数据。其实现步骤如下：

a、从数据集中每次随机读取四张图片

b、分别对四张图片进行翻转(对原始图片进行左右的翻转)、缩放(对原始图片进行大小的缩放)、色域变化(对原始图片的明亮度、饱和度、色调进行改变)等操作。操作完成之后然后再将原始图片按照第一张图片摆放在左上，第二张图片摆放在左下，第三张图片摆放在右下，第四张图片摆放在右上四个方向位置摆好。

c、进行图片的组合和框的组合，完成四张图片的摆放之后，我们利用矩阵的方式将四张图片它固定的区域截取下来，然后将它们拼接起来，拼接成一张新的图片，新的图片上含有框等一系列的内容。

本实施例中，二手商用车的待检测部位包括二手商用车的驾驶室、底盘、发动机、变速箱、驱动桥和上装；其中，所述驾驶室包括驾驶室后围、驾驶室上边梁、驾驶室下边梁、右侧车门、左侧车门、驾驶室前围骨架、驾驶室右A柱、驾驶室右B柱、驾驶室右侧围、驾驶室左A柱、驾驶室左B柱和驾驶室左侧围；所述底盘包括右前纵梁、右中纵梁、右后纵梁、左前纵梁、左中纵梁、左后纵梁、前横梁、中横梁、后横梁和车架号。所述事故点的类别有钣金、变形、锈蚀、破损、拆装和渗油。

本实施例中，所述卷积神经网络中添加有注意力机制；所述卷积神经网络的卷积层中添加有DropBlock，所述卷积神经网络的激活层采用的激活函数为Mish函数。

步骤S3将经过数据预处理之后的数据送入卷积神经网络进行图像特征的提取，在卷积神经网络中加入注意力机制模块，在网络结构中引入注意力机制可以提升网络模型的特征表达能力。注意力机制不止能告诉网络模型该注意什么，同时也能增强特定区域的表征。注意力机制模块在通道和空间两个维度上引入了注意力机制。主要网络架构也很简单，一个是通道注意力机制，另一个是空间注意力机制，注意力机制模块就是先后集成了这两个模块，分别执行以下两个运算，

其中，Mc表示在通道维度上做注意力提取的操作，Ms表示的是在空间维度上做注意力提取的操作；

表示点乘；F表示输入到卷积神经网络中的预处理图像；F′表示经过通道注意力操作后的预处理图像，F″表示输出的特征图像。

卷积神经网络中的激活层采用的激活函数为Mish函数，这是因为Mish函数无边界(即正值可以达到任何高度)避免了由于封顶而导致的饱和。理论上对负值的轻微允许更好的梯度流，而不是像激活函数ReLU中那样的硬零边界。平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。主要区别是Mish函数在曲线上几乎所有点上的平滑度。越来越多的层被添加到一个测试神经网络中，而没有一个统一的函数。随着层深的增加，ReLU精度迅速下降，其次是Swish。相比之下，Mish能更好地保持准确性，这可能是因为它能更好地传播信息。

卷积层之间加入了DropBlock,随机dropout激活单元，但是这样dropout后，网络还会从drouout掉的激活单元附近学习到同样的信息通过Dropout掉一部分相邻的整片区域，网络就会去注重学习别的部位特征，来实现正确分类，从而变现出更好的泛化性能。

本实施例中，将经过特征提取网络形成的特征图像送入RPN网络，二手商用车事故点形状各异，需要对RPN网络中的锚(anchor)大小比例进行调整，比如驾驶室A、B柱事故点是细长形状，长宽比不在使用原始的大小比例(1：1、1：3、3：1)。

则步骤S4具体为，输入的特征图像经过卷积层和激活层进一步进行特征提取，之后经过1*1的卷积层改变通道数分为两个分支，分别为分类分支和回归分支，将分类分支经过softmax函数判断anchor属于正样本或负样本；将回归分支经过CIoU Loss回归损失函数去修正正样本anchor，获得精准的候选框；所述正样本即为事故点类别为钣金、变形、锈蚀、破损、拆装或渗油的样本；所述负样本即为事故点类别不是钣金、变形、锈蚀、破损、拆装或渗油的样本。

其实RPN最终就是在原图尺度上，设置了密密麻麻的候选Anchor。然后用cnn去判断哪些Anchor是里面有目标的positive anchor(正样本)，哪些是没目标的negativeanchor(负样本)。只有正样本才进行回归分支操作，回归损失函数修正正样本anchor，负样本则不进行此操作，负样本就是背景，不需要考虑它的计算。

RPN网络作用总结起来：生成anchors-softmax分类器提取positvie anchors-回归分支回归positive anchors-Proposal Layer生成候选框。

原始的回归损失函数采用的是Smooth L1 Loss，对候选框的四个点是独立回归，没有相关性。进而采用IoU Loss，考虑到候选框的三要素，重叠区域，中心点距离和长宽比，最终采用CIoU Loss，收敛更快，效果更好。

对预测的候选框进行ROI Align，原始的方式是采用ROI Pooling，本专利中改用ROI Align，RoIAlign消除了RoI Pooling中的两次量化过程，不需要进行取整操作，如果计算得到小数，也就是没有落到真实的像素上，那么就用最近的像素对这一点虚拟像素进行双线性插值，得到这个像素的值。实现步骤：

1、将候选框区域按输出要求的大小进行等分，很可能等分后各顶点落不到真实的像素点上；

2、在每个方块中再取固定的4个点；

3、针对每一个点，距离它最近的4个真实像素点的值加权(双线性插值)，求得这个点的值；

4、一个方块内会算出4个新值，在这些新值中取最大值，作为这个方块的输出值；

5、最后就能得到7x7的输出，计算反向传播。

现有的优化方式为采用先训练RPN，然后训练fast RCNN，然后再训练RPN，最后再训练fastRCNN。本发明进行端到端的联合训练；将RPN和后面的分类回归网络作为一个整体，对它们两个网络同时训练。首先，用VOC2007和VOC2012与预训练出来的模型初始化共享卷积神经网络和分类回归网络的全连接层，然后再对此网络进行端到端的微调。相对于交替训练方法，此方法训练出来的网络性能更优秀。

本实施例中，所述优化算法为ranger。结合了RAdam、Lookahead、GC算法；

优化过程为：通过指数移动平均计算的梯度平方的方差大于使用简单平均计算的梯度平方的方差，而且当t较小时两者的差异较小。Lookahead算法：LookAhead优化器首先将模型参数拷贝两份，一份称为慢权重，一份称为快权重，然后使用内部优化器RAdam对快权重进行正常的训练优化，但是每隔K个训练迭代，算法会在权重空间的方向上使用线性插值方式来更新慢权重，然后再将更新后的慢权重赋值给快权重继续进行下个K步训练，这样便可以降低权重前后更新的高方差带来的负面影响。如此循环，训练结束后将慢权重作为最终的模型训练输出权重。

采用了梯度中心化的方法，与任何一个时间步的梯度无关。采用了梯度中心化，某种意义上挖掘了权重初始化的效益。而这也就给了预测模型很好的鲁棒性和抗干扰能力。

自适应动量优化器(Adam、RMSProp等)的机制，发现所有项目都需要进行预热，否则往往会在训练开始时带来糟糕的局部优化状态，RAdam利用基于

所遇到的实际方差的整流函数确定“预热启发式”。整流器会以动态形式对自适应动量进行关闭及“压实”，确保其不会全速跳跃，直到数据的方差稳定下来。一旦方差稳定下来，RAdam在余下的训练过程中基本上充当着Adam甚至是SGD的作用。因此，RAdam的贡献主要在于训练的开始阶段。LookAhead随后，一旦k间隔触发，Lookahead就会在其保存的权重与RAdam的最新权重之间进行差值相乘，并在每k个轮次乘以alpha参数(默认情况下为0.5)，同时更新RAdam的权重。GC它通过将梯度向量中心化为零均值，实现对梯度的直接优化。GC可视为一种有约束损失函数的投影梯度下降法。

本实施例中，AP(Average Precision)是PR曲线中不同召回率下精确率的平均值，这里有两种不同的计算方法为：11点内插精度平均，取11个值(0，0.1，0.2，0.3，...，0.9，1)，然后对于每个值i，得到召回率大于i前提下最大的精确率，这11个精确率平均后即为AP值。mAP(平均精确度)则为AP在所有类上的平均。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种基于改进Faster RCNN预测模型的二手商用车车况检测方法,该方法将深度学习技术和图像处理技术相结合，用深度学习的方法对复杂场景中二手商用车上事故点进行检测识别，提高了检测的速度和精度。对Faster RCNN预测模型的网络结构和训练方式进行了改进，对优化算法和数据增广的方法进行了改进，提高了检测的效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：包括如下步骤，

S1、采集二手商用车待检测部位的图像，将待检测部位的图像按比例划分为训练集和测试集；使用图像标记工具对训练集中事故点的类别和位置坐标进行标记；

S2、将训练集命名为预设格式的图像文件，通过双线性插值的方法将预设格式的图像文件缩放成适合网络训练的预设大小尺寸，之后将其通过gamma矫正、颜色通道分离和随机翻转处理进行数据增强，获取预处理图像；

S3、将预处理图像输入到添加有注意力机制的卷积神经网络中进行处理，得到特征图像；

S4、将特征图像输入到RPN网络中，通过特征图像与待检测图像之间的映射关系生成一系列anchor框，并对所有的anchor框进行处理获取候选框；

S5、将候选框和特征图像一起输入到ROI Align层中，获取固定大小的候选区域特征图；

S6、将候选区域特征图输入到分类网络和回归网络中，利用分类网络预测事故点的类别，并根据预测的事故点类别和事故点的真实类别标签计算分类损失函数；利用回归网络预测事故点的位置坐标，并根据预测的事故点位置坐标和事故点的真实位置坐标计算位置坐标回归损失函数；使用优化算法不断优化分类损失函数和位置坐标回归损失函数，进而优化预测模型；

S7、将二手商用车的待预测图像输入优化好的预测模型中，识别图像的事故点的类别和位置坐标。

2.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：二手商用车的待检测部位包括二手商用车的驾驶室、底盘、发动机、变速箱、驱动桥和上装；其中，所述驾驶室包括驾驶室后围、驾驶室上边梁、驾驶室下边梁、右侧车门、左侧车门、驾驶室前围骨架、驾驶室右A柱、驾驶室右B柱、驾驶室右侧围、驾驶室左A柱、驾驶室左B柱和驾驶室左侧围；所述底盘包括右前纵梁、右中纵梁、右后纵梁、左前纵梁、左中纵梁、左后纵梁、前横梁、中横梁、后横梁和车架号。

3.根据权利要求2所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：所述事故点的类别有钣金、变形、锈蚀、破损、拆装和渗油。

4.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：所述卷积神经网络中添加有注意力机制；所述卷积神经网络的卷积层中添加有DropBlock，所述卷积神经网络的激活层采用的激活函数为Mish函数。

5.根据权利要求4所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：所述注意力机制包括通道注意力操作和空间注意力操作，其计算公式分别为，

其中，Mc表示在通道维度上做注意力提取的操作，Ms表示的是在空间维度上做注意力提取的操作；

表示点乘；F表示输入到卷积神经网络中的预处理图像；F′表示经过通道注意力操作后的预处理图像，F″表示输出的特征图像。

6.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：步骤S4具体为，输入的特征图像经过卷积层和激活层进一步进行特征提取，之后经过1*1的卷积层改变通道数分为两个分支，分别为分类分支和回归分支，将分类分支经过softmax函数判断anchor属于正样本或负样本；将回归分支经过CIoU Loss回归损失函数去修正正样本anchor，获得精准的候选框；所述正样本即为事故点类别为钣金、变形、锈蚀、破损、拆装或渗油的样本；所述负样本即为事故点类别不是钣金、变形、锈蚀、破损、拆装或渗油的样本。

7.根据权利要求1所述的基于改进Faster RCNN预测模型的二手商用车车况检测方法，其特征在于：所述优化算法为ranger算法。

Images