CN114359717A

CN114359717A - 基于多视角相关性深度学习的车辆损伤识别方法

Info

Publication number: CN114359717A
Application number: CN202111552869.3A
Authority: CN
Inventors: 董守斌; 彭锦波; 胡金龙; 袁华
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2021-12-17
Filing date: 2021-12-17
Publication date: 2022-04-15
Anticipated expiration: 2041-12-17
Also published as: CN114359717B

Abstract

本发明公开了一种基于多视角相关性深度学习的车辆损伤识别方法，包括1)获取带标签的远、近景车辆损伤图片；2)使用孪生的深度卷积神经网络对远、近景车辆损伤图片进行图像特征提取；3)使用区域建议网络处理图像特征，获取区域建议框，并将区域建议框所对应的图像特征都转化为相同大小；4)构建关系模型提取区域建议框之间的关系特征，并与对应的区域建议框图像特征进行融合；5)对区域建议框的融合特征进行处理，得到车辆损伤识别结果。本发明首次使用孪生的深度卷积神经网络提取远、近景车辆损伤图片的图像特征，并首次将关系模型用于提取远景车辆损伤图片中零件区域和近景车辆损伤图片中损伤区域间的关系信息，提高了车损识别精度。

Description

基于多视角相关性深度学习的车辆损伤识别方法

技术领域

本发明涉及车辆损伤定损的技术领域，尤其是指一种基于多视角相关性深度学习的车辆损伤识别方法。

背景技术

经济发展推动了汽车行业的蓬勃，随着汽车数量的不断增多，道路上汽车所发生的事故也随着增多。目前在汽车保险领域对购买车险的车辆所发生的损伤进行定损有着十分迫切的需求。

传统的定损方法都是通过保险公司专业的定损员现场观察车辆的损伤情况，为了进行精确的定损，定损员会对车辆的损伤的细节区域进行拍照，得到近景车辆图片，对车辆的整体受损零部件进行拍照，获取远景车辆图片，然后同时观察多视角的近景和远景车辆损伤图片进行车辆定损。雇佣定损员进行车辆损伤定损需要消耗大量的时间和经济成本，随着近些年深度学习的不断发展，针对单张车辆损伤图片来使用深度学习方法进行车辆自动定损取得了一定的进展，但存在精度过低的问题。现有的使用多张视角车损图片进行车辆定损的方法依赖于图像对齐算法的性能，定损效果不够理想，同时处理流程复杂。如何结合多张车辆损伤图片，使用深度学习技术来提高车辆损伤定损的精度，同时简化处理流程，仍然具有很大的挑战。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多视角相关性深度学习的车辆损伤识别方法，构建能够提取远近景视角车辆损伤关系信息的关系模块，使用同一辆损伤车辆的多张远近景视角的受损区域图片作为模型输入，充分利用远近景视角图片的相关性信息，包括一致性和互补性关系信息，提高车损识别的精度。

为实现上述目的，本发明所提供的技术方案为：基于多视角相关性深度学习的车辆损伤识别方法，包括以下步骤：

1)获取带标签的远景车辆损伤图片和近景车辆损伤图片，其中，远景车辆损伤图片的标签是指车辆各个零件的分割标记以及零件类别，近景车辆损伤图片的标签是指车辆损伤区域的分割标记、损伤类别以及零件类别；

2)使用孪生的深度卷积神经网络对远景车辆损伤图片和近景车辆损伤图片进行图像特征的提取，得到远景车辆损伤图片的图像特征和近景车辆损伤图片的图像特征；

3)使用区域建议网络依据步骤2)得到的远景车辆损伤图片的图像特征和近景车辆损伤图片的图像特征，获取对应的远景车辆损伤图片中零件的区域建议框和近景车辆损伤图片中损伤的区域建议框，并使用ROI Align将区域建议框所对应的图像特征都转化为相同的大小；

4)构建将步骤3)中得到的远景车辆损伤图片中零件的区域建议框和近景车辆损伤图片中损伤的区域建议框之间进行关系提取的关系模块，通过该关系模块提取到关系特征，并将关系特征与近景车辆损伤图片中损伤的区域建议框对应的图像特征进行融合，得到每一个损伤的区域建议框的融合特征，同理也能够得到远景车辆损伤图片中每一个零件的区域建议框的融合特征；

5)依据步骤4)中获取的近景车辆损伤图片的融合特征，使用深度卷积神经网络进行上采样获取损伤分割结果，使用深度学习中常用的全连接神经网络进行分类和回归，得到损伤类别、零件类别以及损伤区域框的坐标，同理也能够得到远景车辆损伤图片的零件类别以及零件区域框的坐标。

进一步，在步骤2)中，所述孪生的深度卷积神经网络是指两个结构相同的包含5个卷积段的深度卷积神经网络，第一个卷积段中包含有一个卷积层和一个池化层，之后每个卷积段中都包含有若干个卷积块，其中第一个卷积段的输入为步骤1)获得的远景车辆损伤图片和近景车辆损伤图片，第二个卷积段的输入为第一个卷积段的输出，以此类推；第一个卷积段中卷积层的卷积核数量为2^k个，k≥6，卷积核的大小为λ×λ,λ≥7，池化层大小为α×α，α≥3；第二个至第五个卷积段都是由若干个卷积块组成，每一卷积块都是由3个卷积层组成，这3个卷积层的卷积核大小分别为θ×θ、(θ+2)×(θ+2)、θ×θ，θ≥1，每一层的卷积核数目并不完全相同；第二个卷积段由3个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k、2^k、2^k+2；第三个卷积段由4个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k+1、2^k+1、2^k+3；第四个卷积段由6个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k+2、2^k+2、2^k+4；第五个卷积段由3个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k+3、2^k+3、2^k+5；将相同结构的深度卷积神经网络中第五个卷积段的最后一个卷积层的结果输出得到远景车辆损伤图片的图像特征和近景车辆损伤图片的图像特征。

进一步，在步骤3)中，所述区域建议网络由3个卷积层组成；第一个卷积层的输入是由步骤2)中得到的近景车辆损伤图片的图像特征和远景车辆损伤图片的图像特征，第一个卷积层的卷积核数目为2^k+3，k≥6，卷积核的大小为(θ+2)×(θ+2)，θ≥1，得到宽为W、高为H的特征图，W＞0，H＞0；第二个卷积层的输入为第一个卷积层输出的特征图，第二个卷积层中卷积核数目为W×H×9×4，卷积核大小为θ×θ，得到区域建议框的位置；第三个卷积层的输入为第一个卷积层输出的特征图，第三个卷积层中卷积核数目为W×H×2，卷积核大小为θ×θ，输出结果用于判断区域建议框是否为背景。

进一步，在步骤4)中，在所述关系模块中，设远景车辆损伤图片通过步骤3)得到了N个远景车辆损伤图片的区域建议框,N≥1，定义远景车辆损伤图片中第n个区域建议框的视觉特征为A_1,n，几何特征为G_1,n，第n个区域建议框的中心点的x，y坐标以及宽、高信息表示为:(x_1,n,y_1,n,w_1,n,h_1,n)；设近景车辆损伤图片通过步骤3)得到了M个远景车辆损伤图片的区域建议框，M≥1，定义近景车辆损伤图片中第m个区域建议框的视觉特征为A_2,m，几何特征为G_2,m，第m个区域建议框的中心点的x，y坐标以及宽、高信息表示为:(x_2,m,y_2,m,w_2,m,h_2,m)；定义用于变换视觉特征子空间的转换矩阵W_K、W_Q、W_V；定义A_1,n和A_2,m之间的视觉关系权重表示为

式中，d为特征的维度大小，d＞0；定义G_1,n和G_2,m之间的几何关系表示为g_n,m：

定义G_1,n和G_2,m之间的几何关系权重表示为

操作PE()是将g_n,m转化为高维向量的操作,定义g_n,m中的第i个特征g_n,m(i)的第j个高维特征表示为PE(g_n,m(i))(j):

式中，k≥1，dim表示特征的维度，最后的输出是将每一个PE()操作的结果进行连接操作得到最终的高维表示向量；v是一个向量，它将PE()操作的结果转化为一个标量；远景车辆损伤图片第n个区域建议框和近景车辆损伤图片中第m个区域建议框之间的关系权重被表示为r^n,m：

远景车辆损伤图片中第n个区域建议框和近景车辆损伤图片中所有的区域建议框之间的关系特征被表示为f^R(n)：

通过将远景车辆损伤图片的第n个区域建议框的视觉特征和上式得到的关系特征进行累加，得到远景车辆损伤图片第n个区域建议框的融合特征，同理也能够得到近景车辆损伤图片的第m个区域建议框的融合特征。

进一步，在步骤5)中，使用深度卷积神经网络进行上采样是将步骤4)中获取的融合特征进行逆卷积操作，使得融合特征的尺度扩充一倍，最后使用一层卷积层进行像素点级别的分类，定义损伤分类的类别数为CN，CN＞0，零件分类的类别数为LN，LN＞0，用于损伤分割的最后一层卷积层的卷积核数目为CN，卷积核的大小为θ×θ，θ≥1，用于零件分割的最后一层卷积层的卷积核数目为LN，卷积核的大小为θ×θ。

进一步，在步骤5)中，用于远景车辆损伤图片零件分类和回归的全连接神经网络总共有2个，每一个全连接神经网络都只有一层，每一个全连接神经网络的输入都是步骤4)中得到的远景车辆损伤图片的区域建议框的融合特征，并且输入的维度和融合特征维度保持一致；第一个全连接神经网络输出维度为LN，LN＞0,输出远景车辆损伤图片的区域建议框零件分类结果；第二个全连接神经网络输出维度为LN×4，输出远景车辆损伤图片的区域建议框的具***置信息；用于近景车辆损伤图片损伤分类和回归的全连接神经网络总共有3个，每一个全连接神经网络都只有一层，每一个全连接神经网络的输入都是步骤4)中得到的近景车辆损伤图片的区域建议框的融合特征，并且输入的维度和融合特征维度保持一致；第一个全连接神经网络输出维度为CN,CN＞0,输出近景车辆损伤图片的区域建议框的损伤分类结果；第二个全连接神经网络输出维度为CN×4，输出近景车辆损伤图片的区域建议框的具***置信息；第三个全连接神经网络输出维度为LN，用于输出近景车辆损伤图片的区域建议框零件类别结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明首次将孪生的深度卷积神经网络用来提取多视角车损图片的图像特征，解决了之前车损识别方法只能处理单一视角车损图像的问题。

2、本发明首次将关系模块用于提取远景车辆损伤图片中零件区域和近景车辆损伤图片中损伤区域之间的关系信息，并将该关系信息用于车损识别过程，进而提高了车损识别精度。

附图说明

图1为本发明方法的逻辑流程框图。

图2为本发明方法的车损识别架构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

在本实施例中，对包括不限于前保险杠、后保险杠、前保下隔栅、前挡风玻璃、后挡风玻璃、前轮胎、后轮胎、前侧玻璃、后侧玻璃、前叶子板、后叶子板、前挡泥板、后挡泥板、转向灯、前门、后门、后外尾灯、后内尾灯、前大灯、雾灯、机盖、行李箱盖、车顶、钢圈、中网、a支柱、b支柱、c支柱、d支柱、底大边、后视镜、车牌照板等LN种汽车零件，LN≥32，以及包括不限于刮擦、凹陷、开裂、破洞、严重损伤等CN种损伤类型进行识别，CN≥4。

如图1和图2所示，本实施例所提供的基于多视角图片深度学习的车损识别方法，具体步骤如下：

1)获取带标签的远景车辆损伤图片和近景车辆损伤图片。

远景车辆损伤图片的标签是指针对车辆划分的LN种零件的分割标记以及零件类别，LN≥32。近景车辆损伤图片的标签是指车辆损伤区域的所对应的CN种损伤的分割标记、损伤类别以及对应区域的零件类别，CN≥4。

2)使用孪生的深度卷积神经网络对远景车辆损伤图片和近景车辆损伤图片进行图像特征的提取，得到远景车辆损伤图片的图像特征和近景车辆损伤图片的图像特征。

在本实例中，使用的孪生的深度卷积神经网络是指两个结构相同的包含5个卷积段的深度卷积神经网络，第一个卷积段中包含有一个卷积层和一个池化层，之后每个卷积段中都包含有若干个卷积块。其中第一个卷积段的输入为步骤1)获得的远景车辆损伤图片和近景车辆损伤图片，第二个卷积段的输入为第一个卷积段的输出，以此类推；孪生的深度卷积神经网络包括第一卷积段(CONV_1，MAXPOOL_1),CONV_1的卷积核数目是64，卷积核大小为7×7,MAXPOOL_1大小为3×3；第二个卷积段由3个结构相同的卷积块(CONV_2，CONV_3，CONV_4)组成,CONV_2卷积核数目为64，卷积核大小为1×1，CONV_3卷积核数目为64，卷积核大小为3×3，CONV_4卷积核数目为256，卷积核大小为1×1；第三卷积段由4个结构相同的卷积块(CONV_5，CONV_6，CONV_7)组成，CONV_5卷积核数目为128，卷积核大小为1×1，CONV_6卷积核数目为128，卷积核大小为3×3，CONV_7卷积核数目为512，卷积核大小为1×1；第四卷积段由6个结构相同的卷积块(CONV_8，CONV_9，CONV_10)组成，CONV_8卷积核数目为256，卷积核大小为1×1，CONV_9卷积核数目为256，卷积核大小为3×3，CONV_7卷积核数目为1024，卷积核大小为1×1；第五卷积段由3个结构相同的卷积块(CONV_11，CONV_12，CONV_13)组成，CONV_11卷积核数目为512，卷积核大小为1×1，CONV_12卷积核数目为512，卷积核大小为3×3，CONV_13卷积核数目为2048，卷积核大小为1×1；将相同结构的孪生的深度卷积神经网络中第五个卷积段的最后一个卷积层的结果输出得到远景车辆损伤图片的图像特征feature_1和近景车辆损伤图片的图像特征feature_2。

3)使用区域建议网络对远景车辆损伤图片的图像特征和近景车辆损伤图片的图像特征进行处理，获取对应的远景车辆损伤图片中零件的区域建议框和近景车辆损伤图片中损伤的区域建议框，并使用ROI Align将区域建议框所对应的图像特征都转化为相同的大小。

在本实例中，区域建议网络由3个卷积层组成。第一个卷积层的输入是feature_1和feature_2，第一个卷积层的卷积核数目为512，卷积核的大小为3×3，得到宽为W、高为H的feature_map1和feature_map2，W＞0，H＞0；第二个卷积层的输入为feature_map1和feature_map2，第二个卷积层中卷积核数目为W×H×9×4，卷积核大小为1×1，得到区域建议框的位置。第三个卷积层的输入也为feature_map1和feature_map2，第三个卷积层中卷积核数目为W×H×2，卷积核大小为1×1，用于判断区域建议框是否为背景类别。最后通过ROI Align层将区域建议框的特征都转化为7×7的大小。

4)构建将远景车辆图片中零件的区域建议框和近景车辆图片中损伤的区域建议框之间进行关系提取的关系模块，通过该关系模块提取到关系特征，并将关系特征与近景车辆图片中损伤的区域建议框对应的图像特征进行融合，得到每一个损伤的区域建议框的融合特征，同理也能够得到远景车辆损伤图片中每一个零件的区域建议框的融合特征。

在本实例的关系模块中，设远景车辆损伤图片通过步骤3)得到了N个远景车辆损伤图片的区域建议框，N＞0，定义远景车辆损伤图片中第n个区域建议框的视觉特征为A_1,n，几何特征为G_1,n，第n个区域建议框的左上角x，y坐标以及宽、高信息表示为:(x_1,n,y_1,n,w_1,n,h_1,n)；设近景车辆损伤图片通过步骤3)得到了M个远景车辆损伤图片的区域建议框，M＞0，定义近景车辆损伤图片中第m个区域建议框的视觉特征为A_2,m，几何特征为G_2,m，第m个区域建议框的中心点的x，y坐标以及宽、高信息表示为:(x_2,m,y_2,m,w_2,m,h_2,m)；定义用于变换视觉特征子空间的转换矩阵W_K、W_Q、W_V；定义A_1,n和A_2,m之间的视觉关系权重表示为

定义G_1,n和G_2,m之间的几何关系权重表示为

通过将远景车辆损伤图片的第n个区域建议框的视觉特征和上式得到的关系特征进行累加，得到远景车辆损伤图片第n个区域建议框的融合特征merge_feature1，merge_feature1的维度为1024。同理也能够得到近景车辆损伤图片的第m个区域建议框的融合特征merge_feature2，merge_feature2的维度为1024。

5)依据步骤4)中获取的近景车辆损伤图片的融合特征，使用深度学习中常用的全连接神经网络进行分类和回归，得到损伤类别、零件类别以及损伤区域框的坐标，使用深度卷积神经网络进行上采样获取损伤分割结果；同理也能够得到远景车辆损伤图像的零件分割结果、零件类别以及零件区域框的坐标。

在本实例中，用于远景车辆损伤图片零件分类和回归的全连接神经网络总共有2个，每一个全连接神经网络都只有一层，每一个全连接神经网络的输入为merge_feature1,每个全连接神经网络的输入维度都是1024；第一个全连接神经网络FC1_1的输出维度为32，输出结果是远景车辆损伤图片的区域建议框零件分类结果；第二个全连接神经网络FC1_2输出维度为32×4，输出远景车辆损伤图片的区域建议框的具***置信息。

在本实例中，用于近景车辆损伤图片损伤分类、零件分类、和回归的全连接神经网络总共有3个，每一个全连接神经网络都只有一层，每一个全连接神经网络的输入为merge_feature2，每个全连接神经网络的输入维度都是1024；第一个全连接神经网络FC2_1的输出维度为CN,CN≥4，输出结果是近景车辆损伤图片的区域建议框的损伤分类结果；第二个全连接神经网络FC2_2输出维度为CN×4，输出近景车辆损伤图片的区域建议框的具***置信息；第三个全连接神经网络输出维度为LN,LN≥32，用于输出近景车辆损伤图片的区域建议框的零件类别结果。

在本实例中，使用卷积神经网络进行上采样是将融合特征进行逆卷积操作，使得融合特征的尺度可以扩充一倍，最后使用一层卷积层进行每一个像素点级别的分类，用于损伤分割的最后一层卷积层的卷积核数目为，卷积核的大小为1×1。用于零件分割的最后一层卷积层的卷积核数目为LN,LN≥32，卷积核大小为1×1。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于多视角相关性深度学习的车辆损伤识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多视角图片深度学习的车损识别方法，其特征在于，在步骤2)中，所述孪生的深度卷积神经网络是指两个结构相同的包含5个卷积段的深度卷积神经网络，第一个卷积段中包含有一个卷积层和一个池化层，之后每个卷积段中都包含有若干个卷积块，其中第一个卷积段的输入为步骤1)获得的远景车辆损伤图片和近景车辆损伤图片，第二个卷积段的输入为第一个卷积段的输出，以此类推；第一个卷积段中卷积层的卷积核数量为2^k个，k≥6，卷积核的大小为λ×λ,λ≥7，池化层大小为α×α，α≥3；第二个至第五个卷积段都是由若干个卷积块组成，每一卷积块都是由3个卷积层组成，这3个卷积层的卷积核大小分别为θ×θ、(θ+2)×(θ+2)、θ×θ，θ≥1，每一层的卷积核数目并不完全相同；第二个卷积段由3个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k、2^k、2^k+2；第三个卷积段由4个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k+1、2^k+1、2^k+3；第四个卷积段由6个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k+2、2^k+2、2^k+4；第五个卷积段由3个相同的卷积块组成，每个卷积块中的3个卷积层的卷积核数目分别为2^k+3、2^k+3、2^k+5；将相同结构的深度卷积神经网络中第五个卷积段的最后一个卷积层的结果输出得到远景车辆损伤图片的图像特征和近景车辆损伤图片的图像特征。

3.根据权利要求1所述的基于多视角图片深度学习的车损识别方法，其特征在于，在步骤3)中，所述区域建议网络由3个卷积层组成；第一个卷积层的输入是由步骤2)中得到的近景车辆损伤图片的图像特征和远景车辆损伤图片的图像特征，第一个卷积层的卷积核数目为2^k+3，k≥6，卷积核的大小为(θ+2)×(θ+2)，θ≥1，得到宽为W、高为H的特征图；第二个卷积层的输入为第一个卷积层输出的特征图，第二个卷积层中卷积核数目为W×H×9×4，卷积核大小为θ×θ，得到区域建议框的位置；第三个卷积层的输入为第一个卷积层输出的特征图，第三个卷积层中卷积核数目为W×H×2，卷积核大小为θ×θ，输出结果用于判断区域建议框是否为背景。

4.根据权利要求1所述的基于多视角图片深度学习的车损识别方法，其特征在于，在步骤4)中，在所述关系模块中，设远景车辆损伤图片通过步骤3)得到了N个远景车辆损伤图片的区域建议框,N≥1，定义远景车辆损伤图片中第n个区域建议框的视觉特征为A_1,n，几何特征为G_1,n，第n个区域建议框的中心点的x，y坐标以及宽、高信息表示为:(x_1,n,y_1,n,w_1,n,h_1,n)；设近景车辆损伤图片通过步骤3)得到了M个远景车辆损伤图片的区域建议框，M≥1，定义近景车辆损伤图片中第m个区域建议框的视觉特征为A_2,m，几何特征为G_2,m，第m个区域建议框的中心点的x，y坐标以及宽、高信息表示为:(x_2,m,y_2,m,w_2,m,h_2,m)；定义用于变换视觉特征子空间的转换矩阵W_K、W_Q、W_V；定义A_1,n和A_2,m之间的视觉关系权重表示为

定义G_1,n和G_2,m之间的几何关系权重表示为

5.根据权利要求1所述的基于多视角图片深度学习的车损识别方法，其特征在于，在步骤5)中，使用深度卷积神经网络进行上采样是将步骤4)中获取的融合特征进行逆卷积操作，使得融合特征的尺度扩充一倍，最后使用一层卷积层进行像素点级别的分类，定义损伤分类的类别数为CN，CN＞0，零件分类的类别数为LN，LN＞0，用于损伤分割的最后一层卷积层的卷积核数目为CN，卷积核的大小为θ×θ，θ≥1，用于零件分割的最后一层卷积层的卷积核数目为LN，卷积核的大小为θ×θ。

6.根据权利要求1所述的基于多视角图片深度学习的车损识别方法，其特征在于，在步骤5)中，用于远景车辆损伤图片零件分类和回归的全连接神经网络总共有2个，每一个全连接神经网络都只有一层，每一个全连接神经网络的输入都是步骤4)中得到的远景车辆损伤图片的区域建议框的融合特征，并且输入的维度和融合特征维度保持一致；第一个全连接神经网络输出维度为LN，LN＞0,输出远景车辆损伤图片的区域建议框零件分类结果；第二个全连接神经网络输出维度为LN×4，输出远景车辆损伤图片的区域建议框的具***置信息；用于近景车辆损伤图片损伤分类和回归的全连接神经网络总共有3个，每一个全连接神经网络都只有一层，每一个全连接神经网络的输入都是步骤4)中得到的近景车辆损伤图片的区域建议框的融合特征，并且输入的维度和融合特征维度保持一致；第一个全连接神经网络输出维度为CN，CN＞0,输出近景车辆损伤图片的区域建议框的损伤分类结果；第二个全连接神经网络输出维度为CN×4，输出近景车辆损伤图片的区域建议框的具***置信息；第三个全连接神经网络输出维度为LN，用于输出近景车辆损伤图片的区域建议框零件类别结果。