CN110705553B - 一种适用于车辆远景图像的划痕检测方法 - Google Patents

Abstract

本发明提供了一种适用于车辆远景图像的划痕检测方法，包括：利用深度学习算法分割出划痕可能出现的感兴趣区域；利用融合颜色与空间信息的划痕检测和MSER方法得到所述感兴趣区域中的候选划痕区域；综合利用Hough线检测及SVM方法对所述候选划痕区域进行筛选，进而标记出划痕区域。本发明综合使用了多种图像处理方法检测感兴趣区域中的划痕区域，避免了车辆远景图像中划痕区域面积过小导致的特征不明显，划痕与干扰区域难以区分的问题。同时，本发明不需要人为拍摄近景图像，将人工操作从复杂的划痕检测任务中解放出来。

Description

一种适用于车辆远景图像的划痕检测方法

技术领域

本发明涉及图像处理和深度学习领域，具体而言，尤其涉及一种适用于车辆远景图像的划痕检测方法。

背景技术

目前缺少专门针对车辆表面划痕检测的研究，与之相近的是针对车辆损伤检测的研究。已有的车辆损伤检测方法主要可分为基于计算机视觉的损伤检测方法和基于深度学习的损伤检测方法两类，其中基于深度学习的车辆损伤检测方法又可分为基于残差密集网络的检测方法和基于Faster R-CNN目标识别算法的检测方法。各类方法的主要思路如下：

(1)基于计算机视觉的车辆损伤判别方法：该方法首先需要布置双目图像采集***，并利用定标板定标；之后，采集监控区域内的车辆图像并获取采集图像的深度图；然后将上述深度图作为训练集，训练卷积神经网络并获得车辆损伤程度判别模型；最后，利用判别模型对新采集的车辆图像进行损伤程度判别。

(2)基于残差密集网络的车辆损伤检测方法：该方法首先通过密集残差网络对输入图像进行多次处理,得到输入图像的全局特征图；然后通过基于单点多盒识别器算法的损伤检测模型对全局特征图进行检测，标记出检测到的车辆损伤。

(3)基于Faster R-CNN目标识别算法的车辆损伤检测方法：首先将训练图像中的损伤区域标记为前景，其他区域标记为背景；然后将标记后的训练图像输入Faster R-CNN神经网络进行训练，得到损伤模型；最后输入测试图像，利用损伤模型检测出测试图像中的损伤区域并标记。

基于计算机视觉的车辆划痕检测算法存在的问题在于：搭建双目图像采集***需要将两台相同型号的摄像机以一定的基线距离固定在光学平台上，保证观测目标在两台摄像机成像范围之内，并利用标定板进行定标。搭建***的成本高、准备工作繁琐，不适于大范围应用。

基于深度学***均只占据180个像素，即只占据图像面积的约0.02％。在神经网络中为了减少特征图的数据量，图像经过卷积层后尺寸会大幅度减小，相当于下采样，原本面积就很小的划痕经过下采样后面积大幅度减小，甚至可能会在特征图中消失。这导致划痕的特征不明显，难以与干扰区域区分开。

发明内容

根据上述提出现有技术使用成本高、但检测精度不佳的技术问题，而提供一种适用于车辆远景图像的划痕检测方法。所述的远景图像指：满足单幅图像中至少包含一辆汽车整体的图像，图3、图4分别展示了车辆的远景图像和近景图像。所述的车辆划痕指：车漆受损而未损坏钣金件导致的车辆损伤。本发明综合使用多种图像处理方法检测感兴趣区域中的划痕区域，避免了车辆远景图像中划痕区域面积过小导致的特征不明显，划痕与干扰区域难以区分的问题。

本发明采用的技术手段如下：

一种适用于车辆远景图像的划痕检测方法，其特征在于，包括：

S1、利用深度学习算法检测出划痕可能出现的感兴趣区域；

S2、利用融合颜色与空间信息的划痕检测模型和MSER方法分别对所述感兴趣区域进行划痕检测，得到两个候选区域集合，记为R₁和R₂，取两个集合的交集R作为新的候选区域集合，即R＝R₁∩R₂；

S3、综合利用Hough线检测及SVM方法对所述候选区域集合R进行筛选，进而标记出划痕区域。

进一步地，还包括训练感兴趣区域的提取模型以及融合颜色与空间信息的划痕检测模型。

进一步地，所述训练感兴趣区域的提取模型包括：

输入训练图像，将所有训练图像缩放成统一尺寸；

标注出训练图像中的感兴趣区域，所述感兴趣区域是指车体上可能出现划痕的区域；

将已标注的训练图像输入Mask R-CNN神经网络中进行训练，得到感兴趣区域的提取模型。

进一步地，训练所述融合颜色与空间信息的划痕检测模型包括：

在训练过程中，统计所有训练图像中划痕的颜色信息，得到划痕颜色的高斯分布模型，同时统计划痕各点的邻域内颜色均值信息，得到划痕邻域颜色均值的高斯分布模型；

在测试过程中，综合考虑当前点的颜色信息及其邻域内像素点的颜色均值信息，分别计算二者在上述高斯分布模型中的概率密度，当两概率密度的几何平均值大于设定的阈值时，判断当前点颜色与划痕颜色匹配，为真划痕，否则判断为假划痕；

对感兴趣区域中所有像素点重复上述过程，完成融合颜色与空间信息的划痕筛选。

进一步地，所述综合利用Hough线检测及SVM方法对所述候选划痕区域进行筛选包括：

对所述新的候选划痕区域进行Hough线检测，并将检测到的长度超过设定阈值的直线型干扰区域从候选划痕区域中删除；

将保留的候选划痕区域构建为连通区域，依次计算每个连通区域的两维特征值，利用训练好的分类超平面对所述两维特征进行二分类，判断该区域是否属于划痕，若属于划痕则进行标记，完成车辆划痕检测过程。

进一步地，所述分类超平面的获取步骤包括：

标注出训练图像中真、假划痕区域；

计算所述真、假划痕区域的两维特征值，所述两维特征值包括圆形度和区域填充度；

利用计算的两维特征值训练基于SVM的真、假划痕分类器，得到分类超平面。

较现有技术相比，本发明具有以下优点：

1)本发明不需要搭建双目图像采集***，只需要普通摄像头即可完成划痕检测任务，可减少搭建硬件***的人工成本。

2)本发明使用深度学习分割出图像中的感兴趣区域，可以大幅度减少周围环境对划痕检测的干扰，解决了车辆远景图像中干扰过多导致检测准确率降低的问题。

3)本发明综合使用多种图像处理方法检测感兴趣区域中的划痕区域，这些图像处理方法均具有对处理区域的面积不敏感的优点，避免了车辆远景图像中划痕区域面积过小导致的特征不明显，划痕与干扰区域难以区分的问题。

4)本发明适用于车辆远景图像，可以在停车场中放置摄像头采集图像，之后利用本发明完成全自动划痕检测任务。本发明不需要人为拍摄近景图像，将人工操作从复杂的划痕检测任务中解放出来。

基于上述理由本发明可在共享汽车管理、停车场管理等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明模型训练过程流程图。

图2为本发明测试过程流程图。

图3为本发明实施例中车辆划痕的远景示意图。

图4为本发明实施例中车辆划痕的近景示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明公开了一种适用于车辆远景图像的划痕检测方法，包括：

S1、利用深度学习算法分割出划痕可能出现的感兴趣区域；

S2、利用融合颜色与空间信息的划痕检测模型和MSER方法分别对所述感兴趣区域进行划痕检测，得到两个候选区域集合，记为R₁和R₂，两个集合的交集作为新的候选区域集合，记为R，即R＝R₁∩R₂；

S3、综合利用Hough线检测及SVM方法对所述候选区域集合R进行筛选，进而标记出划痕区域。包括：对所述新的候选划痕区域进行Hough线检测，并将检测到的长度超过设定阈值的直线型干扰区域从候选划痕区域中删除；将保留的候选划痕区域构建为连通区域，依次计算每个连通区域的两维特征值，利用训练好的分类超平面对所述两维特征进行二分类，判断该区域是否属于划痕，若属于划痕则进行标记，完成车辆划痕检测过程。所述分类超平面的获取步骤包括：标注出训练图像中真、假划痕区域；计算所述真、假划痕区域的两维特征值，所述两维特征值包括圆形度和区域填充度；利用计算的两维特征值训练基于SVM的真、假划痕分类器，得到分类超平面。

进一步地，所述方法还包括训练感兴趣区域的提取模型以及融合颜色与空间信息的划痕检测模型模型的步骤。其中训练感兴趣区域的提取模型包括：输入训练图像，将所有训练图像缩放成统一尺寸；标注出训练图像中的感兴趣区域，所述感兴趣区域是指车体上可能出现划痕的区域；将已标注的训练图像输入Mask R-CNN神经网络中进行训练，得到感兴趣区域的提取模型。训练融合颜色与空间信息的划痕检测模型包括：在训练过程中，统计所有训练图像中划痕的颜色信息，得到划痕颜色的高斯分布模型，同时统计划痕各点的邻域内颜色均值信息，得到划痕邻域颜色均值的高斯分布模型；在测试过程中，综合考虑当前点的颜色信息及其邻域内像素点的颜色均值信息，分别计算二者在上述高斯分布模型中的概率密度，当两概率密度的几何平均值大于设定的阈值时，判断当前点颜色与划痕颜色匹配，为真划痕，否则判断为假划痕；对感兴趣区域中所有像素点重复上述过程，完成融合颜色与空间信息的划痕筛选。

本发明利用Mask R-CNN深度学习算法分割出感兴趣区域，即划痕可能出现的区域，如车门、前后保险杠等区域；之后利用融合颜色与空间信息的划痕检测和MSER(Maximally Stable Extremal Regions，最大稳定极值区域提取)分割出感兴趣区域中的候选划痕区域；然后综合利用Hough线检测、SVM(Support Vector Machine,支持向量机)等方法对上述候选划痕区域进行筛选；最后标记出划痕区域。

进一步地，所述利用深度学习算法分割出划痕可能出现的感兴趣区域之前，还包括对测试图像进行均衡化处理，去除光照强弱对图像明暗与色彩造成的影响。

下面结合附图和实例对本发明进行详细的描述。

如图1和图2所示，一种适用于车辆远景图像的划痕检测方法，其主要包括两大过程：

1)训练过程：将标记后的训练图像输入Mask R-CNN进行训练，获得感兴趣区域的提取模型；将真、假划痕的圆形度和区域填充度输入SVM，获得区分真、假划痕的分类超平面；统计划痕颜色信息及其邻域颜色均值信息，进而得到二者的高斯分布模型。具体过程如下：

①输入训练图像，将所有训练图像统一缩放成1280×960。

②标注出训练图像中的感兴趣区域，所述感兴趣区域是指车体上可能出现划痕的区域，例如车门、前后保险杠，而车体上其他区域，例如车轮、车灯、挡风玻璃等区域不做考虑。

③将已标注的训练图像输入Mask R-CNN神经网络中进行训练，得到感兴趣区域的训练模型。所述的Mask R-CNN是一个通用的实例分割架构，该架构不仅可以正确的找到图像中的目标，还可以对其精确地分割，即生成精准覆盖目标的掩膜，而非如其他分割架构仅能生成外接矩形。

④标注出训练图像中真、假划痕区域。所述假划痕是指与真划痕外观相似，可能对检测造成巨大干扰的目标，例如行人衣服上的花纹、地面砖块之间的缝隙、车体上各部件连接处的缝隙等。

⑤统计全部训练图像中划痕的颜色，计算得到划痕颜色的均值μ和协方差矩阵∑，构成划痕颜色的高斯分布模型，记为g(x；μ,∑)。统计全部训练图像中，划痕各点的邻域内(可以是8邻域)像素点的颜色均值，计算得到划痕邻域颜色均值的均值μ_n和协方差矩阵∑_n，构成划痕邻域颜色均值的高斯分布模型，记为g(x；μ_n,∑_n)。

⑥对过程④中标注出的所有区域计算两维特征值，即圆形度和区域填充度，计算公式如下：

其中，F_c代表圆形度，L代表连通区域周长，A代表连通区域面积。

其中，F_pd代表区域填充度，A代表连通区域面积，A_r代表连通区域外接圆面积。

⑦利用计算的真、假划痕区域的圆形度和区域填充度训练基于SVM的真、假划痕分类器。

2)测试过程：输入测试图像，分割出测试图像中的感兴趣区域，然后在感兴趣区域中检测到候选划痕区域，最后筛选候选划痕区域，标记真实划痕，具体过程如下：

①输入测试图像，对测试图像进行图像均衡化处理，从而去除光照强弱对图像明暗与色彩造成的影响。

②利用训练过程得到的感兴趣区域提取模型，分割出测试图像中的感兴趣区域。

③融合颜色与空间信息的划痕检测过程如下：

首先在感兴趣区域内，计算当前点的颜色在高斯分布模型g(x；μ,∑)中对应的概率密度，记为p(x₀,y₀)。所述的g(x；μ,∑)指训练过程中过程⑤得到的划痕颜色的高斯分布模型。

然后计算当前点邻域内(优选是8邻域)像素点的颜色均值，进而得到该均值在高斯分布模型g(x；μ_n,∑_n)中对应的概率密度，记为p_n(x₀,y₀)。所述的g(x；μ_n,∑_n)指训练过程中过程⑤得到的划痕邻域颜色均值的高斯分布模型

最后计算p(x₀,y₀)和p_n(x₀,y₀)的几何平均值，计算方法如下：

当Π(x₀,y₀)大于设定的阈值时，判断当前点的颜色和划痕颜色匹配。

对感兴趣区域内所有的像素点重复上述过程，完成融合颜色与空间信息的划痕检测。检测到的区域构成候选区域集合R₁。

④首先对均衡化处理后的图像进行灰度化处理，得到灰度图像，然后进行MSER最大稳定极值区域提取，分割出灰度值变化规律与划痕类似的区域。所述的MSER可用于图像的斑点区域检测，其主要思路是使用不同的灰度阈值对图像进行二值化处理，在比较宽的灰度阈值范围内保持形状稳定的区域就是提取出来的MSER区域。MSER提取得到的区域构成候选区域集合R₂。

⑤R₁、R₂两个候选区域集合取交集，得到新的候选区域集合，记为R，即R＝R₁∩R₂；。

⑥对候选划痕区域进行Hough线检测，候选划痕区域中长度超过设定阈值(例如300像素)且形状为直线型的区域被认为是车体上部件连接处的缝隙，满足上述条件的候选划痕区域会被判断为干扰区域，并从候选划痕区域中删除该区域。

⑦将保留下来的候选划痕区域构建为连通区域，依次计算每个连通区域的两维特征值，即圆形度和区域填充度，利用SVM分类器训练好的分类超平面对上述两维特征进行二分类，判断该区域是否属于划痕。若区域属于划痕则进行标记，完成车辆划痕检测过程。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种适用于车辆远景图像的划痕检测方法，其特征在于，包括：

S1、利用深度学习算法检测出划痕可能出现的感兴趣区域；

S2、利用融合颜色与空间信息的划痕检测模型和MSER方法分别对所述感兴趣区域进行划痕检测，得到两个候选区域集合，记为R₁和R₂，取两个集合的交集R作为新的候选区域集合，即R＝R₁∩R₂，

训练融合颜色与空间信息的划痕检测模型包括：

在训练过程中，统计所有训练图像中划痕的颜色信息，得到划痕颜色的高斯分布模型，同时统计划痕各点的邻域内颜色均值信息，得到划痕邻域颜色均值的高斯分布模型，

在测试过程中，综合考虑当前点的颜色信息及其邻域内像素点的颜色均值信息，分别计算二者在上述高斯分布模型中的概率密度，当两概率密度的几何平均值大于设定的阈值时，判断当前点颜色与划痕颜色匹配，为真划痕，否则判断为假划痕，

对感兴趣区域中所有像素点重复上述过程，完成融合颜色与空间信息的划痕筛选；

S3、综合利用Hough线检测及SVM方法对所述候选区域集合R进行筛选，进而标记出划痕区域。

2.根据权利要求1所述的划痕检测方法，其特征在于，还包括训练感兴趣区域的提取模型以及融合颜色与空间信息的划痕检测模型。

3.根据权利要求2所述的划痕检测方法，其特征在于，所述训练感兴趣区域的提取模型包括：

输入训练图像，将所有训练图像缩放成统一尺寸；

标注出训练图像中的感兴趣区域，所述感兴趣区域是指车体上可能出现划痕的区域；

将已标注的训练图像输入Mask R-CNN神经网络中进行训练，得到感兴趣区域的提取模型。

4.根据权利要求1所述的划痕检测方法，其特征在于，所述综合利用Hough线检测及SVM方法对所述候选划痕区域进行筛选包括：

对所述新的候选划痕区域进行Hough线检测，并将检测到的长度超过设定阈值的直线型干扰区域从候选划痕区域中删除；

将保留的候选划痕区域构建为连通区域，依次计算每个连通区域的两维特征值，利用训练好的分类超平面对所述两维特征进行二分类，判断该区域是否属于划痕，若属于划痕则进行标记，完成车辆划痕检测过程。

5.根据权利要求4所述的划痕检测方法，其特征在于，所述分类超平面的获取步骤包括：

标注出训练图像中真、假划痕区域；

计算所述真、假划痕区域的两维特征值，所述两维特征值包括圆形度和区域填充度；

利用计算的两维特征值训练基于SVM的真、假划痕分类器，得到分类超平面。

Images