CN110310262A - 一种用于检测轮胎缺陷的方法、装置及*** - Google Patents

Abstract

本发明涉及一种用于检测轮胎缺陷的方法、装置及***。其中，方法包括以下步骤：获取一张轮胎的X射线图像；将X射线图像输入训练好的Mask R‑CNN模型进行缺陷识别；输出带有缺陷标记的识别图；所述的Mask R‑CNN模型训练过程包括：获取轮胎的X射线图像，对每张图像使用图像分割软件进行设定像素大小的分割；通过视觉图像注释器对分割后的图像进行标记；将标记后的图像作为训练集对Mask R‑CNN模型进行自适应训练。与现有技术相比，本发明通过训练好的Mask R‑CNN模型能够对被检测的图像同时进行缺陷检测和分类，使得对缺陷的检查精确度明显提高。

Description

一种用于检测轮胎缺陷的方法、装置及***

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种用于检测轮胎缺陷的方法、装置及***。

背景技术

随着汽车行业的快速发展，轮胎的使用量不断增加，轮胎自身质量就成为人们财产和生命安全的保障，所以对每一条出厂轮胎的质量检测就成为轮胎生产的重要部分。传统的轮胎检测***的软件操作复杂、实用性差，最重要的缺陷检测部分是通过人工观察轮胎的X射线采集图，这极大的降低了轮胎检测的正确性和效率性。采用计算机对X光图像进行分析和识别，可以大大提高工作效率，有效克服人工评定中的由于人为原因造成的误判和漏判，使评判过程客观化、科学化和规范化。建立和完善X射线轮胎缺陷自动识别及分析处理***，对提升轮胎质量及汽车安全方面有很重要的意义。

目前常用的轮胎缺陷检测算法是利用X射线成像技术来实现轮胎缺陷自动检测的。但是现有的检测方法大多存在以下问题：1、需要根据不同种类的缺陷特征来设置适合特定缺陷的阈值或参数，使得这些轮胎内部缺陷检测与识别算法在实际应用中受到一定程度的限制，而没有普适性。2、对于含有内部缺陷的轮胎X射线图像，由于轮胎自身固有的结构性底纹，背景底纹与缺陷纹理容易产生混叠难以辨别，所以不容易判断复杂图像缺陷的存在，且缺陷种类、形状及边界的变化都会使依赖于几何特征的检测算法鲁棒性较差，容易产生漏检误检；或者对缺陷区域大小估计偏差大、缺陷提取不完整以及提取的缺陷几何形状差异大。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于检测轮胎缺陷的方法、装置及***。

本发明的目的可以通过以下技术方案来实现：

一种用于检测轮胎缺陷的方法，包括以下步骤：

S1、获取一张轮胎的X射线图像；

S2、将X射线图像输入训练好的Mask R-CNN模型进行缺陷识别；

S3、输出带有缺陷标记的识别图；

所述的Mask R-CNN模型训练过程包括：

A1、获取轮胎的X射线图像，对每张图像使用图像分割软件进行设定像素大小的分割；

A2、通过视觉图像注释器对分割后的图像进行标记；

A3、将标记后的图像作为训练集对Mask R-CNN模型进行自适应训练。

进一步地，所述的步骤A1中，图像分割大小为1024*1024像素。

进一步地，所述的步骤A1中，图像分割的重叠部分为150*150像素。

进一步地，所述的步骤A2中，对每一类缺陷标记出不少于3000张的图像；步骤A3中，训练集的样本数量不少于10000张。

进一步地，所述的Mask R-CNN模型进行自适应训练过程具体如下：

B1、将训练集输入至预训练好的神经网络中获得对应的特征图；

B2、对特征图中的每一个点设定预定个的感兴趣区域，从而获得多个候选感兴趣区域；

B3、将候选兴趣区域送入深度全卷积网络进行二值分类和边框回归进行过滤；

B4、对过滤后的候选感兴趣区域进行ROI Align操作，即先将原图和特征图的像素值对应起来，将特征图和固定的特征对应起来，对感兴趣区域进行标记；

B5、将经过ROI Align操作的特征图进行大小固定，即遍历每一个候选区域，保持浮点数边界不做量化，将候选区域分割成N*N个单元，每个单元的边界也不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出四个位置的值，进行最大池化操作；

B6、将维度和大小统一好的轮胎图像输入到方框标记模块和分类模块进行训练，输出轮胎缺陷检测模型。

进一步地，所述的Mask R-CNN模型的训练损失函数为：

L_final＝L({p_i},{t_i})+(L_cls+L_box+L_mask)

式中，L_final表示训练损失函数，L_cls表示边框的分类损失值，L_box表示边框的回归损失值，L_mask表示Mask部分的损失值。

一种用于检测轮胎缺陷的装置，所述的装置包括处理器以及存储器，所述处理器调用存储器中的数据执行程序，用于实现任一上述用于检测轮胎缺陷的方法。

一种用于检测轮胎缺陷的***，包括：

输入单元，用于获取一张轮胎的X射线图像；

识别单元，用于将X射线图像输入训练好的Mask R-CNN模型进行缺陷识别；

输出单元，用于输出带有缺陷标记的识别图；

所述的Mask R-CNN模型训练过程包括：

A1、获取轮胎的X射线图像，对每张图像使用图像分割软件进行设定像素大小的分割；

A2、通过视觉图像注释器对分割后的图像进行标记；

A3、将标记后的图像作为训练集对Mask R-CNN模型进行自适应训练。

与现有技术相比，本发明具有以下优点：

1、本发明提出一种高精度的轮胎缺陷检测方法，通过训练好的Mask R-CNN模型进行轮胎缺陷的智能检测，能够快速高效的检测出轮胎缺陷。训练好的Mask R-CNN模型能够对被检测的图像同时进行缺陷检测和分类，使得对缺陷的检查精确度明显提高。

2、本发明通过图像分割软件对原始图像进行设定像素大小的分割，并且通过视觉图像注释器对分割后的图像进行标记，使得在Mask R-CNN模型能够获取足够数量的训练样本，避免过拟合问题。在现有的深度学习中，训练集的量是否足够，对训练结果有非常直接的影响。同时，对图像进行像素大小分割可以进一步地提高训练结果的精确度。

附图说明

图1为本发明的流程示意图。

图2为Mask R-CNN模型的训练流程示意图。

图3为Mask R-CNN模型进行自适应训练的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所述，本实施例提供了一种用于检测轮胎缺陷的方法，包括以下步骤：

步骤S1、获取一张轮胎的X射线图像；

步骤S2、将X射线图像输入训练好的Mask R-CNN模型进行缺陷识别；

步骤S3、输出带有缺陷标记的识别图。

该方法能够快速准确的检测出胎侧和胎内气泡、接头开、劈缝、稀线、杂物、稀线、钢丝弯曲、帘线交叉搭接、帘线断开、压入杂质、胎圈变形等问题，在不依赖于人工检测的前提下，通过该方法可以准确的检测出缺陷轮胎。

在步骤S2中，Mask R-CNN模型训练过程包括：

步骤A1、从数据库获取大量的轮胎的原始X射线图像，对每张图像使用图像分割软件进行设定像素大小的分割。

本实例采用splitimage图像分割软件对轮胎图像进行分割，因为轮胎图像的像素大致为1500*10000左右，图像太大不适合做目标识别，所以将这样的图像切割为1024*1024大小像素，图像分割的重叠部分为150*150像素。在基于深度学习的任务中，足够数量的训练样本能够避免严重的过拟合问题。这样的分割的意义主要是可以在有限的训练集中分割出更多的图像，从而大大的提高训练集中的图像数，因为在现有的深度学习中，训练集的量是否足够，对训练结果有非常直接的影响。同时，对图像进行像素大小分割可以进一步地提高训练结果的精确度。

步骤A2、通过视觉图像注释器对分割后的图像进行标记。

本实施例采用视觉图像注释器(Visual Geometry Group，以下简称VGG)对轮胎图像进行标记，标记出ROI区域，比如杂物缺陷，共标记出3000张图像。其他的缺陷同杂物缺陷，分别对每一类缺陷标记出3000张图像，中间会出现一张图像中存在多个缺陷。由于VGG生成的图像可以转成坐标形式，而Mask R-CNN只能读取坐标，所以可以直接应用到Mask R-CNN中，无需额外的转换。

步骤A3、将标记出的10000左右的图像作为训练集放入Mask R-CNN模型中进行自适应训练。

如图2所示，Mask R-CNN模型进行自适应训练过程具体如下：

步骤B1、将训练集输入至预训练好的神经网络中，获得轮胎图像不同阶段对应的feature map(特征图)。本实施例中使用了R-FPN(深度残差网络)神经网络，该网络使用具有横向连接的自上而下架构，从单一尺度输入构建网内特征金字塔。可以更好地获得轮胎图像的特征图。

步骤B2、对feature map中的每一个点设定预定个的ROI(感兴趣区域)，从而获得多个候选ROI。

这一步的作用是因为传统的R-CNN网络架构中为了提高学习速度和效率都是只关注ROI，并在每个ROI单独评估卷积网络，进行训练和预测，所以需要选择合适的ROI。比如选择出轮胎图像的缺陷部位，用矩形候选框圈出来，但是有可能标记处不是缺陷的部位，因此，本实施例进一步地进行步骤B3。

步骤B3、将候选ROI送入RPN网络(深度全卷网络积)进行二值分类和边框回归进行过滤，生成的新的ROI就是RPN从每个像素点所生成的Anchor框中选取的一部分Anchor框作为ROI。

该步骤通过RPN过滤掉一些无谓的Anchor框，轮胎图像上面每一个像素点都会生成一个Anchor框，框会非常的多，不利于选择ROI，所以利用RPN过滤掉一些框，使得留下一部分框，更有利于ROI的选择，以及接下来的Align操作。比如过滤掉轮胎图像的一些标记错的ROI区域，使得留下来的ROI区域都比较准确。

步骤B4、对过滤后的ROI进行ROI Align操作，即先将原图和特征图的像素值对应起来，然后将特征图和固定的特征对应起来，可以准确的对ROI区域标记。

由于从输入图上的ROI到特征图上的ROI，ROI Pooling是直接通过四舍五入取整得到的结果，然而直接用round取的值，会使ROI Pooling过后得到的输出可能和原图像上的ROI对不上。ROI Align的作用主要就是剔除了ROI Pooling的取整操作，并且使得为每个ROI取得的特征能够更好地对齐原图上的ROI区域。比如在轮胎检测中，步骤B3所确定的一部分ROI区域候选框，可能不会很好的对齐在轮胎原图上，有些可能会圈到缺陷的边缘，有些也可能从缺陷中间圈过，ROI Align可以更好地对齐轮胎原图，使得ROI区域候选框圈的更加准确。

步骤B5、将经过ROI Align操作的特征图进行大小固定，即遍历每一个候选区域，保持浮点数边界不做量化。将候选区域分割成N*N个单元，本实施例中的N取7，每个单元的边界也不做量化。在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。

由于步骤B4所输出的ROI的大小不一样，然而后续步骤中的方框标记以及分类都需要输入的图像维度大小必须一致，所以通过该步骤保证了轮胎图像维度和大小的一致性。

步骤B6、将维度和大小统一好的轮胎图像输入到方框标记模块(对轮胎缺陷部位进行方框标记)以及分类模块(对轮胎缺陷进行分类)进行训练，这时会输出一个轮胎缺陷检测模型。分类与方框标记可以同时进行，使最后的训练出的模型检测的更加精确。

Mask R-CNN模型的训练损失函数为：

L_final＝L({p_i},{t_i})+(L_cls+L_box+L_mask)

式中，L_final表示训练损失函数，L_cls表示边框的分类损失值，L_box表示边框的回归损失值，L_mask表示Mask部分的损失值。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种用于检测轮胎缺陷的方法，其特征在于，包括以下步骤：

S1、获取一张轮胎的X射线图像；

S2、将X射线图像输入训练好的Mask R-CNN模型进行缺陷识别；

S3、输出带有缺陷标记的识别图；

所述的Mask R-CNN模型训练过程包括：

A1、获取轮胎的X射线图像，对每张图像使用图像分割软件进行设定像素大小的分割；

A2、通过视觉图像注释器对分割后的图像进行标记；

A3、将标记后的图像作为训练集对Mask R-CNN模型进行自适应训练。

2.根据权利要求1所述的用于检测轮胎缺陷的方法，其特征在于，所述的步骤A1中，图像分割大小为1024*1024像素。

3.根据权利要求2所述的用于检测轮胎缺陷的方法，其特征在于，所述的步骤A1中，图像分割的重叠部分为150*150像素。

4.根据权利要求1所述的用于检测轮胎缺陷的方法，其特征在于，所述的步骤A2中，对每一类缺陷标记出不少于3000张的图像；步骤A3中，训练集的样本数量不少于10000张。

5.根据权利要求1所述的用于检测轮胎缺陷的方法，其特征在于，所述的Mask R-CNN模型进行自适应训练过程具体如下：

B1、将训练集输入至预训练好的神经网络中获得对应的特征图；

B2、对特征图中的每一个点设定预定个的感兴趣区域，从而获得多个候选感兴趣区域；

B3、将候选兴趣区域送入深度全卷积网络进行二值分类和边框回归进行过滤；

B4、对过滤后的候选感兴趣区域进行ROI Align操作，即先将原图和特征图的像素值对应起来，将特征图和固定的特征对应起来，对感兴趣区域进行标记；

B5、将经过ROI Align操作的特征图进行大小固定，即遍历每一个候选区域，保持浮点数边界不做量化，将候选区域分割成N*N个单元，每个单元的边界也不做量化，在每个单元中计算固定四个坐标位置，用双线性内插的方法计算出四个位置的值，进行最大池化操作；

B6、将维度和大小统一好的轮胎图像输入到方框标记模块和分类模块进行训练，输出轮胎缺陷检测模型。

6.根据权利要求1所述的用于检测轮胎缺陷的方法，其特征在于，所述的Mask R-CNN模型的训练损失函数为：

L_final＝L({p_i},{t_i})+(L_cls+L_box+L_mask)

式中，L_final表示训练损失函数，L_cls表示边框的分类损失值，L_box表示边框的回归损失值，L_mask表示Mask部分的损失值。

7.一种用于检测轮胎缺陷的装置，所述的装置包括处理器以及存储器，其特征在于，所述处理器调用存储器中的数据执行程序，用于实现如权利要求1～6任一所述的用于检测轮胎缺陷的方法。

8.一种用于检测轮胎缺陷的***，其特征在于，包括：

输入单元，用于获取一张轮胎的X射线图像；

识别单元，用于将X射线图像输入训练好的Mask R-CNN模型进行缺陷识别；

输出单元，用于输出带有缺陷标记的识别图；

所述的Mask R-CNN模型训练过程包括：

A1、获取轮胎的X射线图像，对每张图像使用图像分割软件进行设定像素大小的分割；

A2、通过视觉图像注释器对分割后的图像进行标记；

A3、将标记后的图像作为训练集对Mask R-CNN模型进行自适应训练。