CN110120035A - 一种可判别病疵等级的轮胎x光病疵检测方法 - Google Patents

Abstract

本发明公开了一种可判别病疵等级的轮胎X光病疵检测方法。该方法包括数据标注、图像预处理、图像裁剪、搭建Faster R‑CNN模型、初始化模型、将图像数据集分为训练集、验证集和测试集、基于所述测试集进行测试，检测图片类型。本发明通过可判别轮胎病疵等级的检测方法检测出轮胎的病疵等级，从而筛选出优质品、可用品、可修复品、残次品，从而进行相应的选择修复再投入使用，自动判别等级可减少人工判别的误判率、效率高。本发明克服了现有轮胎X光病疵检测方法的不足，解决了传统轮胎X光病疵检测方法需很强的先验知识来辅助提取有区分度特征，存在偶然性强，可靠性低，无法精确检测轮胎缺陷的问题。本发明的方法准确性高，利于准确监督轮胎质量，利于市场推广。

Description

一种可判别病疵等级的轮胎X光病疵检测方法

技术领域

本发明属于图像检测识别和工业检测技术领域，具体说，是一种可判别病疵等级的轮胎X光病疵检测方法。

背景技术

随着经济的快速增长，各行各业呈现一种欣欣向荣之势，其中汽车行业 更是得到了空前的发展，这直接带动了轮胎行业的快速发展。目前，我国各 种轮胎合计产量稳居世界之首，成为世界轮胎生产大国。轮胎作为汽车上的 一个核心部件，轮胎的质量对汽车的安全起着至关重要的作用。死于车祸的 人数中约有四成是由于轮胎发生故障引起的，而在这个四成中又有大约75％ 是由于爆胎引起的，因此对轮胎的质量把控十分关键。

检测轮胎质量的重要监测环节就是对轮胎拍摄X光图像，然后根据X 光图像判别当前轮胎是否有某种病疵，最开始是由人工判别，现在已经提出使用深度神经网络模型进行自动判别，通过基于神经网络模型的轮胎X光病疵检测方法，可以检测到病疵的位置和类型。

通过基于神经网络模型的轮胎X光病疵检测能准确检测到病疵的位置和类型，但是检测后还不能判别病疵的等级，即病疵的严重程度，是非常严重以至于不可用，还是可修复，或者是完全没问题，需要一种判别病疵等级的检测方法。

发明内容

针对传统轮胎X光病疵检测方法中的不足，本发明提供了一种可判别病疵等级的轮胎X光病疵检测方法，能够解决判别病疵等级的问题。

提供了一种可判别病疵等级的轮胎X光病疵检测方法，包括步骤如下：

S1、数据标注：将收集到的轮胎X光检测图片用LabelImg工具进行标注，标注出病疵位置、病疵类型和病疵等级，所述病疵位置标注时用方框标出，所述病疵类型可分为多种，标注文件的类型为xml文件；

其中，所述病疵等级分为1：优质品；2：可用品；3：可修复；4：残次品；

S2、图像预处理：将所述轮胎X光检测图片进行锐化处理得到预处理后的大图片；

S3、图像裁剪：将大小是20000×1900的所述预处理后的大图片分为 11张1900×1900的小图，将相应的坐标位置进行变换，改写记录所述病疵类型以及坐标的xml文件；

S4、搭建Faster R-CNN(深度神经网络)模型：；

S5、初始化所述Faster R-CNN模型：设置参数，所述参数包括输入图片后统一的大小、模型在Search Selective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；

S6、将图像数据集分为训练集、验证集和测试集：划分原则是所述训练集占70％，所述验证集和所述测试集各占15％；

S7、重复上述步骤S5、S6，可以训练得到多个模型，对所述多个模型进行测试分析，基于所述测试集进行测试，将所述轮胎X光检测图片输入模型，得到所述轮胎X光检测图片属于哪一种病疵类型以及病疵等级。

进一步的，步骤S1中病疵类型包括：帘线稀疏、帘线弯曲、帘线重叠、零度散线、带束层稀线、杂质、胎侧气泡、胎冠气泡、成型开根、成型街头稀线、其他。

进一步的，步骤S4中Faster R-CNN网络原模型主要包括四部分：

1)Conv layers(卷积层)提取特征图，对于任意输入大小输入的图像，先将图像进行缩放，然后送入网络Conv layers(卷积网络层)，Conv layers (卷积网络层)中包含了13个conv层(卷积)，13个relu层(激活函数层)，4个pooling层(池化层)，用这些基础的层提取图片的feature maps(特征图)，该feature maps(特征图)被共享用于后续RPN层和全连接层；

2)RPN(Region Proposal Networks，区域选择网络)，经过3x3卷积，再分别生成foreground anchors(前景窗口)与bounding box regression(边框回归)偏移量，然后计算出proposals(候选框)；

3)Roi Pooling(侯选区域池化)层，利用proposals(候选框)从feature maps(特征图)中提取proposal feature(候选框特征)送入后续全连接和 softmax(归一化指数函数)网络作classification(分类)；

4)Classifier(分类器)，利用proposal feature maps(候选框特征图)计算proposal(候选框)的类别，同时再次bounding box regression(边框回归)获得检测框最终的精确位置。

进一步的，步骤S6中包括：基于所述训练集进行模型的训练，基于验证集进行参数的调整，所述训练进行多次迭代，并采用K交叉验证方法进行参数配置的调整，所述训练到一定的周期，需要检查当前的所述参数配置是否是正确的，具体步骤如下：

1)在所述模型的训练过程中，获取所述模型在所述训练集和所述验证集上面的损失函数的函数值；

2)所述训练到一定的周期之后，暂时停止所述训练，并将当前的模型保存下来，方便以后继续所述训练；

3)画出所述训练集和所述验证集的损失函数值，横轴为周期数，纵轴为所述损失函数值，观察所述训练集和所述验证集上的所述损失函数值是否是一个正确的下降趋势；

4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的所述模型继续训练直至达到模型收敛；否则进入步骤5)；

5)如果损失函数的函数值没有呈正确的下降趋势，就找到原因，并调节所述参数，所述参数确定好之后回到步骤S5中。

本发明的有益效果在于：

(1)通过可判别轮胎病疵等级的检测方法检测出轮胎的病疵等级，从而对轮胎进行筛选，筛选出优质品、可用品、可修复品、残次品，从而进行相应的选修复选择再投入使用，自动判别等级可减少人工判别的误判率、缩小时间、效率高；

(2)Faster R-CNN网络模型可以同时检测出病疵位置、类型和等级，而且精度高，速度快，可以作为判别轮胎病疵等级的检测方法；

(3)使用该检测方法克服了现有轮胎X光病疵检测方法的不足，解决了现有传统轮胎X光病疵检测方法需要很强的先验知识来辅助提取有区分度特征，存在偶然性强，可靠性低，无法精确检测轮胎缺陷的问题；

(4)轮胎作为汽车上的重要零部件，其生产质量关系到人的生命安全，轮胎X光病疵判别作为轮胎质量检测的最后一道关口，国内目前普遍采用质检人员进行质量监督，这种方式具有效率低，成本高，可靠性低以及对质检人员眼睛有损害等缺点。因此本发明通过自动检测判别方法判别出病疵等级，从而对轮胎质量进行准确监督，非常具有实用意义。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明的可判别病疵等级的轮胎X光病疵检测方法流程示意图。

图2是本发明的病疵类型示意图。

图3是本发明的Faster R-CNN模型结构示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本实例旨在按本方法实施得到本实例旨在按本方法实施得到一种可判别病疵等级的轮胎X光病疵检测方法。如图1所示，该实现过程包括收集轮胎X光检测图片、对图片进行标注、预处理图片、Faster R-CNN模型搭建与训练、Faster R-CNN模型装载等步骤，具体实现过程如下：

(1)数据标注，用LabelImg工具标注X光图像，标注出病疵的位置、类型、等级，标注文件类型为xml文件，标注病疵时，位置用方框标出，类型和等级的标注形式是A1、A2、A3、A4、B1、B2、B3、B4、C1......，其中A、B、C、D......代表类型，1、2、3、4代表等级，具体类型和等级表见表1和表2，类型示意图见附图2：

表1病疵类型说明

病疵类型	特征
		A类型	帘线稀疏
B类型	帘线弯曲
		C类型	帘线重叠
D类型	零度散线
		E类型	带束层稀线
F类型	杂质
		G类型	胎侧气泡
H类型	胎冠气泡
		I类型	成型开根
J类型	成型街头稀线
		K类型	其他

表2病疵等级说明

病疵等级	说明
		1	优质品
2	可用品
		3	可修复
4	残次品

(2)图像预处理。将原始图像进行锐化处理，原始图片有不清晰的地方，使用工具对这些部分进行锐化处理，使图片纹路更加清楚、病疵部分更加突出；

(3)图像裁剪。将大小是20000×1900的原始图片分为11张1900× 1900的小图，将相应的坐标位置进行变换，改写记录病疵类型以及坐标的 xml文件；

(4)搭建Faster R-CNN网络，Fater R-CNN网络结构见附图3说明。

对于任意输入大小输入的图像，先将图像进行缩放，然后送入网络Conv layers(卷积网络层)，Conv layers(卷积网络层)中包含了13个conv层(卷积)，13个relu层(激活函数层)，4个pooling层(池化层)，用这些基础的层提取图片的feature maps(特征图)，该feature maps(特征图)被共享用于后续RPN层和全连接层。

RPN网络首先经过3x3卷积，再分别生成foreground anchors(前景窗口)与bounding box regression(边框回归)偏移量，然后计算出proposals(候选框)。

接下来Roi Pooling层则利用proposals(候选框)从feature maps(特征图)中提取proposal feature(候选框特征)送入后续全连接和softmax(归一化指数函数)网络作classification(分类)。

最后classification层(分类层)利用proposal feature maps(候选框特征图)计算proposal(候选框)的类别，同时再次bounding box regression(边框回归)获得检测框最终的精确位置；

(5)初始化Faster R-CNN模型，设置好Faster R-CNN的参数，包括输入图片后统一的大小(在本实施方式中，图片的长边可以是任意尺寸，但是短的一边为600pix)、模型在Search Selective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；

(6)将图像数据集分为训练集、验证集和测试集。划分原则是训练集 70％，验证集和测试集各占15％。训练集中病疵的分布保持每种病疵原始的分布，测试集和验证集中也符合原始的病疵类型和等级的分布。基于训练集进行Faster R-CNN的训练，基于验证集进行超参的调整，训练进行多次迭代，并采用K交叉验证方法进行模型参数的调整，训练到一定的周期，需要检查当前的参数配置是否是正确的，具体步骤如下：

1)在模型的训练过程中，获取模型在训练集和验证集上面的损失函数的函数值；

2)训练到一定的周期之后，暂时停止训练，并将当前的模型保存下来，方便以后继续训练；

3)画出训练集和验证集损失函数的函数值，横轴为周期数，纵轴为损失函数的函数值；损失函数值可能没有下降，有可能下降的比较慢，有可能开始下降后来反而上升，需要观察训练集和验证集上的损失函数值是否是一个正确的下降趋势；

4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤b中保存的模型继续训练直至达到模型收敛；否则进入步骤5)；

5)如果损失函数的函数值没有呈健康的下降趋势，就找到可能的原因，并调节参数，参数确定好之后回到上述步骤(5)。

(7)重复上述步骤(5)、(6)，可以训练得到多个模型，对多个模型进行测试分析，基于测试集进行测试，对测试结果不能用MAP(Mean Average Precision，平均准确度)作为评价指标，因为在轮胎X光检测这个实际问题上，我们并不需要病疵位置特别准确，重点是不能漏掉病疵。

评价结果的重心放在两方面，第一个方面是正常图片与病疵图片判断的准确性，首先要能够分类出哪些是病疵图片；第二个问题是在图片为病疵图片的情况下，该轮胎X光图片属于哪一种具体的病疵类型和病疵等级。因此我们采用的衡量指标主要是正常图片的查全率与查准率，以及病疵图片的具体病疵类型和等级判别的查准率和查全率。

对比所有的模型的查全率、查准率，选在在查全率和查准率都较高(查全率和查准率都大于85％)的模型作为最后的模型，这样的模型是泛化能力比较好的模型；如果没有这样的模型，则说明模型不可用，需要回到步骤(5)初始化模型，并且重新训练模型。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (4)

1.一种可判别病疵等级的轮胎X光病疵检测方法，包括步骤如下：

S1、数据标注：将收集到的轮胎X光检测图片用LabelImg工具进行标注，标注出病疵位置、病疵类型和病疵等级，所述病疵位置标注时用方框标出，所述病疵类型可分为多种，标注文件的类型为xml文件；

其中，所述病疵等级分为1：优质品；2：可用品；3：可修复；4：残次品；

S2、图像预处理：将所述轮胎X光检测图片进行锐化处理得到预处理后的大图片；

S3、图像裁剪：将大小是20000×1900的所述预处理后的大图片分为11张1900×1900的小图，将相应的坐标位置进行变换，改写记录所述病疵类型以及坐标的xml文件；

S4、搭建Faster R-CNN(深度神经网络)模型：；

S5、初始化所述Faster R-CNN模型：设置参数，所述参数包括输入图片后统一的大小、模型在Search Selective(选择性搜索)阶段方框的大小与个数、模型训练的周期数；

S6、将图像数据集分为训练集、验证集和测试集：划分原则是所述训练集占70％，所述验证集和所述测试集各占15％；

S7、重复上述步骤S5、S6，可以训练得到多个模型，对所述多个模型进行测试分析，基于所述测试集进行测试，将所述轮胎X光检测图片输入模型，得到所述轮胎X光检测图片属于哪一种病疵类型以及病疵等级。

2.根据权利要求1所述的可判别病疵等级的轮胎X光病疵检测方法，其特征在于，步骤S1中病疵类型包括：帘线稀疏、帘线弯曲、帘线重叠、零度散线、带束层稀线、杂质、胎侧气泡、胎冠气泡、成型开根、成型街头稀线、其他。

3.根据权利要求1所述的可判别病疵等级的轮胎X光病疵检测方法，其特征在于，步骤S4中Faster R-CNN网络原模型主要包括四部分：

1)Conv layers(卷积层)提取特征图，对于任意输入大小输入的图像，先将图像进行缩放，然后送入网络Conv layers(卷积网络层)，Conv layers(卷积网络层)中包含了13个conv层(卷积)，13个relu层(激活函数层)，4个pooling层(池化层)，用这些基础的层提取图片的feature maps(特征图)，该feature maps(特征图)被共享用于后续RPN层和全连接层；

2)RPN(Region Proposal Networks，区域选择网络)，经过3x3卷积，再分别生成foreground anchors(前景窗口)与bounding box regression(边框回归)偏移量，然后计算出proposals(候选框)；

3)Roi Pooling(侯选区域池化)层，利用proposals(候选框)从feature maps(特征图)中提取proposal feature(候选框特征)送入后续全连接和softmax(归一化指数函数)网络作classification(分类)；

4)Classifier(分类器)，利用proposal feature maps(候选框特征图)计算proposal(候选框)的类别，同时再次bounding box regression(边框回归)获得检测框最终的精确位置。

4.根据权利要求1所述的可判别病疵等级的轮胎X光病疵检测方法，其特征在于，步骤S6中包括：基于所述训练集进行模型的训练，基于验证集进行参数的调整，所述训练进行多次迭代，并采用K交叉验证方法进行参数配置的调整，所述训练到一定的周期，需要检查当前的所述参数配置是否是正确的，具体步骤如下：

1)在所述模型的训练过程中，获取所述模型在所述训练集和所述验证集上面的损失函数的函数值；

2)所述训练到一定的周期之后，暂时停止所述训练，并将当前的模型保存下来，方便以后继续所述训练；

3)画出所述训练集和所述验证集的损失函数值，横轴为周期数，纵轴为所述损失函数值，观察所述训练集和所述验证集上的所述损失函数值是否是一个正确的下降趋势；

4)如果步骤3)中是呈正确下降趋势，则不必调节参数，这时导入在步骤2)中保存的所述模型继续训练直至达到模型收敛；否则进入步骤5)；

5)如果损失函数的函数值没有呈正确的下降趋势，就找到原因，并调节所述参数，所述参数确定好之后回到步骤S5中。