CN110335244A - 一种基于多迭代分类器的轮胎x光病疵检测方法 - Google Patents

Abstract

本发明公开了一种基于多迭代分类器的轮胎X光病疵检测方法，该方法基于多迭代分类器的模型实现，模型包括三部分：用于获取预处理后图像的特征图的卷积层、用于提取特征图中候选区域的区域候选网络、以及迭代的分类网络；迭代的分类网络采用三层Fast R‑CNN；每层Fast R‑CNN包括感兴趣区域池化层和分类网络，三层Fast R‑CNN中将上一层Fast R‑CNN的分类网络获得的候选框送入下一层Fast R‑CNN的感兴趣池化层，分类概率接入下一层Fast R‑CNN分类器的展平层，迭代获得精确病疵类型和位置。本发明方法基于的分类器多次迭代，可使模型性能更好，病疵的查准率更高。

Description

一种基于多迭代分类器的轮胎X光病疵检测方法

技术领域

本发明属于计算机视觉和工业检测技术领域，涉及一种基于多迭代分类器的轮胎X光病疵检测方法，是通过分类器多次迭代的目标检测算法，使得可以通过计算机来检测轮胎X光图像中的病疵。

背景技术

轮胎拍摄X光属于轮胎制造过程的最后一个质量监控阶段，现在各大生产商一般都是采取三班轮换制来控制这个阶段的质量。具体的流程是，轮胎送到X光机通道，X光机给轮胎拍摄X光图像，质量监测人员在显示器前就看到X光图像，然后质检人员就会根据X光判断是否有病疵，如果有病疵则当前这条轮胎会送入到专门的通道进行处理，否则轮胎进入下一个流程。目前国内轮胎生产商的质检方式主要存在以下问题：

首先，效率比较低下，一个轮胎的X光图像一般都比较大，熟练的质检人员要完全判别一个轮胎是否有病疵都需要消耗数十秒的时间；其次，判别准确度不高，误判、漏判多，长期看显示屏屏幕人容易疲劳，在这种情况下，有可能出现将有病疵的图像判别为无病疵，造成漏判或者病疵类别判断错误，造成误判。误判和漏判这两种情况中最关键的是要解决漏判问题，这也是工业界最关心的一个问题，病疵类别判断错了，由于没有卖给商家，所以不会造成安全问题，但是漏判了，一旦到了商家手里就可能有安全隐患；最后，长期进行人工判别，对质检人员健康损伤较大。长期对着显示屏会对眼睛造成伤害，导致质检人员出现头晕目眩的情况。

根据近三年的统计，人员检测X光图片的漏判率大约为2.3％，所谓的漏判率即将有病疵的图片判别为无病疵。

近几年，目标检测(Object Detection)算法由于深度学习的崛起得到飞速发展，提出了很多基于卷积神经网络的目标检测算法。但是在轮胎X光检测方面，还有很长的路要走。如最后检测病疵的位置仍不够精确。

发明内容

针对现有质检方式存在的上述问题，本发明提供了一种基于多迭代分类器的轮胎X光病疵检测方法，用多迭代分类器解决了病疵位置判断仍不够精确、漏判率仍不低的问题。实现了计算机代替人眼判别当前X光图像是否有病疵，以及是何种病疵，与此同时还能标出病疵在图像中的位置。

一种基于多迭代分类器的轮胎X光病疵检测方法，目标是输入轮胎X光图片，输出当前X光图像是否有病疵，有何种病疵，和病疵在图像中的位置，包括如下步骤：

(1)图像预处理，将用于训练和检测的轮胎X光图片转化为可输入该多迭代分类器模型的格式和大小；

(2)搭建模型并初始化模型。所述模型包括三部分：

卷积层(Conv layers)：原始的图像经过卷积层可以得到一系列的特征图

区域候选网络(Region proposal network)：特征图输入到区域候选网络，区域候选网络提取特征图中可能含有病疵的区域，得到候选区域。

迭代的分类网络：

包括三层Fast R-CNN；每层Fast R-CNN分为两部分：

第一部分是感兴趣区域池化层；区域候选网络输出的候选区域经过感兴趣区域池化层规范到统一的尺寸大小；

第二部分是分类网络；该层利用候选区域特征图计算是否有病疵及病疵的类别，去掉判断为无病疵的候选区域，同时对判断为有病疵的边框进行边框回归获得病疵更加精确的位置，得到更加精确的候选框后，将其送回下一层Fast R-CNN的感兴趣区域池化层，同时将得到的分类概率接入下一层Fast R-CNN的分类器的展平层中，进行下一次迭代；

即三层Fast R-CNN中将上一层Fast R-CNN的分类器获得的候选框送入下一层Fast R-CNN的感兴趣池化层，分类概率接入下一层Fast R-CNN分类器的展平层，迭代获得精确病疵类型和位置；

(3)训练模型，利用用于训练的轮胎X光图片训练上述模型；

(4)将待检测的轮胎X光图片输入模型，输出当前X光图像是否有病疵，有何种病疵，和病疵在图像中的位置。

本发明的有益效果在于：

基于目标检测的的轮胎X光病疵检测可避免因为人的因素造成的效率低下，在主要解决漏判的情况下一定程度地解决误判问题，从而大大提高轮胎的安全性，并且能减轻质检人员的压力。

其次，本发明方法基于的分类器多次迭代，可使模型性能更好，病疵的查准率更高。

附图说明

图1为基于多迭代分类器的轮胎X光病疵检测方法流程图；

图2为多迭代分类器模型示意图；

图3为模型训练过程图；

图4为ROI Pooling示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施例子对本发明进行详细说明。

本实例旨在按本发明实现对轮胎X光图像的病疵检测。该方法流程包括图像预处理、搭建模型、训练模型、输入待检测图片得到结果等步骤，如图1所示，具体实现过程如下：

(1)图像预处理。本例的原始图片大小是20000*1900的大小，在标注病疵的时候是直接在原始图上标注的。由于算法计算力的限制，将其分为11张1900*1900的小图，小图之间会有一定的重叠(下一张与上一张图片大约重叠82个像素)，因此需要将相应的坐标位置进行从变换，改写记录病疵类型以及坐标的xml文件。由于图片的病疵非常稀疏，切图几乎不会造成病疵的遗漏。

将图像转化为VOC文件格式，VOC文件主要包含三个文件夹。第一个文件夹是Annotations，这个文件夹里面主要存放的是描述图片中病疵类型和位置的xml文件；第二个文件夹是JPGImages，该文件夹主要存放的是所有的图片文件；第三个文件夹是ImageSets，该文件夹下存放的是四个txt文件，分别是train.txt、val.txt、trainval.txt、test.txt，这四个文本文件分别记录训练图片，验证图片，验证训练图片和测试图片。

(2)搭建目标检测模型并初始化模型。模型如图2所示，包括三部分：

卷积层。输入图片经过Conv-ReLU-Pooling结构的多层卷积神经网络，提取出特征图，供后续的区域候选网络和分类网络使用。卷积层采用VGG16模型，先将P×Q的原始图片缩放到M×N的大小，然后经过13个Conv-ReLU层以及四个最大值池化层。所有卷积层的核都是3×3的，填充值(padding)为1，步长(stride)也为1，这是为了保证每次卷积之后的输出特征图的尺寸和输入尺寸一致。池化层的核为2×2，填充值为0，步长为2，这是为了每次池化之后特征图尺寸减半。M×N的图片，经过卷积层之后，变成了(M/16)×(N/16)的特征图。

区域候选网络。区域候选网络用于生成候选区域。区域候选网络实际分为两个平行网络，一条通过归一化指数函数分类器(softmax)分类锚(anchors)获得前景和背景即有无病疵，另一条用于计算对于锚的边框回归偏移量，以获得精确的候选区域。最后综合含有病疵的锚和边框回归偏移量获取候选区域，同时剔除太小和超出边界的候选区域。

迭代的分类层。此例使用了三层Fast R-CNN。Fast R-CNN在分类的同时，会对候选框进行回归，这使得候选框的分类损失和回归损失结合起来成为一个总的损失一起训练，不光提高了速度也提升精度。

Fast R-CNN又分为两部分：

第一部分是感兴趣区域池化层。特征图的大小是不一样的，但是由于分类网络使用全连接层的原因，要求输入大小是固定的，因此区域候选网络输出的候选区域需要经过感兴趣区域池化层规范到统一的尺寸大小。感兴趣区域池化层的具体操作如图3所示，在左图四个黑色区域中，每一个区域选择一个最大的数值，这样形成了右图的最后结果。具体操作为：根据输入的候选区域，将感兴趣的区域映射到特征图对应位置，然后将映射后的区域划分为相同大小的区段，最后对每个区段进行最大值池化的操作。

第二部分是分类网络。该层利用候选区域特征图计算是否有病疵及病疵的类别，去掉判断为无病疵的候选区域，同时再次对判断为有病疵的边框进行边框回归获得病疵更加精确的位置。得到更加精确的候选框后，将其送回下一层Fast R-CNN的感兴趣区域池化层，同时将得到的分类概率接入下一层Fast R-CNN的分类器的展平层中，进行下一次迭代。经过三层迭代后，即可得到最终的精确的位置和更加精确的病疵类别。

(3)训练模型，训练模型过程如图4所示，分为以下几步：

训练区域候选网络。读取提供的预训练好的模型(VGG)，开始迭代训练；

利用训练好的区域候选网络，收集候选区域。利用上一步得到的区域候选网络，获取候选区域和前景分类概率，用于接下来迭代的分类网络的训练；

第一次训练迭代的Fast R-CNN网络。获取候选区域与前景概率。从数据层输入网络。训练最后的识别归一化指数函数分类器与最终的边框回归；

第二次训练区域候选网络。用Fast RCNN网络参数初始化区域候选网络，把区域候选网络、Fast R-CNN共享的那些卷积层的学习率设置为0，也就是不更新，仅仅更新区域候选网络特有的那些网络层；

再次利用上一步训练好的区域候选网络，收集候选区域；

第二次训练迭代的Fast R-CNN网络，具体步骤与第一次相同。

这是一个循环了两次的训练过程，多次训练可以让模型性能更加优秀，漏判率更低。但是循环更多次就没有提升了。

(4)将待检测的轮胎X光图片输入训练好的模型，输出当前X光图像是否有病疵，有何种病疵，和病疵在图像中的位置。

最后应说明的是，以上实例仅用以说明而非限制本发明的技术方案，尽管参照上述实例对本发明进行了详细说明，本领域的技术人员应当理解，依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于多迭代分类器的轮胎X光病疵检测方法，其特征在于，包括如下步骤：

(1)图像预处理，将用于训练和检测的轮胎X光图片转化为可输入基于多迭代分类器的模型的格式和大小；

(2)构建基于多迭代分类器的模型并初始化

所述的基于多迭代分类器的模型包括三部分：

卷积层：用于获取预处理后图像的特征图；

区域候选网络：用于提取特征图中可能含有病疵的区域，生成候选区域；

迭代的分类网络：包括三层Fast R-CNN；每层Fast R-CNN分为两部分：

第一部分是感兴趣区域池化层；区域候选网络输出的候选区域经过感兴趣区域池化层规范到统一的尺寸大小；

第二部分是分类网络；该层利用候选区域特征图计算是否有病疵及病疵的类别，去掉判断为无病疵的候选区域，同时对判断为有病疵的边框进行边框回归获得病疵更加精确的位置，得到更加精确的候选框后，将其送回下一层Fast R-CNN的感兴趣区域池化层，同时将得到的分类概率接入下一层Fast R-CNN的分类器的展平层中，进行下一次迭代；

(3)训练模型，利用用于训练的轮胎X光图片训练上述模型；

(4)将待检测的轮胎X光图片输入模型，输出当前X光图像是否有病疵，有何种病疵，和病疵在图像中的位置。