CN110322430A - 一种两阶段的轮胎x光病疵检测方法 - Google Patents

一种两阶段的轮胎x光病疵检测方法 Download PDF

Info

Publication number
CN110322430A
CN110322430A CN201910414725.8A CN201910414725A CN110322430A CN 110322430 A CN110322430 A CN 110322430A CN 201910414725 A CN201910414725 A CN 201910414725A CN 110322430 A CN110322430 A CN 110322430A
Authority
CN
China
Prior art keywords
defect
region
tire
stage
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910414725.8A
Other languages
English (en)
Inventor
陈金水
丁启元
范彬彬
李莹
杨颖�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Data Point Gold Technology Co Ltd
Original Assignee
Hangzhou Data Point Gold Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Data Point Gold Technology Co Ltd filed Critical Hangzhou Data Point Gold Technology Co Ltd
Priority to CN201910414725.8A priority Critical patent/CN110322430A/zh
Publication of CN110322430A publication Critical patent/CN110322430A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Immunology (AREA)

Abstract

本发明公开了一种两阶段的轮胎X光病疵检测方法，该方法包括两阶段：第一阶段先提出一些可能存在目标病疵的区域，使用区域候选网络获得候选区域和区域的类别概率值，随后第二阶段将得到的候选区域送到感兴趣区域池化层统一尺寸，然后将其送入分类层进行分类，同时将在区域候选网络中得到的区域类别概率接入到分类器的展平层中，通过分类网络和回归网络得到病疵及病疵所在位置；本发明的方法可避免因为人的因素造成的轮胎检测效率低下，在主要解决漏判的情况下一定程度地解决误判问题，从而大大提高轮胎的安全性，并且能减轻质检人员的压力。

Description

一种两阶段的轮胎X光病疵检测方法
技术领域
本发明属于计算机视觉和工业检测技术领域，涉及一种两阶段的轮胎X光病疵检测方法，是一种基于目标检测算法的疵检测方法，使计算机可以代替人工检测轮胎X光图像中的病疵。
背景技术
轮胎拍摄X光属于轮胎制造过程的最后一个质量监控阶段，现在各大生产商一般都是采取三班轮换制来控制这个阶段的质量。具体的流程是，轮胎送到X光机通道，X光机给轮胎拍摄X光图像，质量监测人员在显示器前就看到X光图像，然后质检人员就会根据X光判断是否有病疵，如果有病疵则当前这条轮胎会送入到专门的通道进行处理，否则轮胎进入下一个流程。目前国内轮胎生产商的质检方式主要存在以下问题：
首先，效率比较低下，一个轮胎的X光图像一般都比较大，熟练的质检人员要完全判别一个轮胎是否有病疵都需要消耗数十秒的时间；其次，判别准确度不高，误判、漏判多，长期看显示屏屏幕人容易疲劳，在这种情况下，有可能出现将有病疵的图像判别为无病疵，造成漏判或者病疵类别判断错误，造成误判。误判和漏判这两种情况中最关键的是要解决漏判问题，这也是工业界最关心的一个问题，病疵类别判断错了，由于没有卖给商家，所以不会造成安全问题，但是漏判了，一旦到了商家手里就可能有安全隐患；最后，长期进行人工判别，对质检人员健康损伤较大。长期对着显示屏会对眼睛造成伤害，导致质检人员出现头晕目眩的情况。根据近三年的统计，人员检测X光图片的漏判率大约为2.3％，所谓的漏判率即将有病疵的图片判别为无病疵。
目标检测(Object Detection)是计算机视觉领域的基本任务之一，其在学术界的研究历史已有二十年。近些年随着深度学习的崛起，目标检测算法一般都是基于深度学习来完成的。目前目标检测主要分为两个阵营：二阶段目标检测算法和一阶段目标检测算法。二阶段目标检测算法需要先生成候选框，然后在候选框的基础之上进行细分类别和位置。二阶段目标检测算法的代表为Faster R-CNN。但Faster R-CNN有以下问题：
首先是Faster R-CNN容易把有病疵图片的图片判断为正常图片，这样虽然导致了Faster R-CNN在是否是病疵图片的查准率比较高，但是存在着过多的误判，查全率太低，而且对于工业应用来讲，有病疵的图片判断为无病疵比无病疵判别为有病疵的影响要大很多。
其次，查准率和查全率还需要提高很多。
发明内容
针对现有质检方式存在的上述问题。本发明提供了一种两阶段的轮胎X光病疵检测方法。第一阶段先提出一些可能存在目标物体的区域，使用区域候选网络获得候选区域和区域的类别概率值，随后第二阶段将得到的候选区域和类别概率接入到分类器中，筛选并得到病疵及病疵所在位置。
一种两阶段的轮胎X光病疵检测方法，目标是输入轮胎X光图片，输出当前X光图像是否有瑕疵，是何种瑕疵，和病疵在图像中的位置，包括如下步骤：
(1)图像预处理。将用于训练和检测的轮胎X光图片转化为可输入模型的格式和大小；
(2)构建并初始化模型。本模型分为以下两阶段：
在第一阶段中，原始图像经过卷积神经网络之后得到一系列的特征图，然后特征图输入到区域候选网络(RPN)，区域候选网络提取特征图中可能含有物体的区域，即候选区域，并得到此候选区域的类别概率值；
在第二阶段中，将这些大小不一的候选区域送到感兴趣区域池化层(ROIpooling)统一尺寸，然后将其送入分类层进行分类，同时将在区域候选网络中得到的区域类别概率接入到分类器的展平层中，通过分类网络和回归网络得到病疵及病疵所在位置。
(3)基于训练集训练模型。
(4)将待检测轮胎X光图像输入模型中，得到是否有病疵和病疵所在位置。
本发明的有益技术效果在于：该两阶段的轮胎X光病疵检测方法可避免因为人的因素造成的轮胎检测效率低下，在主要解决漏判的情况下一定程度地解决误判问题，从而大大提高轮胎的安全性，并且能减轻质检人员的压力。
附图说明
图1为两阶段的轮胎X光病疵检测方法流程图；
图2为感兴趣区域池化层示意图；
图3为分类层部分网络结构图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施例子对本发明进行详细说明。
本实例旨在按本发明实现对轮胎X光图像的病疵检测。该方法流程包括图像预处理、模型训练、将待测图片输入模型等步骤，如图1所示，具体实现过程如下：
(1)图像预处理。本例共标注了40390张病疵图片，每张病疵图片标出所有病疵的位置以及病疵的类型。原始图片大小是2000*1900的大小，在标注病疵的时候是直接在原始图上标注的。由于算法计算力的限制，将其分为11张1900*1900的小图，小图之间会有一定的重叠(下一张与上一张图片大约重叠82个像素)，因此需要将相应的坐标位置进行从变换，改写记录病疵类型以及坐标的xml文件。由于图片的病疵非常稀疏，切图几乎不会造成病疵的遗漏。
将图片处理成VOC文件格式，VOC文件主要包含三个文件夹：第一个文件夹是Annotations，这个文件夹里面存放的是描述图片中病疵类型和位置的xml文件；第二个文件夹是JPGImages，该文件夹主要存放的是所有的图片文件；第三个文件夹是ImageSets，该文件夹下存放的是四个txt文件，分别是train.txt、val.txt、trainval.txt、test.txt，这四个文本文件分别记录训练图片，验证图片，训练验证图片和测试图片。
(2)构建并初始化模型。
在第一阶段中，首先输入1900*1900的图像，这个尺寸将会被压缩成600*600的输入大小。输入图片经过Conv-ReLU-Pooling结构的多层卷积神经网络，提取出特征图，供后续的区域候选网络和分类网络使用。卷积层采用VGG16模型，先将P×Q的原始图片缩放到M×N的大小，然后经过13个Conv-ReLU层以及四个最大值池化层。所有卷积层的核都是3×3的，填充值(padding)为1，步长(stride)也为1，这是为了保证每次卷积之后的输出特征图的尺寸和输入尺寸一致。池化层的核为2×2，填充值为0，步长为2，这是为了每次池化之后特征图尺寸减半。M×N的图片，经过卷积层之后，变成了(M/16)×(N/16)的特征图。然后，这些特征图会被送入区域候选网络。区域候选网络实际分为两个平行网络，一条通过归一化指数函数分类器(softmax)分类锚(anchors)获得前景和背景即有无病疵，另一条用于计算对于锚的边框回归偏移量，以获得精确的候选区域。最后综合含有病疵的锚和边框回归偏移量获取候选区域，同时剔除太小和超出边界的候选区域。在这一阶段中，输出的数据为候选区域以及区域的前景背景分类概率。
接下来将上一阶段中输出的候选区域以及区域的分类概率输入到第二阶段中。经过区域候选网络的特征图的大小是不一样的，但是由于最后的分类网络使用全连接层的原因，要求输入大小是固定的，因此区域候选网络输出的候选区域需要经过感兴趣区域池化层规范到统一的尺寸大小。该层的具体操作如图3所示，左图四个黑色区域中，每一个区域选择一个最大的数值，这样形成了右图的最后结果。具体操作为：根据输入的候选区域，将感兴趣的区域映射到特征图对应位置，然后将映射后的区域划分为相同大小的区段，最后对每个区段进行最大值池化的操作。最后将统一大小的候选区域以及分类概率输入至分类层中。首先将分类概率接入到展平层中，然后使用分类网络判断候选区域具体的病疵类别或者有无病疵，使用回归网络再次对边框进行回归得到更加精确的形状和位置。最后分类层将输出具体的病疵类别和病疵的位置。
(3)训练模型。此处将区域候选网络中使用的交叉熵损失函数改为焦点损失函数。因为轮胎X光图像中，每张图像的病疵数量都是很少的，绝大多数为背景，导致了训练区域候选网络的阶段，负样本(即背景)的数量远远大于正样本(即病疵)的数量。焦点损失函数的目的时减少背景样本的权重，从而使得模型在训练时更关注于病疵样本。焦点损失函数的定义为：FL(pt)＝-(1-pt)γlog(pt)
其中pt是预测类别为t的概率，γ为平衡因子，本例取2。
由于轮胎检测的重点是不能漏掉病疵，因此不能使用MAP(Mean AveragePrecision)作为评价指标。评价指标的设定应考虑两方面，第一个方面是正常图片与病疵图片判断的准确性，这也是轮胎生产商最关注的一个问题；第二个问题是在图片为病疵图片的情况下，该轮胎X光图片属于哪一种具体的病疵类型。因此本例采用的衡量指标主要是判断是否是正常图片的查全率与查准率，以及病疵图片的具体病疵类型判别的查准率和查全率。这里使用的评价指标为IoU(Intersection over Union)，简单来讲就是模型预测的窗口与原来标记窗口的重叠率。理想情况下是预测的方框与真实标记完全一样，此时IoU为1，IoU示意图如图3所示。
根据轮胎生产商的需求，衡量一个算法的优劣主要有两个评价指标，一个是查准率一个是查全率。其中P代表查准率(Precision)，R代表查全率(recall)，假设一个二分类问题，分别是正例和负例(正例即表示有病疵，负例为无病疵)。实际为正例，模型预测也为正例的称之为TP(True Positive)；实际为正例，模型预测为负例的称之为FN(FalseNegative)；实际为负例，模型预测也为负例的称之为TN(True Negative)；实际为负例，模型预测为正例的称之为FP(False Negative)。当以检测的边框为主体时，IoU>＝0.3时模型预测是对的，即TP；当IoU<0.3时认为模型预测错了，即FP。当以实际边框为主体时，当IoU<0.3时认为模型未检测出该边框，即FN。P与R公式如下：
n(TP)为检测到的TP的数目，其余同理。
(4)将待检测的轮胎X光模型输入模型中，可得是否有病疵和病疵所在位置。
最后应说明的是，以上实例仅用以说明而非限制本发明的技术方案，尽管参照上述实例对本发明进行了详细说明，本领域的技术人员应当理解，依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或者局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种两阶段的轮胎X光病疵检测方法，其特征在于，包括如下步骤：
(1)图像预处理；将用于训练和检测的轮胎X光图片转化为可输入模型的格式和大小；
(2)构建并初始化模型，所述的模型分为以下两阶段：
在第一阶段中，原始图像经过卷积神经网络之后得到一系列的特征图，然后特征图输入到区域候选网络(RPN)，区域候选网络提取特征图中可能含有病疵的区域，即候选区域，并得到此候选区域的类别概率值；
在第二阶段中，将这些大小不一的候选区域送到感兴趣区域池化层(ROI pooling)统一尺寸，然后将其送入分类层进行分类，同时将在区域候选网络中得到的区域类别概率接入到分类器的展平层中，通过分类网络和回归网络得到病疵及病疵所在位置；
(3)基于训练集和正常图像训练模型；
(4)将待检测轮胎X光图像输入模型中，得到是否有病疵和病疵所在位置。
2.如权利要求1所述的一种两阶段的轮胎X光病疵检测方法，其特征在于，步骤(2)中采用焦点损失函数作为分类损失函数。
CN201910414725.8A 2019-05-17 2019-05-17 一种两阶段的轮胎x光病疵检测方法 Withdrawn CN110322430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414725.8A CN110322430A (zh) 2019-05-17 2019-05-17 一种两阶段的轮胎x光病疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414725.8A CN110322430A (zh) 2019-05-17 2019-05-17 一种两阶段的轮胎x光病疵检测方法

Publications (1)

Publication Number Publication Date
CN110322430A true CN110322430A (zh) 2019-10-11

Family

ID=68113140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414725.8A Withdrawn CN110322430A (zh) 2019-05-17 2019-05-17 一种两阶段的轮胎x光病疵检测方法

Country Status (1)

Country Link
CN (1) CN110322430A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107316300A (zh) * 2017-07-17 2017-11-03 杭州盈格信息技术有限公司 一种基于深度卷积神经网络的轮胎x光病疵检测方法
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN107977686A (zh) * 2017-12-22 2018-05-01 浙江大学 一种工业x光图像的分类方法
CN108564563A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于Faster R-CNN的轮胎X光病疵检测方法
CN109523518A (zh) * 2018-10-24 2019-03-26 浙江工业大学 一种轮胎x光病疵检测方法
CN109557104A (zh) * 2018-11-19 2019-04-02 临沂众为智能科技有限公司 一种基于深度学习的木料优选锯智能检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107316300A (zh) * 2017-07-17 2017-11-03 杭州盈格信息技术有限公司 一种基于深度卷积神经网络的轮胎x光病疵检测方法
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN107977686A (zh) * 2017-12-22 2018-05-01 浙江大学 一种工业x光图像的分类方法
CN108564563A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于Faster R-CNN的轮胎X光病疵检测方法
CN109523518A (zh) * 2018-10-24 2019-03-26 浙江工业大学 一种轮胎x光病疵检测方法
CN109557104A (zh) * 2018-11-19 2019-04-02 临沂众为智能科技有限公司 一种基于深度学习的木料优选锯智能检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN等: "Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3 [CS.CV]》 *
崔雪红: "基于深度学习的轮胎缺陷无损检测与分类技术研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
常海涛: "基于Faster R-CNN的工业CT图像缺陷检测研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Similar Documents

Publication Publication Date Title
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及***
CN109859163A (zh) 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN110120036A (zh) 一种多尺度的轮胎x光病疵检测方法
CN108074231A (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN111209434A (zh) 一种基于多源异构数据融合的变电站设备巡检***及方法
CN108875602A (zh) 监控环境下基于深度学习的人脸识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN110717481A (zh) 一种利用级联卷积神经网络实现人脸检测的方法
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN110335242A (zh) 一种基于多模型融合的轮胎x光病疵检测方法
CN111652846B (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN108446588A (zh) 一种双时相遥感影像变化检测方法及***
CN115471487A (zh) 绝缘子缺陷检测模型构建及绝缘子缺陷检测方法、装置
CN110009019A (zh) 磁性材料裂纹智能检测***及方法
CN115019294A (zh) 一种指针式仪表读数识别方法及***
CN112184679A (zh) 一种基于YOLOv3的酒瓶瑕疵自动检测方法
CN110120035A (zh) 一种可判别病疵等级的轮胎x光病疵检测方法
CN113962929A (zh) 光伏电池组件缺陷检测方法、***及光伏电池组件生产线
CN110335244A (zh) 一种基于多迭代分类器的轮胎x光病疵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191011