CN115294033A - 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 - Google Patents
一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 Download PDFInfo
- Publication number
- CN115294033A CN115294033A CN202210855373.1A CN202210855373A CN115294033A CN 115294033 A CN115294033 A CN 115294033A CN 202210855373 A CN202210855373 A CN 202210855373A CN 115294033 A CN115294033 A CN 115294033A
- Authority
- CN
- China
- Prior art keywords
- tire
- image
- network
- semantic segmentation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 230000011218 segmentation Effects 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000002950 deficient Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 239000002699 waste material Substances 0.000 claims description 5
- 229910000831 Steel Inorganic materials 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 239000010959 steel Substances 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 238000003672 processing method Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明提出了一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,包括采集带束层、趾口和胎侧的轮胎射线图像预训练编码器网络;分割胎冠带束层左侧和右侧区域制作训练和测试数据集;设计了解码器网络融合各阶段的特征图并输出像素级的带束层区域;语义分割算法集成于缺陷检测软件;通过扫码器获取轮胎型号,利用对比轮胎X射线图像的图上像素距离与实际尺寸的比例,确定轮胎带束层的坐标;依照实际的生产标准,判别两种缺陷是否发生以及严重程度。本发明能够实时监测是否存在带束层缺陷,解决传统图像处理方法无法灵活应对复杂多样的轮胎型号检测需求以及人工检测时漏检率居高不下的困难。
Description
技术领域
本发明涉及轮胎质量的自动化检测领域,具体是一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法。
背景技术
轮胎的质量不仅关系着乘车人的安全,而且影响每个道路通行者切身生命财产。因此,在轮胎生产环节中,质量检测可以避免不合格的产品流入消费者手中。目前,子午线轮胎占据主要的市场份额,该种类型的轮胎在胎面贴合了多层钢丝,大大提高了轮胎强度和稳定性。子午线轮胎结构复杂,生产环节增加,从而引发各种类型的缺陷。为应对种轮胎内部缺陷的问题,最常用的无损检测方案是将轮胎产品方置在X光室内进行照射,对并生成的二维灰度图按企业标准进行测量。虽然大量的企业仍然采用人工目测的方法,但人工目测图像的过程在效率和准确性方面存在极大不足。基于计算机视觉的方法实现缺陷检测是发展的趋势。
为了满足智能化的检测的需求,许多研究者针对轮胎X射线图像展开了研究。不同轮胎型号在原料量和原料类型上存在差异,X射线通过后呈现的灰度图的亮暗度存在明显差异.传统的缺陷检测方法需要根据轮胎的型号设定相关算法参数,同时对灰度图的亮度特别敏感。如何设计一种轮胎缺陷检测方案,减少图像亮度对检测效果的影响,同时兼顾多种型号轮胎的缺陷检测是亟待解决的问题。
近年来,深度学习技术在图像分类、目标识别、语义分割等领域得到了广泛的应用。在轮胎厂实际的生产过程中,缺陷检测的过程不仅包括判别是否存在缺陷,同时包括判别缺陷的严重程度。根据严重程度通常可以将缺陷分为次品和废品。因此,本发明的目的是应用深度学习网络实现次品和废品的精确判断。
轮胎带束层区域容易发生差级和错边缺陷,带束层边界坐标决定着是否发生缺陷。在人工目测的缺陷检测流程中,需要逐条轮胎进行精确测量才能判断缺陷的严重程度。这严重影响了每条轮胎的缺陷检测速度。语义分割网络可以实现像素级的分类,满足提取并测量带束层像素坐标。因此,本发明中提出使用语义分割网络代替人工完成缺陷级别的判定任务。
发明内容
本发明基于一种轻量化的语义分割网络检测带束层的两种缺陷,并在分割精度和推理速度上得到权衡,使带束层差级和错边缺陷的检测在速度和精度两个方面优于人工目测的方式。
为达到上述目的,本发明的方法流程是:利用读码器获取轮胎表面贴附的二维码中包含的型号信息,距离传感器感知轮胎在X光室内检测完成的时刻,此时将上位机采集的X射线图像传输至自动缺陷检测***,完成轮胎质量在线检测。本发明的关键是基于深度学习的语义分割网络的设计,包括原始轮胎X射线图像的预处理、编码器结构的设计和解码器结构的设计。所述轮胎X射线图像检测算法的输出结果将在设计的上位机界面进行动态显示。所述的语义分割网络包含训练和测试两个过程,其中,使用的数据来自合作轮胎生产企业的真实样本。所述的语义分割网络输入图像尺寸是256×256像素,原始轮胎X射线的输入图像尺寸是8000×2469像素,利用本发明中特有的区域分割算法进行尺寸裁剪。所述的X射线图像的采集上位机和自动缺陷检测软件安装的上位机是独立的。
根据以上构想,本发明具体内容如下:
一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,可用于成品轮胎质量的出厂检测环节,根据检测结果分为合格品、次品和废品,并执行相应的分拣动作,包含以下步骤:
步骤1、根据轮胎X射线图像生成设备的动作过程,确定距离传感器和扫码器的安装位置,设计信号触发装置;
步骤2、对采集的轮胎X射线图像进行区域分割,裁剪出语义分割网络需要的输入图像尺寸,形成数据集;
步骤3、设计轻量化的编码器结构,对X射线图像的各个区域的纹理特征和空间信息进行捕获,同时记录语义上下文信息,利用构造的预训练方法保存编码器的参数权重;
步骤4、设计基于特征融合的解码器结构,根据训练数据集学习输出灰度图像的像素级分类结果;
步骤5、根据比例尺计算带束层图像坐标对应的实际轮胎位置,对比次品和废品标准,确定缺陷位置、尺寸和类型。
进一步地,所述步骤1具体包括如下步骤:
步骤1.1、扫码器读取表面的条形码标签并获取关于轮胎型号的信息,通过网线连接自动缺陷检测软件,根据软件连接数据库中保存的型号—比例尺对应关系,正处于检测阶段的轮胎图上像素和实际尺寸的比例对应取得。
步骤1.2、对于轮胎X射线成像设备的动作流程进行跟踪记录,记录与X射线成像结束相关的动作,分析发现不影响成像的前提下,距离传感器合适的安装位置。
步骤1.3、安装距离传感器,建立与PLC控制模块及上位机的通信路径,距离传感器的检测信号实时传递到PLC控制单元,当位置信息与X射线成像设备检测完成的动作位置一致时,PLC控制单元向自动缺陷检测软件发送读取X射线图像的指令,此时两台工控机进行图像数据传递和存储。
进一步地,所述步骤2具体包括以下步骤:
步骤2.1、利用直方图均衡化提升图像的对比度,为进一步突出趾口、胎体(包括胎侧和胎肩)和胎冠的纹理差异性,这里考虑使用Scharr算子消除胎体帘线。Scharr算子在垂直方向的算子是3×3的矩阵,对图像I卷积运算表示为如下公式:
可见通过垂直方向的卷积可有效消除钢丝帘线的纹理,因此本发明中使用垂直方向的Sobel算子实现帘线消除。
步骤2.2、经Scharr算子卷积运算后的全尺寸轮胎X射线图像在各区域的灰度值区别明显,使用Otsu实现二值化处理,分割的阈值是前景与背景的最大类间方差,如下式所示:
上式中,ma和mb分别表示前景和背景中像素的平均灰度值,mg表示整张图像的平均灰度,Pa表示前景像素在整张图像中的比重,Pb表示背景像素在整张图像中的比重,二值化的阈值选择方式是依次迭代选取分割阈值0≤k≤255,最佳分割阈值k*满足
步骤2.3、轮胎区域分割任务可以转化为连通域轮廓提取,根据轮廓跟踪算法计算每个连通域的轮廓坐标,实现连通域面积的计算,选取面积最大的一个连通域。根据连通域轮廓坐标的位置可以确定其代表的胎冠区域。
步骤2.4、将胎冠左侧和右侧的边界坐标分别扩展,在保证图像垂直方向宽度是256像素的条件下裁剪出区域图,左胎冠的区域图包括左侧两层带束层的坐标,右胎冠的区域图包括右侧两层带束层的坐标。裁剪出256×256像素的子图,在水平方向上依次选择256像素进行裁剪,关于最后一张子图高度不足256像素的情况可向上提取部分区域,达到冗余裁剪的目的,最终形成网络训练阶段的输入图像。
步骤2.5、预训练阶段的输入图像包括三类,分别是趾口区域、胎侧区域和带束层区域,三个区域的纹理结构各不相同,使得预训练阶段的网络可以学习各区域纹理的代表性特征。图像尺寸是256×256像素,类编号分别是0、1、2。
步骤2.6、训练阶段输入图像的标签采用Labelme标注,标注轮廓内的带束层像素被二分类为1,标注轮廓外的背景像素被分类为0。
步骤2.7、预训练阶段的训练集和测试集图像划分比例是4:1,训练阶段的训练集和测试集图像划分比例是3:1。图像划分时选择方式是随机批抽取,直到满足数据集比例时停止抽取操作。训练阶段的带束层区域图像组成的数据集中包括了目前生产的所有轮胎型号,同时保证各种类型轮胎数量基本一致。
进一步地,所述步骤3具体包括以下步骤:
步骤3.1、预训练阶段对输入图像做分类任务,为减少数据集中的样本数量,采用高效的对比学习方法,无需对预训练阶段的数据进行标注。执行分类任务的网络结构使用改进的ConvNeXt,其后连接池化层和线性连接层,输出类别与队列结构中存储的负样本数量相同。
步骤3.2、预训练使网络中的可学习参数不断更新,最终池化层之前的参数值被保留,并在训练阶段加载为语义分割网络的初值。
进一步地,所述步骤4具体包括以下步骤:
步骤4.1、语义分割网络的解码器包括深度可分离卷积、1×1卷积、多尺寸池化模块。在编码器的最深层连接多尺寸池化结构,浅层特征图与深层特征图在融合前经过通道映射,融合后使用深度可分离卷积实现特征提取。
解码器在四个阶段输出图像可上采样到与输入图像尺寸相同,分别与标签图计算交叉熵损失,联合损失完成反向传播训练网络参数,损失函数如下式所示:
其中,G表示标签图,Pi是解码器的输出,βi是深层特征图在总损失中比中重,默认设置β1=0.5,β2=0.25,β3=0.1,Lm是主损失计算策略;P0表示解码器在第一个阶段的输出;i表示解码器的阶段编号;La表示辅助损失计算策略。
步骤4.2、预测轮胎X射线图像的像素级输出时使用最浅层的编码器输出,该特征图中包含语义信息、空间信息和边界信息。
进一步地,所述步骤5具体包括以下步骤:
步骤5.1、在预测过程中,原始的轮胎X射线图像经过所述的区域分割和裁剪,得到N张尺寸是256×256的样本,经过语义分割网络预测二分类区域,左右两侧带束层坐标由区域分割的边界求取。
步骤5.2、缺陷检测是在像素级分割的基础上测量坐标间距,语义分割网络预测了带束层区域,再经过边界坐标映射,根据图上像素与轮胎真实位置的比例尺换算决定是否发生缺陷,将判定次品和废品轮胎分拣。
与现有技术相比,本发明具有以下优点:
1、易于实现,不需要人工干预,实时自动检测故障。
2、轮胎带束层差级和错边缺陷的检测速度快且精度高。
3、可实现带束层差级和错边缺陷在线实时诊断,故障信息界面动态显示。
4、对成品轮胎的质量进行缺陷检测,有助于及时发现生产环节的不足,为优化生产工艺提供参考。
附图说明
图1是本发明实施例中的轮胎带束层两种类型缺陷检测的流程图;
图2是本发明实施例中预训练网络示意图;
图3是本发明实施例中语义分割网络的架构图;
图4是本发明实施例中多尺寸池化模块示意图;
图5是本发明实施例中带束层坐标定位与缺陷检测效果图;
图6是本发明实施例中缺陷示意图。
具体实施方式
下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例是对发明内容的示范性说明,不限定该缺陷检测方法检测带束层区域的缺陷类型,本领域的专业技术人员可将该方法应用于多个区域的轮胎缺陷检测。
如图1所示,一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,包含以下步骤:
步骤1、距离传感器和扫码器设计安装。
本发明实施例中扫码器读取表面的条形码标签并获取关于轮胎型号的信息,通过网线连接自动缺陷检测软件,根据软件连接数据库中保存的型号—比例尺对应关系,正处于检测阶段的轮胎图上像素和实际尺寸的比例对应取得。
进一步的,对于轮胎X射线成像设备的动作流程进行跟踪记录,记录与X射线成像结束相关的动作,分析发现不影响成像的前提下,距离传感器合适的安装位置。
进一步的,安装距离传感器,建立与PLC控制模块及上位机的通信路径,距离传感器的检测信号实时传递到PLC控制单元,当位置信息与X射线成像设备检测完成的动作位置一致时,PLC控制单元向自动缺陷检测软件发送读取X射线图像的指令,此时两台工控机进行图像数据传递和存储。
步骤2、数据集构建与预处理。
本发明实施例中利用直方图均衡化提升图像的对比度,为进一步突出趾口、胎体(包括胎侧和胎肩)和胎冠的纹理差异性,这里考虑使用Scharr算子消除胎体帘线。Scharr算子在垂直方向的算子是3×3的矩阵,对图像I卷积运算表示为如下公式:
可见通过垂直方向的卷积可有效消除钢丝帘线的纹理,因此本发明中使用垂直方向的Sobel算子实现帘线消除。
进一步的,经Scharr算子卷积运算后的全尺寸轮胎X射线图像在各区域的灰度值区别明显,使用Otsu实现二值化处理,分割的阈值是前景与背景的最大类间方差,如下式所示:
上式中,ma和mb分别表示类a和类b中像素的平均灰度值,mg表示整张图像的平均灰度,二值化的阈值选择方式是依次迭代选取分割阈值0≤k≤255,最佳分割阈值k*满足Pa表示类a像素在整张图像中的比重,Pb表示类b像素在整张图像中的比重。
进一步的,轮胎区域分割任务可以转化为连通域轮廓提取,根据轮廓跟踪算法计算每个连通域的轮廓坐标,实现连通域面积的计算,选取面积最大的一个连通域。根据连通域轮廓坐标的位置可以确定其代表的胎冠区域。
进一步的,将胎冠左侧和右侧的边界坐标分别扩展,在保证图像垂直方向宽度是256像素的条件下裁剪出区域图,左胎冠的区域图包括左侧两层带束层的坐标,右胎冠的区域图包括右侧两层带束层的坐标。裁剪出256×256像素的子图,在水平方向上依次选择256像素进行裁剪,关于最后一张子图高度不足256像素的情况可向上提取部分区域,达到冗余裁剪的目的,最终形成网络训练阶段的输入图像。
进一步的,预训练阶段的输入图像包括三类,分别是趾口区域、胎侧区域和带束层区域,三个区域的纹理结构各不相同,使得预训练阶段的网络可以学习各区域纹理的代表性特征。图像尺寸是256×256像素,类编号分别是0、1、2。
进一步的,训练阶段输入图像的标签采用Labelme标注,标注轮廓内的带束层像素被二分类为1,标注轮廓外的背景像素被分类为0。
进一步的,预训练阶段的训练集和测试集图像划分比例是4:1,训练阶段的训练集和测试集图像划分比例是3:1。图像划分时选择方式是随机批抽取,直到满足数据集比例时停止抽取操作。训练阶段的带束层区域图像组成的数据集中包括了目前生产的所有轮胎型号,同时保证各种类型轮胎数量基本一致。
步骤3、基于对比学习的预训练。
本发明实施例中预训练阶段对输入图像做分类任务,为减少数据集中的样本数量,采用高效的对比学习方法,无需对预训练阶段的数据进行标注。执行分类任务的网络结构使用改进的ConvNeXt,其后连接池化层和线性连接层,输出类别与队列结构中存储的负样本数量相同。
进一步的,预训练使网络中的可学习参数不断更新,最终,池化层之前的参数值被保留,并在训练阶段加载为语义分割网络的初始化值。
进一步的,如图2所示,预训练过程中选取的负样本字典的容量是100,字典随训练批次动态更新,每次更新时保存在字典中最久的批样本会被替代。
进一步的,输入预训练网络的轮胎X射线图像经过图像增强产生特化的正样本,通过对比输入图像与特化正样本、字典中负样本的相似度,并不断提高正样本间的相似度,降低负样本间的相似度,使得纹理特征编码结构有效识别带束层的特征信息。
步骤4、设计了基于特征融合的解码器结构。
如图3所示,本发明实施例中语义分割网络的解码器包括深度可分离卷积、1×1卷积、多尺寸池化模块。如图4所示,在编码器的最深层连接多尺寸池化结构,浅层特征图与深层特征图在融合前经过通道映射,融合后使用深度可分离卷积实现特征提取。
进一步,所述步骤4中解码器在四个阶段输出图像可上采样到与输入图像尺寸相同,分别与标签图计算交叉熵损失,联合损失完成反向传播训练网络参数,损失函数如下式所示:
其中,G表示标签图,Pi是解码器的输出,βi是深层特征图在总损失中比中重,默认设置β1=0.5,β2=0.25,β3=0.1,Lm是主损失计算策略;P0表示解码器在第一个阶段的输出;i表示解码器的阶段编号;La表示辅助损失计算策略。
进一步的,预测轮胎X射线图像的像素级输出时使用最浅层的编码器输出,该特征图中包含语义信息、空间信息和边界信息。
步骤5、根据比例尺计算带束层图像坐标对应的实际轮胎位置,对比次品和废品标准,确定缺陷位置、尺寸和类型。
本发明实施例在预测过程中,原始的轮胎X射线图像经过所述的区域分割和裁剪,得到N张尺寸是256×256的样本,经过语义分割网络预测二分类区域,左右两侧带束层坐标由区域分割的边界求取。
进一步的,如图5所示,缺陷检测是在像素级分割的基础上测量坐标间距,语义分割网络预测了带束层区域,再经过边界坐标映射,根据图上像素与轮胎真实位置的比例尺换算决定是否发生缺陷,将判定次品和废品轮胎分拣,如图6所示,带束层差级和错边示意图。
本发明上述实施例基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,包括采集带束层、趾口和胎侧的轮胎射线图像预训练编码器网络;分割胎冠带束层左侧和右侧区域制作训练和测试数据集;设计了解码器网络融合各阶段的特征图并输出像素级的带束层区域;语义分割算法集成于缺陷检测软件;通过扫码器获取轮胎型号,利用对比轮胎X射线图像的图上像素距离与实际尺寸的比例,确定轮胎带束层的坐标;依照实际的生产标准,判别两种缺陷是否发生以及严重程度。本发明上述实施例能够实时监测是否存在带束层缺陷,解决传统图像处理方法无法灵活应对复杂多样的轮胎型号检测需求以及人工检测时漏检率居高不下的困难。
上面对本发明实施例结合附图进行了说明,但本发明不限于上述实施例,还可以根据本发明的发明创造的目的做出多种变化,凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化,均应为等效的置换方式,只要符合本发明的发明目的,只要不背离本发明的技术原理和发明构思,都属于本发明的保护范围。
Claims (6)
1.一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,其特征在于:包含以下步骤:
步骤1、根据轮胎X射线图像生成设备的动作过程,确定距离传感器和扫码器的安装位置,设计信号触发装置;
步骤2、对采集的轮胎X射线图像进行区域分割,裁剪出语义分割网络需要的输入图像尺寸,形成数据集;
步骤3、设计轻量化的编码器结构,对X射线图像的各个区域的纹理特征和空间信息进行捕获,同时记录语义上下文信息,利用构造的预训练方法保存编码器的参数权重;
步骤4、设计基于特征融合的解码器结构,根据训练数据集学习输出灰度图像的像素级分类结果;
步骤5、根据比例尺计算带束层图像坐标对应的实际轮胎位置,对比次品和废品标准,确定缺陷位置、尺寸和类型。
2.根据权利要求1所述的基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,其特征在于:所述步骤1具体包括:
步骤1.1、扫码器读取表面的条形码标签并获取关于轮胎型号的信息,通过网线连接自动缺陷检测软件,根据软件连接数据库中保存的型号—比例尺对应关系,正处于检测阶段的轮胎图上像素和实际尺寸的比例对应取得;
步骤1.2、对于轮胎X射线成像设备的动作流程进行跟踪记录,记录与X射线成像结束相关的动作,分析发现不影响成像的前提下,距离传感器合适的安装位置;
步骤1.3、安装距离传感器,建立与PLC控制模块及上位机的通信路径,距离传感器的检测信号实时传递到PLC控制单元,当位置信息与X射线成像设备检测完成的动作位置一致时,PLC控制单元向自动缺陷检测软件发送读取X射线图像的指令,此时两台工控机进行图像数据传递和存储。
3.根据权利要求1所述的基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,其特征在于:所述步骤2具体包括:
步骤2.1、利用直方图均衡化提升图像的对比度,为进一步突出趾口、胎体:包括胎侧和胎肩、胎冠的纹理差异性,考虑使用Scharr算子消除胎体帘线,Scharr算子在垂直方向的算子是3×3的矩阵,对图像I卷积运算表示为如下公式:
通过垂直方向的卷积有效消除钢丝帘线的纹理,因此使用垂直方向的Sobel算子实现帘线消除;
步骤2.2、经Scharr算子卷积运算后的全尺寸轮胎X射线图像在各区域的灰度值区别明显,使用Otsu实现二值化处理,分割的阈值是前景与背景的最大类间方差,如下式所示:
上式中,ma和mb分别表示前景和背景中像素的平均灰度值,mg表示整张图像的平均灰度,Pa表示前景像素在整张图像中的比重,Pb表示背景像素在整张图像中的比重,二值化的阈值选择方式是依次迭代选取分割阈值0≤k≤255,最佳分割阈值k*满足
步骤2.3、轮胎区域分割任务转化为连通域轮廓提取,根据轮廓跟踪算法计算每个连通域的轮廓坐标,实现连通域面积的计算,选取面积最大的一个连通域,根据连通域轮廓坐标的位置确定其代表的胎冠区域;
步骤2.4、将胎冠左侧和右侧的边界坐标分别扩展,在保证图像垂直方向宽度是256像素的条件下裁剪出区域图,左胎冠的区域图包括左侧两层带束层的坐标,右胎冠的区域图包括右侧两层带束层的坐标;裁剪出256×256像素的子图,在水平方向上依次选择256像素进行裁剪,关于最后一张子图高度不足256像素的情况向上提取部分区域,达到冗余裁剪的目的,最终形成网络训练阶段的输入图像;
步骤2.5、预训练阶段的输入图像包括三类,分别是趾口区域、胎侧区域和带束层区域,三个区域的纹理结构各不相同,使得预训练阶段的网络学习各区域纹理的代表性特征,图像尺寸是256×256像素,类编号分别是0、1、2;
步骤2.6、训练阶段输入图像的标签采用Labelme标注,标注轮廓内的带束层像素被二分类为1,标注轮廓外的背景像素被分类为0;
步骤2.7、预训练阶段的训练集和测试集图像划分比例是4:1,训练阶段的训练集和测试集图像划分比例是3:1;图像划分时选择方式是随机批抽取,直到满足数据集比例时停止抽取操作;训练阶段的带束层区域图像组成的数据集中包括了目前生产的所有轮胎型号,同时保证各种类型轮胎数量基本一致。
4.根据权利要求1所述的基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,其特征在于:所述步骤3具体包括:
步骤3.1、预训练阶段对输入图像做分类任务,为减少数据集中的样本数量,采用高效的对比学习方法,无需对预训练阶段的数据进行标注;执行分类任务的网络结构使用改进的ConvNeXt,其后连接池化层和线性连接层,输出类别与队列结构中存储的负样本数量相同;
步骤3.2、预训练使网络中的可学习参数不断更新,最终池化层之前的参数值被保留,并在训练阶段加载为语义分割网络的初值。
5.根据权利要求1所述的基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,其特征在于:所述步骤4具体包括:
步骤4.1、语义分割网络的解码器包括深度可分离卷积、1×1卷积、多尺寸池化模块;在编码器的最深层连接多尺寸池化结构,浅层特征图与深层特征图在融合前经过通道映射,融合后使用深度可分离卷积实现特征提取;
解码器在四个阶段输出图像上采样到与输入图像尺寸相同,分别与标签图计算交叉熵损失,联合损失完成反向传播训练网络参数,损失函数如下式所示:
其中,G表示标签图,Pi是解码器的输出,βi是深层特征图在总损失中比中重,默认设置β1=0.5,β2=0.25,β3=0.1,Lm是主损失计算策略;P0表示解码器在第一个阶段的输出;i表示解码器的阶段编号;La表示辅助损失计算策略。
步骤4.2、预测轮胎X射线图像的像素级输出时使用最浅层的编码器输出,该特征图中包含语义信息、空间信息和边界信息。
6.根据权利要求1所述的基于语义分割网络的轮胎带束层差级和错边缺陷检测方法,其特征在于:所述步骤5具体包括:
步骤5.1、在预测过程中,原始的轮胎X射线图像经过所述的区域分割和裁剪,得到N张尺寸是256×256的样本,经过语义分割网络预测二分类区域,左右两侧带束层坐标由区域分割的边界求取;
步骤5.2、缺陷检测是在像素级分割的基础上测量坐标间距,语义分割网络预测了带束层区域,再经过边界坐标映射,根据图上像素与轮胎真实位置的比例尺换算决定是否发生缺陷,将判定次品和废品轮胎分拣。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210855373.1A CN115294033A (zh) | 2022-07-19 | 2022-07-19 | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210855373.1A CN115294033A (zh) | 2022-07-19 | 2022-07-19 | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115294033A true CN115294033A (zh) | 2022-11-04 |
Family
ID=83823456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210855373.1A Pending CN115294033A (zh) | 2022-07-19 | 2022-07-19 | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115294033A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116379927A (zh) * | 2023-05-31 | 2023-07-04 | 湖南隆深氢能科技有限公司 | 应用于贴合生产线的精准检测方法、***以及存储介质 |
CN117474917A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 缺陷检测方法和装置、电子设备以及存储介质 |
CN117830318A (zh) * | 2024-03-06 | 2024-04-05 | 陕西新奥华材料科技有限公司 | 基于图像处理的油墨印刷缺陷检测方法 |
-
2022
- 2022-07-19 CN CN202210855373.1A patent/CN115294033A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116379927A (zh) * | 2023-05-31 | 2023-07-04 | 湖南隆深氢能科技有限公司 | 应用于贴合生产线的精准检测方法、***以及存储介质 |
CN116379927B (zh) * | 2023-05-31 | 2023-08-29 | 湖南隆深氢能科技有限公司 | 应用于贴合生产线的精准检测方法、***以及存储介质 |
CN117474917A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 缺陷检测方法和装置、电子设备以及存储介质 |
CN117830318A (zh) * | 2024-03-06 | 2024-04-05 | 陕西新奥华材料科技有限公司 | 基于图像处理的油墨印刷缺陷检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862064B (zh) | 一种基于深度学习的银质丝材表面瑕疵识别方法 | |
CN109977808B (zh) | 一种晶圆表面缺陷模式检测与分析方法 | |
CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
CN111444939B (zh) | 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法 | |
CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
CN113160192A (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
CN109284779A (zh) | 基于深度全卷积网络的物体检测方法 | |
CN108764361B (zh) | 基于集成学习的游梁式抽油机示功图的工况识别方法 | |
CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
CN113344903A (zh) | 一种基于变分自编码器的玻璃瑕疵检测方法 | |
CN113643268A (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
CN110660049A (zh) | 一种基于深度学习的轮胎缺陷检测方法 | |
CN114757925A (zh) | 一种非接触式高压断路器缺陷检测方法及*** | |
CN114972316A (zh) | 基于改进YOLOv5的电池壳端面缺陷实时检测方法 | |
CN117011260A (zh) | 一种芯片外观缺陷自动检测方法、电子设备及存储介质 | |
CN116559111A (zh) | 一种基于高光谱成像技术的高粱品种识别方法 | |
CN113989179B (zh) | 基于目标检测算法的列车轮对踏面缺陷检测方法及*** | |
CN111783616A (zh) | 一种基于数据驱动自学习的无损检测方法 | |
CN112396580B (zh) | 一种圆形零件缺陷检测方法 | |
CN113468994A (zh) | 基于加权采样和多分辨率特征提取的三维目标检测方法 | |
CN115830302B (zh) | 一种多尺度特征提取融合配电网设备定位识别方法 | |
CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
CN114119562B (zh) | 一种基于深度学习的刹车盘外表面缺陷检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |