CN112613375A - 一种轮胎受损检测识别方法和设备 - Google Patents

一种轮胎受损检测识别方法和设备 Download PDF

Info

Publication number
CN112613375A
CN112613375A CN202011492749.4A CN202011492749A CN112613375A CN 112613375 A CN112613375 A CN 112613375A CN 202011492749 A CN202011492749 A CN 202011492749A CN 112613375 A CN112613375 A CN 112613375A
Authority
CN
China
Prior art keywords
tire
training
model
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011492749.4A
Other languages
English (en)
Other versions
CN112613375B (zh
Inventor
陈起
吴东东
孔宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Life Property and Casualty Insurance Co Ltd
Original Assignee
China Life Property and Casualty Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Life Property and Casualty Insurance Co Ltd filed Critical China Life Property and Casualty Insurance Co Ltd
Priority to CN202011492749.4A priority Critical patent/CN112613375B/zh
Publication of CN112613375A publication Critical patent/CN112613375A/zh
Application granted granted Critical
Publication of CN112613375B publication Critical patent/CN112613375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轮胎受损检测识别方法，包括构建轮胎受损图像数据集和对应的图像样本集，通过图像样本集对目标检测模型进行训练，获得轮胎受损检测识别模型，最后将待识别的原始轮胎受损图像输入到轮胎受损检测识别模型中，输出对应的受损检测定位。本发明还公开了与该方法相对应的轮胎受损检测识别设备。本发明克服了传统人工检测轮胎受损情况的局限，检测时间短，可靠性高，应用范围广。

Description

一种轮胎受损检测识别方法和设备
技术领域
本发明涉及轮胎受损检测技术领域，具体涉及一种基于深度学习的轮胎受损检测识别方法和设备。
背景技术
随着生活水平的提高，越来越多的人成为了有车一族，对于车辆及轮胎的保养需求不断提升，其中单轮胎替换市场规模较大。对于财产保险而言，当轮胎和车身一起遭受意外时，单独轮胎的损坏并不在责任范围内。轮胎意外损坏责任保险正是为了解决轮胎单独损坏这一保险保障的空白而出现的，对正常行驶过程中轮胎出现爆胎、鼓包、开裂等场景提供保险保障服务。
目前轮胎破损识别主要通过人工实现的，需要投入大量的人力，导致理赔效率较低、运营成本较高。因此，亟需一种基于深度学习的轮胎受损检测识别方法，以定位受损轮胎的位置信息、并识别受损类型。
发明内容
本发明针对上述现有技术的不足，提供了一种基于深度学习的轮胎受损检测识别方法，以实现快速检测定位轮胎受损位置、识别受损类型。
为了实现上述目的，本发明的技术方案包括一种轮胎受损检测识别方法，其特征在于，包括以下步骤：
S1、获取原始轮胎受损图像，并对所述原始轮胎受损图像进行数据增强处理，构建轮胎受损图像数据集；
S2、针对所述轮胎受损图像数据集进行图像标注，构建对应的轮胎受损图像样本集；
S3、通过所述轮胎受损图像样本集训练目标检测模型，获得轮胎受损检测识别模型；
S4、将待识别的原始轮胎受损图像输入到所述轮胎受损检测识别模型中，输出对应的受损检测定位。
进一步地，所述步骤S1具体为：
S11、将不同源格式和不同受损类型的所述原始轮胎受损图像转换为统一的图像格式；
S12、对所述原始轮胎受损图像进行数据增强处理；
S13、将数据增强后的轮胎受损图像数据集与正常状态的轮胎图像数据集合并，得到所述轮胎受损图像数据集。
进一步地，所述步骤S11中，所述原始轮胎受损图像的类型包括轮胎鼓包图像、轮胎开裂受损图像、或轮胎爆胎图像；所述步骤S12中，数据增强处理方法包括随机擦除、随机翻转与剪切、随机遮挡、或马赛克处理；所述步骤S13中，数据增强后的轮胎受损图像数据集与正常状态的轮胎图像数据集比例为1:1。
进一步地，所述马赛克处理是将4张所述原始轮胎受损图像拼凑在一个图像中，将原来较大的目标变成小目标，增加了小目标的数量，跨越上下文进行检测。
进一步地，所述步骤S2具体为：
S21、使用开源数据标注工具在可视化界面对所述轮胎受损图像数据集中的受损位置进行画框及标签添加处理；
S22、在标注完成后保存轮胎受损图像以及标签文件，标注后轮胎受损图像数据集的保存格式为VOC格式，所述标签文件包括标签文件对应的轮胎图像文件名、原始轮胎图像的宽高大小以及图像通道数、轮胎受损检测的受损类型以及受损位置的矩形框坐标；
S23、将所述标注后轮胎受损图像数据集分为训练集、验证集以及测试集，所述训练集、验证集和测试集比例为7：2：1，所述标注后轮胎受损图像数据集和所述标签文件构成所述轮胎受损图像样本集。
进一步地，所述步骤S3中采用所述轮胎受损图像样本集训练所述目标检测模型，采用冻结主干网络的训练方式，保留主干网络的预训练模型权重，分两个阶段进行训练，获得所述轮胎受损检测识别模型。
进一步地，所述目标检测模型为YOLOv4模型，所述步骤S3具体为：
S31、采用K-means算法对所述轮胎受损图像样本集进行聚类，得到9个锚，以此来作为轮胎受损检测的基准；
S32、确定第一阶段训练模型,即将冻结了主干网络的所述YOLOv4模型作为所述第一阶段训练模型，所述第一阶段训练模型只训练YOLOv4算法的头部网络和颈部网络；
S33、设置第一阶段训练参数，即设置初始学习率、冻结主干网络预训练的迭代周期，训练的单批次图片数；
S34、进行第一阶段模型训练，即将所述训练集输入到所述第一阶段训练模型中，进行第一阶段的模型训练；
S35、获得第一阶段目标检测模型，即通过所述测试集和所述验证集对所述第一阶段训练模型进行验证，并根据验证结果对所述第一阶段训练模型的参数进行调整，获得所述第一阶段目标检测模型；
S36、确定第二阶段训练模型，即解冻所述第一阶段目标检测模型中的主干网络，得到所述第二阶段训练模型；
S37、设置第二阶段训练参数，设置学习率、解冻主干网络预训练的迭代周期、训练的单批次图片数；
S38、进行第二阶段模型训练，即将所述训练集输入到第二阶段训练模型中，进行第二阶段的模型训练；
S39、获得所述轮胎受损检测识别模型，即当所述第二阶段训练模型的损失值在5个迭代周期内基本不变，完成所述第二阶段训练模型的训练，最后一个迭代周期训练得到的模型作为最终的轮胎受损检测识别模型，即所述轮胎受损检测识别模型。
进一步地，所述步骤S3中：采用Mish激活函数作为神经网络的激活函数，允许更好的信息深入神经网络，负值时允许较小的负梯度流入；采用DropBlock方法进行正则化处理；采用CIoU损失函数，考虑目标与anchor之间的距离、重叠率以及尺度，最小化两个目标框的距离；检测层中采用空间注意力机制和PANet，将深层的网络信息与浅层网络进行融合，将深层提取到的语义特征信息与浅层的高分辨率的特征信息融合；采用DIoU-NMS的方法筛选最后的检测框，通过检测框中心点距离信息将重合度较高的检测框筛出，留下最终所需的目标检测框。
进一步地，所述步骤S3中，当完成第一阶段模型训练的迭代次数后，将所述训练集输入到包含主干网络的整体网络中进行第二阶段模型训练。
本发明的技术方案还涉及一种轮胎受损检测识别设备，包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述任一项方法。
本发明的技术方案还涉及一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上所述任一项方法。
本发明的优势在于：
(1)合理的收集数据集以及分配数据集。数据集的质量一定程度上影响着深度学习算法的质量，所以本发明从现实的业务场景中采集了大量的正常状态下的轮胎图片以及受损状态下的轮胎图片。同时，为解决现实生活中负样本个数远远多于正样本的问题，本发明通过网络爬虫的方法来扩充数据集，增加数据的多样性，进而提高了模型的鲁棒性。
(2)在数据预处理中，采用了Mosaic数据增强方法，增加了单张图片中的语义信息，实现了跨越上下文的检测，增加了图片中的小目标。利用K-means算法将轮胎数据集中的真值框进行聚类，最终得到9种不同宽高比的锚点框，有利于后续检测过程中进行参照对比以及计算。
(3)设计了基于YOLOv4的轮胎受损检测识别网络模型，网络主要由骨干网络CSPDarknet53、颈部网络空间金字塔SPPMet和PANet、头部网络YOLOv3的检测层组成的。设计中采用了上采样的方法来丰富底层特征图的语义信息，采用3个尺度的特征图和9个簇的锚点框对目标进行检测，提高了目标位置的准确性。
(4)训练过程中采用了迁移学习的方法，通过冻结主干网络层进行训练，加快了对检测目标高维特征训练速度。
(5)本发明一定程度上克服了传统的只能通过人工识别轮胎受损检测的单一性，通过基于深度学习的轮胎检测模型对轮胎状态进行识别。轮胎受损检测模型的检测时间短，精确度也具有一定的可靠性，可识别图片中一种或者多种的轮胎受损类型并且精确定位，可广泛用于相关业务中。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一种实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明轮胎检测识别方法的流程图。
图2为本发明轮胎检测识别训练的损失下降图。
图3为本发明一个实施例中检测出轮胎鼓包受损类型以及受损位置定位的轮胎图像。
图4为本发明另一个实施例中检测出轮胎开裂受损类型以及受损位置定位的轮胎图像。
图5为本发明另一个实施例中检测出轮胎开裂受损类型以及受损位置定位的轮胎图像。
图6为本发明另一个实施例中检测出轮胎爆胎受损类型以及受损位置定位的轮胎图像。
具体实施方式
为使本发明中上述的目的、特征和优势更明显易懂，下面结合附图对本发明中的具体实施步骤进行阐述，以便于本技术领域的相关技术人员充分理解。但是本发明不限于具体的实施方式的范围，本领域的技术人员可以在不违背本申请确定的范围和内涵的情况下做类似的改进，因此本发明不受下面公开的具体实施步骤的限制。特别地，当各种变化在所附的权利要求限定的范围内时，本发明中构思的发明创造在保护之列。
如图1所示，一种基于深度学习的轮胎受损检测识别方法，包括了以下步骤：
S1、获取原始车胎图像，并对其进行数据增强处理，构建轮胎受损图像数据集；
S2、对构建的车胎受损图像数据集进行图像标注处理，构建对应的图像样本集；
S3、通过图像数据集对目标检测模型进行训练，本实施例优选YOLOv4模型，获得轮胎受损的检测识别模型；
S4、将待识别的原始轮胎受损图像输入到轮胎受损检测识别模型中，输出对应的轮胎该受损类型以及定位结果。
上述步骤S1具体的实施方法为：
S11、原始轮胎受损图像包括轮胎鼓包图像、轮胎爆胎图像和轮胎开裂图像。一般而言，原始轮胎受损图像通过用户移动端设备对轮胎出险的现实业务场景下进行拍照获得。由于现实场景下的图像收到背景、光照、角度等因素的影响，所以在用户端采集照相时固定拍照模板，方便后续的数据处理。实际上，原始轮胎受损图像是通过不同途径得到，因此需要将不同源格式和不同受损类型的所述原始轮胎受损图像转换为统一的图像格式。
S12、对原始轮胎受损图像进行数据增强处理，数据增强处理方法包括随机擦除、随机翻转与剪切、随机遮挡、或马赛克处理。
其中，马赛克处理是将4张原始图像拼凑在一个图像中，通过拼凑将原来较大的目标变成小目标，增加小目标的数量，跨越上下文进行检测，提高了模型检测的泛化能力。
S13、正样本数据集中需要加入负样本数据集，即数据增强后的轮胎受损图像集中需要加入正常状态下的轮胎图像数据集，正样本数据集和负样本数据集的比例为1：1，增加了数据集的泛化能力。由于现实场景中正样本的数据量远远小于负样本，所以采用网络爬虫的方法丰富数据集，扩充数据量,并于真实场景下采集的数据集进行合并处理。
上述步骤S2的具体实施方法为：
S21、利用开源的数据标注工具对数据集进行标注处理，具体标注方式为：在标注工具的可视化界面对轮胎图像的受损位置进行矩形框标注，同时标注轮胎受损类型。
S22、在标注完成后需保存轮胎受损图像以及xml格式的标签文件，标注后轮胎受损图像数据集保存格式为VOC格式的数据集，文件储存在相应的文件路径下。其中xml标签文件中包括了标签文件对应的轮胎图像文件名、原始轮胎图像的宽高大小以及图像通道数(原始图片都为3个通道)、轮胎受损检测的受损类型以及受损位置的矩形框坐标。
S23、将处理完成后的VOC数据集分为训练集、验证集以及测试集，且训练集、验证集和测试集比例为7：2：1。
进一步地，在上述步骤S21中的轮胎受损类型根据现实的业务场景可分为4类：(1)轮胎鼓包受损，对应的标签名为tirebulge(如图3)；(2)轮胎开裂受损，图中裂缝中有维修工具的类型，对应的标签名为cracked1，由于业务场景的需要，收集到的真实数据中有很大一部分带有维修工具的车胎受损图片(如图4)，以方法用来证实车胎的确处于受损状态；(3)轮胎开裂受损，图中裂缝中无维修工具的类型，对应的标签名为cracked(如图5)；(4)轮胎爆胎受损，对应的标签名为flattire(如图6)。
在处理完轮胎图像后，根据数据集中的标签信息进行YOLOv4模型的训练，采用冻结主干网络的训练方式，保留主干网络的预训练模型权重，分两个阶段进行训练；将主干网络在第一阶段的训练中冻结，在第二阶段的训练中将主干网络解冻后再进行训练，待所述损失值不再下降后得到所述检测识别模型，加快了整体的训练。
具体而言，在上述步骤S3中，采用了迁移学习的方式进行神经网络的训练。第一阶段先对YOLOv4的主干网络CSPdarknet53进行冻结，只对其高层的特征进行训练，冻结的网络层采用了YOLOv4在VOC2007数据集上训练的预训练模型作为初始的网络模型；第二阶段对主干网络模型进行解冻处理，YOLOv4模型的全部网络都参与训练，得到最终的模型。
上述S3具体实施方法为：
S31、采用K-means算法对轮胎数据集中的标注框进行聚类，得到了9个锚，以此来作为轮胎受损检测的基准；
S32、确定第一阶段训练模型,即下载第一阶段的主干网络CSPdarknet53的预训练模型yolo4_voc_weights.pth，冻结主干网络的全部权重，将此时的YOLOv4模型作为第一阶段训练模型，所述第一阶段训练模型只训练YOLOv4模型的头部网络和颈部网络；
S33、设置第一阶段训练的参数：设置初始学习率为0.001，设置训练的冻结主干网络预训练的迭代周期为87，训练的单批次图片数为16；
S34、进行第一阶段训练，即将训练集输入到第一阶段训练模型中，进行第一阶段的模型训练，第一阶段训练采用GPU进行模型训练，训练时每一个迭代周期保存一次模型；
S35、获得第一阶段目标检测模型，即通过测试集和验证集对第一阶段训练模型进行验证，并根据验证结果对第一阶段训练模型的参数进行调整，获得第一阶段目标检测模型；
S36、确定第二阶段训练模型，即解冻第一阶段目标检测模型中的主干网络，得到第二阶段训练模型；
S37、设置第二阶段训练的参数：学习率设置为0.0001，训练的单批次图片数为4，解冻主干网络预训练的迭代周期为300；
S38、进行第二阶段训练，即将所述训练集输入到第二阶段训练模型中，进行第二阶段的模型训练，第二阶段对主干网络进行解冻，算法中所有网络层都进行训练，依旧采用GPU对模型进行训练，训练过程中每训练一个迭代周期保存一次模型；
S39、获得所述轮胎受损检测识别模型，即当所述第二阶段训练模型的损失值在5个迭代周期内基本不变，完成第二阶段训练模型的训练，最后一个迭代周期训练得到的模型作为最终的轮胎受损检测识别模型，即所述轮胎受损检测识别模型。
在上述训练过程中，对于整体的网络层结构中采用了Mish激活函数：f(x)＝x*tanh(log(1+ex))式中x为神经元的输入，其中
Figure BDA0002841157310000091
使用Mish函数后，允许更好的信息深入神经网络，负值的时候允许较小的负梯度流入，信息不会中断，从而得到更好的准确性和泛化能力。整个网络的训练过程中采用了余弦退火衰减的方式进行学习率下降。相对于传统的Dropout的正则化方法，采用了DropBlock的方式随机失活原始图像的一整块区域。DropBlock优于Dropout，这是由于对于单个失活单位周围的特征信息同样会受到干扰，相反的，采用DropBlock方法进行正则化处理，随机失活整垮区域会减少这种干扰，提升泛化能力。
同样地，整个网络通过损失函数进行约束。采用的损失函数为CIoU损失函数：
Figure BDA0002841157310000092
特别的，为说明本发明的基本原理，损失函数进行了简化。其中，d2为预测框中心点的L2距离，c为并框的对角线距离，α是用于做权衡的参数，ν是衡量长宽比一致性的参数。CIoU损失函数将目标与anchor之间的距离、重叠率以及尺度都考虑进去，直接最小化两个目标框的距离，使得训练收敛的更快，目标框回归变得更加稳定。
最后的检测层中用空间注意力机制和PANet，将深层的网络信息与浅层网络进行融合，将深层提取到的语义特征信息与浅层的高分辨率的特征信息融合，提高模型的检测效率。对于最后检测框的筛选采用了DIoU-NMS的方法进行处理，通过检测框中心点距离信息将重合度较高的检测框筛出，留下最终所需的目标检测框。
进一步地，在第一阶段训练完成后模型的训练损失值维持在3左右，验证集损失值为8.5左右。通过第一阶段的训练得到一个大致的算法模型，因为冻结了主干网络只训练深层网络，所以在检测层待检测的特征对于训练任务的检测效果一般；经过第二阶段的训练，将之前冻结的主干网络进行解冻，整体网络进行迭代训练以后，整个模型的检测精度和泛化能力都有提升，整体的训练的损失下降如图2所示。
进一步地，在检测层中采用了3个尺度的特征图进行预测，其中每个特征图中有3个簇的锚点框来对目标进行预测。首先，通过数据集中的标签文件提取所有被检测轮胎受损位置的矩形框的坐标信息，从而得到每个框的宽高信息；在通过K-means算法对所有框的宽高信息进行无监督学习，得到了9个不同的簇；最后的检测层中，深层的特征图用大尺度锚点框进行预测，浅层的特征图用小尺度锚点框进行预测，实现浅层特征图预测小目标，深层特征图预测大目标。
上述步骤S4具体的实施方法为：
S41、用户通过手机端对受损轮胎进行现场拍照；
S42、图像经过编码及加密后上传到服务端；
S43、服务端经过解码及解密后得到原始的轮胎受损图像，图像经过算法模型后得到检测结果，服务端再将检测结果返回用户端。
进一步地，步骤S43中返回的检测结果包括有图片是否存在受损、图片的受损类型、将受损位置的用矩形框标注后的图片，用户可直观的看到轮胎受损的状况，同时也方便相关业务的进行。
综上所述，本发明提出了一种基于深度学习的轮胎受损检测识别方法，可以更好的定位与识别轮胎受损状态下的受损位置，通过提高了检测层特征图的局部语义信息，提高了模型对小目标检测的能力，同时也加强了泛化能力。通过本发明可以更快速有效的识别受损轮胎，解放了人力，提高工作效率。
以上所述实施例的各技术特征可以进行多种等同替换，为使描述简洁，未对上述实施例中的各个技术特征所有可能的等同替换都进行描述，然而，只要这些技术特征的等同替换不存在矛盾，都应当认为是本说明书记载的范围。

Claims (11)

1.一种轮胎受损检测识别方法，其特征在于，包括以下步骤：
S1、获取原始轮胎受损图像，并对所述原始轮胎受损图像进行数据增强处理，构建轮胎受损图像数据集；
S2、针对所述轮胎受损图像数据集进行图像标注，构建对应的轮胎受损图像样本集；
S3、通过所述轮胎受损图像样本集训练目标检测模型，获得轮胎受损检测识别模型；
S4、将待识别的原始轮胎受损图像输入到所述轮胎受损检测识别模型中，输出对应的受损检测定位。
2.根据权利要求1所述轮胎受损检测识别方法，其特征在于，所述步骤S1具体为：
S11、将不同源格式和不同受损类型的所述原始轮胎受损图像转换为统一的图像格式；
S12、对所述原始轮胎受损图像进行数据增强处理；
S13、将数据增强后的轮胎受损图像数据集与正常状态的轮胎图像数据集合并，得到所述轮胎受损图像数据集。
3.根据权利要求2所述轮胎受损检测识别方法，其特征在于：
所述步骤S11中，所述原始轮胎受损图像的类型包括轮胎鼓包图像、轮胎开裂受损图像、或轮胎爆胎图像；
所述步骤S12中，数据增强处理方法包括随机擦除、随机翻转与剪切、随机遮挡、或马赛克处理；
所述步骤S13中，数据增强后的轮胎受损图像数据集与正常状态的轮胎图像数据集比例为1:1。
4.根据权利要求3所述轮胎受损检测识别方法，其特征在于：所述马赛克处理是将4张所述原始轮胎受损图像拼凑在一个图像中，将原来较大的目标变成小目标，增加了小目标的数量，跨越上下文进行检测。
5.根据权利要求1所述轮胎受损检测识别方法，其特征在于，所述步骤S2具体为：
S21、使用开源数据标注工具在可视化界面对所述轮胎受损图像数据集中的受损位置进行画框及标签添加处理；
S22、在标注完成后保存轮胎受损图像以及标签文件，标注后轮胎受损图像数据集的保存格式为VOC格式，所述标签文件包括标签文件对应的轮胎图像文件名、原始轮胎图像的宽高大小以及图像通道数、轮胎受损检测的受损类型以及受损位置的矩形框坐标；
S23、将所述标注后轮胎受损图像数据集分为训练集、验证集以及测试集，所述训练集、验证集和测试集比例为7：2：1，所述标注后轮胎受损图像数据集和所述标签文件构成所述轮胎受损图像样本集。
6.根据权利要求5所述轮胎受损检测识别方法，其特征在于，所述步骤S3中采用所述轮胎受损图像样本集训练所述目标检测模型，采用冻结主干网络的训练方式，保留主干网络的预训练模型权重，分两个阶段进行训练，获得所述轮胎受损检测识别模型。
7.根据权利要求6所述轮胎受损检测识别方法，其特征在于，所述目标检测模型为YOLOv4模型，所述步骤S3具体为：
S31、采用K-means算法对所述轮胎受损图像样本集进行聚类，得到9个锚，以此来作为轮胎受损检测的基准；
S32、确定第一阶段训练模型,即将冻结主干网络全部权重的所述YOLOv4模型作为第一阶段训练模型，所述第一阶段训练模型只训练所述YOLOv4模型的头部网络和颈部网络；
S33、设置第一阶段训练参数，即设置初始学习率、冻结主干网络预训练的迭代周期，训练的单批次图片数；
S34、进行第一阶段模型训练，即将所述训练集输入到所述第一阶段训练模型中，进行第一阶段模型训练；
S35、获得第一阶段目标检测模型，即通过所述测试集和所述验证集对所述第一阶段训练模型进行验证，并根据验证结果对所述第一阶段训练模型的参数进行调整，获得所述第一阶段目标检测模型；
S36、确定第二阶段训练模型，即解冻所述第一阶段目标检测模型中的主干网络，得到所述第二阶段训练模型；
S37、设置第二阶段训练参数，设置学习率、解冻主干网络预训练的迭代周期、训练的单批次图片数；
S38、进行第二阶段模型训练，即将所述训练集输入到第二阶段训练模型中，进行第二阶段的模型训练；
S39、获得所述轮胎受损检测识别模型，即当所述第二阶段训练模型的损失值在5个迭代周期内基本不变，完成所述第二阶段训练模型的训练，最后一个迭代周期训练得到的模型作为最终的轮胎受损检测识别模型，即所述轮胎受损检测识别模型。
8.根据权利要求7所述轮胎受损检测识别方法，其特征在于，所述步骤S3中，采用Mish激活函数作为神经网络的激活函数，允许更好的信息深入神经网络，负值时允许较小的负梯度流入；
采用DropBlock方法进行正则化处理；
采用CIoU损失函数，考虑目标与anchor之间的距离、重叠率以及尺度，最小化两个目标框的距离；
检测层中采用空间注意力机制和PANet，将深层的网络信息与浅层网络进行融合，将深层提取到的语义特征信息与浅层的高分辨率的特征信息融合；
采用DIoU-NMS的方法筛选最后的检测框，通过检测框中心点距离信息将重合度较高的检测框筛出，留下最终所需的目标检测框。
9.根据权利要求7所述轮胎受损检测识别方法，其特征在于，所述步骤S3中，当完成第一阶段模型训练的迭代次数后，将所述训练集输入到包含主干网络的整体网络中进行第二阶段模型训练。
10.一种轮胎受损检测识别设备，其特征在于，所述轮胎受损检测识别设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的方法。
11.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至9中任一项所述的方法。
CN202011492749.4A 2020-12-16 2020-12-16 一种轮胎受损检测识别方法和设备 Active CN112613375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492749.4A CN112613375B (zh) 2020-12-16 2020-12-16 一种轮胎受损检测识别方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011492749.4A CN112613375B (zh) 2020-12-16 2020-12-16 一种轮胎受损检测识别方法和设备

Publications (2)

Publication Number Publication Date
CN112613375A true CN112613375A (zh) 2021-04-06
CN112613375B CN112613375B (zh) 2024-05-14

Family

ID=75240888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011492749.4A Active CN112613375B (zh) 2020-12-16 2020-12-16 一种轮胎受损检测识别方法和设备

Country Status (1)

Country Link
CN (1) CN112613375B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255691A (zh) * 2021-04-15 2021-08-13 南昌大学 一种输电线路涉鸟故障危害鸟种目标检测与识别方法
CN113269105A (zh) * 2021-05-28 2021-08-17 西安交通大学 电梯场景下的实时晕倒检测方法、装置、设备和介质
CN113469117A (zh) * 2021-07-20 2021-10-01 国网信息通信产业集团有限公司 一种多路视频实时检测方法及***
CN113486949A (zh) * 2021-07-02 2021-10-08 江苏罗思韦尔电气有限公司 基于YOLO v4渐进定位的遮挡目标检测方法及装置
CN113807240A (zh) * 2021-09-15 2021-12-17 国网河北省电力有限公司衡水供电分公司 基于非配合式人脸识别的变电站人员着装智能监控方法
WO2023042895A1 (ja) * 2021-09-17 2023-03-23 京セラ株式会社 学習済みモデル生成方法、推論装置、及び学習済みモデル生成装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564563A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于Faster R-CNN的轮胎X光病疵检测方法
CN108960245A (zh) * 2018-07-13 2018-12-07 广东工业大学 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN110120036A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种多尺度的轮胎x光病疵检测方法
CN110120035A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种可判别病疵等级的轮胎x光病疵检测方法
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564563A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于Faster R-CNN的轮胎X光病疵检测方法
WO2019232830A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物检测方法、装置、计算机设备及存储介质
CN108960245A (zh) * 2018-07-13 2018-12-07 广东工业大学 轮胎模具字符的检测与识别方法、装置、设备及存储介质
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN110120036A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种多尺度的轮胎x光病疵检测方法
CN110120035A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种可判别病疵等级的轮胎x光病疵检测方法
CN110136101A (zh) * 2019-04-17 2019-08-16 杭州数据点金科技有限公司 一种基于孪生距离比对的轮胎x光病疵检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周仿荣等: "基于YOLO v3的输电线路缺陷快速检测方法", 云南电力技术, vol. 48, no. 04, 15 August 2020 (2020-08-15), pages 112 - 116 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255691A (zh) * 2021-04-15 2021-08-13 南昌大学 一种输电线路涉鸟故障危害鸟种目标检测与识别方法
CN113269105A (zh) * 2021-05-28 2021-08-17 西安交通大学 电梯场景下的实时晕倒检测方法、装置、设备和介质
CN113486949A (zh) * 2021-07-02 2021-10-08 江苏罗思韦尔电气有限公司 基于YOLO v4渐进定位的遮挡目标检测方法及装置
CN113469117A (zh) * 2021-07-20 2021-10-01 国网信息通信产业集团有限公司 一种多路视频实时检测方法及***
CN113807240A (zh) * 2021-09-15 2021-12-17 国网河北省电力有限公司衡水供电分公司 基于非配合式人脸识别的变电站人员着装智能监控方法
WO2023042895A1 (ja) * 2021-09-17 2023-03-23 京セラ株式会社 学習済みモデル生成方法、推論装置、及び学習済みモデル生成装置

Also Published As

Publication number Publication date
CN112613375B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN112613375A (zh) 一种轮胎受损检测识别方法和设备
CN107368787B (zh) 一种面向深度智驾应用的交通标志识别方法
CN110889449A (zh) 一种增强边缘的、多尺度的遥感影像建筑物语义特征提取方法
CN110060237A (zh) 一种故障检测方法、装置、设备及***
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN111832615A (zh) 一种基于前景背景特征融合的样本扩充方法及***
CN109886147A (zh) 一种基于单网络多任务学习的车辆多属性检测方法
Chatterjee et al. Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection.
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN111275171A (zh) 一种基于参数共享的多尺度超分重建的小目标检测方法
CN115239644B (zh) 混凝土缺陷识别方法、装置、计算机设备和存储介质
CN112766170B (zh) 基于簇类无人机图像的自适应分割检测方法及装置
CN117152484B (zh) 基于改进的YOLOv5s的小目标布匹瑕疵检测方法
CN111723815A (zh) 模型训练方法、图像处理方法、装置、计算机***和介质
Han et al. Vision-based crack detection of asphalt pavement using deep convolutional neural network
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN115578693A (zh) 一种基于显著性神经网络模型的施工安全预警方法和装置
CN115115969A (zh) 视频检测方法、装置、设备、存储介质和程序产品
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN110751152B (zh) 检测任意形状文本的方法
CN110569871B (zh) 一种基于深度卷积神经网络的鞍部点识别方法
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质
CN116052110A (zh) 一种路面标线缺损智能定位方法及***
CN114782983A (zh) 基于改进特征金字塔和边界损失的道路场景行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant