CN111598854A - 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法 - Google Patents

基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法 Download PDF

Info

Publication number
CN111598854A
CN111598854A CN202010368806.1A CN202010368806A CN111598854A CN 111598854 A CN111598854 A CN 111598854A CN 202010368806 A CN202010368806 A CN 202010368806A CN 111598854 A CN111598854 A CN 111598854A
Authority
CN
China
Prior art keywords
stage
layer
convolution
output
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010368806.1A
Other languages
English (en)
Other versions
CN111598854B (zh
Inventor
陈海永
刘聪
王霜
刘卫朋
张建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202010368806.1A priority Critical patent/CN111598854B/zh
Publication of CN111598854A publication Critical patent/CN111598854A/zh
Application granted granted Critical
Publication of CN111598854B publication Critical patent/CN111598854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法，其特征在于，该方法包括获取含有待分割对象的图像，并利用丰富鲁棒卷积特征模型对含有待分割对象的图像进行特征重组，获得每个侧输出层的特征图；每个侧输出层的特征图依次连接一个反卷积层和一个侧输出层精细损失函数，得到每个阶段侧输出层的预测特征图；同时在模型中添加一个融合层，将所有侧输出层特征图反卷积后的特征图融合在一起，然后连接一个融合层精细损失函数获得最终预测图，实现缺陷分割。该方法解决了目标像素和背景像素之间占比不均衡导致的预测结果不准确的问题，能预测出精细目标。

Description

基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
技术领域
本发明涉及锂电池表面缺陷检测技术领域，具体涉及一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法。
背景技术
锂电池表面缺陷检测已经成为锂电池表面质量控制的重要技术手段，锂电池表面质量不仅可以提升电池组件的使用寿命，也可以提高锂电池的发电效率。
对于基于卷积神经网络(CNN)的裂纹分割方法通常面临着两个问题，其一是裂纹的漏检或误检严重，其二是预测的裂纹分割结果较粗，需要复杂的后期处理才能获得精细裂纹。锂电池表面具有复杂的非均匀纹理背景是产生上述问题的主要原因之一，另一个原因是缺陷图像中裂纹像素与背景像素的占比极度不均衡，例如缺陷图像尺寸为100万像素，而缺陷像素只占几十个像素甚至十几个像素。
通过不同的卷积层获得的信息随层数变深而变得更粗糙，更具备“全局性”，低层卷积层包含了复杂的随机纹理背景和目标细节信息，对于目标信息和背景的区分尚不明显，网络学习到的只是一些形状、边角特征等不具有区分性的信息，在更高层卷积层中重要的目标信息被保留下来，而中间卷积层则包含了必不可少的目标细节信息。但是，一般的卷积神经网络模型仅使用最后一个卷积层或各个阶段池化层之前的卷积层的输出特征，忽视了中间卷积层包含的目标细节信息；而对于裂纹分割来说，其面临的关键性问题就是背景和目标信息的相似度很高，过度的融合势必造成误检严重。
尽管基于卷积神经网络的分割方法擅长预测出富含语义信息的轮廓、边缘等特征，但是通过分析可知直接采用基于卷积神经网络进行裂纹分割的预测结果比真实标签的标注裂纹粗得多，导致不能精确地定位裂纹像素。现有文献中很少讨论预测裂纹、边缘、轮廓或者线条过粗的问题，一个可能的原因是这些方法通常会在生成初始预测结果后应用使裂纹、边缘、轮廓或者线条细化的后期处理方法来获得接近真实标签的预测结果，使得处理后的预测结果的宽度对结果看似没有什么影响，实际会降低预测的精度，因此在一些对像素级的精确定位有着较高要求的检测任务中，不能满足需求。
损失函数是用来评估模型的预测值与真实值之间不一致的程度，损失函数越小，代表模型的鲁棒性越好，损失函数能指导模型学习。而锂电池裂纹缺陷图像由于裂纹像素与背景像素占比极度不均衡，导致负样本(背景像素)占有模型损失的很大一部分比重，这会使学习过程陷入损失函数的局部最小值，造成预测更偏向于背景像素，训练出的模型也无法检测出裂纹这一“不容易发生的事件”，因此锂电池裂纹缺陷图像中裂纹像素与背景像素占比不均衡对损失函数产生的影响，是导致裂纹分割结果较粗的根本原因。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法。
本发明解决所述技术问题采用的技术方案是：
一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法，其特征在于，该方法包括获取含有待分割对象的图像，并利用丰富鲁棒卷积特征模型对含有待分割对象的图像进行特征重组，获得每个侧输出层的特征图；每个侧输出层的特征图依次连接一个反卷积层和一个侧输出层精细损失函数，得到每个阶段侧输出层的预测特征图；
同时在模型中添加一个融合层，将所有侧输出层特征图反卷积后的特征图融合在一起，然后连接一个融合层精细损失函数获得最终预测图，实现缺陷分割；
其中，侧输出层精细损失函数，满足公式(1)：
Figure BDA0002477492780000021
Pside＝σ(Aside)，Aside＝{aj，j＝1，……|Y|} (2)
式中，L(k)(Pside，G)表示第k阶段的距离损失函数；L(W，w(k))表示第k阶段的加权交叉熵损失函数；Pside表示第k阶段侧输出层的预测特征图；σ为sigmoid激活函数；Aside表示k个阶段侧输出层的预测特征图所有像素处激活值的集合；aj表示第k阶段侧输出层的预测特征图中的任一像素j处的激活值；Y表示图中缺陷像素和非缺陷像素之和；
融合层精细损失函数由下式得到：
Lfuse(W，w)＝Lc(Pfuse，G) (3)
Figure BDA0002477492780000022
式中，Lc表示标准的交叉熵损失函数；Pfuse表示k个阶段侧输出层的预测特征图的融合，即融合层权重；K表示阶段总数；
使用argmin函数将融合层精细损失函数和所有阶段的侧输出层精细损失函数汇总起来，得到目标函数L，用公式(5)表示；
Figure BDA0002477492780000023
最后优化目标函数，获得侧输出层精细损失函数以及融合层精细损失函数的权重。
利用丰富鲁棒卷积特征模型进行特征重组的具体过程为：
在原始ResNet40网络的基础上去掉全连接层和第五阶段的池化层，原始ResNet40网络第一阶段的标识块层以及第二阶段的标识块层分别侧向连接一个卷积层，得到第一、二阶段侧输出层的特征图；
在原始ResNet40网络的第三、四、五阶段中的每个块层之后分别侧向连接一个卷积层，得到各自块层卷积后的特征图，然后将同一阶段所有的块层卷积后的特征图分别进行逐元素相加获得相应阶段侧输出层的特征图。
第一、二阶段的标识块层侧向连接的卷积层的卷积核大小1×1、步长和通道数均为1；第三、四、五阶段中的每个块层后侧向连接的卷积层的卷积核大小为1×1、步长为1、通道数为21。
所述原始ResNet40网络包括40个卷积层和位于网络最后一层的全连接层，分为5个阶段，每个阶段均包含一个卷积块层和一个或多个标识块层，其中第一、二阶段分别包含一个含卷积块层和一个标识块层，第三、四、五阶段分别包含一个卷积块层和两个标识块层，每个卷积块层和标识块层均包含多个卷积层；每个阶段在所有的标识块层之后均加入一个池化窗口大小为2×2、步长为1的池化层。
原始ResNet40网络的具体结构为：首先输入的目标图像依次经过卷积核大小为5×5、步长为1、通道数为32的卷积和卷积核大小为2×2、步长为2的最大池化层后得到第一阶段的输入特征；第一阶段的输入特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为32的三个卷积和一个卷积核大小为1×1、步长为1、通道数为32的残差连接后得到第一阶段卷积块层的输出特征；第一阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为32的三个卷积后得到第一阶段标识块层的输出特征；第一阶段标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第一阶段的输出特征；
第一阶段的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数为均为64的三个卷积和一个卷积核大小为1×1、步长为1、通道数为64的残差连接后得到第二阶段卷积块层的输出特征；第二阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为64的三个卷积后得到第二阶段标识块层的输出特征；第二阶段标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第二阶段的输出特征；
第二阶段的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数为均为256的三个卷积和一个卷积核大小为1×1、步长为1、通道数为256的残差连接后得到第三阶段卷积块层的输出特征；第三阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为256的三个卷积后得到第三阶段第一标识块层的输出特征；第三阶段第一标识块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为256的三个卷积后得到第三阶段第二标识块层的输出特征；第三阶段第二标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第三阶段的输出特征；
第四阶段的操作过程与第三阶段相同，第三阶段的输出特征重复第三阶段的操作后得到第四阶段的输出特征；
第五阶段的操作过程与第四阶段的卷积块层和两个标识块层的操作过程相同，第四阶段的输出特征重复第四阶段的卷积块层和两个标识块层的操作后得到第五阶段的输出特征。
一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法，该方法的具体步骤是：
S1图像预处理
采集含有待分割缺陷的图像，将采集的图像归一化处理为1024×1024像素；对归一化处理后的图像添加像素级标签，这些添加了标签的图像即为目标图像；将目标图像按照比例分为不同的样本集；
S2构建丰富鲁棒卷积特征模型
以原始ResNet40网络为基础，在原始ResNet40网络第一阶段的标识块层以及第二阶段的标识块层分别侧向连接一个卷积层，得到第一、二阶段侧输出层的特征图；
在原始ResNet40网络的第三、四、五阶段中的每个块层之后分别侧向连接一个卷积层，得到各自块层卷积后的特征图，然后将同一阶段所有的块层卷积后的特征图分别进行逐元素相加获得相应阶段侧输出层的特征图；
将上述五个阶段侧输出层的特征图分别连接一个反卷积层(deconv)进行上采样，得到各自阶段反卷积后的特征图，并将每个阶段反卷积后的特征图分别连接一个侧输出层精细损失函数进行逐像素分类，得到每个阶段侧输出层的预测特征图；
将上述各个阶段反卷积后的特征图连接在一起，然后通过卷积核大小为1×1、步长为1的卷积层融合所有反卷积后的特征图，得到融合层特征图；融合层特征图最后连接一个融合层精细损失函数，得到最终预测特征图；
S3模型训练与测试
初始化模型参数，输入训练用的目标图像及其对应的像素级标签；在模型训练过程中通过随机梯度下降法将损失传递至每个卷积层的权重，并更新其权重值，随机梯度下降法的动量为0.9，权重衰减为0.0005；每个训练过程中随机采样1张图像，迭代周期数达到100周期时停止训练，完成模型的训练；
将测试用的目标图像缩放调整到1024x1024像素，并将缩放后的目标图像输入到训练完成的模型中；单张图像测试时间为0.1s，重复模型的操作，完成模型测试。
所述待分割对象为裂纹、边缘或线状结构。
与现有技术相比，本发明的有益效果是：
本发明从卷积特征的合理利用和设计损失函数的角度出发，旨在使模型学习到尽可能丰富完整的缺陷特征，并在不使用后期处理方法的情况下预测出具有鲁棒性的精细缺陷，使模型学习到的缺陷特征能产生与真实标签尽可能相似的预测特征图；因此，本发明以原始ResNet40网络为基础，构建了丰富鲁棒卷积特征模型，并在Keras1.13深度学习框架下进行端到端的深度学习，该模型采用了多尺度和多等级特征的网络结构，更多的融合了高层特征(第三、四、五阶段)，而较少的融合低层(第一、二阶段)特征，同时在每个阶段分别采用卷积核大小为1x1的卷积进行叠加融合，将所有卷积特征封装为更丰富更鲁棒的表达方式，提高了特征的表达能力；而且利用了每个阶段中间层的输出特征图，克服了现有常规卷积神经网络模型仅使用最后一个卷积层或各个阶段池化层之前的卷积层的输出特征的而忽视中间层包含的目标细节信息的缺陷。
本发明针对裂纹像素和非裂纹像素之间占比不均衡导致的预测结果不准确的问题，为预测出精细裂纹，分别在各个阶段的侧输出层引入了侧输出层精细损失函数，在模型的融合层引入了融合层精细损失函数，侧输出层精细损失函数结合了加权交叉熵损失函数和距离损失函数，精细侧输出层的预测特征图中的缺陷特征，同时在模型训练过程中通过侧输出层精细损失函数优化侧输出层中各个卷积层的权重；融合层精细损失函数又融合了侧输出层精细损失函数，精细最终预测特征图中的缺陷特征，同时在模型训练过程中通过融合层精细损失函数优化融合层中各个卷积层的权重，实现了对裂纹从全局到局部的预测。
从实验结果来看，相较于传统的滤波器分割方法和常规卷积神经网络，使用丰富鲁棒卷积特征模型可以预测出更精细的裂纹，使裂纹分割识别准确率能达到79.64％。
本方法能为与裂纹结构类似的具有极度长宽比，且对精细性有较高要求的目标分割提供思路。
附图说明
图1为本发明的丰富鲁棒卷积特征模型的网络结构图；
图2为本发明的不同分割方法的裂纹分割结果图；
图3为本发明的不同分割方法的评估结果对比图。
具体实施方式
下面将结合具体附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面以应用于锂电池中进行锂电池表面裂纹缺陷为例，对本申请方法进行详细叙述。
本发明提供一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法(简称方法)，包括以下步骤：
S1图像预处理
S1-1获取图像
利用140万近红外相机采集锂电池图像，本发明采集的锂电池图像实际大小为165mm×165mm，将采集的图像归一化处理为1024×1024像素，作为原始图像，本申请中不需要对原始图像进行复杂的预处理过程，保证尺寸归一化后能用于模型输入即可；该图像尺寸的设置几乎保持与原始相机采集的图像尺寸相当，能够更好地保留图像原始信息，且没有复杂的处理过程，提高了算法处理速度，满足了生产线检测的实时性要求；原始图像包括含有待分割对象的图像和不含有待分割对象的图像；
S1-2制作图像标签
使用Labelimg软件分别对步骤S1-1中所有含有待分割对象的原始图像进行手动标注，添加像素级标签，像素级标签包含了缺陷的面积大小和空间位置信息，这些添加了标签的图像即为用于模型训练、测试以及验证的目标图像；
S1-3制作样本集
对步骤S1-2的目标图像进行分组，从中随机抽取20％(默认值)的目标图像作为测试样本集，剩余的目标图像按照4:1的比例随机分为训练样本集和验证样本集；
S2构建丰富鲁棒卷积特征模型(Rich and Robust Convolutional Features,RRCF)
S2-1原始ResNet40网络
本发明是基于原始ResNet40网络的改进，原始ResNet40网络包括40个卷积层(Conv)和位于网络最后一层的全连接层(Fully Connected Layer)，主要分为5个阶段(Stage)，每个阶段均包含一个卷积块层(Conv Block)和一个或多个标识块层(IdentityBlock)，用stagek_blockm表示，k表示阶段数，m表示相应阶段内的块层数，其中第一、二阶段分别包含一个含卷积块层和一个标识块层，第三、四、五阶段分别包含一个卷积块层和两个标识块层，每个卷积块层和标识块层均包含多个卷积层；每个阶段在所有的标识块层之后均加入一个池化窗口大小为2×2、步长为1的池化层；原始ResNet40网络各个卷积层的具体参数如表1所示；
首先输入的目标图像依次经过卷积核大小为5×5、步长为1、通道数为32的卷积和卷积核大小为2×2、步长为2的最大池化层(Maxpool)后得到第一阶段的输入特征；第一阶段的输入特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为32的三个卷积和一个卷积核大小为1×1、步长为1、通道数为32的残差连接(Shortcut)后得到第一阶段卷积块层的输出特征；第一阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为32的三个卷积后得到第一阶段标识块层的输出特征；第一阶段标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第一阶段的输出特征；
第一阶段的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数为均为64的三个卷积和一个卷积核大小为1×1、步长为1、通道数为64的残差连接后得到第二阶段卷积块层的输出特征；第二阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为64的三个卷积后得到第二阶段标识块层的输出特征；第二阶段标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第二阶段的输出特征；
第二阶段的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数为均为256的三个卷积和一个卷积核大小为1×1、步长为1、通道数为256的残差连接后得到第三阶段卷积块层的输出特征；第三阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为256的三个卷积后得到第三阶段第一标识块层的输出特征；第三阶段第一标识块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为256的三个卷积后得到第三阶段第二标识块层的输出特征；第三阶段第二标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第三阶段的输出特征；
第四阶段的操作过程与第三阶段相同，第三阶段的输出特征重复第三阶段的操作后得到第四阶段的输出特征；
第五阶段的操作过程与第四阶段的卷积块层和两个标识块层的操作过程相同，第四阶段的输出特征重复第四阶段的卷积块层和两个标识块层的操作后得到第五阶段的输出特征；
输入的目标图像被逐层计算提取特征，例如目标图像的大小为1024×1024×32，其中长和宽均为1024，通道数为32；经过卷积核大小为5×5，步长为1，通道数为32的卷积之后的输出尺寸为1024×1024×32；然后再经过卷积核大小为2×2，步长为2的最大池化后的输出尺寸为512×512×32，即第一阶段的输入特征的尺寸为512×512×32；经过上述操作后第一阶段的输出特征尺寸为256×256×32，第二阶段的输出特征尺寸为128×128×64，第三阶段的输出特征尺寸为64×64×256，第四阶段的输出特征尺寸为32×32×256，第五阶段的输出特征尺寸为16×16×256；
表1原始ResNet40网络的具体参数
Figure BDA0002477492780000071
Figure BDA0002477492780000081
表中，Identity Block×2表示经过两次Identity Block操作；
S2-2丰富鲁棒卷积特征模型的特征图重组
在步骤S2-1构建的原始ResNet40网络的基础上去掉了全连接层和第五阶段的池化层；一方面，去掉全连接层是为了提供一个输出从图像到图像预测的全卷积网络，同时可以降低模型计算复杂度；另一方面，第五阶段的池化层会使步长增加两倍而影响缺陷的定位；虽然池化层都会影响定位，但是前四个阶段采用池化层主要为了加快训练；
在原始ResNet40网络第一阶段的标识块层(stage1_block2)以及第二阶段的标识块层(stage2_block2)分别侧向连接一个卷积核大小1×1、步长和通道数均为1的卷积层对通道数降维，分别得到第一、二阶段侧输出层的特征图，实现特征信息的整合；
在原始ResNet40网络的第三、四、五阶段中的每个块层，即stage3_block1，stage3_block2，stage3_block3，stage4_block1，stage4_block2，stage4_block3，stage5_block1，stage5_block2，stage5_block3之后分别侧向连接一个卷积核大小为1×1、步长为1、通道数为21的卷积层，得到各自块层卷积后的特征图，然后将同一阶段所有的块层卷积后的特征图分别进行逐元素相加获得相应阶段侧输出层的特征图；
S2-3构建丰富鲁棒卷积特征模型的预测特征图
将上述五个阶段侧输出层的特征图分别连接一个反卷积层(deconv)进行上采样，用以预测出与目标图像尺度相同的特征图，得到各自阶段反卷积后的特征图，这些反卷积后的特征图中保留了目标图像中缺陷的空间位置信息；
将每个阶段反卷积后的特征图分别连接一个侧输出层精细损失函数进行逐像素分类，得到每个阶段侧输出层的预测特征图，即对反卷积后的特征图上的每个像素都进行分类，精细侧输出层的预测特征图中的缺陷特征，同时在模型训练过程中通过侧输出层精细损失函数优化侧输出层中各个卷积层的权重；
为了直接利用各个阶段侧输出层的预测特征图，在模型中添加了融合层，并在训练过程中学习了融合层权重，即将上述各个阶段反卷积后的特征图连接(concatenate)在一起，然后通过卷积核大小为1×1、步长为1的卷积层融合所有反卷积后的特征图，得到融合层特征图；融合层特征图最后连接一个融合层精细损失函数，得到最终预测特征图，精细最终预测特征图中的缺陷特征，同时在模型训练过程中通过融合层精细损失函数优化融合层中各个卷积层的权重；最终预测特征图即为丰富鲁棒卷积特征模型的预测特征图；
S3精细损失函数的设计
S3-1加权交叉熵损失函数
由于缺陷图像中在复杂纹理背景下，小缺陷在像素上分布非常不均衡，大多数像素是随机分布的非缺陷像素，即背景，例如裂纹像素和非裂纹像素，因此直接使用交叉熵损失函数将无法精确地将缺陷像素从非缺陷像素中分割出来；加权交叉熵损失函数(weighted cross-entropy loss)引入了类平衡权重系数β来抵消缺陷像素和非缺陷像素之间的不均衡性，每个像素的损失满足式(1)：
Figure BDA0002477492780000091
β＝|Y-|/|Y|，1-β＝|Y+|/|Y| (2)
式中，X表示目标图像；W表示所有网络层参数的集合；w(k)表示第k阶段侧输出层的预测特征图的权重；Y+和Y-分别代表缺陷像素和非缺陷像素；β表示类平衡权重系数；Y＝Y+和Y_之和；yj表示目标图像中任一像素；Pr(yj＝1|X；W，w(k))表示在像素yj处使用sigmoid激活函数计算出来的类别分数，且Pr∈[0,1]；
S3-2距离损失函数(Dice loss，写为Dice损失函数)
给定一个目标图像X和对应的真实标签G，目标图像X的预测图像为P，距离损失函数(Dice损失函数)能比较预测图像P和真实标签G之间的相似度，并能最小化两者的距离，Dice损失函数(Dist(P,G))公式如下：
Figure BDA0002477492780000101
其中，pj∈P，为预测图像P中的任一像素；gj∈G，为真实标签G中的任一像素；N代表目标图像中像素的总个数；
S3-3精细损失函数的设计
为了获得更好的缺陷预测性能，提出一种将加权交叉熵损失函数和Dice损失函数结合起来的精细损失函数(Precise Loss Function)；其中Dice损失函数被认为是图像级的损失，专注于两组图像像素之间的相似性，Dice损失函数能够减少冗余信息，在本申请中是生成精细裂纹的关键，Dice损失函数容易出现预测不全，目标丢失的现象，例如预测出的裂纹缺一部分；加权交叉熵损失函数专注于像素级的差异性，因为它是预测图像和真实标签之间每个对应像素之间的距离之和，预测全面，不会造成目标丢失，但是加权交叉熵损失函数容易引入更多的背景信息，导致预测结果不准；因此，两者结合能够实现最小化图像级到像素级之间的距离，实现从全局到局部的预测；
为了获得各个阶段侧输出层更加精细的预测特征图，提出一种侧输出层精细损失函数，满足如下公式：
Figure BDA0002477492780000102
Pside＝σ(Aside)，Aside＝{aj，j＝1，……|Y|} (5)
其中，L(k)(Pside，G)表示第k阶段的距离损失函数；L(W，w(k))表示第k阶段的加权交叉熵损失函数；Pside表示第k阶段侧输出层的预测特征图；σ为sigmoid激活函数；Aside表示k个阶段侧输出层的预测特征图所有像素处激活值的集合；aj表示第k阶段侧输出层的预测特征图中的任一像素j处的激活值；
融合层精细损失函数由下式得到：
Lfuse(W，w)＝Lc(Pfuse，G) (6)
Figure BDA0002477492780000111
其中，Lc表示标准的交叉熵损失函数；Pfuse表示k个阶段侧输出层的预测特征图的融合，即融合层权重；K表示阶段总数；
使用argmin函数(最小值函数，表示使目标函数取最小值时的变量值)将融合层精细损失函数和所有阶段的侧输出层精细损失函数汇总起来，得到目标函数，如式(8)所示；通过标准的随机梯度下降法优化目标函数，进而优化各个侧输出层精细损失函数的权重以及融合层精细损失函数的权重；
Figure BDA0002477492780000112
S4模型训练与测试
S4-1模型参数初始化：初始化所有权重值、偏置值、批量归一化尺度因子值，并将初始化的参数数据输入步骤S2建立的丰富鲁棒卷积特征模型，设置模型的初始学习率λ＝0.001；第一至五阶段中的卷积层的权重标准差初始化为0.01，权重偏差初始化为0；融合层所有卷积层的权重标准差初始化0.2，权重偏差初始化为0；
S4-2模型训练：将训练样本集中的目标图像及其对应的像素级标签输入步骤S4-1初始化参数后的丰富鲁棒卷积特征模型中；在模型训练过程中通过随机梯度下降法(Stochastic gradientdescent，SGD)将损失传递至每个卷积层的权重，并更新其权重值，随机梯度下降法的动量为0.9，权重衰减为0.0005；每个训练过程中随机采样1张图像，迭代周期数达到100周期时停止训练，完成丰富鲁棒卷积特征模型的训练；上述操作均是在window10***下完成，训练使用的电脑CPU为酷睿i7系列，内存为32GB，显卡为NIVIDIAGeforce GTX2080ti；基于Keras1.13深度学习框架实现模型的训练；
S4-3模型测试：将测试样本集中的目标图像缩放调整到1024x1024像素，并将缩放后的目标图像输入步骤S4-2训练完成的丰富鲁棒卷积特征模型中；单张图像测试时间为0.1s，以满足生产效率的要求，重复步骤S4-2的操作，完成模型测试。
为了验证本方法的有效性，使用该方法对含有裂纹缺陷的锂电池图像进行了实验，同时与传统分割方法(Gabor滤波器方法)以及常用的卷积神经网络方法(UNet，U型网络)进行对比，对比结果如图2所示；其中，(a1)表示含有裂纹缺陷的原始图像，(a5)为其对应的真实标签；(a2)为采用Gabor滤波器方法进行特征提取的结果；(a3)为采用UNet模型(U型网络)方法进行特征提取的结果；(a4)为采用本方法所提出的丰富鲁棒卷积特征模型(RRCF)进行特征提取的结果；
从图2中可以看出，本方法提出的RRCF模型由于在各个阶段对卷积特征进行了叠加融合，学习到的裂纹信息更多，克服了Gabor滤波器方法容易将与裂纹结构相似的栅线结构误检，以及UNet模型容易将有晶粒遮挡的部分误检为裂纹的缺陷；本方法提出的RRCF模型预测出的裂纹线条较细，更加接近与真实标签，结果表明本方法中的两种精细损失函数有助于预测精细裂纹，改善了Gabor滤波器和UNet模型预测不够精细的预测结果，预测精度更高。
为了定量评估各个方法的性能，分别使用cpt(完整度)、crt(准确度)和F-measure(F测度)三个指标进行定量分析，F-measure是基于cpt和crt得出的计算结果，F-measure值越高，表明采用的方法越有效；各个表达式如式(9)-(11)所示；
Figure BDA0002477492780000121
Figure BDA0002477492780000122
Figure BDA0002477492780000123
其中，Lg表示由手动标注的真实标签中裂纹像素的个数；Lt为检测方法中提取到的像素个数；L为检测方法提取结果中与真实标签中相匹配的像素个数；
三种方法的各个指标值如图3所示，UNet模型和丰富鲁棒卷积特征模型都表现出较高完整度cpt，反映出卷积神经网络在解决复杂背景干扰下裂纹检测问题的优势；丰富鲁棒卷积特征模型的F-测度为85.81％，性能优于其他两种方法；丰富鲁棒卷积特征模型的的完整度和准确度分别为93.02％和79.64％，一方面通过对网络的多等级融合利于提高裂纹分割的完整度，另一方面根据裂纹这种极度长宽比的特性设计出两种精细损失函数减少背景信息干扰提高准确度，识别的准确性显著提高，在此过程中不易丢失裂纹特征，不会对裂纹漏检；UNet模型的准确度最低(69.5％)，这是由于受背景干扰的影响较大，会引入过多的背景信息，无法实现裂纹的精细分割，因此表现出最低的准确度；综上，本方法无论是裂纹分割的完整度还是准确度都最高，分割效果最好，能够实现对裂纹的精细分割。
本发明未述及之处适用于现有技术。

Claims (7)

1.一种基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法，其特征在于，该方法包括获取含有待分割对象的图像，并利用丰富鲁棒卷积特征模型对含有待分割对象的图像进行特征重组，获得每个侧输出层的特征图；每个侧输出层的特征图依次连接一个反卷积层和一个侧输出层精细损失函数，得到每个阶段侧输出层的预测特征图；
同时在模型中添加一个融合层，将所有侧输出层特征图反卷积后的特征图融合在一起，然后连接一个融合层精细损失函数获得最终预测图，实现缺陷分割；
其中，侧输出层精细损失函数，满足公式(1)：
Figure FDA0002477492770000011
Pside＝σ(Aside)，Aside＝{aj，j＝1，……|Y|} (2)
式中，L(k)(Pside，G)表示第k阶段的距离损失函数；L(W，w(k))表示第k阶段的加权交叉熵损失函数；Pside表示第k阶段侧输出层的预测特征图；σ为sigmoid激活函数；Aside表示k个阶段侧输出层的预测特征图所有像素处激活值的集合；aj表示第k阶段侧输出层的预测特征图中的任一像素j处的激活值；Y表示图中缺陷像素和非缺陷像素之和；
融合层精细损失函数由下式得到：
Lfuse(W，w)＝Lc(Pfuse，G) (3)
Figure FDA0002477492770000012
式中，Lc表示标准的交叉熵损失函数；Pfuse表示k个阶段侧输出层的预测特征图的融合，即融合层权重；K表示阶段总数；
使用argmin函数将融合层精细损失函数和所有阶段的侧输出层精细损失函数汇总起来，得到目标函数L，用公式(5)表示；
Figure FDA0002477492770000013
最后优化目标函数，获得侧输出层精细损失函数以及融合层精细损失函数的权重。
2.根据权利要求1所述的分割方法，其特征在于，利用丰富鲁棒卷积特征模型进行特征重组的具体过程为：
在原始ResNet40网络的基础上去掉全连接层和第五阶段的池化层，原始ResNet40网络第一阶段的标识块层以及第二阶段的标识块层分别侧向连接一个卷积层，得到第一、二阶段侧输出层的特征图；
在原始ResNet40网络的第三、四、五阶段中的每个块层之后分别侧向连接一个卷积层，得到各自块层卷积后的特征图，然后将同一阶段所有的块层卷积后的特征图分别进行逐元素相加获得相应阶段侧输出层的特征图。
3.根据权利要求2所述的分割方法，其特征在于，第一、二阶段的标识块层侧向连接的卷积层的卷积核大小1×1、步长和通道数均为1；第三、四、五阶段中的每个块层后侧向连接的卷积层的卷积核大小为1×1、步长为1、通道数为21。
4.根据权利要求2所述的分割方法，其特征在于，所述原始ResNet40网络包括40个卷积层和位于网络最后一层的全连接层，分为5个阶段，每个阶段均包含一个卷积块层和一个或多个标识块层，其中第一、二阶段分别包含一个含卷积块层和一个标识块层，第三、四、五阶段分别包含一个卷积块层和两个标识块层，每个卷积块层和标识块层均包含多个卷积层；每个阶段在所有的标识块层之后均加入一个池化窗口大小为2×2、步长为2的池化层。
5.根据权利要求4所述的分割方法，其特征在于，原始ResNet40网络的具体结构为：
首先输入的目标图像依次经过卷积核大小为5×5、步长为1、通道数为32的卷积和卷积核大小为2×2、步长为2的最大池化层后得到第一阶段的输入特征；第一阶段的输入特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为32的三个卷积和一个卷积核大小为1×1、步长为1、通道数为32的残差连接后得到第一阶段卷积块层的输出特征；第一阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为32的三个卷积后得到第一阶段标识块层的输出特征；第一阶段标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第一阶段的输出特征；
第一阶段的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数为均为64的三个卷积和一个卷积核大小为1×1、步长为1、通道数为64的残差连接后得到第二阶段卷积块层的输出特征；第二阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为64的三个卷积后得到第二阶段标识块层的输出特征；第二阶段标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第二阶段的输出特征；
第二阶段的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数为均为256的三个卷积和一个卷积核大小为1×1、步长为1、通道数为256的残差连接后得到第三阶段卷积块层的输出特征；第三阶段卷积块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为256的三个卷积后得到第三阶段第一标识块层的输出特征；第三阶段第一标识块层的输出特征依次经过卷积核大小为1×1、3×3、1×1，步长均为1、通道数均为256的三个卷积后得到第三阶段第二标识块层的输出特征；第三阶段第二标识块层的输出特征经过一个卷积核大小为2×2、步长为2的池化层后得到第三阶段的输出特征；
第四阶段的操作过程与第三阶段相同，第三阶段的输出特征重复第三阶段的操作后得到第四阶段的输出特征；
第五阶段的操作过程与第四阶段的卷积块层和两个标识块层的操作过程相同，第四阶段的输出特征重复第四阶段的卷积块层和两个标识块层的操作后得到第五阶段的输出特征。
6.根据权利要求1-5任一所述的分割方法，其特征在于，该方法的具体步骤是：
S1图像预处理
采集含有待分割缺陷的图像，将采集的图像归一化处理为1024×1024像素；对归一化处理后的图像添加像素级标签，这些添加了标签的图像即为目标图像；将目标图像按照比例分为不同的样本集；
S2构建丰富鲁棒卷积特征模型
以原始ResNet40网络为基础，在原始ResNet40网络第一阶段的标识块层以及第二阶段的标识块层分别侧向连接一个卷积层，得到第一、二阶段侧输出层的特征图；
在原始ResNet40网络的第三、四、五阶段中的每个块层之后分别侧向连接一个卷积层，得到各自块层卷积后的特征图，然后将同一阶段所有的块层卷积后的特征图分别进行逐元素相加获得相应阶段侧输出层的特征图；
将上述五个阶段侧输出层的特征图分别连接一个反卷积层(deconv)进行上采样，得到各自阶段反卷积后的特征图，并将每个阶段反卷积后的特征图分别连接一个侧输出层精细损失函数进行逐像素分类，得到每个阶段侧输出层的预测特征图；
将上述各个阶段反卷积后的特征图连接在一起，然后通过卷积核大小为1×1、步长为1的卷积层融合所有反卷积后的特征图，得到融合层特征图；融合层特征图最后连接一个融合层精细损失函数，得到最终预测特征图；
S3模型训练与测试
初始化模型参数，输入训练用的目标图像及其对应的像素级标签；在模型训练过程中通过随机梯度下降法将损失传递至每个卷积层的权重，并更新其权重值，随机梯度下降法的动量为0.9，权重衰减为0.0005；每个训练过程中随机采样1张图像，迭代周期数达到100周期时停止训练，完成模型的训练；
将测试用的目标图像缩放调整到1024x1024像素，并将缩放后的目标图像输入到训练完成的模型中；单张图像测试时间为0.1s，重复模型的操作，完成模型测试。
7.根据权利要求1所述的分割方法，其特征在于，所述待分割对象为裂纹、边缘或线状结构。
CN202010368806.1A 2020-05-01 2020-05-01 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法 Active CN111598854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368806.1A CN111598854B (zh) 2020-05-01 2020-05-01 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368806.1A CN111598854B (zh) 2020-05-01 2020-05-01 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法

Publications (2)

Publication Number Publication Date
CN111598854A true CN111598854A (zh) 2020-08-28
CN111598854B CN111598854B (zh) 2023-04-28

Family

ID=72186940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368806.1A Active CN111598854B (zh) 2020-05-01 2020-05-01 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法

Country Status (1)

Country Link
CN (1) CN111598854B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112489023A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于多尺度和多层次的路面裂缝检测方法
CN114397306A (zh) * 2022-03-25 2022-04-26 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110110692A (zh) * 2019-05-17 2019-08-09 南京大学 一种基于轻量级全卷积神经网络的实时图像语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110110692A (zh) * 2019-05-17 2019-08-09 南京大学 一种基于轻量级全卷积神经网络的实时图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN HAIYONG.ETC.: "\"Detection of Cracks in Electroluminescence Images by Fusing Deep Learning and Structual Decoupling\"" *
周颖;毛立;张燕;陈海永;: "改进的CNN在太阳能电池板缺陷检测中的应用" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215819A (zh) * 2020-10-13 2021-01-12 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112215819B (zh) * 2020-10-13 2023-06-30 中国民航大学 基于深度特征融合的机场道面裂缝检测方法
CN112489023A (zh) * 2020-12-02 2021-03-12 重庆邮电大学 一种基于多尺度和多层次的路面裂缝检测方法
CN114397306A (zh) * 2022-03-25 2022-04-26 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法

Also Published As

Publication number Publication date
CN111598854B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及***
CN111598861A (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN110060237A (zh) 一种故障检测方法、装置、设备及***
CN106504233A (zh) 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及***
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
Savino et al. Automated classification of civil structure defects based on convolutional neural network
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN111985554A (zh) 一种模型训练方法、手镯识别方法及对应装置
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及***
CN116612098B (zh) 一种基于图像处理的绝缘子rtv喷涂质量评价方法和装置
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN111340748A (zh) 电池缺陷识别方法、装置、计算机设备和存储介质
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN115861306B (zh) 一种基于自监督拼图模块的工业品异常检测方法
CN111860601A (zh) 预测大型真菌种类的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant