CN114581722A - 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法 - Google Patents

一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法 Download PDF

Info

Publication number
CN114581722A
CN114581722A CN202210285597.3A CN202210285597A CN114581722A CN 114581722 A CN114581722 A CN 114581722A CN 202210285597 A CN202210285597 A CN 202210285597A CN 114581722 A CN114581722 A CN 114581722A
Authority
CN
China
Prior art keywords
network
detection
twin
classification
fpn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210285597.3A
Other languages
English (en)
Inventor
张逸为
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202210285597.3A priority Critical patent/CN114581722A/zh
Publication of CN114581722A publication Critical patent/CN114581722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于孪生残差网络的二阶段多分类缺陷检测方法，将待检测图像与其模板信息共同输入到网络中，提取差异特征，并将差异特征按照残差网络设计思想结合到以模板信息为输入的残差网络中，提取多分类特征；利用差异特征训练二分类检测网络；使用检测网络的提案检测框用于多分类检测网络的训练，完成缺陷多分类检测任务。本发明中，孪生网络结构与残差网络结构解耦了缺陷与模板信息，使得网络更加明确地学习缺陷部分与分类部分，并且具有很强的迁移能力，同时结合了二分类检测网络与多分类检测网络的特点和优势，设计出了既能准确检测出缺陷又能准确多分类的网络结构。

Description

一种基于孪生残差网络的二阶段多分类工业图像缺陷检测 方法
技术领域
本发明涉及图像检测技术领域，特别涉及一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法。
背景技术
随着人工智能技术在数字媒体处理领域中的快速发展和近年来硬件性能的飞速提升，计算机视觉技术的性能在不断提升，部署成本不断降低。因此与视觉相关的人工智能算法落地条件趋于成熟，并且事实上越来越多地应用于各种工业场景。计算机视觉落地的工业领域中，自动化缺陷检测是相关应用的重要应用场景。缺陷检测需要传感器采集工业产品信息，将其送入到预先设定好的检测***中，输出产品是否存在缺陷以及缺陷相关信息。
缺陷检测过程中，产品上不同的缺陷会对产品有不同的影响，因此厂商对不同类型的缺陷往往有不同的检测标准。那么为了提高检测精度，需要检测***具有优秀的缺陷多分类能力；同时，当产品背景纹理复杂，品种多样时，我们需要检测***具有一定的迁移能力，在未学习过的应用场景下也能尽可能地正确分类缺陷。而面对上述需求，当前的检测方案还存在以下缺陷：
第一，现有的缺陷检测方案大多采用待检测图像作为单独的输入数据，此类方案很可能导致网络学习到一些与特定背景相关的辅助信息，这种情况下模型的迁移能力无法得到保证。***在训练时缺陷信息与背景信息耦合度很高，模型难以学习到仅针对缺陷本身的信息。因此当检测***遇到新的产品时，关注点难以放在缺陷之上，容易对此类数据产生大量误检或漏检的现象；
第二，当前缺陷检测***对中间特征的先验知识利用的不够充分，若能构造出存在先验信息的特征层，即可利用这个信息对模型中间进行监督训练，使得网络更加容易训练，性能更佳；
第三，当前缺陷检测***多分类与二分类完全分开，没有结合二者的优势，也没有将二者在网络结构上进行解耦，导致网络多分类能力和迁移能力存在瓶颈，难以提升。
发明内容
本发明的目的在于提供一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法，已至少解决上述现有技术出现的诸多问题之一。
鉴于此，本发明具体方案如下：
一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法，包括如下步骤：
S1.获取待检测图像与对应的模板图像并对图像数据进行预处理；
S2.将待检测图像与模板图像输入至孪生骨干网络，完成图像数据处理，将形成的数据表示特征输入至孪生FPN网络得到孪生FPN特征；
S3.将模板数据输入残差网络，结合孪生网络特征提取得到残差网络特征，再输入至残差FPN网络得到残差FPN特征；
S4.将孪生FPN特征送入分割网络进行监督训练，对特征进行优化处理；
S5.将孪生FPN特征输入二分类检测网络进行二分类监督训练，提取该检测网络的提议检测框；
S6.以提议检测框和残差FPN特征训练多分类检测网络；
S7.用多分类检测网络检测图像样本输出检测结果。
本发明中，所述步骤S5为：
S51.将孪生FPN特征送入RPN网络，计算得到提议检测框；
S52.将提议检测框与孪生FPN特征送入二分类检测网络，得到检测框输出和对应的二分类得分，以检测框标注为标签进行训练。
本发明中，所述步骤S6为：
S61.将残差FPN特征与二分类检测网络的提议检测框输入多分类检测网络；
S62.以缺陷的多分类检测框标注为标签，训练多分类检测网络。
本发明中，所述步骤S2中孪生骨干网络特征通道数与与所述步骤S3中残差网络对应的特征层相同。
进一步地，所述步骤S2中拆分孪生骨干网络浅层特征提取层成为两个输入端，享有共同参数的孪生网络，分别输出两组特征，特征相减的结果输入到网络的后续部分，合并为一股数据，后续恢复骨干网络的正常特征提取。
进一步地，所述步骤S3包括：
S31.将模板图像送入残差网络，提取输入数据的中间特征；
S32.找到中间特征提取前最后一个残差块，将步骤S2中提取的孪生网络特征对应尺寸合并入残差块结构当中，得到残差网络特征；
S33.将残差网络特征送入到FPN特征提取模块，得到具有固定通道数的残差FPN特征。
优选地，所述孪生FPN特征及残差FPN特征均为D4-D64的特征。
相对于现有技术，本发明的有益效果为：
1.本发明使用孪生网络结构针对缺陷区域特征进行提取和学习，重点分析差异特征，将缺陷信息与背景模板信息解耦分析，这种网络结构可以更敏感地检测缺陷部分，提升了对缺陷的检测精度，并且提升了网络对缺陷检测的迁移能力；
2.本发明构造出了背景期望为0的差异特征结构，并在网络训练过程中加入了分割网络监督学习这部分特征之前的网络结构，充分利用了上述先验信息，使得网络更容易训练，精度更高；
3.本发明设计了孪生残差网络结构，将缺陷部分与背景信息解耦的同时又进行了特征层面的融合，使得网络具有更强的迁移检测能力；
4.本发明融合了差异特征信息与背景信息在检测网络中的作用，使用差异特征寻找缺陷的提议检测框，使用背景信息与差异特征信息的融合特征进行检测框的分类，使得检测***在保持了二分类性能的基础上拥有了缺陷多分类的能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明所述的二阶段多分类工业图像缺陷检测方法总体示意图。
图2为本发明所述的二阶段多分类工业图像缺陷检测方法概要流程图。
图3为本发明所述的二阶段多分类工业图像缺陷检测方法网络特征提取流程图。
图4为本发明所述的二阶段多分类工业图像缺陷检测方法网络特征使用方法示意图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
本发明提出一种基于孪生残差网络的二阶段多分类缺陷检测方法，以残差网络结构的信息传递方式为核心设计思想，使用孪生网络结构提取残差特征信息，并结合到残差网络结构当中，获得了检测能力和迁移能力的双重性能提升，所述检测方法总体示意图如图1所示。
具体地，所述基于孪生残差网络的二阶段多分类缺陷检测方法流程图如图2所示，所述方法包括如下步骤：
S1.获取待检测图像与对应的模板图像并对图像数据进行预处理，图像放缩至统一尺寸，进行图像对比度归一化，进行仿射变换矫正；
S2.提取孪生网络FPN特征信息，流程如图3所示，具体包括以下步骤：
a)由于该孪生网络需要配套残差网络共同使用，因此需要精心设计孪生骨干网络，使得其D4-D32特征通道数与残差网络对应的特征层相同；
b)拆分该骨干网络浅层特征提取层(D2特征之前)成为两个输入端，享有共同参数的孪生网络，网络输出两组D2特征。将输出的两组特征相减的结果输入到网络的后续部分，合并为一股数据，后续恢复骨干网络的正常特征提取方式；
c)提取孪生骨干网络中的差异信息特征，从骨干网络的深层特征中提取出D4、D8、D16、D32的特征；
d)将孪生网络D4–D32特征送入到FPN特征提取模块，得到具有固定通道数Cnum的孪生FPN_D4-FPN_D64。
S3.提取模板图像的残差FPN特征，流程如图3所示，具体包括以下步骤：
a)将模板图像送入残差网络，提取输入数据的D4–D32中间特征；
b)找到中间特征提取前最后一个残差块，将步骤二中提取的孪生网络D4–D32特征对应尺寸合并入残差块结构当中，得到残差网络D4–D32特征；
c)将残差网络D4–D32特征送入到FPN特征提取模块，得到具有固定通道数Cnum的残差FPN_D4-FPN_D64特征。
S4.将孪生FPN_D4-FPN_D64特征送入分割网络进行监督训练，如图4所示，具体包括以下步骤：
a)使用两层1×1卷积压缩孪生FPN_D4-FPN_D64特征的通道数为1，得到压缩后的D4-D64单通道特征；
b)使用sigmoid函数对特征进行激活，具体公式：
Figure BDA0003558083180000061
c)将待检测图像的分割标注分别变换到原图D4-D64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；
d)损失函数使用二分类交叉熵：
Figure BDA0003558083180000062
S5.使用孪生FPN特征训练二阶段的二分类检测网络，如图4所示，具体包括以下步骤：
a)将孪生FPN特征送入RPN网络，计算得到提议检测框；
b)将提议检测框与孪生FPN特征送入二分类ROI检测网络，得到检测框输出和对应的二分类得分，以检测框标注为标签进行训练。
S6.使用残差FPN特征与二分类检测网络的提议检测框来训练多分类检测网络，具体包括以下步骤：
a)将残差FPN特征与二分类检测网络的提议检测框输入多分类ROI检测网络；
b)以缺陷的多分类检测框标注为标签，训练多分类检测网络。
S7.使用多分类检测网络结构检测待测样本，得到检测结果。
在本发明的一个实施例中，基于孪生残差网络的二阶段多分类缺陷检测方法具体如下：
1.获取工业半导体器件的待检测图像与对应的模板图像，截取模板图像的过程中需要根据差异梯度进行位置校准，使得模板与待检测图像的偏差在0.5像素以内；
2.提取孪生FPN特征需要拆分骨干网络，将其改造为孪生网络。以Resnet50骨干网络为例，拆分layer1之前的网络层(包括第一个卷积层，第一个BN层，第一个Relu层，第一个maxpooling层)为孪生结构，孪生网络共享参数，输出两套特征，将两套特征相减作为后续Resnet50的输入。在Resnet50的特征层中提取D4、D8、D16、D32特征，将这部分特征送入FPN模块(FPN模块通道数Cnum设置为256)，得到孪生FPN_D4、FPN_D8、FPN_D16、FPN_D32、FPN_D64特征。
3.提取模板图像的残差FPN特征，为需要将模板图像输入到残差网络(此处残差网络以Resnet50为例)结构中，提取输入数据的D4-D32中间特征；确定这些特征提取前最后一个残差块，将步骤2中提取的孪生网络D4-D32特征对应尺寸合并入残差块结构当中，得到残差网络D4-D32特征；将残差网络D4-D32特征送入到FPN特征提取模块，得到具有固定通道数256的残差FPN_D4-FPN_D64特征。
4.使用分割网络进行监督训练。将孪生FPN_D4-FPN_D64特征送入分割网络进行监督训练，使用两层1×1卷积(输出通道为32和1)压缩孪生FPN_D4-FPN_D64特征的通道数为1，得到压缩后的D4-D64单通道特征，使用sigmoid函数对特征进行激活，将待检测图像的分割标注分别变换到原图D4-D64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，损失函数为二分类交叉熵。
5.使用孪生FPN特征训练二阶段的二分类检测网络。二阶段检测网络以fasterrcnn为例，将孪生FPN特征送入RPN网络，计算得到提议检测框；将提议检测框与孪生FPN特征送入二分类ROI检测网络，得到检测框输出和对应的二分类得分，以检测框标注为标签训练检测网络，二者分别使用BCE损失和L1损失函数。
6.使用残差FPN特征与二分类检测网络的提议检测框来训练多分类检测网络。如图4所示，将残差FPN特征与二分类检测网络的提议检测框输入多分类ROI检测网络；以缺陷的多分类检测框标注为标签，训练多分类检测网络。
7.使用多分类检测网络结构检测待测样本，得到检测结果。本实施例中我们使用现有的数据分成了四组迁移数据测试的数据集，本发明与基线实验的结果(mAP)如表1所示。
表1：
网络结构 迁移数据集1 迁移数据集2 迁移数据集3 迁移数据集4
fasterrcnn(基线) 83.75％ 60.34％ 85.19％ 72.23％
fasterrcnn(本发明) 87.64％ 70.33％ 89.40％ 80.09％
从表1的结果中可以观察到，本发明提出的缺陷检测框架在各个数据集上的数据迁移性能均优于基线算法，说明本发明提出的方法在缺陷多分类任务上具有更强的数据迁移能力。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (7)

1.一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法，其特征在于，包括如下步骤：
S1.获取待检测图像与对应的模板图像并对图像数据进行预处理；
S2.将待检测图像与模板图像输入至孪生骨干网络，完成图像数据处理，将形成的数据表示特征输入至孪生FPN网络得到孪生FPN特征；
S3.将模板数据输入残差网络，结合孪生网络特征提取得到残差网络特征，再输入至残差FPN网络得到残差FPN特征；
S4.将孪生FPN特征送入分割网络进行监督训练，对特征进行优化处理；
S5.将孪生FPN特征输入二分类检测网络进行二分类监督训练，提取该检测网络的提议检测框；
S6.以提议检测框和残差FPN特征训练多分类检测网络；
S7.用多分类检测网络检测图像样本输出检测结果。
2.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，所述步骤S5为：
S51.将孪生FPN特征送入RPN网络，计算得到提议检测框；
S52.将提议检测框与孪生FPN特征送入二分类检测网络，得到检测框输出和对应的二分类得分，以检测框标注为标签进行训练。
3.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，所述步骤S6为：
S61.将残差FPN特征与二分类检测网络的提议检测框输入多分类检测网络；
S62.以缺陷的多分类检测框标注为标签，训练多分类检测网络。
4.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，所述步骤S2中孪生骨干网络特征通道数与所述步骤S3中残差网络对应的特征层相同。
5.根据权利要求4所述的工业图像缺陷检测方法，其特征在于，所述步骤S2中拆分孪生骨干网络浅层特征提取层成为两个输入端，享有共同参数的孪生网络，分别输出两组特征，特征相减的结果输入到网络的后续部分，合并为一股数据，后续恢复骨干网络的正常特征提取。
6.根据权利要求4所述的工业图像缺陷检测方法，其特征在于，所述步骤S3包括：
S31.将模板图像送入残差网络，提取输入数据的中间特征；
S32.找到中间特征提取前最后一个残差块，将步骤S2中提取的孪生网络特征对应尺寸合并入残差块结构当中，得到残差网络特征；
S33.将残差网络特征送入到FPN特征提取模块，得到具有固定通道数的残差FPN特征。
7.根据权利要求5或6所述的工业图像缺陷检测方法，其特征在于，所述孪生FPN特征及残差FPN特征均为D4-D64的特征。
CN202210285597.3A 2022-03-22 2022-03-22 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法 Pending CN114581722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210285597.3A CN114581722A (zh) 2022-03-22 2022-03-22 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210285597.3A CN114581722A (zh) 2022-03-22 2022-03-22 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114581722A true CN114581722A (zh) 2022-06-03

Family

ID=81782768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210285597.3A Pending CN114581722A (zh) 2022-03-22 2022-03-22 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114581722A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546211A (zh) * 2022-11-29 2022-12-30 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546211A (zh) * 2022-11-29 2022-12-30 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质
CN115546211B (zh) * 2022-11-29 2023-04-11 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质

Similar Documents

Publication Publication Date Title
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
CN108830855B (zh) 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
CN111126115B (zh) 暴力分拣行为识别方法和装置
CN106156777B (zh) 文本图片检测方法及装置
CN113160200B (zh) 一种基于多任务孪生网络的工业图像缺陷检测方法及***
JP2022027473A5 (zh)
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和***
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111652846B (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN113591831A (zh) 一种基于深度学习的字体识别方法、***及存储介质
CN116246059A (zh) 一种基于改进的yolo多尺度检测的车辆目标识别方法
CN117152459A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN111401368A (zh) 一种基于深度学习的新闻视频标题提取方法
CN114581722A (zh) 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法
Singh et al. CNN based approach for traffic sign recognition system
CN110363198B (zh) 一种神经网络权重矩阵拆分与组合的方法
CN116363105A (zh) 一种基于Faster R-CNN的高铁接触网零部件识别与定位的方法
CN113159071B (zh) 一种跨模态图像-文本关联异常检测方法
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination