CN114581806B - 一种基于主干边缘特征提取的工业零件空载率计算方法 - Google Patents

一种基于主干边缘特征提取的工业零件空载率计算方法 Download PDF

Info

Publication number
CN114581806B
CN114581806B CN202210267402.2A CN202210267402A CN114581806B CN 114581806 B CN114581806 B CN 114581806B CN 202210267402 A CN202210267402 A CN 202210267402A CN 114581806 B CN114581806 B CN 114581806B
Authority
CN
China
Prior art keywords
edge
cnn
convolution
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210267402.2A
Other languages
English (en)
Other versions
CN114581806A (zh
Inventor
利节
覃锐
黄琦麟
吴瑞
杜忠凯
颜定江
黄晓薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202210267402.2A priority Critical patent/CN114581806B/zh
Publication of CN114581806A publication Critical patent/CN114581806A/zh
Application granted granted Critical
Publication of CN114581806B publication Critical patent/CN114581806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业零件识别技术领域，具体公开了一种基于主干边缘特征提取的工业零件空载率计算方法，包括步骤：对正投影拍取的工业零件输送箱的原始图像进行腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，得到预处理图像；采用多尺度CNN卷积网络对所述预处理图像进行边缘提取，得到融合边缘图；获取所述融合边缘图的最小闭合区域；根据所述最小闭合区域的面积与工业零件输送箱的总面积得到该工业零件输送箱的空载率。本方法构造了一个多尺度CNN卷积网络，通过具有深特征和浅特征的混合操作来学习工业零件的基本信息，获取工业零件的主干并过滤细节。本方法步骤简明，所构建的网络模型结构简单，计算工业零件空载率的过程快速而又准确。

Description

一种基于主干边缘特征提取的工业零件空载率计算方法
技术领域
本发明涉及工业零件识别技术领域，尤其涉及一种基于主干边缘特征提取的工业零件空载率计算方法。
背景技术
工业零件大多是制造业中的常用部件，具有表面和尺寸质量精度高的突出特点，因此在制造、传输和装配过程的整个生命周期中，对工业零件的识别要求很高。在供应链中，需要对传送带箱中的工业零件状态进行监控，以控制工作效率，例如，空载率直接影响到箱子的数量和存储利用率，以及生产效率和成本。然而，对于一个制造工厂来说，数以千计的工业零件作为基本部件涉及到不同的边缘和尺寸，这造成了严重的识别困难。此外，在传送带箱中放置工业零件的随机性也增加了检测性能的难度。
边缘检测作为计算机视觉的一个重要分支，是一种为了发现图像不连续表现的分割方法。通过学习图像中的边缘获得重要的特征，这些特征被用于工业管理中的进一步任务(例如，物体识别、故障检测和面积测量)。边缘检测被广泛应用于工业领域，以获得与图像强度值的显著差异。工业零件的边缘检测作为预处理步骤是计算空载率的一种可行方法。在对工业零件的空载率实施边缘检测时，主要目的是为了获得工业零件在箱子里的主干信息，而不是工业零件内部的详细信息。在这种情况下，深度学习模型中过多的卷积层提取了大量的详细信息。这些详细信息干扰主干特征的提取。
发明内容
本发明提供一种基于主干边缘特征提取的工业零件空载率计算方法，解决的技术问题在于：如何精准提取工业零件的主干边缘信息并以此计算工业零件的空载率。
为解决以上技术问题，本发明提供一种基于主干边缘特征提取的工业零件空载率计算方法，包括步骤：
S1、对正投影拍取的工业零件输送箱的原始图像进行腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，得到预处理图像；
S2、采用多尺度CNN卷积网络对所述预处理图像进行边缘提取，得到融合边缘图；
S3、获取所述融合边缘图的最小闭合区域；
S4、根据所述最小闭合区域的面积与工业零件输送箱的总面积得到该工业零件输送箱的空载率。
进一步地，在所述步骤S2中，所述多尺度CNN卷积网络包括顺序连接的CNN卷积模块、上采样块和融合模块；所述CNN卷积模块包括5个顺序连接的CNN块；
所述步骤S2具体包括步骤：
S21、5个顺序连接的CNN块分别提取所述预处理图像在5个尺度下的特征，得到5个尺度下的特征图像；
S22、所述上采样块对5个尺度下的特征图像进行特征对齐，得到尺寸相同的5个特征图像；
S23、所述融合模块对所述上采样块输出的5个特征图像进行融合，得到融合边缘图。
进一步地，在所述多尺度CNN卷积网络的训练过程中，利用邻域信息训练所述CNN卷积模块，采用的损失函数为：
其中，表示所述CNN卷积模块的权重，/>表示减弱背景的损失函数，/>表示增强边缘的损失函数，Xk表示原始输入图像像素的对应的实际二值边缘像素，X+和X-分别为处于非边缘区域和边缘区域的真实值标签，η和1-η分别表示边缘像素和非边缘像素占总像素的数量比率，用于平衡边缘检测中不均衡的边缘样本和背景样本，和/>分别表示像素为非边缘像素和边缘像素的概率，/>和/> 分别表示包含了邻居信息的边缘预测区域中属于非边缘像素和边缘像素的概率，概率由sigmoid函数得到，结果为[0,1]，α是调整邻域间平衡的超参数，假设众多邻居Xp集合为/>则每个邻居为/>m是定义的邻居数，Zj具有与单色图像中的二值化属性相关的二值，即Zj＝1或0。
进一步地，所述融合模块包括第一叠加单元、第二叠加单元、第一串联单元、第二串联单元、1×1卷积层；
所述步骤S23具体包括步骤：
S231、所述第一叠加单元对所述上采样块输出的第一个特征图像和第二个特征图像进行叠加后输入第一串联单元；
S232、所述第二叠加单元对所述上采样块输出的第三个特征图像和第四个特征图像进行叠加后输入第一串联单元；
S233、所述第一串联单元对所述第一叠加单元和所述第二叠加单元的输出进行串联；
S234、所述第二串联单元对所述第一串联单元的输出与所述上采样块输出的第五个特征图像进行串联后输入至所述1×1卷积层；
S235、所述1×1卷积层执行卷积操作后输出融合边缘图。
进一步地，所述CNN卷积模块包括顺序连接的第一CNN块、第二CNN块、第三CNN块、第四CNN块、第五CNN块；所述第一CNN块包括顺序连接的第一3×3卷积层、第一批标准化层、第一最大池化层；所述第二CNN块包括顺序连接的第二3×3卷积层、第二批标准化层、第三3×3卷积层、第三批标准化层、第二最大池化层，所述第三CNN块包括顺序连接的第四3×3卷积层、第四批标准化层、第三最大池化层，所述第四CNN块包括顺序连接的第五3×3卷积层、第五批标准化层、第六3×3卷积层、第六批标准化层、第四最大池化层，所述第五CNN块包括顺序连接的第七3×3卷积层、第七批标准化层；
所述第一批标准化层、所述第三批标准化层、所述第四批标准化层、所述第六批标准化层、所述第七批标准化层连接所述上采样块。
进一步地，在所述上采样块中设计一对卷积和反卷积运算来进行特征对齐：
其中和ρ(·)分别表示卷积和反卷积的作用函数，BN(·)表示批量归一化，表示所述CNN卷积模块输出的5个尺度下的特征图像，/>表示所述上采样块输出的5个特征图像，i＝1,2,3,4,5。
进一步地，所述步骤S3具体包括步骤：
S31、通过轮廓检测算法获得所述融合边缘图的闭合区域，其中闭合区域的数量及其位置分别表示为K和∑(Hi,Vi)∣i＝1,2,…,K}，(Hi,Vi)＝∑(hj,vj),j＝1,2,…,M，M是闭合区域中的边缘像素量；
S32、求出最小闭合区域：
在所述步骤S31中，通过轮廓检测算法获得所述融合边缘图的闭合区域的过程包括步骤：
S311、通过滑动窗口样式算法密集分配一组方形边界框，方形边界框的中心区域应覆盖所述融合边缘图的边界像素；
S312、采用方形边界框沿所述融合边缘图的边界提取一系列边界块；
S313、通过抑制非极大值的冗余目标搜索出局部最优解，来过滤掉一部分边界块，期间通过调整非最大抑制阈值来控制重叠量；
S314、将剩余的边界块和掩膜块调整大小后送入细化网络HRNetV2进行细化，得到融合边缘图的闭合区域。
进一步地，在所述步骤S4中，通过下式计算工业零件的空载率Lnone：
其中，At为工业零件输送箱的总面积，Amin是最小封闭区域(Hmin,Vmin)的面积。
本发明提供的一种基于主干边缘特征提取的工业零件空载率计算方法，构造了一个多尺度CNN卷积网络，通过具有深特征和浅特征的混合操作(即CNN块之间的水平操作，CNN卷积模块、上采样块和融合模块之间的垂直操作)来学习工业零件的基本信息，获取工业零件的主干并过滤细节。在该多尺度CNN卷积网络中，设计一个基于邻域信息的损失函数来进一步增强主干信息。此外，根据模型中的主干边缘信息，通过发现最小闭合区域来获得工业零件空载率。整体上，本方法步骤简明，所构建的网络模型结构简单，计算工业零件空载率的过程快速而又准确。
附图说明
图1是本发明实施例提供的一种基于主干边缘特征提取的工业零件空载率计算方法的原理图；
图2是本发明实施例提供的多尺度CNN卷积网络的架构图；
图3是本发明实施例提供的本方法与其他方法在边缘提取效果上的对比图。
附图标记：CNN卷积模块1，第一CNN块11、第二CNN块12、第三CNN块13，第四CNN块14，第五CNN块15，上采样块2，融合模块3，第一叠加单元31，第二叠加单元32，第一串联单元33，第二串联单元34，1×1卷积层35。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了快速准确地计算工业零件的空载率，本发明实施例提供的一种基于主干边缘特征提取的工业零件空载率计算方法，如图1所示，包括步骤：
S1、对正投影拍取的工业零件输送箱的原始图像进行腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，得到预处理图像；
S2、采用多尺度CNN卷积网络对预处理图像进行边缘提取，得到融合边缘图；
S3、获取融合边缘图的最小闭合区域；
S4、通过计算最小闭合区域与工业零件输送箱的总面积之比得到该工业零件输送箱的空载率。
步骤S1对原始图像进行预处理，采取腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，可以消除噪声，在纤细处分离物体和平滑较大物体边界，分割出独立的图像元素，为后续边缘图的提取减少影响。
如图2所示，在步骤S2中，多尺度CNN卷积网络包括顺序连接的CNN卷积模块1、上采样块2和融合模块3；CNN卷积模块1包括5个顺序连接的CNN块。步骤S2具体包括步骤：
S21、5个顺序连接的CNN块分别提取预处理图像在5个尺度下的特征，得到5个尺度下的特征图像；
S22、上采样块2对5个尺度下的特征图像进行特征对齐，得到尺寸相同的5个特征图像；
S23、融合模块3对上采样块2输出的5个特征图像进行融合，得到融合边缘图。
多尺度CNN卷积网络通过具有深特征和浅特征的混合操作(即CNN块之间的水平操作，CNN卷积模块1、上采样块2和融合模块3之间的垂直操作)来学习工业零件的基本信息，获取工业零件的主干并过滤细节。与传统的边缘检测模型不同，本方法减少具有小核的卷积层的数量，以减少由外部因素(例如拍摄角度和环境光的反射)引起的噪声。
另外，在多尺度CNN卷积网络的训练过程中，利用邻域信息训练CNN卷积模块1，在训练过程中，要不断增强边缘的特征信息，所以，在构造损失函数时，主要针对两个方面，一是减轻背景信息带来的干扰，二是细化初步得到的边缘预测像素，将干扰的邻域信息排除，最终得到准确率更高的边缘预测区域，为此采用的损失函数为：
其中，表示所述CNN卷积模块的权重，/>表示减弱背景的损失函数，/>表示增强边缘的损失函数，Xk表示原始输入图像像素的对应的实际二值边缘像素，X+和X-分别为处于非边缘区域和边缘区域的真实值标签，η和1-η分别表示边缘像素和非边缘像素占总像素的数量比率，用于平衡边缘检测中不均衡的边缘样本和背景样本，和/>分别表示像素为非边缘像素和边缘像素的概率，/>和/> 分别表示包含了邻居信息的边缘预测区域中属于非边缘像素和边缘像素的概率，概率由sigmoid函数得到，结果为[0,1]，α是调整邻域间平衡的超参数，假设众多邻居Xp集合为/>则每个邻居为/>m是定义的邻居数，Zj具有与单色图像中的二值化属性相关的二值，即Zj＝1或0。
另外，本实施例采用Mosaic数据增强方法和对抗生成网络(GAN)生成大量的训练数据，用来训练模型能提高模型性能。
如图2所示，CNN卷积模块1包括顺序连接的第一CNN块11、第二CNN块12、第三CNN块13、第四CNN块14、第五CNN块15；第一CNN块11包括顺序连接的第一3×3卷积层、第一批标准化层、第一最大池化层；第二CNN块12包括顺序连接的第二3×3卷积层、第二批标准化层、第三3×3卷积层、第三批标准化层、第二最大池化层，第三CNN块13包括顺序连接的第四3×3卷积层、第四批标准化层、第三最大池化层，第四CNN块14包括顺序连接的第五3×3卷积层、第五批标准化层、第六3×3卷积层、第六批标准化层、第四最大池化层，第五CNN块15包括顺序连接的第七3×3卷积层、第七批标准化层；
第一批标准化层、第三批标准化层、第四批标准化层、第六批标准化层、第七批标准化层连接上采样块2。
具体的，如图2所示，融合模块3包括第一叠加单元31、第二叠加单元32、第一串联单元33、第二串联单元34、1×1卷积层35；
步骤S23具体包括步骤：
S231、第一叠加单元31对上采样块2输出的第一个特征图像和第二个特征图像进行叠加后输入第一串联单元33；
S232、第二叠加单元32对上采样块2输出的第三个特征图像和第四个特征图像进行叠加后输入第一串联单元33；
S233、第一串联单元33对第一叠加单元31和第二叠加单元32的输出进行串联；
S234、第二串联单元34对第一串联单元33的输出与上采样块2输出的第五个特征图像进行串联后输入至1×1卷积层35；
S235、1×1卷积层35执行卷积操作后输出融合边缘图
在上采样块2中设计一对卷积和反卷积运算来进行特征对齐：
其中和ρ(·)分别表示卷积和反卷积的作用函数，BN(·)表示批量归一化，表示CNN卷积模块1输出的5个尺度下的特征图像，/>表示上采样块2输出的5个特征图像，i＝1,2,3,4,5。
本实施例采取叠加操作的目的是将特征信息进行叠加，采取串联操作的目的是将特征进行融合。采用叠加和串联操作，在得到相同感受野的同时，能够保持较小的参数量。
步骤S3具体包括步骤：
S31、通过轮廓检测算法获得融合边缘图的闭合区域，其中闭合区域的数量及其位置分别表示为K和∑(Hi,Vi)∣i＝1,2,…,K}，(Hi,Vi)＝∑(hj,vj),j＝1,2,…,M，M是闭合区域中的边缘像素量；对于所有对(Hi,Vi)，每组的内部像素以0开头，外部像素以255开头。
S32、求出最小闭合区域：
在步骤S31中，通过轮廓检测算法获得所述融合边缘图的闭合区域的过程包括步骤：
S311、通过滑动窗口样式算法密集分配一组方形边界框，方形边界框的中心区域应覆盖所述融合边缘图的边界像素；
S312、采用方形边界框沿所述融合边缘图的边界提取一系列边界块；
S313、所获得的框仍然包含大量重叠和冗余，优化非最大抑制(NMS)算法，即通过抑制非极大值的冗余目标搜索出局部最优解，来过滤掉一部分边界块，期间通过调整非最大抑制阈值来控制重叠量，以实现更好的速度/精度权衡；
S314、将剩余的边界块和掩膜块调整大小后送入细化网络HRNetV2进行细化，得到融合边缘图的闭合区域。
HRNetV2细化网络是将边界块和对应的掩膜块输入，这个网络就会判断哪些掩膜块需要被细化，用阈值来判断属于前景还是背景，是前景就保留，这样得到的边缘图会更细致。
故，在步骤S4中，通过下式计算工业零件的空载率Lnone：
其中，At为工业零件输送箱的总面积，Amin是最小封闭区域(Hmin,Vmin)的面积。
进一步将本发明轮廓检测算法与具有错误率值的其他轮廓检测算法进行比较，在与人工标注的Ground Truth的错误率值上的比较结果如表1所示，直观的边缘检测结果如图3所示。
表1
表1及图3中，Canny边缘检测技术指的是1986年John F.Canny在论文《computational approch to edge detection》提出的Canny检测器用小内核增强了深层特征，但该技术造成大量冗余的信息干扰工业零件主干的识别。BDCN边缘检测技术、Dexined边缘检测技术分别指的是论文《Bi-Directional Cascade Network forPerceptual Edge Detection》中提到的BDCN边缘检测算法和论文《Dense ExtremeInception Network:Towards a Robust CNN Model for Edge Detection》提到的Dexined算法，这两种算法在提取背景特征(即本例中的传送带盒)方面有很强的能力，但产生了与工业零件主干无关的干扰信息(例如传送带盒的突出纹理)。RCF边缘检测技术指的是论文《Richer convolutional features for edge detection》提出的RCF算法采用大内核以获得主要主干特征，但是如果没有邻居信息，RCF算法会丢失工业零件的某些重要信息。
通过分析表1和图3可知，丰富的背景信息会干扰主干识别，其中BDCN、Canny、Dexined具有较高的错误率值。尽管RCF缺少一些重要信息，但仍比BDCN和Dexined具有更好的性能。在主干边缘检测中，过于详细和具有误导性的信息会对检测结果造成严重影响。本发明方法具有捕获主干边缘的有效能力，侧重主干，忽略了工业部件的细节，考虑了相邻信息，与人工标注获得的ground truth最为接近，基于此计算的工业零件空载率有较高的准确率。
综上，本发明实施例提供的一种基于主干边缘特征提取的工业零件空载率计算方法，构造了一个多尺度CNN卷积网络，通过具有深特征和浅特征的混合操作(即CNN块之间的水平操作，CNN卷积模块1、上采样块2和融合模块3之间的垂直操作)来学习工业零件的基本信息，获取工业零件的主干并过滤细节。在该多尺度CNN卷积网络中，设计一个基于邻域信息的损失函数来进一步增强主干信息。此外，根据模型中的主干边缘信息，通过发现最小闭合区域来获得工业零件空载率。整体上，本方法步骤简明，所构建的网络模型结构简单，计算工业零件空载率的过程快速而又准确。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于主干边缘特征提取的工业零件空载率计算方法，其特征在于，包括步骤：
S1、对正投影拍取的工业零件输送箱的原始图像进行腐蚀、扩展、图像打开操作和图像关闭操作四个基本动作，得到预处理图像；
S2、采用多尺度CNN卷积网络对所述预处理图像进行边缘提取，得到融合边缘图；
S3、获取所述融合边缘图的最小闭合区域；
S4、根据所述最小闭合区域的面积与工业零件输送箱的总面积得到该工业零件输送箱的空载率；
在所述步骤S2中，所述多尺度CNN卷积网络包括顺序连接的CNN卷积模块、上采样块和融合模块；所述CNN卷积模块包括5个顺序连接的CNN块；
所述步骤S2具体包括步骤：
S21、5个顺序连接的CNN块分别提取所述预处理图像在5个尺度下的特征，得到5个尺度下的特征图像；
S22、所述上采样块对5个尺度下的特征图像进行特征对齐，得到尺寸相同的5个特征图像；
S23、所述融合模块对所述上采样块输出的5个特征图像进行融合，得到融合边缘图；
在所述多尺度CNN卷积网络的训练过程中，利用邻域信息训练所述CNN卷积模块，采用的损失函数为：
其中，表示所述CNN卷积模块的权重，/>表示减弱背景的损失函数，/>表示增强边缘的损失函数，Xk表示原始输入图像像素的对应的实际二值边缘像素，X+和X-分别为处于非边缘区域和边缘区域的真实值标签；η和1-η分别表示边缘像素和非边缘像素占总像素的数量比率，用于平衡边缘检测中不均衡的边缘样本和背景样本；和/>分别表示像素为非边缘像素和边缘像素的概率，/>和/> 分别表示包含了邻居信息的边缘预测区域中属于非边缘像素和边缘像素的概率，概率由sigmoid函数得到，结果为[0,1]，α是调整邻域间平衡的超参数，假设众多邻居Xp集合为/>则每个邻居为/>j＝{1,2,…,m}，m是定义的邻居数，Zj具有与单色图像中的二值化属性相关的二值，即Zj＝1或0。
2.根据权利要求1所述的一种基于主干边缘特征提取的工业零件空载率计算方法，其特征在于：所述融合模块包括第一叠加单元、第二叠加单元、第一串联单元、第二串联单元、1×1卷积层；
所述步骤S23具体包括步骤：
S231、所述第一叠加单元对所述上采样块输出的第一个特征图像和第二个特征图像进行叠加后输入第一串联单元；
S232、所述第二叠加单元对所述上采样块输出的第三个特征图像和第四个特征图像进行叠加后输入第一串联单元；
S233、所述第一串联单元对所述第一叠加单元和所述第二叠加单元的输出进行串联；
S234、所述第二串联单元对所述第一串联单元的输出与所述上采样块输出的第五个特征图像进行串联后输入至所述1×1卷积层；
S235、所述1×1卷积层执行卷积操作后输出融合边缘图。
3.根据权利要求2所述的一种基于主干边缘特征提取的工业零件空载率计算方法，其特征在于：所述CNN卷积模块包括顺序连接的第一CNN块、第二CNN块、第三CNN块、第四CNN块、第五CNN块；所述第一CNN块包括顺序连接的第一3×3卷积层、第一批标准化层、第一最大池化层；所述第二CNN块包括顺序连接的第二3×3卷积层、第二批标准化层、第三3×3卷积层、第三批标准化层、第二最大池化层，所述第三CNN块包括顺序连接的第四3×3卷积层、第四批标准化层、第三最大池化层，所述第四CNN块包括顺序连接的第五3×3卷积层、第五批标准化层、第六3×3卷积层、第六批标准化层、第四最大池化层，所述第五CNN块包括顺序连接的第七3×3卷积层、第七批标准化层；
所述第一批标准化层、所述第三批标准化层、所述第四批标准化层、所述第六批标准化层、所述第七批标准化层连接所述上采样块。
4.根据权利要求3所述的一种基于主干边缘特征提取的工业零件空载率计算方法，其特征在于，在所述上采样块中设计一对卷积和反卷积运算来进行特征对齐：
其中和ρ(·)分别表示卷积和反卷积的作用函数，BN(·)表示批量归一化，/>表示所述CNN卷积模块输出的5个尺度下的特征图像，Yiup表示所述上采样块输出的5个特征图像，i＝1,2,3,4,5。
5.根据权利要求1～4任一项所述的一种基于主干边缘特征提取的工业零件空载率计算方法，其特征在于，所述步骤S3具体包括步骤：
S31、通过轮廓检测算法获得所述融合边缘图的闭合区域，其中闭合区域的数量及其位置分别表示为K和∑(Ha,Va)∣a＝1,2,…,K}，(Ha,Va)＝∑(hb,vb),b＝1,2,…,M，M是闭合区域中的边缘像素量；
在所述步骤S31中，通过轮廓检测算法获得所述融合边缘图的闭合区域的过程包括步骤：
S311、通过滑动窗口样式算法密集分配一组方形边界框，方形边界框的中心区域应覆盖所述融合边缘图的边界像素；
S312、采用方形边界框沿所述融合边缘图的边界提取一系列边界块；
S313、通过抑制非极大值的冗余目标搜索出局部最优解，来过滤掉一部分边界块，期间通过调整非最大抑制阈值来控制重叠量；
S314、将剩余的边界块和掩膜块调整大小后送入细化网络HRNetV2进行细化，得到融合边缘图的闭合区域；
S32、求出最小闭合区域：
6.根据权利要求5所述的一种基于主干边缘特征提取的工业零件空载率计算方法，其特征在于，在所述步骤S4中，通过下式计算工业零件的空载率Lnone：
其中，At为工业零件输送箱的总面积，Amin是最小封闭区域(Hmin,Vmin)的面积。
CN202210267402.2A 2022-03-18 2022-03-18 一种基于主干边缘特征提取的工业零件空载率计算方法 Active CN114581806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210267402.2A CN114581806B (zh) 2022-03-18 2022-03-18 一种基于主干边缘特征提取的工业零件空载率计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210267402.2A CN114581806B (zh) 2022-03-18 2022-03-18 一种基于主干边缘特征提取的工业零件空载率计算方法

Publications (2)

Publication Number Publication Date
CN114581806A CN114581806A (zh) 2022-06-03
CN114581806B true CN114581806B (zh) 2024-03-19

Family

ID=81779615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210267402.2A Active CN114581806B (zh) 2022-03-18 2022-03-18 一种基于主干边缘特征提取的工业零件空载率计算方法

Country Status (1)

Country Link
CN (1) CN114581806B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035251A (zh) * 2018-06-06 2018-12-18 杭州电子科技大学 一种基于多尺度特征解码的图像轮廓检测方法
CN110175402A (zh) * 2019-05-27 2019-08-27 上海维祥信息技术有限公司 车辆零部件装载方法及***
CN110648316A (zh) * 2019-09-07 2020-01-03 创新奇智(成都)科技有限公司 一种基于深度学习的钢卷端面边缘检测算法
CN110889854A (zh) * 2019-10-16 2020-03-17 深圳信息职业技术学院 一种基于多尺度深度学习的草图部件分割方法、***、装置及存储介质
CN111415106A (zh) * 2020-04-29 2020-07-14 上海东普信息科技有限公司 货车装载率识别方法、装置、设备及存储介质
CN111415329A (zh) * 2020-02-20 2020-07-14 广州中国科学院先进技术研究所 一种基于深度学习的工件表面缺陷检测方法
CN111814722A (zh) * 2020-07-20 2020-10-23 电子科技大学 一种图像中的表格识别方法、装置、电子设备及存储介质
CN111860837A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 装箱问题的处理方法、装置及计算机可读存储介质
CN113469199A (zh) * 2021-07-15 2021-10-01 中国人民解放军国防科技大学 一种基于深度学习的快速高效图像边缘检测方法
CN113658075A (zh) * 2021-08-17 2021-11-16 展讯通信（上海）有限公司 模型训练方法、图像边缘增强方法、装置、介质和终端
CN114120289A (zh) * 2022-01-25 2022-03-01 中科视语(北京)科技有限公司 一种行车区域与车道线识别方法及***
CN114170251A (zh) * 2020-08-21 2022-03-11 深圳市万普拉斯科技有限公司 一种图像语义分割方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410353B2 (en) * 2017-05-18 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Multi-label semantic boundary detection system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035251A (zh) * 2018-06-06 2018-12-18 杭州电子科技大学 一种基于多尺度特征解码的图像轮廓检测方法
CN110175402A (zh) * 2019-05-27 2019-08-27 上海维祥信息技术有限公司 车辆零部件装载方法及***
CN110648316A (zh) * 2019-09-07 2020-01-03 创新奇智(成都)科技有限公司 一种基于深度学习的钢卷端面边缘检测算法
CN110889854A (zh) * 2019-10-16 2020-03-17 深圳信息职业技术学院 一种基于多尺度深度学习的草图部件分割方法、***、装置及存储介质
CN111415329A (zh) * 2020-02-20 2020-07-14 广州中国科学院先进技术研究所 一种基于深度学习的工件表面缺陷检测方法
CN111415106A (zh) * 2020-04-29 2020-07-14 上海东普信息科技有限公司 货车装载率识别方法、装置、设备及存储介质
CN111814722A (zh) * 2020-07-20 2020-10-23 电子科技大学 一种图像中的表格识别方法、装置、电子设备及存储介质
CN111860837A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 装箱问题的处理方法、装置及计算机可读存储介质
CN114170251A (zh) * 2020-08-21 2022-03-11 深圳市万普拉斯科技有限公司 一种图像语义分割方法、装置及电子设备
CN113469199A (zh) * 2021-07-15 2021-10-01 中国人民解放军国防科技大学 一种基于深度学习的快速高效图像边缘检测方法
CN113658075A (zh) * 2021-08-17 2021-11-16 展讯通信（上海）有限公司 模型训练方法、图像边缘增强方法、装置、介质和终端
CN114120289A (zh) * 2022-01-25 2022-03-01 中科视语(北京)科技有限公司 一种行车区域与车道线识别方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Multi-scale spatial context-based semantic edge detection;Wei Ma等;《Information Fusion》;20201231;第64卷;第238-251页 *
Richer Convolutional Features for Edge Detection;Yun Liu等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20181031;第2页 *
一种基于DexiNed改进的红外图像边缘检测算法;何谦等;《红外技术》;20210930;第43卷(第9期);第876-884页 *
高分辨率遥感影像的边缘损失增强地物分割;陈琴等;《中国图象图形学报》;20210331;第26卷(第3期);第674-685页 *

Also Published As

Publication number Publication date
CN114581806A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN112967243B (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN108898610B (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN112308826A (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN116012291A (zh) 工业零件图像缺陷检测方法及***、电子设备和存储介质
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN117011260A (zh) 一种芯片外观缺陷自动检测方法、电子设备及存储介质
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
CN117252815A (zh) 基于2d-3d多模态图像的工业零件缺陷检测方法、***、设备及存储介质
CN110472640B (zh) 一种目标检测模型预测框处理方法及装置
Xu et al. Multiple guidance network for industrial product surface inspection with one labeled target sample
CN111368865A (zh) 遥感影像储油罐检测方法、装置、可读存储介质及设备
CN114581806B (zh) 一种基于主干边缘特征提取的工业零件空载率计算方法
CN115641437A (zh) 工业缺陷实例分割方法
CN110889418A (zh) 一种气体轮廓识别方法
CN116542962A (zh) 一种基于改进Yolov5m模型光伏电池缺陷检测方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质
CN114663658A (zh) 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法
CN111882545A (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN114972798B (zh) 一种基于特征纹理增强的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant