CN113920090B - 一种基于深度学习的预制棒外观缺陷自动化检测方法 - Google Patents

一种基于深度学习的预制棒外观缺陷自动化检测方法 Download PDF

Info

Publication number
CN113920090B
CN113920090B CN202111191037.3A CN202111191037A CN113920090B CN 113920090 B CN113920090 B CN 113920090B CN 202111191037 A CN202111191037 A CN 202111191037A CN 113920090 B CN113920090 B CN 113920090B
Authority
CN
China
Prior art keywords
defect
shooting
image
slice
outputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111191037.3A
Other languages
English (en)
Other versions
CN113920090A (zh
Inventor
丁发展
王峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Xuelang Shuzhi Technology Co ltd
Original Assignee
Wuxi Xuelang Shuzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Xuelang Shuzhi Technology Co ltd filed Critical Wuxi Xuelang Shuzhi Technology Co ltd
Priority to CN202111191037.3A priority Critical patent/CN113920090B/zh
Publication of CN113920090A publication Critical patent/CN113920090A/zh
Application granted granted Critical
Publication of CN113920090B publication Critical patent/CN113920090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于深度学***面缺陷提取法和光晕过滤处理，对预制棒棒体进行分段式表面缺陷检测和内部缺陷检测，滤除图像中的雾状干扰和远离聚焦平面的瑕疵；将背光组表面/内部缺陷图像和透光组表面/内部缺陷图像按照相同的拍摄方向进行缺陷合并，得到各个拍摄方向的表面缺陷整合图像以及其余拍摄深度的各个拍摄方向的内部缺陷整合图像；通过对内部缺陷整合图像进行相邻拍摄深度的缺陷点空间匹配，将同时出现在两个相邻拍摄深度的缺陷点归属到距离更接近的平面中；使用该方法能够减少人员与预制棒的接触，提高缺陷检测的精度及速度。

Description

一种基于深度学习的预制棒外观缺陷自动化检测方法
技术领域
本发明涉及缺陷检测技术领域，尤其是一种基于深度学习的预制棒外观缺陷自动化检测方法。
背景技术
光纤预制棒在出厂前需要进行棒体内外部缺陷检测，包含表面缺陷(磕伤、划伤)、内部缺陷(气泡、杂质、气线)。
目前，光纤预制棒的检测主要采用人工目测的方式，然而人工检测一方面难以实现高精度检测标准，误差较大，一些细微缺陷人眼难以发现；另一方面，工人检测速度难以跟上机器的生产速度，为此工厂不得不扩大质检人员规模，导致检测成本增加。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于深度学习的预制棒外观缺陷自动化检测方法，本发明的技术方案如下：
一种基于深度学***行部沿朝向透射光源的方向运动至机器视觉模组时，方法包括如下步骤：
对预制棒棒体每个段位的不同拍摄深度依次拍摄背光组图像和透光组图像；段位沿预制棒长度方向进行分段，设预制棒的外表面为相机的第一拍摄深度，其余拍摄深度沿预制棒径向方向至棒体中心逐层递进，预制棒运动过程中预制棒尾柄朝向透射光源；
获取预制棒各个拍摄方向的表面缺陷整合图像以及预制棒其余拍摄深度的各个拍摄方向的内部缺陷整合图像，方法相同均包括：
提取第一拍摄深度对应的背光组图像和透光组图像，对背光组图像利用焦平面缺陷提取法进行表面缺陷检测，滤除每个背光图像中远离聚焦平面的瑕疵，得到第一拍摄深度对应的背光组表面缺陷图像；对透光组图像先进行光晕过滤处理、再利用焦平面缺陷提取法进行表面缺陷检测，滤除每个透光图像中的雾状干扰和远离聚焦平面的瑕疵，得到第一拍摄深度对应的透光组表面缺陷图像；
将背光组表面缺陷图像和透光组表面缺陷图像按照相同的拍摄方向进行缺陷合并，得到各个拍摄方向的表面缺陷整合图像；
取其余拍摄深度中相邻拍摄深度对应的相同拍摄方向的内部缺陷整合图像进行缺陷点空间匹配，将同时出现在两个相邻拍摄深度的缺陷点归属到距离更接近的平面中。
本发明的有益技术效果是：
使用该方法能够进行预制棒棒体的分段式表面缺陷检测和内部缺陷检测，通过焦平面缺陷提取法和光晕过滤处理，滤除图像中的雾状干扰和远离聚焦平面的瑕疵，再将背光组表面/内部缺陷图像和透光组表面/内部缺陷图像按照相同的拍摄方向进行缺陷合并，得到各个拍摄方向的表面缺陷整合图像以及其余拍摄深度的各个拍摄方向的内部缺陷整合图像，通过对内部缺陷整合图像进行相邻拍摄深度的缺陷点空间匹配，将同时出现在两个相邻拍摄深度的缺陷点归属到距离更接近的平面中，基于深度学习的预制棒外观缺陷自动化检测方法，能够减少人员与预制棒的接触，提高缺陷检测的精度及速度。
附图说明
图1是本申请提供的机器视觉模组结构图。
图2是本申请提供的工业相机和背光源的位置关系图。
图3是本申请提供的预制棒棒体分段式成像的流程图。
图4是本申请提供的第一拍摄深度的背光图像局部图组，其中(1)为BG_E原图的焦平面局部图，(2)为BG_E原图的非焦平面局部图。
图5是本申请提供的第一拍摄深度的透光图像滤光处理前后的局部图组，其中(1)、(2)为IN_E原图的两个局部图，(3)、(4)为IN_E滤光图的两个局部图。
图6是本申请提供的第一拍摄深度的透光图像滤光处理后的局部图组，其中(1)、(2)为IN_E滤光图的焦平面局部图，(3)、(4)为IN_E滤光图的非焦平面局部图。
图7是本申请提供的第一拍摄深度对应的背光组表面缺陷图像和透光组表面缺陷图像的缺陷合并示意图。
图8是本申请提供的其余拍摄深度的背光图像局部图组，其中(1)为BG_E原图的非焦平面局部图，(2)为BG_E原图的焦平面局部图。
图9是本申请提供的焦平面缺陷提取法的流程图。
图10是本申请提供的自适应轮廓延展操作的流程图。
图11是本申请提供的切片焦平面二分类卷积神经网络的示意图。
图12是本申请提供的光晕过滤处理的流程图。
图13是本申请提供的其余拍摄深度的内部缺陷整合图像的缺陷点空间匹配法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请提供了一种基于深度学习的预制棒外观缺陷自动化检测方法，该方法基于预制棒外观缺陷自动化检测机构中的机器视觉模组实现。结合图1、图2所示，机器视觉模组包括五个工业相机A-E、五个背光源A’-E’和透射光源1，每个工业相机分别通过相应的工业相机支架2固定在安装板4上，安装板4上设有外观检测口5，五个工业相机A-E环绕外观检测口5设置，且连接各个相机中心点所围成的多边形的第一内接圆a与穿过外观检测口5的预制棒棒体6同心。每个背光源分别通过相应的背光源支架3固定在安装板4上，五个背光源A’-E’环绕外观检测口5设置，且连接各个背光源中心点所围成的多边形的第二内接圆b与穿过外观检测口5的预制棒棒体6同心。
第一内接圆a在第二内接圆b的外侧，且每个工业相机与相应的背光源相对设置。具体的，工业相机A的拍摄面与背光源A’的发光面平行，同理，其他相对的工业相机B-E的拍摄面与背光源B’-E’的发光面平行。五个工业相机A-E两两之间的拍摄面中心方向夹角为72°，五个背光源A’-E’两两之间的发光面中心方向夹角为72°。
透射光源1设置在安装板4外侧，且透射光源中心点与穿过外观检测口5的预制棒棒体6同心。
当预制棒平行部沿朝向透射光源1的方向运动至机器视觉模组时，方法包括如下步骤：
步骤1：对预制棒棒体每个段位的不同拍摄深度依次拍摄背光组图像和透光组图像。其中，段位沿预制棒长度方向进行分段，设预制棒的外表面为相机的第一拍摄深度，其余拍摄深度沿预制棒径向方向至棒体中心逐层递进，预制棒运动过程中预制棒尾柄朝向透射光源。具体步骤如图3所示：
步骤11：对于预制棒棒体当前段位，确定当前拍摄深度。
采用下式计算拍摄深度数组DeepSet：
Figure BDA0003301201590000041
其中，DeepSet1为第一拍摄深度，DeepSet2至DeepSetn为棒体内部的其余拍摄深度；n为拍摄深度数，且n的取值范围为[2,4]；Orgw为工业相机的镜头中心点到第二内接圆圆心的距离；Dia为预制棒的直径。
初始拍摄深度取DeepSet1。
步骤12：计算工业相机的镜头目标焦距，驱动镜头变焦。
计算公式为：
Figure BDA0003301201590000042
其中，fn为第n拍摄深度下的镜头目标焦距，Hi为相机靶面高度，Ho为视野高度，DeepSetn为预制棒径向的第n拍摄深度，n的取值范围为[2,4]；
根据镜头目标焦距和镜头当前焦距，计算镜头需要调整的焦距差：
fd＝fn-fo
其中，fo为镜头当前焦距；
镜头内部的控制***根据焦距差，驱动镜头调焦环电机齿轮，使镜头当前焦距与镜头目标焦距一致。
步骤13：背光源按预定顺序A’→E’依次频闪，对应的工业相机在频闪时拍摄当前段位、当前拍摄深度的背光图像，组成背光组图像。
步骤14：关闭所有背光源A’-E’、打开透射光源1，且透射光源1采用渐进式打光方式，所有工业相机A-E同时拍摄当前段位、当前拍摄深度的透光图像，组成透光组图像。其中渐进式打光方式为透射光源光强随拍摄的段位逐渐加强。
步骤15：判断是否完成所有拍摄深度成像，若是则进入预制棒棒体下一段位成像，也即重新开始步骤11，否则将当前拍摄深度递进一层，也即拍摄深度取DeepSet2，并执行步骤12。
步骤2：获取预制棒各个拍摄方向的表面缺陷整合图像以及预制棒其余拍摄深度的各个拍摄方向的内部缺陷整合图像。
<1>如图4所示，由于预制棒本身是透明的，工业相机在对其拍摄成像时，棒体中位于聚焦平面处的瑕疵将会清晰呈现(如图4-1)，而远离聚焦平面的瑕疵，则会对焦模糊不清(如图4-2)。如图5-1、5-2所示，以透射形式成像时，由于预制棒的包层厚度不完全均匀一致，光在穿透棒体时会出现不规则的散射现象，在成像上呈现为雾状的光晕干扰。
获取表面缺陷整合图像的方法具体包括：
步骤2a：提取DeepSet1对应的背光组图像BgSet＝{BG_A，BG_B，BG_C，BG_D，BG_E}和透光组图像InSet＝{IN_A，IN_B，IN_C，IN_D，IN_E}。
步骤2b：对背光组图像BgSet利用焦平面缺陷提取法进行表面缺陷检测，提取所有位于聚焦平面处的瑕疵(如图4-1)，滤除每个背光图像中远离聚焦平面的瑕疵(如图4-2)，得到DeepSet1对应的背光组表面缺陷图像。
步骤2c：结合图5、图6所示，对透光组图像InSet先进行光晕过滤处理、再利用焦平面缺陷提取法进行表面缺陷检测，提取所有位于聚焦平面处的瑕疵(如图6-1、6-2)，滤除每个透光图像中的雾状干扰(如图5-3、5-4)和远离聚焦平面的瑕疵(如图6-3、6-4)，得到DeepSet1对应的透光组表面缺陷图像。
步骤2d：将DeepSet1对应的背光组表面缺陷图像和透光组表面缺陷图像按照相同的拍摄方向进行缺陷合并，如图7所示，得到各个拍摄方向的表面缺陷整合图像，其中表面缺陷包括磕伤和划伤。
<2>内部缺陷位于预制棒实心棒体内部，使用DeepSet2至DeepSetn所成像的数据集进行气泡、杂质、气线的检测。如图8所示，在进行DeepSet2至DeepSetn的成像时，聚焦平面将推进至预制棒内部，位于预制棒表面的瑕疵将模糊不清(如图8-1)，位于预制棒内部焦平面上的瑕疵将清晰呈现(如图8-2)。
获取内部缺陷整合图像的方法具体包括：
步骤2e：提取DeepSet2至DeepSetn对应的BgSet＝{BG_A，BG_B，BG_C，BG_D，BG_E}和透光组图像InSet＝{IN_A，IN_B，IN_C，IN_D，IN_E}。
步骤2f：分别对每个拍摄深度的背光组图像BgSet利用焦平面缺陷提取法进行内部缺陷检测，提取所有位于聚焦平面处的瑕疵(如图8中BG_E局部2)，滤除每个背光图像中远离聚焦平面的瑕疵(如图8中BG_E局部1)，得到DeepSet2至DeepSetn对应的背光组内部缺陷图像。
步骤2g：分别对每个拍摄深度的透光组图像InSet先进行光晕过滤处理、再利用焦平面缺陷提取法进行内部缺陷检测，滤除每个透光图像中的雾状干扰和远离聚焦平面的瑕疵，得到DeepSet2至DeepSetn对应的透光组内部缺陷图像。
步骤2h：将同一拍摄深度对应的背光组内部缺陷图像和透光组内部缺陷图像按照相同的拍摄方向进行缺陷合并，得到DeepSet2至DeepSetn的各个拍摄方向的内部缺陷整合图像，其中内部缺陷包括气泡、杂质、气线。
整理成数据集DeepLayerSet形式：
Figure BDA0003301201590000061
需要说明的是，获取表面或内部缺陷整合图像的步骤<1>、<2>，以及步骤<1>、<2>中对背光组图像BgSet和透光组图像InSet的处理均不区分先后顺序。
在步骤2中，对背光组图像BgSet和透光组图像InSet的处理中均包含焦平面缺陷提取操作，如图9所示，具体处理步骤包括：
(1)对背光组图像BgSet进行二值化处理，输出每个背光图像对应的二值化结果图，记为Frame_Threshold。
(2)使用第一卷积核对Frame_Threshold进行第一、第二卷积处理操作，输出每个结果图对应的瑕疵轮廓闭合图，记为Frame_Close。
第一卷积核rk1的结构为：
Figure BDA0003301201590000062
第一卷积处理操作R1为：
Figure BDA0003301201590000063
其中，(x,y)为第一卷积核锚点位置的像素坐标，(x’,y’)为第一卷积核中锚点周围像素相对于锚点的坐标偏移量，FrameThreshold(·)表示二值化结果图，FrameCloseR1表示第一卷积处理后的瑕疵轮廓闭合图；
第二卷积处理操作R2为：
Figure BDA0003301201590000071
其中，FrameCloseR2表示第二卷积处理后的瑕疵轮廓闭合图。
(3)对Frame_Close进行轮廓检测，输出瑕疵轮廓信息列表，记为Is_contours。
(4)利用Is_contours计算输出瑕疵轮廓包围框列表，记为Is_boxes。
(5)使用Is_boxes在背光组图像BgSet上截取每个瑕疵点的缺陷切片，输出缺陷切片合集，记为org_point_rois。
(6)对org_point_rois中的每张缺陷切片，使用Is_contours中对应的轮廓点数组进行缺陷区域反选，清除当前缺陷切片中截取到的其他瑕疵，输出单一缺陷切片合集，记为clear_point_rois。
(7)根据Is_contours，对clear_point_rois中的每个切片进行自适应轮廓延展操作，将所有切片扩展或剪裁至224×224大小，输出尺寸归一化的缺陷切片合集，记为fine_point_rois，如图10所示，具体包括：
(7.1)提取clear_point_rois和Is_contours，计算每个切片的宽度w、高度h和中心点(ctx,cty)。
根据w、h与224的大小判断进入步骤(7.2)或进入步骤(7.5)。
(7.2)若w≤224且h≤224，则创建大小为224×224的画布矩阵，记为fine_point_rois，并设矩阵元素初始值为零。
(7.3)将clear_point_rois以相应切片的中心点(ctx,cty)为中心，复制到fine_point_rois的中心位置。
(7.4)使用clear_point_rois的边缘像素，填充fine_point_rois中的零元素，执行步骤(7.9)。
(7.5)若w＞224且h＞224，则计算瑕疵轮廓的重心点(xg,yg)。
(7.6)将clear_point_rois以相应切片的中心点(ctx,cty)为中心，进行画布扩展，扩展后的clear_point_rois的宽高为(w+224,h+224)、重心点为(xg+112,yg+112)。
(7.7)使用扩展前的clear_point_rois的边缘像素，填充扩展后的clear_point_rois中的零元素。
(7.8)以扩展后的重心点(xg+112,yg+112)为中心，对扩展后的clear_point_rois进行裁切，得到大小为224×224的缺陷切片。
(7.9)输出尺寸归一化的缺陷切片合集，记为fine_point_rois。
(8)将fine_point_rois输入到切片焦平面二分类卷积神经网络中，进行批量图像分类推理，网络输出二分类结果值，结果值包括：DeepSet1对应的当前焦平面瑕疵、记为0，以及非当前焦平面瑕疵、记为1，输出缺陷切片焦平面类别合集，记为point_label。
其中，切片焦平面二分类卷积神经网络如图11所示，以深度残差学***面或非焦平面的二分类。切片焦平面二分类卷积神经网络以大量的fine_point_rois为样本进行训练，训练后的网络对瑕疵点是否位于当前焦平面上进行有效判断。
(9)根据point_label以及Is_contours，将判断为非当前焦平面的瑕疵从背光组图像中清除，输出当前焦平面对应的背光组表面缺陷图像。
得到DeepSet1对应的透光组表面缺陷图像与得到背光组表面缺陷图像的方法步骤(1)-(9)相似，不同点在于：(1)对透光组图像InSet进行二值化处理，并将结果取反，输出每个图像对应的二值化结果图。(5)使用Is_boxes在透光组图像InSet上截取每个瑕疵点的缺陷切片，输出org_point_rois。(9)最终输出当前焦平面对应的透光组表面缺陷图像。
在步骤2中，对透光组图像InSet的处理中均包含光晕过滤处理，如图12所示，具体处理步骤包括：
(1)使用双边滤波器对透光组图像InSet进行边缘保护滤波，输出每个透光图像对应的滤波结果图，记为Frame_BF。
(2)使用第二卷积核对Frame_BF进行第三卷积处理操作，输出每个结果图对应的瑕疵形态图，记为Frame_grd。
第二卷积核rk2的结构为：
Figure BDA0003301201590000081
第三卷积处理操作R3为：
Figure BDA0003301201590000082
其中，FrameBF(·)表示滤波结果图，FramegrdR3(·)表示瑕疵形态图。
(3)对Frame_grd进行二值化处理，输出每个形态图对应的二值化结果图，记为Frame_Thd。
(4)使用rk1对Frame_Thd进行R1、R2操作，输出每个结果图对应的瑕疵轮廓闭合图，记为Frame_Cls。
(5)对Frame_Cls进行轮廓检测，输出瑕疵轮廓掩膜，记为contours_mask。
(6)对contours_mask进行数值取反操作，使用取反后的contours_mask在透光组图像InSet中滤除背景光晕，输出透光组瑕疵滤光图。
步骤3：取DeepSet2至DeepSetn中相邻拍摄深度对应的相同拍摄方向的内部缺陷整合图像进行缺陷点空间匹配，将同时出现在两个相邻拍摄深度的缺陷点归属到距离更接近的平面中。如图13所示，步骤3具体包括：
步骤3.1：提取DeepSetn-1和DeepSetn对应的相同拍摄方向的内部缺陷整合图像org_n-1、org_n，其中，DeepSetn-1为第n-1层的拍摄深度，DeepSetn为第n层的拍摄深度，缺陷点空间匹配时n的取值范围为[3,4]。
步骤3.2：使用rk1分别对org_n-1、org_n进行R1、R2操作，输出DeepSetn-1和DeepSetn的瑕疵轮廓闭合图，记为Frame_Close_n-1和Frame_Close_n，进入步骤3.3和3.5。
步骤3.3：计算Frame_Close_n-1和Frame_Close_n的缺陷轮廓重叠区域，输出缺陷重叠掩码图，记为Fcommon。
步骤3.4：对Fcommon进行轮廓检测，输出缺陷重叠瑕疵轮廓信息列表，记为contours_common，进入步骤3.6。
步骤3.5：分别对Frame_Close_n-1和Frame_Close_n进行轮廓检测，输出DeepSetn-1和DeepSetn的瑕疵轮廓信息列表，记为contours_n-1和contours_n，进入步骤3.6。
步骤3.6：对contours_common中的每个轮廓，计算中心点(cx,cy)，在contours_n-1和contours_n中分别匹配包含中心点(cx,cy)的瑕疵轮廓，记为(n-1)c和nc。
步骤3.7：对(n-1)c和nc进行轮廓近似度计算，输出瑕疵轮廓近似度值，记为Apo。
步骤3.8：判断Apo与阈值的大小，若小于阈值，则进入步骤3.14，若大于阈值，则进入步骤3.9。
步骤3.9：以(n-1)c在org_n-1上提取瑕疵切片，记为p_n-1，以nc在org_n上提取瑕疵切片，记为p_n，对p_n-1和p_n分别进行切片清晰度计算，输出切片清晰度值，记为cpn-1和cpn。
步骤3.10：判断cpn-1和cpn的大小，若cpn-1≤cpn，则进入步骤3.11，若cpn-1＞cpn，则进入步骤3.12。
步骤3.11：记N-1焦平面瑕疵移除列表为n-1_separate，在n-1_separate中添加(n-1)c，进入步骤3.13。
步骤3.12：记N焦平面瑕疵移除列表为n_separate，在n_separate中添加nc。
步骤3.13：以n-1_separate生成轮廓过滤掩码，对org_n-1中未匹配到当前焦平面的瑕疵进行过滤，输出当前拍摄方向的N-1焦平面的缺陷归属图space_n-1。以n_separate生成轮廓过滤掩码，对org_n中未匹配到当前焦平面的瑕疵进行过滤，输出当前拍摄方向的N焦平面的缺陷归属图space_n。
步骤3.14：将瑕疵轮廓保留。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，方法基于预制棒外观缺陷自动化检测机构中的机器视觉模组实现，所述机器视觉模组包括多个工业相机、多个背光源和透射光源，每个所述工业相机分别通过相应的工业相机支架固定在安装板上，所述安装板上设有外观检测口，多个所述工业相机环绕所述外观检测口设置，且连接各个相机中心点所围成的多边形的第一内接圆与穿过所述外观检测口的预制棒棒体同心；每个所述背光源分别通过相应的背光源支架固定在安装板上，多个所述背光源环绕所述外观检测口设置，且连接各个背光源中心点所围成的多边形的第二内接圆与穿过所述外观检测口的预制棒棒体同心，所述第一内接圆在所述第二内接圆的外侧，且每个工业相机与相应的背光源相对设置；所述透射光源设置在安装板外侧，且透射光源中心点与穿过所述外观检测口的预制棒棒体同心；
当预制棒平行部沿朝向透射光源的方向运动至所述机器视觉模组时，所述方法包括：
对预制棒棒体每个段位的不同拍摄深度依次拍摄背光组图像和透光组图像；所述段位沿预制棒长度方向进行分段，设预制棒的外表面为相机的第一拍摄深度，其余拍摄深度沿预制棒径向方向至棒体中心逐层递进，预制棒运动过程中预制棒尾柄朝向所述透射光源；
获取预制棒各个拍摄方向的表面缺陷整合图像以及预制棒其余拍摄深度的各个拍摄方向的内部缺陷整合图像，方法相同均包括：
提取所述第一拍摄深度对应的背光组图像和透光组图像，对所述背光组图像利用焦平面缺陷提取法进行表面缺陷检测，滤除每个背光图像中远离聚焦平面的瑕疵，得到所述第一拍摄深度对应的背光组表面缺陷图像；对所述透光组图像先进行光晕过滤处理、再利用焦平面缺陷提取法进行表面缺陷检测，滤除每个透光图像中的雾状干扰和远离聚焦平面的瑕疵，得到所述第一拍摄深度对应的透光组表面缺陷图像；
将所述背光组表面缺陷图像和透光组表面缺陷图像按照相同的拍摄方向进行缺陷合并，得到各个拍摄方向的表面缺陷整合图像；
取其余拍摄深度中相邻拍摄深度对应的相同拍摄方向的内部缺陷整合图像进行缺陷点空间匹配，将同时出现在两个相邻拍摄深度的缺陷点归属到距离更接近的平面中。
2.根据权利要求1所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，所述对预制棒棒体每个段位的不同拍摄深度依次拍摄背光组图像和透光组图像，包括：
对于预制棒棒体当前段位，确定当前拍摄深度，并计算所述工业相机的镜头目标焦距，驱动镜头变焦；
所述背光源按预定顺序依次频闪，对应的工业相机在频闪时拍摄当前段位、当前拍摄深度的背光图像，组成背光组图像；
关闭所有背光源、打开所述透射光源，且所述透射光源采用渐进式打光方式，所有工业相机同时拍摄当前段位、当前拍摄深度的透光图像，组成透光组图像；
判断是否完成所有拍摄深度成像，若是则进入预制棒棒体下一段位成像，否则将当前拍摄深度递进一层，并执行计算所述工业相机的镜头目标焦距的步骤。
3.根据权利要求1所述的基于深度学***面缺陷提取法进行表面缺陷检测，滤除每个背光图像中远离聚焦平面的瑕疵，得到所述第一拍摄深度对应的背光组表面缺陷图像，与利用焦平面缺陷提取法得到所述第一拍摄深度对应的透光组表面缺陷图像的方法相似，包括：
对所述背光组图像进行二值化处理，输出每个背光图像对应的二值化结果图；使用第一卷积核对所述二值化结果图进行第一、第二卷积处理操作，输出每个结果图对应的瑕疵轮廓闭合图；对所述瑕疵轮廓闭合图进行轮廓检测，输出瑕疵轮廓信息列表；利用所述瑕疵轮廓信息列表计算输出瑕疵轮廓包围框列表；使用所述瑕疵轮廓包围框列表在所述背光组图像上截取每个瑕疵点的缺陷切片，输出缺陷切片合集；对所述缺陷切片合集中的每张缺陷切片，使用所述瑕疵轮廓信息列表中对应的轮廓点数组进行缺陷区域反选，清除当前缺陷切片中截取到的其他瑕疵，输出单一缺陷切片合集；根据所述瑕疵轮廓信息列表，对所述单一缺陷切片合集中的每个切片进行自适应轮廓延展操作，将所有切片扩展或剪裁至224×224大小，输出尺寸归一化的缺陷切片合集；将所述尺寸归一化的缺陷切片合集输入到切片焦平面二分类卷积神经网络中，进行批量图像分类推理，网络输出二分类结果值，包括第一拍摄深度对应的当前焦平面瑕疵和非当前焦平面瑕疵，输出缺陷切片焦平面类别合集；根据所述缺陷切片焦平面类别合集以及瑕疵轮廓信息列表，将判断为非当前焦平面的瑕疵从所述背光组图像中清除，输出当前焦平面对应的背光组表面缺陷图像；
得到所述第一拍摄深度对应的透光组表面缺陷图像的不同点在于：对所述透光组图像进行二值化处理，并将结果取反，输出每个图像对应的二值化结果图；使用瑕疵轮廓包围框列表在透光组图像上截取每个瑕疵点的缺陷切片，输出缺陷切片合集；最终输出当前焦平面对应的透光组表面缺陷图像。
4.根据权利要求1所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，对所述透光组图像先进行光晕过滤处理，滤除每个透光图像中的雾状干扰，包括：
使用双边滤波器对所述透光组图像进行边缘保护滤波，输出每个透光图像对应的滤波结果图；使用第二卷积核对所述滤波结果图进行第三卷积处理操作，输出每个结果图对应的瑕疵形态图；对所述瑕疵形态图进行二值化处理，输出每个形态图对应的二值化结果图；使用第一卷积核对所述二值化结果图进行第一、第二卷积处理操作，输出每个结果图对应的瑕疵轮廓闭合图；对所述瑕疵轮廓闭合图进行轮廓检测，输出瑕疵轮廓掩膜；对所述瑕疵轮廓掩膜进行数值取反操作，使用取反后的瑕疵轮廓掩膜在所述透光组图像中滤除背景光晕，输出透光组瑕疵滤光图。
5.根据权利要求1所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，所述取其余拍摄深度中相邻拍摄深度对应的相同拍摄方向的内部缺陷整合图像进行缺陷点空间匹配，包括：
提取第n-1层和第n层拍摄深度对应的相同拍摄方向的内部缺陷整合图像，其中n为拍摄深度数，且缺陷点空间匹配时n的取值范围为[3,4]；使用第一卷积核分别对两个拍摄深度的内部缺陷整合图像进行第一、第二卷积处理操作，输出第n-1层和第n层拍摄深度的瑕疵轮廓闭合图；计算两个拍摄深度对应的瑕疵轮廓闭合图的缺陷轮廓重叠区域，输出缺陷重叠掩码图；对所述缺陷重叠掩码图进行轮廓检测，输出缺陷重叠瑕疵轮廓信息列表；分别对两个拍摄深度的瑕疵轮廓闭合图进行轮廓检测，输出第n-1层和第n层拍摄深度的瑕疵轮廓信息列表；对所述缺陷重叠瑕疵轮廓信息列表中的每个轮廓，计算中心点，在两个拍摄深度的瑕疵轮廓信息列表中分别匹配包含所述中心点的瑕疵轮廓；对第n-1层和第n层拍摄深度的瑕疵轮廓进行轮廓近似度计算，输出瑕疵轮廓近似度值；
判断所述瑕疵轮廓近似度值与阈值的大小，若小于阈值，则将瑕疵轮廓保留；若大于阈值，则以所述第n-1层拍摄深度的瑕疵轮廓在对应的内部缺陷整合图像上提取瑕疵切片，以所述第n层拍摄深度的瑕疵轮廓在对应的内部缺陷整合图像上提取瑕疵切片，对两个瑕疵切片分别进行切片清晰度计算，输出第n-1层和第n层拍摄深度的切片清晰度值；判断两个切片清晰度值的大小，若第n-1层拍摄深度的切片清晰度值小于等于第n层拍摄深度的切片清晰度值，则在N-1焦平面瑕疵移除列表中添加所述第n-1层拍摄深度的瑕疵轮廓；否则，在N焦平面瑕疵移除列表中添加所述第n层拍摄深度的瑕疵轮廓；以所述N-1焦平面瑕疵移除列表生成轮廓过滤掩码，对所述第n-1层拍摄深度的内部缺陷整合图像中未匹配到当前焦平面的瑕疵进行过滤，输出当前拍摄方向的N-1焦平面的缺陷归属图；以所述N焦平面瑕疵移除列表生成轮廓过滤掩码，对所述第n层拍摄深度的内部缺陷整合图像中未匹配到当前焦平面的瑕疵进行过滤，输出当前拍摄方向的N焦平面的缺陷归属图。
6.根据权利要求2所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，所述确定当前拍摄深度，包括：
采用下式计算拍摄深度数组DeepSet：
Figure FDA0003301201580000041
其中，DeepSet1为第一拍摄深度，DeepSet2至DeepSetn为棒体内部的其余拍摄深度；n为拍摄深度数，且n的取值范围为[2,4]；Orgw为工业相机的镜头中心点到第二内接圆圆心的距离；Dia为预制棒的直径。
7.根据权利要求2所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，计算所述工业相机的镜头目标焦距，驱动镜头变焦，包括：
计算公式为：
Figure FDA0003301201580000051
其中，fn为第n拍摄深度下的镜头目标焦距，Hi为相机靶面高度，Ho为视野高度，DeepSetn为预制棒径向的第n拍摄深度，n的取值范围为[2,4]；
根据所述镜头目标焦距和镜头当前焦距，计算镜头需要调整的焦距差：
fd＝fn-fo
其中，fo为镜头当前焦距；
镜头内部的控制***根据所述焦距差，驱动镜头调焦环电机齿轮，使镜头当前焦距与镜头目标焦距一致。
8.根据权利要求3所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，所述根据所述瑕疵轮廓信息列表，对所述单一缺陷切片合集中的每个切片进行自适应轮廓延展操作，将所有切片扩展或剪裁至224×224大小，输出尺寸归一化的缺陷切片合集，包括：
提取所述单一缺陷切片合集和瑕疵轮廓信息列表，计算每个切片的宽度、高度和中心点；
若所述宽度和高度均小于等于224，则创建大小为224×224的画布矩阵，并设矩阵元素初始值为零；将所述单一缺陷切片合集以相应切片的中心点为中心，复制到所述画布矩阵的中心位置；使用所述单一缺陷切片合集的边缘像素，填充画布矩阵中的零元素，输出尺寸归一化的缺陷切片合集；
若所述宽度和高度均大于224，则计算瑕疵轮廓的重心点；将所述单一缺陷切片合集以相应切片的中心点为中心，进行画布扩展，扩展后的单一缺陷切片合集的宽高分别增加224、重心点的横纵坐标分别增加112；使用扩展前的单一缺陷切片合集的边缘像素，填充扩展后的单一缺陷切片合集中的零元素；以扩展后的重心点为中心，对所述扩展后的单一缺陷切片合集进行裁切，得到大小为224×224的缺陷切片，输出尺寸归一化的缺陷切片合集。
9.根据权利要求3所述的基于深度学***面二分类卷积神经网络，以深度残差学***面或非焦平面的二分类；所述切片焦平面二分类卷积神经网络以所述尺寸归一化的缺陷切片合集为样本进行训练，训练后的网络对瑕疵点是否位于当前焦平面上进行有效判断。
10.根据权利要求4所述的基于深度学习的预制棒外观缺陷自动化检测方法，其特征在于，第一卷积核rk1的结构为：
Figure FDA0003301201580000061
第一卷积处理操作R1为：
Figure FDA0003301201580000062
其中，(x,y)为第一卷积核锚点位置的像素坐标，(x’,y’)为第一卷积核中锚点周围像素相对于锚点的坐标偏移量，FrameThreshold(·)表示二值化结果图，FrameCloseR1表示第一卷积处理后的瑕疵轮廓闭合图；
第二卷积处理操作R2为：
Figure FDA0003301201580000063
其中，FrameCloseR2表示第二卷积处理后的瑕疵轮廓闭合图；
第二卷积核rk2的结构为：
Figure FDA0003301201580000064
第三卷积处理操作R3为：
Figure FDA0003301201580000065
其中，FrameBF(·)表示滤波结果图，FramegrdR3(·)表示瑕疵形态图。
CN202111191037.3A 2021-10-13 2021-10-13 一种基于深度学习的预制棒外观缺陷自动化检测方法 Active CN113920090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111191037.3A CN113920090B (zh) 2021-10-13 2021-10-13 一种基于深度学习的预制棒外观缺陷自动化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111191037.3A CN113920090B (zh) 2021-10-13 2021-10-13 一种基于深度学习的预制棒外观缺陷自动化检测方法

Publications (2)

Publication Number Publication Date
CN113920090A CN113920090A (zh) 2022-01-11
CN113920090B true CN113920090B (zh) 2022-08-30

Family

ID=79239955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111191037.3A Active CN113920090B (zh) 2021-10-13 2021-10-13 一种基于深度学习的预制棒外观缺陷自动化检测方法

Country Status (1)

Country Link
CN (1) CN113920090B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114152626B (zh) * 2022-02-07 2022-05-24 盛吉盛(宁波)半导体科技有限公司 应用于缺陷高度测量的方法及装置
CN114519792B (zh) * 2022-02-16 2023-04-07 无锡雪浪数制科技有限公司 基于机器与深度视觉融合的焊缝超声波图像缺陷识别方法
CN114638807B (zh) * 2022-03-22 2023-10-20 无锡雪浪数制科技有限公司 一种基于深度学习的金属板材表面缺陷检测方法
CN116542967B (zh) * 2023-06-29 2023-10-03 厦门微图软件科技有限公司 一种锂电池极柱缺陷的检测方法、装置以及设备
CN117576088B (zh) * 2024-01-15 2024-04-05 平方和(北京)科技有限公司 一种液体杂质智能过滤视觉检测方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4492463A (en) * 1982-03-29 1985-01-08 At&T Bell Laboratories Method for inspecting multilayer transparent rods
US5406374A (en) * 1992-08-27 1995-04-11 Shin-Etsu Chemical Co., Ltd. Method for detecting bubbles and inclusions present in optical fiber preform and apparatus for detecting same
CN102706884A (zh) * 2012-05-10 2012-10-03 江苏光迅达光纤科技有限公司 一种检测光纤的装置及方法
CN103698342A (zh) * 2014-01-09 2014-04-02 浙江师范大学 基于激光散射的光纤预制棒瑕疵检测方法
CN111103309A (zh) * 2018-10-26 2020-05-05 苏州乐佰图信息技术有限公司 用于检测透明材质物体瑕疵的方法
CN111175306A (zh) * 2020-01-31 2020-05-19 武汉大学 基于机器视觉的光纤预制棒气泡自动化检测***及方法
CN111289540A (zh) * 2020-03-12 2020-06-16 华侨大学 一种光学玻璃瑕疵检测装置及其厚度计算方法
CN112824881A (zh) * 2020-04-28 2021-05-21 奕目(上海)科技有限公司 一种基于光场相机的透明或半透明介质缺陷检测***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3014238B1 (en) * 2013-06-25 2018-03-07 Prysmian S.p.A. Method for detecting defects in a rod-shaped transparent object

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4492463A (en) * 1982-03-29 1985-01-08 At&T Bell Laboratories Method for inspecting multilayer transparent rods
US5406374A (en) * 1992-08-27 1995-04-11 Shin-Etsu Chemical Co., Ltd. Method for detecting bubbles and inclusions present in optical fiber preform and apparatus for detecting same
CN102706884A (zh) * 2012-05-10 2012-10-03 江苏光迅达光纤科技有限公司 一种检测光纤的装置及方法
CN103698342A (zh) * 2014-01-09 2014-04-02 浙江师范大学 基于激光散射的光纤预制棒瑕疵检测方法
CN111103309A (zh) * 2018-10-26 2020-05-05 苏州乐佰图信息技术有限公司 用于检测透明材质物体瑕疵的方法
CN111175306A (zh) * 2020-01-31 2020-05-19 武汉大学 基于机器视觉的光纤预制棒气泡自动化检测***及方法
CN111289540A (zh) * 2020-03-12 2020-06-16 华侨大学 一种光学玻璃瑕疵检测装置及其厚度计算方法
CN112824881A (zh) * 2020-04-28 2021-05-21 奕目(上海)科技有限公司 一种基于光场相机的透明或半透明介质缺陷检测***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的光纤预制棒内部缺陷检测;王飞舟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150215(第02期);I138-988 *
基于机器视觉的预制棒瑕疵检测研究与应用;李杭;《中国优秀硕士学位论文全文数据库 工程科技I辑》;20200715(第07期);A005-88 *

Also Published As

Publication number Publication date
CN113920090A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN113920090B (zh) 一种基于深度学习的预制棒外观缺陷自动化检测方法
CN111650210B (zh) 高速高精度锂离子电池极片的毛刺检测方法及检测***
CN111007073A (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测***
CN105354806B (zh) 基于暗通道的快速去雾方法及***
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN103186887B (zh) 图像除雾装置和图像除雾方法
CN110706224B (zh) 基于暗场图像的光学元件弱划痕检测方法、***和装置
CN113240647A (zh) 一种基于深度学习的手机外壳后盖缺陷检测方法和***
CN111474179A (zh) 镜片表面清洁度检测装置及方法
CN114120317B (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN114280075B (zh) 一种管类零件表面缺陷在线视觉检测***及检测方法
CN111062961A (zh) 一种基于深度学习的隐形眼镜边缘缺陷检测方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测***
CN112200790B (zh) 布料缺陷检测方法、设备和介质
CN115797314B (zh) 零件表面缺陷检测方法、***、设备及存储介质
CN112529893A (zh) 基于深度神经网络的轮毂表面瑕疵在线检测方法及***
CN110738644A (zh) 一种基于深度学习的汽车涂装表面缺陷检测方法及***
CN111338051B (zh) 一种基于tft液晶面板自动对焦方法和***
CN112614105A (zh) 一种基于深度网络的3d点云焊点缺陷检测方法
CN113252567A (zh) 铝阀板表面多种缺陷快速检测方法、***、介质、终端
CN115917593A (zh) 用于对样品的数字图像进行质量控制的计算机实现的方法
CN117309892B (zh) 一种电池蓝膜的缺陷检测方法、装置及***和光源控制器
CN117761060A (zh) 一种视觉检测***及其检测方法
CN117237391A (zh) 一种基于机器视觉的轮廓检测方法
CN117197108A (zh) 光学变焦图像质量评估方法、***、计算机装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant