CN115115578B - 一种增材制造过程中的缺陷检测方法及*** - Google Patents

一种增材制造过程中的缺陷检测方法及*** Download PDF

Info

Publication number
CN115115578B
CN115115578B CN202210562263.6A CN202210562263A CN115115578B CN 115115578 B CN115115578 B CN 115115578B CN 202210562263 A CN202210562263 A CN 202210562263A CN 115115578 B CN115115578 B CN 115115578B
Authority
CN
China
Prior art keywords
defect
internal
image
data
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210562263.6A
Other languages
English (en)
Other versions
CN115115578A (zh
Inventor
周宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAMEN YUDIAN AUTOMATION TECHNOLOGY CO LTD
Original Assignee
XIAMEN YUDIAN AUTOMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAMEN YUDIAN AUTOMATION TECHNOLOGY CO LTD filed Critical XIAMEN YUDIAN AUTOMATION TECHNOLOGY CO LTD
Priority to CN202210562263.6A priority Critical patent/CN115115578B/zh
Publication of CN115115578A publication Critical patent/CN115115578A/zh
Application granted granted Critical
Publication of CN115115578B publication Critical patent/CN115115578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种增材制造过程中的缺陷检测方法及***，其包括以下步骤：获取输入数据；基于待测构件的表面温度T计算光谱数据，所述光谱数据包括光谱积分强度I、相关系数C；根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息；基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息。本发明的增材制造过程中的缺陷检测方法，能够保证缺陷检测的准确性；并且能够确定缺陷的深度、宽度和大小，辅助3D打印机的参数设定和结构设计。

Description

一种增材制造过程中的缺陷检测方法及***
技术领域
本发明涉及材料缺陷无损检测技术领域，特别是一种增材制造过程中的缺陷检测方法及***。
背景技术
增材制造(Additive Manufacturing，AM)俗称3D打印，融合了计算机辅助设计、材料加工与成型技术、以数字模型文件为基础，通过软件与数控***将专用的金属材料、非金属材料以及医用生物材料，按照挤压、烧结、熔融、光固化、喷射等方式逐层堆积，制造出实体物品的制造技术。相对于传统的、对原材料去除-切削、组装的加工模式不同，是一种“自下而上”通过材料累加的制造方法，从无到有。这使得过去受到传统制造方式的约束，而无法实现的复杂结构件制造变为可能。
3D打印过程中会产生一些缺陷，如表面裂缝、表面气孔、内部空腔、内部分层等缺陷。表面缺陷十分微小，肉眼几乎不可见；内部缺陷隐蔽性强，难以进行探测定位，这些缺陷会严重影响打印构件的品质，若未及时检测出这些缺陷可能会给生产出的下游产品带来潜在的致命危险。
现有技术中，针对增材制造中所产生缺陷的检测方法主要通过超声检测、电磁检测、红外检测等技术完成。但是，这些传统的无损检测方式的检测准确性还有待提高。
发明内容
本发明的主要目的在于提供了一种增材制造过程中的缺陷检测方法及***，旨在解决传统的无损检测方式的检测准确性不高的技术问题。
为实现上述目的，本发明提供了一种增材制造过程中的缺陷检测方法，其包括以下步骤：步骤a.获取输入数据，所述输入数据至少包括待测构件的表面温度T、图像数据；步骤b.基于待测构件的表面温度T计算光谱数据，所述光谱数据包括光谱积分强度I、相关系数C；步骤c.根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；步骤d.对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；步骤e.基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息；待分析图像为标准图像数据，表面缺陷信息包括表面缺陷类型、表面缺陷位置、表面缺陷深度d2、表面缺陷面积s2、表面缺陷宽度w2。
可选的，预设模板匹配规则具体为：|avg(X)-avg(Y)≤std(X)|，且|avg(X)-avg(Y)≤std(Y)|；其中，X表示在某时刻t待测构件各坐标的表面温度T、光谱积分强度I、相关系数C的数据，Y表示在某时刻t的预设模板各坐标的表面温度T、光谱积分强度I、相关系数C的数据，avg(X)/avg(Y)表示平均值运算，std(X)/std(Y)表示标准差运算。
可选的，还包括步骤f.输出缺陷信息，并对图像进行可视化显示。
可选的，所述步骤c中，光谱积分强度I是根据热力学中的斯特藩-玻尔兹曼定律计算得到的，用于表征温度场的变化；相关系数C是根据皮尔逊相关系数计算得到的，用于表征当前检测的光谱与无缺陷构件的参考光谱之间的关联程度；内部缺陷类型包括内部空腔、内部分层，表面缺陷类型包括表面裂缝、表面气孔。
可选的，所述步骤c中，根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；具体包括如下步骤：c1.获取表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则；c2.将待测构件的表面温度T、光谱积分强度I、相关系数C与预设数据模板匹配规则进行匹配，若符合预设模板匹配规则，则判断待测构件存在与模板相同类型的内部缺陷；c3.将存在内部缺陷的待测构件与数据模板进行比对，遍历得到待测构件中与模板中数据相同的所有点，所有点构成的连通区域为产生内部缺陷的位置。
可选的，所述步骤d中，对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息；具体包括如下步骤：d1.将太赫兹作为入射信号穿过待测构件，得到时域波形；d2.基于时域波形，得到时间延迟Td；d3.基于时间延迟Td与专家库中内部缺陷信息的线性拟合关系，得到内部缺陷深度d1、内部缺陷面积s1、内部缺陷宽度w1。
可选的，所述步骤e中，基于视觉检测算法模型，对待分析图像进行分析之前，还包括对图像数据进行图像预处理，得到待分析图像；具体包括如下步骤：e1.获取图像数据，并通过加权平均法将图像数据转换为灰度图像；e2.对灰度图像执行灰度差值算法和几何变换，并与专家知识库中的标准采集图像进行比对，矫正灰度图像的***误差；e3.对矫正后的灰度图像执行均值滤波、梯度算子法，得到待分析图像。
可选的，所述步骤e中，视觉检测算法模型包括3D目标检测算法，用于确定表面缺陷类型、表面缺陷位置和表面缺陷深度d2，具体包括如下步骤：获取同一缺陷检测场景下的两幅图像数据，根据立体匹配算法得到两幅图像数据中对应的像素点；根据三角视差法计算得到视差信息，并转换为深度图，深度图用于表示缺陷检测场景中缺陷目标的深度；将图像数据输入特征提取网络，深度图输入滤波器生成网络，并通过深度引导滤波模块对特征图信息进行多尺度融合处理，得到特征图；将特征图输入检测头模块，再对其进行非极大值抑制和结果微调处理后，输出表面缺陷类型和三维检测框；三维检测框对应于表面缺陷位置，且包含表面缺陷宽度、表面缺陷高度和表面缺陷深度d2三个维度。
可选的，所述步骤e中，视觉检测算法模型还包括图像语义分割算法，用于确定表面缺陷面积s2和表面缺陷宽度w2，具体包括如下步骤：获取图像数据，并通过激活函数进行特征提取，得到多个尺度的特征图；通过解码器将特征提取过程中的最后一幅特征图进行维度恢复、特征再利用，以及特征融合；通过卷积输出，对每个像素进行归类实现像素级分割，输出表面缺陷目标的掩码和对应类别，且该掩码的面积为表面缺陷面积s2，该掩码中心点到轮廓边缘的直线距离为表面缺陷宽度w2。
与所述增材制造过程中的缺陷检测方法相对应的，本发明提供一种增材制造过程中的缺陷检测***，其包括：数据采集与发生模块，用于获取输入数据，所述输入数据至少包括待测构件的表面温度T、图像数据；数据库模块，用于辅助光谱数据处理模块与图像数据处理模块进行数据处理与缺陷分析；光谱数据处理模块，用于基于待测构件的表面温度T计算光谱数据，所述光谱数据包括光谱积分强度I、相关系数C；用于根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；图像数据处理模块，用于对图像数据进行图像预处理，得到待分析图像；基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息，表面缺陷信息包括表面缺陷类型、表面缺陷位置、表面缺陷深度d2、表面缺陷面积s2、表面缺陷宽度w2；输出与显示模块，用于输出缺陷信息，并对图像进行可视化显示。
本发明的有益效果是：
(1)本发明的增材制造过程中的缺陷检测方法，通过光谱分析、图像处理、知识驱动相结合，能够保证缺陷检测的准确性；并且能够确定缺陷的深度、宽度和大小，辅助3D打印机的参数设定和结构设计；
(2)通过预设数据模板匹配规则，对待测构件存在的内部缺陷类型进行判断，并且能够直接定位出产生内部缺陷的位置，提升了对缺陷检测的准确性。
(3)通过输出缺陷信息，并对图像进行可视化显示，能够更加直观地了解增材制造过程中产生的缺陷；
(4)通过数据模板匹配规则、图像预处理和视觉检测算法模型，能够判断待测构件存在的缺陷类型、缺陷的深度、宽度、大小，并确定产生缺陷的位置，提升对缺陷检测的准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明增材制造过程中的缺陷检测方法的流程简图；
图2为本发明增材制造过程中的缺陷检测***的框架图；
图3为本发明增材制造过程中的缺陷检测***一具体实施例的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种增材制造过程中的缺陷检测方法，其包括以下步骤：步骤a.获取输入数据，输入数据至少包括待测构件的表面温度T、图像数据；步骤b.基于待测构件的表面温度T计算光谱数据，光谱数据包括光谱积分强度I、相关系数C；步骤c.根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；步骤d.对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；步骤e.基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息，待分析图像为标准图像数据，表面缺陷信息包括表面缺陷类型、表面缺陷位置、表面缺陷深度d2、表面缺陷面积s2、表面缺陷宽度w2。
本发明的增材制造过程中的缺陷检测方法，通过光谱分析、图像处理、知识驱动相结合，能够保证缺陷检测的准确性；并且能够确定缺陷的深度、宽度和大小，辅助3D打印机的参数设定和结构设计。
在本实施例中，还包括步骤f.输出缺陷信息，缺陷信息包括内部和/或表面缺陷类型、缺陷产生位置、大小、深宽，并对图像进行可视化显示；图像包括内部缺陷分析过程中的时域波形，以及表面缺陷分析过程中的检测分割结果图像。通过输出缺陷信息，并对图像进行可视化显示，能够更加直观地了解增材制造过程中产生的缺陷。
需要说明的是，步骤b-e可以依次执行，或者同时执行步骤b-d和步骤e，即同步进行内部缺陷与表面缺陷数据处理、分析，本发明对此顺序不作限定。
在本实施例中，光谱积分强度I、相关系数C、待测构件的表面温度T用于分析内部缺陷，图像数据用于分析表面缺陷。具体而言，内部缺陷类型包括内部空腔、内部分层，表面缺陷类型包括表面裂缝、表面气孔。
在本实施例中，步骤b中的光谱积分强度I是根据热力学中的斯特藩-玻尔兹曼定律计算得到的，用于表征温度场的变化，具体公式如下所示：
Figure GDA0003771607550000071
其中，ε为表面发射率(绝对黑体下)，σ为斯特藩常量(σ＝5.67×10-5)，Tj为待测构件的第j个观测点的表面温度，K为设置的总的观测点的个数，αj为第j个观测点的法线方向与观测方向之间的夹角。
相关系数C是根据皮尔逊相关系数计算得到的，用于表征当前检测的光谱与无缺陷构件的参考光谱之间的关联程度，具体公式如下所示：
Figure GDA0003771607550000072
其中，N为光谱点总数，xi为第i个光谱点的待测光谱强度，yi为第i个光谱点的参考光谱强度，
Figure GDA0003771607550000073
为待测光谱强度平均值，
Figure GDA0003771607550000074
为参考光谱强度平均值；再根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型。
在本实施例中，在步骤a之前，还包括根据增材制造过程中所生成的打印构件上各个点的表面温度在空间和时间上的分布情况，设计温度场模型，该模型可由下式进行表示：
T＝g(x,y,z,t) (式3)
其中，x,y,z为任一光谱点的三维坐标值，t表示时间。
当增材制造件产生某种内部缺陷时(如内部空腔、内部分层)，温度场会以某种形式发生扭曲，而扭曲的形式取决于内部缺陷的类型；因此，在设计模型的过程中建立专家知识库，该专家知识库内含有内部空腔、内部分层缺陷的温度场失真数据模板，模板内含有内部空腔、内部分层缺陷下表面温度T、光谱积分强度I和相关系数C的数据参量。
在本实施例中，步骤c根据表面温度T、光谱积分强度I、相关系数C和数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；具体包括如下步骤：
c1.获取表面温度T、光谱积分强度I、相关系数C和数据模板匹配规则；
c2.将待测构件的表面温度T、光谱积分强度I、相关系数C与数据模板匹配规则进行匹配，若符合模板匹配规则，则判断待测构件存在与模板相同类型的内部缺陷；
c3.将存在内部缺陷的待测构件与数据模板进行比对，遍历得到待测构件中与模板中数据相同的所有点，所有点构成的连通区域为产生内部缺陷的位置。
在本实施例中，是从专家知识库中获取预设模板匹配规则，判断待测构件存在的内部缺陷类型。即，本发明在此步骤仅需调用专家知识库中的预设模板匹配规则，预设模板匹配规则具体为：
|avg(X)-avg(Y)≤std(X)|，且|avg(X)-avg(Y)≤std(Y)|；
其中，X表示在某时刻t待测构件各坐标的表面温度T、光谱积分强度I、相关系数C的数据，Y表示在某时刻t的预设模板各坐标的表面温度T、光谱积分强度I、相关系数C的数据，avg(X)/avg(Y)表示平均值运算，std(X)/std(Y)表示标准差运算。
即，当|avg(X)-avg(Y)≤std(X)|，且|avg(X)-avg(Y)≤std(Y)|时，判断待测构件存在与模板相同的内部缺陷类型；否则，则认为待测构件不存在模板所包含的内部缺陷类型。具体而言，待测构件的温度场数据和专家知识库中的模板数据包含各坐标的表面温度T/光谱积分强度I/相关系数C参量，将待测和模板数据分别导出成csv(Comma SeparateValues)格式的文件，每个单元格存储1个数据点；通过计算所有单元格的平均值和标准差，再根据模板匹配规则判断是否存在缺陷。
进一步的，若存在与模板相同的内部缺陷类型，则对比待测构件的csv文件和模板数据的csv文件，遍历寻找待测构件中与模板数据中数据相同的单元格，以此定位出待测构件中发生内部缺陷位置的所有点，所有点所构成的连通区域即为该缺陷所产生的位置。
通过预设数据模板匹配规则，对待测构件存在的内部缺陷类型进行判断，并且能够直接定位出产生内部缺陷的位置，提升了对缺陷检测的准确性。
更进一步的，对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；具体包括如下步骤：
d1.将太赫兹作为入射信号穿过待测构件，得到时域波形；
d2.基于时域波形，得到时间延迟Td；在专家知识库中，建立了内部空腔、内部分层两种缺陷下，时间延迟Td与内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1的线性拟合关系；
d3.基于时间延迟Td与专家库中内部缺陷信息的线性拟合关系，得到内部缺陷深度d1、内部缺陷面积s1、内部缺陷宽度w1，具体公式如下：
Td＝k1s1+b1 (式4)
Td＝k2d1+b2 (式5)
Td＝k3w1+b3 (式6)
其中，k1为时间延迟Td与内部缺陷面积s1的线性拟合的斜率，k2为时间延迟Td与内部缺陷深度d1的线性拟合的斜率，k3为时间延迟Td与内部缺陷宽度w1的线性拟合的斜率；b1为时间延迟Td与内部缺陷面积s1的截距，b2为时间延迟Td与内部缺陷深度d1的线性拟合的截距，b3时间延迟Td与内部缺陷宽度w1的线性拟合的截距，均是基于在光谱分析的测试过程中，得到的多组(x1,Td)数据，x可以是s1,d1,w1。上述时间延迟Td为时域波形中响应曲线第一次达到其稳态值一半时所需的时间。
在本实施例中，k1、k2、k3、b1、b2、b3是通过描点连线的线性拟合方式得到的。
在本实施例中，步骤e中，基于视觉检测算法模型，对待分析图像进行分析之前，还包括对图像数据进行图像预处理，得到待分析图像；具体包括如下步骤：
e1.获取图像数据，并通过加权平均法将图像数据转换为灰度图像；
e2.对灰度图像执行灰度差值算法和几何变换，并与专家知识库中的标准采集图像进行比对，矫正灰度图像的***误差；
e3.对矫正后的灰度图像执行均值滤波、梯度算子法，进行图像平滑和锐化的增强处理得到待分析图像。
需要说明的是，若输入的图像数据即为标准图像数据，则不需要进行上述预处理步骤。
进一步的，基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息。具体为基于专家知识库，建立带有标签的增材制造过程中的缺陷图像(包含表面裂缝、表面气孔两种类型表面缺陷)和正常图像，作为视觉检测算法模型的训练集。上述标签是用于图像语义分割的掩码mask，即一张图像中所要分割的缺陷目标(表面裂缝、表面气孔)的前景轮廓和中间的填充。由于上述属于监督学习方式，训练过程中，一张输入图像对应一个mask，使得构建的分割模型能够学习所要分割的目标对象，这样才能在预测过程中，对没有标签的输入图像也能得到对应的分割目标掩码mask。
在本实施例中，视觉检测算法模型包括3D目标检测算法D4LCN，至少包括特征提取网络、滤波器生成网络、深度引导滤波模块、探测头模块；3D目标检测算法D4LCN用于确定表面缺陷类型、表面缺陷位置和表面缺陷深度d2，具体包括如下步骤：
两个相隔预设距离的摄像机同时获取同一缺陷检测场景的两幅图像，根据立体匹配算法得到两幅图像数据中对应的像素点；根据三角视差法计算得到视差信息，并转换为深度图，深度图用于表示缺陷检测场景中缺陷目标的深度；
将图像数据输入特征提取网络，深度图输入滤波器生成网络，并通过深度引导滤波模块对特征图信息进行多尺度融合处理，得到特征图；
将特征图输入检测头模块，再对其进行非极大值抑制和结果微调处理后，输出表面缺陷类型和三维检测框；三维检测框对应于表面缺陷位置，且包含表面缺陷宽度、表面缺陷高度和表面缺陷深度d2三个维度。
在本实施例中，优选的，预设距离为30-60厘米。
上述三角视差法是一种利用不同视点对同一物体的视差来测定距离的方法；对同一个物体，分别在两个视点上进行观测，两条视线与两个视点之间的连线形成一个等腰三角形，根据这个三角形顶角的大小，计算得到该三角形的高，也就是物体距观察者的距离。
在本实施例中，视觉检测算法模型还包括图像语义分割算法Attention U-Net，用于确定表面缺陷面积s2和表面缺陷宽度w2，具体包括如下步骤：
获取图像数据，将图像数据输入Attention U-Net中的编码器，其包含带激活函数的5个3×3卷积操作块用于特征提取，前4个卷积操作块的输出特征图，通过2×2最大池化处理，降低特征图维度，共得到5个尺度的特征图；
将经由编码器得到的第5个特征图输入码器，其包括2×2上采样操作用于维度恢复，将特征图的长和宽均扩大到原来的2倍，且通过激活函数的4个3×3卷积操作块进行特征再利用，以及编码器和解码器各尺度特征图的连接操作，用于特征融合；同时，在特征融合前加入Attention Gate(注意门径)，抑制了无关背景区域中的特征响应，提升了小型缺陷的分割精度；
最后通过1×1卷积的输出，对每个像素进行归类实现像素级分割，输出表面缺陷目标的掩码mask和对应类别，且该掩码mask的面积为表面缺陷大小s2，该掩码中心点到轮廓边缘的直线距离为表面缺陷宽度w2。
在本实施例中，激活函数优选为Relu激活函数。
本发明通过数据模板匹配规则、图像预处理和视觉检测算法模型，能够判断待测构件存在的缺陷类型、缺陷的深度、宽度、大小，并确定产生缺陷的位置，提升对缺陷检测的准确性。
如图2所示，本发明还对应提供一种增材制造过程中的缺陷检测***，其包括：
数据采集与发生模块100，用于获取输入数据，输入数据至少包括待测构件的表面温度T、图像数据；
数据库模块200，数据库模块中嵌入专家知识库201，用于辅助光谱数据处理模块与图像数据处理模块进行数据处理与缺陷分析；
光谱数据处理模块300，用于基于待测构件的表面温度T计算光谱数据，所述光谱数据包括光谱积分强度I、相关系数C；用于根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；
图像数据处理模块400，用于对图像数据进行图像预处理，得到待分析图像，待分析图像为标准图形数据；基于视觉检测算法模型，结合专家知识库201对待分析图像进行分析，得到表面缺陷信息，表面缺陷信息包括表面缺陷类型、表面缺陷位置、表面缺陷深度d2、表面缺陷面积s2、表面缺陷宽度w2；
输出与显示模块500，用于输出缺陷信息，并对图像进行可视化显示。
具体而言，如图3所示，所述数据采集与发生模块100包括CCD相机101，用于采集增材制造过程中的待检测构件的图像数据；红外温度传感器102，用于采集增材制造过程中的待检测构件的表面温度T；太赫兹信号发生器103，用于产生太赫兹信号源作为光谱分析时的入射信号。
待检测构件的表面温度T作为输入数据，输入光谱数据处理模块300，其包括中央处理器301，用于计算光谱积分强度I和相关系数C；存储单元，用于存储光谱积分强度I和相关系数C的计算值。光谱数据处理模块300还包括光谱数据分析单元303，用于判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置，对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息。
具体而言，将光谱积分强度I和相关系数C的计算值输入至光谱数据分析单元303，根据表面温度T、光谱积分强度I、相关系数C、结合数据库模块200中的专家知识库201中预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置，并将太赫兹作为入射信号，对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息。
待检测构件的图像数据作为输入数据，则输入图像数据处理模块400，其包括图像数据预处理单元401，用于对图像数据进行图像预处理，得到待分析图像；以及，视觉检测算法单元402，用于基于视觉检测算法模型，结合专家知识库201，对待分析图像进行分析，得到表面缺陷信息；其中，3D目标检测算法D4LCN用于确定表面缺陷类型、定位表面缺陷位置、估计表面缺陷深度，语义分割算法Attention U-Net用于对表面缺陷进行分割，确定表面缺陷大小和表面缺陷宽度信息。
最后，通过输出与显示模块500输出缺陷信息，并对图像进行可视化显示；输出与显示模块500包括用于输出缺陷信息的输出单元501，以及用于显示缺陷信息的可视化单元502。
可以理解的是，虽然图中未示出，但是各个模块之间还设置有通信接口，用于数据传输。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例、设备实施例及存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种增材制造过程中的缺陷检测方法，其特征在于，包括以下步骤：
步骤a.获取输入数据，所述输入数据至少包括待测构件的表面温度T、图像数据；
步骤b.基于待测构件的表面温度T计算光谱数据，所述光谱数据包括光谱积分强度I、相关系数C；
步骤c.根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；其中，光谱积分强度I是根据热力学中的斯特藩-玻尔兹曼定律计算得到的，用于表征温度场的变化；相关系数C是根据皮尔逊相关系数计算得到的，用于表征当前检测的光谱与无缺陷构件的参考光谱之间的关联程度；其中，内部缺陷类型包括内部空腔、内部分层，表面缺陷类型包括表面裂缝、表面气孔；
步骤d.对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；
步骤e.基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息；待分析图像为标准图像数据，表面缺陷信息包括表面缺陷类型、表面缺陷位置、表面缺陷深度d2、表面缺陷面积s2、表面缺陷宽度w2；
所述步骤e中，视觉检测算法模型包括3D目标检测算法，用于确定表面缺陷类型、表面缺陷位置和表面缺陷深度d2，具体包括如下步骤：
获取同一缺陷检测场景下的两幅图像数据，根据立体匹配算法得到两幅图像数据中对应的像素点；根据三角视差法计算得到视差信息，并转换为深度图，深度图用于表示缺陷检测场景中缺陷目标的深度；
将图像数据输入特征提取网络，深度图输入滤波器生成网络，并通过深度引导滤波模块对特征图信息进行多尺度融合处理，得到特征图；
将特征图输入检测头模块，再对其进行非极大值抑制和结果微调处理后，输出表面缺陷类型和三维检测框；三维检测框对应于表面缺陷位置，且包含表面缺陷宽度、表面缺陷高度和表面缺陷深度d2三个维度。
2.根据权利要求1所述的一种增材制造过程中的缺陷检测方法，其特征在于：预设模板匹配规则具体为：
|avg(X)-avg(Y)≤std(X)|，且|avg(X)-avg(Y)≤std(Y)|；
其中，X表示在某时刻t待测构件各坐标的表面温度T、光谱积分强度I、相关系数C三个参量的数据，Y表示在某时刻t的预设模板各坐标的表面温度T、光谱积分强度I、相关系数C三个参量的数据，avg(X)或avg(Y)表示平均值运算，std(X)或std(Y)表示标准差运算。
3.根据权利要求1所述的一种增材制造过程中的缺陷检测方法，其特征在于：还包括步骤f.输出缺陷信息，并对图像进行可视化显示。
4.根据权利要求1所述的一种增材制造过程中的缺陷检测方法，其特征在于：所述步骤c中，根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；具体包括如下步骤：
c1.获取表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则；
c2.将待测构件的表面温度T、光谱积分强度I、相关系数C与预设数据模板匹配规则进行匹配，若符合预设模板匹配规则，则判断待测构件存在与模板相同类型的内部缺陷；
c3.将存在内部缺陷的待测构件与数据模板进行比对，遍历得到待测构件中与模板中数据相同的所有点，所有点构成的连通区域为产生内部缺陷的位置。
5.根据权利要求1所述的一种增材制造过程中的缺陷检测方法，其特征在于：所述步骤d中，对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息；具体包括如下步骤：
d1.将太赫兹作为入射信号穿过待测构件，得到时域波形；
d2.基于时域波形，得到时间延迟Td；
d3.基于时间延迟Td与专家库中内部缺陷信息的线性拟合关系，得到内部缺陷深度d1、内部缺陷面积s1、内部缺陷宽度w1。
6.根据权利要求1所述的一种增材制造过程中的缺陷检测方法，其特征在于：所述步骤e中，基于视觉检测算法模型，对待分析图像进行分析之前，还包括对图像数据进行图像预处理，得到待分析图像；具体包括如下步骤：
e1.获取图像数据，并通过加权平均法将图像数据转换为灰度图像；
e2.对灰度图像执行灰度差值算法和几何变换，并与专家知识库中的标准采集图像进行比对，矫正灰度图像的***误差；
e3.对矫正后的灰度图像执行均值滤波、梯度算子法，得到待分析图像。
7.根据权利要求1所述的一种增材制造过程中的缺陷检测方法，其特征在于，所述步骤e中，视觉检测算法模型还包括图像语义分割算法，用于确定表面缺陷面积s2和表面缺陷宽度w2，具体包括如下步骤：
获取图像数据，并通过激活函数进行特征提取，得到多个尺度的特征图；
通过解码器将特征提取过程中的最后一幅特征图进行维度恢复、特征再利用，以及特征融合；
通过卷积输出，对每个像素进行归类实现像素级分割，输出表面缺陷目标的掩码和对应类别，且该掩码的面积为表面缺陷面积s2，该掩码中心点到轮廓边缘的直线距离为表面缺陷宽度w2。
8.一种增材制造过程中的缺陷检测***，其特征在于，包括：
数据采集与发生模块，用于获取输入数据，所述输入数据至少包括待测构件的表面温度T、图像数据；
数据库模块，用于辅助光谱数据处理模块与图像数据处理模块进行数据处理与缺陷分析；
光谱数据处理模块，包括中央处理器用于基于待测构件的表面温度T计算光谱数据，所述光谱数据包括光谱积分强度I、相关系数C；用于根据表面温度T、光谱积分强度I、相关系数C和预设数据模板匹配规则，判断待测构件存在的内部缺陷类型，并定位出产生内部缺陷的位置；对发生内部缺陷位置的点进行光谱分析，得到内部缺陷信息，内部缺陷信息包括内部缺陷面积s1、内部缺陷深度d1、内部缺陷宽度w1；其中，光谱积分强度I是根据热力学中的斯特藩-玻尔兹曼定律计算得到的，用于表征温度场的变化；相关系数C是根据皮尔逊相关系数计算得到的，用于表征当前检测的光谱与无缺陷构件的参考光谱之间的关联程度；其中，内部缺陷类型包括内部空腔、内部分层，表面缺陷类型包括表面裂缝、表面气孔；
图像数据处理模块，用于对图像数据进行图像预处理，得到待分析图像，待分析图像为标准图像数据；基于视觉检测算法模型，对待分析图像进行分析，得到表面缺陷信息，表面缺陷信息包括表面缺陷类型、表面缺陷位置、表面缺陷深度d2、表面缺陷面积s2、表面缺陷宽度w2；视觉检测算法模型包括3D目标检测算法，用于确定表面缺陷类型、表面缺陷位置和表面缺陷深度d2，具体包括如下步骤：获取同一缺陷检测场景下的两幅图像数据，根据立体匹配算法得到两幅图像数据中对应的像素点；根据三角视差法计算得到视差信息，并转换为深度图，深度图用于表示缺陷检测场景中缺陷目标的深度；将图像数据输入特征提取网络，深度图输入滤波器生成网络，并通过深度引导滤波模块对特征图信息进行多尺度融合处理，得到特征图；将特征图输入检测头模块，再对其进行非极大值抑制和结果微调处理后，输出表面缺陷类型和三维检测框；三维检测框对应于表面缺陷位置，且包含表面缺陷宽度、表面缺陷高度和表面缺陷深度d2三个维度；
输出与显示模块，用于输出缺陷信息，并对图像进行可视化显示。
CN202210562263.6A 2022-05-23 2022-05-23 一种增材制造过程中的缺陷检测方法及*** Active CN115115578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210562263.6A CN115115578B (zh) 2022-05-23 2022-05-23 一种增材制造过程中的缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210562263.6A CN115115578B (zh) 2022-05-23 2022-05-23 一种增材制造过程中的缺陷检测方法及***

Publications (2)

Publication Number Publication Date
CN115115578A CN115115578A (zh) 2022-09-27
CN115115578B true CN115115578B (zh) 2023-02-10

Family

ID=83325811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210562263.6A Active CN115115578B (zh) 2022-05-23 2022-05-23 一种增材制造过程中的缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN115115578B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116337868B (zh) * 2023-02-28 2023-09-19 靖江安通电子设备有限公司 一种表面缺陷检测方法及检测***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106353284A (zh) * 2016-08-29 2017-01-25 哈尔滨工业大学（威海） 基于光谱诊断的激光增材制造过程中缺陷的在线诊断方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景（北京）科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11426818B2 (en) * 2018-08-10 2022-08-30 The Research Foundation for the State University Additive manufacturing processes and additively manufactured products
CN113016004A (zh) * 2018-11-16 2021-06-22 阿莱恩技术有限公司 基于机器的三维(3d)对象缺陷检测
CN109909502B (zh) * 2019-03-18 2021-04-27 中国科学院合肥物质科学研究院 基于多源异构数据的激光增材制造过程的在线监测方法
CN114280030B (zh) * 2021-12-24 2023-07-21 中国科学院近代物理研究所 基于激光诱导击穿光谱的软物质粘弹性表征方法
CN114383821A (zh) * 2021-12-30 2022-04-22 厦门大学 基于三维成像的微小尺寸led芯片的测试***及其测试方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106353284A (zh) * 2016-08-29 2017-01-25 哈尔滨工业大学（威海） 基于光谱诊断的激光增材制造过程中缺陷的在线诊断方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景（北京）科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Audible Sound-Based Intelligent Evaluation for Aluminum Alloy in Robotic Pulsed GTAW: Mechanism, Feature Selection, and Defect Detection;Zhifen Zhang et al.;《IEEE Transactions on Industrial Informatics》;20180731;第14卷(第7期);2973-2983 *

Also Published As

Publication number Publication date
CN115115578A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110473173A (zh) 一种基于深度学习语义分割的缺陷检测方法
EP3006893B1 (en) Methods for improving the accuracy of dimensioning-system measurements
CN109580630B (zh) 一种机械零部件缺陷的视觉检测方法
CN104156536B (zh) 一种盾构机刀具磨损的可视化定量标定及分析方法
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、***及存储介质
Xu et al. An infrared thermal image processing framework based on superpixel algorithm to detect cracks on metal surface
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN109483887B (zh) 激光选区熔化过程中成形层轮廓精度在线检测方法
CN111524224B (zh) 一种电力变压器表面温度分布的全景成像方法
JPH04291136A (ja) 塗装面品質の自動評価方法および装置
CN106461373A (zh) 用于涂层预测、施涂和检查的实时数字增强成像
CN115115578B (zh) 一种增材制造过程中的缺陷检测方法及***
CN109085178A (zh) 一种用于增材制造的缺陷指纹精确在线监测方法和反馈策略
CN114719749B (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及***
CN103218805B (zh) 处理用于对象检验的图像的方法和***
CN113516651A (zh) 基于残差网络的焊接接头缺陷检测方法及装置
Zhao et al. Region-based online flaw detection of 3D printing via fringe projection
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN109583456B (zh) 基于特征融合和稠密连接的红外面目标检测方法
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及***
Wang et al. Structured-light three-dimensional scanning for process monitoring and quality control in precast concrete production.
CN117392097A (zh) 基于改进YOLOv8算法的增材制造工艺缺陷检测方法和***
CN116452519A (zh) 一种基于多模态信息融合的轮胎鼓包瑕疵检测方法
CN115656182A (zh) 基于张量投票主成分分析的板材点云缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant