CN112991304B - 一种基于激光定向能量沉积监测***的熔池溅射检测方法 - Google Patents

一种基于激光定向能量沉积监测***的熔池溅射检测方法 Download PDF

Info

Publication number
CN112991304B
CN112991304B CN202110307025.6A CN202110307025A CN112991304B CN 112991304 B CN112991304 B CN 112991304B CN 202110307025 A CN202110307025 A CN 202110307025A CN 112991304 B CN112991304 B CN 112991304B
Authority
CN
China
Prior art keywords
azimuth
image
picture
frame
acquisition time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110307025.6A
Other languages
English (en)
Other versions
CN112991304A (zh
Inventor
李辉
米纪千
申胜男
岳浩文
刘胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueyang Luojia Intelligent Technology Co ltd
Original Assignee
Hunan Luojia Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Luojia Intelligent Technology Co ltd filed Critical Hunan Luojia Intelligent Technology Co ltd
Priority to CN202110307025.6A priority Critical patent/CN112991304B/zh
Publication of CN112991304A publication Critical patent/CN112991304A/zh
Application granted granted Critical
Publication of CN112991304B publication Critical patent/CN112991304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于激光定向能量沉积监测***的熔池溅射检测方法。本***含808nm激光源、拍照***和图像处理***。拍照***同时采集各处图像传与图像处理***构建图像集合，预处理得预处理图，对预处理图标注得熔池标注框、溅射类型、溅射标注框；构建生成式对抗神经网络，图中各类型与各标注框作为标签结合神经网络预测类型与标记构建损失函数以优化神经网络；待检测图输入已优化网络得最终标注框。本发明优点：用近红外光源由仪器观测识别避免人眼观察造成损伤；外加激光源增加可拍摄性和图样可读性、准确性；采用高速摄像机获取点状溅射，设置六个相机同时拍摄使对象形貌更丰富，提高识别的精确度以及检测效率。

Description

一种基于激光定向能量沉积监测***的熔池溅射检测方法
技术领域
本发明涉及金属增材制造气孔研究和疲劳防治领域，尤其涉及一种基于激光定向能量沉积监测***的熔池溅射检测方法。
背景技术
激光定向能量沉积技术是一种新型激光快速成形制造工艺，用它能直接成型出接近完全致密度、力学性能良好的金属零件，在航空航天、汽车、生物医疗等领域展现了良好的应用前景，已经形成了一股研究热潮，国内有清华大学、中国科学院等研究机构、国外有德国EOS、美国3D systems、比利时鲁汶大学等机构在进行激光定向能量沉积领域的研究，均有不小的突破。在2018年SAE发布了首套行业增材制造材料与工艺标准，包括4项具体标准，主要涉及基于粉末床的激光熔融(LPBF)增材制造技术；2019年，增材制造公司NorskTitanium和SAE又推出了定向能量沉积(DED)3D打印技术应用的第一个规范。新规范确定了航空航天领域的用户采购Norsk Titanium快速等离子沉积(RPD)预制件的最低要求。但是在制造过程中，由于激光功率密度、扫描速度等工艺参数影响，零部件的形成过程就可能会出现缺陷(如裂纹、孔洞等)。送粉激光增材制造相比铺粉而言操作更加灵活，可以在制备过程中变换粉末，也可以制备出复杂形状的部件，但该工艺颇受人们关注的同时，气孔的出现依然是部件制造过程中经常发生的问题，由此显著降低了部件的疲劳寿命和机械强度。然而，即便已经明确知晓个中缺陷的危害并加以警惕，对激光能量与沉积粉末之间的物理现象的深入理解目前仍然是一件非常不容易的事情，急需有塬位在线监测技术对影响粉末流速、基材吸收激光能量、熔池动力学和气孔形成的相关机制进行研究。同样的，在金属材料熔融过程产生的溅射也会造成其余部件的污染和破坏。因此需要利用捕捉设备对熔池和溅射进行监测，并进行反馈处理，从而对加工过程进行针对性的调控来实时优化整个加工过程。
发明内容
本发明的目的在于提供一种基于激光定向能量沉积监测***的熔池溅射检测方法，旨在捕获真实的熔池和溅射的图样，便于增材制造过程中对加工缺陷的原因分析和处理。
本发明***的技术方案是激光定向能量沉积监测***，其特征在，包括：808nm激光光源、拍照***和图像处理***；
所述808nm激光光源，用于对监测区域提供足够的光强，将熔池和溅射更好地暴露出来；
进一步地，所述808nm激光光源前方放置滤波片，滤波片的选择依靠采用的金属材料的光谱波长选择，旨在削弱其余繁杂的光波，加强对应的波长，捕获更真实的熔池溅射图样；
其中，所述808nm近红外激光对本***具有最佳促进作用，此外，处于近红外区域的850nm、860nm也对本***有帮助，本***对光源的使用包括但是不限制在808nm的激光上；
其中，理论上，所述808nm激光光源在拍照***进行拍照时需对监测区域提供足够的光强，在拍照***进行拍照之后就可以关闭；但是如果图像处理***处理的速度足够快，可以实现实时监测，所述808nm激光光源则需要持续长时间对监测区域提供足够的光强。
所述拍照***，用于对熔池和溅射的空间信息和光谱信息进行拍摄并且将图像传输给图像处理***；
进一步地，所述拍照***设置多个高速摄像机，在同一水平面分别间隔一定角度同时进行拍摄，将同一时刻的不同方位的图像共同传输至图像处理***处理。
所述图像处理***，用于对所述拍照***中高速摄像机拍摄的图样进行处理，并标注熔池和溅射；
本发明又提供一种熔池溅射检测方法：
步骤1：拍照***同一时刻采集不同方位的图像，并传输至图像处理***构建图像数据集；
步骤2：所述图像数据集中每个采集时刻每个方位的图像通过图像预处理得到预处理后每个采集时刻每个方位的图像，获取熔池的类型RC-picture，将预处理后每个采集时刻每个方位的图像通过图像标注得到每个采集时刻每个方位的图像对应的熔池标注框、溅射类型、溅射标注框；
步骤3：构建生成式对抗神经网络，将步骤2预处理后每个采集时刻每个方位的图像作为训练集输入至生成式对抗神经网络，将每个方位的图像对应的熔池类型、熔池标注框、溅射类型、溅射标注框作为图像标签，进一步结合生成式对抗神经网络预测的类型以及预测的标记构建生成式对抗神经网络损失函数模型，进一步对网络优化训练得到优化后生成式对抗神经网络；
步骤4：将待检测的图像输入优化后生成式对抗神经网络得到预测标注框。作为优选，步骤1中所述图像数据集为：
datak,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，datak,d为第k个采集时刻第d个方位采集的图像，datak,d(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K为采集时刻的数量，D为方位的数量，M为图像行的数量，N为图像列的数量；
作为优选，步骤2所述图像预处理具体为：图像预***对每个采集时刻每个方位的图像进行灰度化处理、平滑滤波；
所述灰度化处理，将每个采集时刻每个方位的图像转换为每个采集时刻每个方位的灰度图像；
所述平滑滤波，消除每个采集时刻每个方位的灰度图像中的干扰噪声，得到预处理后的每个采集时刻每个方位的图像；
步骤2中所述预处理后每个采集时刻每个方位的图像为：
picturek，d(i，j)
k∈[1，K]，d∈[1，D]，i∈[1，M]，j∈[1，N]
其中，picturek，d为第k个采集时刻第d个方位采集的图像，picturek，d(i，j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K为采集时刻的数量，D＝6为方位的数量，M为图像行的数量，N为图像列的数量；
需要说明的是，熔池有且只有一个、有且只有一种，即为RC-picture，是图像当中最亮最大的一部分区域。
步骤2中所述每个采集时刻每个方位的图像对应的熔池标注框定义为：
RClable-picturek,d1＝(RClable-picturek,d,l,t1，RClable-picturek,d,r,b1)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,l,t1＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b1＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d1为第k个采集时刻第d个方位的熔池标注框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池标注框的左，t表示熔池标注框的上，r表示熔池标注框的右，b表示熔池标注框的下；RClable-picturek,d,l,t1为第k个采集时刻第d个方位的熔池类型的熔池标注框左上角的位置，mk,d，l，t为第k个采集时刻第d个方位的熔池标注框左上角的位置的横坐标，nk,d，l，t为第k个采集时刻第d个方位的熔池类型的熔池标注框左上角的位置的纵坐标；RClable-picturek,d,r,b1为第k个采集时刻第d个方位的熔池标注框右下角的位置，mk,d，r，b为第k个采集时刻第d个方位的熔池标注框右下角的位置的横坐标，nk,d，r，b为第k个采集时刻第d个方位的熔池标注框右下角的位置的纵坐标；
步骤2中所述每个采集时刻每个方位的图像对应的溅射定义为：
JS-picturek,d,f，k∈[1,K],d∈[1,D]，f∈[1,F]
其中，JS-picturek,d,f为第k个采集时刻第d个方位所捕获图像的预处理图像上第f个溅射，K为采集时刻的数量，D＝6方位的数量，F为溅射的数目；
作为优选，步骤2中所述每个采集时刻每个方位的图像对应的溅射标注框定义为：
JSlable-picturek,d,f1＝(JSlable-picturek,d,f,l,t1，JSlable-picturek,d,f,r,b1)，
k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t1＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b1＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f1为第k个采集时刻第d个方位第f个溅射标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射标注框的左，t表示溅射标注框的上，r表示溅射标注框的右，b表示溅射标注框的下；JSlable-picturek,d,f,l,t1为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b1为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置的纵坐标；
作为优选，步骤3所述生成式对抗神经网络由生成器模块和判断器模块级联组成；
所述生成器模块由输入层、噪化层依次级联构成；
所述输入层，将第p个采集时刻的激光定向能量沉积区域图像即datak,d通过均值零化、方差归一化方法，将得到第p个采集时刻的标准化图像输出至噪化层；所述噪化层对标准化图像给予3×3区域内的像素进行3×3，步长取3的最大噪化运算，以尽可能更改图像原貌，构成特征图(M4×M4×C4)；
所述判别器模块由降噪层、softmax层级联构成；
其中，所述降噪层对特征图(M4×M4×C4)进行横向、纵向叠加运算，在噪化图像中心位置3×3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3×3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)；
步骤2中所述每个采集时刻每个方位的图像对应的熔池预测框定义为：
RClable-picturek,d2＝(RClable-picturek,d,l,t2，RClable-picturek,d,r,b2)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,,t,l2＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b2＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d2为预测的第k个采集时刻第d个方位的熔池预测框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池预测框的左，t表示熔池预测框的上，r表示熔池预测框的右，b表示熔池预测框的下；RClable-picturek,d,l,t2为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置，mk,d，l，t为预测的第k个采集时刻第d个方位的熔池预测框左上角的位置的横坐标，nk,d，l，t为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置的纵坐标；RClable-picturek,d，r，b2为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置，mk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的横坐标，nk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的纵坐标；
步骤2中所述每个采集时刻每个方位的图像对应的溅射预测框定义为：
JSlable-picturek,d,f2＝(JSlable-picturek,d,f,l,t2，JSlable-picturek,d,f,r,b2)，
k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t2＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b2＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f2为第k个采集时刻第d个方位第f个溅射预测标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射预测标注框的左，t表示溅射预测标注框的上，r表示溅射预测标注框的右，b表示溅射预测标注框的下；JSlable-picturek,d,f,l,t2为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b2为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的纵坐标；
所述softmax层，对输入的特征图的N个特征构建N×1的列向量矩阵，对各值网络输出指数运算后输出另一个N×1的矩阵，其中列向量各元为softmax层判定所输入特征分属各类别的概率，从而获知是否是熔池和溅射的判定值；
进一步地，上述步骤2中，由softmax层内的soft_max函数计算类别θ的概率值定义如下：/>其中/>为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α=2个类别，α0指熔池或溅射判定值为0，对应不存在，α1指确定是熔池或溅射的判定值为1，对应存在；以此得到类别θ的概率值；
进一步地，步骤3所述对抗神经网络损失函数模型的具体定义为：
其中，RC-picturek，d1是第k个时刻第d个方位的熔池标记框RClable-picturek，d1中的的熔池图像的标签,RC-picturek，d2是第k个时刻第d个方位的熔池预测框RClable-picturek，d2中的熔池图像标签，PRC-c1为由sigmoid函数计算出的样本空间中总共C1个熔池图像样本中第c1个图像为熔池图像的预测概率值，C1为对抗神经网络训练集中熔池样本的总数量，其中c1的范围为[1，C1]；JS-picturek，d，f1为第k个采集时刻第d个方位的图像的第f个矩形框内溅射的标签，PJS(k，d，f)为由sigmoid函数计算出的第k个采集时刻第d个方位的图像的第f个溅射标记框内溅射的预测概率值，F为对抗神经网络训练集中溅射样本的总数量；
如果Loss1的值和Loss2的值均小于0.5，则认为生成式对抗神经网络已经建立成功，后续可将需要预测的图片或者图像输入生成式对抗神经网络得到预测标注框；否则认为损失函数的值过大，生成式对抗神经网络尚未建立成功，则需要重复步骤3的生成式对抗神经网络的过程。
步骤3所述的所述对网络优化训练得到优化后生成式对抗神经网络为：
利用生成式对抗神经网络训练集中激光定向能量沉积区域图像作为训练元输入至生成式对抗神经网络，通过生成式对抗神经网络预测得到熔池区域判定值tag存在与否，进一步结合神经网络数据集中熔池区域人工标注的tag构建生成式对抗神经网络损失函数，通过优化训练直至生成式对抗神经网络损失函数达到Nash均衡；
作为优选，步骤4中所述待检测的图像输入优化后生成式对抗神经网络得到熔池预测标注框定义为：
RClable-picturek,d3＝(RClable-picturek,d,l,t3，RClable-picturek,d,r,b3)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,,t,l3＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b3＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d3为预测的第k个采集时刻第d个方位的熔池预测框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池预测框的左，t表示熔池预测框的上，r表示熔池预测框的右，b表示熔池预测框的下；RClable-picturek,d,l,t3为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置，mk,d，l，t为预测的第k个采集时刻第d个方位的熔池预测框左上角的位置的横坐标，nk,d，l，t为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置的纵坐标；RClable-picturek,d，r，b3为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置，mk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的横坐标，nk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的纵坐标；
步骤4中所述待检测的图像输入优化后生成式对抗神经网络得到溅射预测标注框定义为：JSlable-picturek,d,f3＝(JSlable-picturek,d,f,l,t3，
JSlable-picturek,d,f,r,b3)，k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t3＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b3＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f3为第k个采集时刻第d个方位第f个溅射预测标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射预测标注框的左，t表示溅射预测标注框的上，r表示溅射预测标注框的右，b表示溅射预测标注框的下；JSlable-picturek,d,f,l,t3为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b3为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的纵坐标；
与现有技术相比，本发明具有以下有益效果：
本发明提供的这种应用于激光定向能量沉积的在线监测***，开创性地采用近红外区域的不可见光，完全利用仪器观测与识别，避免人眼观察造成人眼损伤；通过外加激光光源提供足够光强而不是利用熔融金属自发的光线，增加熔池和溅射的可拍摄性，增加高速摄像机拍摄图样的可读性，提高图像处理***的准确性，减少了出错几率；采用帧率较高的高速摄像机(帧率在100FPS及以上)，所获取的溅射图样点状分布，只有个别具有残影，并且设置六个高速摄像机同时从六个方位拍摄，使不同时刻的熔池和溅射形貌更加丰富，提高了图像处理***识别熔池和溅射的精确度(经过有效实验，识别精确度在在94.71％及以上)；图像处理***采用的预处理***和新型算法模块，识别速度快，可在63毫秒内完成识别与标注，并且熔池形貌更加真实，且因为LBP算法具有旋转不变性和灰度不变性的显著优点，故相比目前市面已有的DED在线监测***软体有较大优势。
附图说明
图1：为本发明***结构示意图；
图2：为本发明方法流程示意图。
附图标记说明：1-808nm激光光源、2-高速摄像机、3-图像处理***.
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示为本发明实例，提供一种应用于激光定向能量沉积的在线监测***，包括：
808nm激光光源(01)、拍照***(02)和图像处理***(03)；
所述808nm激光光源(01)，用于对监测区域提供足够的光强，将熔池和溅射更好地暴露出来；
进一步地，所述808nm激光光源(01)前方放置滤波片，滤波片的选择依靠采用的金属材料的光谱波长选择，旨在削弱其余繁杂的光波，加强对应的波长，捕获更真实的熔池溅射图样；
其中，所述808nm近红外激光对本***具有最佳促进作用，此外，处于近红外区域的850nm、860nm也对本***有帮助，本***对光源的使用包括但是不限制在808nm的激光上；
其中，理论上，所述808nm激光光源(01)在拍照***(02)进行拍照时需对监测区域提供足够的光强，在拍照***(02)进行拍照之后就可以关闭；但是如果图像处理***(03)处理的速度足够快，可以实现实时监测，所述808nm激光光源(01)则需要持续长时间对监测区域提供足够的光强。
所述拍照***(02)，用于对熔池和溅射的空间信息和光谱信息进行拍摄并且将图像传输给图像处理***(03)；
所述拍照***(02)选型为高速摄像机，所述高速摄像机为行业标准之上的工业摄像机具有高帧率，所拍摄的熔池溅射点状分布；
所述拍照***(02)设置6个高速摄像机，在同一水平面分别间隔60度同时进行拍摄，将同一时刻的不同方位的图像共同传输至图像处理***(03)处理。
所述图像处理***(03)，用于对所述拍照***(02)中高速摄像机拍摄的图样进行处理，并标注熔池和溅射；
所述808nm激光光源对所需要观测的熔池溅射进行照射，经过必要的照射时间后，对激光定向能量沉积区域(L-DED)利用所述的高速摄像机对熔池溅射进行图像捕捉，所述图像处理***对高速摄像机捕获的图像进行处理：所述图像预***从高速摄像机获取捕获的图像以后，进行灰度化处理以减少所需要处理的数据量，得到合理的灰度图像、利用几何变换改正高速摄像机抓取图像时的***误差和仪器位置(成像角度、透视关系以及镜头自身原因)的随机误差、增强图像中的熔池和溅射区域，通过二维傅里叶变换、平滑领域增强算法增强熔池和溅射区域的亮度和锐度；生成式对抗神经网络模块预先学习大量熔池和溅射图像，对图像预***传来的灰度化图像初步区分熔池和溅射，并且用于修复金属增材制造过程中的熔池和溅射图像预处理模块预处理后的图片；
如图2所示为本发明实施例的方法一种应用于激光定向能量沉积的在线监测***的工作方法，具体步骤如下：
步骤1：拍照***(02)同一时刻采集不同方位的图像，并传输至图像处理***(03)构建图像数据集；
作为优选，步骤1中所述图像数据集为：
datak,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，datak,d为第k个采集时刻第d个方位采集的图像，datak,d(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K为采集时刻的数量，D＝6为方位的数量，M为图像行的数量，N为图像列的数量；
步骤2：所述图像数据集中每个采集时刻每个方位的图像通过图像预处理得到预处理后每个采集时刻每个方位的图像，获取熔池的类型RC-picture，将预处理后每个采集时刻每个方位的图像通过图像标注得到每个采集时刻每个方位的图像对应的熔池标注框、溅射类型、溅射标注框；
作为优选，步骤2所述图像预处理具体为：图像预***(03)对每个采集时刻每个方位的图像进行灰度化处理、平滑滤波；
所述灰度化处理，将每个采集时刻每个方位的图像转换为每个采集时刻每个方位的灰度图像；
所述平滑滤波，消除每个采集时刻每个方位的灰度图像中的干扰噪声，得到预处理后的每个采集时刻每个方位的图像；
作为优选，步骤2中所述预处理后每个采集时刻每个方位的图像为：
picturek，d(i，j)
k∈[1，K]，d∈[1，D]，i∈[1，M]，j∈[1，N]
其中，picturek，d为第k个采集时刻第d个方位采集的图像，picturek，d(i，j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K为采集时刻的数量，D＝6为方位的数量，M为图像行的数量，N为图像列的数量；
需要说明的是，熔池有且只有一个、有且只有一种，即为RC-picture，是图像当中最亮最大的一部分区域。
作为优选，步骤2中所述每个采集时刻每个方位的图像对应的熔池标注框定义为：
RClable-picturek,d1＝(RClable-picturek,d,l,t1，RClable-picturek,d,r,b1)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,l,t1＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b1＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d1为第k个采集时刻第d个方位的熔池标注框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池标注框的左，t表示熔池标注框的上，r表示熔池标注框的右，b表示熔池标注框的下；RClable-picturek,d,l,t1为第k个采集时刻第d个方位的熔池类型的熔池标注框左上角的位置，mk,d，l，t为第k个采集时刻第d个方位的熔池标注框左上角的位置的横坐标，nk,d，l，t为第k个采集时刻第d个方位的熔池类型的熔池标注框左上角的位置的纵坐标；RClable-picturek,d,r,b1为第k个采集时刻第d个方位的熔池标注框右下角的位置，mk,d，r，b为第k个采集时刻第d个方位的熔池标注框右下角的位置的横坐标，nk,d，r，b为第k个采集时刻第d个方位的熔池标注框右下角的位置的纵坐标；
步骤2中所述每个采集时刻每个方位的图像对应的溅射定义为：
JS-picturek,d,f，k∈[1,K],d∈[1,D]，f∈[1,F]
其中，JS-picturek,d,f为第k个采集时刻第d个方位所捕获图像的预处理图像上第f个溅射，K为采集时刻的数量，D＝6方位的数量，F为溅射的数目；
步骤2中所述每个采集时刻每个方位的图像对应的溅射标注框定义为：
JSlable-picturek,d,f1＝(JSlable-picturek,d,f,l,t1，JSlable-picturek,d,f,r,b1)，
k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t1＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b1＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f1为第k个采集时刻第d个方位第f个溅射标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射标注框的左，t表示溅射标注框的上，r表示溅射标注框的右，b表示溅射标注框的下；JSlable-picturek,d,f,l,t1为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b1为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置的纵坐标；
步骤3：构建生成式对抗神经网络，将步骤2预处理后每个采集时刻每个方位的图像作为训练集输入至生成式对抗神经网络，将每个方位的图像对应的熔池类型、熔池标注框、溅射类型、溅射标注框作为图像标签，进一步结合生成式对抗神经网络预测的类型以及预测的标记构建生成式对抗神经网络损失函数模型，进一步对网络优化训练得到优化后生成式对抗神经网络；
步骤3所述生成式对抗神经网络由生成器模块和判断器模块级联组成；
所述生成器模块由输入层、噪化层依次级联构成；
所述输入层，将第p个采集时刻的激光定向能量沉积区域图像即datak,d通过均值零化、方差归一化方法，将得到第p个采集时刻的标准化图像输出至噪化层；所述噪化层对标准化图像给予3×3区域内的像素进行3×3，步长取3的最大噪化运算，以尽可能更改图像原貌，构成特征图(M4×M4×C4)；
所述判别器模块由降噪层、softmax层级联构成；
其中，所述降噪层对特征图(M4×M4×C4)进行横向、纵向叠加运算，在噪化图像中心位置3×3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3×3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)；
所述每个采集时刻每个方位的图像对应的熔池预测框定义为：
RClable-picturek,d2＝(RClable-picturek,d,l,t2，RClable-picturek,d,r,b2)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,,t,l2＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b2＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d2为预测的第k个采集时刻第d个方位的熔池预测框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池预测框的左，t表示熔池预测框的上，r表示熔池预测框的右，b表示熔池预测框的下；RClable-picturek,d,l,t2为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置，mk,d，l，t为预测的第k个采集时刻第d个方位的熔池预测框左上角的位置的横坐标，nk,d，l，t为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置的纵坐标；RClable-picturek,d，r，b2为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置，mk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的横坐标，nk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的纵坐标；
所述每个采集时刻每个方位的图像对应的溅射预测框定义为：
JSlable-picturek,d,f2＝(JSlable-picturek,d,f,l,t2，JSlable-picturek,d,f,r,b2)，
k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t2＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b2＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f2为第k个采集时刻第d个方位第f个溅射预测标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射预测标注框的左，t表示溅射预测标注框的上，r表示溅射预测标注框的右，b表示溅射预测标注框的下；JSlable-picturek,d,f,l,t2为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b2为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的纵坐标；
所述softmax层，对输入的特征图的N个特征构建N×1的列向量矩阵，对各值网络输出指数运算后输出另一个N×1的矩阵，其中列向量各元为softmax层判定所输入特征分属各类别的概率，从而获知是否是熔池和溅射的判定值；
由softmax层内的soft_max函数计算类别θ的概率值定义如下：/> 其中/>为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α=2个类别，α0指熔池或溅射判定值为0，对应不存在，α1指确定是熔池或溅射的判定值为1，对应存在；以此得到类别θ的概率值；
进一步地，步骤3所述对抗神经网络损失函数模型的具体定义为：
/>
其中，RC-picturek，d1是第k个时刻第d个方位的熔池标记框RClable-picturek，d1中的的熔池图像的标签,d∈[1,D],D＝6为方位的数目；RC-picturek，d2是第k个时刻第d个方位的熔池预测框RClable-picturek，d2中的熔池图像标签，PRC-c1为由sigmoid函数计算出的样本空间中总共C1个熔池图像样本中第c1个图像为熔池图像的预测概率值，C1为对抗神经网络训练集中熔池样本的总数量，其中c1的范围为[1，C1]；JS-picturek，d，f1为第k个采集时刻第d个方位的图像的第f个矩形框内溅射的标签，PJS(k，d，f)为由sigmoid函数计算出的第k个采集时刻第d个方位的图像的第f个溅射标记框内溅射的预测概率值，F为对抗神经网络训练集中溅射样本的总数量；
如果Loss1的值和Loss2的值均小于0.5，则认为生成式对抗神经网络已经建立成功，后续可将需要预测的图片或者图像输入生成式对抗神经网络得到预测标注框；否则认为损失函数的值过大，生成式对抗神经网络尚未建立成功，则需要重复步骤3的生成式对抗神经网络的过程。
步骤3所述的所述对网络优化训练得到优化后生成式对抗神经网络为：
利用生成式对抗神经网络训练集中激光定向能量沉积区域图像作为训练元输入至生成式对抗神经网络，通过生成式对抗神经网络预测得到熔池区域判定值tag存在与否，进一步结合神经网络数据集中熔池区域人工标注的tag构建生成式对抗神经网络损失函数，通过优化训练直至生成式对抗神经网络损失函数达到Nash均衡；
步骤4：将待检测的图像输入优化后生成式对抗神经网络得到预测标注框。
步骤4中所述待检测的图像输入优化后生成式对抗神经网络得到熔池预测标注框定义为：
RClable-picturek,d3＝(RClable-picturek,d,l,t3，RClable-picturek,d,r,b3)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,,t,l3＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b3＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d3为预测的第k个采集时刻第d个方位的熔池预测框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池预测框的左，t表示熔池预测框的上，r表示熔池预测框的右，b表示熔池预测框的下；RClable-picturek,d,l,t3为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置，mk,d，l，t为预测的第k个采集时刻第d个方位的熔池预测框左上角的位置的横坐标，nk,d，l，t为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置的纵坐标；RClable-picturek,d，r，b3为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置，mk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的横坐标，nk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的纵坐标；
步骤4中所述待检测的图像输入优化后生成式对抗神经网络得到溅射预测标注框定义为：JSlable-picturek,d,f3＝(JSlable-picturek,d,f,l,t3，
JSlable-picturek,d,f,r,b3)，k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t3＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b3＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f3为第k个采集时刻第d个方位第f个溅射预测标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射预测标注框的左，t表示溅射预测标注框的上，r表示溅射预测标注框的右，b表示溅射预测标注框的下；JSlable-picturek,d,f,l,t3为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b3为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的纵坐标；
尽管已描述了本发明的较佳实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括较佳实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种基于激光定向能量沉积监测***的熔池溅射检测方法，其特征在于：
所述激光定向能量沉积监测***包括：
808nm激光光源、拍照***和图像处理***；
所述808nm激光光源，用于对监测区域提供足够的光强，将熔池和溅射更好地暴露出来；
所述808nm激光光源前方放置滤波片，滤波片的选择依靠采用的金属材料的光谱波长选择，旨在削弱其余繁杂的光波，加强对应的波长，捕获更真实的熔池溅射图样；
本***对光源的使用包括但是不限制在808nm的激光上；
所述拍照***，用于对熔池和溅射的空间信息和光谱信息进行拍摄并且将图像传输给图像处理***；
所述拍照***设置多个高速摄像机，在同一水平面分别间隔一定角度同时进行拍摄，将同一时刻的不同方位的图像共同传输至图像处理***处理；
所述图像处理***，用于对所述拍照***中高速摄像机拍摄的图样进行处理，并标注熔池和溅射；
所述熔池溅射检测方法，包括以下步骤：
步骤1：拍照***同一时刻采集不同方位的图像，并传输至图像处理***构建图像数据集；
步骤2：所述图像数据集中每个采集时刻每个方位的图像通过图像预处理得到预处理后每个采集时刻每个方位的图像，获取熔池的类型RC-picture，将预处理后每个采集时刻每个方位的图像通过图像标注得到每个采集时刻每个方位的图像对应的熔池标注框、溅射类型、溅射标注框；
步骤3：构建生成式对抗神经网络，将步骤2预处理后每个采集时刻每个方位的图像作为训练集输入至生成式对抗神经网络，将每个方位的图像对应的熔池类型、熔池标注框、溅射类型、溅射标注框作为图像标签，进一步结合生成式对抗神经网络预测的类型以及预测的标记构建生成式对抗神经网络损失函数模型，进一步对网络优化训练得到优化后生成式对抗神经网络；
步骤4：将待检测的图像输入优化后生成式对抗神经网络得到预测标注框；
步骤2所述图像预处理具体为：图像预***对每个采集时刻每个方位的图像进行灰度化处理、平滑滤波；
所述灰度化处理，将每个采集时刻每个方位的图像转换为每个采集时刻每个方位的灰度图像；
所述平滑滤波，消除每个采集时刻每个方位的灰度图像中的干扰噪声，得到预处理后的每个采集时刻每个方位的图像；
步骤2中所述预处理后每个采集时刻每个方位的图像为：
picturek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，picturek，d为第k个采集时刻第d个方位采集的图像，picturek,d(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K为采集时刻的数量，D＝6为方位的数量，M为图像行的数量，N为图像列的数量；
需要说明的是，熔池有且只有一个、有且只有一种，即为RC-picture，是图像当中最亮最大的一部分区域；
步骤2中所述每个采集时刻每个方位的图像对应的熔池标注框定义为：
RClable-picturek,d1＝(RClable-picturek,d,l,t1，RClable-picturek,d,r,b1)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,l,t1＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b1＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d1为第k个采集时刻第d个方位的熔池标注框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池标注框的左，t表示熔池标注框的上，r表示熔池标注框的右，b表示熔池标注框的下；RClable-picturek,d,l,t1为第k个采集时刻第d个方位的熔池类型的熔池标注框左上角的位置，mk,d，l，t为第k个采集时刻第d个方位的熔池标注框左上角的位置的横坐标，nk,d，l，t为第k个采集时刻第d个方位的熔池类型的熔池标注框左上角的位置的纵坐标；RClable-picturek,d,r,b1为第k个采集时刻第d个方位的熔池标注框右下角的位置，mk,d，r，b为第k个采集时刻第d个方位的熔池标注框右下角的位置的横坐标，nk,d，r，b为第k个采集时刻第d个方位的熔池标注框右下角的位置的纵坐标；
步骤2中所述每个采集时刻每个方位的图像对应的溅射定义为：
JS-picturek,d,f，k∈[1,K],d∈[1,D]，f∈[1,F]
其中，JS-picturek,d,f为第k个采集时刻第d个方位所捕获图像的预处理图像上第f个溅射，K为采集时刻的数量，D＝6方位的数量，F为溅射的数目；
步骤2中所述每个采集时刻每个方位的图像对应的溅射标注框定义为：
JSlable-picturek,d,f1＝(JSlable-picturek,d,f,l,t1，JSlable-picturek,d,f,r,b1)，
k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t1＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b1＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f1为第k个采集时刻第d个方位第f个溅射标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射标注框的左，t表示溅射标注框的上，r表示溅射标注框的右，b表示溅射标注框的下；JSlable-picturek,d,f,l,t1为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b1为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射标注框右下角的位置的纵坐标；
步骤4中所述待检测的图像输入优化后生成式对抗神经网络得到熔池预测标注框定义为：
RClable-picturek,d3＝(RClable-picturek,d,l,t3，RClable-picturek,d,r,b3)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,t,l3＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b3＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d3为预测的第k个采集时刻第d个方位的熔池预测框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池预测框的左，t表示熔池预测框的上，r表示熔池预测框的右，b表示熔池预测框的下；RClable-picturek,d,l,t3为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置，mk,d，l，t为预测的第k个采集时刻第d个方位的熔池预测框左上角的位置的横坐标，nk,d，l，t为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置的纵坐标；RClable-picturek,d，r，b3为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置，mk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的横坐标，nk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的纵坐标；
步骤4中所述待检测的图像输入优化后生成式对抗神经网络得到溅射预测标注框定义为：JSlable-picturek,d,f3＝(JSlable-picturek,d,f,l,t3，
JSlable-picturek,d,f,r,b3)，k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t3＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b3＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f3为第k个采集时刻第d个方位第f个溅射预测标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射预测标注框的左，t表示溅射预测标注框的上，r表示溅射预测标注框的右，b表示溅射预测标注框的下；JSlable-picturek,d,f,l,t3为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b3为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的纵坐标。
2.根据权利要求1所述的基于激光定向能量沉积监测***的熔池溅射检测方法，其特征在于，
步骤1中所述图像数据集为：
datak,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，datak,d为第k个采集时刻第d个方位采集的图像，datak,d(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K为采集时刻的数量，D为方位的数量，M为图像行的数量，N为图像列的数量。
3.根据权利要求2所述的基于激光定向能量沉积监测***的熔池溅射检测方法，其特征在于，
步骤3所述生成式对抗神经网络由生成器模块和判断器模块级联组成；
所述生成器模块由输入层、噪化层依次级联构成；
所述输入层，将第p个采集时刻的激光定向能量沉积区域图像即datak,d通过均值零化、方差归一化方法，将得到第p个采集时刻的标准化图像输出至噪化层；所述噪化层对标准化图像给予3×3区域内的像素进行3×3，步长取3的最大噪化运算，以尽可能更改图像原貌，构成特征图(M4×M4×C4)；
所述判断器模块由降噪层、softmax层级联构成；
其中，所述降噪层对特征图(M4×M4×C4)进行横向、纵向叠加运算，在噪化图像中心位置3×3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3×3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)；
每个采集时刻每个方位的图像对应的熔池预测框定义为：
RClable-picturek,d2＝(RClable-picturek,d,l,t2，RClable-picturek,d,r,b2)，
k∈[1,K],d∈[1,D]
RClable-picturek,d,t,l2＝(mk,d，l，t，nk,d，l，t)
RClable-picturek,d,r,b2＝(mk,d，r，b，nk,d，r，b)
其中，RClable-picturek,d2为预测的第k个采集时刻第d个方位的熔池预测框，K为采集时刻的数量，D＝6为方位的数量，l表示熔池预测框的左，t表示熔池预测框的上，r表示熔池预测框的右，b表示熔池预测框的下；RClable-picturek,d,l,t2为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置，mk,d，l，t为预测的第k个采集时刻第d个方位的熔池预测框左上角的位置的横坐标，nk,d，l，t为预测的第k个采集时刻第d个方位的熔池类型的熔池预测框左上角的位置的纵坐标；RClable-picturek,d，r，b2为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置，mk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的横坐标，nk,d，r，b为预测的第k个采集时刻第d个方位的熔池预测框右下角的位置的纵坐标；
每个采集时刻每个方位的图像对应的溅射预测框定义为：
JSlable-picturek,d,f2＝(JSlable-picturek,d,f,l,t2，JSlable-picturek,d,f,r,b2)，
k∈[1,K],d∈[1,D]
JSlable-picturek,d,f,l,t2＝(mk,d,l,t，nk,d,l,t)
JSlable-picturek,d,f,r,b2＝(mk,d,r,b，nk,d,r,b)
其中，JSlable-picturek,d,f2为第k个采集时刻第d个方位第f个溅射预测标注框，K为采集时刻的数量，D＝6为方位的数量，l表示溅射预测标注框的左，t表示溅射预测标注框的上，r表示溅射预测标注框的右，b表示溅射预测标注框的下；JSlable-picturek,d,f,l,t2为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置，mk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的横坐标，nk,d,l,t为第k个采集时刻第d个方位的图像上第f个溅射预测标注框左上角的位置的纵坐标；JSlable-picturek,d,f,r,b2为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置，mk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的横坐标，nk,d,f,r,b为第k个采集时刻第d个方位的图像上第f个溅射预测标注框右下角的位置的纵坐标；
所述softmax层，对输入的特征图的N个特征构建N×1的列向量矩阵，对各值网络输出指数运算后输出另一个N×1的矩阵，其中列向量各元为softmax层判定所输入特征分属各类别的概率，从而获知是否是熔池和溅射的判定值；
上述步骤2中，由softmax层内的soft_max函数计算类别θ的概率值定义如下：其中/>为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指熔池或溅射判定值为0，对应不存在，α1指确定是熔池或溅射的判定值为1，对应存在；以此得到类别θ的概率值；
步骤3所述对抗神经网络损失函数模型的具体定义为：
其中，RC-picturek,d1是第k个时刻第d个方位的熔池标记框RClable-picturek,d1中的的熔池图像的标签,RC-picturek,d2是第k个时刻第d个方位的熔池预测框RClable-picturek,d2中的熔池图像标签，PRC-c1为由sigmoid函数计算出的样本空间中总共C1个熔池图像样本中第c1个图像为熔池图像的预测概率值，C1为对抗神经网络训练集中熔池样本的总数量，其中c1的范围为[1，C1]；JS-picturek,d,f1为第k个采集时刻第d个方位的图像的第f个矩形框内溅射的标签，PJS(k,d,f)为由sigmoid函数计算出的第k个采集时刻第d个方位的图像的第f个溅射标记框内溅射的预测概率值，F为对抗神经网络训练集中溅射样本的总数量；
如果Loss1的值和Loss2的值均小于0.5，则认为生成式对抗神经网络已经建立成功，后续可将需要预测的图片或者图像输入生成式对抗神经网络得到预测标注框；否则认为损失函数的值过大，生成式对抗神经网络尚未建立成功，则需要重复步骤3的生成式对抗神经网络的过程；
步骤3所述的所述对网络优化训练得到优化后生成式对抗神经网络为：
利用生成式对抗神经网络训练集中激光定向能量沉积区域图像作为训练元输入至生成式对抗神经网络，通过生成式对抗神经网络预测得到熔池区域判定值tag存在与否，进一步结合神经网络数据集中熔池区域人工标注的tag构建生成式对抗神经网络损失函数，通过优化训练直至生成式对抗神经网络损失函数达到Nash均衡。
CN202110307025.6A 2021-03-23 2021-03-23 一种基于激光定向能量沉积监测***的熔池溅射检测方法 Active CN112991304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110307025.6A CN112991304B (zh) 2021-03-23 2021-03-23 一种基于激光定向能量沉积监测***的熔池溅射检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110307025.6A CN112991304B (zh) 2021-03-23 2021-03-23 一种基于激光定向能量沉积监测***的熔池溅射检测方法

Publications (2)

Publication Number Publication Date
CN112991304A CN112991304A (zh) 2021-06-18
CN112991304B true CN112991304B (zh) 2024-06-14

Family

ID=76333064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110307025.6A Active CN112991304B (zh) 2021-03-23 2021-03-23 一种基于激光定向能量沉积监测***的熔池溅射检测方法

Country Status (1)

Country Link
CN (1) CN112991304B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104894335A (zh) * 2015-06-25 2015-09-09 长春工业大学 一种aod炉喷溅预报分析仪信息融合方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7021728B2 (ja) * 2017-05-12 2022-02-17 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
CN108549893B (zh) * 2018-04-04 2020-03-31 华中科技大学 一种任意形状的场景文本端到端识别方法
CN109977943B (zh) * 2019-02-14 2024-05-07 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、***和存储介质
CN110503654B (zh) * 2019-08-01 2022-04-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111189543B (zh) * 2020-01-15 2021-06-08 大连理工大学 一种增材制造中红外热像仪发射率在线标定方法
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN111761224B (zh) * 2020-05-22 2022-05-10 武汉大学深圳研究院 金属增材制造在线移动监测机构及在线外观检测设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104894335A (zh) * 2015-06-25 2015-09-09 长春工业大学 一种aod炉喷溅预报分析仪信息融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
激光增材制造温度场检测分析与控制综述;解瑞东;激光与光电子学进展;20190902;全文 *

Also Published As

Publication number Publication date
CN112991304A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
Ren et al. State of the art in defect detection based on machine vision
CN111007073B (zh) 一种増材制造过程中零件缺陷在线检测的方法及检测***
CN110310259B (zh) 一种基于改进YOLOv3算法的木结瑕疵检测方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN106228137A (zh) 一种基于关键点定位的atm机异常人脸检测方法
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN110245663A (zh) 一种用于钢卷信息识别的方法
CN109034184A (zh) 一种基于深度学习的均压环检测识别方法
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN115829991A (zh) 一种基于改进YOLOv5s的钢材表面缺陷检测方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN110458794A (zh) 用于轨道列车的配件质量检测方法及装置
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及***
CN115457026A (zh) 一种基于改进YOLOv5的纸病检测方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN116977960A (zh) 一种基于实例分割的水稻秧苗行检测方法
CN110689059A (zh) 一种垃圾自动分拣的方法
CN103235943A (zh) 基于pca的3d人脸识别***
CN112991304B (zh) 一种基于激光定向能量沉积监测***的熔池溅射检测方法
CN116994049A (zh) 全自动针织横机及其方法
CN114549391A (zh) 一种基于偏振先验的电路板表面缺陷检测方法
CN116934762A (zh) 锂电池极片表面缺陷的检测***及方法
Tian et al. Feature fusion–based preprocessing for steel plate surface defect recognition
CN115908843A (zh) 过热度识别模型训练方法、识别方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220125

Address after: 414024 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Yueyang City, Hunan Province

Applicant after: Yueyang Luojia Intelligent Technology Co.,Ltd.

Address before: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Applicant before: WUHAN University

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 414022 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant after: Hunan Luojia Intelligent Technology Co.,Ltd.

Address before: 414024 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Yueyang City, Hunan Province

Applicant before: Yueyang Luojia Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant