CN112989703A - 基于深度学习的特征融合金属增材制造熔合状态实时预测方法 - Google Patents
基于深度学习的特征融合金属增材制造熔合状态实时预测方法 Download PDFInfo
- Publication number
- CN112989703A CN112989703A CN202110330919.7A CN202110330919A CN112989703A CN 112989703 A CN112989703 A CN 112989703A CN 202110330919 A CN202110330919 A CN 202110330919A CN 112989703 A CN112989703 A CN 112989703A
- Authority
- CN
- China
- Prior art keywords
- real
- deep learning
- time prediction
- fusion
- additive manufacturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/10—Additive manufacturing, e.g. 3D printing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/08—Thermal analysis or thermal optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Powder Metallurgy (AREA)
Abstract
本发明涉及金属增材制造技术领域，尤其涉及基于深度学习的特征融合金属增材制造熔合状态实时预测方法，解决了现有采集的图像数据存在干扰，难以进行准确处理；能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，在单一的熔池图像样本数据训练的情况下，处理出来的预测值误差较大、精度较低的缺点，包括搭载实时预测***的工控机和激光金属增材打印机，本发明在一定时间序列下连续采集熔池图像和温度数据，先对有效的熔池图像和温度数据进行归一化处理；深度学习卷积神经网络模型在训练的时候排除了其他无关特征，利用熔池图像和温度数据进行特征融合，对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点。
Description
技术领域
本发明涉及金属增材制造技术领域，尤其涉及基于深度学习的特征融合金属增材制造熔合状态实时预测方法。
背景技术
因易成形复杂零件和良好的涂层加工，激光金属增材制造技术被广泛应用于医疗、航空航天和国防等领域。在激光金属增材制造技术中，单道单层的沉积熔合状态是影响零件成形质量的重要因素，而在影响沉积熔合状态的诸多工艺参数中，熔池形貌图像和熔池中心温度是影响沉积熔合状态的关键因素。因此研究激光金属增材制造过程中熔池图像和温度的变化对单道单层沉积熔合状态的影响对保证零件的成形质量有重要意义。
目前，在现有技术中，多是通过对所采集的熔池图像数据进行边缘提取以获得熔池尺寸。但是上述技术存在以下缺陷：例如，在进行增材制造实验时，会存在金属粉末残留在熔池边缘形成凸点的情况，灰度化处理后，凸点区域的灰度值和熔池区域的灰度值接近，带有凸点的熔池图像通过摄像机获取的熔池图像经上述视觉检测方法中的二值形态学图像处理算法提取熔池图像边缘后，上述视觉检测方法仍然无法将凸点与熔池边缘分离，故上述视觉检测方法输出的熔池形状参数精度较低。
总体来说，基于图像处理算法对熔池图像进行处理获得熔池形态和尺寸参数的方式，存在泛化性能差，精度较低的问题；此外，由此获得的熔池形态和尺寸参数实际上并不等同于最终的单道成形尺寸；同时，若采用深度学习的方法对增材制造的成形尺寸进行预测，仅通过正面的熔池图像作为样本数据经过深度学习无法对成形高度等进行高精度的预测。
发明内容
本发明的目的是为了解决现有采集的图像数据存在干扰，难以进行准确处理；能够在特定情况下做出处理，但是泛化性能较差，导致情况复杂时，在单一的熔池图像样本数据训练的情况下，处理出来的预测值误差较大、精度较低的缺点，而提出的基于深度学习的特征融合金属增材制造熔合状态实时预测方法。
为了实现上述目的，本发明采用了如下技术方案：
基于深度学习的特征融合金属增材制造熔合状态实时预测方法，包括以下步骤：
S1、建立实时预测初模型：包括用于对熔池图像数据进行特征提取的AlexNet卷积神经网络模型、用于对温度数据进行特征提取的VGG16卷积神经网络模型；
S2、训练实时预测初模型形成实时预测终模型：在一定时间序列下连续采集熔池图像数据、温度数据，对所得数据进行数据标注，形成图像数据集和温度数据集；
S3、输入熔池图像数据集和温度数据集至实时预测终模型实时预测激光金属增材沉积熔合状态。
优选的，所述AlexNet卷积神经网络模型和VGG16卷积神经网络模型用于将所提取的图像数据关键特征和温度数据关键特征进行特征融合的特征融合层以及特征融合层后依次连接包括全连接层和分类层的决策部分。
优选的，将S2所构建的所述图像数据集和温度数据集按比例划分为训练集和测试集。
优选的，所述训练集和测试集的划分比例分别为7比3。
优选的，将所述训练集输入实时预测模型进行训练，并通过所述测试集测试训练后的实时预测模型，直到测试的预测精度达到设定的阈值时，此时的实时预测模型为实时预测终模型。
基于深度学习的特征融合金属增材制造熔合状态实时预测***，包括搭载实时预测***的工控机和激光金属增材打印机。
优选的，所述激光金属增材打印机上安装有用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置。
优选的，所述工控机与图像采集装置和温度数据采集装置连接，用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态。
优选的，所述预测的激光金属增材沉积融合状态通过工控机的显示屏显示。
与现有技术相比，本发明的有益效果是：
本发明在一定时间序列下连续采集熔池图像和温度数据，先对有效的熔池图像和温度数据进行归一化处理；深度学习卷积神经网络模型在训练的时候排除了其他无关特征，利用熔池图像和温度数据进行特征融合，对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对成形高度测量进行预测，可有效提升这些参数的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出的基于深度学习的特征融合金属增材制造熔合状态实时预测方法的***结构示意图；
图2为本发明提出的基于深度学习的特征融合金属增材制造熔合状态实时预测方法的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-2，本发明的实施例一提供了基于深度学习的特征融合金属增材制造熔合状态实时预测方法，包括以下步骤：S1、建立实时预测初模型：包括用于对熔池图像数据进行特征提取的AlexNet卷积神经网络模型、用于对温度数据进行特征提取的VGG16卷积神经网络模型；S2、训练实时预测初模型形成实时预测终模型：在一定时间序列下连续采集熔池图像数据、温度数据，对所得数据进行数据标注，形成图像数据集和温度数据集；S3、输入熔池图像数据集和温度数据集至实时预测终模型实时预测激光金属增材沉积熔合状态。
AlexNet卷积神经网络模型和VGG16卷积神经网络模型用于将所提取的图像数据关键特征和温度数据关键特征进行特征融合的特征融合层以及特征融合层后依次连接包括全连接层和分类层的决策部分，将S2所构建的图像数据集和温度数据集按比例划分为训练集和测试集，训练集和测试集的划分比例分别为7比3，将训练集输入实时预测模型进行训练，并通过测试集测试训练后的实时预测模型，直到测试的预测精度达到设定的阈值时，此时的实时预测模型为实时预测终模型。
基于深度学习的特征融合金属增材制造熔合状态实时预测***，包括搭载实时预测***的工控机和激光金属增材打印机，激光金属增材打印机上安装有用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置，工控机与图像采集装置和温度数据采集装置连接，用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态，预测的激光金属增材沉积融合状态通过工控机的显示屏显示。
本发明公开了基于深度学习的特征融合金属增材制造熔合状态实时预测***，包括打印工作台、图像采集装置和温度传感器、人机交互装置、显示器及主机，所述图像采集装置和温度传感器、人机交互装置和显示器均与所述主机电性连接。
本发明在一定时间序列下连续采集熔池图像数据和温度数据，先对有效的熔池图像和温度数据进行归一化处理，使得熔池图像的图片尺寸和像素灰度大小的参数保持一致性。深度学习卷积神经网络模型在训练的时候排除了其他无关特征，仅仅对关键特征进行训练，具有提高深度学习卷积神经网络模型训练的效率的优点；并且采用深度学习卷积神经网络模型来对熔合状态进行预测，可有效提升参数的精度。
实施例二：权利要求7中用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置可替换为红外热成像激光探头。
实施例三：权利要求8中用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态的工控机可替换为电脑端。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，根据具体情况理解上述术语在本发明中的具体含义。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
Claims (9)
1.基于深度学习的特征融合金属增材制造熔合状态实时预测方法，其特征在于，包括以下步骤：
S1、建立实时预测初模型：包括用于对熔池图像数据进行特征提取的AlexNet卷积神经网络模型、用于对温度数据进行特征提取的VGG16卷积神经网络模型；
S2、训练实时预测初模型形成实时预测终模型：在一定时间序列下连续采集熔池图像数据、温度数据，对所得数据进行数据标注，形成图像数据集和温度数据集；
S3、输入熔池图像数据集和温度数据集至实时预测终模型实时预测激光金属增材沉积熔合状态。
2.根据权利要求1所述的基于深度学习的特征融合金属增材制造熔合状态实时预测方法，其特征在于，所述AlexNet卷积神经网络模型和VGG16卷积神经网络模型用于将所提取的图像数据关键特征和温度数据关键特征进行特征融合的特征融合层以及特征融合层后依次连接包括全连接层和分类层的决策部分。
3.根据权利要求1所述的基于深度学习的特征融合金属增材制造熔合状态实时预测方法，其特征在于，将S2所构建的所述图像数据集和温度数据集按比例划分为训练集和测试集。
4.根据权利要求3所述的基于深度学习的特征融合金属增材制造熔合状态实时预测方法，其特征在于，所述训练集和测试集的划分比例分别为7比3。
5.根据权利要求3所述的基于深度学习的特征融合金属增材制造熔合状态实时预测方法，其特征在于，将所述训练集输入实时预测模型进行训练，并通过所述测试集测试训练后的实时预测模型，直到测试的预测精度达到设定的阈值时，此时的实时预测模型为实时预测终模型。
6.基于深度学习的特征融合金属增材制造熔合状态实时预测***，其特征在于，包括搭载实时预测***的工控机和激光金属增材打印机。
7.根据权利要求6所述的基于深度学习的特征融合金属增材制造熔合状态实时预测***，其特征在于，所述激光金属增材打印机上安装有用于采集熔池状态的图像信息的图像采集装置和用于温度数据的温度传感器装置。
8.根据权利要求7所述的基于深度学习的特征融合金属增材制造熔合状态实时预测***，其特征在于，所述工控机与图像采集装置和温度数据采集装置连接，用于获取图像数据和温度数据，再进行实时预测激光金属增材沉积融合状态。
9.根据权利要求8所述的基于深度学习的特征融合金属增材制造熔合状态实时预测***，其特征在于，所述预测的激光金属增材沉积融合状态通过工控机的显示屏显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110330919.7A CN112989703A (zh) | 2021-04-02 | 2021-04-02 | 基于深度学习的特征融合金属增材制造熔合状态实时预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110330919.7A CN112989703A (zh) | 2021-04-02 | 2021-04-02 | 基于深度学习的特征融合金属增材制造熔合状态实时预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112989703A true CN112989703A (zh) | 2021-06-18 |
Family
ID=76334023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110330919.7A Withdrawn CN112989703A (zh) | 2021-04-02 | 2021-04-02 | 基于深度学习的特征融合金属增材制造熔合状态实时预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989703A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762366A (zh) * | 2021-08-24 | 2021-12-07 | 华中科技大学 | 一种增材制造成形状态预测控制方法及*** |
| CN113761703A (zh) * | 2021-07-02 | 2021-12-07 | 合肥通用机械研究院有限公司 | 一种基于深度学习融合模型的耐热合金蠕变性能预测方法 |
| CN115859746A (zh) * | 2023-02-13 | 2023-03-28 | 无锡祝融航空航天科技有限公司 | 一种基于深度学习的铜材料增材制造成形精度控制方法 |
| CN116408462A (zh) * | 2023-04-12 | 2023-07-11 | 四川大学 | 一种激光金属增材沉积内部空隙状态实时预测方法 |
| CN117984006A (zh) * | 2024-04-03 | 2024-05-07 | 国网山东省电力公司潍坊供电公司 | 基于焊接红外视频生成的焊接质量预测方法、装置及介质 |
-
2021
- 2021-04-02 CN CN202110330919.7A patent/CN112989703A/zh not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761703A (zh) * | 2021-07-02 | 2021-12-07 | 合肥通用机械研究院有限公司 | 一种基于深度学习融合模型的耐热合金蠕变性能预测方法 |
| CN113762366A (zh) * | 2021-08-24 | 2021-12-07 | 华中科技大学 | 一种增材制造成形状态预测控制方法及*** |
| CN113762366B (zh) * | 2021-08-24 | 2024-02-06 | 华中科技大学 | 一种增材制造成形状态预测控制方法及*** |
| CN115859746A (zh) * | 2023-02-13 | 2023-03-28 | 无锡祝融航空航天科技有限公司 | 一种基于深度学习的铜材料增材制造成形精度控制方法 |
| CN115859746B (zh) * | 2023-02-13 | 2023-04-25 | 无锡祝融航空航天科技有限公司 | 一种基于深度学习的铜材料增材制造成形精度控制方法 |
| CN116408462A (zh) * | 2023-04-12 | 2023-07-11 | 四川大学 | 一种激光金属增材沉积内部空隙状态实时预测方法 |
| CN116408462B (zh) * | 2023-04-12 | 2023-10-27 | 四川大学 | 一种激光金属增材沉积内部孔隙状态实时预测方法 |
| CN117984006A (zh) * | 2024-04-03 | 2024-05-07 | 国网山东省电力公司潍坊供电公司 | 基于焊接红外视频生成的焊接质量预测方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112989703A (zh) | 基于深度学习的特征融合金属增材制造熔合状态实时预测方法 | |
| Islam et al. | Automated bearing fault diagnosis scheme using 2D representation of wavelet packet transform and deep convolutional neural network | |
| CN110598736B (zh) | 一种电力设备红外图像故障定位、识别与预测方法 | |
| Liu et al. | Machine vision based online detection of PCB defect | |
| CN103499585B (zh) | 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置 | |
| Liu et al. | A rail surface defect detection method based on pyramid feature and lightweight convolutional neural network | |
| CN111462076B (zh) | 一种全切片数字病理图像模糊区域检测方法及*** | |
| CN111951249A (zh) | 基于多任务学习网络的手机导光板缺陷可视化检测方法 | |
| CN107622277B (zh) | 一种基于贝叶斯分类器的复杂曲面缺陷分类方法 | |
| EP3633682A1 (en) | Chromosome abnormality detecting model, detecting system thereof, and method for detecting chromosome abnormality | |
| CN111815572A (zh) | 一种基于卷积神经网络对锂电池焊接质量的检测方法 | |
| Tao et al. | Rolling surface defect inspection for drum-shaped rollers based on deep learning | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及*** | |
| Wang et al. | Design of machine vision applications in detection of defects in high-speed bar copper | |
| CN117350967B (zh) | 一种基于光学检测晶圆外观缺陷检测***及其方法 | |
| CN117058089A (zh) | 烟支外观检测方法 | |
| CN115937195A (zh) | 表面缺陷检测方法、装置和计算机设备 | |
| Xie et al. | A high-effective multitask surface defect detection method based on CBAM and atrous convolution | |
| Chen et al. | Real-time instance segmentation of metal screw defects based on deep learning approach | |
| CN114881938A (zh) | 基于小波分析和神经网络的晶粒度检测方法及*** | |
| CN114596296A (zh) | 一种高灵敏度的热轧钢卷端面缺陷识别***及方法 | |
| Evstafev et al. | Surface Defect Detection and Recognition Based on CNN | |
| Liu et al. | Micro-defect Varifocal Network: Channel attention and spatial feature fusion for turbine blade surface micro-defect detection | |
| Jianjun et al. | Research and design of machine vision-based defect detection method for 3C digital screens with Multi-feature fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210618 |