CN114453708A - 一种铝合金焊接缺陷在线监测方法 - Google Patents
一种铝合金焊接缺陷在线监测方法 Download PDFInfo
- Publication number
- CN114453708A CN114453708A CN202210160241.7A CN202210160241A CN114453708A CN 114453708 A CN114453708 A CN 114453708A CN 202210160241 A CN202210160241 A CN 202210160241A CN 114453708 A CN114453708 A CN 114453708A
- Authority
- CN
- China
- Prior art keywords
- molten pool
- welding
- aluminum alloy
- image
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 113
- 230000007547 defect Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 53
- 229910000838 Al alloy Inorganic materials 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 239000001307 helium Substances 0.000 claims abstract description 23
- 229910052734 helium Inorganic materials 0.000 claims abstract description 23
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 230000003647 oxidation Effects 0.000 claims abstract description 16
- 238000007254 oxidation reaction Methods 0.000 claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 229910001338 liquidmetal Inorganic materials 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 claims description 10
- 239000010937 tungsten Substances 0.000 claims description 10
- 229910052721 tungsten Inorganic materials 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 239000011324 bead Substances 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000012706 support-vector machine Methods 0.000 claims description 2
- 238000010301 surface-oxidation reaction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 238000003860 storage Methods 0.000 abstract description 7
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 239000007788 liquid Substances 0.000 abstract description 2
- 229910045601 alloy Inorganic materials 0.000 abstract 1
- 239000000956 alloy Substances 0.000 abstract 1
- 229910001095 light aluminium alloy Inorganic materials 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 230000035515 penetration Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000007789 gas Substances 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- YIXKIBQOLYDQFG-UHFFFAOYSA-N [He].[W] Chemical compound [He].[W] YIXKIBQOLYDQFG-UHFFFAOYSA-N 0.000 description 2
- 229910052786 argon Inorganic materials 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 239000003380 propellant Substances 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000287127 Passeridae Species 0.000 description 1
- 239000010953 base metal Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000011261 inert gas Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0953—Monitoring or automatic control of welding parameters using computing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/16—Arc welding or cutting making use of shielding gas
- B23K9/167—Arc welding or cutting making use of shielding gas and of a non-consumable electrode
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/32—Accessories
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K2103/00—Materials to be soldered, welded or cut
- B23K2103/08—Non-ferrous metals or alloys
- B23K2103/10—Aluminium or alloys thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Arc Welding In General (AREA)
Abstract
一种铝合金焊接缺陷在线监测方法，属于智能焊接制造技术领域。本发明针对高端装备大型铝合金构件制造中焊接质量的在线快速监测需求。利用高速被动视觉传感***采集熔池图像，采用基于深度学习的语义分割方法同时检测熔池边缘和熔池表面未被氧化层覆盖的特征区域，在此基础上分别提取熔池形貌全局特征和局部纹理特征，通过机器学习模型实现典型缺陷的早期检出与识别。本发明一方面能够实现焊接缺陷早期检出预警并定位缺陷，避免因缺陷引起的废品产生停机等事故；一方面能够实时识别焊缝成形质量为工艺参数的在线反馈控制提供依据。本方法可广泛应用于厚板与中厚板铝合金氦弧焊过程，尤其适用于大型航天铝合金贮箱、铝合金液罐等构件的焊接场合。
Description
技术领域
本发明属于智能焊接制造技术领域。涉及一种铝合金焊接缺陷在线监测方法，可广泛应用于航天推进剂贮箱、铝合金液罐等大型装备的厚板、中厚板铝合金焊接制造。
背景技术
钨极氦弧焊是一种重要的钨极惰性气体保护焊接技术。与常规的氩弧焊相比，相同条件下氦弧的温度高、热量集中使得氦弧焊能够获得更大的熔深、熔化效率。因此钨极氦弧焊被广泛应用于航天装备等高端装备制造领域的厚板、中厚板铝合金焊接中，例如大型推进剂贮箱的焊接制造。
由于铝合金具有易氧化、易导热，且氦弧稳定性相对氩弧较差等特点，实际焊接生产中焊缝成形质量一致性难以保障，易出现咬边、蛇形焊道、不均匀焊缝等焊缝成形缺陷，而这一问题在厚板，尤其是非平焊位置更突出。然而，目前鲜见对铝合金爬坡TIG焊缺陷机理的研究报道，缺乏理论支撑，难以从根源优化工艺，另一方面实际生产过程中存在着对象状态、设备参量、环境条件的波动以及其他不可消除、无法预测的不确定性因素干扰，无法完全避免或抑制焊接缺陷产生。目前对于中厚板、厚板铝合金钨极氦弧焊缺陷的检出仍主要依赖于在焊接过程中采用“焊接过程摄像+肉眼观测”的传统人工监控方法，和在焊接完成后实施步骤复杂繁多、极其费时的焊缝无损检测，严重制约了大型铝合金焊接结构的制造效率，限制了大批量生产，亟需高效可靠的自动化、智能化缺陷检测手段。
熔池区域是焊接过程质量管控的重要信息源，通过实时监测熔池的动态演变过程，一方面能够实现焊接缺陷早期检出预警并定位缺陷，避免因缺陷引起的废品产生、停机等事故；一方面能够实时识别焊缝成形质量为工艺参数的在线反馈控制提供依据。视觉传感器作为一种主流的焊接过程监测手段，能够获得丰富、直观的焊接过程动态信息。前期实验和研究结果已验证了利用高速被动视觉传感***采集熔池图像，采用基于深度学习的语义分割方法同时检测熔池边缘和熔池表面未被氧化层覆盖的特征区域，在此基础上分别提取熔池形貌全局特征和局部纹理特征，通过机器学习模型能够实现典型铝合金钨极氦弧焊缺陷的早期检出与识别。
经对现有技术文献和专利检索发现，专利申请号为201910288591.X的中国发明专利《一种基于稀疏表示的激光焊接成型缺陷预测分类的方法》公开了一种基于稀疏表示的激光焊接成型缺陷预测分类的方法，采集熔池图经工业计算机获取熔池参数并处理分析，该方法能够根据熔池几何特征参数与焊缝成形质量之间的关系，准确实现焊接缺陷的预测分类；专利申请号为202011556910.X的中国发明专利《一种基于双向熔池几何及纹理特征融合的熔透识别方法》公开了一种基于双向熔池几何及纹理特征融合的熔透识别方法，利用焊接过程中实时传感采集的双向同步熔池图像中提取的几何特征和纹理特征建立RBF熔透识别模型，在此基础上利用实时熔池图像预判熔透状态，经由控制器反馈给焊机实现熔透控制；专利申请号为201910837875.X的中国发明专利《基于几何特征和AdaBoost 算法的焊缝缺陷分类方法》公开了一种基于几何特征和AdaBoost算法的焊缝缺陷分类方法，X光图像背景减除后得到候选缺陷，采用区域比较法提取缺陷区域的几何特征和比较区域的灰度特性，使用AdaBoost算法进行特征选择，通过设置惩罚项对真实缺陷进行分类。
综上所述，国内外现有的焊接缺陷监测技术均非针对铝合金钨极氦弧焊缺陷检测，仅涉及针对特定场景的视觉传感以及利用传统图像分割算法提取常规几何特征参数结合机器学习分类模型的自动检测技术，目前尚未见基于语义分割结合熔池联合特征参数的铝合金焊接缺陷在线监测方法的公开报道。
发明内容
本发明的目的在于补充现有技术的不足，提出一种铝合金焊接缺陷在线监测方法，以实现对铝合金钨极氦弧焊焊接缺陷早期检出预警并定位缺陷。
为了实现上述目的，本发明采取以一下技术方案：
一种铝合金焊接缺陷在线监测方法，其特征在于，所述方法包括如下步骤：
1)将高速被动视觉传感***的相机光路轴线对准铝合金直流正接钨极氦弧焊熔池区域，实时采集清晰的熔池图像；
2)对所述熔池图像进行预处理；
3)对预处理后的熔池图像进行语义分割，同时检测出熔池轮廓和熔池表面未被氧化层覆盖的液态金属区域；
4)对所述熔池表面未被氧化层覆盖的液态金属区域进行图像处理，提取纹理特征作为熔池局部纹理特征参数；对所述熔池轮廓进行特征提取，提取形态特征、熔池平均灰度特征作为熔池形貌全局特征参数；
5)对所述熔池局部纹理特征参数和熔池形貌全局特征参数进行特征预处理融合后，得到熔池联合特征向量，将所述熔池联合特征向量输入至机器学习分类模型，由机器学习分类模型识别钨极氦弧焊焊缝成形质量，并输出分类结果；
6)通过软件判断当所述分类结果连续N次属于非正常焊缝时，对相关图像进行缺陷标注和报警提示。
上述技术方案中，步骤1)中所述高速被动视觉传感***包括工业相机和滤光片；所述工业相机动态范围不低于60db，从焊接熔池上方以使熔池表面整体能够清晰成像的角度和距离拍摄熔池区域，图像采集速率不低于250帧每秒；所述滤光片采用中心波长在610nm-670nm范围内的窄带滤光片，固定于所述工业相机镜头前端，用于减少焊接过程中的弧光干扰；
上述技术方案中，步骤1)中所述熔池区域，包括熔池表面氧化层和熔池表面未被氧化层覆盖的液态金属区域；
上述技术方案中，步骤2)中所述预处理，步骤包括：对步骤1)所述熔池图像进行裁剪实现保留熔池区域并去除边缘噪声；对步骤1)中所述熔池图像做双边滤波处理实现去除图像噪声；采用伽马变换模型拉伸步骤1)熔池图像的对比度实现图像增强，保证所述熔池表面未被氧化层覆盖的液态金属区域的纹理清晰可见；
上述技术方案中，步骤3)中所述语义分割，由利用提前部署在图像处理单元的语义分割模型执行完成；所述语义分割模型采用基于多层级通道注意力机制改进的Deeplabv3+网络模型，所述多层级通道注意力机制模块融合在所述语义分割模型的Decoder解码网络，用于生成通道注意力特征；
上述技术方案中，步骤4)所述纹理特征，包括灰度共生矩阵、小波变换、 Tamura纹理中的一种或多种；
上述技术方案中，步骤4)所述熔池形貌全局特征参数包括熔池最大宽度(W)、熔池最大长度(L)、熔池最大面积(S)、熔池区域矩形度(R)、圆形度(C)、熔池平均灰度
上述技术方案中，步骤5)中所述特征预处理包括：数据填充、清洗、标准化、特征选择操作；所述机器学习分类模型采用神经网络、支持向量机、贝叶斯网络、随机森林、受限玻尔兹曼机、极限学习机中的一种或多种，并采用数据驱动方法建立；
上述技术方案中，步骤5)中所述钨极氦弧焊焊缝成形质量分为四类，包括：咬边缺陷、蛇形焊道、不均匀焊缝、正常焊缝；
上述技术方案中，步骤6)中所述N的值，在所述步骤1)之前根据实际需要通过软件程序自定义设置；
本发明具有以下优点及突出性的技术效果：采用高速被动视觉传感***采集清晰熔池图像，利用语义分割检测出熔池轮廓和熔池表面未被氧化层覆盖的液态金属区域，提取液态金属区中与熔池表面张力密切相关的纹理特征作为局部纹理特征，结合熔池轮廓的全局形貌特征利用机器学习分类模型进行实时缺陷识别。本发明能够实现焊接缺陷早期检出预警并定位缺陷，避免因缺陷引起的废品产生、停机等事故，并为实时识别焊缝成形质量为工艺参数的在线反馈控制提供依据。本方法可广泛应用于厚板及中厚板铝合金钨极氦弧焊过程，尤其适用于大型铝合金贮箱、储罐等航天航空装备、能源动力装备、物流储运装备等的关键构件焊接场合。
附图说明
图1是本发明一种铝合金焊接缺陷在线监测方法流程框图；
图2是本发明实施例所述一种铝合金焊接缺陷在线监测方法***结构示意图；
图中：1—焊枪；2—铝合金焊件；3—床头回转机构；4—床尾回转机构；5—床身；6—相机固定支架；7—工业相机；8—滤光片；9—高速被动视觉传感***； 10—图像采集***；11—工控机；12—人机交互界面；13—焊接机器人控制柜； 14—焊接机器人；15—焊接电源；16—保护气体；17—循环水箱；
图3是本发明实施例所述语义分割模型网络结构示意图；
图中：18—Encoder；19—Decoder；20—输入图片；21—深度卷积神经网络；22 —高级语义特征；23—1x1卷积；24—3x3卷积rate6；25—3x3卷积rate12；26 —3x3卷积rate18；27—图像池化；28—空洞金字塔池化模块；29—五层输入特征图；30—1x1卷积；31—第一特征图；32—多层级通道注意力机制模块；33—上采样；34—低级语义特征；35—1x1卷积；36—低级语义特征图；37—合并； 38—合并特征图；39—3x3卷积；40—上采样；41—输出图片；
图4是本发明实施例所述对熔池图像进行语义分割的结果与熔池形貌全局特征参数示意图；
图中:42—熔池轮廓；43—熔池表面未被氧化层覆盖的液态金属区域；W—熔池最大宽度；L—熔池最大长度；S—熔池最大面积；p—熔池轮廓周长；
图5是本发明实施例所述钨极氦弧焊焊缝成形质量分类的示意图；
图中：44—咬边缺陷；45—蛇形焊道；46—不均匀焊缝；47—正常焊缝；
具体实施方式
下面结合附图和实施例对本发明原理和工作过程做进一步详细说明。
图2是本发明实施例所述一种铝合金焊接缺陷在线监测方法***结构示意图；该***包括焊枪1、铝合金焊件2、床头回转机构3、床尾回转机构4、床身5、相机固定支架6、工业相机7、滤光片8、高速被动视觉传感***9、图像采集***10、工控机11、人机交互界面12、焊接机器人控制柜13、焊接机器人14、焊接电源15、保护气体16、循环水箱17；所述焊枪1为直流钨极氦弧焊枪；所述焊枪1体内储有电极、氦气、焊枪冷却水；焊接时，利用所述焊枪1的钨极与所述铝合金焊件2之间产生的电弧热熔化母材形成熔池；所述焊枪1与所述焊接机器人14刚性连接；所述铝合金焊件2由所述床头回转机构3和所述床尾回转机构4固定；所述床尾回转机构4可在所述床身5中移动；所述铝合金焊件2 的转动方向如图示顺时针转动，所述焊枪1不动；所述工业相机7和所述滤光片 8组成所述高速被动视觉传感***9；所述高速被动视觉传感***9由所述相机固定支架6固连在所述焊枪体1上；所述高速被动视觉传感***9拍摄的清晰熔池图像经所述图像采集***10传输至所述工控机11；所述工控机11与所述人机交互界面12双向传输；所述人机交互界面12与所述焊接机器人控制柜13通过信号线连接；所述焊接机器人控制柜13通过信号线控制所述焊接机器人14 运动；所述保护气体16为氦气；所述焊接机器人控制柜13由所述焊接电源15 控制；所述保护气体16与所述循环水箱17经所述焊接电源15通电后作用于所述焊枪1上；
图1是本发明一种铝合金焊接缺陷在线监测方法流程框图，包括以下几个步骤：
1)将高速被动视觉传感***的相机光路轴线对准铝合金直流正接钨极氦弧焊熔池区域，实时采集清晰的熔池图像；所述高速被动视觉传感***9包括所述工业相机7和所述滤光片8；本实施例中，所述工业相机7从焊接熔池后上方拍摄熔池区域，相机光路轴线与焊枪的夹角为45°；所述工业相机7的动态范围为为60db，图像采集速率为250帧每秒；在610-690nm的波长范围内，弧光强度较弱，在该波段内采取带通滤光措施可有效地消除弧光干扰；本实施例中，所述滤光片8采用中心波长在610nm-670nm范围内的窄带滤光片，固定于所述工业相机7镜头前端；
2)所述高速被动视觉传感***9采集的清晰熔池图像经所述图像采集*** 10传输至所述工控机11进行存储；利用所述工控机11上的图像处理单元对所述熔池图像进行预处理，所述预处理包括:裁剪、滤波去噪、图像增强操作；本实施例中，所述裁剪是将原始熔池图像裁剪至512x512像素大小，实现保留熔池区域并去除边缘噪声；所述滤波去噪采用双边滤波，双边滤波可以很好的保持熔池轮廓边缘特征的同时消除噪声；所述图像增强采用伽马变换模型，通过伽马变换模型能扩展图像的灰度级、拉伸图像的对比度，通过调节模型参数y可控制熔池图像的整体亮度保证所述熔池表面未被氧化层覆盖的液态金属区域的纹理清晰可见；
3)对预处理后的熔池图像进行语义分割，同时检测出所述熔池轮廓42和所述熔池表面未被氧化层覆盖的液态金属区域43；所述语义分割，由利用提前部署在所述工控机11上图像处理单元的语义分割模型执行完成；本实施例中，所述语义分割模型采用基于多层级通道注意力机制改进的Deeplabv3+网络模型，图3是本发明实施例所述语义分割模型网络结构示意图；所述语义分割模型由所述Encoder 18架构和所述Decoder 19架构组成；输入图片20通过深度卷积神经网络21获取图像的高级语义特征22和低级语义特征34，将所述高级语义特征 22传输至所述空洞金字塔池化模块28分别采用不同rate率的空洞卷积层和池化层进行进行卷积和池化得到五层输入特征图29，将所述五层输入特征图29进行所述1x1卷积30后得到第一特征图31，将所述第一特征图31输入至多层级通道注意力机制模块32并进行上采样获取第二特征图；所述低级语义特征34经 1x1卷积35后得到所述低级语义特征图36；将所述第二特征图与所述低级语义特征图36合并37，得到合并特征图38；将所述合并特征图38进行3x3卷积39 和上采样40后得到输出图片41；本实施例中，所述深度卷积神经网络21为加入了空洞卷积的深度卷积网络；所述空洞金字塔池化模块28包括四次空洞卷积和图像池27；所述空洞卷积的rate率分别为1、6、12、18；所述多层通道注意力机制模块32融合在所述Decoder19架构中，用于获取通道注意力机制特征，所述通道注意力特征与所述五层输入特征图29融合后得到所述第二特征图；所述上采样33、40为双线性差值上采样；
4)利用所述工控机11中的实时图像处理单元对所述熔池表面未被氧化层覆盖的液态金属区域43进行图像处理，提取纹理特征作为熔池局部纹理特征参数；所述工控机11中的实时图像处理单元对所述熔池轮廓42进行特征提取，提取形态特征、熔池平均灰度特征作为熔池形貌全局特征参数；图4为本发明实施例所述对熔池图像语义分割的结果与熔池形貌全局特征参数示意图，包括所述熔池轮廓42与所述熔池表面未被氧化层覆盖的液态金属区域43；本实施例中，对所述熔池轮廓42提取熔池最大宽度(W)、熔池最大长度(L)、熔池最大面积(S)、熔池区域矩形度(R)、圆形度(C)、熔池平均灰度
作为熔池形貌全局特征参数；图4给出部分熔池形貌全局特征参数及所述熔池形貌全局特征参数计算所需值，包括：熔池最大宽度、熔池最大长度、熔池最大面积、熔池轮廓周长；对所述熔池表面未被氧化层覆盖的液态金属区域43提取纹理特征作为熔池局部纹理特征参数；本实施例中，所述纹理特征采用六维灰度共生矩阵统计量:能量均值
熵均值
对比度均值
同质性均值
纹理方差均值
相关性均值
5)所述工控机11中的预处理模块对所述熔池局部纹理特征参数和熔池形貌全局特征参数进行特征预处理融合后，得到熔池联合特征向量，将所述熔池联合特征向量输入至机器学习分类模型，由机器学习分类模型识别钨极氦弧焊焊缝成形质量，并输出分类结果；本实施例中，所述特征预处理包括数据填充、清洗、标准化、特征选择操作；所述数据填充、清洗、标准化均在python软件中调用sklearn中的preproccessing库来进行；所述标准化指将特征数据进行归一化操作，目的是为了确保所有特征对识别不同的成形质量具有相同的贡献；本实施例中，所提取的灰度共生矩阵纹理特征和全局形貌特征数据含有一定的噪声和数据冗余，为了提高数据的信噪比需要进行特征选择选择最优特征子集；所述特征选择采用过滤法(Fliter)进行最优特征子集选择；基于过滤法(Fliter)的四个评价标准将特征训练集划分成四个特征子集，利用评价标准对特征集中的冗余特征进行初步筛选；采用顺序浮动向后选择对基于评价标准筛选的特征子集集合进行进一步选择，将所选特征的验证集输入构建的焊接状态预测分类模型，测试模型性能；最后基于10倍交叉验证后的精度选择最优特征子集作为熔池联合特征参数；本实施例中，所述机器学习模型采用所述工控机11提前训练并下发的基于麻雀优化算法优化的随机森林(SSA-RF)分类模型，优化参数为决策树颗数和最小叶子点数；本实施例中，所述钨极氦弧焊焊缝成形质量分为四类，包括：咬边缺陷、蛇形焊道、不均匀焊缝、正常焊缝；图5为本发明实施例所述钨极氦弧焊焊缝成形质量分类的示意图；
6)通过所述人机交互界面12判断当所述分类结果连续N次属于非正常焊缝时，对相关图像进行缺陷标注和报警提示。本实施例中，依据所述工业相机7 的图像采集帧率提前在软件中将N值设置为20，当所述分类结果在所述人机交互界面12显示连续20次属于非正常焊缝时，判定该时刻焊接状态异常；依据所述分类结果对所述焊接状态异常的图像进行相应缺陷标注同时发送报警信息。
Claims (10)
1.一种铝合金焊接缺陷在线监测方法，其特征在于，所述方法包括如下步骤：
1)将高速被动视觉传感***的相机光路轴线对准铝合金直流正接钨极氦弧焊熔池区域，实时采集清晰的熔池图像；
2)对所述熔池图像进行预处理；
3)对预处理后的熔池图像进行语义分割，同时检测出熔池轮廓和熔池表面未被氧化层覆盖的液态金属区域；
4)对所述熔池表面未被氧化层覆盖的液态金属区域进行图像处理，提取纹理特征作为熔池局部纹理特征参数；对所述熔池轮廓进行特征提取，提取形态特征、熔池平均灰度特征作为熔池形貌全局特征参数；
5)对所述熔池局部纹理特征参数和熔池形貌全局特征参数进行特征预处理融合后，得到熔池联合特征向量，将所述熔池联合特征向量输入至机器学习分类模型，由机器学习分类模型识别钨极氦弧焊焊缝成形质量，并输出分类结果；
6)通过软件判断当所述分类结果连续N次属于非正常焊缝时，对相关图像进行缺陷标注和报警提示。
2.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤1)中所述高速被动视觉传感***包括工业相机和滤光片；所述工业相机动态范围不低于60db，从焊接熔池上方以使熔池表面整体能够清晰成像的角度和距离拍摄熔池区域，图像采集速率不低于250帧每秒；所述滤光片采用中心波长在610nm-670nm范围内的窄带滤光片，固定于所述工业相机镜头前端，用于减少焊接过程中的弧光干扰。
3.根据权利要求1或2所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤1)中所述熔池区域，包括熔池表面氧化层和熔池表面未被氧化层覆盖的液态金属区域。
4.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤2)中所述预处理，步骤包括：对步骤1)所述熔池图像进行裁剪实现保留熔池区域并去除边缘噪声；对步骤1)中所述熔池图像做双边滤波处理实现去除图像噪声；采用伽马变换模型拉伸步骤1)熔池图像的对比度实现图像增强，保证所述熔池表面未被氧化层覆盖的液态金属区域的纹理清晰可见。
5.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤3)中所述语义分割，由利用提前部署在图像处理单元的语义分割模型执行完成；所述语义分割模型采用基于多层级通道注意力机制改进的Deeplabv3+网络模型，所述多层级通道注意力机制模块融合在所述语义分割模型的Decoder解码网络，用于生成通道注意力特征。
6.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤4)所述纹理特征，包括灰度共生矩阵、小波变换、Tamura纹理中的一种或多种。
7.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤4)所述熔池形貌全局特征参数包括熔池最大宽度(W)、熔池最大长度(L)、熔池最大面积(S)、熔池区域矩形度(R)、圆形度(C)、熔池平均灰度(g)。
8.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤5)中所述特征预处理包括：数据填充、清洗、标准化、特征选择操作；所述机器学习分类模型采用神经网络、支持向量机、贝叶斯网络、随机森林、受限玻尔兹曼机、极限学习机中的一种或多种，并采用数据驱动方法建立。
9.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤5)中所述钨极氦弧焊缝成形质量分为四类，包括：咬边缺陷、蛇形焊道、不均匀焊缝、正常焊缝。
10.根据权利要求1所述的一种铝合金焊接缺陷在线监测方法，其特征在于，步骤6)中所述N的值，在所述步骤1)之前根据实际需要通过软件程序自定义设置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210160241.7A CN114453708A (zh) | 2022-02-22 | 2022-02-22 | 一种铝合金焊接缺陷在线监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210160241.7A CN114453708A (zh) | 2022-02-22 | 2022-02-22 | 一种铝合金焊接缺陷在线监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114453708A true CN114453708A (zh) | 2022-05-10 |
Family
ID=81415387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210160241.7A Pending CN114453708A (zh) | 2022-02-22 | 2022-02-22 | 一种铝合金焊接缺陷在线监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114453708A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018020A (zh) * | 2022-08-08 | 2022-09-06 | 深圳市优米特新材料科技有限公司 | 一种改进型深度学习的钛合金加工设备故障检测方法 |
| CN115294132A (zh) * | 2022-10-09 | 2022-11-04 | 江苏杰成电子科技有限公司 | 一种阳极氧化层缺陷评估优化方法及*** |
| CN116597391A (zh) * | 2023-07-18 | 2023-08-15 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
| CN116900582A (zh) * | 2023-07-19 | 2023-10-20 | 西咸新区大熊星座智能科技有限公司 | 一种具有参数预测功能的焊接机器人 |
| CN117020361A (zh) * | 2023-08-30 | 2023-11-10 | 鹤山市福维德智能设备有限公司 | 一种机械制造自动检测装置及检测方法 |
-
2022
- 2022-02-22 CN CN202210160241.7A patent/CN114453708A/zh active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018020A (zh) * | 2022-08-08 | 2022-09-06 | 深圳市优米特新材料科技有限公司 | 一种改进型深度学习的钛合金加工设备故障检测方法 |
| CN115294132A (zh) * | 2022-10-09 | 2022-11-04 | 江苏杰成电子科技有限公司 | 一种阳极氧化层缺陷评估优化方法及*** |
| CN115294132B (zh) * | 2022-10-09 | 2023-11-24 | 重庆景裕电子科技有限公司 | 一种阳极氧化层缺陷评估优化方法及*** |
| CN116597391A (zh) * | 2023-07-18 | 2023-08-15 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
| CN116597391B (zh) * | 2023-07-18 | 2023-09-19 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
| CN116900582A (zh) * | 2023-07-19 | 2023-10-20 | 西咸新区大熊星座智能科技有限公司 | 一种具有参数预测功能的焊接机器人 |
| CN116900582B (zh) * | 2023-07-19 | 2024-02-02 | 西咸新区大熊星座智能科技有限公司 | 一种具有参数预测功能的焊接机器人 |
| CN117020361A (zh) * | 2023-08-30 | 2023-11-10 | 鹤山市福维德智能设备有限公司 | 一种机械制造自动检测装置及检测方法 |
| CN117020361B (zh) * | 2023-08-30 | 2024-02-09 | 鹤山市福维德智能设备有限公司 | 一种机械制造自动检测装置及检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114453708A (zh) | 一种铝合金焊接缺陷在线监测方法 | |
| CN109676135A (zh) | 一种激光增材制造视觉灰度值差异在线监测与缺陷修复装置 | |
| JP2023521379A (ja) | 溶接品質のｉｎ－ｓｉｔｕ検査のための方法 | |
| Zhao et al. | Quality monitoring in wire-arc additive manufacturing based on cooperative awareness of spectrum and vision | |
| CN113379740A (zh) | 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测*** | |
| CN116597391B (zh) | 一种焊缝表面形貌和熔透状态同步在线监测方法 | |
| Cai et al. | Real-time identification of molten pool and keyhole using a deep learning-based semantic segmentation approach in penetration status monitoring | |
| Jiang et al. | Image processing of aluminum alloy weld pool for robotic VPPAW based on visual sensing | |
| CN113554587B (zh) | 一种基于深度学习的熔池图像几何特征提取方法及*** | |
| CN114723738A (zh) | 一种精密焊接显微监控方法及*** | |
| CN116493735B (zh) | 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法 | |
| CN108067714A (zh) | 一种薄壁环缝端接质量在线监测与缺陷定位***及方法 | |
| CN113674206A (zh) | 一种适用于深熔k-tig焊熔池和锁孔入口特征参数的提取方法 | |
| Liu et al. | Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding | |
| Lin et al. | Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm | |
| Ye et al. | Prediction of weld back width based on top vision sensing during laser-MIG hybrid welding | |
| CN110414388A (zh) | 基于深度预测网络的驼峰和熔透在线预警方法 | |
| CN109166088A (zh) | 基于非降采样小波变换的双波段灰度熔池图像融合方法 | |
| CN113551599A (zh) | 一种基于结构光导向的焊缝位置偏差视觉跟踪方法 | |
| CN112529103A (zh) | 一种基于双向熔池几何及纹理特征融合的熔透识别方法 | |
| He et al. | Weld seam profile extraction of T-joints based on orientation saliency for path planning and seam tracking | |
| CN116309475A (zh) | 自动检测滚筒齿座焊接质量的机器视觉检测方法 | |
| Chen et al. | Multi-exposure fusion for welding region based on multi-scale transform and hybrid weight | |
| CN112801984B (zh) | 一种激光视觉***下的基于对抗学习的焊缝定位方法 | |
| CN117340459B (zh) | 一种超高功率激光焊接全过程监测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220510 |
|
| WD01 | Invention patent application deemed withdrawn after publication |