CN114453709A - 一种基于边缘计算的机器人焊接现场智能监控*** - Google Patents

一种基于边缘计算的机器人焊接现场智能监控*** Download PDF

Info

Publication number
CN114453709A
CN114453709A CN202210160353.2A CN202210160353A CN114453709A CN 114453709 A CN114453709 A CN 114453709A CN 202210160353 A CN202210160353 A CN 202210160353A CN 114453709 A CN114453709 A CN 114453709A
Authority
CN
China
Prior art keywords
welding
industrial
robot
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210160353.2A
Other languages
English (en)
Inventor
洪宇翔
杨明轩
冷子杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202210160353.2A priority Critical patent/CN114453709A/zh
Publication of CN114453709A publication Critical patent/CN114453709A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0953Monitoring or automatic control of welding parameters using computing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00Arc welding or cutting
    • B23K9/095Monitoring or automatic control of welding parameters
    • B23K9/0956Monitoring or automatic control of welding parameters using sensing means, e.g. optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于边缘计算的机器人焊接现场智能监控***,属于工业互联网和智能焊接制造技术领域。本发明包括焊接机器人***、现场数据监测终端设备、工业高速视觉传感***、现场设备控制单元、工业无线网关、工业边缘云服务器、公有云工业视觉云平台和人机交互式监视终端。本发明通过对焊接异常状态进行实时检出、缺陷精确定位、准确识别和自定义报警提醒,能够降低可控重复缺陷的持续产生,避免因缺陷引起的废品产生、停机等事故,为装备制造提供质量保障。本发明可应用于装备制造企业多车间焊接现场的集中式智能化质量监测和管控,尤其适用于能源、轨道交通、起重运输等大型装备制造领域快速迭代更新产品的焊接现场。

Description

一种基于边缘计算的机器人焊接现场智能监控***
技术领域
本发明属于工业互联网和智能焊接制造技术领域。涉及一种基于边缘计算的机器人焊接现场智能监控***,可广泛应用于能源、轨道交通、起重运输等大型装备制造领域机器人焊接过程中。
背景技术
焊接机器人由于通用性强、工作可靠等特点,广泛应用于汽车工业、船舶工业、管道工程、能源装备、航天工程等自动化焊接制造生产过程中。为了确保焊接生产过程的实时可控和后续焊接工艺的优化,需要通过机器人焊接现场监控***对焊接工艺参数、焊接过程信息、设备运行状态、焊接质量等参数进行实时记录。随着焊接智能化的发展需求,对机器人焊接现场监控***也提出了新的挑战,即大规模焊接生产场景下的大量图像实时处理、焊接缺陷实时检测和可溯源焊接过程信息的存储,并能够根据焊接缺陷检测结果实时调整焊接参数,根据可溯源焊接过程信息的分析结果优化焊接生产工艺,从而保证焊接质量并提高焊接制造生产效率。
现有焊接现场智能监控***主要存在三个问题,一,现有焊接现场智能监控***主要关注焊接结果和焊接过程的可视化,并根据现场人员经验判断焊接质量,缺乏对焊接过程信息的采集与分析、缺陷报警提醒、缺陷识别等功能,进而导致不可避免的可控重复缺陷的产生、焊接工艺难以优化、焊接管理***难以及时更新等问题;二,由于对焊接过程采集数据存储能力的不断增长,以及降低布线难度、避免线缆缠绕问题的工业生产现场实际需求,现有焊接现场智能监控***往往采用云计算平台***,这不仅对用于数据传输的网络带宽提出了高要求,云计算平台在执行图像处理的同时也要对大量的图像数据进行管理和存储,增加了云计算平台的负担,从而导致图像处理反馈结果的实时性难以保证,也造成了大量的能耗损失;三,现有焊接现场智能监控***在对多传感数据进行采集时,通常需要对多传感器数据和焊接设备进行同步、同频处理,而实际焊接生产中往往伴随着振动、高温、导线疲劳等问题,这就造成现有基于单片机控制器的外部同步触发方式易产生导线受损故障、安装条件苛刻等问题。
经对现有技术文献和专利检索发现,专利申请号为202010258431.3的中国发明专利《一种基于边缘计算的数据采集和边缘计算***》公开了一种包括边缘设备模块、数据预处理模块和边缘计算模块的数据采集和边缘计算***,实现了多种类型数据的集中采集与处理,提高了数据传输速度,但未涉及数据的同步处理,无法用于焊接过程中的多传感数据采集与处理;专利申请号为201810984722.3的中国发明专利《焊接监控***及焊接监控方法》公开了一种集压紧装置、测距装置、焊接装置以及控制装置为一体的焊接监控***,但该***未涉及焊接过程信息的采集与存储,无法满足大规模焊接生产制造过程中的质量管控与焊接工艺优化;专利申请号为201310040935.8的中国发明专利《电弧焊接监控装置》公开了一种包括时间序列数据存储部、建立关联部和显示部的电弧焊接监控装置,实现了机器人动作轨迹与焊接电流、电压以及多种传感器数据的同步记录,但该***主要针对示教型机器人,其数据同步方法需要提取焊接机器人的作业程序,无法满足复杂、多变焊接生产环境下的实时焊接制造与远程管理。以上技术方案仅涉及非焊接场景下采集数据的边缘端集中处理与传输、焊接过程传感数据同步和提高焊接合格率的焊接方法等内容,目前尚未见有关基于边缘计算的机器人焊接现场智能监控***公开报道。
发明内容
本发明的目的在于克服现有技术的不足,提出一种基于边缘计算的机器人焊接现场智能监控***,以实现装备制造企业多车间焊接现场的集中式智能化质量监测和管控。
为了实现上述目的,本发明采取以下技术方案:
一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:包括焊接机器人***、现场数据监测终端设备、工业高速视觉传感***、现场设备控制单元、工业无线网关、工业边缘云服务器、公有云工业视觉云平台和人机交互式监视终端;
所述焊接机器人***与现场数据监测终端设备进行通信,用于传输焊接机器人的末端实时位姿信息;
所述现场数据监测终端设备包括焊接工艺参数传感模块和多通道数据采集模块,其中多通道数据采集模块用于监测焊接机器人末端实时位姿信息和焊接工艺参数实时数据;
所述工业高速视觉传感***用于在机器人焊接过程中实时采集焊接区域高动态范围图像;
所述现场设备控制单元用于通过工业无线网络由接收人机交互式监视终端发出的控制指令,和用于通过工业无线网络分别对焊接机器人***、多通道数据采集模块和工业高速视觉传感***发送控制指令;
所述工业无线网关与焊接机器人***、多通道数据采集模块、工业高速视觉传感***进行通信,并支持将通信数据转换为标准协议,用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像上传至所述工业边缘云服务器,和实现将接收到的指令下发至焊接机器人***、多通道数据采集模块和工业高速视觉传感***;
所述工业边缘云服务器内集成的软件包括焊接图像实时处理单元、焊接质量人工智能预测模型和焊接过程数据实时存储与质量溯源分析单元;所述图像实时处理单元用于实现对所述焊接区域高动态范围图像的图像实时处理、熔池几何形态特征提取功能,得到经过图像实时处理之后的所述焊接区域高动态范围图像和熔池几何形态特征数据;所述焊接质量人工智能预测模型用于对经过图像实时处理之后的所述焊接区域高动态范围图像进行分类,从而实现对焊接质量进行在线推理预测;所述焊接过程数据实时存储与质量溯源分析单元用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据、熔池几何形态特征数据和焊接区域高动态范围图像快速实时存储和焊后焊接质量溯源分析;所述工业边缘云服务器通过工业无线网络将瑕疵、误判、疑似的图像与图像对应时刻的监测数据一起上传至所述公有云工业视觉云平台,并通过工业无线网络根据所述在线推理预测的结果下发控制指令至所述工业无线网关;
所述公有云工业视觉云平台用于依次完成来自所述工业边缘云服务器上传数据的预处理、数据标注、采用深度学习人工智能算法训练生成焊接质量人工智能预测新模型、模型快速迭代、模型自动下发的功能,以实现对所述工业边缘云服务器中所述焊接质量人工智能预测模型的迭代更新;
所述人机交互式监视终端通过网络访问工业边缘云服务器,并提供所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像的同步监测功能,并且提供指令输入和下发至所述工业无线网关的功能。
上述技术方案中,所述焊接机器人***包括焊接机器人、机器人控制器和焊接电源;所述焊接机器人的机器人本体为关节坐标构型、笛卡尔坐标构型、圆柱坐标构型或球坐标中的一种;所述焊接电源为弧焊电源和激光器中的一种。
上述技术方案中,所述工业高速视觉传感***包括专用光源、镜头模组、高速高动态范围工业相机、工业相机云台、图像采集单元,所述镜头模组包括镜片组件和滤光减光片组件,所述高速工业相机固定设置在工业相机云台上。
上述技术方案中,所述现场设备控制单元内置卫星授时定位模块和天线,通过发出外部触发信号,同步触发所述高速高动态范围工业相机和多通道数据采集模块,并通过接收GPS/北斗授时信号、外部时钟信号或内部生成主时钟信号,实现所述高速高动态范围工业相机和多通道数据采集模块授时同步,使图像与数据的采集保持频率同步。
上述技术方案中,所述焊接质量人工智能预测模型采用三维卷积神经网络架构,输入为三至十幅连续帧所述焊接区域高动态范围图像,输出为根据标准或工艺规范定义或自定义的焊缝类型;所述焊接质量人工智能预测模型的训练步骤包括:
1)获取所述焊接区域高动态范围图像的样本数据集;
2)训练、优化、测试、建立所述焊接质量人工智能预测模型。
上述技术方案中,所述焊缝类型包括:正常焊缝、尺寸正常的缺陷焊缝、尺寸异常的缺陷焊缝、尺寸异常的熔合良好焊缝。
上述技术方案中,所述对焊接质量进行在线推理预测,步骤包括:
1)输入连续帧所述焊接区域高动态范围图像至所述焊接质量人工智能预测模型;
2)所述焊接质量人工智能预测模型12对连续帧所述焊接区域高动态范围图像进行分类,实现除正常焊缝之外其他焊缝类型的实时检出,并根据所述焊接机器人末端实时位姿信息计算得到被实时检出的焊缝类型的精确定位;
3)所述焊接质量人工智能预测模型识别并输出焊缝类型。
上述技术方案中,所述焊接质量溯源分析通过对所述焊接工艺参数实时数据进行时域和频域统计分析,实现焊后焊接质量评价,并结合所述焊接区域高动态范围图像实现焊缝质量溯源分析。
上述技术方案中,所述根据所述在线推理预测的结果下发控制指令,包括自定义报警提醒、熄弧停止焊接、机器人终止当前任务中的一类或多类。
上述技术方案中,所述人机交互式监视终端采用基于触摸屏技术的智能人机交互界面,并支持将数据直接注释到图像和视频中的功能。
本发明具有以下优点及突出性的技术效果:本发明提供了一种基于边缘计算的机器人焊接现场智能监控***,通过工业边缘云服务器与公有云工业视觉云平台相结合,能够缓解公有云工业视觉云平台处理与存储大规模熔池图像数据和焊接电流、电压等多传感数据的负担;通过卫星授时定位能够实现装备制造企业多车间焊接现场的多个设备之间的同步、同频,从而保证采集数据的可靠性;通过工业边缘云服务器对焊接异常状态进行实时检出、缺陷精确定位、准确识别、自定义报警提醒和区域监控,在公有云工业视觉云平台进行数据分析与焊接质量溯源,能够降低可控重复缺陷的持续产生,避免因缺陷引起的废品产生、停机等事故,为装备制造提供质量保障,并能够显著提高焊接生产效率和远程管理智能化。
附图说明
图1是本发明基于边缘计算的机器人焊接现场智能监控***示意图。
图中:1—焊接机器人***;2—现场数据监测终端设备;3—工业高速视觉传感***;4—现场设备控制单元;5—工业无线网关;6—工业边缘云服务器;7—公有云工业视觉云平台;8—人机交互式监视终端;9—焊接工艺参数传感模块;10—多通道数据采集模块;11—焊接图像实时处理单元;12—焊接质量人工智能预测模型;13—焊接过程数据实时存储与质量溯源分析单元;14—焊接机器人;15—机器人控制器;16—焊接电源;17—专用光源;18—镜头模组;19—高速高动态范围工业相机;20—工业相机云台;21—图像采集单元;22—卫星授时定位模块;23—天线。
图2是本发明实施例所述的高速高动态范围工业相机和多通道数据采集模块同步、同频处理结构示意图。
图中:24—高速高动态范围工业相机采样频率;25—多通道数据采集模块采样频率;26—同频处理后的采样频率。
图3是本发明实施例所述的焊接质量人工智能预测模型网络结构示意图。
图中:27—焊接区域高动态范围图像;28—基于CNN的特征提取器;29—LSTM卷积神经网络层;30—Softmax输出层;31—正常焊缝;32—尺寸正常的缺陷焊缝;33—尺寸异常的缺陷焊缝;34—尺寸异常的熔合良好焊缝。
图4是本发明实施例所述的焊接质量在线推理预测流程框图。
具体实施方式
下面结合附图和实施例对本发明的技术方案做进一步详细说明。
图1是本发明基于边缘计算的机器人焊接现场智能监控***示意图,包括焊接机器人***1、现场数据监测终端设备2、工业高速视觉传感***3、现场设备控制单元4、工业无线网关5、工业边缘云服务器6、公有云工业视觉云平台7和人机交互式监视终端8。
所述焊接机器人***1与现场数据监测终端设备2进行通信,用于传输焊接机器人的末端实时位姿信息;本实施例中,所述焊接机器人***1包括焊接机器人14、机器人控制器15和焊接电源16;所述焊接机器人14的机器人本体为关节坐标构型;所述焊接电源16为弧焊电源。
所述现场数据监测终端设备2包括焊接工艺参数传感模块9和多通道数据采集模块10,其中多通道数据采集模块10用于监测焊接机器人末端实时位姿信息和焊接工艺参数实时数据;本实施例中,所述焊接工艺参数传感模块9用于将焊接电流、电弧电压、保护气体流量分别转换为电信号。
所述工业高速视觉传感***3用于在机器人焊接过程中实时采集焊接区域高动态范围图像;本实施例中,所述工业高速视觉传感***3包括专用光源17、镜头模组18、高速高动态范围工业相机19、工业相机云台20、图像采集单元21,所述镜头模组18包括镜片组件和滤光减光片组件,所述专用光源17、镜头模组18、高速高动态范围工业相机19和图像采集单元21封装在一起,并固定设置在工业相机云台20上。所述工业相机云台20固定设置在所述焊接机器人14的末端执行器上。
本实施例中,所述现场设备控制单元4用于通过5G网络接收由人机交互式监视终端8发出的控制指令,和用于通过5G网络分别对焊接机器人***1、多通道数据采集模块10和工业高速视觉传感***3发送控制指令;本实施例中,所述现场设备控制单元4采用GPS授时现场设备控制器,内置卫星授时定位模块22和天线23,所述高速高动态范围工业相机和多通道数据采集模块同步、同频处理结构示意图如图2所示,通过发出外部触发信号,同步触发所述高速高动态范围工业相机19和多通道数据采集模块10,并通过接收GPS授时信号,实现所述高速高动态范围工业相机19和多通道数据采集模块10授时同步,并使高速高动态范围工业相机采样频率24与多通道数据采集模块采样频率25保持频率同步,最后得到同频处理后的采样频率26。
本实施例中,所述工业无线网关5采用5G工业网关,与焊接机器人***1、多通道数据采集模块10、工业高速视觉传感***3进行通信,并支持将通信数据转换为消息队列远程传输通信协议(MQTT),用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像上传至所述工业边缘云服务器6,和实现将接收到的指令下发至焊接机器人***1、多通道数据采集模块10和工业高速视觉传感***3。
本实施例中,所述工业边缘云服务器6内置高性能的GPU,其内部集成的软件包括焊接图像实时处理单元11、焊接质量人工智能预测模型12和焊接过程数据实时存储与质量溯源分析单元13;所述图像实时处理单元11用于实现对所述焊接区域高动态范围图像的图像实时处理、熔池几何形态特征提取功能,得到经过图像实时处理之后的所述焊接区域高动态范围图像和熔池几何形态特征数据;本实施例中,所述熔池几何形态特征包括熔池宽度、熔池长度、熔池面积、熔池周长、熔池轮廓紧凑度和熔池形心位置;所述焊接质量人工智能预测模型12用于对经过图像实时处理之后的所述焊接区域高动态范围图像进行分类,从而实现对焊接质量进行在线推理预测;本实施例中,采用的所述焊接质量人工智能预测模型12网络结构示意图如图3所示,采用三维卷积神经网络架构,输入为十幅连续帧所述焊接区域高动态范围图像27,中间层分别为基于CNN的特征提取器28、LSTM卷积神经网络层29、Softmax输出层30,输出为根据标准定义的焊缝类型,包括正常焊缝31、尺寸正常的缺陷焊缝32、尺寸异常的缺陷焊缝33、尺寸异常的熔合良好焊缝34,所述缺陷包括气孔、咬边、凹陷、满溢、弧坑、烧穿、未焊透;所述焊接质量人工智能预测模型12的训练步骤包括:
步骤1:获取所述焊接区域高动态范围图像的样本数据集;
步骤2:训练、优化、测试、建立所述焊接质量人工智能预测模型12。本实施例中,所述焊接质量在线推理预测流程框图如图4所示,步骤包括:
步骤1:输入连续帧所述焊接区域高动态范围图像至所述焊接质量人工智能预测模型12;
步骤2:所述焊接质量人工智能预测模型12对连续帧所述焊接区域高动态范围图像进行分类,实现除正常焊缝之外其他焊缝类型的实时检出,并根据所述焊接机器人末端实时位姿信息计算得到被实时检出的焊缝类型的精确定位;
步骤3:所述焊接质量人工智能预测模型12识别并输出焊缝类型。
所述焊接过程数据实时存储与质量溯源分析单元13用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据、熔池几何形态特征数据和焊接区域高动态范围图像快速实时存储和焊后焊接质量溯源分析;本实施例中,所述焊接过程数据实时存储与质量溯源分析单元13支持完成8位以上且分辨率不小于1024×1024像素的图像的快速存储功能;所述焊接质量溯源分析通过对所述焊接工艺参数实时数据、熔池几何形态特征数据进行时域和频域统计分析,实现焊后焊接质量评价,并结合所述焊接区域高动态范围图像实现焊缝质量溯源分析;所述工业边缘云服务器6通过工业无线网络将瑕疵、误判、疑似的图像与图像对应时刻的监测数据一起上传至所述公有云工业视觉云平台7,并通过工业无线网络根据所述在线推理预测的结果下发控制指令至所述工业无线网关5;本实施例中,所述根据所述在线推理预测的结果下发控制指令,包括自定义报警提醒、熄弧停止焊接、机器人终止当前任务中的一类或多类。
所述公有云工业视觉云平台7用于依次完成来自所述工业边缘云服务器6上传数据的预处理、数据标注、采用深度学习人工智能算法训练生成焊接质量人工智能预测新模型、模型快速迭代、模型自动下发的功能,以实现对所述工业边缘云服务器6中所述焊接质量人工智能预测模型12的迭代更新。
所述人机交互式监视终端8通过网络访问工业边缘云服务器6,并提供所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像的同步监测功能,并且提供指令输入和下发至所述工业无线网关5的功能;本实施例中,所述人机交互式监视终端8采用基于触摸屏技术的智能人机交互界面,提供实时监控界面和历史查询界面,并支持将数据直接注释到图像和视频中的功能。

Claims (10)

1.一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:包括焊接机器人***(1)、现场数据监测终端设备(2)、工业高速视觉传感***(3)、现场设备控制单元(4)、工业无线网关(5)、工业边缘云服务器(6)、公有云工业视觉云平台(7)和人机交互式监视终端(8);
所述焊接机器人***(1)与现场数据监测终端设备(2)进行通信,用于传输焊接机器人的末端实时位姿信息;
所述现场数据监测终端设备(2)包括焊接工艺参数传感模块(9)和多通道数据采集模块(10),其中多通道数据采集模块(10)用于监测焊接机器人末端实时位姿信息和焊接工艺参数实时数据;
所述工业高速视觉传感***(3)用于在机器人焊接过程中实时采集焊接区域高动态范围图像;
所述现场设备控制单元(4)用于通过工业无线网络接收由人机交互式监视终端(8)发出的控制指令,和用于通过工业无线网络分别对焊接机器人***(1)、多通道数据采集模块(10)和工业高速视觉传感***(3)发送控制指令;
所述工业无线网关(5)与焊接机器人***(1)、多通道数据采集模块(10)、工业高速视觉传感***(3)进行通信,并支持将通信数据转换为标准协议,用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像上传至所述工业边缘云服务器(6),和实现将接收到的指令下发至焊接机器人***(1)、多通道数据采集模块(10)和工业高速视觉传感***(3);
所述工业边缘云服务器(6)内集成的软件包括焊接图像实时处理单元(11)、焊接质量人工智能预测模型(12)和焊接过程数据实时存储与质量溯源分析单元(13);所述图像实时处理单元(11)用于实现对所述焊接区域高动态范围图像的图像实时处理、熔池几何形态特征提取功能,得到经过图像实时处理之后的所述焊接区域高动态范围图像和熔池几何形态特征数据;所述焊接质量人工智能预测模型(12)用于对经过图像实时处理之后的所述焊接区域高动态范围图像进行分类,从而实现对焊接质量进行在线推理预测;所述焊接过程数据实时存储与质量溯源分析单元(13)用于实现将所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据、熔池几何形态特征数据和焊接区域高动态范围图像快速实时存储和焊后焊接质量溯源分析;所述工业边缘云服务器(6)通过工业无线网络将瑕疵、误判、疑似的图像与图像对应时刻的监测数据一起上传至所述公有云工业视觉云平台(7),并通过工业无线网络根据所述在线推理预测的结果下发控制指令至所述工业无线网关(5);
所述公有云工业视觉云平台(7)用于依次完成来自所述工业边缘云服务器(6)上传数据的预处理、数据标注、采用深度学习人工智能算法训练生成焊接质量人工智能预测新模型、模型快速迭代、模型自动下发的功能,以实现对所述工业边缘云服务器(6)中所述焊接质量人工智能预测模型(12)的迭代更新;
所述人机交互式监视终端(8)通过网络访问工业边缘云服务器(6),并提供所述焊接机器人末端实时位姿信息、焊接工艺参数实时数据和焊接区域高动态范围图像的同步监测功能,并且提供指令输入和下发至所述工业无线网关(5)的功能。
2.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:所述焊接机器人***(1)包括焊接机器人(14)、机器人控制器(15)和焊接电源(16);所述焊接机器人(14)的机器人本体采用自由度不少于3的机械臂,所述焊接机器人(14)的机器人本体为关节坐标构型、笛卡尔坐标构型、圆柱坐标构型或球坐标中的一种;所述焊接电源(16)为弧焊电源和激光器中的一种。
3.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:所述工业高速视觉传感***(3)包括专用光源(17)、镜头模组(18)、高速高动态范围工业相机(19)、工业相机云台(20)、图像采集单元(21),所述镜头模组(18)包括镜片组件和滤光减光片组件,所述高速工业相机(19)固定设置在工业相机云台(20)上。
4.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:所述现场设备控制单元(4)内置卫星授时定位模块(22)和天线(23),通过发出外部触发信号,同步触发所述高速高动态范围工业相机(19)和多通道数据采集模块(10),并通过接收GPS/北斗授时信号、外部时钟信号或内部生成主时钟信号,实现所述高速高动态范围工业相机(19)和多通道数据采集模块(10)授时同步,使图像与数据的采集保持频率同步。
5.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于,所述焊接质量人工智能预测模型(12)采用三维卷积神经网络架构,输入为三至十幅连续帧所述焊接区域高动态范围图像,输出为根据标准或工艺规范定义或自定义的焊缝类型;所述焊接质量人工智能预测模型(12)的训练步骤包括:
1)获取所述焊接区域高动态范围图像的样本数据集;
2)训练、优化、测试、建立所述焊接质量人工智能预测模型(12)。
6.根据权利要求5所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于,所述焊缝类型包括:正常焊缝、尺寸正常的缺陷焊缝、尺寸异常的缺陷焊缝、尺寸异常的熔合良好焊缝。
7.根据权利要求1或5或6所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于,所述对焊接质量进行在线推理预测,步骤包括:
1)输入连续帧所述焊接区域高动态范围图像至所述焊接质量人工智能预测模型(12);
2)所述焊接质量人工智能预测模型(12)对连续帧所述焊接区域高动态范围图像进行分类,实现除正常焊缝之外其他焊缝类型的实时检出,并根据所述焊接机器人末端实时位姿信息计算得到被实时检出的焊缝类型的精确定位;
3)所述焊接质量人工智能预测模型(12)识别并输出焊缝类型。
8.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:所述焊接质量溯源分析通过对所述焊接工艺参数实时数据进行时域和频域统计分析,实现焊后焊接质量评价,并结合所述焊接区域高动态范围图像实现焊缝质量溯源分析。
9.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:所述根据所述在线推理预测的结果下发控制指令,包括自定义报警提醒、熄弧停止焊接、机器人终止当前任务中的一类或多类。
10.根据权利要求1所述的一种基于边缘计算的机器人焊接现场智能监控***,其特征在于:所述人机交互式监视终端(8)采用基于触摸屏技术的智能人机交互界面,并支持将数据直接注释到图像和视频中的功能。
CN202210160353.2A 2022-02-22 2022-02-22 一种基于边缘计算的机器人焊接现场智能监控*** Withdrawn CN114453709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210160353.2A CN114453709A (zh) 2022-02-22 2022-02-22 一种基于边缘计算的机器人焊接现场智能监控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210160353.2A CN114453709A (zh) 2022-02-22 2022-02-22 一种基于边缘计算的机器人焊接现场智能监控***

Publications (1)

Publication Number Publication Date
CN114453709A true CN114453709A (zh) 2022-05-10

Family

ID=81414834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210160353.2A Withdrawn CN114453709A (zh) 2022-02-22 2022-02-22 一种基于边缘计算的机器人焊接现场智能监控***

Country Status (1)

Country Link
CN (1) CN114453709A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988866A (zh) * 2023-03-21 2023-04-18 深圳市利和兴股份有限公司 一种基于机器视觉的nfc lami加工控制方法及***
CN116275405A (zh) * 2023-05-22 2023-06-23 中建安装集团有限公司 一种薄板低温钢k-tig智能焊接装置及方法
CN116787017A (zh) * 2023-07-14 2023-09-22 浙江振兴阿祥集团有限公司 水轮机座环焊接机器人的控制方法及其***
CN117706544A (zh) * 2024-02-04 2024-03-15 新泰坦空气净化技术(北京)有限公司 一种智能环保远程监测***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115988866A (zh) * 2023-03-21 2023-04-18 深圳市利和兴股份有限公司 一种基于机器视觉的nfc lami加工控制方法及***
CN116275405A (zh) * 2023-05-22 2023-06-23 中建安装集团有限公司 一种薄板低温钢k-tig智能焊接装置及方法
CN116275405B (zh) * 2023-05-22 2024-03-26 中建安装集团有限公司 一种薄板低温钢k-tig智能焊接装置及方法
CN116787017A (zh) * 2023-07-14 2023-09-22 浙江振兴阿祥集团有限公司 水轮机座环焊接机器人的控制方法及其***
CN116787017B (zh) * 2023-07-14 2024-03-12 湖南摩码智能机器人有限公司 水轮机座环焊接机器人的控制方法及其***
CN117706544A (zh) * 2024-02-04 2024-03-15 新泰坦空气净化技术(北京)有限公司 一种智能环保远程监测***
CN117706544B (zh) * 2024-02-04 2024-04-09 新泰坦空气净化技术(北京)有限公司 一种智能环保远程监测***

Similar Documents

Publication Publication Date Title
CN114453709A (zh) 一种基于边缘计算的机器人焊接现场智能监控***
CN109358574B (zh) 一种智能化数据采集、监控与分析***及方法
CN116841262A (zh) 基于机器视觉的智慧工厂生产在线监测分析***
CN103235562B (zh) 变电站基于巡检机器人的综合参数检测***及巡检方法
CN109719368B (zh) 一种机器人焊接过程多信息采集监控***及方法
CN110244665A (zh) 一种涂装生产线远程智能管理***
CN110658830A (zh) 一种电厂巡检***及其控制方法
CN214337647U (zh) 一种变电站在线智能巡视***
CN207268846U (zh) 电力巡检机器人
CN202837484U (zh) 变电站智能巡检机器人超声局放检测***
CN205384142U (zh) 一种减速机多功能远程监控与运行管理***
CN114789307B (zh) 一种基于数字孪生的板件焊接质量实时监控方法
WO2024093420A1 (zh) 一种无人机与地面巡检机器人协同作业的巡检方法及装置
CN111426699A (zh) 一种锅炉受热面外观缺陷在线检测与识别装置和方法
CN115272888A (zh) 一种基于数字孪生的5g+无人机输电线路巡检方法及***
CN210605473U (zh) 一种电厂巡检***
CN110539054A (zh) 一种电弧增材堆积作业监测***
CN115314609A (zh) 一种铝电解槽火眼视频的自动化采集方法和装置
CN109119923A (zh) 变配电所设备智能巡检***及其巡检方法
CN112677477B (zh) 一种集成多传感器的多轴增材制造智能监控及检测***
CN212064369U (zh) 一种燃气发电机组的智能巡检***
CN117111660A (zh) 一种无人值守智能粮仓***及方法
CN114882682B (zh) 一种高压线缆状态监测平台及监测方法
CN115741746A (zh) 一种智能巡检***及其巡检方法
CN206132666U (zh) 一种x射线机机械柔性电动装置及基于该装置的检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220510