CN113177914A - 基于语义特征聚类的机器人焊接方法及*** - Google Patents

基于语义特征聚类的机器人焊接方法及*** Download PDF

Info

Publication number
CN113177914A
CN113177914A CN202110407179.2A CN202110407179A CN113177914A CN 113177914 A CN113177914 A CN 113177914A CN 202110407179 A CN202110407179 A CN 202110407179A CN 113177914 A CN113177914 A CN 113177914A
Authority
CN
China
Prior art keywords
semantic
workpiece
welded
welding
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110407179.2A
Other languages
English (en)
Other versions
CN113177914B (zh
Inventor
吕成兴
陈健
周玉国
徐新立
杨智博
杨玉霞
吴永玲
高乾
吕霞
赵化民
余继恒
董颖慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202110407179.2A priority Critical patent/CN113177914B/zh
Priority to PCT/CN2021/087431 priority patent/WO2022217531A1/zh
Publication of CN113177914A publication Critical patent/CN113177914A/zh
Application granted granted Critical
Publication of CN113177914B publication Critical patent/CN113177914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种基于语义特征聚类的机器人焊接方法和***，获取工件图像；对工件图像进行语义标注生成语义训练样本集；建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练；利用训练出的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据；基于待焊接工件数据采用参数化在线编程生成待焊接工件的焊接程序；基于焊接程序对待焊接工件执行焊接；本发明提取工件图像的浅层特征和深层语义特征并融合，通过图像识别实现图像聚类判断得到待焊接工件种类，结合参数化在线编程方法形成焊接程序，无需示教编程和离线编程，避免了示教编程中人工示教精度差和效率低的问题，也避免了离线编程通用性、灵活性和偏差大的问题。

Description

基于语义特征聚类的机器人焊接方法及***
技术领域
本发明涉及焊接机器人技术领域，尤其涉及一种基于语义特征聚类的机器人焊接方法及***。
背景技术
焊接机器人在工程机械、汽车及零部件、轨道交通等领域应用广泛，可以连续重复工作几万甚至几十万次，正逐渐替代人工焊接，显著提高焊接生产的智能化和自动化程度。
现代工业中小批量、大尺寸、复杂结构的构件应用越来越广泛，对高效率、高精度、智能化的机器人焊接制造技术的需求也日益迫切。
焊接机器人目前的编程方式主要有示教编程和离线编程两种；其中，示教编程应用厂家提供的示教器，手动驱动焊接机器人达到需要达到的位置，逐一将路径上的点记录下来，最后焊接机器人按照示教好的点去重复这个路径，反复调用，显然，在工件批量大、且一致性高的场合，这是一种非常适合的方式，但人工示教存在精度差、效率低的问题，不能适应企业进行多品种、大批量、快速生产的需求。
离线编程利用离线软件在电脑上参考工件信息进行编程，编写完成后，利用存储设备拷贝或通过网络传输到焊接机器人控制器中，将工件坐标匹配后，可以反复调用，但程序的编写通常情况下一个程序只能描述一个动作，如果工件的位置产生了变化，为了保证程序能够稳定运行，就需要重新进行程序的编写，这不但增加了工程师的工作量，还存在通用性和灵活性差的问题，并且当数模与实物存在偏差时，程序无法执行。
发明内容
为解决现有焊接机器人应用于小批量、大尺寸、复杂结构的构件中存在的上述诸多问题，本发明提出一种基于语义特征聚类的机器人焊接方法及***，采用语义特征聚类方法提取工件图像的深度特征来识别工件，进而针对不同工件，采用参数化在线编程技术，对工件中相似的特征采用变量形成完成程序编写，自动输出工件焊接程序，避免了示教编程中人工示教精度差和效率低的问题，也避免了离线编程通用性、灵活性和偏差大的问题。
本发明采用如下技术方案：
提出一种基于语义特征聚类的机器人焊接方法，包括：获取工件图像，生成图像训练样本集；对工件图像进行语义标注生成语义训练样本集；建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练；利用训练出的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据；基于待焊接工件数据采用参数化编程生成待焊接工件的焊接程序；基于焊接程序对待焊接工件执行焊接。
进一步的，建立语义聚类模型，包括：采用Resnet50模型以所述图像训练样本集为输入提取工件图像的浅层特征；采用Resnet50模型以所述图像训练样本集和所述语义训练样本集为输入提取工件的语义特征；将浅层特征和语义特征进行融合。
进一步的，将浅层特征和语义特征进行融合，包括：基于
Figure BDA0003022792030000021
为所述语义特征分配权重；基于β＝1-α为所述浅层特征分配权重；基于T＝αV+βU加权叠加融合得到融合后的特征；其中，m为样本个数，A为浅层特征的聚类结果，B为语义特征的聚类结果，V为语义特征表达，U为浅层特征表达。
进一步的，基于待焊接工件数据采用参数化编程生成待焊接工件的焊接程序，包括：分析待焊接工件的工艺特征和结构特征，生成焊接程序模块；
提取待焊接工件的相同特征，将相同特征的焊接数据用变量代替，生成相同特征程序；采用待焊接工件数据对相同特征的焊接数据对应的变量赋值，生成焊接程序。
提出一种基于语义特征聚类的机器人焊接***，包括：焊接机器人，用于对待焊接工件实施加工；图像获取模块，用于获取待焊接工件图像；边缘计算服务器，用于训练语义聚类模型，并利用训练出的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据；其中，训练语义聚类模型包括：对工件图像进行语义标注生成语义训练样本集；建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练；可编程逻辑控制模块，用于基于待焊接工件数据采用参数化编程生成待焊接工件的焊接程序；机器人控制模块，用于获取所述可编程逻辑控制模块生成的待焊接工件的焊接程序，基于所述焊接程序控制所述焊接机器人。
进一步的，建立语义聚类模型，包括：采用Resnet50模型以所述图像训练样本集为输入提取工件图像的浅层特征；采用Resnet50模型以所述图像训练样本集和所述语义训练样本集为输入提起工件的语义特征；将浅层特征和语义特征进行融合。
进一步的，将浅层特征和语义特征进行融合，包括：基于
Figure BDA0003022792030000031
为所述语义特征分配权重；基于为β＝1-α为所述浅层特征分配权重；基于T＝αV+βU加权叠加融合得到融合后的特征；其中，m为样本个数，A为浅层特征的聚类结果，B为语义特征的聚类结果，V为语义特征表达，U为浅层特征表达。
进一步的，所述可编程逻辑控制模块，具体用于：分析待焊接工件的工艺特征和结构特征，生成焊接程序模块；提取待焊接工件的相同特征，将相同特征的焊接数据用变量代替，生成相同特征程序；采用待焊接工件数据对相同特征的焊接数据对应的变量赋值，生成焊接程序。
本发明的技术方案相对现有技术具有如下技术效果：本发明提出的基于语义特征聚类的机器人焊接方法和***中，提取工件图像的浅层特征和深层语义特征进行融合，通过融合不同层级的特征信息来提升图像语义聚类的精度，从而能够通过图像识别实现快速的图像聚类判断，得到待焊接工件种类，将待焊接工件的待焊接工件数据从数据库中提取，再结合参数化编程方法形成焊接程序，使用可编程逻辑控制模块与机器人控制模块交互，自动完成小批量、多种类、大尺寸工件的机器人焊接，无需示教编程和离线编程，避免了示教编程中人工示教精度差和效率低的问题，也避免了离线编程通用性、灵活性和偏差大的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出的基于语义特征聚类的机器人焊接***架构图；
图2为本发明提出的基于语义特征聚类的机器人焊接方法流程图；
图3为本发明提出的语义特征聚类模型的模型架构图；
图4为本发明提出的焊接机器人参数化编程的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明提出的基于语义特征聚类的机器人焊接方法，应用于如图1所示的基于语义特征聚类的机器人焊接***中，该***包括焊接机器人1、图像获取模块2、边缘计算服务器3、可编程逻辑控制模块4和机器人控制模块5。其中，图像获取模块2诸如工业相机，用于获取待焊接工件的图像，边缘计算服务器3基于深度学习程序对待焊接工件图像进行聚类识别，识别出待焊接工件的种类，利用工业机器人参数化编程技术，将待焊接工件的尺寸信息及焊接工艺参数从数据库中提取出来，形成其焊接程序，可编程逻辑控制模块4与机器人控制模块5则基于交互控制焊接机器人1对待焊接工件实施焊接，从而完成小批量、多种类、大尺寸复杂结构的工件的机器人焊接，无需示教编程和离线编程。
基于该***，本发明提出的基于语义特征聚类的机器人焊接方法，如图2所示，包括如下步骤：
步骤S21：获取工件图像，生成图像训练样本集。
将若干工件图像直接构成图像训练样本集。
步骤S22：对工件图像进行语义标注生成语义训练样本集。
对工件的进行语义标注包括：使用工件的结构尺寸特征、焊接工艺特征等对工件图像进行标注，形成语义训练样本集。
步骤S23：建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练。
将工件图像分为有标签的训练样本集和无标签的测试样本集，并且有标签数据和无标签数据是无交叉的。语义聚类模型使用训练样本集进行，通训练样本集和测试样本集之间的属性关联来学习一个从浅层特征到深层语义特征的映射模型，将最终得到的映射模型应用于测试样本集来获得其语义特征表达。
本发明实施例中，建立的语义特征模型，如图3所示，采用Resnet50模型以图像训练样本集为输入来提取工件的浅层特征，采用该模型最后池化层的特征作为其输出的特征向量表示；采用Resnet50模型以图像训练样本集和语义训练样本集为输入来提取工件的深层语义特征。
将浅层特征和语义特征融合，得到工件图像的预测特征向量表示
在本发明一些实施例中，考虑到两种特征对于图像聚类的贡献程度，设计了一种加权叠加融合方法，根据单一特征下的聚类结果为两种特征分配不同的权重，在得到的低维嵌入特征空间实现图像数据的聚类。
具体的，基于
Figure BDA0003022792030000061
为语义特征分配权重；在基于β＝1-α为浅层特征分配权重；最后基于T＝αV+βU加权叠加融合得到融合后的特征；
其中，m为样本个数(包括图像训练样本和语义训练样本)，A为浅层特征的聚类结果，B为语义特征的聚类结果，V∈Rs×m为语义特征表达，U∈Rs×m为浅层特征表达,s为两种特征矩阵的维度。
步骤S24：利用训练处的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据。
利用步骤S23训练得到的语义聚类模型，以待焊接工件图像为输入，识别得到待焊接工件的种类，进而边缘计算服务器查询服务器，根据待焊接工件的种类获取待焊接工件的待焊接工件数据，包括结构尺寸数据、焊接工艺参数等。
步骤S25：基于待焊接工件数据采用参数化编程生成待焊接工件的焊接程序。
参数化编程可针对程序中相似的地方使用变量的形式完成编写，从而有效提升编程效率，以及提升程序的适用性，本发明实施例中，结合机器人焊接提出一种参数化编程方式。
首先通过机器人控制模块5提供的输入界面，用户可针对待焊接工件输入其工件信息，根据其工件信息查询***中是否已经存在其焊接程序，若***中存在该待焊接工件的工件信息，则可从程序数据库直接调用其焊接程序，若不存在其焊接程序，则需为其建议一个新的工件任务，并执行以下步骤，如图4所示：
步骤S41、分析待焊接工件的工艺特征和结构特征，生成焊接程序模块。
对该焊接工件的整体工艺特征和结构特征进行分析，为该工件建立加工程序模块。
步骤S42、提取待焊接工件的相同特征，将相同特征的焊接数据用变量代替，生成相同特征程序。
分析该待焊接工件的基本特征，总结其相同特征，把相同特征的焊接数据用变量代替，编写相同特征程序或从库中调取已经存在的相同特征程序。
对编写完成的程序进行检验以及核对，若使用的变量太多，则使用主子程序的方式进行编程。
步骤S43、采用待焊接工件数据对相同特征的焊接数据对应的变量赋值，生成焊接程序。
采用步骤S24中得到的带焊接工件数据，对相同特征的焊接数据对应的变量赋值，生成适配于带焊接工件的相同特征程序，检查赋值之后的相同特征函数，在没有问题后确定整个焊接程序。
步骤S26：基于焊接程序对待焊接工件执行焊接。
机器人控制模块5运行焊接程序，对待焊接工件执行焊接。
本发明实施例中，基于机器人参数化编程***应用机器人底层操作函数，用户根据实际需求对待焊接工件的参数化编程功能进行设定，操作员只需按照软件中设定的使用流程输入数据就可以生成待焊接工件的焊接程序，焊接机器人按照焊接程序控制执行焊接，无需示教编程和离线编程，操作效率高、编程效率高、焊接效率高，避免了示教编程中人工示教精度差和效率低的问题，也避免了离线编程通用性、灵活性和偏差大的问题。
基于上述提出的基于语义特征聚类的机器人焊接方法，本发明提出的基于语义特征聚类的机器人焊接***中，焊接机器人1用于对待焊接工件实施加工；图像获取模块2用于获取待焊接工件图像；边缘计算服务器3用于训练语义聚类模型，并利用训练出的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据；其中，训练语义聚类模型包括：对工件图像进行语义标注生成语义训练样本集；以及，建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练；可编程逻辑控制模块4，用于基于待焊接工件数据采用参数化编程生成待焊接工件的焊接程序；机器人控制模块5用于获取可编程逻辑控制模块生成的待焊接工件的焊接程序，基于焊接程序控制焊接机器人。
在本发明一些实施例中，建立语义聚类模型，包括：采用Resnet50模型以图像训练样本集为输入提取工件图像的浅层特征；采用Resnet50模型以图像训练样本集和语义训练样本集为输入提起工件的语义特征；将浅层特征和语义特征进行融合。
在本发明一些实施例中，将浅层特征和语义特征进行融合，包括：基于
Figure BDA0003022792030000081
为语义特征分配权重；基于为β＝1-α为浅层特征分配权重；基于T＝αV+βU加权叠加融合得到融合后的特征；其中，m为样本个数，A为浅层特征的聚类结果，B为语义特征的聚类结果，V为语义特征表达，U为浅层特征表达。
在本发明一些实施例中，可编程逻辑控制模块4具体用于：分析待焊接工件的工艺特征和结构特征，生成焊接程序模块；提取待焊接工件的相同特征，将相同特征的焊接数据用变量代替，生成相同特征程序；采用待焊接工件数据对相同特征的焊接数据对应的变量赋值，生成焊接程序。
具体的***执行焊接的方法已经详述，在***中不予赘述。
需要说明的是，在具体实现过程中，上述的焊接方法可以通过硬件形式的处理器执行存储器中存储的软件形式的计算机执行指令实现，此处不予赘述，而上述所执行的动作所对应的程序均可以以软件形式存储于***的计算机可读存储介质中，以便于处理器调用执行以上各个模块对应的操作。
上文中的计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；还可以包括上述种类的存储器的组合。
上文所提到的处理器，也可以是多个处理元件的统称。例如，处理器可以为中央处理器，也可以为其他通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者可以是任何常规的处理器等等，还可以为专用处理器。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于语义特征聚类的机器人焊接方法，其特征在于，包括：
获取工件图像，生成图像训练样本集；
对工件图像进行语义标注生成语义训练样本集；
建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练；
利用训练出的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据；
基于待焊接工件数据采用参数化在线编程生成待焊接工件的焊接程序；
基于焊接程序对待焊接工件执行焊接。
2.根据权利要求1所述的基于语义特征聚类的机器人焊接方法，其特征在于，建立语义聚类模型，包括：
采用Resnet50模型以所述图像训练样本集为输入提取工件图像的浅层特征；
采用Resnet50模型以所述图像训练样本集和所述语义训练样本集为输入提取工件的语义特征；
将浅层特征和语义特征进行融合。
3.根据权利要求2所述的基于语义特征聚类的机器人焊接方法，其特征在于，将浅层特征和语义特征进行融合，包括：
基于
Figure FDA0003022792020000011
为所述语义特征分配权重；
基于β＝1-α为所述浅层特征分配权重；
基于T＝αV+βU加权叠加融合得到融合后的特征；
其中，m为样本个数，A为浅层特征的聚类结果，B为语义特征的聚类结果，V为语义特征表达，U为浅层特征表达。
4.根据权利要求1所述的基于语义特征聚类的机器人焊接方法，其特征在于，基于待焊接工件数据采用参数化在线编程生成待焊接工件的焊接程序，包括：
分析待焊接工件的工艺特征和结构特征，生成焊接程序模块；
提取待焊接工件的相同特征，将相同特征的焊接数据用变量代替，生成相同特征程序；
采用待焊接工件数据对相同特征的焊接数据对应的变量赋值，生成焊接程序。
5.基于语义特征聚类的机器人焊接***，其特征在于，包括：
焊接机器人，用于对待焊接工件实施加工；
图像获取模块，用于获取待焊接工件图像；
边缘计算服务器，用于训练语义聚类模型，并利用训练出的语义聚类模型对待焊接工件图像进行识别得到待焊接工件数据；其中，训练语义聚类模型包括：对工件图像进行语义标注生成语义训练样本集；建立语义聚类模型，使用图像训练样本集和语义训练样本集进行训练；
可编程逻辑控制模块，用于基于待焊接工件数据采用参数化在线编程生成待焊接工件的焊接程序；
机器人控制模块，用于获取所述可编程逻辑控制模块生成的待焊接工件的焊接程序，基于所述焊接程序控制所述焊接机器人。
6.根据权利要求5所述的基于语义特征聚类的机器人焊接***，其特征在于，建立语义聚类模型，包括：
采用Resnet50模型以所述图像训练样本集为输入提取工件图像的浅层特征；
采用Resnet50模型以所述图像训练样本集和所述语义训练样本集为输入提起工件的语义特征；
将浅层特征和语义特征进行融合。
7.根据权利要求6所述的基于语义特征聚类的机器人焊接***，其特征在于，将浅层特征和语义特征进行融合，包括：
基于
Figure FDA0003022792020000021
为所述语义特征分配权重；
基于为β＝1-α为所述浅层特征分配权重；
基于T＝αV+βU加权叠加融合得到融合后的特征；
其中，m为样本个数，A为浅层特征的聚类结果，B为语义特征的聚类结果，V为语义特征表达，U为浅层特征表达。
8.根据权利要求5所述的基于语义特征聚类的机器人焊接***，其特征在于，所述可编程逻辑控制模块，具体用于：
分析待焊接工件的工艺特征和结构特征，生成焊接程序模块；
提取待焊接工件的相同特征，将相同特征的焊接数据用变量代替，生成相同特征程序；
采用待焊接工件数据对相同特征的焊接数据对应的变量赋值，生成焊接程序。
CN202110407179.2A 2021-04-15 2021-04-15 基于语义特征聚类的机器人焊接方法及*** Active CN113177914B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110407179.2A CN113177914B (zh) 2021-04-15 2021-04-15 基于语义特征聚类的机器人焊接方法及***
PCT/CN2021/087431 WO2022217531A1 (zh) 2021-04-15 2021-05-20 基于语义特征聚类的机器人焊接方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110407179.2A CN113177914B (zh) 2021-04-15 2021-04-15 基于语义特征聚类的机器人焊接方法及***

Publications (2)

Publication Number Publication Date
CN113177914A true CN113177914A (zh) 2021-07-27
CN113177914B CN113177914B (zh) 2023-02-17

Family

ID=76923433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110407179.2A Active CN113177914B (zh) 2021-04-15 2021-04-15 基于语义特征聚类的机器人焊接方法及***

Country Status (2)

Country Link
CN (1) CN113177914B (zh)
WO (1) WO2022217531A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140037152A1 (en) * 2011-04-20 2014-02-06 Institute Of Automation, Chinese Academy Of Sciences Identity recognition based on multiple feature fusion for an eye image
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109472232A (zh) * 2018-10-31 2019-03-15 山东师范大学 基于多模态融合机制的视频语义表征方法、***及介质
CN109623817A (zh) * 2018-12-19 2019-04-16 上海振华重工(集团)股份有限公司 一种箱体焊接机器人参数化编程***及其编程方法
CN110076767A (zh) * 2018-01-26 2019-08-02 郑州领航机器人有限公司 一种基于图像识别技术的智能焊接控制***及方法
CN110135513A (zh) * 2019-05-22 2019-08-16 广东工业大学 一种基于深度学习的焊接机器人的焊缝识别方法
CN110449696A (zh) * 2019-06-26 2019-11-15 中车工业研究院有限公司 焊接***及焊接方法
CN110524581A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种柔性焊接机器人***及其焊接方法
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN111390915A (zh) * 2020-04-17 2020-07-10 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法
CN112163114A (zh) * 2020-09-10 2021-01-01 华中科技大学 一种基于特征融合的图像检索方法
CN112440018A (zh) * 2019-09-04 2021-03-05 中冶赛迪技术研究中心有限公司 一种焊接***及焊接方法
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3582142A1 (en) * 2018-06-15 2019-12-18 Université de Liège Image classification using neural networks
CN109285139A (zh) * 2018-07-23 2019-01-29 同济大学 一种基于深度学习的x射线成像焊缝检测方法
CN110059741B (zh) * 2019-04-15 2022-12-02 西安电子科技大学 基于语义胶囊融合网络的图像识别方法
CN110893525B (zh) * 2019-12-05 2022-05-24 珠海屏珠科技有限公司 焊接工件的焊接区域识别方法、计算机装置及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140037152A1 (en) * 2011-04-20 2014-02-06 Institute Of Automation, Chinese Academy Of Sciences Identity recognition based on multiple feature fusion for an eye image
CN110076767A (zh) * 2018-01-26 2019-08-02 郑州领航机器人有限公司 一种基于图像识别技术的智能焊接控制***及方法
CN109035204A (zh) * 2018-06-25 2018-12-18 华南理工大学 一种焊缝目标实时检测方法
CN109472232A (zh) * 2018-10-31 2019-03-15 山东师范大学 基于多模态融合机制的视频语义表征方法、***及介质
CN109623817A (zh) * 2018-12-19 2019-04-16 上海振华重工(集团)股份有限公司 一种箱体焊接机器人参数化编程***及其编程方法
CN110135513A (zh) * 2019-05-22 2019-08-16 广东工业大学 一种基于深度学习的焊接机器人的焊缝识别方法
CN110449696A (zh) * 2019-06-26 2019-11-15 中车工业研究院有限公司 焊接***及焊接方法
CN112440018A (zh) * 2019-09-04 2021-03-05 中冶赛迪技术研究中心有限公司 一种焊接***及焊接方法
CN110524581A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种柔性焊接机器人***及其焊接方法
CN110524580A (zh) * 2019-09-16 2019-12-03 西安中科光电精密工程有限公司 一种焊接机器人视觉组件及其测量方法
CN111390915A (zh) * 2020-04-17 2020-07-10 上海智殷自动化科技有限公司 一种基于ai的自动焊缝路径识别方法
CN112163114A (zh) * 2020-09-10 2021-01-01 华中科技大学 一种基于特征融合的图像检索方法
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Y. XU AND J. CHENG: ""Face Recognition Algorithm Based on Correlation Coefficient and Ensemble-Augmented Sparsity"", 《IEEE ACCESS》, 7 October 2020 (2020-10-07), pages 183972 - 183982, XP011815089, DOI: 10.1109/ACCESS.2020.3028905 *
ZHE XUE: ""GOMES: A group-aware multi-view fusion approach towards real-world image clustering"", 《IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》, 6 August 2015 (2015-08-06), pages 1 - 6 *
易倩茹: ""基于混合注意力机制的多模态时序数据错误发现算法"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, 15 January 2021 (2021-01-15), pages 1 - 4 *
赵青松: ""基于多模态信息融合的人体动作识别方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 07, 15 July 2020 (2020-07-15), pages 2 *

Also Published As

Publication number Publication date
WO2022217531A1 (zh) 2022-10-20
CN113177914B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
WO2015096511A1 (zh) 飞机结构件智能数控加工编程***及方法
Pires et al. Advances in robotics for additive/hybrid manufacturing: robot control, speech interface and path planning
WO2010068622A1 (en) Method and system for in-production optimization of the parameters of a robot used for assembly
CN111857470B (zh) 一种生产设备的无人值守控制方法、装置和控制器
Brecher et al. Viable system model for manufacturing execution systems
CN104875204A (zh) 一种等离子空间切割机器人的离线编程模块及应用方法
US20220134464A1 (en) Weld line data generation device, welding system, weld line data generation method, and computer readable medium
Wang et al. Integrated inspection on PCB manufacturing in cyber–physical–social systems
CN112231966A (zh) 一种基于数字孪生的协作机器人可装配性预测***及方法
Rastegarpanah et al. Vision-guided mpc for robotic path following using learned memory-augmented model
Chryssolouris et al. Artificial intelligence in manufacturing equipment, automation, and robots
CN113177914B (zh) 基于语义特征聚类的机器人焊接方法及***
Rahul et al. Integrating virtual twin and deep neural networks for efficient and energy-aware robotic deburring in industry 4.0
Lynn et al. The state of integrated computer-aided manufacturing/computer numerical control: prior development and the path toward a smarter computer numerical controller
CN115936414B (zh) 一种基于装配工艺与轨迹自规划的微器件柔性装配方法
Rauch et al. A STEP-NC approach for multi-process manufacturing, simulation and optimisation
CN111267097A (zh) 基于自然语言的工业机器人辅助编程方法
CN114474836B (zh) 一种基于数据智能识别技术的冲压模具2.5d自动编程方法
Kao et al. Application of a cyber-physical system and machine-to-machine communication for metal processes
Cser et al. Three kinds of case-based learning in sheet metal manufacturing
JP7384000B2 (ja) 協調作業システム、解析収集装置および解析プログラム
JPH06337711A (ja) ロボットの教示装置
Herfs et al. An approach on simplifying the commissioning of collaborative assembly workstations based on product-lifecycle-management and intuitive robot programming
Lindberget Automatic generation of robot targets: A first step towards a flexible robotic solution for cutting customized mesh tray
Jakhotiya et al. Integrating digital twin and computer vision system for efficient pick-and-place operation using Tecnomatix Process Simulate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant