CN115409805A - 工件焊缝的识别方法、装置、计算机可读介质及电子设备 - Google Patents

工件焊缝的识别方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN115409805A
CN115409805A CN202211055267.1A CN202211055267A CN115409805A CN 115409805 A CN115409805 A CN 115409805A CN 202211055267 A CN202211055267 A CN 202211055267A CN 115409805 A CN115409805 A CN 115409805A
Authority
CN
China
Prior art keywords
point cloud
data
patches
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211055267.1A
Other languages
English (en)
Inventor
许曦
张兆彪
李俊渊
高建文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Ruiji Technology Co ltd
China International Marine Containers Group Co Ltd
CIMC Containers Holding Co Ltd
Original Assignee
Shenzhen Qianhai Ruiji Technology Co ltd
China International Marine Containers Group Co Ltd
CIMC Containers Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Ruiji Technology Co ltd, China International Marine Containers Group Co Ltd, CIMC Containers Holding Co Ltd filed Critical Shenzhen Qianhai Ruiji Technology Co ltd
Priority to CN202211055267.1A priority Critical patent/CN115409805A/zh
Publication of CN115409805A publication Critical patent/CN115409805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种工件焊缝的识别方法、装置、计算机可读介质以及电子设备,所述方法包括:获取目标焊接工件的点云数据;对点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应目标焊接工件中的一个面;从多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片;计算至少一个点云面片对中相交目标点云面片之间的交线,并根据交线生成目标焊接工件的焊缝。在本申请无需依赖相机拍摄目标焊接工件的清晰图像,即使在光线过于明亮或光线昏暗的条件下,也能够准确识别工件焊缝,提高了焊缝识别的稳定性,同时还提高了机器人焊接的环境适应力,有利于自动焊接技术的发展。

Description

工件焊缝的识别方法、装置、计算机可读介质及电子设备
技术领域
本申请属于焊接技术领域,具体涉及一种工件焊缝的识别方法、装置、计算机可读介质以及电子设备。
背景技术
目前使用视觉引导的焊接技术大力发展,通过相机拍摄工件图像,进而通过图像处理识别出工件中的焊缝,然后执行焊接操作。常用的焊缝识别方法通常是通过图像设定ROI(Region Of Interest,感兴趣区域)区域,使用开闭运算等获取角点或者轮廓来实现,但是这种方案需要相机拍摄清晰的工件图像,从而使得该方法的实施环境对光线控制比较严格,然而现场作业环境复杂,不可避免出现光线不好的情况,从而使得该方法难以稳定实现焊缝识别。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种工件焊缝的识别方法、装置、计算机可读介质以及电子设备,以优化相关技术中焊缝识别稳定性较差的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供一种工件焊缝的识别方法,包括:
获取目标焊接工件的点云数据;
对所述点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应所述目标焊接工件中的一个面;
从所述多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片;
计算所述至少一个点云面片对中相交目标点云面片之间的交线,并根据所述交线生成所述目标焊接工件的焊缝。
根据本申请实施例的一个方面,提供一种工件焊缝的识别装置,包括:
数据获取模块,用于获取目标焊接工件的点云数据;
点云面分割模块,用于对所述点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应所述目标焊接工件中的一个面;
目标点云提取模块,用于从所述多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片;
焊缝识别模块,用于计算所述至少一个点云面片对中相交目标点云面片之间的交线,并根据所述交线生成所述目标焊接工件的焊缝。
在本申请一个实施例中,点云面分割模块包括:
点云面拟合单元,用于根据预设拟合参数对所述点云数据进行点云面拟合,得到点云面片;
迭代单元,用于将所述点云面片对应的点数据从所述点云数据中删除后,返回所述根据预设点云面参数对所述点云数据进行点云面拟合的步骤,直至达到第一迭代停止条件,得到多个点云面片。
在本申请一个实施例中,所述预设拟合参数包括:采样点数、距离阈值和预设迭代次数;所述点云面拟合单元具体用于:
从所述点云数据中随机选择与所述采样点数相同数量的点数据构成拟合点云面;
根据所述点云数据中各个点数据与所述拟合点云面之间的距离与所述距离阈值的关系,获取所述拟合点云面中的点数据;
统计所述拟合点云面中的点数据对应的数据量;
返回所述从所述点云数据中随机选择与所述采样点数相同数量的点数据构成拟合点云面的步骤,直至达到第二迭代停止条件;
从各个拟合点云面对应的数据量中,选择最大数据量对应的拟合点云面作为所述点云面片。
在本申请一个实施例中,所述点云面拟合单元还用于:
当点数据与所述拟合点云面之间的距离小于所述距离阈值时,将对应的点数据作为所述拟合点云面中的点云数据;
当点数据与所述拟合点云面之间的距离小于所述距离阈值时,将对应的点数据作为所述拟合点云面之外的点云数据。
在本申请一个实施例中,所述装置还包括:
点云面片去重模块,用于根据两两点云面片之间的距离和夹角,判断所述多个点云面片中是否存在属于同一点云面的至少两个点云面片;若所述多个点云面片中存在属于同一点云面的至少两个点云面片,则在属于同一点云面的至少两个点云面片中,保留数据量最多的点云面片,删除其他点云面片。
在本申请一个实施例中,焊缝识别模块具体用于:
对于任意一条交线,从所述交线对应的目标点云面片中,获取与所述交线的距离在预设距离范围内的多个目标点数据;
将所述多个目标点数据投影至所述交线,以在所述交线上形成多个焊缝点;
根据所述多个焊缝点生成所述目标焊接工件的焊缝。
在本申请一个实施例中,所述装置还包括:
滤波模块,用于对所述点云数据进行滤波处理,以去除所述点云数据中的噪声点数据。
根据本申请实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的工件焊缝的识别方法。
根据本申请实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器执行所述可执行指令使得所述电子设备执行如以上技术方案中的工件焊缝的识别方法。
根据本申请实施例的一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上技术方案中的工件焊缝的识别方法。
在本申请实施例提供的技术方案中,通过对目标焊接工作的点云数据进行点云面分割、目标点云面片提取以及交线计算,实现目标焊接工作的焊缝识别,无需依赖相机拍摄目标焊接工件的清晰图像,即使在光线过于明亮或光线昏暗的条件下,也能够准确识别工件焊缝,提高了焊缝识别的稳定性,同时还提高了机器人焊接的环境适应力,有利于自动焊接技术的发展。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了应用本申请技术方案的示例性***架构框图。
图2示意性地示出了应用本申请技术方案的示例性***架构框图。
图3示意性地示出了本申请一个实施例提供的工件焊缝的识别方法的流程图。
图4示意性地示出了本申请一个实施例提供的工件焊缝的识别方法的流程图。
图5示意性地示出了两个相交目标点云面片的示意图。
图6示意性地示出了本申请一个实施例提供的目标点数据的分布示意图。
图7示意性地示出了本申请实施例提供的工件焊缝的识别装置的结构框图。
图8示意性示出了适于用来实现本申请实施例的电子设备的计算机***结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示意性地示出了应用本申请技术方案的示例性***架构框图。
如图1所示,***架构100可以包括终端设备110、网络120和服务器130。终端设备110可以包括智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、车载终端、移动机器人等等。服务器130可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。网络120可以是能够在终端设备110和服务器130之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路或者无线通信链路。
根据实现需要,本申请实施例中的***架构可以具有任意数目的终端设备、网络和服务器。例如,服务器130可以是由多个服务器设备组成的服务器群组。另外,本申请实施例提供的技术方案可以应用于终端设备110,也可以应用于服务器130,或者可以由终端设备110和服务器130共同实施,本申请对此不做特殊限定。
举例而言,本申请实施例提供的工件焊缝的识别方法由终端设备110实施。终端设备110获取目标焊接工件的点云数据。然后,终端设备110对点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应目标焊接工件中的一个面。接下来,终端设备110从多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片。最后,终端设备110计算至少一个点云面片对中相交目标点云面片之间的交线,并根据交线生成目标焊接工件的焊缝。终端设备110在识别出目标焊接工件中的焊缝之后,可以将焊缝识别结果发送至执行焊接操作的焊接设备,例如,将焊缝识别结果发送至焊接机器人,然后由焊接机器人在目标焊接工件中的焊缝处执行焊接操作。
在本申请的一个实施例中,本申请实施例提供的工件焊缝的识别方法也可以由服务器130实施例,即服务器130获取到目标焊接工件的点云数据后,经过点云面分割、目标点云面片提取、交线计算等步骤后,识别出目标焊接工件中的焊缝。服务器130可以将焊缝识别结果发送至焊接设备,然后由焊接设备在目标焊接工件中的焊缝处执行焊接操作。
示例性的,图2示意性地示出了应用本申请技术方案的示例性***架构框图。如图2所示,该***架构框图包括焊接机器人210和模板焊接工件220,焊接机器人上设置有点云相机211和焊枪212。焊接机器人210控制点云相机211对目标焊接工件220进行拍摄,得到目标焊接工件220表面的点云数据,点云数据为目标焊接工件220表面上的各个点在三维空间中的位置坐标数据的集合。
接下来,焊接机器人210对获取到的点云数据进行点云面分割处理,得到多个点云面片,一个点云面片包括目标焊接工件220中的一个面对应的多个点数据。如图2所示,该模板焊接工件220包括两个点云面:第一点云面221和第二点云面222,那么点云数据中构成第一点云面221的点数据对应于第一点云面片,构成第二点云面222的点数据对应于第二点云面片。
然后,焊接机器人210从多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片。在图2所示***架构中,仅示出了由两个相交面构成的目标焊接工件220,故而前一个步骤得到的两个点云面片,就是目标点云面片,这两个目标点云面片组成一个点云面片对。在其他应用场景中,本领域技术人员可以理解,目标焊接工件220可以由更多的面构成,且这多个面中可能存在不相交的面,不相交面之间无需焊接,故而需要从这多个面中提取相交点云面片组成的点云面片对。
最后,焊接机器人210计算点云面片对中两个目标点云面片之间的交线,该交线实际上就是目标焊接工件220的第一面221和第二面222之间的交线223,交线223也就是目标焊接工件220中的焊缝。
焊接机器人210在识别出目标焊接工件220中的焊缝后,控制焊枪212移动至焊缝(即交线223)处进行焊接操作,从而将目标焊接工作220中的第一面221和第二面222焊接起来。
可见,本申请技术方案通过对目标焊接工件的点云数据的分析,就可以识别出目标焊接工件中的焊缝,无需依赖相机拍摄目标焊接工件的清晰图像,即使在光线过于明亮或光线昏暗的条件下,也能够准确识别工件焊缝,提高了焊缝识别的稳定性,同时还提高了机器人焊接的环境适应力,有利于自动焊接技术的发展。
下面结合具体实施方式对本申请提供的工件焊缝的识别方法做出详细说明。
图3示意性地示出了本申请一个实施例提供的工件焊缝的识别方法的流程图。如图3所示,该方法包括步骤310至步骤340,具体如下:
步骤310、获取目标焊接工件的点云数据。
具体地,目标焊接工件为需要进行焊接操作的工件,可以由操作人员预先设定,也可以是焊接设备通过目标识别处理定位到的工件,例如,焊接设备拍摄环境图像,对环境图像进行目标识别处理,从而识别出目标焊接工件。
点云数据是一系列点数据的集合,在本申请实施例中,目标焊接工件的点云数据,是指目标焊接工件表面上的各个点在三维空间中的位置坐标数据的集合,也就表明,点云数据中的一个点数据表示的是目标焊接工件表面上一个点在三维空间下的位置坐标,如有必要,一个点数据还可以包括目标焊接工件表面上一个点的颜色、类别、强度、数据采集时间等信息。
步骤320、对点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应目标焊接工件中的一个面。
具体地,目标焊接工件表面由多个面构成,点云面分割就是将点云数据中,目标焊接工件每个面所对应的点云数据分割开来,那么点云面分割后的一组点云数据实际上就构成了一个面,记为点云面片。
在本申请的一个实施例中,点云面分割的处理过程包括:根据预设拟合参数对点云数据进行点云面拟合,得到点云面片;将点云面片对应的点数据从点云数据中删除后,返回根据预设点云面参数对点云数据进行点云面拟合的步骤,直至达到第一迭代停止条件,得到多个点云面片。
具体地,一次点云面拟合得到一个点云面片。首先根据点云数据进行一次点云面拟合,得到一个点云面片,然后将已得到的点云面片对应的点数据从点云集合中删除,再继续对点云数据进行点云面拟合,也就是从剩下的点云数据中继续进行点云面拟合得到新的点云面片。如此循环迭代,进行多次点云面拟合,得到多个点云面片。
在本申请实施例中,第一迭代停止条件可以是对迭代次数的限制,也可以是对点云面片数量的限制,还可以是组成点云面片的点数据的数量限制。例如,当迭代次数达到设定次数时,即可停止迭代。又例如,当点云面拟合不再生成新的点云面片时,即可停止迭代。再例如,当组成点云面片的点数据的数量达到设定数量时,即可停止迭代。其中,设定次数、设定数量等均为预设拟合参数。
在本申请的一个实施例中,点云面拟合可以通过点云数据的聚类实现。例如,点云数据中的点数据表示三维空间位置坐标,那么一个点数据具有三个坐标轴方向的数值,可以各个点数据在某一坐标轴方向上的距离来对点云数据中的各个点数据进行聚类。例如,三维空间坐标系包括x轴、y轴和z轴,以x轴距离进行聚类,则可以得到yOz面对应的点云面片;以y轴距离进行聚类,则可以得到xOz面对应的点云面片;以z轴距离进行聚类,则可以得到xOy面对应的点云面片。
步骤330、从多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片。
具体的,相交的点云面片记为目标点云面片,一个点云面片对包括两个目标点云面片。由于焊缝是目标焊接工件两个相交表面所形成的特征,故而不相交的点云面片显然不是形成焊缝的点云面片,故而在识别焊缝时需要排除不相交的点云面片,仅提取相交的点云面片进行焊缝识别即可。
在本申请的一个实施例中,判断两个点云面片是否相交,可以通过两个点云面片的法向量来判断,当两个点云面片的法向量之间存在夹角,夹角不等于0度或180度,则可以确认两个点云面片相交。另一方面,也可以通过判断两个点云面片是否平行,来反向确定两个面之间是否相交。具体而言,若两个点云面片之间是平行的,则两个点云面片之间比不相交;若两个点云面片之间不是平行的,则两个点云面片之间是相交的。
步骤340、计算至少一个点云面片对中相交目标点云面片之间的交线,并根据交线生成目标焊接工件的焊缝。
具体地,一个点云面片对中两个目标点云面片之间的交线,就是目标焊接工件中的焊缝所在位置,因此,求得各个点云面片对所对应的交线,就识识别出了目标焊接工件中的焊缝。
在本申请实施例提供的技术方案中,通过对目标焊接工作的点云数据进行点云面分割、目标点云面片提取以及交线计算,实现目标焊接工作的焊缝识别,无需依赖相机拍摄目标焊接工件的清晰图像,即使在光线过于明亮或光线昏暗的条件下,也能够准确识别工件焊缝,提高了焊缝识别的稳定性,同时还提高了机器人焊接的环境适应力,有利于自动焊接技术的发展。
图4示意性地示出了本申请一个实施例提供的工件焊缝的识别方法的流程图,本申请实施例是对上述实施例的进一步优化。如图4所示,本申请实施例提供的工件焊缝的识别方法包括步骤401至步骤410,具体如下:
步骤401、获取目标焊接工件的点云数据。
步骤402、对点云数据进行滤波处理,以去除点云数据中的噪声点数据。
具体地,点云数据中的噪声点数据是指离群点数据,例如,与其他点数据之间距离明显过大的数据。通过滤波处理,不仅去除了噪声点数据,还可以降低点云数据的密度,有利于提高焊缝识别的精度和效率。
步骤403、根据预设拟合参数对点云数据进行点云面拟合,得到点云面片。
具体地,预设拟合参数包括采样点数、距离阈值和预设迭代次数,其中,采样点数是指构成一个点云面片所需的最少点数据数量,由于点云面片对应于一个面,而一个面至少由3个点构成,故而采样点数至少为3。
在本申请实施例中,点云面拟合的具体过程是:从点云数据中随机选择与采样点数相同数量的点数据构成拟合点云面;根据点云数据中各个点数据与拟合点云面之间的距离与距离阈值的关系,获取拟合点云面中的点数据;统计拟合点云面中的点数据对应的数据量;返回从点云数据中随机选择与采样点数相同数量的点数据构成拟合点云面的步骤,直至达到第二迭代停止条件;从各个拟合点云面对应的数据量中,选择最大数据量对应的拟合点云面作为点云面片。
第一步,从点云数据中随机选择一定数量的点数据,该数量由预设拟合参数中的采样点数确定。根据这些点数据构建拟合点云面,也就是计算这些点数据所在点云面的点云面方程。
第二步,计算点云数据中各个点数据与点云面方程的距离,也就是计算各个点到拟合点云面的距离。当点数据与拟合点云面之间的距离小于距离阈值时,那么认为该点数据与拟合点云面处于同一点云面,故而将对应的点数据作为拟合点云面中的点云数据。当点数据与拟合点云面之间的距离小于距离阈值时,认为该点数据距离拟合点云面较远,二者不属于同一点云面,故而将对应的点数据作为拟合点云面之外的点云数据。
第三步,在将点云数据划分为属于拟合点云面中的点云数据和不属于拟合点云面中的点云数据后,统计属于拟合点云面中的点数据的第一数据量,以及,不属于拟合点云面中的点数据的第二数据量。此时统计所得的第一数据量和第二数据量为当前拟合点云面所对应的数据量。
第四步,重复第一步至第三步的过程,直至达到第二迭代停止条件,则停止迭代,此次点云面拟合过程完毕。第二迭代停止条件可以是迭代次数达到设定值时停止迭代,也可以根据拟合点云面所对应的点数据的数据量来设置,例如,当某次迭代过程,拟合点云面对应的第一数据量在总数据量中占比达到阈值时停止迭代。
第五步,当迭代完成,从迭代过程所得到的各个拟合点云面中选取数据量最大的拟合点云面作为此次点云面拟合所得到的点云面片。拟合点云面的数据量是指拟合点云面所包含的点数据的数据量,也就是第三步中的第一数据量。
步骤404、将点云面片对应的点数据从点云数据中删除后,返回根据预设点云面参数对点云数据进行点云面拟合的步骤,直至达到第一迭代停止条件,得到多个点云面片。
具体地,根据步骤403中的五个细分步骤可以得到一个点云面片,在未构成点云面片的点云数据中重复执行上述五个细分步骤,就可以得到多个点云面片。
步骤405、根据两两点云面片之间的距离和夹角,判断多个点云面片中是否存在属于同一点云面的至少两个点云面片。
具体地,想进行点云面分割时,可能存在将目标焊接工件一个点云面对应的点云数据分割成两个点云面片的情况,这种情况下,需要删除其中多余的点云面片,避免后续过程的焊缝误识别。
两个点云面片是否属于同一点云面,可以通过二者之间的距离和夹角来判断。当任意两个点云面片之间的距离小于第一阈值,且夹角小于第二阈值时,则认为两个点云面片属于同一点云面;否则,若两个点云面片之间的距离大于第一阈值,或夹角大于第二阈值,则认为两个点云面片不属于同一点云面。
步骤406、若多个点云面片中存在属于同一点云面的至少两个点云面片,则在属于同一点云面的至少两个点云面片中,保留数据量最多的点云面片,删除其他点云面片。
具体地,当多个点云面片属于同一点云面时,可以保留其中一个点云面片,删除其余的点云面片。一般的,可以保留数据量最多的点云面片,删除其他点云面片。当两个点云面片不属于同一点云面时,二者均保留,无需进行删除处理。
步骤407、从多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片。
步骤408、计算至少一个点云面片对中相交目标点云面片之间的交线。
具体地,首先计算目标点云面片的目标点云面方程,然后根据两个目标点云面方程求得交线。
步骤409、对于任意一条交线,从交线对应的目标点云面片中,获取与交线的距离在预设距离范围内的多个目标点数据。
具体地,由目标点云面方程求得的交线是一条无端点的直线,而目标焊接工件的焊缝是一条有端点的线段,故而需要对交线进行处理以从中提取焊缝。在目标点云面片中,距离该目标点云面片对应的交线越远的点,越不可能是焊缝上的点,故而提取焊缝时,仅需考虑与交线的距离在预设距离范围内的多个目标点数据。
示例性的,图5示意性地示出了两个相交目标点云面片的示意图。第一目标点云面片510中包括多个第一目标点511,第二目标点云面片520中包括多个第二目标点521,第一目标点云面片510和第二目标点云面片520形成交线530。可以理解,在本申请实施例中,点云数据与点云的含义相同,点数据与点的含义相同。
如图5所示,第一目标点云面片510中,第一目标点A距离交线530的距离在预设距离范围内,可以认为第一目标点A属于形成焊缝的点,故而提取第一目标点A的数据作为目标点数据。第一目标点B距离交线530的距离明显较大,不在预设距离范围内,故而第一目标点B不属于形成焊缝的点。
步骤410、将多个目标点数据投影至交线,以在交线上形成多个焊缝点。
步骤411、根据多个焊缝点生成目标焊接工件的焊缝。
具体地,目标点数据距离交线仍具有一定距离,将目标点数据投影至交线,那么该目标点数据的投影点就是焊缝点,投影点或焊缝点也是目标点数据在交线上的垂足点。多个目标点数据在交线上的投影点,就形成了一系列焊缝点,这些焊缝点所构成的线段,就是目标焊接工件的焊缝。
在本申请的一个实施例中,可以将焊缝点按照交线延伸方向进行排序,然后第一个焊缝点和最后一个焊缝点作为两个目标焊缝点,连接两个目标焊缝点就得到目标焊接工件的焊缝。
示例性的,图6示意性地示出了本申请一个实施例提供的目标点数据的分布示意图。如图6所示,目标点数据610分布在交线620两端,将各个目标点数据610分布投影至交线620上,形成多个焊缝点630,多个焊缝点630构成目标焊接工件的焊缝。可选的,根据多个焊缝点630的排列顺序,选择第一个焊缝点C和最后一个焊缝点D,连接第一个焊缝点C和最后一个焊缝点D,得到目标焊接工件的焊缝。
在本申请实施例无需依赖相机拍摄目标焊接工件的清晰图像,即使在光线过于明亮或光线昏暗的条件下,也能够准确识别工件焊缝,提高了焊缝识别的稳定性,同时还提高了机器人焊接的环境适应力,有利于自动焊接技术的发展。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的工件焊缝的识别方法。图7示意性地示出了本申请实施例提供的工件焊缝的识别装置的结构框图。如图7所示,该工件焊缝的识别装置包括:
数据获取模块710,用于获取目标焊接工件的点云数据;
点云面分割模块720,用于对所述点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应所述目标焊接工件中的一个面;
目标点云提取模块730,用于从所述多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片;
焊缝识别模块740,用于计算所述至少一个点云面片对中相交目标点云面片之间的交线,并根据所述交线生成所述目标焊接工件的焊缝。
在本申请一个实施例中,点云面分割模块720包括:
点云面拟合单元,用于根据预设拟合参数对所述点云数据进行点云面拟合,得到点云面片;
迭代单元,用于将所述点云面片对应的点数据从所述点云数据中删除后,返回所述根据预设点云面参数对所述点云数据进行点云面拟合的步骤,直至达到第一迭代停止条件,得到多个点云面片。
在本申请一个实施例中,所述预设拟合参数包括:采样点数、距离阈值和预设迭代次数;所述点云面拟合单元具体用于:
从所述点云数据中随机选择与所述采样点数相同数量的点数据构成拟合点云面;
根据所述点云数据中各个点数据与所述拟合点云面之间的距离与所述距离阈值的关系,获取所述拟合点云面中的点数据;
统计所述拟合点云面中的点数据对应的数据量;
返回所述从所述点云数据中随机选择与所述采样点数相同数量的点数据构成拟合点云面的步骤,直至达到第二迭代停止条件;
从各个拟合点云面对应的数据量中,选择最大数据量对应的拟合点云面作为所述点云面片。
在本申请一个实施例中,所述点云面拟合单元还用于:
当点数据与所述拟合点云面之间的距离小于所述距离阈值时,将对应的点数据作为所述拟合点云面中的点云数据;
当点数据与所述拟合点云面之间的距离小于所述距离阈值时,将对应的点数据作为所述拟合点云面之外的点云数据。
在本申请一个实施例中,所述装置还包括:
点云面片去重模块,用于根据两两点云面片之间的距离和夹角,判断所述多个点云面片中是否存在属于同一点云面的至少两个点云面片;若所述多个点云面片中存在属于同一点云面的至少两个点云面片,则在属于同一点云面的至少两个点云面片中,保留数据量最多的点云面片,删除其他点云面片。
在本申请一个实施例中,焊缝识别模块740具体用于:
对于任意一条交线,从所述交线对应的目标点云面片中,获取与所述交线的距离在预设距离范围内的多个目标点数据;
将所述多个目标点数据投影至所述交线,以在所述交线上形成多个焊缝点;
根据所述多个焊缝点生成所述目标焊接工件的焊缝。
在本申请一个实施例中,所述装置还包括:
滤波模块,用于对所述点云数据进行滤波处理,以去除所述点云数据中的噪声点数据。
本申请各实施例中提供的工件焊缝的识别装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。
图8示意性地示出了用于实现本申请实施例的电子设备的计算机***结构框图。
需要说明的是,图8示出的电子设备的计算机***800仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,计算机***800包括中央处理器801(Central Processing Unit,CPU),其可以根据存储在只读存储器802(Read-Only Memory,ROM)中的程序或者从存储部分808加载到随机访问存储器803(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器803中,还存储有***操作所需的各种程序和数据。中央处理器801、在只读存储器802以及随机访问存储器803通过总线804彼此相连。输入/输出接口805(Input/Output接口,即I/O接口)也连接至总线804。
以下部件连接至输入/输出接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至输入/输出接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理器801执行时,执行本申请的***中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种工件焊缝的识别方法,其特征在于,包括:
获取目标焊接工件的点云数据;
对所述点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应所述目标焊接工件中的一个面;
从所述多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片;
计算所述至少一个点云面片对中相交目标点云面片之间的交线,并根据所述交线生成所述目标焊接工件的焊缝。
2.根据权利要求1所述的工件焊缝的识别方法,其特征在于,对所述点云数据进行点云面分割处理,得到多个点云面片,包括:
根据预设拟合参数对所述点云数据进行点云面拟合,得到点云面片;
将所述点云面片对应的点数据从所述点云数据中删除后,返回所述根据预设点云面参数对所述点云数据进行点云面拟合的步骤,直至达到第一迭代停止条件,得到多个点云面片。
3.根据权利要求2所述的工件焊缝的识别方法,其特征在于,所述预设拟合参数包括:采样点数、距离阈值和预设迭代次数;根据预设拟合参数对所述点云数据进行点云面拟合,得到点云面片,包括:
从所述点云数据中随机选择与所述采样点数相同数量的点数据构成拟合点云面;
根据所述点云数据中各个点数据与所述拟合点云面之间的距离与所述距离阈值的关系,获取所述拟合点云面中的点数据;
统计所述拟合点云面中的点数据对应的数据量;
返回所述从所述点云数据中随机选择与所述采样点数相同数量的点数据构成拟合点云面的步骤,直至达到第二迭代停止条件;
从各个拟合点云面对应的数据量中,选择最大数据量对应的拟合点云面作为所述点云面片。
4.根据权利要求3所述的工件焊缝的识别方法,其特征在于,根据所述点云数据中各个点数据与所述拟合点云面之间的距离与所述距离阈值的关系,获取所述拟合点云面中的点云数据,包括:
当点数据与所述拟合点云面之间的距离小于所述距离阈值时,将对应的点数据作为所述拟合点云面中的点云数据;
当点数据与所述拟合点云面之间的距离小于所述距离阈值时,将对应的点数据作为所述拟合点云面之外的点云数据。
5.根据权利要求1所述的工件焊缝的识别方法,其特征在于,在从所述多个点云面片中提取相交点云面片所对应的至少两个目标点云面片之前,所述方法还包括:
根据两两点云面片之间的距离和夹角,判断所述多个点云面片中是否存在属于同一点云面的至少两个点云面片;
若所述多个点云面片中存在属于同一点云面的至少两个点云面片,则在属于同一点云面的至少两个点云面片中,保留数据量最多的点云面片,删除其他点云面片。
6.根据权利要求1所述的工件焊缝的识别方法,其特征在于,根据所述交线生成所述目标焊接工件的焊缝,包括:
对于任意一条交线,从所述交线对应的目标点云面片中,获取与所述交线的距离在预设距离范围内的多个目标点数据;
将所述多个目标点数据投影至所述交线,以在所述交线上形成多个焊缝点;
根据所述多个焊缝点生成所述目标焊接工件的焊缝。
7.根据权利要求1-6任一项所述的工件焊缝的识别方法,其特征在于,在对所述点云数据进行点云面分割处理,得到多个点云面片之前,所述方法还包括:
对所述点云数据进行滤波处理,以去除所述点云数据中的噪声点数据。
8.一种工件焊缝的识别装置,其特征在于,包括:
数据获取模块,用于获取目标焊接工件的点云数据;
点云面分割模块,用于对所述点云数据进行点云面分割处理,得到多个点云面片,一个点云面片对应所述目标焊接工件中的一个面;
目标点云提取模块,用于从所述多个点云面片中提取相交点云面片所组成的至少一个点云面片对,一个点云面片对包括两个相交的目标点云面片;
焊缝识别模块,用于计算所述至少一个点云面片对中相交目标点云面片之间的交线,并根据所述交线生成所述目标焊接工件的焊缝。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的工件焊缝的识别方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器执行所述可执行指令使得所述电子设备执行权利要求1至7中任意一项所述的工件焊缝的识别方法。
CN202211055267.1A 2022-08-31 2022-08-31 工件焊缝的识别方法、装置、计算机可读介质及电子设备 Pending CN115409805A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211055267.1A CN115409805A (zh) 2022-08-31 2022-08-31 工件焊缝的识别方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211055267.1A CN115409805A (zh) 2022-08-31 2022-08-31 工件焊缝的识别方法、装置、计算机可读介质及电子设备

Publications (1)

Publication Number Publication Date
CN115409805A true CN115409805A (zh) 2022-11-29

Family

ID=84164196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211055267.1A Pending CN115409805A (zh) 2022-08-31 2022-08-31 工件焊缝的识别方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN115409805A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810133A (zh) * 2023-02-09 2023-03-17 中建科技集团有限公司 基于图像处理和点云处理的焊接控制方法及相关设备
CN117689678A (zh) * 2024-02-04 2024-03-12 法奥意威(苏州)机器人***有限公司 工件焊缝识别方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810133A (zh) * 2023-02-09 2023-03-17 中建科技集团有限公司 基于图像处理和点云处理的焊接控制方法及相关设备
CN115810133B (zh) * 2023-02-09 2023-05-23 中建科技集团有限公司 基于图像处理和点云处理的焊接控制方法及相关设备
CN117689678A (zh) * 2024-02-04 2024-03-12 法奥意威(苏州)机器人***有限公司 工件焊缝识别方法、装置、设备和存储介质
CN117689678B (zh) * 2024-02-04 2024-05-28 法奥意威(苏州)机器人***有限公司 工件焊缝识别方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Meyer An alternative probabilistic interpretation of the huber loss
CN115409805A (zh) 工件焊缝的识别方法、装置、计算机可读介质及电子设备
CN110349147B (zh) 模型的训练方法、眼底黄斑区病变识别方法、装置及设备
Rahardja et al. Vision-based bin-picking: Recognition and localization of multiple complex objects using simple visual cues
CN110414502B (zh) 图像处理方法及装置、电子设备和计算机可读介质
CN110610127B (zh) 人脸识别方法、装置、存储介质及电子设备
CN111428731A (zh) 基于机器视觉的多类目标识别定位方法、装置和设备
CN111178170B (zh) 一种手势识别方法和一种电子设备
CN106022227A (zh) 一种手势识别方法及装置
CN114782286A (zh) 缺陷修复方法、光学修复设备、电子设备及存储介质
CN112102342B (zh) 平面轮廓识别方法、装置、计算机设备和存储介质
US20120155748A1 (en) Apparatus and method for processing stereo image
CN110756462A (zh) 电源适配器测试方法、装置、***、控制装置及存储介质
CN110322549B (zh) 一种基于图像的三维重建的方法及***
Kwon et al. Fast ellipse detection based on three point algorithm with edge angle information
CN111489433B (zh) 车辆损伤定位的方法、装置、电子设备以及可读存储介质
CN114626118A (zh) 建筑物室内模型生成方法及装置
JP2019191973A (ja) 学習画像生成装置及び学習画像生成方法、並びに画像認識装置及び画像認識方法
CN115409863A (zh) 工件焊缝提取方法、装置、计算机可读介质及电子设备
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN115375965A (zh) 一种目标场景识别的预处理方法、目标场景识别方法
KR20100090058A (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
CN114155471A (zh) 设计图纸与实物的核验方法、装置、计算机设备和***
CN115719507A (zh) 一种图像识别方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination