CN116476070B - 大型筒件局部特征机器人扫描测量路径调整方法 - Google Patents
大型筒件局部特征机器人扫描测量路径调整方法 Download PDFInfo
- Publication number
- CN116476070B CN116476070B CN202310577100.XA CN202310577100A CN116476070B CN 116476070 B CN116476070 B CN 116476070B CN 202310577100 A CN202310577100 A CN 202310577100A CN 116476070 B CN116476070 B CN 116476070B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- obtaining
- pose
- robot
- theoretical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000000295 complement effect Effects 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种大型筒件局部特征机器人扫描测量路径调整方法,包括:构建大型筒件机器人扫描测量场,基于理论模型得到大型筒件理论位姿,基于大型筒件理论位姿得到理论扫描测量路径,机器人基于理论扫描测量路径得到大型筒件的三维点云数据;基于大型筒件的三维点云数据判断大型筒件的局部特征点云的完整性,得到判断结果;基于判断结果得到机器人运动程序,基于机器人运动程序得到机器人最终扫描测量路径。本发明可以有效地保证在大型筒件实际位姿与理论位姿发生偏差的情况下,仍能保证测量结果点云的完整性。
Description
技术领域
本发明涉及大型构件的自动化三维扫描测量技术领域,特别涉及一种大型筒件局部特征机器人扫描测量路径调整方法。
背景技术
大型筒件是航空航天领域应用十分广泛的产品部件,大型筒件局部特征是分布于大型筒件表面的用于与外部设备进行装配的关键部分,如装配界面、有效载荷支撑等,这些局部特征具有离散分布的特性,考虑到大型筒件的大尺寸特点,其生产制造存在较大的困难。为了满足大型筒件局部特征的制造工艺需求,面向大型筒件局部特征高效且准确的大尺寸测量手段是十分必要的。
三维扫描测量是指通过激光或结构光获取工件表面形貌的测量手段,可以通过三维点云为工件加工提供准确的位姿及余量信息。机器人扫描测量是指在机器人末端夹持三维扫描测量设备,由机器人辅助实现大范围扫描的自动化测量方法,其具有测量效率高、能够获取完整工件表面信息的特点,可以有效适应大型筒件局部特征的测量需求。然而当前关于机器人扫描测量的路径规划基本都是基于理论CAD模型的,当实际的工件位姿与理论的CAD模型的姿态之间发生一定的偏差时,将造成局部区域无法被扫描的情况,这种情况会导致获取的点云发生缺失,影响扫描结果的完整性。而对于大型筒件局部特征的扫描测量而言,造成点云缺失的主要因素可总结为以下几点:(1)大型筒件的装夹过程多为人工操作,其初始位姿存在较大的不确定性;(2)局部特征的尺寸相对于大型筒件整体尺寸较小,大型筒件的微小位姿偏差将导致特征的较大位移;(3)局部特征多由孔、平面和规则曲面组成,结构相对复杂,位姿偏差会使测量难度加大。
因此,在大型构件机器人扫描测量中,基于理论模型规划的扫描测量路径无法适应大型筒件的实际状态。
发明内容
本发明针对大型筒件局部特征机器人扫描测量过程中,由于大型构件的实际位姿与理论模型存在偏差,因此基于工件理论模型规划的测量路径无法有效地适应工件的实际状态,进而造成扫描结果不完整即点云缺失的问题,提出一种大型筒件局部特征机器人扫描测量路径调整方法,该方法首先判断基于理论模型规划的机器人扫描测量路径的扫描测量结果是否完整,如果完整则结束测量,如果不完整,则提取不完整的局部特征点云,然后,根据该不完整点云估计大型筒件的实际位姿,最后,根据估计的实际位姿调整机器人扫描测量路径,再次进行扫描测量,从而保证测量结果的完整性。
本发明提供的一种大型筒件局部特征机器人扫描测量路径调整方法,包括:
构建大型筒件机器人扫描测量场,基于理论模型得到大型筒件理论位姿,基于所述大型筒件理论位姿得到理论扫描测量路径,机器人基于所述理论扫描测量路径得到大型筒件的三维点云数据;
基于所述大型筒件的三维点云数据判断大型筒件的局部特征点云的完整性,得到判断结果;
基于所述判断结果得到机器人运动程序,基于所述机器人运动程序得到机器人最终扫描测量路径。
优选地,大型筒件表面安装的零部件的点云构成大型筒件的局部特征点云;
其中,所述大型筒件表面的零部件包括由平面、规则曲面和孔组成的零部件。
优选地,获得机器人最终扫描测量路径的过程包括:
S1、基于理论模型得到大型筒件理论位姿,基于所述大型筒件理论位姿得到理论扫描测量路径和大型筒件的三维点云数据;
S2、基于人工观察方式判断大型筒件的局部特征点云的完整性,得到判断结果;
其中,当所述判断结果为完整时,则结束测量,得到所述理论扫描测量路径,基于所述理论扫描测量路径得到机器人最终扫描测量路径;
当所述判断结果为不完整时,执行S3;
S3、对所述大型筒件的三维点云数据进行分割处理,得到不完整局部特征点云;基于所述大型筒件理论位姿得到标准局部特征点云;
S4、构建点云补全模型,基于所述点云补全模型对所述不完整局部特征点云进行补全,得到补全局部特征点云;
S5、基于所述标准局部特征点云对所述补全局部特征点云进行配准,得到大型筒件的实际位姿;
S6、基于所述大型筒件的实际位姿修改机器人路径仿真中的工件坐标系,得到调整路径;
S7、基于仿真判断所述调整路径的可达性,基于所述调整路径的可达性得到机器人最终扫描测量路径;
其中,当所述调整路径可达,则基于调整路径生成机器人运动程序,基于所述机器人运动程序得到机器人最终扫描测量路径;
当所述路径不可达,则基于所述大型筒件的实际位姿对大型筒件进行调整,循环执行S1-S7,直至路径可达,得到机器人最终扫描测量路径。
优选地,所述S3的具体过程包括:
基于随机采样一致性方法对所述大型筒件的三维点云数据进行分割处理,得到若干局部特征点云;
基于K-均值方法对若干所述局部特征点云进行聚类,得到若干聚类中心和聚类中心对应的若干局部特征点云。
优选地,基于所述大型筒件理论位姿得到标准局部特征点云的过程包括:
基于大型筒件理论位姿得到局部特征理论位姿;
基于所述局部特征理论位姿得到局部特征CAD模型;
基于所述局部特征CAD模型得到标准局部特征点云。
优选地,基于深度学习算法构建所述点云补全模型,其中,所述点云补全模型包括:标准特征提取模块、编码模块和解码模块。
优选地,基于所述点云补全模型对所述不完整局部特征点云进行补全,得到补全局部特征点云的过程包括:
将所述标准局部特征点云和所述不完整局部特征点云输入所述标准特征提取模块经多层卷积、矩阵相乘、多层卷积计算得到第一结果;
将所述不完整局部特征点云输入所述编码模块,经多层卷积和池化计算得到第二结果;
将所述第一结果与所述第二结果结合,经数据展开和最大池化处理,得到第三结果;
将所述第三结果输入所述解码模块,经多层卷积得到稀疏补全结果;
对所述稀疏补全结果进行上采样得到稠密补全结果。
优选地,所述S5的具体过程包括:
基于SACIA-ICP方法对所述稠密补全结果和所述标准局部特征点云进行配准得到第一位姿转换矩阵,基于所述第一位姿转换矩阵对所述稀疏补全结果进行位姿变换,得到位姿变换后的稀疏补全结果;
基于ICP方法对所述位姿变换后的稀疏补全结果和所述标准局部特征点云进行配准得到第二位姿转换矩阵;
基于所述第一位姿转换矩阵和所述第二位姿转换矩阵得到第三位姿转换矩阵;
基于所述第三位姿转换矩阵得到大型筒件的实际位姿。
本发明具有如下技术效果:
本发明针对大型筒件的机器人扫描测量中,基于理论模型规划的测量路径无法适应大型筒件的实际状态,进而造成点云缺失的问题提出了大型筒件局部特征机器人扫描测量路径调整方法,可以有效地保证在大型筒件实际位姿与理论位姿发生偏差的情况下,仍能保证测量结果点云的完整性。
本发明通过对大型筒件的不完整点云进行分割、补全和配准,实现了基于不完整点云对大型筒件实际位姿的计算。
本发明提出了融合理论模型数据的点云补全模型,通过融合大型筒件局部特征的理论模型点云数据,基于深度学习方法,可实现准确的点云补全效果。
本发明操作过程简单,在具体工艺实施过程中,无需额外操作人员辅助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的大型筒件局部特征机器人扫描测量路径调整方法流程图;
图2为本发明实施例中的大型筒件局部特征机器人扫描测量***组成图;
图3为本发明实施例中的大型筒件点云分割流程;
图4为本发明实施例中的融合理论模型数据的点云补全模型原理;
图5为本发明实施例中的大型筒件局部特征配准方法。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例提供了一种大型筒件局部特征机器人扫描测量路径调整方法,具体包括以下步骤:
S1、构建大型筒件机器人扫描测量场,基于大型筒件理论位姿规划机器人扫描测量路径,并基于此路径完成对大型筒件局部特征的机器人扫描测量操作,获得大型筒件的三维点云数据。
S2、判断大型筒件三维点云数据中的局部特征点云是否是完整的,如果局部特征点云完整则结束测量,如果局部特征点云不完整,则执行S3步骤。
S3、对S2步骤获取到的大型筒件点云进行分割处理,提取其中的不完整局部特征点云。
S4、基于深度学习方法建立融合理论模型数据的点云补全模型,对S3提取的局部特征点云进行补全,包括稀疏补全结果和稠密补全结果,得到完整的局部特征点云。
S5、将S4补全后的完整局部特征点云与大型筒件理论位姿下的局部特征点云进行配准,计算得到大型筒件的实际位姿。
S6、基于S5计算得到的大型筒件实际位姿修改机器人扫描测量路径中的工件坐标系,并通过仿真判断修改后的路径是否可达,如果可达则生成机器人运动程序,并采用该程序进行机器人扫描测量操作,如果不可达则根据实际位姿对大型筒件进行调整,调整后,重复执行S1。
具体的,所述大型筒件局部特征为由平面、规则曲面、孔等组成的且安装或附着于大型筒件表面的零部件。
具体的,步骤S1中,所述大型筒件机器人扫描测量场由工业机器人、导轨、视觉跟踪仪、激光扫描仪、大型筒件组成。
具体的,步骤S3包括:
S3.1、采用随机采样一致性(RANSAC)方法对大型筒件点云进行分割。由于局部特征分布在大型筒件的圆柱表面上,所以利用RANSAC可以拟合出大型筒件表面的圆柱方程,进而将局部特征点云作为一个独立的整体点云提取出来。
S3.2、采用K均值(K-Means)方法对S3.1的提取结果进行聚类,可得到多组不同的局部特征点云以及聚类的中心,根据每组点云聚类中心在空间中的位置分布,区分每组特征点云的类别。
具体的,步骤S4中,所述融合理论模型数据的点云补全模型,该模型基于深度学习算法构建,包含标准特征提取模块、编码模块和解码模块,模型的输入包括标准局部特征点云和步骤S3中获得的不完整局部特征点云,输出包括稀疏补全结果和稠密补全结果。
进一步的,所述标准局部特征点云为大型筒件在理论位姿下,其局部特征的CAD模型生成的点云。
进一步的,所述标准特征提取模块以标准局部特征点云和不完整局部特征点云作为输入,二者分别经过多层卷积计算,所得结果再进行矩阵相乘,最后再次进行多层卷积计算,输出结果。所述编码模块以不完整局部特征点云作为输入,经多层卷积与池化计算后,其结果与标准特征提取模块的输出结合,并进行数据展开与最大池化处理,输出结果。所述解码模块以编码模块的输出作为输入,经多层卷积后输出稀疏补全结果,将稀疏补全结果进行上采样,得到稠密补全结果。
具体的,步骤S5包括:
S5.1采用SACIA-ICP方法对所述稠密补全结果与标准局部特征点云进行配准,得到位姿转换矩阵T1,并根据转换矩阵T1对所述稀疏补全结果进行位姿变换。
S5.2采用ICP方法对S5.1所得位姿变换后的稀疏补全结果与标准局部特征点云进行配准,得到位姿转换矩阵T2。
S5.3将S5.1所得T1与S5.2所得T2相乘可得大型筒件实际位姿与理论位姿的转换矩阵,用于表示大型筒件的实际位姿。
实施例二
如图1所示为本发明实施例的大型筒件局部特征机器人扫描测量路径调整方法流程示意图,本实施例提供了一种大型筒件局部特征机器人扫描测量路径调整方法,主要包括以下步骤:
S1、采用基于理论模型规划的扫描路径测量大型筒件局部特征:
本发明采用的机器人扫描测量***如图2所示,包含工业机器人、导轨、扫描仪、视觉跟踪仪以及大型筒件。待测局部特征包括局部特征一和局部特征二,安装于工件表面。机器人扫描测量***中的坐标系主要包括世界坐标系{W},机器人基坐标系{B},机器人末端执行器坐标系{E},扫描仪坐标系{S},视觉跟踪仪坐标系{V},以及大型筒件坐标系{L}。其中,本发明对于坐标系的转换关系采用齐次转换矩阵表示。对于扫描仪扫描获得的点集Pi,其在世界坐标系中的表达为其中/>和VST分别表示视觉跟踪仪坐标系与世界坐标系和扫描仪坐标系之间的齐次变换矩阵。视觉跟踪仪通过实时跟踪扫描仪上的视觉靶标点而获取其在三维空间中的位置,进而得到/>而/>则是通过对视觉跟踪仪的标定确定的。
机器人扫描路径的本质是多个扫描视点的集合,每个扫描视点对应一个确定的机器人位姿。在确定的扫描位姿下,有如下关系式中,分别表示坐标系之间的转换关系。/>也表示规划的每一个扫描视点的位姿即扫描仪与工件之间的位置关系。在实际应用中,对于每一个/> 的值都是确定的,而/>由于大型构件实作状态的未知性,在批产中是不确定的,因此保证规划的扫描路径在实际应用中是否准确的前提是,工件每次装夹后的位姿与CAD模型中是一致的。
基于理论模型规划测量路径遵循测量范围全面覆盖局部特征、扫描仪与大型筒件不发生干涉的基本原则。最终,通过扫描仪相对大型筒件的移动完成扫描测量。
S2、判断大型筒件局部特征点云状态:
判断扫描获得的大型筒件局部特征点云是否是完整的,如果是则结束测量,如果不是则执行S3,判断方式以人工观察为主。
S3、大型筒件局部特征点云分割处理:
由于大型筒件的扫描结果是一个整体点云,需将每个局部特征点云从整体点云中分离出来,因此本发明采用基于RANSAC和K-Means的方法进行点云分割,如图3所示。首先,采用RANSAC对原始点云Po进行分割。由于局部特征分布在圆柱表面上,所以利用RANSAC可以很容易地拟合出大型筒件的圆柱方程,进而将局部特征从表面提取出来得到Pf。随后,采用K-Means算法对Pf进行聚类,可得到i组局部特征点云,i为大型筒件表面局部特征的个数,每个点云由Pfi表示。于此同时可以得到聚类的中心Ci。根据Ci在空间中的位置,判断局部特征点云Pfi与理论模型中局部特征的对应关系。
S4、对分割后的不完整大型筒件局部特征点云补全处理:
本发明基于深度学习方法提出融合理论模型数据的点云补全模型,其模型架构如图4所示。该模型共包含三个模块,分别是标准特征提取模块、编码模块和解码模块,其输入为标准局部特征点云P和不完整局部特征点云P。其中P是经S3点云分割出来的结果,数据维度为[x,3],x为其实际的点的数量。P是由在大型筒件CAD模型的理论位姿下生成的标准局部特征点云。P的数据维度为[1024,3]。
在标准特征提取模块中,P作为输入后经多层卷积得到标准点云特征,卷积通道数为(128,64,3)。这一步的目的是提取完整的局部特征点云的形状信息。而P输入后经过一次多层卷积之后再经过一次最大池化,卷积通道数为(64,128,256),得到的结果再经过通道数为(256,512,9)的多层卷积,再将数据更改维度为[3,3]得到T-net,T-net则代表了实际残缺点云的位置信息。标准点云特征与T-net相乘得到的结果再经过全局特征提取模块得到全局特征Gn,全局特征提取模块的网络结构与编码模块的编码器1的结构相同。Gn既包含了特征的理论模型的形状信息,又包含了实际模型的位置信息。
编码模块的输入为P,模块分为编码器1和编码器2,P输入进编码器1后,首先经过通道数为(128,256)的多层卷积后,得到特征向量,随后进行最大池化,将最大池化的结果展开与特征向量拼接,再次经过通道数为(512,1024)的多层卷积和最大池化处理,得到不完整点云的全局特征Ge1。而编码器2的设计则整合了标准特征提取模块的输出Gn,与Ge1拼接后将结果展开,再经过通道数为(2048,1024)的卷积和最大池化后得到Ge2。
解码模块的输入为编码模块的输出,经通道数为(1024,1024,3072)的卷积之后,再修改结果维度,得到维度为[1024,3]的稀疏补全结果PC。将PC进行folding操作即维度扩展,与Ge2的维度扩展结果以及随机生成的二维网格相拼接,得到维度为[16384,1029]的矩阵,将该矩阵进行通道数为(512,512,3)的多层卷积,其结果与PC的folding结果相加后得到维度为[8192,3]的稠密补全结果PD。在解码模块中计算两部分损失,分别是PC和对应稀疏目标结果的推土距离EMD(Earth Mover’s Distance):
以及PD和对应稠密目标结果的倒角距离CD(Chamfer Distance):
因此模型的最终损失函数为:
S5、将S4补全后的完整局部特征点云PC和PD与大型筒件理论位姿下的局部特征点云即标准局部特征点云进行配准,计算得到大型筒件的实际位姿:
点云配准过程利用了点云补全结果,PC和PD通过两次精配准,可有效提高配准精度,具体步骤如图5所示。首先,根据理论模型生成稠密的标准局部特征点云点云点云维度为[8192,3]。采用SACIA-ICP算法对补全后的稠密补全结果PD和理/>进行粗配准,得到第一次配准结果转换矩阵T1;然后,根据理论模型生成稀疏的标准局部特征点云点云/>将/>与T1相乘,得到的结果与PC进行ICP计算,得到第二次精配准的结果T2,最终的配准结果Tf=T1·T2。
该算法利用了本发明提出的点云补全模型的两种输出点云,可通过对不同密度点云的二次配准提高配准精度。上述配准结果是单个局部特征的位姿计算结果,对于大型筒件的整***姿计算采用对所有局部特征的转换矩阵取平均的方式表示,即式中T表示大型筒件的实际位姿与理论模型的位姿转换矩阵,n表示局部特征的数量。
S6、根据大型筒件的实际位姿修改机器人路径仿真中的工件坐标系,完成路径调整:
在对大型筒件的第一次测量中,机器人路径是根据理论模型进行规划的,通过前述步骤得到了大型筒件的理论模型与实际位姿的位姿转换矩阵,根据转换矩阵可以计算出大型筒件的实际工件坐标系相对于理论坐标系在x、y、z三个坐标轴上移动量与转动角度(x,y,z,α,β,γ)。因此,在机器人仿真软件中,在理论规划的路径基础上,可以根据(x,y,z,α,β,γ)调整大型筒件的工件坐标系,随后,原有路径将自动随工件坐标系的变化发生调整,最后对新生成的路径进行仿真验证,如果该路径在空间中机器人可达,则生成机器人运动程序执行进一步的测量操作,如果不可达,则需调整大型筒件的实际位姿。
综上所述,本发明大型筒件局部特征机器人扫描测量路径调整方法,针对大型筒件在机器人扫描测量过程中由于实际位姿与理论模型存在偏差导致的测量点云不完整的问题,提出了通过对不完整点云进行分割、补全、配准等操作获取大型筒件实际位姿,进而根据实际位姿调整测量路径的解决方法,该方法可以有效地确保大型筒件机器人扫描测量结果地准确性,提升大型筒件地制造质量和效率。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (2)
1.一种大型筒件局部特征机器人扫描测量路径调整方法,其特征在于,包括:
构建大型筒件机器人扫描测量场,基于理论模型得到大型筒件理论位姿,基于所述大型筒件理论位姿得到理论扫描测量路径,机器人基于所述理论扫描测量路径得到大型筒件的三维点云数据;
基于所述大型筒件的三维点云数据判断大型筒件的局部特征点云的完整性,得到判断结果;
基于所述判断结果得到机器人运动程序,基于所述机器人运动程序得到机器人最终扫描测量路径;
获得机器人最终扫描测量路径的过程包括:
S1、基于理论模型得到大型筒件理论位姿,基于所述大型筒件理论位姿得到理论扫描测量路径和大型筒件的三维点云数据;
S2、基于人工观察方式判断大型筒件的局部特征点云的完整性,得到判断结果;
其中,当所述判断结果为完整时,则结束测量,得到所述理论扫描测量路径,基于所述理论扫描测量路径得到机器人最终扫描测量路径;
当所述判断结果为不完整时,执行S3;
S3、对所述大型筒件的三维点云数据进行分割处理,得到不完整局部特征点云;基于所述大型筒件理论位姿得到标准局部特征点云;
S4、构建点云补全模型,基于所述点云补全模型对所述不完整局部特征点云进行补全,得到补全局部特征点云;
S5、基于所述标准局部特征点云对所述补全局部特征点云进行配准,得到大型筒件的实际位姿;
S6、基于所述大型筒件的实际位姿修改机器人路径仿真中的工件坐标系,得到调整路径;
S7、基于仿真判断所述调整路径的可达性,基于所述调整路径的可达性得到机器人最终扫描测量路径;
其中,当所述调整路径可达,则基于调整路径生成机器人运动程序,基于所述机器人运动程序得到机器人最终扫描测量路径;
当所述路径不可达,则基于所述大型筒件的实际位姿对大型筒件进行调整,循环执行S1-S7,直至路径可达,得到机器人最终扫描测量路径;
所述S3的具体过程包括:
基于随机采样一致性方法对所述大型筒件的三维点云数据进行分割处理,得到若干局部特征点云;
基于K-均值方法对若干所述局部特征点云进行聚类,得到若干聚类中心和聚类中心对应的若干局部特征点云;
基于所述大型筒件理论位姿得到标准局部特征点云的过程包括:
基于大型筒件理论位姿得到局部特征理论位姿;
基于所述局部特征理论位姿得到局部特征CAD模型;
基于所述局部特征CAD模型得到标准局部特征点云;
基于深度学习算法构建所述点云补全模型,其中,所述点云补全模型包括:标准特征提取模块、编码模块和解码模块;
基于所述点云补全模型对所述不完整局部特征点云进行补全,得到补全局部特征点云的过程包括:
将所述标准局部特征点云和所述不完整局部特征点云输入所述标准特征提取模块经多层卷积、矩阵相乘、多层卷积计算得到第一结果;
将所述不完整局部特征点云输入所述编码模块,经多层卷积和池化计算得到第二结果;
将所述第一结果与所述第二结果结合,经数据展开和最大池化处理,得到第三结果;
将所述第三结果输入所述解码模块,经多层卷积得到稀疏补全结果;
对所述稀疏补全结果进行上采样得到稠密补全结果;
所述S5的具体过程包括:
基于SACIA-ICP方法对所述稠密补全结果和所述标准局部特征点云进行配准得到第一位姿转换矩阵,基于所述第一位姿转换矩阵对所述稀疏补全结果进行位姿变换,得到位姿变换后的稀疏补全结果;
基于ICP方法对所述位姿变换后的稀疏补全结果和所述标准局部特征点云进行配准得到第二位姿转换矩阵;
基于所述第一位姿转换矩阵和所述第二位姿转换矩阵得到第三位姿转换矩阵;
基于所述第三位姿转换矩阵得到大型筒件的实际位姿。
2.根据权利要求1所述的大型筒件局部特征机器人扫描测量路径调整方法,其特征在于,大型筒件表面安装的零部件的点云构成大型筒件的局部特征点云;
其中,所述大型筒件表面的零部件包括由平面、规则曲面和孔组成的零部件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310577100.XA CN116476070B (zh) | 2023-05-22 | 2023-05-22 | 大型筒件局部特征机器人扫描测量路径调整方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310577100.XA CN116476070B (zh) | 2023-05-22 | 2023-05-22 | 大型筒件局部特征机器人扫描测量路径调整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116476070A CN116476070A (zh) | 2023-07-25 |
CN116476070B true CN116476070B (zh) | 2023-11-10 |
Family
ID=87223340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310577100.XA Active CN116476070B (zh) | 2023-05-22 | 2023-05-22 | 大型筒件局部特征机器人扫描测量路径调整方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116476070B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341591A (zh) * | 2018-11-12 | 2019-02-15 | 杭州思看科技有限公司 | 一种基于手持式三维扫描仪的边缘检测方法及*** |
CN110246186A (zh) * | 2019-04-15 | 2019-09-17 | 深圳市易尚展示股份有限公司 | 一种自动化三维彩色成像与测量方法 |
CN112161619A (zh) * | 2020-09-16 | 2021-01-01 | 杭州思锐迪科技有限公司 | 位姿检测方法、三维扫描路径规划方法和检测*** |
CN112325796A (zh) * | 2020-10-26 | 2021-02-05 | 上海交通大学 | 基于辅助定位多视角点云拼接的大型工件型面测量方法 |
CN114139353A (zh) * | 2021-11-11 | 2022-03-04 | 北京魔鬼鱼科技有限公司 | 模拟成像感知数据的优化方法、***及计算机程序 |
WO2022165973A1 (zh) * | 2021-02-05 | 2022-08-11 | 杭州思看科技有限公司 | 三维扫描方法、***、电子装置和计算机设备 |
CN115056213A (zh) * | 2022-02-18 | 2022-09-16 | 上海大学 | 一种面向大型复杂构件的机器人轨迹自适应修正方法 |
-
2023
- 2023-05-22 CN CN202310577100.XA patent/CN116476070B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109341591A (zh) * | 2018-11-12 | 2019-02-15 | 杭州思看科技有限公司 | 一种基于手持式三维扫描仪的边缘检测方法及*** |
CN110246186A (zh) * | 2019-04-15 | 2019-09-17 | 深圳市易尚展示股份有限公司 | 一种自动化三维彩色成像与测量方法 |
CN112161619A (zh) * | 2020-09-16 | 2021-01-01 | 杭州思锐迪科技有限公司 | 位姿检测方法、三维扫描路径规划方法和检测*** |
CN112325796A (zh) * | 2020-10-26 | 2021-02-05 | 上海交通大学 | 基于辅助定位多视角点云拼接的大型工件型面测量方法 |
WO2022165973A1 (zh) * | 2021-02-05 | 2022-08-11 | 杭州思看科技有限公司 | 三维扫描方法、***、电子装置和计算机设备 |
CN114139353A (zh) * | 2021-11-11 | 2022-03-04 | 北京魔鬼鱼科技有限公司 | 模拟成像感知数据的优化方法、***及计算机程序 |
CN115056213A (zh) * | 2022-02-18 | 2022-09-16 | 上海大学 | 一种面向大型复杂构件的机器人轨迹自适应修正方法 |
Non-Patent Citations (1)
Title |
---|
基于机器人的飞机大型结构三维自动化检测方法;陈允全;李泷杲;黄翔;李琦;林晶;;航空制造技术(10);第53-59页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116476070A (zh) | 2023-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
CN111080627A (zh) | 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法 | |
US7133551B2 (en) | Semi-automatic reconstruction method of 3-D building models using building outline segments | |
CN110189399B (zh) | 一种室内三维布局重建的方法及*** | |
CN104019799B (zh) | 一种利用局部参数优化计算基础矩阵的相对定向方法 | |
Wei et al. | A non-contact measurement method of ship block using image-based 3D reconstruction technology | |
US20230206603A1 (en) | High-precision point cloud completion method based on deep learning and device thereof | |
CN104778688A (zh) | 点云数据的配准方法及装置 | |
WO2021052283A1 (zh) | 处理三维点云数据的方法和计算设备 | |
CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
CN116402866A (zh) | 基于点云的零件数字孪生几何建模与误差评定方法及*** | |
CN105654483A (zh) | 三维点云全自动配准方法 | |
CN110111237B (zh) | 一种基于Brep模型的三维模型坐标转换方法 | |
Moemen et al. | 3-D reconstruction and measurement system based on multimobile robot machine vision | |
CN111400830A (zh) | 一种三维毛坯工件的加工校准方法及装置 | |
CN113362463A (zh) | 一种基于高斯混合模型的工件三维重建方法 | |
Adallah et al. | 3D point cloud analysis for automatic inspection of aeronautical mechanical assemblies | |
CN110838146A (zh) | 一种共面交比约束的同名点匹配方法、***、装置及介质 | |
CN116476070B (zh) | 大型筒件局部特征机器人扫描测量路径调整方法 | |
CN115423854B (zh) | 一种基于多尺度特征提取的多视角点云配准及点云融合方法 | |
Zhang et al. | 4-D spatiotemporal detection and modeling of free-bending pipelines in cluttered 3-D point cloud | |
Filaretov et al. | Method of combination of three-dimensional models of details with their CAD-models at the presence of deformations | |
CN118070434B (zh) | 一种汽车零部件的工艺信息模型构建方法及*** | |
CN117953164B (zh) | 一种提高图纸测量质量的方法及*** | |
CN114494429B (zh) | 大规模无控制立体平差网几何定位粗差探测与处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |