CN112700536A - 轮胎点云补全方法、装配方法、控制装置及存储介质 - Google Patents

轮胎点云补全方法、装配方法、控制装置及存储介质 Download PDF

Info

Publication number
CN112700536A
CN112700536A CN202011626444.8A CN202011626444A CN112700536A CN 112700536 A CN112700536 A CN 112700536A CN 202011626444 A CN202011626444 A CN 202011626444A CN 112700536 A CN112700536 A CN 112700536A
Authority
CN
China
Prior art keywords
point cloud
tire
robot
reference point
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011626444.8A
Other languages
English (en)
Inventor
杨林
李育胜
朱林楠
黄政钧
杨雄飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Group Co Ltd
Guangdong Midea White Goods Technology Innovation Center Co Ltd
Original Assignee
Midea Group Co Ltd
Guangdong Midea White Goods Technology Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Group Co Ltd, Guangdong Midea White Goods Technology Innovation Center Co Ltd filed Critical Midea Group Co Ltd
Priority to CN202011626444.8A priority Critical patent/CN112700536A/zh
Publication of CN112700536A publication Critical patent/CN112700536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0014Image feed-back for automatic industrial control, e.g. robot with camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/21Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种轮胎点云补全方法、装配方法、控制装置及存储介质,其中,该轮胎点云补全方法包括:在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云;利用机器人的运动参数和初始参考点云,确定实时参考点云;其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定;利用实时参考点云对轮胎点云进行补全。通过上述方式,能够提高实时获取的轮胎点云的精度。

Description

轮胎点云补全方法、装配方法、控制装置及存储介质
技术领域
本申请涉及车辆装配技术领域,特别是一种轮胎点云补全方法、装配方法、控制装置及存储介质。
背景技术
生产线采用机械手往动态的车辆后备箱中放备胎,实现主动防碰撞。基本思想是,根据轮胎的点云和车辆的点云,通过实时计算两个点云间的最小距离来判断是否有碰撞风险。这种方法的一个重要前提是轮胎点云和车体点云必须是完整的。
其中,对于轮胎来说,由于轮胎是运动的、且轮胎一般为黑色,反射率低,加之机械手等有时会遮挡相机,实时获取的轮胎点云可能不完整。因此为了计算轮胎与车体间的最小距离,如何得到完整的轮胎点云成为关键问题。
发明内容
为解决上述问题,本申请提供了一种轮胎点云补全方法、装配方法、控制装置及存储介质,能够提高实时获取的轮胎点云的精度。
本申请采用的一个技术方案是:提供一种轮胎点云补全方法,该方法包括:在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云;利用机器人的运动参数和初始参考点云,确定实时参考点云;其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定;利用实时参考点云对轮胎点云进行补全。
其中,初始参考点云的获取步骤包括:获取轮胎模型的第一点云,以及获取夹具的第二点云;其中,机器人利用夹具夹持目标轮胎;将第一点云和第二点云进行组合,得到第三点云;在夹具与机器人固定连接后,确定第三点云的位姿,得到初始参考点云。
其中,第一点云和第二点云是基于空间坐标系的点云;确定第三点云的位姿,得到初始参考点云,包括:获取机器人的运动参数与机器人末端位姿的第一转换参数;由第三点云、机器人的初始运动参数、和第一转换参数,确定初始参考点云。
其中,利用机器人的运动参数和初始参考点云,确定实时参考点云,包括:由第三点云、机器人的初始运动参数、和第一转换参数,确定实时参考点云。
其中,将第一点云和第二点云进行组合,得到第三点云,包括:根据夹具和轮胎模型的夹持位置,将第一点云和第二点云进行组合,得到第三点云。
其中,实时参考点云是基于机器人坐标系的点云,轮胎点云是基于深度相机坐标系的点云;利用实时参考点云对轮胎点云进行补全之前,还包括:将实时参考点云转化为基于深度相机坐标系的点云。
其中,将所述实时参考点云转化为基于深度相机坐标系的点云,包括:获取机器人的基准点在深度相机坐标系中的位置信息;根据位置信息确定机器人坐标系和深度相机坐标系的第二转换参数;利用第二转换参数,将实时参考点云转化为基于深度相机坐标系的点云。
本申请采用的另一个技术方案是:提供一种车辆轮胎装配方法,该方法包括:获取机器人将目标轮胎装配到车辆场景的深度图像;利用深度图像构建车辆的车辆点云模型和目标轮胎的轮胎点云模型;采用如上述方法对轮胎点云模型进行补全;根据车辆点云模型和补全后的轮胎点云模型的空间位置进行相应处理。
其中,根据车辆点云模型和补全后的轮胎点云模型的空间位置进行相应处理,包括:根据车辆点云模型和补全后的轮胎点云模型的空间位置,调整轮胎的运行轨迹,以将轮胎装配至车辆。
本申请采用的另一个技术方案是:提供一种车辆装配控制装置,该控制装置包括:深度相机,用于采集机器人将目标轮胎装配到车辆场景的深度图像;存储器,用于存储程序数据;控制器,连接深度相机和存储器,用于执行程序数据以上述的方法。
本申请采用的另一个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质中存储有程序数据,该存储数据在被控制器执行时,用以实现如上述的方法
本申请提供的轮胎点云补全方法包括:在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云;利用机器人的运动参数和初始参考点云,确定实时参考点云;其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定;利用实时参考点云对轮胎点云进行补全。通过上述方式,能够在轮胎点云缺失时,利用预先确定的轮胎模型补全,提高了实时获取的轮胎点云的精度。进一步,由于轮胎点云的精度提高,进一步提高了车辆轮胎装配的效率和精确,降低了故障率,有效减小了车辆和轮胎撞击的概率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的轮胎点云补全方法一实施例的流程示意图;
图2是初始点云的获取方式一实施例的流程示意图;
图3是夹具和轮胎的组合示意图;
图4是图1中步骤13的流程示意图;
图5是本申请提供的车辆轮胎装配方法一实施例的流程示意图;
图6是本申请提供的车辆装配控制装置一实施例的结构示意图;
图7是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1,图1是本申请提供的轮胎点云补全方法一实施例的流程示意图,该方法包括:
步骤11:在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云。
可以理解地,本实施例应用于在生产线上对动态车辆进行轮胎装配。生产线主要是用过一个传送机构(大板)承载车辆,并通过传送机构的移动带动车辆的移动。然后通过机械手抓取轮胎,装配至车辆的后备箱中。
在本实施例中,在传送机构的上方设置一深度相机,用于获取深度图像。
具体地,在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也称之为点云。在本申请的实施例中,步骤11可以具体为:
(1)获取深度图像的轮廓信息。
其中,可以先提取深度图像的边缘特征点,再对提取的边缘特征点进行仿射变换,得到深度图像的轮廓信息。
在进行轮廓提取时,可以采用深度差值检测或者梯度差值检测的方式:
深度差值检测主要是获取相邻像素点之间的深度值的差值,如果差值较大,则认为这两个像素点在三维空间是不连续的。
梯度差值检测主要是获取相邻像素点之间的深度梯度值的差值,如果差值较大,则认为这两个点可能位于深度图像的轮廓线上(即不在同一平面)。
在轮廓提取后,需要对边缘特征点进行仿射变换。仿射变换是指在几何中,一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间。
(2)相机坐标系转换为空间坐标系。
首先,获取深度相机的参数、以及深度相机基于空间坐标系的位置信息;根据参数和位置信息,确定坐标转换参数。
其中,深度相机的参数主要是相机内参,下面给出了一种相机内参矩阵:
Figure BDA0002877583810000051
其中,fx、fy为焦距,一般情况下,二者相等,x0、y0为主点坐标(相对于成像平面),s为坐标轴倾斜参数,理想情况下为0。
其中,深度相机在空间坐标系的位置,即相机的外参,也就是相机在空间位置以及相对于各个轴的旋转参数。
然后利用上述的外参和内参,就可以得到坐标转换参数,即相机坐标系到空间坐标系的转换矩阵。再利用坐标转换参数对上述步骤(1)的点云进行坐标转换,得到位于空间坐标系中的点云。
例如:
Figure BDA0002877583810000052
其中,[Xc,Yc,Zc]T表示相机坐标,[Xw,Yw,Zw]T表示物体所在的世界坐标,R是旋转矩阵(3个自由度),T是平移矩阵,两者组成3×4矩阵即为相机的外参矩阵。
步骤12:利用机器人的运动参数和初始参考点云,确定实时参考点云。
其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定。如图2所示,图2是初始点云的获取方式一实施例的流程示意图,初始参考点云的获取过程具体如下:
步骤21:获取轮胎模型的第一点云,以及获取夹具的第二点云;其中,机器人利用夹具夹持目标轮胎。
其中,机器人末端设置有第一法兰盘,夹具一端设置有第二法兰盘,第一法兰盘和第二法兰盘固定,夹具的另一端用于夹持轮胎。可以理解地,由于轮胎具有一空心轴,因此夹具可以是膨胀式的,即夹具伸进轮胎轴心,然后向外膨胀实现对轮胎的夹持。
其中,轮胎模型的第一点云、以及夹具的第二点云,可以采用高精度的三维扫描仪来获取,这样精度更高。
步骤22:将第一点云和第二点云进行组合,得到第三点云。
如图3所示,图3是夹具和轮胎的组合示意图。
具体地,步骤22可以为:根据夹具和轮胎模型的夹持位置,将第一点云和第二点云进行组合,得到第三点云。由于夹具的点云和轮胎模型的点云是已知的,根据夹具和轮胎模型的夹持位置确定两者的相对位置关系,即可以确定两个点云组合形成的第三点云。
步骤23:在夹具与机器人固定连接后,确定第三点云的位姿,得到初始参考点云。
可以理解地,每个机器人都有机器人末端的世界坐标与机器人坐标的转换关系,本实施例中将该转换关系定义为第一转换参数。因此,可以通过获取第三点云、与该第一转换参数,对该第三点云和该第一转换参数进行计算,得到第三点云相对于机器人坐标系的点云,即初始参考点云。
其中,获取所述机器人的运动参数与所述机器人末端位姿的第一转换参数;由所述第三点云、所述机器人的初始运动参数、和所述第一转换参数,确定所述初始参考点云。
其中,机器人的运动参数包括每个关节的关节角度。
一实施例中,可以根据机器人的具体型号来获取相应的第一转换参数,例如,使用库卡机器人可以从官方的仿真软件KUKA SIM PRO中提取,将工作的机器人中实时获取的当前关节角度代入仿真转换矩阵即为机器人当前的仿真转换矩阵(即第一转换参数)。
在另一实施例中,也可以通过机器人坐标与机器人末端的世界坐标完成标定。具体地,提供一标定块,通过三维扫描、拍摄深度图像等方式,标定块上多个标定点的世界坐标。然后控制机器人末端移动至这些标定点上,通过对应关系建立世界坐标系与机器人坐标系的第一转换参数。
具体地,第一转换参数可以转换矩阵的形式体现,在世界坐标系下的点云乘以该转换矩阵,即可得到在机器人坐标系下的点云了。
进一步,实时点云的获取方式如下:由第三点云、机器人的实时运动参数、和第一转换参数,确定实时参考点云。
可以理解地,由第三点云和所述第一转换参数,可以确定初始参考点云。因为机器人通过夹具对轮胎的夹持状态是不变的,初始参考点云与机器人之间的相对位置也是不变的,所以轮胎的点云的变换完全是由于机器人的运动导致的。所以,只需要再结合机器人的实时运动参数,就可以由第三点云、机器人的实时运动参数、和第一转换参数,确定实时参考点云了。
步骤13:利用实时参考点云对轮胎点云进行补全。
可以理解地,需要进行点云补全,首先需要确定两个点云位于同一个坐标系。
由于步骤11中获取的轮胎点云是利用深度相机拍照获取的,所以默认为相机坐标系。因此,需要将实时参考点云转化为基于深度相机坐标系的点云。
如图4所示,图4是图1中步骤13的流程示意图,步骤13可以包括:
步骤131:获取机器人的基准点在深度相机坐标系中的位置信息。
可以理解地,在本实施例中,相机的数量为一个,且相机的位置和角度设置固定。因此,可以确定机器人的基准点(机器人坐标原点)在相机坐标系中的位置。
步骤132:根据位置信息确定机器人坐标系和深度相机坐标系的第二转换参数。
首先定义:OXY为机械手坐标系,O'X'Y'为相机坐标系。theta为两个坐标系之间的夹角。假设任意P点机器人坐标系有一个坐标,在相机坐标系也有一个坐标。
OXY为机器人坐标系,O'X'Y'为相机坐标系从上图可以看出坐标转化关系:
x=x'*r*cos(theta)-y'*r*sin(theta)+x0;
y=x'*r*sin(theta)+y'*r*cos(theta)+y0;
其中r是毫米像素比(mm/pixel),就是一个毫米有几个像素,theta为两个坐标系之间的夹角,(x0,y0)为相机坐标原点到机器人坐标原点的距离(即可以通过机器人在相机坐标系中的位置确定)。
简化抽象公式,假设:
a=r*cos(theta);
b=r*sin(theta);
c=x0;
d=y0;
得到:
x=x'*a-y'*b+c;
y=x'*b+y'*a+d;
很显然,要解出这个方程,需要两组对应关系,就是两组对应的坐标点。设两组坐标点,如下:
第一组:相机坐标点:(xImage1,yImage1)对应的机械坐标点:(xMachine1,yMachine1);
第二组:相机坐标点:(xImage2,yImage2)对应的机械坐标点:(xMachine2,yMachine2);
则可以解出a,b,c,d。如下:
a=((xMachine1-xMachine2)*(xImage1-xImage2)+(yMachine1-yMachine2)*(yImage1-yImage2))/((xImage1-xImage2)*(xImage1-xImage2)+(yImage1-yImage2)*(yImage1-yImage2));
b=((yMachine1-yMachine2)*(xImage1-xImage2)-(xMachine1-xMachine2)*(yImage1-yImage2))/((xImage1-xImage2)*(xImage1-xImage2)+(yImage1-yImage2)*(yImage1-yImage2));
c=xMachine1-a*xImage1+b*yImage1;
d=yMachine1-b*xImage1-a*yImage1;
所以,就得出了图像上任意一点的像素坐标转成机器人坐标的第二转换参数。
步骤133:利用第二转换参数,将实时参考点云转化为基于深度相机坐标系的点云。
可以理解地,上述的第二转换参数,一般都是以矩阵的形式体现,将初始参考点云,乘以转换矩阵,就得到实时参考点云了。
其中,本实施例的方式可以利用实时参考点云对轮胎点云进行补全。一方面可以对轮胎点云中确实的点进行补充,另一方面可以直接舍弃轮胎点云,直接拿实时参考点云作为轮胎点云。
区别于现有技术,本实施例提供的轮胎点云补全方法包括:在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云;利用机器人的运动参数和初始参考点云,确定实时参考点云;其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定;利用实时参考点云对轮胎点云进行补全。通过上述方式,能够在轮胎点云缺失时,利用预先确定的轮胎模型补全,提高了实时获取的轮胎点云的精度。进一步,由于轮胎点云的精度提高,进一步提高了车辆轮胎装配的效率和精确,降低了故障率,有效减小了车辆和轮胎撞击的概率。
参阅图5,图5是本申请提供的车辆轮胎装配方法一实施例的流程示意图,该方法包括:
步骤51:获取机器人将目标轮胎装配到车辆场景的深度图像。
在一实施例中,车辆装配主要是指车辆在预定轨道运动过程中,通过机械手夹持轮胎,将轮胎装配至车辆的后备箱中(作为车辆备胎)。
其中,预定轨道中设置一传送机构(大板),车辆在载体上随传送机构移动而移动。大板上方设置一深度相机,深度相机的拍照范围至少覆盖车辆、机械手和轮胎。
步骤52:利用深度图像构建车辆的车辆点云模型和目标轮胎的轮胎点云模型。
其中,车辆点云和轮胎点云可以通过对深度图像进行轮廓提取,分别转换为两个不同的点云。
步骤53:对轮胎点云模型进行补全。
其中车辆点云的补全方法,可以参考上述实施例,这里不再赘述。
步骤54:根据车辆点云模型和补全后的轮胎点云模型的空间位置进行相应处理。
在一实施例中,由于车辆(随载体运动)和轮胎(随机械手运动)都是在运动中,因此,需要实时获取车辆点云和轮胎点云,在整个装配过程中,进行跟踪判断。
可选地,可以实时获取车辆点云和轮胎点云之间的空间距离,对两个点云进行碰撞检测,例如,当两个点云之间的空间距离小于设定距离阈值时,就进行响应的处理。处理方式可以包括:暂停车辆和轮胎的移动、或车辆移动保持不变,调整轮胎的运行轨迹,防止轮胎和车辆相撞、或进行报警。
区别于现有技术,本实施例提供的车辆的轮胎装配方法包括:获取机器人将目标轮胎装配到车辆场景的深度图像;利用深度图像构建车辆的车辆点云模型和目标轮胎的轮胎点云模型;对轮胎点云模型进行补全;根据车辆点云模型和补全后的轮胎点云模型的空间位置进行相应处理。通过上述方式,能够在轮胎点云缺失时,利用预先确定的轮胎模型补全,提高了实时获取的轮胎点云的精度。进一步,由于车辆点云的精度提高,进一步提高了车辆轮胎装配的效率和精确,降低了故障率,有效减小了车辆和轮胎撞击的概率。
参阅图6,图6是本申请提供的车辆装配控制装置一实施例的结构示意图,该车辆装配控制装置60包括深度相机61、存储器62和控制器63。
其中,该深度相机61安装于车辆运动轨迹上,主要用于采集机械手将轮胎装配至车辆场景的深度图像;存储器62用于存储程序数据;控制器63用于执行程序数据以实现如下的方法:
在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云;利用机器人的运动参数和初始参考点云,确定实时参考点云;其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定;利用实时参考点云对轮胎点云进行补全。以及
获取机器人将目标轮胎装配到车辆场景的深度图像;利用深度图像构建车辆的车辆点云模型和目标轮胎的轮胎点云模型;对轮胎点云模型进行补全;根据车辆点云模型和补全后的轮胎点云模型的空间位置进行相应处理。
参阅图7,图7是本申请提供的计算机可读存储介质一实施例的结构示意图,该计算机可读存储介质70中存储有程序数据71,该程序数据71在被控制器执行时,用以实现如下的方法:
在机器人抓取目标轮胎过程中,实时确定目标轮胎的轮胎点云;利用机器人的运动参数和初始参考点云,确定实时参考点云;其中,初始参考点云是将轮胎模型装配至机器人、且机器人运动至初始位置时确定;利用实时参考点云对轮胎点云进行补全。以及
获取机器人将目标轮胎装配到车辆场景的深度图像;利用深度图像构建车辆的车辆点云模型和目标轮胎的轮胎点云模型;对轮胎点云模型进行补全;根据车辆点云模型和补全后的轮胎点云模型的空间位置进行相应处理。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种轮胎点云补全方法,其特征在于,所述方法包括:
在机器人抓取目标轮胎过程中,实时确定所述目标轮胎的轮胎点云;
利用所述机器人的运动参数和初始参考点云,确定实时参考点云;其中,所述初始参考点云是将轮胎模型装配至机器人、且所述机器人运动至初始位置时确定;
利用所述实时参考点云对所述轮胎点云进行补全。
2.根据权利要求1所述的方法,其特征在于,
所述初始参考点云的获取步骤包括:
获取轮胎模型的第一点云,以及获取夹具的第二点云;其中,所述机器人利用所述夹具夹持所述目标轮胎;
将所述第一点云和所述第二点云进行组合,得到第三点云;
在所述夹具与所述机器人固定连接后,确定所述第三点云的位姿,得到所述初始参考点云。
3.根据权利要求2所述的方法,其特征在于,
所述第一点云和所述第二点云是基于空间坐标系的点云;
所述确定所述第三点云的位姿,得到所述初始参考点云,包括:
获取所述机器人的运动参数与所述机器人末端位姿的第一转换参数;
由所述第三点云、所述机器人的初始运动参数、和所述第一转换参数,确定所述初始参考点云。
4.根据权利要求3所述的方法,其特征在于,
所述利用所述机器人的运动参数和初始参考点云,确定实时参考点云,包括:
由所述第三点云、所述机器人的初始运动参数、和所述第一转换参数,确定所述实时参考点云。
5.根据权利要求2所述的方法,其特征在于,
所述将所述第一点云和所述第二点云进行组合,得到第三点云,包括:
根据所述夹具和所述轮胎模型的夹持位置,将所述第一点云和所述第二点云进行组合,得到第三点云。
6.根据权利要求1所述的方法,其特征在于,
所述实时参考点云是基于机器人坐标系的点云,所述轮胎点云是基于深度相机坐标系的点云;
所述利用所述实时参考点云对所述轮胎点云进行补全之前,还包括:
将所述实时参考点云转化为基于所述深度相机坐标系的点云。
7.根据权利要求6所述的方法,其特征在于,
所述将所述实时参考点云转化为基于所述深度相机坐标系的点云,包括:
获取所述机器人的基准点在所述深度相机坐标系中的位置信息;
根据所述位置信息确定所述机器人坐标系和所述深度相机坐标系的第二转换参数;
利用所述第二转换参数,将所述实时参考点云转化为基于所述深度相机坐标系的点云。
8.一种车辆轮胎装配方法,其特征在于,所述方法包括:
获取机器人将目标轮胎装配到车辆场景的深度图像;
利用所述深度图像构建所述车辆的车辆点云模型和所述目标轮胎的轮胎点云模型;
采用如权利要求1-7任一项所述方法对所述轮胎点云模型进行补全;
根据所述车辆点云模型和补全后的所述轮胎点云模型的空间位置进行相应处理。
9.根据权利要求8所述的方法,其特征在于,
所述根据所述车辆点云模型和补全后的所述轮胎点云模型的空间位置进行相应处理,包括:
根据所述车辆点云模型和补全后的所述轮胎点云模型的空间位置,调整所述轮胎的运行轨迹,以将所述轮胎装配至所述车辆。
10.一种车辆装配控制装置,其特征在于,所述控制装置包括:
深度相机,用于采集机器人将目标轮胎装配到车辆场景的深度图像;
存储器,用于存储程序数据;
控制器,连接所述深度相机和所述存储器,用于执行所述程序数据以实现如权利要求1-9任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序数据,所述存储数据在被控制器执行时,用以实现如权利要求1-9任一项所述的方法。
CN202011626444.8A 2020-12-31 2020-12-31 轮胎点云补全方法、装配方法、控制装置及存储介质 Pending CN112700536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011626444.8A CN112700536A (zh) 2020-12-31 2020-12-31 轮胎点云补全方法、装配方法、控制装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011626444.8A CN112700536A (zh) 2020-12-31 2020-12-31 轮胎点云补全方法、装配方法、控制装置及存储介质

Publications (1)

Publication Number Publication Date
CN112700536A true CN112700536A (zh) 2021-04-23

Family

ID=75513249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011626444.8A Pending CN112700536A (zh) 2020-12-31 2020-12-31 轮胎点云补全方法、装配方法、控制装置及存储介质

Country Status (1)

Country Link
CN (1) CN112700536A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362328A (zh) * 2021-08-10 2021-09-07 深圳市信润富联数字科技有限公司 点云图生成方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991512A (zh) * 2019-11-26 2020-04-10 广东美的白色家电技术创新中心有限公司 物体识别模型的联合训练方法、服务器及电器设备
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
US20200258262A1 (en) * 2017-10-19 2020-08-13 Interdigital Vc Holdings, Inc. Method and device for predictive encoding/decoding of a point cloud
CN112700537A (zh) * 2020-12-31 2021-04-23 广东美的白色家电技术创新中心有限公司 轮胎的点云构建方法、装配方法、控制装置、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200258262A1 (en) * 2017-10-19 2020-08-13 Interdigital Vc Holdings, Inc. Method and device for predictive encoding/decoding of a point cloud
CN110991512A (zh) * 2019-11-26 2020-04-10 广东美的白色家电技术创新中心有限公司 物体识别模型的联合训练方法、服务器及电器设备
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN112700537A (zh) * 2020-12-31 2021-04-23 广东美的白色家电技术创新中心有限公司 轮胎的点云构建方法、装配方法、控制装置、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贝子勒;赵杰煜;: "一种基于深度学习的点云修复模型", 无线通信技术, no. 02, 15 June 2020 (2020-06-15), pages 10 - 15 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362328A (zh) * 2021-08-10 2021-09-07 深圳市信润富联数字科技有限公司 点云图生成方法、装置、电子设备和存储介质
CN113362328B (zh) * 2021-08-10 2021-11-09 深圳市信润富联数字科技有限公司 点云图生成方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107767423B (zh) 一种基于双目视觉的机械臂目标定位抓取方法
CN113223091B (zh) 三维目标检测方法、抓取方法、装置及电子设备
CN114912287B (zh) 基于目标6d位姿估计的机器人自主抓取仿真***及方法
CN112819896B (zh) 传感器的标定方法及装置、存储介质和标定***
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取***及方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及***
CN106595601B (zh) 一种无需手眼标定的相机六自由度位姿精确重定位方法
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN112700536A (zh) 轮胎点云补全方法、装配方法、控制装置及存储介质
WO2022208963A1 (ja) ロボット制御用のキャリブレーション装置
CN114434123A (zh) 一种空中线夹的机械臂定位拆卸方法、装置及存储介质
CN111724432B (zh) 物体三维检测方法和装置
CN111699445B (zh) 机器人运动学模型优化方法、***和存储装置
JP2778430B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN115457142B (zh) 一种mr混合摄影相机的标定方法和***
CN111145267A (zh) 基于imu辅助的360度全景视图多相机标定方法
CN110910311A (zh) 一种基于二维码的多路环视相机自动拼接方法
CN115619877A (zh) 单目线激光传感器与二轴机床***的位置关系标定方法
CN116012442A (zh) 一种机械臂末端位姿自动回正的视觉伺服方法
CN115147495A (zh) 一种针对车载***的标定方法、装置以及***
CN112184819A (zh) 机器人的引导方法、装置、计算机设备和存储介质
CN112862870A (zh) 车辆点云补全方法、装配方法、控制装置及存储介质
CN110328669B (zh) 用于实训的机器人的末端轨迹采集及跟踪方法和装置
CN115705621A (zh) 一种基于嵌入式平台的单目视觉实时测距方法及测距***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination