CN115439561B - 机器人的传感器标定方法、机器人及存储介质 - Google Patents

机器人的传感器标定方法、机器人及存储介质 Download PDF

Info

Publication number
CN115439561B
CN115439561B CN202211311133.1A CN202211311133A CN115439561B CN 115439561 B CN115439561 B CN 115439561B CN 202211311133 A CN202211311133 A CN 202211311133A CN 115439561 B CN115439561 B CN 115439561B
Authority
CN
China
Prior art keywords
data
sensor
sensing
matching
matching data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211311133.1A
Other languages
English (en)
Other versions
CN115439561A (zh
Inventor
汪鹏飞
葛科迪
马子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Huacheng Software Technology Co Ltd
Original Assignee
Hangzhou Huacheng Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huacheng Software Technology Co Ltd filed Critical Hangzhou Huacheng Software Technology Co Ltd
Priority to CN202211311133.1A priority Critical patent/CN115439561B/zh
Publication of CN115439561A publication Critical patent/CN115439561A/zh
Application granted granted Critical
Publication of CN115439561B publication Critical patent/CN115439561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种机器人的传感器标定方法、机器人及存储介质。该方法包括:在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据;待标定传感器包括深度相机传感器;利用每个传感数据和参考数据对应的目标域,对传感数据和参考数据进行匹配,得到匹配数据对,目标域包括时间域和/或空间域;利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,转换参数用于对待标定传感器进行标定。上述方案,能够提高对机器人传感器的标定效率。

Description

机器人的传感器标定方法、机器人及存储介质
技术领域
本申请涉及机器人技术领域,特别是涉及一种机器人的传感器标定方法、机器人及计算机可读存储介质。
背景技术
随着机器人技术的发展,机器人(如移动机器人、无人车等)上会安装各种各样的传感器,例如安装激光雷达、相机、毫米波雷达、超声雷达、惯性测量单元、全球定位***等多种传感器,可以通过传感器测量的数据,感知周围的环境,从而实现定位、避障等各种功能。
由于传感器的使用时间过长、工作场景的复杂多变等原因,会导致各传感器之间的相对位姿关系发生变化,为了保证传感器的数据的精确性,需要对传感器的参数进行标定,以确定传感器之间的转换参数。目前,对机器人的传感器的标定过程操作较为繁琐,且容易受标定环境的影响,导致传感器的参数标定的准确度低。
发明内容
本申请主要解决的技术问题是提供一种机器人的传感器标定方法、机器人及存储介质,能够提高对机器人传感器的标定效率。
为了解决上述问题,本申请第一方面提供了一种机器人的传感器标定方法,该方法包括:在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据;待标定传感器包括深度相机传感器;利用每个传感数据和参考数据对应的目标域,对传感数据和参考数据进行匹配,得到匹配数据对,目标域包括时间域和/或空间域;利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,转换参数用于对待标定传感器进行标定。
为了解决上述问题,本申请第二方面提供了一种计算机设备,该计算机设备包括相互耦接的存储器和处理器,存储器中存储有程序数据,处理器用于执行程序数据以实现上述机器人的传感器标定方法的任一步骤。
为了解决上述问题,本申请第三方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有能够被处理器运行的程序数据,程序数据用于实现上述机器人的传感器标定方法的任一步骤。
上述方案,通过在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据;待标定传感器包括深度相机传感器;利用每个传感数据和参考数据对应的时间域和/或空间域,对传感数据和参考数据进行匹配,得到匹配数据对,可以对传感数据和参考数据在时间域和/或空间域进行匹配,可以在不依赖时间采集同步的情况下,匹配得到帧同步的匹配数据对,使得可以实时对传感器进行标定,另外,利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,能够提高对机器人传感器的标定效率。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要的附图作简单的介绍,显而易见地,下面描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请机器人的传感器标定方法一实施例的流程示意图;
图2是本申请图1中步骤S12一实施例的流程示意图;
图3是本申请匹配数据对进行匹配的一实施例的实例示意图;
图4是本申请图1中步骤S13一实施例的流程示意图;
图5是本申请机器人的传感器标定装置一实施例的结构示意图;
图6是本申请机器人一实施例的结构示意图;
图7是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请提供以下实施例,下面对各实施例进行具体说明。
请参阅图1,图1是本申请机器人的传感器标定方法一实施例的流程示意图。该方法可以包括以下步骤:
S11:在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据。
机器人可以为移动机器人、自动驾驶车辆等设备,也可以包括其他需要多种传感器(如待标定传感器和参考传感器)的设备,本申请对此不做限制。
机器人可以设置有多种传感器,如相机传感器、雷达传感器、惯性测量单元和全球定位***等,其中,相机传感器可以包括深度相机传感器,雷达传感器可以包括激光雷达、毫米波雷达、超声雷达等。可以将其中一种或多种传感器作为待标定传感器,将剩余的其他一种或多种传感器作为参考传感器。
在一些实施方式中,待标定传感器包括深度相机传感器,参考传感器包括雷达传感器,本申请下述以此为例进行说明,本申请不限于此。
在一些实施方式中,在步骤S11之前,还可以对机器人的标定环境进行判断,以在更稳定的标定环境对机器人的传感器进行标定。
在步骤S11之前,可以利用机器人获取红外光或激光等方式,获取机器人与预设设备的距离,其中,预设设备的位置固定,预设设备可以位于机器人周期性运动的位置或一定的范围内。预设设备可以为充电座等,可以在机器人充电的过程完成在线传感器的标定,并可以有助于标定结果的稳定性。
具体地,可以判断机器人与预设设备之间的距离是否满足标定距离条件,其中,标定距离条件包括机器人与预设设备的距离小于标定距离阈值,和/或,待标定传感器的有效距离小于有效传感距离阈值。待标定传感器为深度相机传感器的情况下,待标定传感器的有效距离为机器人的待标定传感器与预设设备之间的距离,有效传感距离阈值可以包括深度相机传感器的视野范围。将预设设备作为靶标的基体,可以确保靶的标的稳定性,以有助于标定结果的稳定性。
若机器人满足标定距离条件,则可以对机器人的传感器进行标定,也即可以开始 采集机器人的位姿数据,记录当前的机器人的位姿数据
Figure 310439DEST_PATH_IMAGE001
,其中,
Figure 915602DEST_PATH_IMAGE002
表示机器人的 位置,
Figure 690660DEST_PATH_IMAGE003
表示机器人的角度值,如偏航角。通过多次获取机器人的位姿数据,获取位姿数据 的角度的变化量。
在一些实施方式中,第一次采集机器人的位姿数据,可以记录当前机器人的位姿 数据
Figure 349174DEST_PATH_IMAGE004
,若不是第一次采集机器人的位姿数据,可以通过多次采集的位姿数据获取机 器人的角度的变化量,如采集的角度的变化量可以表示为:
Figure 327626DEST_PATH_IMAGE005
(1)
其中,
Figure 362578DEST_PATH_IMAGE006
表示机器人前一次采集的角度的变化量,初始值为0,
Figure 257722DEST_PATH_IMAGE007
表示机 器人当前采集的角度的变化量,
Figure 192530DEST_PATH_IMAGE008
表示当前采集的位姿数据中的角度值,
Figure 782911DEST_PATH_IMAGE009
表示前一 次采集的位姿数据中的角度值。
若位姿数据的角度的变化量大于预设角度阈值,则执行上述步骤S11,也即在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据的步骤。否则,则继续采集机器人的位姿数据,获取机器人的角度的变化量。
可以在预设时间内获取机器人待标定传感器的传感器数据和参考传感器的参考数据,其中,在待标定传感器包括深度相机传感器,参考传感器包括雷达传感器的情况下,在预设时间内以第一帧率获取深度相机传感器的深度数据,也即可以为深度图像;在预设时间内以第二帧率获取雷达传感器的雷达激光数据,如2D激光数据或3D激光数据等。第一帧率和第二帧率可以相同或不同。
在一些实施方式中,可以将预设时间内获取的机器人待标定传感器的多个传感数据和参考传感器的多个参考数据进行保存,例如保存在机器人的数据缓存队列中。
S12:利用每个传感数据和参考数据对应的目标域,对传感数据和参考数据进行匹配,得到匹配数据对,目标域包括时间域和/或空间域。
获取的每个传感数据和参考数据都有对应的目标域,目标域包括时间域和/空间域,时间域可以包括传感器数据或参考数据对应的时间信息,空间域可以包括传感数据和参考数据对应的空间信息,利用空间域可以表示传感数据和参考数据之间的位置或距离关系。
在利用待标定传感器的传感数据和参考传感器的参考数据时,传感数据和参考数据都对应有各自的时间信息,如时间戳信息,可以通过每一帧的传感数据和参考数据的时间信息和/或空间信息进行匹配,例如可以将时间信息相近和/或空间信息相近或满足匹配要求的传感数据和参考数据进行匹配,作为匹配数据对。
S13:利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,转换参数用于对待标定传感器进行标定。
利用上述匹配的匹配数据对,也即匹配的待标定传感器的传感数据和参考传感器的参考数据,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,转换参数可以为待标定传感器的外参,待标定传感器的外参为待标定传感器与参考传感器之间的相对位置关系。
该传感器的标定方法可以实现在线标定,标定待标定传感器(如深度相机传感器)的外参,也即转换参数,在保证标定精度的同时,提高了标定的效率,充电过程作为移动装置日常的常规动作,保证了传感***在线标定任务完成的成功率和时效性。
本实施例中,通过在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据;待标定传感器包括深度相机传感器;利用每个传感数据和参考数据对应的时间域和/或空间域,对传感数据和参考数据进行匹配,得到匹配数据对,可以对传感数据和参考数据在时间域和/或空间域进行匹配,可以在不依赖时间采集同步的情况下,匹配得到帧同步的匹配数据对,使得可以实时对传感器进行标定,另外,利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,能够提高对机器人传感器的标定效率。
在一些实施例中,请参阅图2,可以对上述实施例的步骤S12进一步扩展。利用每个传感数据和参考数据对应的目标域,对传感数据和参考数据进行匹配,得到匹配数据对,本实施例可以包括以下步骤:
S121:分别将传感数据和参考数据转换至目标坐标系下,得到传感匹配数据和参考匹配数据,其中,目标坐标系包括参考传感器对应的坐标系或待标定传感器对应的坐标系。
待标定传感器为深度相机传感器时,深度相机传感器对应的坐标系为相机坐标 系,获取的传感数据为深度数据,也即深度图,其深度图中的每一个像素值表示场景中某点 与深度相机传感器的距离。传感数据可以表示为:
Figure 746188DEST_PATH_IMAGE010
,其中,(u,v)表示像素坐标,d表 示相机坐标系下的深度值。
参考传感器可以为雷达传感器,相应地,获取的参考数据为激光数据,雷达传感器对应的坐标系为雷达坐标系。
在一些实施方式中,目标坐标系包括参考传感器对应的坐标系或待标定传感器对应的坐标系。本申请的实施例以参考传感器对应的坐标系作为目标坐标系为例进行说明,本申请不限于此。
在一些实施方式中,可以分别获取传感数据转换至目标坐标系下的第一点云数据、以及参考数据转换至目标坐标系下的第二点云数据,其中,目标坐标系包括参考传感器对应的坐标系。
获取传感数据转换至目标坐标系下的第一点云数据时,可以利用深度相机传感器的相机内参[fx,fy,cx,cy]将传感数据转换为点云数据,其中,(fx,fy)表示深度相机传感器的相机焦距,(cx,cy)表示深度相机传感器的相机主点。转换方式可以用下述公式表示:
Figure 105625DEST_PATH_IMAGE011
(2)
上述公式(2)中,[x,y,z]表示第一点云数据Pc,点云数据是3D数据的一般描述方式,由空间三维坐标点x,y,z组成。
在利用初始外参,将第一点云数据转换到目标坐标系下,以得到目标坐标系下的第一点云数据。其中,初始外参可以是初始化机器人的传感器标定得到的外参。若初始外参为[R|t],其中,R表示深度相机传感器到雷达传感器的雷达坐标系的旋转矩阵,也即旋转参数,t表示深度相机传感器到雷达传感器的雷达坐标系的平移量,也即平移参数。同时,雷达坐标系的水平面方向为x,y轴,高度方向为z轴,可以通过下述方式将第一点云数据转换到目标坐标系下:
Figure 246888DEST_PATH_IMAGE012
(3)
上述公式(3)中,Pc表示深度相机传感器的第一点云数据,Pl表示目标坐标系下的第一点云数据。
在一些实施方式中,由于目标坐标系为雷达传感器对应的雷达坐标系,此处不需要对参考数据进行坐标系的转换,也即将参考数据作为目标坐标系下的第二点云数据。
在一些实施方式中,利用高度转换参数,将第一点云数据转换为第一高度图,该过程可以用下述公式表示:
Figure 183620DEST_PATH_IMAGE013
(4)
上述公式(4)中,[x,y,z]表示目标坐标系下的第一点云数据,[x,y,z,1]表示目标坐标系下的第一点云数据对应的齐次坐标。
[hu,hv,h]表示第一高度图,u,v表示高度图的像素坐标,h表示像素的高度值,也即第一高度图中像素距离地面的距离,此处的地面为参考水平平面或参考地面,本申请对此不做限制。[hu,hv,h,1]表示第一高度图对应的齐次坐标。
上述公式(4)中,高度旋转参数可以表示为:
Figure 825953DEST_PATH_IMAGE014
(5)
上述公式(5)中,其中x0,y0表示第一点云数据中像素x,y与地面的最小距离,
Figure 679378DEST_PATH_IMAGE015
Figure 709651DEST_PATH_IMAGE016
表示第一点云数据中像素x,y的在各自方向(x方向、y方向)的距离的最大值和最小值的 差,在一些应用场景中,可以采用深度相机传感器可以检测的最大距离作为距离的最大值 的默认值,如1m(米)。s表示第一高度图的x,y方向的图像分辨率。
Figure 9045DEST_PATH_IMAGE017
表示第一高度图的x方 向的图像分辨率,
Figure 64857DEST_PATH_IMAGE018
表示第一高度图的y方向的图像分辨率。
其中,
Figure 257941DEST_PATH_IMAGE017
可以通过下述公式得到:
Figure 865640DEST_PATH_IMAGE019
(6)
上述公式(6)中,v表示机器人的最大速度,fmax表示多个传感器中的最大帧率,也 即待标定传感器和/或参考传感器的最大帧率,此处以深度相机传感器的最大帧率为例。若 为第二点云数据的转换,此处以雷达传感器的最大帧率为例。最大速度v和最大帧率fmax为 固定值。从而,
Figure 294740DEST_PATH_IMAGE020
可以通过上述方式进行取值。同理,可以通过下述方式获取
Figure 13298DEST_PATH_IMAGE021
Figure 326467DEST_PATH_IMAGE022
(7)
在一些实施方式中,将第二点云数据转换为第二高度图的过程,具体可以参考上述将第一点云数据转换为第一高度图的过程,本申请对此不做赘述。
在一些实施方式中,可以利用第一高度图得到传感匹配数据,以及利用第二高度图得到参考匹配数据。例如可以将第一高度图作为传感器匹配数据,将第二高度图作为参考匹配数据。
在一些实施方式中,可以将第一高度图转换为第一二值图,以作为传感匹配数据。可以对第一高度图的每个像素的高度值利用高度阈值进行置数,例如像素的高度值大于或等于高度阈值,则将高度值设置为第一数值,若高度值小于高度阈值,则将高度值设置为第二数值,例如第一数据可以为1,第二数据为0,从而,得到第一高度图对应的第一二值图。通过该方式可以确定像素与高度阈值对应的平面的关系,如高度阈值对应的平面为地面,则通过置数可以判断像素在地上或地下。
在另一些实施方式中,可以将例如像素的高度值在预设范围内,则将高度值设置为第一数值,否则,则将高度值设置为第二数值。
在一些实施方式中,将第二高度图转换为第二二值图,以作为参考匹配数据的过程,具体可以参考上述将第一高度图转换为第一二值图的具体实施过程,本申请在此不做赘述。
S122:利用传感匹配数据和参考匹配数据对应的时间信息,剔除时间信息不满足时间域要求的参考匹配数据。
将多帧的传感匹配数据和参考匹配数据进行匹配,可以将连续多帧的传感匹配数据和参考匹配数据对应的二值图投影到同一二值图中进行匹配。
请参阅图3,在二值图中,传感匹配数据和参考匹配数据可以用线条表示,以传感匹配数据为例,一个线条上包含多个像素,一个线条可以表示一帧传感匹配数据中的多个像素。
在一些实施方式中,待标定传感器和参考传感器以不同的帧率获取传感数据和参考数据,若待标定传感器为深度相机传感器,参考传感器为雷达传感器,通常雷达传感器的帧率高于深度相机传感器,可以将低频率的传感匹配数据为参考进行匹配。
在一些实施方式中,时间域要求包括:传感匹配数据与参考匹配数据之间对应的时间信息的差值小于时间阈值。可以获取每一帧的传感匹配数据与每个参考匹配数据的时间信息之间的差值,也即时间戳差值,若传感匹配数据与参考匹配数据之间对应的时间信息的差值小于时间阈值,则可以确定传感器匹配数据和参考匹配数据满足时间域要求,通过该方式,可以剔除时间戳相差较大或不满足时间域要求的高频率的参考匹配数据。
S123:获取传感匹配数据和参考匹配数据之间的空间距离,选出空间距离满足空间域要求的传感匹配数据和参考匹配数据,得到匹配数据对。
在一些实施方式中,请参阅图3,获取传感匹配数据和参考匹配数据之间的空间距离时,分别获取传感匹配数据中每个像素与参考匹配数据中像素的距离的最小值,也即获取传感匹配数据的每个像素与参考匹配数据的每个像素的距离,获取传感匹配数据的每个像素对应的距离的最小值。对传感匹配数据中每个像素对应的最小值进行预设统计,如预设统计为最小值的平均值,得到空间距离,可以作为传感匹配数据和参考匹配数据作为空间线段的距离在像素层面的表示。
在一些实施方式中,空间域要求包括:空间距离小于距离阈值。若空间距离小于预设距离阈值,则确定传感匹配数据和参考匹配数据满足空间域要求,可以认为传感匹配数据和参考匹配数据是有效的匹配帧,也即匹配数据对。
若在预设时间内的传感匹配数据和参考匹配数据不满足时间域要求和空间域要求,则可以去除该时间段内的传感数据和参考数据,从新进行数据的采集。
本实施例中,通过动态采集传感数据和参考数据,并且对传感数据和参考数据在时间域和空间域上进行匹配得到帧同步的数据,也即匹配数据对,可以提高机器人运行的流畅性,同时,不需要时间信息的同步进行匹配,不受采集的传感数据和参考数据的时间信息的限制,可以实时对传感器进行标定,并且还可以提高对机器人传感器标的准确度。
在一些实施例中,请参阅图4,可以对上述实施例的步骤S13进一步扩展。利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,本实施例可以包括以下步骤:
S131:对匹配数据对中的传感匹配数据进行平面拟合,得到传感匹配数据对应的平面方程;以及,对匹配数据对中的参考匹配数据进行直线拟合,得到参考匹配数据对应的直线方程。
在一些实施方式中,得到匹配的匹配数据对,也即匹配的传感匹配数据和参考匹配数据之后,可以利用传感匹配数据的第一点云数据(参考上述步骤得到的第一点云数据),对传感匹配数据对应的线条的第一点云数据进行平面拟合。例如可以利用RANSAC(Random Sample Consensus,随机抽样一致)方法进行平面拟合,RANSAC方法是根据一组包含异常数据的样本数据集,计算出数据的数学模型参数,得到有效样本数据的算法。可以得到传感匹配数据对应的平面方程。该平面方程可以用下述公式表示:
Figure 105067DEST_PATH_IMAGE023
(8)
上述公式(8)中,
Figure 254420DEST_PATH_IMAGE024
表示法向量,
Figure 901302DEST_PATH_IMAGE025
表示深度相机传感器的相机原点到平面的距 离,
Figure 209924DEST_PATH_IMAGE026
表示匹配传感数据在相机坐标系下的坐标。
在一些实施方式中,对匹配数据对中的参考匹配数据对应的第二点云数据(参考上述步骤得到的第二点云数据)进行直线拟合,可以得到参考匹配数据对应的直线方程。
S132:利用直线方程中的坐标点、平面方程,获取匹配数据对的约束方程。
可以选取直线方程上的坐标Pl,并定义待标定传感器与参考传感器对应的坐标系 之间的转换参数为
Figure 533327DEST_PATH_IMAGE027
Figure 29030DEST_PATH_IMAGE028
,其中,
Figure 479603DEST_PATH_IMAGE029
表示待标定传感器与参考传感器对应的坐标系的旋 转参数,
Figure 642731DEST_PATH_IMAGE030
表示待标定传感器与参考传感器对应的坐标系的平移参数。可以基于选取的坐 标Pl在平面方程构建匹配数据对的约束方程,如下:
Figure 372921DEST_PATH_IMAGE031
(9)
上述公式(9)中,dc表示深度相机传感器的相机原点到平面的距离。
S133:利用预设数量的匹配数据对的约束方程,得到待标定传感器与参考传感器对应的坐标系之间的转换参数,其中,转换参数包括待标定传感器与参考传感器对应的坐标系的旋转参数和/或平移参数。
在一些实施方式中,可以通过上述步骤获取预设时间内的多个匹配数据对的约束方程,或者获取多个预设时间内的多个匹配数据对的约束方程,若约束方程的数量达到预设数量,例如预设数量为大于5的自然数,则可以利用预设数量的匹配数据对的约束方程,得到待标定传感器与参考传感器对应的坐标系之间的转换参数。
在一些实施方式中,可以利用非线性最小二乘法优化对预设数量的匹配数据对的 约束方程进行优化求解,得到待标定传感器与参考传感器对应的坐标系之间的转换参数, 也即得到旋转参数
Figure 11712DEST_PATH_IMAGE032
和平移参数
Figure 875763DEST_PATH_IMAGE033
。从而,可以利用该转换参数对待标定传感器和参考 传感器进行标定,更新待标定传感器的相对位姿。
本实施例中,通过对匹配数据对中的传感匹配数据进行平面拟合,得到传感匹配数据对应的平面方程;以及对匹配数据对中的参考匹配数据进行直线拟合,得到参考匹配数据对应的直线方程,利用直线方程中的坐标点、平面方程,获取匹配数据对的约束方程,利用预设数量的匹配数据对的约束方程,得到待标定传感器与参考传感器对应的坐标系之间的转换参数,直接进行平面拟合,可以降低对标靶的要求,且提高转换参数的准确度,从而提高传感器标定的准确度。
对于上述实施例,本申请提供一种机器人的传感器标定装置。请参阅图5,图5是本申请机器人的传感器标定装置一实施例的结构示意图。该机器人的传感器标定装置20包括采集模块21、匹配模块22和标定模块23。
采集模块21用于在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据;待标定传感器包括深度相机传感器。采集模块21可以包括待标定传感器和参考传感器。
匹配模块22用于利用每个传感数据和参考数据对应的目标域,对传感数据和参考数据进行匹配,得到匹配数据对,目标域包括时间域和/或空间域。
标定模块23用于利用匹配数据对,获取待标定传感器与参考传感器对应的坐标系之间的转换参数,转换参数用于对待标定传感器进行标定。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
对于上述实施例,本申请提供一种计算机设备,请参阅图6,图6是本申请机器人一实施例的结构示意图。该机器人30包括存储器31和处理器32,其中,存储器31和处理器32相互耦接,存储器31中存储有程序数据,处理器32用于执行程序数据以实现上述机器人的传感器标定方法任一实施例中的步骤。
在一些实施方式中,上述机器人30还可以包括待标定传感器和参考传感器(未示出),以利用待标定传感器采集传感数据和参考传感器采集参考数据。
在本实施例中,处理器32还可以称为CPU(Central Processing Unit,中央处理单元)。处理器32可能是一种集成电路芯片,具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
对于上述实施例的方法,其可以采用计算机程序的形式实现,因而本申请提出一种计算机可读存储介质,请参阅图7,图7是本申请计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质40中存储有能够被处理器运行的程序数据41,程序数据41可被处理器执行以实现上述机器人的传感器标定方法任一实施例的步骤。
本实施例计算机可读存储介质40可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序数据41的介质,或者也可以为存储有该程序数据41的服务器,该服务器可将存储的程序数据41发送给其他设备运行,或者也可以自运行该存储的程序数据41。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解的,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中,该计算机可读存储介质是一种计算机可读取存储介质。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在计算机可读存储介质中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种机器人的传感器标定方法,其特征在于,包括:
在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据;所述待标定传感器包括深度相机传感器;
利用每个所述传感数据和所述参考数据对应的目标域,对所述传感数据和所述参考数据进行匹配,得到匹配数据对,所述目标域包括时间域和空间域;
利用所述匹配数据对,获取所述待标定传感器与所述参考传感器对应的坐标系之间的转换参数,所述转换参数用于对所述待标定传感器进行标定;
其中,所述利用每个所述传感数据和所述参考数据对应的目标域,对所述传感数据和所述参考数据进行匹配,得到匹配数据对,包括:
分别将所述传感数据和所述参考数据转换至目标坐标系下,得到传感匹配数据和参考匹配数据,其中,所述目标坐标系包括所述参考传感器对应的坐标系或所述待标定传感器对应的坐标系;
利用所述传感匹配数据和所述参考匹配数据对应的时间信息,剔除所述时间信息不满足时间域要求的所述参考匹配数据;
获取所述传感匹配数据和所述参考匹配数据之间的空间距离,选出所述空间距离满足空间域要求的所述传感匹配数据和所述参考匹配数据,得到匹配数据对;
所述时间域要求包括:所述传感匹配数据与所述参考匹配数据之间对应的时间信息的差值小于时间阈值;所述空间域要求包括:所述空间距离小于距离阈值。
2.根据权利要求1所述的方法,其特征在于,所述分别将所述传感数据和所述参考数据转换为至目标坐标系下,得到传感匹配数据和参考匹配数据,包括:
分别获取所述传感数据转换至所述目标坐标系下的第一点云数据、以及所述参考数据转换至所述目标坐标系下的第二点云数据,其中,所述目标坐标系包括所述参考传感器对应的坐标系;
利用高度转换参数,将所述第一点云数据转换为第一高度图、以及将所述第二点云数据转换为第二高度图;
利用所述第一高度图得到所述传感匹配数据,以及利用所述第二高度图得到所述参考匹配数据。
3.根据权利要求2所述的方法,其特征在于,所述利用所述第一高度图得到所述传感匹配数据,以及利用所述第二高度图得到所述参考匹配数据,包括:
将所述第一高度图转换为第一二值图,以作为所述传感匹配数据;以及
将所述第二高度图转换为第二二值图,以作为所述参考匹配数据。
4.根据权利要求1所述的方法,其特征在于,所述获取所述传感匹配数据和所述参考匹配数据之间的空间距离,包括:
分别获取所述传感匹配数据中每个像素与所述参考匹配数据中像素的距离的最小值;
对所述传感匹配数据中每个像素对应的所述距离的最小值进行预设统计,得到所述空间距离。
5.根据权利要求1所述的方法,其特征在于,所述利用所述匹配数据对,获取所述待标定传感器与所述参考传感器对应的坐标系之间的转换参数,包括:
对所述匹配数据对中的传感匹配数据进行平面拟合,得到所述传感匹配数据对应的平面方程;以及
对所述匹配数据对中的参考匹配数据进行直线拟合,得到所述参考匹配数据对应的直线方程;
利用所述直线方程中的坐标点、所述平面方程,获取所述匹配数据对的约束方程;
利用预设数量的所述匹配数据对的约束方程,得到所述待标定传感器与所述参考传感器对应的坐标系之间的转换参数,其中,所述转换参数包括所述待标定传感器与所述参考传感器对应的坐标系的旋转参数和/或平移参数。
6.根据权利要求1所述的方法,其特征在于,所述参考传感器包括雷达传感器。
7.根据权利要求1所述的方法,其特征在于,所述在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据之前,还包括:
判断所述机器人与预设设备的距离是否满足标定距离条件;所述标定距离条件包括所述机器人与预设设备的距离小于标定距离阈值,和/或,所述待标定传感器的有效距离小于有效传感距离阈值;
若满足所述标定距离条件,则采集所述机器人的位姿数据;
若所述位姿数据的变化量大于预设角度阈值,则执行所述在预设时间内获取机器人待标定传感器的传感数据和参考传感器的参考数据的步骤。
8.一种机器人,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序数据,所述处理器用于执行所述程序数据以实现权利要求1至7任一项所述方法的步骤。
9.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序数据,所述程序数据用于实现权利要求1至7任一项所述方法的步骤。
CN202211311133.1A 2022-10-25 2022-10-25 机器人的传感器标定方法、机器人及存储介质 Active CN115439561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211311133.1A CN115439561B (zh) 2022-10-25 2022-10-25 机器人的传感器标定方法、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211311133.1A CN115439561B (zh) 2022-10-25 2022-10-25 机器人的传感器标定方法、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN115439561A CN115439561A (zh) 2022-12-06
CN115439561B true CN115439561B (zh) 2023-03-10

Family

ID=84252388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211311133.1A Active CN115439561B (zh) 2022-10-25 2022-10-25 机器人的传感器标定方法、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN115439561B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179358A (zh) * 2019-12-30 2020-05-19 浙江商汤科技开发有限公司 标定方法、装置、设备及存储介质
CN111360810A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 机器人传感器的外参标定方法、装置、机器人及存储介质
CN112258590A (zh) * 2020-12-08 2021-01-22 杭州迦智科技有限公司 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN113077523A (zh) * 2021-03-31 2021-07-06 商汤集团有限公司 一种标定方法、装置、计算机设备及存储介质
CN113640756A (zh) * 2021-08-11 2021-11-12 北京航迹科技有限公司 一种数据标定方法、***、装置、计算机程序以及存储介质
CN115082561A (zh) * 2022-08-16 2022-09-20 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018202571A1 (de) * 2018-02-20 2019-08-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Aufbereitung von Daten zweier Fahrzeugsensoren für ein autonomes Fahrzeug
CN113340334B (zh) * 2021-07-29 2021-11-30 新石器慧通(北京)科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113655453B (zh) * 2021-08-27 2023-11-21 阿波罗智能技术(北京)有限公司 用于传感器标定的数据处理方法、装置及自动驾驶车辆
CN114689106B (zh) * 2022-03-31 2024-03-08 上海擎朗智能科技有限公司 传感器标定方法、机器人及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111360810A (zh) * 2018-12-25 2020-07-03 深圳市优必选科技有限公司 机器人传感器的外参标定方法、装置、机器人及存储介质
CN111179358A (zh) * 2019-12-30 2020-05-19 浙江商汤科技开发有限公司 标定方法、装置、设备及存储介质
CN112258590A (zh) * 2020-12-08 2021-01-22 杭州迦智科技有限公司 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN113077523A (zh) * 2021-03-31 2021-07-06 商汤集团有限公司 一种标定方法、装置、计算机设备及存储介质
CN113640756A (zh) * 2021-08-11 2021-11-12 北京航迹科技有限公司 一种数据标定方法、***、装置、计算机程序以及存储介质
CN115082561A (zh) * 2022-08-16 2022-09-20 江苏魔视智能科技有限公司 一种路侧传感器的标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115439561A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN112598757B (zh) 一种多传感器时间空间标定方法及装置
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
JP6456141B2 (ja) 地図データの生成
CN112384891B (zh) 用于点云着色的方法和***
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
CN114111776B (zh) 定位方法及相关装置
CN114217665A (zh) 一种相机和激光雷达时间同步方法、装置及存储介质
CN114926316A (zh) 距离测量方法、装置、电子设备及存储介质
CN111998870B (zh) 一种相机惯导***的标定方法和装置
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN113450334B (zh) 一种水上目标检测方法、电子设备及存储介质
CN108332662B (zh) 一种物体测量方法和装置
CN115439561B (zh) 机器人的传感器标定方法、机器人及存储介质
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
CN114549768B (zh) 一种三维重建效果检测方法、装置、设备及存储介质
CN116105772A (zh) 一种激光雷达与imu的标定方法、装置及存储介质
CN115035188A (zh) 一种基于目标的距离测量方法、装置及终端设备
CN114359338A (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN115690119A (zh) 一种数据处理方法及装置
CN114119692A (zh) 一种刚性物体几何信息恢复方法、装置及存储介质
JP2021169990A (ja) 測位システム、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant