CN103337066A - 3d获取***的校准方法 - Google Patents
3d获取***的校准方法 Download PDFInfo
- Publication number
- CN103337066A CN103337066A CN2013102018109A CN201310201810A CN103337066A CN 103337066 A CN103337066 A CN 103337066A CN 2013102018109 A CN2013102018109 A CN 2013102018109A CN 201310201810 A CN201310201810 A CN 201310201810A CN 103337066 A CN103337066 A CN 103337066A
- Authority
- CN
- China
- Prior art keywords
- sensor
- coordinate
- attitude
- caliberator
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于3D获取***的校准方法,涉及***校准领域,所述方法包括:A、沿不同路径对校准物进行多次采集,记录每次采集的深度信息、图像信息以及位置信息和姿态信息;B、通过校准校准物在本地坐标系下的三维坐标,得到校准后的深度传感器和位置姿态传感器之间的外参数,以及校准物的准确三维坐标;C、通过校准校准物的准确三维坐标在图像信息中的二维坐标和图像信息中的校准物的平面坐标,得到校准后的图像传感器和位置姿态传感器的外参数。本发明通过一次校准过程同时校准深度传感器和位置姿态传感器之间的外参数以及图像传感器和位置姿态传感器之间的外参数,达到校准所述3D获取***的目的。
Description
技术领域
本发明涉及***校准领域,尤其涉及一种用于3D获取***的校准方法。
背景技术
3D获取***能够方便、快捷、高精度的测量周围环境的三维点云信息和图像信息。通过采集得到的三维点云信息和图像信息,能够建立周围环境的3D彩色模型。得到的3D彩色模型具有广泛的应用范围,如制作普通地图、3D地图、测量测绘和城市管理等。其中大部分的应用都要求相当的精度,而所述3D获取***主要由深度传感器、图像传感器和位置姿态传感器组成,因此也就要求所述的由深度传感器,图像传感器和位置姿态传感器组成的***要有相当的精度。由深度传感器,图像传感器和位置姿态传感器组成的***的精度不仅与各个传感器自身的精度有关,也与各个传感器之间的外参数的精度有关。各个传感器的精度由制造厂商控制,用户无法改变,只能选择不同规格的传感器,但是深度传感器,图像传感器和位置姿态传感器之间的外参数精度能够通过校准提高,从而提高测量的精度。
如果把深度传感器和位置姿态传感器,以及图像传感器和位置姿态传感器分开校准,不仅速度慢、效率低、不方便,而且图像传感器采集的图像信息并不能和深度传感器采集的深度信息恢复出来的点云信息很好的匹配上,因此在一次校准过程中同时校准深度传感器、图像传感器和位置姿态传感器之间的外参数是很有优势的。
在同时校准深度传感器、图像传感器和位置姿态传感器之间的外参数的过程中,由于深度传感器的分辨率有限,每次深度传感器采集恢复出的校准物的点云信息基本都不可能含有相同的点,如果直接用这些不同的点去校准,则校准精度无法保证;同时,由于深度传感器的分辨率有限,深度传感器采集恢复出的校准物的点云信息也不能很好的和图像传感器采集到的校准物的图像信息准确对应起来,因此,本发明提供了一种用于校准深度传感器、图像传感器和位置姿态传感器之间的外参数的方法,用来克服以上难题,达到快速、方便、准确的校准深度传感器、图像传感器和位置姿态传感器之间的外参数的目的。
发明内容
(一)要解决的技术问题
本发明的目的是提供一种快速、方便、准确的3D获取***的校准方法,提高由深度传感器获取的深度信息与由图像传感器获取的图像信息之间的匹配度,同时提高3D获取***的测量精度。
(二)技术方案
为解决上述技术问题,本发明提供了一种3D获取***的校准方法,该方法包括以下步骤:
A、沿不同路径对校准物进行多次采集,记录每次采集的深度信息、图像信息以及位置信息和姿态信息;
B、通过校准校准物的三维坐标,得到校准后的深度传感器和位置姿态传感器之间的外参数,以及校准物的准确三维坐标(xl,yl,zl);
C、通过校准校准物的准确三维坐标(xl,yl,zl)在图像信息中的二维坐标(rlj,clj)和图像信息中的校准物的平面坐标(rcj,ccj),得到校准后的图像传感器和位置姿态传感器的外参数;
所述深度传感器和位置姿态传感器之间的外参数是指深度传感器和位置姿态传感器之间的相对位置和姿态;
所述图像传感器和位置姿态传感器之间的外参数是指图像传感器和位置姿态传感器之间的相对位置和姿态。
所述采集过程中每次采集记录一组深度传感器获取的校准物的深度信息,记录一张或者多张所述图像传感器获取的校准物的图像信息,记录一组所述位置姿态传感器输出的位置信息和姿态信息;共进行N次采集,其中N大于等于2,N次采集一共记录N组所述深度信息,M张图像信息,其中M大于等于3,以及N组位置信息和姿态信息。
所述校准后的深度传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的:
B1、设定一个深度传感器和位置姿态传感器的外参数;
B2、根据上述设定的深度传感器和位置姿态传感器之间的外参数,融合第i次采集中深度传感器采集得到的深度信息以及位置姿态传感器采集到的位置信息和姿态信息,通过三维坐标变换得到三维点云信息,从三维点云信息中找出校准物的三维坐标(xli,yli,zli),其中1≤i≤N;
B3、重复步骤B2直到把上述N次采集的数据都处理完,得到N组校准物的三维坐标点;
B4、计算多次采集得到的几组校准物的三维坐标点是否落在一个最优范围内,如果是落在一个最优范围内则执行步骤B5;否则跳至B1,并修改上述设定的深度传感器和位置姿态传感器之间的外参数;
B5、使多次采集得到的几组校准物的三维坐标点都落在一个最优范围内的深度传感器和位置姿态传感器的外参数就是校准后的深度传感器和位置姿态传感器的外参数;
B6、通过平均值法计算校准物的准确三维坐标(xl,yl,zl);
所述位置姿态传感器输出的位置信息和姿态信息分别是被检测物的经度、维度和高度,以及俯仰角、横滚角和方向角。
上述步骤B4和B5所述最优范围是一个足够小的球体范围,使上述得到的多组三维坐标点都落在这个球体范围内;或者通过上述得到的多组三维坐标点的均方差,或者方差,或者其他类似的统计指标在搜索范围内为最小值来确定。
所述校准后的图像传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的:
C1、设定一个图像传感器和位置姿态传感器的外参数;
C2、从图像传感器采集到的第j张图像信息中找到校准物的平面坐标(rcj,ccj),其中1≤j≤M;
C3、从图像传感器坐标系xyzO中取出原点O,从x坐标轴、y坐标轴、z坐标轴中选取任意两个坐标轴,分别在上述选取的两个坐标轴上任意选取一个点;
根据所述设定的图形传感器与位置姿态传感器之间的外参数,通过三维坐标旋转变换和三维坐标平移变换,能够得到点O和上述选取的两个点在位置姿态传感器坐标系下的三维坐标;
找出图像传感器采集到该张图像信息时刻的位置姿态传感器采集的位置信息和姿态信息,并通过大地坐标变换,得到点O和上述选取的两个点在本地坐标下的三维坐标,通过所述点O和上述选取的两个点,在本地坐标系下恢复出图像传感器x坐标轴,y坐标轴和z坐标轴,以及图像传感器坐标系的原点O;
利用该图像传感器的小孔成像模型把步骤B得到的校准物的准确三维坐标通过投影变换变换到该图像传感器平面,即得到该校准物的准确三维坐标(xl,yl,zl)在该图像信息中的二维坐标(rlj,clj);
最后求差值
C6:使M组差值落在一个最优范围内的图像传感器和位置姿态传感器的外参数就是校准后的图像传感器和位置姿态传感器的外参数。
上述步骤C5和C6所述最优范围是一个足够小的圆形范围,能够使上述步骤得到的M组差值都落在这一圆形范围内;或者通过上述步骤得到的M组差值的均方差在搜索范围内为最小值来确定。
上述校准物由三个平板组成,至少两个上述平板的外表面有能够被图像传感器识别的特征直线;上述三个平板的外表面构成校准物的三个特征平面,所述三个特征平面两两不共面,并且所述特征直线的交点和所述特征平面的交点在空间上重合;
所述平板的外表面是指所述平板的能够被图像传感器扫描到的一面。
所述步骤B2具体包括:
B2.1、深度传感器扫描到的某一物体的三维坐标在深度传感器坐标系下为(xo2l,yo2l,zo2l),利用所述设定的深度传感器与位置姿态传感器之间的外参数,将这一坐标映射到位置姿态传感器坐标系下,得到(xo2G,yo2G,zo2G);
将(xo2G,yo2G,zo2G)与深度传感器扫描上述这一物体同一时刻的位置姿态传感器采集的位置信息和姿态信息结合,通过大地坐标变换得到这一物体在本地坐标系下的三维坐标(x,y,z);
深度坐标器采集到的全部物体在本地坐标系下的全部三维坐标,构成三维点云信息;
B2.2、从三维点云信息中找出校准物的三个特征平面,并分别用平面方程拟合所述三个特征平面的平面方程;
B2.3、求所述三个特征平面的平面方程的交点,把该交点作为校准物的三维坐标点(xli,yli,zli)。
优选地,所述平面方程拟合的方法是最小二乘法。
所述步骤C2提取图像信息中校准物的平面坐标的方法具体包括:
C2.1:在所述图像信息中,找到所述校准物的两条特征直线;
C2.2:用直线方程拟合所述两条特征直线,得到特征直线的直线方程;
C2.3:求出所述两条特征直线的交点,作为校准物的平面坐标。
优选地,所述直线方程拟合的方法是最小二乘法。
优选地,所述深度传感器是二维激光雷达;所述图像传感器是单色或者彩色或者红外的CMOS或者CCD图像传感器;所述位置姿态传感器是全球定位***(Global Positioning System,GPS)、差分全球定位***(Differential Global Positioning System,DGPS)、北斗卫星导航***、格洛纳斯***(GLONASS)、伽利略定位***(Galileo)中的一种或者多种的组合与惯性测量单元(Inertial Measurement Unit,IMU)组成的组合导航***。
(三)有益效果
本发明提出了一种3D获取***的校准方法,通过一次校准过程同时校准深度传感器、图像传感器和位置姿态传感器之间的外参数,提高3D获取***的精度,方法快速、方便、准确;同时能够提高图像传感器采集的图像信息和深度传感器采集的深度信息的匹配度;同时,通过一种校准物的设计和与之对应的校准方法,能够避免因为深度传感器的分辨率不够导致的校准精度不高的问题。
结合附图阅读本发明实施方式的详细描述后,本发明的其他特点和优点将变得更加清楚。
附图说明
图1是根据本发明的校准方法的示意流程图;
图2是图1所示方法中的步骤B的一种实施方式的示意流程图;
图3是图1所示方法中的步骤C的一种实施方式的示意流程图;
图4是本发明的实施例所述的校准物的两种结构示意图。
图5是图2中步骤B2的具体方法流程图;
图6是图3中步骤C2的具体方法流程图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
在实施例1中,深度传感器是二维激光雷达;图像传感器是彩色CMOS图像传感器或者彩色CCD图像传感器;位置姿态传感器是GPS与IMU组成的组合导航***。
步骤A:用3D获取***沿不同路径对校准物进行N(N≥2)次采集,即用放置在移动平台上的深度传感器,图像传感器和位置姿态传感器沿不同路径对校准物进行N(N≥2)次采集;每次采集记录一组所述深度传感器获取校准物的深度信息,记录一张或者多张所述图像传感器获取校准物的图像信息,记录一组所述位置姿态传感器输出的位置信息和姿态信息;N次采集一共记录N组所述深度信息,M(M≥N)张图像信息,以及N组位置信息和姿态信息;
步骤B:分别融合N次采集得到的深度信息、位置信息和姿态信息,通过校准校准物的三维坐标(xli,yli,zli)(1≤i≤N)来校准深度传感器和位置姿态传感器的外参数,并得到校准物的准确三维坐标(xl,yl,zl)。
所述的深度传感器和位置姿态传感器之间的外参数是指深度传感器和位置姿态传感器之间的相对位置和姿态,即深度传感器和位置姿态传感器的坐标原点之间的距离和对应坐标轴之间的夹角,用三个平移量 和三个角度值 表示;其中示深度传感器的坐标原点和位置姿态传感器的坐标系的x方向的偏移量,表示深度传感器的坐标原点和位置姿态传感器的坐标系的y方向的偏移量,表示深度传感器的坐标原点和位置姿态传感器的坐标系的z方向的偏移量,表示深度传感器的坐标轴在位置姿态传感器的坐标系下的俯仰角,表示深度传感器的坐标轴在位置姿态传感器的坐标系下的横滚角,表示深度传感器的坐标轴在位置姿态传感器的坐标系下的方向角。
步骤C:把校准物的准确三维坐标(xl,yl,zl),分别与N次采集得到的M张图像信息以及位置信息和姿态信息融合,并通过校准校准物的准确三维坐标在图像信息中的二维坐标(rlj,clj)和图像信息中的校准物的平面坐标(rcj,ccj)来校准图像传感器和位置姿态传感器的外参数。
所述的图像传感器和位置姿态传感器之间的外参数是指图像传感器和位置姿态传感器之间的相对位置和姿态,即图像传感器和位置姿态传感器的坐标原点之间的距离和对应坐标轴之间的夹角,用三个平移量 和三个角度值 表示;其中表示位置姿态传感器的坐标原点和图像姿态传感器的坐标系的x方向的偏移量,表示位置姿态传感器的坐标原点和图像传感器的坐标系的y方向的偏移量,表示位置姿态传感器的坐标原点和图像传感器的坐标系的z方向的偏移量,表示位置姿态传感器的坐标轴在图像传感器的坐标系下的俯仰角,表示位置姿态传感器的坐标轴在图像传感器的坐标系下的横滚角,表示位置姿态传感器的坐标轴在图像传感器的坐标系下的方向角。
至此,得到的所述的校准后的深度传感器和位置姿态传感器之间的外参数,和所述的校准后的图像传感器和位置姿态传感器之间的外参数既是所需的深度传感器,图像传感器和位置姿态传感器之间的外参数,即完成了3D获取***的校准。
其中所述步骤B具体包括:
步骤B1:首先设定一个深度传感器和位置姿态传感器的外参数。
步骤B2:取出N次采集中的第i次(1≤i≤N)采集得到的深度信息。
所述深度信息是指深度传感器沿自身的XoZ平面扫描,返回的空间中一物体距离深度传感器的距离do2l和对应的角度do2l,因此在深度传感器坐标系下空间中某一物体的直角坐标为(xo2l,yo2l,zo2l)=(do2lcos(θo2l),0,do2lsin(θo2l)),通过所述设定的深度传感器和位置姿态传感器之间的外参数,并通过三维旋转变换和三维平移变换,能够得到所述空间中一物体在位置姿态传感器坐标系下的三维坐标(xo2G,yo2G,zo2G),再通过找出深度传感器采集到所述空间中一物体时刻的位置姿态传感器的位置信息和姿态信息,通过大地坐标变换,能够得到所述空间中一物体在本地坐标系下的三维坐标(x,y,z)。按照此步骤能够恢复出该次采集,深度传感器采集到的全部外界物体在本地坐标系下的三维坐标,所述所有的本地坐标系下的三维坐标也称为三维点云信息。从三维点云信息中找出校准物的三维坐标(xli,yli,zli)。
所述位置姿态传感器的位置信息和姿态信息分别是位置姿态传感器采集到的经度、维度和高度,以及俯仰角、横滚角和方向角。
子步骤B3:重复步骤B2,直到把N次采集都处理,并得到N组校准物的三维坐标点,分别为(xli,yli,zli)(1≤i≤N)。
步骤B4:计算N次采集得到的N组校准物的三维坐标点(xli,yli,zli)(1≤i≤N)是否落在一个最优范围内,如果是落在一个最优范围内,则执行子步骤B5,如果不是落在一个最优范围内,则跳至B1并通过一定的方法,如退火算法,或者遍历法,重新设定深度传感器和位置姿态传感器的外参数。
所述最优范围是N组校准物的三维坐标点(xli,yli,zli)(1≤i≤N)都落在一个足够小的球体范围内;或者N组校准物的三维坐标点(xli,yli,zli)(1≤i≤N)的均方差,或者方差,或者其他类似的统计指标在搜索范围内为最小值。
步骤B5:使N次采集得到的N组校准物的三维坐标点(xli,yli,zli)(1≤i≤N)落在一个最优范围内的深度传感器和位置姿态传感器的外参数就是校准后的深度传感器和位置姿态传感器的外参数;
步骤B6:使用该N组校准物的三维坐标点(xli,yli,zli)(1≤i≤N)通过平均值法,计算得到校准物的准确三维坐标(xl,yl,zl);其中
其中所述步骤B2具体包括:
B2.1:取出N次采集中的第i(1≤i≤N)次采集得到的深度信息。
所述深度信息是指深度传感器沿自身的XoZ平面扫描,返回的空间中一物体距离深度传感器的距离do2l和对应的角度θo2l,因此在深度传感器坐标系下空间中某一物体的直角坐标为(xo2l,yo2l,zo2l)=(do2lcos(θo2l),0,do2lsin(θo2l)),通过所述设定的深度传感器和位置姿态传感器之间的外参数,并通过三维旋转变换和三维平移变换,能够得到所述空间中一物体在位置姿态传感器坐标系下的三维坐标(xo2G,yo2G,zo2G),再通过找出深度传感器采集到所述空间中一物体时刻的位置姿态传感器的位置信息和姿态信息,通过大地坐标变换,能够得到所述空间中一物体在本地坐标系下的三维坐标(x,y,z)。按照此步骤能够恢复出该次采集,深度传感器采集到的全部外界物体在本地坐标系下的三维坐标,所述所有的本地坐标系下的三维坐标也称为三维点云信息。
所述位置姿态传感器的位置信息和姿态信息分别是位置姿态传感器采集到的经度、维度和高度,以及俯仰角、横滚角和方向角。
B2.2:所述校准物的示意图如图4中的(a)或者(b)所示,图中(a)和(b)均由三个平板1、2、3构成,图(a)的三个平板在空间中两两不相交,图(b)的三个平板在空间中相交,所述三个平板的外表面构成校准物的三个特征平面4、5、6,且其中两个特征平面5、6的对角线为能够被图像传感器分辨出来的特征直线7和8,且特征直线7和8(或其延长线)的交点与三个特征平面4、5、6(或其扩展平面)的交点在空间上重合(图(a)中虚线所示)。
所述构成校准物的三个平板可以是木板,塑料板,金属板或者纸板等外表面平整的薄板,所述特征直线是油墨线,或者喷涂的直线,或者用笔画的直线,或者拉直附着在平板外表面的毛线、丝线、胶带等能够被图像传感器识别的直线。
从三维点云信息中找出校准物的三个特征平面的点云信息,并分别用平面方程拟合所述三个特征平面的平面方程;拟合的方法包括最小二乘法。
B2.3:求出所述的三个特征平面的平面方程的交点,把该交点作为校准物的三维坐标点(xli,yli,zli)。
其中所述步骤C具体包括:
步骤C1:首先设定一个图像传感器和位置姿态传感器的外参数。
步骤C2:从图像传感器采集到的M张图像信息中的第j张(1≤j≤M)图像信息中找到校准物的平面坐标(rcj,ccj)。
步骤C3:从图像传感器坐标系xyzO中取出原点O,其三维坐标为从图像传感器坐标系的x坐标轴、y坐标轴、z坐标轴中选取任意两个坐标轴,假设选取图像传感器坐标系的x坐标轴和y坐标轴,从图像传感器坐标系的x坐标轴上取一点X,其三维坐标为从图像传感器坐标系的y坐标轴上取一点Y,其三维坐标为通过所述设定的图形传感器和位置姿态传感器之间的外参数,通过三维坐标旋转变换和三维坐标平移变换,可以得到原点点和点在位置姿态传感器坐标下的三维坐标,原点O变换为点X变换为点Y变换为再找出图像传感器采集到该张图像信息时刻的位置姿态传感器的位置信息和姿态信息,并通过大地坐标变换,得到点点和点在本地坐标下的三维坐标,原点O变换为(xo,yo,zo),点X变换为(xx,yx,zx),点Y变换为(xy,yy,zy);在本地坐标系下恢复出图像传感器坐标系的x坐标轴,y坐标轴和z坐标轴,和图像传感器坐标系的原点O,其中图像传感器坐标系的原点O在本地坐标系下的坐标为(xo,yo,zo),图像传感器坐标系的x坐标轴在本地坐标系下可表示为向量 图像传感器坐标系的y坐标轴在本地坐标系下可表示为向量 其中符号图像传感器坐标系的z坐标轴在本地坐标系下可表示为向量 能够用左手坐标系法则从 求出,在此例中,其中符号×表示向量间的叉乘;通过所述在本地坐标系下恢复出图像传感器坐标系的x坐标轴,y坐标轴和z坐标轴,以及图像传感器坐标系的原点O,并该图像传感器的小孔成像模型把校准物的准确三维坐标(xl,yl,zl)通过投影变换变换到该图像传感器平面,即得到该校准物的准确三维坐标((xl,yl,zl)在该图像信息中的二维坐标(rlj,clj),最后求差值
步骤C5:计算所有采集得到的M组差值是否落在一个最优范围内,如果是落在一个最优范围内,则执行C6,如果不是落在一个最优范围内,则跳至C1并通过一定的方法,如退火算法,或者遍历法,重新设定图像传感器和位置姿态传感器的外参数。
步骤C6:使M组差值落在一个最优范围内的图像传感器和位置姿态传感器的外参数就是校准后的图像传感器和位置姿态传感器的外参数。
其中所述步骤C2具体包括:
C2.1:所述校准物的示意图如图4中的(a)或者(b)所示,图中(a)和(b)均由三个平板1、2、3构成,图(a)的三个平板在空间中两两不相交,图(b)的三个平板在空间中相交,所述三个平板的外表面构成校准物的三个特征平面4、5、6,且其中两个特征平面5、6的对角线为能够被图像传感器分辨出来的特征直线7和8,且特征直线7和8(或其延长线)的交点与三个特征平面4、5、6(或其扩展平面)的交点在空间上重合(图(a)中虚线所示)。
所述构成校准物的三个平板可以是木板,塑料板,金属板或者纸板等外表面平整的薄板,所述特征直线是油墨线或者拉直附着在平板外表面的毛线、丝线、胶带等能够被图像传感器识别的直线。
从图像传感器采集到的M张图像信息中的第j张(1≤j≤M)图像信息中找到所述两条特征直线。
C2.2:用直线方程拟合所述两条特征直线,得到特征直线的直线方程;所述直线方程拟合的方法包括最小二乘法。
C2.3:求出所述两条特征直线的直线方程的交点,作为校准物的平面坐标(rcj,ccj)。
在实施例2中,图像传感器是单色的CMOS图像传感器或者单色的CCD图像传感器。所述特征直线为单色的CMOS图像传感器或者单色的CCD图像传感器能够根据亮度信息从背景中区分出来的特征直线。
在实施例3中,图像传感器是红外的CMOS图像传感器或者红外的CCD图像传感器。所述特征直线为红外的CMOS图像传感器或者红外的CCD图像传感器能够根据红外亮度信息从背景中区分出来的特征直线。
在实施例4中,位置姿态传感器是全球定位***(GlobalPositioning System,GPS)、差分全球定位***(Differential GlobalPositioning System,DGPS)、北斗卫星导航***、格洛纳斯***(GLONASS)、伽利略定位***(Galileo)中的一种或者多种的组合与惯性测量单元(Inertial Measurement Unit,IMU)组成的组合导航***。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还能够做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。
Claims (12)
1.一种3D获取***的校准方法,其特征在于,该方法包括以下步骤:
A、沿不同路径对校准物进行多次采集,记录每次采集的深度信息、图像信息以及位置信息和姿态信息;
B、通过校准校准物的三维坐标,得到校准后的深度传感器和位置姿态传感器之间的外参数,以及校准物的准确三维坐标(xl,yl,zl);
C、通过校准校准物的准确三维坐标(xl,yl,zl)在图像信息中的二维坐标(rlj,clj)和图像信息中的校准物的平面坐标(rcj,ccj),得到校准后的图像传感器和位置姿态传感器的外参数;
所述深度传感器和位置姿态传感器之间的外参数是指深度传感器和位置姿态传感器之间的相对位置和姿态;
所述图像传感器和位置姿态传感器之间的外参数是指图像传感器和位置姿态传感器之间的相对位置和姿态。
2.如权利要求1所述的方法,其特征在于,所述采集过程中每次采集记录一组深度传感器获取的校准物的深度信息,记录一张或者多张所述图像传感器获取的校准物的图像信息,记录一组所述位置姿态传感器输出的位置信息和姿态信息;共进行N次采集,其中N大于等于2,N次采集一共记录N组所述深度信息,M张图像信息,其中M大于等于3,以及N组位置信息和姿态信息。
3.如权利要求2所述的方法,其特征在于,所述校准后的深度传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的:
B1、设定一个深度传感器和位置姿态传感器的外参数;
B2、根据上述设定的深度传感器和位置姿态传感器之间的外参数,融合第i次采集中深度传感器采集得到的深度信息以及位置姿态传感器采集到的位置信息和姿态信息,通过三维坐标变换得到三维点云信息,从三维点云信息中找出校准物的三维坐标(xli,yli,zli),其中1≤i≤N;
B3、重复步骤B2直到把上述N次采集的数据都处理完,得到N组校准物的三维坐标点;
B4、计算多次采集得到的几组校准物的三维坐标点是否落在一个最优范围内,如果是落在一个最优范围内则执行步骤B5;否则跳至B1,并修改上述设定的深度传感器和位置姿态传感器之间的外参数;
B5、使多次采集得到的几组校准物的三维坐标点都落在一个最优范围内的深度传感器和位置姿态传感器的外参数就是校准后的深度传感器和位置姿态传感器的外参数;
B6、通过平均值法计算校准物的准确三维坐标(xl,yl,zl);
所述位置姿态传感器输出的位置信息和姿态信息分别是被检测物的经度、维度和高度,以及俯仰角、横滚角和方向角。
4.如权利要求3所述的方法,其特征在于,所述最优范围是一个足够小的球体范围,使上述得到的多组三维坐标点都落在这个球体范围内;或者通过上述得到的多组三维坐标点的均方差,或者方差,或者其他类似统计指标在搜索范围内为最小值来确定。
5.如权利要求2所述的方法,其特征在于,所述校准后的图像传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的:
C1、设定一个图像传感器和位置姿态传感器的外参数;
C2、从图像传感器采集到的第j张图像信息中找到校准物的平面坐标(rcj,ccj),其中1≤j≤M;
C3、从图像传感器坐标系xyzO中取出原点O,从图像传感器坐标系的x坐标轴、y坐标轴、z坐标轴中选取任意两个坐标轴,分别在上述选取的两个坐标轴上任意选取一个点;
根据所述设定的图形传感器与位置姿态传感器之间的外参数,通过三维坐标旋转变换和三维坐标平移变换,能够得到原点O和上述选取的两个点在位置姿态传感器坐标系下的三维坐标;
找出图像传感器采集到该张图像信息时刻的位置姿态传感器采集的位置信息和姿态信息,并通过大地坐标变换,得到原点O和上述选取的两个点在本地坐标下的三维坐标,通过所述原点O和上述选取的两个点,在本地坐标系下恢复出图像传感器坐标系的x坐标轴,y坐标轴和z坐标轴,以及图像传感器坐标系的原点O;
根据所述在本地坐标系下恢复出图像传感器坐标系的x坐标轴,y坐标轴和z坐标轴,以及图像传感器坐标系的原点O,并利用该图像传感器的小孔成像模型把步骤B得到的校准物的准确三维坐标通过投影变换变换到该图像传感器平面,即得到该校准物的准确三维坐标(xl,yl,zl)在该图像信息中的二维坐标(rlj,clj);
最后求差值
C6:使M组差值落在一个最优范围内的图像传感器和位置姿态传感器的外参数就是校准后的图像传感器和位置姿态传感器的外参数。
6.如权利要求5所述的方法,其特征在于,所述最优范围是一个足够小的圆形范围,能够使上述步骤得到的M组差值都落在这一圆形范围内;或者通过上述步骤得到的M组差值的均方差,或者方差,或者其他类似统计指标在搜索范围内为最小值来确定。
7.如权利要求1至6中任一项所述的方法,其特征在于,所述校准物由三个平板组成,至少两个上述平板的外表面有能够被图像传感器识别的特征直线;上述三个平板的外表面构成校准物的三个特征平面,所述三个特征平面两两不共面,并且所述特征直线的交点和所述特征平面的交点在空间上重合;
所述平板的外表面是指所述平板的能够被图像传感器扫描到的一面。
8.如权利要求7所述的方法,其特征在于,所述步骤B2具体包括:
B2.1、深度传感器扫描到的某一物体的三维坐标在深度传感器坐标系下为(xo2l,yo2l,zo2l),利用所述设定的深度传感器与位置姿态传感器之间的外参数,将这一坐标映射到位置姿态传感器坐标系下,得到(xo2G,yo2G,zo2G);
将(xo2G,yo2G,zo2G)与深度传感器扫描上述这一物体同一时刻的位置姿态传感器采集的位置信息和姿态信息结合,通过大地坐标变换得到这一物体在本地坐标系下的三维坐标(x,y,z);
深度坐标器采集到的全部物体在本地坐标系下的全部三维坐标,构成三维点云信息;
B2.2、从三维点云信息中找出校准物的三个特征平面,并分别用平面方程拟合所述三个特征平面的平面方程;
B2.3、求所述三个特征平面的平面方程的交点,把该交点作为校准物的三维坐标点(xli,yli,zli)。
9.如权利要求8所述的方法,其特征在于,所述平面方程拟合的方法是最小二乘法。
10.如权利要求7所述的方法,其特征在于,所述步骤C2提取图像信息中校准物的平面坐标的方法具体包括:
C2.1:在所述图像信息中,找到所述校准物的两条特征直线;
C2.2:用直线方程拟合所述两条特征直线,得到特征直线的直线方程;
C2.3:求出所述两条特征直线的交点,作为校准物的平面坐标。
11.如权利要求10所述的方法,其特征在于,所述直线方程拟合的方法是最小二乘法。
12.如权利要求1所述的方法,其特征在于,所述深度传感器是二维激光雷达;
所述图像传感器是单色或者彩色或者红外的CMOS或者CCD图像传感器;
所述位置姿态传感器是全球定位***、差分全球定位***、北斗卫星导航***、格洛纳斯***、伽利略定位***中的一种或者多种的组合与惯性测量单元组成的组合导航***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310201810.9A CN103337066B (zh) | 2013-05-27 | 2013-05-27 | 3d获取***的校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310201810.9A CN103337066B (zh) | 2013-05-27 | 2013-05-27 | 3d获取***的校准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103337066A true CN103337066A (zh) | 2013-10-02 |
CN103337066B CN103337066B (zh) | 2016-05-18 |
Family
ID=49245214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310201810.9A Active CN103337066B (zh) | 2013-05-27 | 2013-05-27 | 3d获取***的校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103337066B (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102357A (zh) * | 2014-07-04 | 2014-10-15 | Tcl集团股份有限公司 | 一种虚拟场景中的3d模型检测方法及装置 |
CN104634249A (zh) * | 2015-02-06 | 2015-05-20 | 南京理工大学 | 推进剂加注过程中运载火箭运动信号探测定位方法 |
CN105678076A (zh) * | 2016-01-07 | 2016-06-15 | 福州华鹰重工机械有限公司 | 点云测量数据质量评估优化的方法及装置 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构***及方法 |
CN106510071A (zh) * | 2016-12-31 | 2017-03-22 | 上海工程技术大学 | 一种智能测体装置 |
CN106996795A (zh) * | 2016-01-22 | 2017-08-01 | 腾讯科技(深圳)有限公司 | 一种车载激光外参标定方法和装置 |
CN107449459A (zh) * | 2016-04-18 | 2017-12-08 | 奥的斯电梯公司 | 自动调试***和方法 |
CN107608541A (zh) * | 2017-10-17 | 2018-01-19 | 宁波视睿迪光电有限公司 | 三维姿态定位方法、装置及电子设备 |
CN107644121A (zh) * | 2017-08-18 | 2018-01-30 | 昆明理工大学 | 一种路面材料骨架结构的逆向三维重构与实体建模方法 |
CN108292285A (zh) * | 2015-11-19 | 2018-07-17 | 捷普有限公司 | 用于可扩展基于云的传感器校准的***和方法 |
CN108603933A (zh) * | 2016-01-12 | 2018-09-28 | 三菱电机株式会社 | 用于融合具有不同分辨率的传感器输出的***和方法 |
CN108701344A (zh) * | 2016-02-11 | 2018-10-23 | 讯宝科技有限责任公司 | 在确定移动盒体的尺寸时突出显示盒体表面和边缘的方法和*** |
CN110109143A (zh) * | 2019-04-30 | 2019-08-09 | 北京云迹科技有限公司 | 多线激光雷达与imu的位姿标定方法及装置 |
CN110267771A (zh) * | 2017-02-03 | 2019-09-20 | 三菱电机株式会社 | 变换系数计算装置、变换系数计算方法及变换系数计算程序 |
CN110567486A (zh) * | 2019-08-15 | 2019-12-13 | 深圳市瑞立视多媒体科技有限公司 | 校准3d旋转差异的数学模型构建方法、校准方法及其装置 |
CN111254066A (zh) * | 2018-12-03 | 2020-06-09 | 长光华大基因测序设备(长春)有限公司 | 一种成像调节装置和高通量基因测序仪 |
CN111273312A (zh) * | 2020-01-15 | 2020-06-12 | 吉林大学 | 一种智能车辆定位与回环检测方法 |
US10742961B2 (en) | 2015-09-02 | 2020-08-11 | Industrial Technology Research Institute | Depth sensing apparatus with self-calibration and self-calibration method thereof |
CN111716340A (zh) * | 2019-03-22 | 2020-09-29 | 达明机器人股份有限公司 | 3d相机与机械手臂坐标***的校正装置及方法 |
CN111862203A (zh) * | 2019-04-30 | 2020-10-30 | 高新兴科技集团股份有限公司 | 基于3d地图的球机位置与姿态参数校准方法、存储介质 |
CN111975781A (zh) * | 2020-08-25 | 2020-11-24 | 北京华航唯实机器人科技股份有限公司 | 机器人修正方法及装置、机器人 |
WO2021209904A1 (en) * | 2020-04-14 | 2021-10-21 | Plusai Limited | Integrated fiducial marker for simultaneously calibrating sensors of different types |
US11210811B2 (en) | 2016-11-03 | 2021-12-28 | Intel Corporation | Real-time three-dimensional camera calibration |
GB2605621A (en) | 2021-04-07 | 2022-10-12 | Robok Ltd | Monocular depth estimation |
US11609340B2 (en) | 2020-04-14 | 2023-03-21 | Plusai, Inc. | System and method for GPS based automatic initiation of sensor calibration |
US11635313B2 (en) | 2020-04-14 | 2023-04-25 | Plusai, Inc. | System and method for simultaneously multiple sensor calibration and transformation matrix computation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102314682A (zh) * | 2011-07-11 | 2012-01-11 | 深圳超多维光电子有限公司 | 一种标定摄像头的方法、装置和*** |
CN102472609A (zh) * | 2009-07-28 | 2012-05-23 | 佳能株式会社 | 位置和姿势校准方法及设备 |
CN102572505A (zh) * | 2010-11-03 | 2012-07-11 | 微软公司 | 家中深度相机校准 |
-
2013
- 2013-05-27 CN CN201310201810.9A patent/CN103337066B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102472609A (zh) * | 2009-07-28 | 2012-05-23 | 佳能株式会社 | 位置和姿势校准方法及设备 |
CN102572505A (zh) * | 2010-11-03 | 2012-07-11 | 微软公司 | 家中深度相机校准 |
CN102314682A (zh) * | 2011-07-11 | 2012-01-11 | 深圳超多维光电子有限公司 | 一种标定摄像头的方法、装置和*** |
Non-Patent Citations (1)
Title |
---|
赵 凯,谢 翔,李国林,陈文首,任仡奕: "基于单纯形的移动测绘***初始安装校准方法", 《仪器仪表学报》 * |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104102357A (zh) * | 2014-07-04 | 2014-10-15 | Tcl集团股份有限公司 | 一种虚拟场景中的3d模型检测方法及装置 |
CN104102357B (zh) * | 2014-07-04 | 2017-12-19 | Tcl集团股份有限公司 | 一种虚拟场景中的3d模型检测方法及装置 |
CN104634249B (zh) * | 2015-02-06 | 2017-08-29 | 南京理工大学 | 推进剂加注过程中运载火箭运动信号探测定位方法 |
CN104634249A (zh) * | 2015-02-06 | 2015-05-20 | 南京理工大学 | 推进剂加注过程中运载火箭运动信号探测定位方法 |
US10742961B2 (en) | 2015-09-02 | 2020-08-11 | Industrial Technology Research Institute | Depth sensing apparatus with self-calibration and self-calibration method thereof |
CN108292285A (zh) * | 2015-11-19 | 2018-07-17 | 捷普有限公司 | 用于可扩展基于云的传感器校准的***和方法 |
CN108292285B (zh) * | 2015-11-19 | 2022-04-15 | 捷普有限公司 | 用于可扩展基于云的传感器校准的***和方法 |
CN105678076B (zh) * | 2016-01-07 | 2018-06-22 | 福州华鹰重工机械有限公司 | 点云测量数据质量评估优化的方法及装置 |
CN105678076A (zh) * | 2016-01-07 | 2016-06-15 | 福州华鹰重工机械有限公司 | 点云测量数据质量评估优化的方法及装置 |
CN108603933A (zh) * | 2016-01-12 | 2018-09-28 | 三菱电机株式会社 | 用于融合具有不同分辨率的传感器输出的***和方法 |
CN106996795A (zh) * | 2016-01-22 | 2017-08-01 | 腾讯科技(深圳)有限公司 | 一种车载激光外参标定方法和装置 |
CN108701344A (zh) * | 2016-02-11 | 2018-10-23 | 讯宝科技有限责任公司 | 在确定移动盒体的尺寸时突出显示盒体表面和边缘的方法和*** |
CN108701344B (zh) * | 2016-02-11 | 2020-09-15 | 讯宝科技有限责任公司 | 在确定移动盒体的尺寸时突出显示盒体表面和边缘的方法和*** |
CN107449459A (zh) * | 2016-04-18 | 2017-12-08 | 奥的斯电梯公司 | 自动调试***和方法 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构***及方法 |
CN106056664B (zh) * | 2016-05-23 | 2018-09-21 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构***及方法 |
US11210811B2 (en) | 2016-11-03 | 2021-12-28 | Intel Corporation | Real-time three-dimensional camera calibration |
CN106510071A (zh) * | 2016-12-31 | 2017-03-22 | 上海工程技术大学 | 一种智能测体装置 |
CN110267771A (zh) * | 2017-02-03 | 2019-09-20 | 三菱电机株式会社 | 变换系数计算装置、变换系数计算方法及变换系数计算程序 |
CN107644121A (zh) * | 2017-08-18 | 2018-01-30 | 昆明理工大学 | 一种路面材料骨架结构的逆向三维重构与实体建模方法 |
CN107644121B (zh) * | 2017-08-18 | 2020-07-31 | 昆明理工大学 | 一种路面材料骨架结构的逆向三维重构与实体建模方法 |
CN107608541A (zh) * | 2017-10-17 | 2018-01-19 | 宁波视睿迪光电有限公司 | 三维姿态定位方法、装置及电子设备 |
CN111254066B (zh) * | 2018-12-03 | 2023-05-05 | 长春长光华大智造测序设备有限公司 | 一种成像调节装置和高通量基因测序仪 |
CN111254066A (zh) * | 2018-12-03 | 2020-06-09 | 长光华大基因测序设备(长春)有限公司 | 一种成像调节装置和高通量基因测序仪 |
CN111716340A (zh) * | 2019-03-22 | 2020-09-29 | 达明机器人股份有限公司 | 3d相机与机械手臂坐标***的校正装置及方法 |
CN110109143B (zh) * | 2019-04-30 | 2021-10-26 | 北京云迹科技有限公司 | 多线激光雷达与imu的位姿标定方法及装置 |
CN111862203B (zh) * | 2019-04-30 | 2024-05-17 | 高新兴科技集团股份有限公司 | 基于3d地图的球机位置与姿态参数校准方法、存储介质 |
CN110109143A (zh) * | 2019-04-30 | 2019-08-09 | 北京云迹科技有限公司 | 多线激光雷达与imu的位姿标定方法及装置 |
CN111862203A (zh) * | 2019-04-30 | 2020-10-30 | 高新兴科技集团股份有限公司 | 基于3d地图的球机位置与姿态参数校准方法、存储介质 |
CN110567486A (zh) * | 2019-08-15 | 2019-12-13 | 深圳市瑞立视多媒体科技有限公司 | 校准3d旋转差异的数学模型构建方法、校准方法及其装置 |
CN110567486B (zh) * | 2019-08-15 | 2021-04-13 | 深圳市瑞立视多媒体科技有限公司 | 校准3d旋转差异的数学模型构建方法、校准方法及其装置 |
CN111273312B (zh) * | 2020-01-15 | 2023-04-07 | 吉林大学 | 一种智能车辆定位与回环检测方法 |
CN111273312A (zh) * | 2020-01-15 | 2020-06-12 | 吉林大学 | 一种智能车辆定位与回环检测方法 |
US11609340B2 (en) | 2020-04-14 | 2023-03-21 | Plusai, Inc. | System and method for GPS based automatic initiation of sensor calibration |
US11635313B2 (en) | 2020-04-14 | 2023-04-25 | Plusai, Inc. | System and method for simultaneously multiple sensor calibration and transformation matrix computation |
US11673567B2 (en) | 2020-04-14 | 2023-06-13 | Plusai, Inc. | Integrated fiducial marker for simultaneously calibrating sensors of different types |
WO2021209904A1 (en) * | 2020-04-14 | 2021-10-21 | Plusai Limited | Integrated fiducial marker for simultaneously calibrating sensors of different types |
CN111975781A (zh) * | 2020-08-25 | 2020-11-24 | 北京华航唯实机器人科技股份有限公司 | 机器人修正方法及装置、机器人 |
CN111975781B (zh) * | 2020-08-25 | 2021-10-26 | 北京华航唯实机器人科技股份有限公司 | 机器人修正方法及装置、机器人 |
GB2605621A (en) | 2021-04-07 | 2022-10-12 | Robok Ltd | Monocular depth estimation |
Also Published As
Publication number | Publication date |
---|---|
CN103337066B (zh) | 2016-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103337066A (zh) | 3d获取***的校准方法 | |
Caroti et al. | Accuracy assessment in structure from motion 3D reconstruction from UAV-born images: The influence of the data processing methods | |
CN101241011B (zh) | 激光雷达平台上高精度定位、定姿的装置和方法 | |
CN100557634C (zh) | 一种基于双一维靶标的摄像机标定方法 | |
CN102645209B (zh) | 机载LiDAR点云和高分辨率影像进行空间点的联合定位方法 | |
CN109242918B (zh) | 一种直升机机载双目立体视觉标定方法 | |
CN107505644A (zh) | 基于车载多传感器融合的三维高精度地图生成***及方法 | |
CN106461402A (zh) | 用于确定相对于数字地图的位置的方法及*** | |
CN113820735B (zh) | 位置信息的确定方法、位置测量设备、终端及存储介质 | |
CN103323855A (zh) | 一种基线动态测量***的精度获取方法 | |
CN100386647C (zh) | 基于pos的机载干涉sar***及方法 | |
CN108759815B (zh) | 一种用于全局视觉定位方法中的信息融合组合导航方法 | |
CN109581338A (zh) | 一种标定多激光雷达外参数的***及其方法 | |
CN105509716A (zh) | 一种基于增强现实技术的地理信息采集方法及装置 | |
CN107063187A (zh) | 一种全站仪与无人机影像联合的树高快速提取方法 | |
CN103737433A (zh) | 大尺寸构件复合式精度测量方法 | |
CN108253942B (zh) | 一种提高倾斜摄影测量空三质量的方法 | |
CN108152838A (zh) | 一种基于观瞄测定目标位置的装置和方法 | |
CN110146062A (zh) | 一种基于图根点测量点云数据的坐标系转化方法 | |
JP2006300602A (ja) | 測位データの取得方法、取得装置及び取得システム | |
CN111678533A (zh) | 一种惯性导航设备与激光雷达的标定方法 | |
CN110058211B (zh) | 一种车载LiDAR测量***检校初值的获取方法及装置 | |
Zomrawi et al. | Accuracy evaluation of digital aerial triangulation | |
CN104101881B (zh) | 基于激光测距和mems/gps的目标导航测绘误差角估计方法 | |
CN113960614A (zh) | 一种基于帧-地图匹配的高程图构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |