CN104019829A - 一种基于pos***的车载全景相机和线阵激光扫描仪的外参标定方法 - Google Patents

Abstract

本发明公开了一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法，包括以下步骤：(1)事先建立带有绝对坐标点的室外标定场，在该场地进行数据采集，采集结束后根据时间信息，得到每一组全景影像和每一个激光点云获取时的时间，通过POS***所获取的高密度位置姿态信息，得到上述每一时刻POS***的位置和姿态信息；(2)解算出全景相机的外参；(3)解算线阵激光扫描仪的外参。本发明的有益效果是使我们在标定线阵激光传感器的时候不必要先测定大量特征点，而只需借由影像的可重复测量特性，将工作量降低到最低。更为重要的是由算法原理决定的全景影像和线阵激光所扫点云在标定完成后可精确配准。

Description

一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法

技术领域

本发明涉及一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法，可用于建立三维激光点云和全景影像之间的空间关系，属于传感器标定方法技术领域。

背景技术

全景相机所拍摄全景影像可以提供水平面360度，垂直180度的可视范围，是一种在单一位置可获取最大照片信息的影像获取方式。

线阵激光扫描仪由于其本身辐射特征，使得单独静态对其相对于其他参考系外参的标定成为一件非常困难的事情，大多数情况下不得不借由精密昂贵的电子转台和庞大的实验内场进行标定，经济效益不突出。

将上述两种传感器与POS***进行联合标定，可以得到各数据源在统一坐标参考系下的坐标(通常这个坐标参考系由POS***决定，一般在没有声明的前提下指WGS-84坐标系)。从而使得各种数空间据源之间的深度整合成为可能。

发明内容

本发明所要解决的问题是针对当前全景相机和线阵激光扫描仪在联合POS***标定时所需设备仪器昂贵的问题，提供一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法。

本发明解决其技术问题所采取的技术方案是：

一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法，包括以下步骤：

(1)事先建立带有绝对坐标点(WGS-84坐标系)的室外标定场，在该场地进行数据采集，采集结束后根据时间信息，得到每一组全景影像和每一个激光点云获取时的时间，通过POS***所获取的高密度位置姿态信息，得到上述每一时刻POS***的位置和姿态信息；

(2)解算出全景相机的外参：通过已知的空间点位利用成像中心点、像点、物方点三点共线原理，将根据获取该张全景影像的时刻得到POS***在该时刻的位置和姿态并将其进行处理放在一起称为一组数据；这样将多组数据(最少6组)放在一起联立方程组A，就可以解出全景相机相对于POS***的外参；

(3)解算线阵激光扫描仪的外参：在已标定全景相机的基础上，同时拾取不少于两张影像上的像点和激光点云上同一点，同时将这些时刻的POS***位置和姿态记录，将其标识为一组；这样多选几组数据(最少6组)，联立方程组B，解出线阵激光扫描仪相对于POS***的外参。

优选的，所述绝对坐标为WGS-84坐标系。

优选的，所述方程组A为：

$F(x,y,z,\mathrm{\φ},\mathrm{\ω},\mathrm{\κ})=\frac{m_1{m}_2+n_1{n}_2+p_1{p}_2}{\sqrt{m_1^2+n_1^2+p_1^2}\sqrt{m_2^2+n_2^2+p_2^2}}-1=0$

式中，x,y,z代表传感器相对于POS***的位置坐标，φ、ω、κ分别代表传感器相对于POS***的姿态。m1,m2,n1,n2,p1,p2是中间变量。

优选的，所述方程组B为：

式中，x,y,z代表传感器相对于POS***的位置坐标，φ、ω、κ分别代表传感器相对于POS***的姿态。m3,m4,n3,n4,p3,p4是中间变量。

本发明的有益效果是使我们在标定线阵激光传感器的时候不必要先测定大量特征点，而只需借由影像的光路与激光扫描点重合的特性，将工作量降低到最低，更为重要的是由算法原理决定的全景影像和线阵激光所扫点云在标定完成后可精确配准。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1本发明流程图；

图2a全景影像在空间中坐标系的定义的示意图；

图2b为图2a的全景影象展开后的示意图。

图3线阵激光扫描仪在空间中坐标系的定义的示意图。

具体实施方式

实施例1：

外参的含义：对所述传感器(例如：全景相机或者线阵激光扫描仪)在某一时刻，相对于某一传感器(本专利中指POS***)的位置(X,Y,Z)三坐标以及相对于其的姿态角(φ，ω，κ)，这样的六个参数，我们称之为某传感器相对于另一传感器的外参。而由于POS***的作用是测量这个传感器(POS***本身)在工作期间大地坐标系下的位置和姿态(为了便于计算，我们后面所述的大地坐标系指的是WGS-84坐标系。POS***输出的位置和姿态，我们转换到了对应的高斯3度带投影坐标系中。因此POS***最终输出的在本专利中可用的的成果为Time(某一时刻)、East(东方向坐标)、North(北方向坐标)、High(高程)、Yaw(航向角)、Pitch(俯仰角)、Roll(翻滚角))，我们简单的称前述的“某传感器相对于另一传感器的外参”为外参。

根据本实施例的一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法，如图1所示，包括以下步骤：

(1)事先建立带有绝对坐标(WGS-84坐标系)点的室外标定场，所选点位应符合影像和点云图容易辨识之处---所选点位应在全景影像上可清晰辨识，通常是设定了特殊的标志靶位，而该标志靶位在该标定场中应该是唯一的有效的。在该场地进行数据采集----采集包设备：加载了全景相机和线阵激光扫描仪以及POS***的采集车，车内还应包含计算机***用于控制传感器的各项参数并保存其采集的数据，还应包含电源支持***，为上述设备提供电力支持。采集的数据包含：POS***的数据(即时间、位置(X,Y,Z)三坐标以及对应的姿态角(Yaw，Pitch，Roll))，全景影像(影像数据，以及每一张影像对应的拍摄时刻)，线阵激光数据(原始的线阵激光数据应包含每一个激光点数据采集的时刻，每一个点对应的距离，以及每一个点相对于线阵激光传感器的角度)。采集结束后根据时间信息，得到每一组全景影像和每一个激光点云获取时的时间，通过POS***所获取的高密度位置姿态信息，得到上述每一时刻各传感器的位置和姿态信息。

(2)首先解算出全景相机的外参，通过已知的空间点位利用三点共线原理(全景单位球理论中心，像点，物方点)根据获取该张全景影像的时刻来得到POS***在该时刻的位置和姿态并将其进行处理放在一起称为一组数据。---这里的处理可理解为由于POS***的千差万别，所输出的成果物的格式有很多种，我们将其输出的格式全部转换为一种特定格式的过程，是一个归一化的过程，其最终的成果物应该为Time(某一时刻)、East(东方向坐标)、North(北方向坐标)、High(高程)、Yaw(航向角)、Pitch(俯仰角)、Roll(翻滚角)。这样将多组数据(最少6组)放在一起放入方程组(A)中，就可以解出全景相机的外参。

所述方程组A为：

$F(x,y,z,\mathrm{\φ},\mathrm{\ω},\mathrm{\κ})=\frac{m_1{m}_2+n_1{n}_2+p_1{p}_2}{\sqrt{m_1^2+n_1^2+p_1^2}\sqrt{m_2^2+n_2^2+p_2^2}}-1=0$

式中详细参数信息请参照方程组(A)的描述。

(3)由于激光扫描仪所获取数据不易辨识，所以在软件中选取激光和影像都较容易辨识的地物，在已标定全景相机的基础上，同时拾取不少于两张影像上的像点和激光点云上同一点，同时将这些时刻的POS***位置和姿态记录，将其标识为一组。这样多选几组数据(最少6组)，联立方程组(B)，解出线阵激光扫描仪相对于POS***的外参。

方程组B为：

式中详细参数信息请参照方程组B的描述。

关于全景影像的描述，如图2a、图2b所示。

全景影像可映射到一个单位球上(这是全景影像的特性，不满足这个特性，不能称之为全景影像)，这里所提及的单位球是其球体半径为1的球体，单位为1。将其展开到平面，就是我们采集到的影像(这一过程由全景相机厂家完成)。其参数描述为：画幅，长X宽＝2d*d。这里规定以左上角为该全景影像的坐标原点，向右为u轴，向下为v轴，单位为像素的平面二维坐标系。这样全景影像上每一个点都有了唯一可描述的坐标了。这样继续定义单位球的坐标系，以单位球圆心为原点，指向对应展开为平面图像后画幅的3/4处，竖直方向为d/2处的点(3d/2,d/2)的方向为X轴；由球心原点，指向球体展开后点(d/2,d/2)处为Y轴；按照右手法则，竖直向上的方向为Z轴。θ为球面上任一点与圆心的连线在X-Y平面上与Y轴的夹角，向右为正，向左为负。φ为球面上任一点与圆心的连线在Y-Z平面上与Y轴的夹角，向上为正，向下为负。

关于线阵激光扫描仪的描述如图3所示。这里以线阵激光扫描仪内激光发射传感器处为原点，所成发射角的1/2处的方向为X轴，在发射平面内垂直于X轴竖直向上的方向为Z轴，按照右手法则，向前的方向为Y轴。规定在X和Z轴正方向射出的激光光束的夹角(射出方向与X轴所夹角)为正，反之为负。

方程组A的描述：

利用目标点、像点、摄影中心三点共线，由单张球面全景影像上的像点，可列出如下共线方程：

${r_i}^m=r_{\mathrm{pos}}^m\left(t\right)+R_{\mathrm{pos}}^m\left(t\right)[R_c^{\mathrm{pos}}{r}_p+r_c]$

$r_p=\mathrm{\λ}\left[\begin{array}{c}\cos \mathrm{\φ}\sin \mathrm{\θ}\\ \cos \mathrm{\φ}\cos \mathrm{\θ}\\ \sin \mathrm{\φ}\end{array}\right]\begin{array}{c}\mathrm{\θ}=[u-\mathrm{INT}\left(\frac{2d-1}{2}\right)]\frac{\mathrm{\π}}{d}\\ \mathrm{\φ}=[\mathrm{INT}\left(\frac{d-1}{2}\right)-v]\frac{\mathrm{\π}}{d}\end{array}$

其中：

r_i ^m目标在大地坐标系中的坐标，为已知量

POS***在大地坐标系中的坐标，为已知量

POS***相对于大地坐标系的旋转矩阵

全景相机相对于POS***的旋转矩阵

r_p目标相对于全景相机的球面坐标，只能表明光线方向

λ成像比例尺

r_c全景相机相对于GPS的位移

u、v球面全景影像坐标

d全景影像展开后的宽度的一半

$\begin{array}{c}{R^m}_{\mathrm{pos}}=\\ \left[\begin{array}{ccc}\cos \left(R\right)\cos \left(Y\right)+\sin \left(P\right)\sin \left(R\right)\sin \left(Y\right)& \cos \left(P\right)\sin \left(Y\right)& \cos \left(Y\right)\sin \left(R\right)-\cos \left(R\right)\sin \left(P\right)\sin \left(Y\right)\\ \cos \left(Y\right)\sin \left(P\right)\sin \left(R\right)-\cos \left(R\right)\sin \left(Y\right)& \cos \left(P\right)\cos \left(Y\right)& -\sin \left(R\right)\sin \left(Y\right)-\cos \left(R\right)\cos \left(Y\right)\sin \left(P\right)\\ -\cos \left(P\right)\sin \left(R\right)& \sin \left(P\right)& \cos \left(P\right)\cos \left(R\right)\end{array}\right]\end{array}$

这里特别声明：将Yaw缩写为Y，Roll缩写为R，Pitch缩写为P

上式实际表示的是目标在大地坐标系中的坐标与它在球面全景影像上的影像坐标的关系，确定的是拍摄时刻球面全景影像上一条光线的位置和方向。

标定的目的是得到相机摄影中心相对于POS***的坐标r_c(x,y,z)和相机坐标系相对于POS***的姿态它们是未知数即需要求解的外参，已知数是控制点大地坐标r_i ^m和控制点在球面全景影像上的像素坐标(u,v)_i。

其数学模型如下：

1)根据控制点的大地坐标r_i ^m(X,Y,Z)，计算光线的与单位球的交点A₁(x,y,z)₁，则

$r_{A1}=\frac{R_c^{-1\mathrm{pos}}[R_{\mathrm{pos}}^{-1m}\left(t\right)({r_i}^m-r_{\mathrm{pos}}^m\left(t\right))-r_c)]}{\mathrm{\λ}}$ λ＝|r_i ^m-r_c|

$\begin{array}{c}{R^{-1m}}_{\mathrm{pos}}={R^{\mathrm{Tm}}}_{\mathrm{pso}}=\\ \left[\begin{array}{ccc}\cos \left(R\right)\cos \left(Y\right)+\sin \left(P\right)\sin \left(R\right)\sin \left(Y\right)& \cos \left(Y\right)\sin \left(P\right)\sin \left(R\right)-\cos \left(R\right)\sin \left(Y\right)& -\cos \left(P\right)\sin \left(R\right)\\ \cos \left(P\right)\sin \left(Y\right)& \cos \left(P\right)\cos \left(Y\right)& \sin \left(P\right)\\ \cos \left(Y\right)\sin \left(R\right)-\cos \left(R\right)\sin \left(P\right)\sin \left(Y\right)& -\sin \left(R\right)\sin \left(Y\right)-\cos \left(R\right)\cos \left(Y\right)\sin \left(P\right)& \cos \left(P\right)\cos \left(R\right)\end{array}\right]\end{array}$

2)根据控制点的像素坐标(u,v)，计算光线的与单位球的交点A₂(x,y,z)₂

$\mathrm{\θ}=[u-\mathrm{INT}\left(\frac{2d-1}{2}\right)]\frac{\mathrm{\π}}{d}$

3)之间的夹角α令

$r_{A1}=\left[\begin{array}{c}{m}_1\\ n_1\\ p_1\end{array}\right],r_{A2}=\left[\begin{array}{c}{m}_2\\ n_2\\ p_2\end{array}\right]$

$\cos \mathrm{\α}=\frac{|m_1{m}_2+n_1{n}_2+p_1{p}_2|}{\sqrt{m_1^2+n_1^2+p_1^2}\sqrt{m_2^2+n_2^2+p_2^2}}$

当α接近0的时候，cosα接近1，所以最终的目标函数，即方程组(A)

$F(x,y,z,\mathrm{\φ},\mathrm{\ω},\mathrm{\κ})=\frac{m_1{m}_2+n_1{n}_2+p_1{p}_2}{\sqrt{m_1^2+n_1^2+p_1^2}\sqrt{m_2^2+n_2^2+p_2^2}}-1=0$ ----------------------方程组A

方程组(B)的描述：

利用全景影像上的像点，激光扫描仪所扫到的特征点和相机摄影中心三点共线的原理，可以得到下列的关系式：

${r_i}^m=r_{\mathrm{pos}}^m\left(t\right)+R_{\mathrm{pos}}^m\left(t\right)[R_c^{\mathrm{pos}}{r}_p+r_c]$ ---------全景影像观测方程

${r_i}^m=r_{\mathrm{pos}}^m\left(T\right)+R_{\mathrm{pos}}^m\left(T\right)[R_L^{\mathrm{pos}}{r}_{p2}+r_L]$ --------线阵激光观测方程

上式中符号所代表含义：

其中： $r_{p2}=\left[\begin{array}{c}L*\cos \left(\mathrm{\β}\right)\\ 0\\ L*\sin \left(\mathrm{\β}\right)\end{array}\right]$

r_i ^m目标在大地坐标系中的坐标

POS***在大地坐标系中的坐标

POS***相对于大地坐标系的旋转矩阵

全景相机相对于POS***的旋转矩阵

r_p目标相对于全景相机的球面坐标，只能表明光线方向

r_c全景相机相对于POS***的位移

线阵激光相对于POS***的旋转矩阵，需要求的量其表达式与一致

r_p2目标相对于线阵激光坐标

r_L线阵激光相对于POS***的位移，需要求的量

β为激光光束发射方向与X轴所成角度

L为激光扫描仪所观测到的距离值

其中全景影像观测方程的参数表达式已经说明过，这里不赘述。

对上述方程进行变形，容易由全景相机标定的方程组变形形式得到相似的过程：

首先我们要得到线阵激光扫描点和某一张已选择对应点位的影像

所对应的相机成像中心这两个点所对应的向量

可以描述为 $r_{A3}=r_{\mathrm{pos}}^m\left(T\right)+R_{\mathrm{pos}}^m\left(T\right)[R_L^{\mathrm{pos}}{r}_{p2}+r_L]-[r_{\mathrm{pos}}^m\left(t\right)+R_{\mathrm{pos}}^m\left(t\right)r_c]$

这里的表达式与在形式上完全一致，在此不再赘述

同样的全景影像像点和成像中心所成的向量

可以描述为

$\mathrm{\θ}=[u-\mathrm{INT}\left(\frac{2d-1}{2}\right)]\frac{\mathrm{\π}}{d}$

$\mathrm{\φ}=[\mathrm{INT}\left(\frac{d-1}{2}\right)-v]\frac{\mathrm{\π}}{d}$

$r_{A4}=\left[\begin{array}{c}\cos \mathrm{\φ}\sin \mathrm{\θ}\\ \cos \mathrm{\φ}\cos \mathrm{\θ}\\ \sin \mathrm{\φ}\end{array}\right]$                              很容易和前述全景影像的标定形成一致的结论，通过两个向量在集合特性上的重叠，可以得到两个向量之间的关系应如下：

同样的令 $r_{A3}=\left[\begin{array}{c}{m}_3\\ n_3\\ p_3\end{array}\right],r_{A4}=\left[\begin{array}{c}{m}_4\\ n_4\\ p_4\end{array}\right]$

其向量夹角χ的关系为

$\cos \mathrm{\χ}=\frac{|m_3{m}_4+n_3{n}_4+p_3{p}_4|}{\sqrt{m_3^2+n_3^2+p_3^2}\sqrt{m_4^2+n_4^2+p_4^2}}$

当χ接近0的时候，cosχ接近1，所以最终的目标函数，即方程组(B)

----------------------方程组B

依此方法所做的全景相机和线阵激光扫描仪的标定，其结果误差见下表：

选用LadyBug5在分辨率为8192*4096下进行标定

选用SICK511-pro型线阵激光扫描仪进行标定，其标定精度为：

点名	X方向误差dX	Y方向误差dY	Z方向误差dZ	全景标定误差
					VP001	0.012	0.056	0.136	0.147566934
VP002	0.012	0.112	0.005	0.11275194
					VP103	0.002	0.198	0.002	0.198020201
VP104	0.058	0.135	0.008	0.147149584
					VP105	0.069	0.256	0.009	0.265288522
VP106	0.025	0.22	0.005	0.221472346
					VP107	0.025	0.365	0.112	0.382614689
VP108	0.056	0.128	0.025	0.141933083
					VP209	0.179	0.198	0.089	0.281364532
VP210	0.165	0.145	0.025	0.22107691
					VP211	0.135	0.324	0.022	0.351688783
VP212	0.15	0.159	0.001	0.218590942
					VP213	0.11	0.248	0.005	0.271346642
VP214	0.158	0.265	0.008	0.308630847
					VP215	0.129	0.125	0.009	0.179852718
VP216	0.121	0.125	0.005	0.174043098
					VP217	0.1	0.004	0.125	0.160128074
VP218	0.023	0.119	0.018	0.122531629
					VP319	0.009	0.123	0.025	0.125837196
VP320	0.058	0.158	0.068	0.181526858
					VP321	0.052	0.121	0.152	0.201119368
VP322	0.158	0.125	0.123	0.236046606
					VP323	0.026	0.118	0.058	0.134029847
VP324	0.036	0.198	0.258	0.327206357
					VP425	0.125	0.147	0.153	0.246257995
VP426	0.018	0.159	0.121	0.200614057
					VP427	0.016	0.114	0.11	0.159223114
VP428	0.005	0.058	0.015	0.060116553
					VP529	0.056	0.009	0.005	0.056938563
VP530	0.025	0.002	0.002	0.025159491
					VP531	0.002	0.009	0.006	0.011
平均误差	0.068225806	0.145903226	0.055	0.189391209
					中误差	0.088854539	0.169553398	0.08441239	0.209210266

Claims (3)

1.一种基于POS***的车载全景相机和线阵激光扫描仪的外参标定方法，其特征在于，包括以下步骤：

(1)事先建立带有绝对坐标点的室外标定场，在该场地进行数据采集，采集结束后根据时间信息，得到每一组全景影像和每一个激光点云获取时的时间，通过POS***所获取的高密度位置姿态信息，得到上述每一时刻POS***的位置和姿态信息；

(2)解算出全景相机的外参：通过已知的空间点位利用成像中心点、像点、物方点三点共线原理联立方程组A可以解出全景相机相对于POS***的外参；

(3)解算线阵激光扫描仪的外参：在已标定全景相机的基础上，联立方程组B，解出线阵激光扫描仪相对于POS***的外参。

2.根据权利要求1所述的方法，其特征在于，所述绝对坐标为WGS-84坐标系。

3.根据权利要求2所述的方法，其特征在于，所述方程组A为：

$F(x,y,z,\mathrm{\φ},\mathrm{\ω},\mathrm{\κ})=\frac{m_1{m}_2+n_1{n}_2+p_1{p}_2}{\sqrt{m_1^2+n_1^2+p_1^2}\sqrt{m_2^2+n_2^2+p_2^2}}-1=0$

式中，x,y,z代表传感器相对于POS***的位置坐标，φ、ω、κ分别代表传感器相对于POS***的姿态。m1,m2,n1,n2,p1,p2是中间变量。

根据权利要求3所述的方法，其特征在于，所述方程组B为：

式中，x,y,z代表传感器相对于POS***的位置坐标，φ、ω、κ分别代表传感器相对于POS***的姿态。m3,m4,n3,n4,p3,p4是中间变量。