CN103177442A - 一种无重叠视场的相机与二维激光的标定方法 - Google Patents

Abstract

本发明公开了一种无视场重叠的相机与二维激光扫描仪的标定方法。标定***包括二维激光扫描仪、相机、平面镜等。使用传统的棋盘表格采用***模型进行相机的内参数标定。合理配置激光扫描仪、相机、平面镜，在平面镜上贴一张黑白相间的棋盘表格，棋盘表格位于相机视场范围内，确定棋盘坐标系和相机坐标系之间的变换矩阵。根据镜面成像对称关系确定棋盘坐标系和镜中相机像坐标系之间的变换关系，从而得到了实际相机与镜中相机之间的变换关系。通过改变黑色三角形标定板的位置和姿态，选取足够的观测次数以获得足够的观测样本，使用高斯牛顿迭代方法进行估计，得到相机像坐标系与二维激光扫描仪之间的变换矩阵。由相机与其像之间的位姿关系和相机像与二维激光扫描仪之间的位姿关系，得到相机坐标系与二维激光扫描仪坐标系之间的旋转平移变换矩阵。

Description

一种无重叠视场的相机与二维激光的标定方法

技术领域

本发明涉及多传感器数据融合领域中的相机与二维激光的标定。 

背景技术

在智能机器人的视觉导航中，使用多传感器融合技术，可以得到关于环境更加可靠、统一、精细的描述，以便决策与规划及控制。在进行数据融合时，多传感器的标定是必须解决的问题之一。标定一般分为各传感器自身参数的标定以及多传感器的联合标定。各传感器自身参数的标定是为了保证所采集数据的准确性，而多传感器的联合标定是为了多传感器数据的准确匹配。 

在相机与二维激光扫描仪数据融合的技术中，相机与二维激光的联合标定是一个至关重要的环节。视觉传感器探测范围宽，信号丰富，但易受外界影响，对环境光照变化敏感，存在目标缺失、模糊等问题。激光受外部环境变化影响小，但存在数据点稀疏，扫描频率低的缺点。将二者融合，可以弥补各自缺失。 

近年来，相机与二维激光扫描仪的数据融合技术成为了研究的热点。通过合理地建立相机坐标系与激光扫描仪坐标系，利用相机图像与激光扫描仪深度图中对应点的空间约束求解两坐标系的空间变换关系。但是目前已有的相机与激光扫描仪的联合标定方法存在不少问题： 

1.一般采用的通过寻找黑白格交错信息完成视觉和二维激光数据点的匹配方法，依赖于扫描物质的特性及距离激光的远近，同时激光数据点的稀疏程度也极大地影响标定结果。 

2.匹配对的选择依赖于手动点选，引入的人为误差无法很好的统计和控制，精度较低，同时手动点选在时间上花费较大。 

3.要求相机与激光扫描仪必须有重叠的视场，同时检测到标定物，大大限制了相机与激光扫描仪的摆放位置。 

发明内容

本发明的目的是为了克服现有相机与二维激光标定方法的不足，提出一种精度高的相机与二维激光联合标定方法。 

本发明采用如下技术方案： 

一种无重叠视场的相机与二维激光的标定***，包括二维激光扫描仪、相机、平面镜等。 

一种无重叠视场的相机与二维激光的标定方法，包括以下步骤： 

步骤1：采用***模型考虑透镜畸变因子，使用传统的棋盘表格进行相机的内参数标定，得到相机的内参数矩阵M。 

步骤2：合理配置激光扫描仪、相机、平面镜之间的关系，且在平面镜上贴一张黑白相间的棋盘表格。 

步骤3：确定镜面棋盘坐标系与相机坐标系位姿关系。标定时，棋盘纸平面位于相机视场范围内，使用harris角点检测方法确定内角点在图像坐标系的坐标，使用高斯牛顿迭代方法求得棋盘坐标系和相机坐标系之间的旋转矩阵R和平移矩阵T。 

步骤4：根据镜面成像对称关系求得棋盘坐标系和镜中相机像坐标系之间的变换关系，从而可确定实际相机与镜中相机之间的变换关系。 

步骤5：使用黑色三角形标定板，确定相机像坐标系与二维激光扫描仪坐标系之间的关系。 

其中的详细步骤如下： 

5-1.合理地摆放标定板，使二维激光扫描仪与镜中相机能够同时检测到标定板。 

5-2．通过轮廓提取逼近三角形的方法得到标定板在相机中成像的三个顶点，检测激光扫描平面与标定板的交线的两个顶点，将图像中检测到的三个顶点（图像坐标系）与激光与标定板边缘相交的两个点（激光坐标系）作为一个样本。 

5-3.重复步骤5-1,5-2，得到足够的样本，设定旋转量和平移量的初值，使用高斯牛顿迭代进行最优估计，得到旋转和平移矩阵。 

步骤6：由相机与其像之间的位姿关系和相机像与二维激光扫描仪之间的位姿关系，得到相机坐标系与二维激光扫描仪坐标系之间的旋转平移变换矩阵。 

本发明的优点有: 

1.相机与二维激光扫描仪没有重叠的视场，两者数据融合具有更大的视场范围。 

2.无须手动点选匹配对，只需进行标定区域的选择，提高了标定的自动化程度，具有标定快速性，自动化的特点。 

3.本发明具有较高的标定精度，为后期的相机与二维激光扫描仪的数据融合奠定了基础。 

附图说明

图1是本发明提出的联合标定方法的***组成图。 

图2是本发明中所定义的相机坐标系。 

图3是本发明中使用的棋盘示意图。 

图4是本发明中相机及其像坐标系与棋盘坐标系变换关系示意图。 

图5是本发明中相机像与激光标定示意图。 

具体实施方式

下面结合附图对本发明进行进一步说明。 

如图1所示为本发明所述的相机与二维激光的标定***组成图。该***主要包括：二维激光扫描仪，相机，平面镜等。 

步骤1：采用***模型考虑透镜畸变因子，使用传统的棋盘表格进行相机的内参数标定。在图像平面内，以左上角为坐标原点，水平方向为u轴，竖直方向为v轴，单位为像素，由于直角坐标系u-v只表示了数字图像中像素所处的行数和列数，而没有用物理单位表示出该像素在图像中的位置，需要再建立已物理单位表示的坐标系x-y，(x,y)表示以毫米为单位的图像坐标系的坐标。在x-y坐标系中，原点O₁定义在摄像机光轴与图像平面的交点处，设O₁在u-v坐标系中的坐标为(u₀,v₀)，每一个像素在x轴和y轴方向上的物理尺寸大小为dx，dy，则在图像中每一个像素在两个坐标系下的坐标有以下关系： 

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(1\right)$

相机坐标系如图2所示，选择一个描述三维空间物体之间位置关系的世界坐标系，相机坐标系和世界坐标系可以通过旋转矩阵R和平移向量T来描述。空间点再世界坐标系与相机坐标系下的齐次坐标分别为(X_w,Y_w,Z_w,1)^T、(X_c,Y_c,Z_c,1)^T，将有如下关系： 

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(2\right)$

将（1）（2）两式带入该点的图像坐标系与相机坐标系中的坐标的关系式： 

$Z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$

得到图像坐标与世界坐标之间的关系式： 

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{\mathrm{dx}}& 0& u_0\\ 0& \frac{1}{\mathrm{dy}}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}\mathrm{\α}& 0& u_0& 0\\ 0& \mathrm{\β}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

其中，α=f/dx，β=f/dy。α，β，u₀，v₀仅与相机的内部结构有关，为相机的内部参数。 

步骤2：合理配置激光扫描仪、相机、平面镜之间的关系，且在平面镜上贴一张黑白相间的棋盘表格。 

步骤3：确定镜面棋盘坐标系与相机坐标系位姿关系。标定时，棋盘纸平面位于相机视场范围内，对于棋盘纸平面上的内角点坐标表示为矩阵形式为 

P_board(i,j)=[x  y  z]^T=[ia  ja  0]^T

其中，a为棋盘黑白方块边长，i为沿着图3所示的坐标系X方向内角点编号索引，i=1,2,...,m，j为沿Y方向的内角点标号索引，j=1,2,...,n。 

使用harris角点检测方法确定内角点在图像坐标系的坐标为 

P_cam(i,j)=[u_i,j  v_i,j  1]^T， 

这样分别得到了棋盘坐标系与相机图像坐标系下的两组对应点，其变换关系为 

P_cam(i,j)=M(RP_board(i,j)+T) 

M为相机内参数矩阵，T为从棋盘坐标系到相机坐标系的平移矩阵，T=[t_x  t_y  t_z]^T，R为从棋盘坐标系到相机坐标系的旋转矩阵，若以θ_x，θ_y，θ_z分别表示绕x轴，y轴，z轴的旋转量，则可表示为 

$R=R_x\left({\mathrm{\θ}}_x\right)R_y\left({\mathrm{\θ}}_y\right)R_z\left({\mathrm{\θ}}_z\right)$

$=\left[\begin{array}{ccc}\mathrm{cycz}& -\mathrm{cysz}& \mathrm{sy}\\ \mathrm{sxsycz}+\mathrm{cxsz}& -\mathrm{sxsysz}+\mathrm{cxcy}& -\mathrm{sxcy}\\ -\mathrm{cxsycz}+\mathrm{sxsz}& \mathrm{cxsysz}+\mathrm{sxcz}& \mathrm{cxcy}\end{array}\right]$

其中，c(x|y|z)=cos(θ_(x|y|z)),s(x|y|z)=sin(θ_(x|y|z)) 

为了求取最优的R和T，使用高斯牛顿迭代方法使得下式结果最小化： 

这里可以将旋转量平移量均初始化为零，经过若干次迭代后，上式会迅速收敛，当上式小于设定阈值时，即得到了所求的旋转矩阵和平移矩阵的最优近似解。 

由以上求解得到的R和T可得到从棋盘坐标系到相机坐标系齐次变换矩阵

为 

$A_{\mathrm{board}}^{\mathrm{cam}}=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]$

步骤4：根据镜面成像对称关系求得棋盘坐标系和镜中相机坐标系之间的变换关系。如图4，若相机坐标系相对于棋盘坐标系的变换为(θ_x,θ_y,θ_z,t_x,t_y,t_z)，则相机经棋盘坐标系oxy面成的像相对于棋盘坐标系先变换(-θ_x,-θ_y,θ_z,t_x,t_y,-t_z)，然后z轴再反向，即得到相机成像坐标系，棋盘坐标系O₀-xyz经过旋转变换矩阵R′，平移变换T′变换，然后再经过z轴反向变换得到坐标系O₂-xyz。 

根据正余弦的奇偶性可得到R′，如下式所示： 

$R^{\′}=R_x(-{\mathrm{\θ}}_x)R_y(-{\mathrm{\θ}}_y)R_z\left({\mathrm{\θ}}_z\right)$

$=\left[\begin{array}{ccc}\mathrm{cycz}& -\mathrm{cysz}& (-1)\×\left(\mathrm{sy}\right)\\ \mathrm{sxsycz}+\mathrm{cxsz}& -\mathrm{sxsysz}+\mathrm{cxcy}& (-1)\×(-\mathrm{sxcy})\\ (-1)\×(-\mathrm{cysycz}+\mathrm{sxsz})& (-1)\×(\mathrm{cxsysz}+\mathrm{sxcz})& \mathrm{cxcy}\end{array}\right]$

通过观察上式可知，R′矩阵相对于R矩阵而言，仅仅是其中四个元素做了正负符号的运算，故通过R矩阵很容易得到R′矩阵。同理，T′也很容易通过T得到，仅仅在z方向的平移量做了一个符号变换。 

故可得由棋盘坐标系变换至相机成像的坐标系的齐次变换矩阵可有下式描述 

$A_{\mathrm{board}}^{{\mathrm{cam}}^{\′}}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}^{\′}& T^{\′}\\ 0& 1\end{array}\right]$

现已确定棋盘坐标系与相机及其镜中成的像坐标系之间的关系，分别用齐次矩阵和 

表示，则相机像坐标系到相机坐标系的齐次变换矩阵用

表示，为： 

$A_{{\mathrm{cam}}^{\′}}^{\mathrm{cam}}=A_{\mathrm{board}}^{\mathrm{cam}}{A}_{{\mathrm{cam}}^{\′}}^{\mathrm{board}}=A_{\mathrm{board}}^{\mathrm{cam}}{\left(A_{\mathrm{board}}^{{\mathrm{cam}}^{\′}}\right)}^{-1}$

步骤5：使用黑色三角形标定板，使用方法确定相机像坐标系与二维激光坐标系之间的关系。 

如图5，其中的详细步骤如下： 

5-1.黑色三角形标定板ABC在图像上成的像设为abc，通过轮廓提取逼近三角形的方法得到a，b，c三个顶点。 

5-2.激光扫描平面与标定板AB,AC边交于M,N点，对激光数据进行处理分析，很容易能找到M,N点在激光坐标系下的位置，将M,N点投影到虚拟相机成像平面上设为m,n点。从点m,n到ab,ac边的距离可通过下式获得： 

$d(m,\mathrm{ab})=\frac{\left|\right|\stackrel{\→}{\mathrm{mb}}\×\stackrel{\→}{\mathrm{ab}}\left|\right|}{\left|\right|\stackrel{\→}{\mathrm{ab}}\left|\right|},d(n,\mathrm{ac})=\frac{\left|\right|\stackrel{\→}{\mathrm{nc}}\×\stackrel{\→}{\mathrm{ac}}\left|\right|}{\left|\right|\stackrel{\→}{\mathrm{ac}}\left|\right|}$

若O₃-xyz坐标系到O₂-xyz的变换关系为R′′,T′′，则激光坐标系下的点投影到像平面可由下式获得： 

P_c=[u  v  1]^T＝M(R′′P_L+T′′) 

通过改变标定板的位姿会得到若干组数据(M_i,N_i,a_i,b_i,c_i)，如果能找到一组R′′,T′′，使得M_i,N_i投影点m_i,n_i离a_ib_i,a_ic_i边尽可能小，等价于下式： 

只要采集足够多的样本(M_i,N_i,a_i,b_i,c_i)，可将R′′,T′′初值均设为零，使用高斯牛顿迭代方法通过若干次迭代使得上式收敛到设定阈值，从而得到旋转矩阵R′′和平移矩阵T′′。 

则激光坐标系到镜中相机坐标系的齐次变换矩阵为： 

$A_{\mathrm{laser}}^{{\mathrm{cam}}^{\′}}=\left[\begin{array}{cc}{R}^{\′\′}& T^{\′\′}\\ 0& 1\end{array}\right]$

步骤6：由相机与其像之间的位姿关系和相机像与二维激光扫描仪之间的位姿关系，得到相机坐标系与二维激光扫描仪坐标系之间的旋转平移变换矩阵： 

$A_{\mathrm{laser}}^{\mathrm{cam}}=A_{{\mathrm{cam}}^{\′}}^{\mathrm{cam}}{A}_{\mathrm{laser}}^{{\mathrm{cam}}^{\′}}=A_{\mathrm{board}}^{\mathrm{cam}}{A}_{{\mathrm{cam}}^{\′}}^{\mathrm{board}}{A}_{\mathrm{laser}}^{{\mathrm{cam}}^{\′}}$

$=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]{\left(\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& -1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cc}{R}^{\′}& T^{\′}\\ 0& 1\end{array}\right]\right)}^{-1}\left[\begin{array}{cc}{R}^{\′\′}& T^{\′\′}\\ 0& 1\end{array}\right]$ 。

Claims (4)

1.一种无重叠视场的相机与二维激光的标定方法，其特征在于，包括二维激光扫描仪、相机、平面镜等。 

2.权利要求1所述的一种无重叠视场的相机与二维激光的标定方法，其特征在于，相机与二维激光扫描仪无重叠视场。 

3.一种无重叠视场的相机与二维激光的标定方法，其特征在于，包含以下步骤： 

步骤1：采用***模型考虑透镜畸变因子，使用传统的棋盘表格进行相机的内参数标定，得到相机的内参数矩阵M。 

步骤2：合理配置激光扫描仪、相机、平面镜，且在平面镜上贴一张黑白相间的棋盘表格。 

步骤3：确定镜面棋盘坐标系与相机坐标系位姿关系。标定时，棋盘纸平面位于相机视场范围内，使用harris角点检测方法确定内角点在图像坐标系的坐标，使用高斯牛顿迭代方法求得棋盘坐标系和相机坐标系之间的旋转矩阵R和平移矩阵T。 

步骤4：可根据镜面成像对称关系求得棋盘坐标系和镜中相机像坐标系之间的变换关系。从而可确定实际相机与镜中相机之间的变换关系。 

步骤5：使用黑色三角形标定板，确定相机像坐标系与二维激光扫描仪坐标系之间的关系。 

步骤6：由相机与其像之间的位姿关系和相机像与二维激光扫描仪之间的位姿关系，得到相机坐标系与二维激光扫描仪坐标系之间的旋转平移变换矩阵。 

4.权利要求3所述的一种无重叠视场的相机与二维激光的标定方法，其特征在于，步骤5具体步骤如下： 

5-1.合理地摆放标定板，使二维激光扫描仪与镜中相机能够同时检测到标定板。 

5-2.通过轮廓提取逼近三角形的方法得到标定板在相机中成像的三个顶点，检测激光扫描平面与标定板的交线的两个顶点将图像中检测到的三个顶点（图像坐标系）与激光与标定板边缘相交的两个点（激光坐标系）作为一个样本。 

5-3.重复步骤5-1,5-2，得到足够的样本，设定旋转量和平移量的初值，使用高斯牛顿迭代进行最优估计，得到旋转和平移矩阵。 

Images