CN104200086B - 宽基线可见光相机位姿估计方法 - Google Patents

Abstract

本发明涉及一种宽基线可见光相机位姿估计方法，首先利用张氏标定法，通过平面标定板完成相机内参的标定；而后在着陆跑道上各相机公共视野区域选定八个基准点，利用全站仪离线精确测量基准点的世界坐标；进行标定时在基准点位置放置合作标志灯，通过检测合作标志灯精确计算各相机的位姿。该方法考虑到了无人机着陆场景中的复杂自然场景特点以及可见光相机本身的物理感光特性，设计使用强光手电作为可见光相机的合作标志灯；在着陆跑道上设置了8个基准点并利用全站仪对对基准点的空间坐标进行10^‑6m级的空间精度测量。标定结果精确，图像上的重投影误差达到0.5像素以下。

Description

宽基线可见光相机位姿估计方法

技术领域

本发明涉及一种相机位姿估计方法，特别是用于无人机自主着陆地面引导***中宽基线可见光相机的位姿估计方法。

背景技术

基于视觉的无人机自主着陆导航是近年来迅速发展起来的新型导航技术，与传统的基于惯性的和基于GPS的导航技术相比，具有自成体系、不易受干扰、无时间累积误差、测量精度高等优势。无人机自主着陆地面引导***特指测量相机安装于地面跑道上的引导***。该***建立的一个重要工作是对大场景、宽基线条件下的相机内外参数进行精确标定。

文献“Robust Multi-View Camera Calibration for Wide-Baseline CameraNetworks,WACV,2011:321-328”提出了一种针对宽基线多相机***的标定方法。该方法首先利用仿射不变图像特征将各相机拍摄的图像序列映射至一个统一的坐标系下，然后在映射过的图像中提取尺度不变图像特征，最后利用光束平差法(Bundle Adjustment)对相机参数进行估计。就无人机自主着陆***而言，基于自然场景的图像特征的方法会受到天气、光照等不可预知环境因素的影响，难以直接应用于室外复杂环境中。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种宽基线可见光相机的位姿估计方法。

技术方案

一种宽基线可见光相机位姿估计方法，其特征在于步骤如下：

步骤1：采用张氏标定法对各个相机进行内参数标定：使用黑白相间的二维棋盘格作为内参数标定靶标，将相机放置于10-15个不同位姿并拍摄靶标，所得图像作为标定用图像，在标定用图像上执行角点检测，根据单应矩阵H建立角点在标定用图像和棋盘格的对应关系，对单应矩阵H进行分解并利用向量r₁，r₂的单位正交性对相机的内参数矩阵K进行初始估计，然后用非线性优化方法对K进行精确估计并对相机进行标定：

其中u，v为角点的像素坐标，X，Y为角点在棋盘格上的空间坐标，r₁，r₂为棋盘格的位置姿态；

步骤2：计算基准点的在世界坐标系中的坐标：选择8个基准点设置在跑道上，其中基准点2指向基准点1的方向为Y轴正方向，并以两基准点的中点定位为无人机的拟定着陆点，即世界坐标系原点，沿跑道方向为X轴，竖直向上为Z轴，坐标系满足右手坐标规则；在基准点位置放置全站仪的棱镜，使用全站仪精确测量8个基准点在全站仪坐标系下的坐标，计算全站仪坐标系与世界坐标系在XoY平面的二维旋转与平移变换，所述的旋转矩阵R：

其中p₂₁为基准点1、2两点连线的中点，p_Y为世界坐标系Y轴方向的方向向量，θ为旋转的角度；

所述的平移向量T：

其中[X₁ Y₁ Z₁]^T为基准点1的在全站仪坐标系下的坐标，[X₂ Y₂ Z₂]^T为基准点2在全站仪坐标系下的坐标；

步骤3：获取基准点的图像坐标：在8个基准点处放置合作标志灯，利用可见光相机对合作标志灯进行拍摄并采用手工选点的方式获取基准点的图像坐标；

步骤4：利用DLT算法计算基准点平面与摄像机成像平面之间的单应变换H，将单应矩阵H分解为旋转矩阵R和平移向量T，通过Levenberg-Marquardt优化算法求取R和T的精确值。

所述的8个基准点选取方式如下：

基准点1、2：基准点2指向基准点1的方向为Y轴正方向，基准点1、2两点连线l₁₂中点为世界坐标系原点，l₁₂长度为8m；

基准点3、4：基准点3、4的连线l₃₄与基准点1、2的连线l₁₂平行，l₁₂与l₃₄之间的垂直距离为30m，l₃₄长度为8m；

基准点5、6：基准点5、6的连线l₅₆与基准点1、2的连线l₁₂平行，l₁₂与l₅₆之间的垂直距离为60m，l₅₆长度为8m；

基准点7、8：基准点3、4的连线l₇₈与基准点1、2的连线l₁₂平行，l₁₂与l₇₈之间的垂直距离为100m，l₇₈长度为8m。

有益效果

本发明提出的一种宽基线可见光相机位姿估计方法，考虑到了无人机着陆场景中的复杂自然场景特点，由于着陆导航***中的可见光相机本身的物理感光特性，其对于室外光线变化极其敏感，而晴天、阴天、雨天及雾天相互间光照条件相差很大，如果由云雾运动引起的太阳光线分布和照射强度的变化反应在可见光图像上，会对成像质量及目标检测带来巨大困难。通过使用强光手电作为合作标志灯，可实现基准点图像坐标的鲁棒检测与匹配。通过使用全站仪，可对基准点的空间坐标进行10^-6m级的空间精度测量。标定结果精确，图像上的重投影误差达到0.5像素以下。

具体实施方式

现结合实施例对本发明作进一步描述：

1、相机内参数标定

采用张氏标定法对着陆导航***中的各个相机进行相机内参数，即焦距、主点坐标、倾斜角以及畸变系数等参数的标定。该方法属于相机内参数标定的常用方法，简述如下：使用黑白相间的二维棋盘格作为内参数标定靶标，在保证靶标在相机可视范围内的前提下，将相机放置于10-15个不同位姿并拍摄靶标，所得图像作为标定用图像；在标定用图像上执行角点检测，利用棋盘格的几何关系，建立各视角图像中各角点的对应关系；由于棋盘格上的所有角点的空间坐标满足共面约束，假设其Z坐标为0，对如下平面单应矩阵H进行估计：

其中u，v为角点的像素坐标，X，Y为角点在棋盘格上的空间坐标，可根据棋盘格上每格的实际长度计算得到，s为一标量系数，K为所估计的相机内参数矩阵，r₁，r₂，t为棋盘格的位置姿态。对单应矩阵H进行分解并利用向量r₁，r₂的单位正交性可对相机的内参数矩阵K进行初始估计，而后可用非线性优化方法对K进行精确估计。

2、基准点的选取与坐标测量

相机的位置与姿态估计过程实际是对世界坐标系与相机坐标系之间的变换矩阵进行计算，因此首先需要针对无人机自主着陆的跑道环境建立一个世界坐标系。本发明中世界坐标系的选取方式如下：以无人机拟定的着陆点为世界坐标系原点，沿跑道方向为X轴，垂直跑道方向为Y轴，竖直向上为Z轴，坐标系满足右手坐标规则。

为估计世界坐标系与相机坐标系之间的变换矩阵，需要获得若干个三维点的世界坐标与图像坐标，本发明中，在跑道上选择了8个基准点，基准点的选取方式如下：

基准点1,2：基准点2指向基准点1的方向为Y轴正方向，基准点1,2两点连线l₁₂中点为世界坐标系原点。l₁₂长度为8m；

基准点3,4：基准点3,4的连线l₃₄与基准点1,2的连线l₁₂平行，l₁₂与l₃₄之间的垂直距离为30m，l₃₄长度为8m；

基准点5,6：基准点5,6的连线l₅₆与基准点1,2的连线l₁₂平行，l₁₂与l₅₆之间的垂直距离为60m，l₅₆长度为8m；

基准点7,8：基准点3,4的连线l₇₈与基准点1,2的连线l₁₂平行，l₁₂与l₇₈之间的垂直距离为100m，l₇₈长度为8m；

在基准点选择时的长度测量工具为卷尺；选点完成后，在基准点位置放置全站仪的棱镜，使用全站仪精确测量8个基准点在全站仪坐标系下的坐标。根据基准点1,2的选点规则，计算全站仪坐标系与世界坐标系在XoY平面的二维旋转矩阵R_QW与平移变换向量t_QW，计算方法如下：

设l₂₁的方向向量为p₂₁，世界坐标系Y轴方向的方向向量为p_Y，则应旋转的角度θ可由下式计算：

则由全站仪坐标系与世界坐标系之间的旋转矩阵可由下式计算：

在对测量坐标进行旋转变换后，还须进行平移变换使得l₂₁中点为世界坐标系原点，设基准点1的在全站仪坐标系下的坐标为[X₁ Y₁ Z₁]^T，基准点2的坐标为[X₂ Y₂ Z₂]^T，所须进行的XoY平面平移变换向量t_QW可由下式计算：

3、拍摄基准点处的合作标志灯并获取基准点的图像坐标

本步骤的目的是确定基准点在相机所拍摄图像上的图像坐标。首先在各基准点处放置合作标志灯，针对着陆跑道可能出现的各种天气条件，本发明选取强光手电作为着陆导航***中可见光相机的合作标志灯。打开各个合作标志灯后，使用着陆导航***中的相机拍摄图像，由于基准点均选择在着陆跑道上，因此各合作标志灯均在相机所拍摄图像中可见。本发明采取手动选点的方式获得基准点的图像坐标，即在所开发的交互式选点软件中，通过鼠标点选各个标志灯以获得基准点的图像坐标。

4、相机位姿估计

相机的位置姿态估计需要已知相机的内部参数、基准点的在世界坐标系中的坐标以及基准点在相机所拍摄图像中的图像坐标。本发明实施步骤的1,2,3步已完成对这三个条件的估计或测量。相机位置姿态估计首先需要验证基准点是否处于同一平面上，若在同一平面上，计算基准点平面与摄像机成像平面之间的单应变换H,继而可将单应矩阵H分解为旋转矩阵R(相机姿态)和平移向量T(相机位置)，完成相机位姿估计；若基准点不处于同一平面，可先利用DLT算法计算R和T的初值，最后利用Levenberg-Marquardt优化算法最小化重投影误差求取R和T的精确值。重投影误差是将所获得的基准点世界坐标用所估计的相机内参、相机位置姿态等参数投影至图像上，计算重投影像素点与原像素之间的像素距离，是用于定量评价相机位姿估计精度的指标。

Claims (2)

1.一种宽基线可见光相机位姿估计方法，其特征在于步骤如下：

步骤1：采用张氏标定法对各个相机进行内参数标定：使用黑白相间的二维棋盘格作为内参数标定靶标，将相机放置于10-15个不同位姿并拍摄靶标，所得图像作为标定用图像，在标定用图像上执行角点检测，根据单应矩阵H建立角点在标定用图像和棋盘格的对应关系，对单应矩阵H进行分解并利用向量r₁，r₂的单位正交性对相机的内参数矩阵K进行初始估计，然后用非线性优化方法对K进行精确估计并对相机进行标定：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=K\[\begin{array}{ccc}{r}_1& r_2& t\end{array}\]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

其中u，v为角点的像素坐标，X，Y为角点在棋盘格上的空间坐标，r₁，r₂，t为棋盘格的位置姿态；

步骤2：计算基准点的在世界坐标系中的坐标：选择8个基准点设置在跑道上，其中基准点2指向基准点1的方向为Y轴正方向，并以两基准点的中点定位为无人机的拟定着陆点，即世界坐标系原点，沿跑道方向为X轴，竖直向上为Z轴，坐标系满足右手坐标规则；在基准点位置放置全站仪的棱镜，使用全站仪精确测量8个基准点在全站仪坐标系下的坐标，计算全站仪坐标系与世界坐标系在XoY平面的二维旋转与平移变换，所述的二维旋转使用的旋转矩阵R：

$R=\left[\begin{array}{cc}cos\left(\mathrm{\θ}\right)& \sin \left(\mathrm{\θ}\right)\\ -\sin \left(\mathrm{\θ}\right)& cos\left(\mathrm{\θ}\right)\end{array}\right]$

$\mathrm{\θ}=\arccos \left(\frac{p_{21}{p}_Y}{\left|\right|p_Y\left|\right|}\right)$

其中p₂₁为l₂₁的方向向量，p_Y为世界坐标系Y轴方向的方向向量，θ为旋转的角度；

所述的平移变换使用的平移向量T：

$T=\left[\begin{array}{c}-\frac{X_1+X_2}{2}\\ -\frac{Y_1+Y_2}{2}\\ 0\end{array}\right]$

其中为基准点1的在全站仪坐标系下的坐标，为基准点2在全站仪坐标系下的坐标；

步骤3：获取基准点的图像坐标：在8个基准点处放置合作标志灯，利用可见光相机对合作标志灯进行拍摄并采用手工选点的方式获取基准点的图像坐标；

步骤4：利用DLT算法计算基准点平面与摄像机成像平面之间的单应矩阵H，将单应矩阵H分解为旋转矩阵R和平移向量T，通过Levenberg-Marquardt优化算法求取R和T的精确值。

2.根据权利要求1所述的宽基线可见光相机位姿估计方法，其特征在于所述的8个基准点选取方式如下：

基准点1、2：基准点2指向基准点1的方向为Y轴正方向，基准点1、2两点连线l₁₂中点为世界坐标系原点，l₁₂长度为8m；

基准点3、4：基准点3、4的连线l₃₄与基准点1、2的连线l₁₂平行，l₁₂与l₃₄之间的垂直距离为30m，l₃₄长度为8m；

基准点5、6：基准点5、6的连线l₅₆与基准点1、2的连线l₁₂平行，l₁₂与l₅₆之间的垂直距离为60m，l₅₆长度为8m；

基准点7、8：基准点7、8的连线l₇₈与基准点1、2的连线l₁₂平行，l₁₂与l₇₈之间的垂直距离为100m，l₇₈长度为8m。