CN104501779A - 基于多站测量的无人机高精度目标定位方法 - Google Patents

Abstract

一种基于多站测量的无人机高精度目标定位方法，包括以下过程：确定无人机装备卫星接收机、惯性测量单元、摄像机云台、摄像机；在无人机起飞前，标定摄像机的内参数；在无人机飞行中，选择感兴趣的目标点，调节摄像机云台的方位角和高低角，保证在设定的时间内，目标点在摄像机视场内；提取出不同时刻所拍摄图像中目标同名点的坐标；计算出目标点在世界坐标系中的坐标 ；将 转换为经纬度和大地高，完成目标定位过程。本发明基于多目视觉的无人机目标定位方法不需要搭载光电侦察平台，无需进行激光测距，有效的保证了自身安全，也降低了测量设备的成本。同时，该方法具有较高的定位精度，适用范围广，对高精度无人机目标定位领域具有重要的实际意义。

Description

基于多站测量的无人机高精度目标定位方法

技术领域

本发明涉及一种高精度无人机无源目标定位，具体是一种基于多站测量的无人机高精度目标定位方法。

背景技术

无人机与载人飞机相比，具有体积小、造价低、使用方便、对环境要求低等优点。随着技术水平的提高，无人机已被广泛应用于各个领域，包括侦察监视、抢险救灾、地形勘测、目标打击等。目标定位是无人机重要功能之一，其目的为求取目标在大地坐标系下的三维坐标。目前，高精度无人机目标定位已成为国内外无人机研究领域的热点。

无人机目标定位主要可分为有源定位和无源定位。有源定位以基于姿态测量/激光测距定位模型为主，这种定位模型下，无人机需要装备光电侦察平台以完成目标跟踪、激光测距等功能。有源定位测量精度一般较高，但激光属于可见光范畴，不利于自身的隐蔽，同时配备光电侦察平台成本开销较大。无源定位通过摄像机采集目标图像，利用图像分析算法获取目标位置，主要有：基于图像匹配模式的目标定位，这种方法利用可获取的多源图像资源，在建立预先基准图像条件下，将经过校正的无人机电视图像与基准图片进行匹配，从而实现目标定位，该方法目标定位精度较高，但实时性差，且受数据获取的限制，适用性不高；基于成像模型的目标定位，是在获取载体高程、摄像机焦距、摄像机外方位元素等参数的条件下，利用共线条件方程计算地面目标与载体的相对位置。在实际使用中，该方法需要假定待测目标区域为平坦地面，目标定位精度较低。

发明内容

本发明提出了一种基于多目视觉的无人机高精度目标定位方法。通过对同一目标点的多次观测，达到类似于多目视觉定位测量的效果。

本发明的技术方案是：一种基于多站测量的无人机高精度目标定位方法，其特征在于，包括以下过程：

第一步、确定无人机装备卫星接收机、惯性测量单元（IMU）、摄像机云台、摄像机，其中摄像机云台能够实现二自由度运动；

    第二步、在无人机起飞前，标定摄像机的内参数；

    第三步、在无人机飞行中，选择感兴趣的目标点，调节摄像机云台的方位角和高低角，保证在设定的时间内，目标点在摄像机视场内；

    第四步、提取出不同时刻所拍摄图像中目标同名点的坐标；

    第五步、基于加权最小二乘估计的多站目标定位模型计算出目标点在世界坐标系中的坐标                                               ；

    第六步、以第一个测量点的地理坐标系作为世界坐标系，将转换为经纬度和大地高，完成目标定位过程。

所述的第二步中，标定摄像机内参数的具体标定方法包括以下步骤：

（1）准备摄像机标定靶标；

（2）利用摄像机拍摄不同方位的15幅图像，确保获取的图像在视场各个范围内均有分布，同时摄像机的拍摄距离和靶标的放置角度要有充分变化；

（3）提取拍摄图像的角点坐标，使用张正友标定方法标定摄像机内参数。

本发明的技术效果是：本发明基于多目视觉的无人机目标定位方法不需要搭载光电侦察平台，无需进行激光测距，有效的保证了自身安全，也降低了测量设备的成本。同时，该方法具有较高的定位精度，适用范围广，对高精度无人机目标定位领域具有重要的实际意义。

附图说明

图1是本发明所使用的无人机目标定位***；

图2是本发明摄像机标定靶标；

图3是交叉目标定位方法示意图；

图4是多站目标定位方法示意图；

图5是坐标转换流程图。

具体实施方式

本发明一种基于多站测量的无人机高精度目标定位方法，包括以下过程：

第一步、确定无人机装备卫星接收机、惯性测量单元（IMU）、摄像机云台、摄像机，其中摄像机云台可实现二自由度运动（方位旋转和高低旋转）。

    第二步、在无人机起飞前，使用本发明中的摄像机标定方法，确定摄像机的内参数。

    第三步、在无人机飞行中，选择感兴趣的目标点，调节摄像机云台的方位角和高低角，保证一定时间内，目标点在摄像机视场内。

    第四步、提取出不同时刻所拍摄图像中目标同名点的坐标。

    第五步、根据本发明中的基于加权最小二乘估计的多站目标定位模型计算出目标点在世界坐标系中的坐标。

    第六步、以第一个测量点的地理坐标系作为世界坐标系，将转换为经纬度和大地高，完成目标定位过程。

以下对上述流程进行进一步详细说明。

1 ***构成与坐标定义

1.1 ***总体结构

本发明讨论的无人机目标定位***包括卫星接收机1、惯性测量单元（IMU）2、摄像机云台3和摄像机4，摄像机4安装在摄像机云台3上，摄像机云台3可实现二自由度运动（方位旋转和高低旋转），如图1所示（IMU用来测量无人机姿态，卫星接收机用来获取无人机位置，摄像机云台用来调整摄像机的指向）。摄像机云台3和摄像机4采用吊舱式结构安放在飞机上。在目标定位过程中，侦察视频和遥测信息经数据链传输至地面站显示，操纵手通过操纵杆及其它指令控制摄像***搜索侦察目标，当感兴趣的目标出现在画面上时，通过对目标同名点的多次拍摄，结合飞机的姿态测量数据、卫星接收机1位置信息、摄像机云台3的方位角和高低角等数据，通过一系列的计算，获取目标的三维坐标，完成定位过程。

1.2 坐标定义

首先，定义如下坐标系：

（1）世界坐标系

 也称全局坐标系，本发明以无人机对目标定位时第一个测量点的地理坐标系为世界坐标系。

（2）摄像机坐标系

摄影机坐标系的原点为摄像机光心，X轴与Y轴与图像的X，Y轴平行，Z轴为摄像机光轴，它与图像平面垂直。

（3）图像坐标系

图像物理坐标系是以光轴与像平面的交点为原点（称为图像主点），以实际物理尺度（毫米、微米等）为单位的直角坐标系。其中X轴、Y轴分别与图像像素坐标系的X、Y轴平行。

图像像素坐标系是以图像左上角点为原点，以像素为坐标单位的直角坐标系。X、Y分别表示该像素在数字图像中的行数与列数。

2 无人机目标定位关键技术

2.1摄像机内参数标定

摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等。无人机航拍搭载的传感器一般为高分辨率大视场数码摄像机，存在较为明显的镜头畸变，且无人机航拍过程中存在飞行平台姿态不稳定以及发动机引起的机体振动，同时为了满足不同摄影环境还需要频繁变焦。因此，为了提高定地目标定位的精度，摄像机标定十分必要。

摄像机内部参数包括线性变换参数和非线性畸变参数。线性变换是指经典的中心透视模型，线性透视变换表达了图像坐标系与摄像机坐标系的映射关系。成像过程不服从中心透视模型的称为摄像机的非线性畸变，由于透镜设计的复杂性和工艺水平等因素的影响，实际透镜成像***不可能严格满足中心透视模型，产生所谓的镜头畸变，常见的如径向畸变、切向畸变、薄棱镜畸变等，因而在远离图像中心处会有较大的畸变，在实际高精度摄影测量中，尤其在使用广角镜头时，应该采用非线性模型来描述成像关系。

在摄像机成像中，理想像点应该服从中心透视投影模型，即物点、光心、像点共线。但由于镜头畸变的存在，实际成像点与理想像点不重合，它们之间的差别称之为像差。镜头畸变分为径向畸变和切向畸变，考虑径向畸变和切向畸变的相差模型可由5个相差系数来描述：

             （1）

其中，为相差系数，为像点在水平和竖直方向偏离像主点与相应的等效焦距之比。

目前，典型的摄像机参数标定方法主要有以下三类：（1）基于3D立体靶标的摄像机标定；（2）基于径向约束的摄像机标定；（3）基于2D平面靶标的摄像机标定。其中，国内外具有代表性的标定方法有Tsai提出的基于RAC的相机标定方法；Wen用神经网络代替成像模型，提出的神经网络法，不需要建立精确的投影模型；张正友等提出的利用旋转矩阵的正交性与非线性最优化摄像机平面标定法等。由于张正友的方法方便易操作，精度适中，在摄像机内部参数标定中被广泛采用。在该方法中，要求摄像机在两个以上不同方位拍摄一个平面靶标，摄像机和2D靶标都可以自由地移动，不需要知道运动参数。在标定过程中，假定摄像机内部参数始终不变，即不论摄像机从任何角度拍摄靶标，摄像机内部参数都为常数，只有外部参数发生变化。本发明采用张正友提出的摄像机标定方法，采用如图2所示的棋盘靶标，利用摄像机拍摄不同方位的15幅图像，为了提高标定精度，减小随机误差的大小，获取的图像在视场各个范围内均有分布，   同时在拍摄距离上有一定的大小（一般4m到15m）的纵深，靶标的放置角度等也要有充分变化（-45°到45°）。经过试验，经过内参数标定的摄像机，可有效提高无人机目标定位精度。

2.2 同名点提取方法

    所谓同名点即同一目标点不同时刻在摄像机视场上的成像。本发明采用基于区域的局部匹配准则来提取不同图像上的同名点。目前，常用的基于区域的局部匹配准则主要有图像序列中对应像素差的绝对值（SAD, Sum of Absolute Differences），图像序列中对应像素差的平方和（SSD, Sum of Squared Differences），图像的相关性（NCC, Normalized Cross Correlation）等。其中SAD算法最简单，当模板大小确定后，SAD算法的速度最快，因此本发明使用SAD算法做为同名点提取方法。

    SAD算法是一种最简单的匹配算法，用公式表示为：

                            （2）

                  （3）

    此种方法就是以左目图像的源匹配点为中心，定义一个窗口D，统计其窗口的灰度值的和，然后在右目图像中逐步计算其左右窗口的灰度和的差值，最后搜索到的差值最小的区域的即为同名点。其具体实现步骤如下：

    1、构造一个小窗口，类似与卷积核；

    2、以目标像素为中心，用窗口覆盖源图像，选择出窗口覆盖区域内的所有像素点；

    3、同样用窗口覆盖待匹配的图像并选择出覆盖区域的像素点；

    4、源图像覆盖区域减去待匹配图像的覆盖区域，并求出所有像素点差的绝对值的和；

    5、移动待匹配图像的窗口，重复3，4的动作；（这里有搜索范围，超过这个范围跳出）

    6、找到这个范围内SAD值最小的窗口，即找到了待匹配图像中与源图像目标点的最佳匹配的像素块。

2.3交叉目标定位原理

    设空中C ₁和C ₂两个摄站对地面目标摄影，获得一个立体相对，如图3所示。地面目标点P在左右相片上的像点为p ₁和p ₂。显然，同名射线C ₁ p ₁和C ₂ p ₂相交于地面目标点P。

    根据中心透视投影成像关系，可以推导出C ₁和C ₂的成像共线方程分别为：

    （4）

   （5）

    其中，为P点实际成像点坐标；为等效焦距；为像主点坐标；为P点在摄站摄像机坐标系下的坐标。

    根据摄像机坐标系与世界坐标系的相对位姿关系，可得：

                        （6）

    其中，为目标点在世界坐标系中的坐标，为世界坐标系与摄像机坐标系姿态一致而需要的旋转矩阵分量；代表将世界坐标系原点移到摄像机坐标系原点的平移量。

    在无人机目标定位过程中，以第一个测量点的地理坐标系作为世界坐标系，则第一次测量点，第二个测量点的的值可以通过卫星定位接收机两次定位差值计算出。通过惯性测量单元和摄像云台，获取飞机偏航角、俯仰角、横滚角以及摄像机的方位角和高低角，可得：

             （7）

    联立方程（4）、（5）、（6）、（7），解出目标点P的坐标。

2.4基于加权最小二乘估计的多站目标定位模型

    上述目标定位方法，计算结果对各种噪声很敏感。这是因为对于多数摄像测量***，成像***的物距远大于焦距。根据中心透视投影的基本关系，此时摄像机参数或者像点提取结果误差引起的成像光线方位的微小偏差，会带来明显放大的空间点定位结果误差。在交叉目标定位原理的基础上，采用对同名目标点的多次测量，通过最优求解算法，提高目标定位算法的精度以及鲁棒性。

    如图4所示，无人机在预定航迹的飞行过程中，对目标点进行n（n>3）次摄像，获取n张图像。

    则根据共线方程，有：

                                 （8）

    其中：，

  

    将式（8）在初值处进行一阶泰勒展开，可得：

                      （9）

其中：

  

令

                            （10）

                         （11）

    结合式（9）、（10）、（11）得：

                                   （12）

    根据最小二乘估计，可得：

                               （13）

    无人机进行目标定位过程中，在各个测量点，飞机的姿态、飞行高度、摄像机的方位角、高低角都不同，这种情况下，即使使用的是同一个摄像机，但是由于摄像机外参数不同，导致各测量点目标定位精度不同，对误差的贡献也不一样。因此，引入加权最小二乘估计。

    令为加权矩阵，且：

                    （14）

    则有：

                            （15）

    根据式（11）、（15）

                （16）

    为目标位置初值，可以根据交叉目标定位原理求得。由于初始值的位置误差较大，加上线性化带来的误差，使得初次求得的与真实值偏差较大。采用迭代法，当定位结果趋向稳定值时，迭代结束。

    加权矩阵的估计较为困难，通常选择对角线矩阵或更简单的单位矩阵，有研究表明，尽管选择的权矩阵有误差，但对未知参数的加权最小二乘估计依然是无偏估计。我们采用了一种方便、科学的方法来获取权矩阵，在实用中取得良好的效果。其核心思想为：对于引起误差较大的测量点，给予较小的权值，误差较小的测量点，给予较大的权值，从而可加大较好的测量点的“贡献”，改善最小二乘估计的精度。在目标定位过程中，测量点距离目标点越远，定位精度越差，而测量点与目标点的距离由测量点的高程和测量点摄像机光轴指向角共同决定，符合基本的三角关系。由此可得：

                                        （17）

    其中，为权矩阵中的元素，为摄像机光轴指向角，H为测量点高程。

    本发明中，以第一个测量点的地理坐标系作为世界坐标系，通过图5所示的坐标转换过程将转换到大地坐标系中（经纬度和大地高），完成目标定位过程。

Claims (2)

1.一种基于多站测量的无人机高精度目标定位方法，其特征在于，包括以下过程：

第一步、确定无人机装备卫星接收机、惯性测量单元（IMU）、摄像机云台、摄像机，其中摄像机云台能够实现二自由度运动；

     第二步、在无人机起飞前，标定摄像机的内参数；

     第三步、在无人机飞行中，选择感兴趣的目标点，调节摄像机云台的方位角和高低角，保证在设定的时间内，目标点在摄像机视场内；

     第四步、提取出不同时刻所拍摄图像中目标同名点的坐标；

     第五步、基于加权最小二乘估计的多站目标定位模型计算出目标点在世界坐标系中的坐标                                                ；

     第六步、以第一个测量点的地理坐标系作为世界坐标系，将转换为经纬度和大地高，完成目标定位过程。

2.根据权利要求1所述的基于多站测量的无人机高精度目标定位方法，其特征在于，所述的第二步中，标定摄像机内参数的具体标定方法包括以下步骤： 

（1）准备摄像机标定靶标；

（2）利用摄像机拍摄不同方位的15幅图像，确保获取的图像在视场各个范围内均有分布，同时摄像机的拍摄距离和靶标的放置角度要有充分变化；

（3）提取拍摄图像的角点坐标，使用张正友标定方法标定摄像机内参数。