CN106780337A - 基于二维图像的无人机着舰视景模拟方法 - Google Patents

Abstract

本发明公开了一种基于二维图像的无人机着舰视景模拟方法，包括以下步骤：步骤1：采用多幅原始二维图像进行平面视景拼接，生成模拟视觉场景；步骤2：建立大地坐标系，以及原始二维图像的平面坐标系；步骤3：得到大地坐标系中的坐标与每幅原始二维图像的平面坐标系中像素点坐标的关系公式（一）；步骤4：计算无人机当前应该获取到的视景图像中，像素点A对应的视觉射线指向模拟视觉场景中的目标点B在大地坐标系中的坐标；步骤5：根据关系公式（一）计算得到目标点B在原始二维图像的平面坐标系中对应的像素点坐标；步骤6：获取目标点B所对应像素点的颜色信息，将颜色信息对应录入无人机当前应该获取到的视景图像中，生成无人机的当前视景图像。

Description

基于二维图像的无人机着舰视景模拟方法

技术领域

本发明涉及无人机着舰视景模拟技术领域，具体涉及一种基于二维图像的无人机着舰视景模拟方法。

背景技术

无人机是利用无线遥控设备和自身搭载的程序控制装置操纵的不载人飞机，在航拍、农业、植保、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检等众多领域得到应用。

无人机的自主着舰技术是现在飞行控制领域和人工智能领域人们研究的重点课题，其主要解决无人机在飞行任务末端的自主着舰回收问题。现在广泛使用的无人机回收方法是采用人工末端遥控技术实现着舰，遥控对象多为无人直升机，也有基于GPS和惯性导航***实现的自主着舰技术，但是受到卫星等***条件的限制，并不是完全自主的末端导航***。

近年来，学者们开始研究基于视觉的完全自主的导航技术，力图使无人机在整个任务的飞行阶段能够实现自主飞行，特别是在飞机起降阶段，从而可以大力发展大起飞重量、大载荷、具有战术和战略意义的无人机；但是基于视觉的自主着舰***研究存在一定难度，不仅在理论和技术创新上存在难度，而且实施有针对性的视觉实验也具有一点难度和无人机毁坏的风险，大大阻碍了视觉技术在无人机末端导航中的研究和发展。采用模拟视景的方式来进行基于视觉的无人机实验可以有效降低难度和风险，现有技术主要采用的是虚拟现实技术构建无人机实验场景，一方面构建场景的工作量及难度都非常大，会占用研究人员大量的时间和精力，另一方面虚拟场景的真实度较低，实验效果不理想。

发明内容

本发明要解决的技术问题是提供一种基于二维图像的无人机着舰视景模拟方法，可以解决现有技术通过虚拟现实技术构建无人机实验场景，导致构建场景的工作量及难度大，以及真实度较低的问题。

本发明通过以下技术方案实现：

一种基于二维图像的无人机着舰视景模拟方法，包括以下步骤：

步骤1：采用多幅原始二维图像进行平面视景拼接，生成模拟视觉场景；

步骤2：根据模拟视觉场景建立大地坐标系，以及原始二维图像的平面坐标系；

步骤3：根据原始二维图像的比例尺，得到大地坐标系中的坐标与每幅原始二维图像的平面坐标系中像素点坐标的关系公式(一)；

步骤4：根据无人机的位置信息和姿态信息，计算无人机当前应该获取到的视景图像中，像素点A对应的视觉射线指向模拟视觉场景中的目标点B在大地坐标系中的坐标；

步骤5：根据关系公式(一)计算得到目标点B在原始二维图像的平面坐标系中对应的像素点坐标；

步骤6：获取目标点B所对应像素点的颜色信息，将颜色信息对应录入无人机当前应该获取到的视景图像中，生成无人机的当前视景图像。

本发明的进一步方案是，在步骤1中，所述多幅原始二维图像包括一幅在海面上泊有舰艇的中心图像，其余为复制于一幅仅仅是海面的图像的复制图像，复制图像围绕中心图像进行拼接。

本发明的再进一步方案是，在步骤2中，以中心图像的中心点作为原点，以中心图像上舰艇的舰首方向为x轴方向，以舰艇右侧为y轴方向，z轴方向指向地心，建立大地坐标系；原始二维图像的平面坐标系以原始二维图像左上角为坐标原点，水平向右为x轴方向，竖直向下为y轴方向。

本发明的更进一步方案是，所述关系公式(一)为：

其中x和y分别为地面坐标，i₁、j₁分别为中心图像的平面坐标系中像素点的横、纵坐标，i₂、j₂分别为复制图像的平面坐标系中像素点的横、纵坐标，原始二维图像以左上角为像素点的坐标原点；k为每米距离对应的原始二维图像像素数，*是一个取整乘法运算；L、H分别为原始二维图像的宽度和高度。

本发明的进一步方案是，在步骤4中，先建立无人机的视觉直角坐标系，将大地坐标系原点平移使其与视觉直角坐标系原点重合，形成临时坐标系，得到目标点B在视觉直角坐标系和临时坐标系的转换关系公式(二)；再建立无人机的视觉球面坐标系，得到目标点B在视觉直角坐标系与视觉球面坐标系的转换关系公式(三)，结合转换关系公式(二)得到目标点B在临时坐标系与视觉球面坐标系的转换关系公式(四)；计算像素点A对应的视觉射线在视觉球面坐标系中的角度，根据转换关系公式(四)计算出目标点B在临时坐标系中的坐标，再根据临时坐标系与大地坐标系之间的平移关系计算得到目标点B在大地坐标系中的坐标。

本发明的再进一步方案是，所述目标点B在视觉直角坐标系到临时坐标系的转换关系公式(二)为：

其中[x_t,y_t,z_t]^T为目标点B在临时坐标系下的坐标，[x',y',z']^T为目标点B在视觉直角坐标系下的坐标；

其中θ是俯仰角，ψ是偏航角，φ是滚转角。

本发明的再进一步方案是，所述目标点B在视觉直角坐标系与视觉球面坐标系的转换关系公式(三)为：

其中c'为像素点A对应的视觉射线在视觉直角坐标系中X’OZ’平面的投影与OX’之间的夹角，d'为像素点A对应的视觉射线与其在视觉直角坐标系中X’OZ’平面的投影之间的夹角，r为模。

本发明与现有技术相比的优点在于：

一、通过拍摄实物获得的二维图像拼接生成无人机着舰模拟视觉场景，工作量和难度都很小，实施容易，再通过像素坐标计算、录入得到无人机当前应该获取到的视景图像，真实度高；

二、通过大地坐标系、原始二维图像的平面坐标系、视觉直角坐标系、临时坐标系、视觉球面坐标系的转换，降低数据计算的复杂程度，提高计算速度，确保联系生成的视景图像画面流畅。

附图说明

图1为像素点A对应的视觉射线与大地坐标系的关系示意图。

图2为像素点A对应的视觉射线在视觉直角坐标系和视觉球面坐标系中关系示意图。

图3为像素点A对应的视觉射线在视觉直角坐标系中X’OZ’平面的投影关系示意图。

图4为实施例中的中心图像。

图5为实施例中的复制图像。

图6为实施例中的模拟视觉场景。

具体实施方式

一种基于二维图像的无人机着舰视景模拟方法，包括以下步骤：

步骤1：采用包括一幅如图4所示的在海面上泊有***的中心图像，和多幅复制于一幅如图5所示的仅仅是海面的图像的复制图像在内的多幅原始二维图像，将复制图像围绕中心图像图片拼接方法进行拼接，生成如图6所示的模拟视觉场景；中心图像和复制图像来为视角高度为500米、分辨率为1024*768的***地图截图。

步骤2：以中心图像的中心点作为原点，以中心图像上舰艇的舰首方向为x轴方向，以舰艇右侧为y轴方向，z轴方向指向地心，建立大地坐标系；以原始二维图像左上角为坐标原点，水平向右为x轴方向，竖直向下为y轴方向，建立原始二维图像的平面坐标系。

步骤3：根据原始二维图像的比例尺，得到大地坐标系中的坐标与每幅原始二维图像的平面坐标系中像素点坐标的关系公式(一)：

其中x和y分别为地面坐标，i₁、j₁分别为中心图像的平面坐标系中像素点的横、纵坐标，i₂、j₂分别为复制图像的平面坐标系中像素点的横、纵坐标，原始二维图像以左上角为像素点的坐标原点；k为每米距离对应的原始二维图像像素数，*是一个取整乘法运算；L、H分别为原始二维图像的宽度和高度。

步骤4：设定固定翼无人机初始姿态，设定无人机当前应该获取到的视景图像中心像素点A在大地坐标系中的初始坐标为(x₀,y₀,-h)，像素点A对应的视觉射线指向模拟视觉场景中的目标点B在大地坐标系中的坐标记为(x,y,z)，如图1所示，由于目标点B是在大地坐标系的XOY平面上，所以可以得到目标B的坐标计算公式(五)：

其中a为大地坐标系中像素点A对应的视觉射线与z轴之间的夹角，a'为大地坐标系中像素点A对应的视觉射线在XOY平面上的投影与x轴反方向之间的夹角，r为像素点A到目标点B的距离，A’为大地坐标系中像素点A在XOY 平面上的投影。

建立无人机的视觉直角坐标系，以无人机当前应该获取到的视景图像中心像素点A为原点，x轴、y轴、z轴平行于机体坐标系，即：以无人机机身中轴线朝向机头方向为x轴方向，从机身垂直向右为y轴方向，z轴方向指向地心，机体坐标系遵循右手定则。

将大地坐标系原点平移使其与视觉直角坐标系原点重合，形成临时坐标系；此时，视觉直角坐标系相当于机体坐标系的平移，根据《吴森堂，费玉华.飞行控制***.北京：北京航空航天大学出版社，2005》和《Brian L S,Frank L L.Aircraft Control andSimulation.ley-Interscience,2003》所公开的同原点机体坐标系到地面坐标系的坐标转换关系，可以得到目标点B在视觉直角坐标系和临时坐标系的转换关系公式(二)：

其中[x_t,y_t,z_t]^T为目标点B在临时坐标系下的坐标，[x',y',z']^T为目标点B在视觉直角坐标系下的坐标；

其中θ是俯仰角，ψ是偏航角，φ是滚转角，为无人机初始姿态参数。

以无人机当前应该获取到的视景图像中心像素点A为原点，建立无人机的视觉球面坐标系，将目标点B在视觉直角坐标系下的坐标变换为球面坐标形式(r,c',d')，其中c'为像素点A对应的视觉射线在视觉直角坐标系中X’OZ’平面的投影与OX’之间的夹角，d'为像素点A对应的视觉射线与其在视觉直角坐标系中X’OZ’平面的投影之间的夹角，像素点A到目标点B的距离r作为模，如图2所示，可以得到目标点B在视觉直角坐标系与视觉球面坐标系的转换关系公式(三)：

进而得到目标点B在临时坐标系与视觉球面坐标系的转换关系公式(四)：

c'的计算如图3所示，c为摄像机与机体轴夹角，c"为像素点A对应的视觉射线和视轴在视觉直角坐标系中的X’OZ’平面的投影之间的夹角，l为摄像头垂直视觉监控角度，存在c'＝c-c"的逻辑关系；根据无人机当前应该获取到的视景图像所在平面w和视轴分别在X’OZ’平面的投影之间相互垂直，可得其中Δxp为目标点B与像素点A的像素偏差数，上偏为正，XP是视景图像中视轴中心像素点纵坐标值，进而可得到计算得到像素点A的垂直坐标xp＝XP-Δxp。

同理可计算其中Δyp为相对于视轴中心点的水平像素偏离数，右偏为正，m为摄像机水平视角范围，YP为视景图像中视轴中心像素点水平坐标值，计算得到像素点A的水平坐标yp＝YP+Δyp。

由于临时坐标系是将大地坐标系原点平移到视觉直角坐标系原点，因此目标点B在临时坐标系中的z轴坐标z_t＝h，h为预设的无人机当前应该获取到的视景图像中心像素点A在大地坐标系中的初始高度，根据转换关系公式(四)可以计算得到模再根据模r计算x_t、y_t，得到目标点B在临时坐标系下的坐标[x_t,y_t,z_t]^T，再根据临时坐标系与大地坐标系之间的平移关系计算得到目标点B在大地坐标系中的水平面坐标(x,y)。

步骤5：根据关系公式(一)计算得到目标点B在原始二维图像的平面坐标系中对应的像素点坐标；

步骤6：获取目标点B所对应像素点的颜色信息，将颜色信息对应录入无人机当前应该获取到的视景图像中的像素点A(xp，yp)，生成无人机的当前视景图像，送显示器显示即可。

通过Visual C++6.0编程进行测试，检验是否能够满足15帧/秒的帧速要求，以确保画面基本流畅。

设定连续200帧，帧转换间无间隔，无人机为直线下滑降落状态，降落垂直速度和水平向前速度均为1米/帧，进行10次测试，结果如下：

根据测试结果，可计算出帧速为：15.98帧/秒，能够满足连续视频要求。

使用该算法模拟无人机使用视觉作为着舰导引的视景图像，这样***可以使用摄像机进行视觉信息采集，再配合相应的视觉处理***，可以对无人机着舰过程中的视觉图像处理算法，飞行控制算法，航迹控制算法等一系列相关算法进行实验研究。

Claims (7)

1.一种基于二维图像的无人机着舰视景模拟方法，其特征在于包括以下步骤：

步骤1：采用多幅原始二维图像进行平面视景拼接，生成模拟视觉场景；

步骤2：根据模拟视觉场景建立大地坐标系，以及原始二维图像的平面坐标系；

步骤3：根据原始二维图像的比例尺，得到大地坐标系中的坐标与每幅原始二维图像的平面坐标系中像素点坐标的关系公式(一)；

步骤4：根据无人机的位置信息和姿态信息，计算无人机当前应该获取到的视景图像中，像素点A对应的视觉射线指向模拟视觉场景中的目标点B在大地坐标系中的坐标；

步骤5：根据关系公式(一)计算得到目标点B在原始二维图像的平面坐标系中对应的像素点坐标；

步骤6：获取目标点B所对应像素点的颜色信息，将颜色信息对应录入无人机当前应该获取到的视景图像中，生成无人机的当前视景图像。

2.如权利要求1所述的一种基于二维图像的无人机着舰视景模拟方法，其特征在于：在步骤1中，所述多幅原始二维图像包括一幅在海面上泊有舰艇的中心图像，其余为复制于一幅仅仅是海面的图像的复制图像，复制图像围绕中心图像进行拼接。

3.如权利要求2所述的一种基于二维图像的无人机着舰视景模拟方法，其特征在于：在步骤2中，以中心图像的中心点作为原点，以中心图像上舰艇的舰首方向为x轴方向，以舰艇右侧为y轴方向，z轴方向指向地心，建立大地坐标系；原始二维图像的平面坐标系以原始二维图像左上角为坐标原点，水平向右为x轴方向，竖直向下为y轴方向。

4.如权利要求3所述的一种基于二维图像的无人机着舰视景模拟方法，其特征在于：所述关系公式(一)为：

其中x和y分别为地面坐标，i₁、j₁分别为中心图像的平面坐标系中像素点的横、纵坐标，i₂、j₂分别为复制图像的平面坐标系中像素点的横、纵坐标，原始二维图像以左上角为像素点的坐标原点；k为每米距离对应的原始二维图像像素数，*是一个取整乘法运算；L、H分别为原始二维图像的宽度和高度。

5.如权利要求1所述的一种基于二维图像的无人机着舰视景模拟方法，其特征在于：在步骤4中，先建立无人机的视觉直角坐标系，将大地坐标系原点平移使其与视觉直角坐标系原点重合，形成临时坐标系，得到目标点B在视觉直角坐标系和临时坐标系的转换关系公式(二)；再建立无人机的视觉球面坐标系，得到目标点B在视觉直角坐标系与视觉球面坐标系的转换关系公式(三)，结合转换关系公式(二)得到目标点B在临时坐标系与视觉球面坐标系的转换关系公式(四)；计算像素点A对应的视觉射线在视觉球面坐标系中的角度，根据转换关系公式(四)计算出目标点B在临时坐标系中的坐标，再根据临时坐标系与大地坐标系之间的平移关系计算得到目标点B在大地坐标系中的坐标。

6.如权利要求5所述的一种基于二维图像的无人机着舰视景模拟方法，其特征在于：所述目标点B在视觉直角坐标系到临时坐标系的转换关系公式(二)为：

$\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]=S\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ z^{\′}\end{array}\right];$

其中[x_t,y_t,z_t]^T为目标点B在临时坐标系下的坐标，[x',y',z']^T为目标点B在视觉直角坐标系下的坐标；

$S=\left[\begin{array}{ccc}\cos \mathrm{\θ}\cos \mathrm{\ψ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}\sin \mathrm{\φ}-\sin \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\cos \mathrm{\ψ}\cos \mathrm{\φ}+\sin \mathrm{\ψ}\sin \mathrm{\φ}\\ \cos \mathrm{\θ}\sin \mathrm{\ψ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\sin \mathrm{\φ}+\cos \mathrm{\ψ}\cos \mathrm{\φ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}\cos \mathrm{\φ}-\cos \mathrm{\ψ}\sin \mathrm{\φ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\sin \mathrm{\φ}& \cos \mathrm{\θ}\cos \mathrm{\φ}\end{array}\right];$

其中θ是俯仰角，ψ是偏航角，φ是滚转角。

7.如权利要求5所述的一种基于二维图像的无人机着舰视景模拟方法，其特征在于：所述目标点B在视觉直角坐标系与视觉球面坐标系的转换关系公式(三)为：

$\left\{\begin{array}{c}{x}^{\′}=r\×cos\left(d^{\′}\right)\×cos\left(c^{\′}\right)\\ y^{\′}=r\×sin\left(d^{\′}\right)\\ z^{\′}=r\×cos\left(d^{\′}\right)\×sin\left(c^{\′}\right)\end{array}\right.;$

其中c'为像素点A对应的视觉射线在视觉直角坐标系中X’OZ’平面的投影与OX’之间的夹角，d'为像素点A对应的视觉射线与其在视觉直角坐标系中X’OZ’平面的投影之间的夹角，r为模。