CN117666632A - 一种光电伺服的目标跟踪模拟方法、装置及仿真无人机 - Google Patents

Abstract

本发明涉及一种光电伺服的目标跟踪模拟方法、装置及仿真无人机；其中方法包括：在进行跟踪时，模拟的跟踪控制器获取仿真的视景实时图像；所述跟踪控制器从视景实时图像中确定出目标区域中心的坐标，并解算出目标的脱靶量；所述跟踪控制器根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟的光电伺服机构；所述光电伺服机构根据所述跟踪控制量控制模拟转台的方位和俯仰通道，使模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；根据所述视景实时图像的帧频率，确定基准时间以进行下一次的跟踪。本发明实现了在无需真机飞行情况下进行无人机任务载荷频次的侦察任务模拟训练。

Description

一种光电伺服的目标跟踪模拟方法、装置及仿真无人机

技术领域

本发明涉及模拟仿真技术领域，尤其涉及一种光电伺服的目标跟踪模拟方法、装置及仿真无人机。

背景技术

随着无人机技术的日趋成熟，无人机任务载荷操作手的需求量也在不断增加，尤其是具有锁定跟踪目标功能的无人机任务载荷操作手。无人机任务载荷操作手操控技术的熟练度，在很大程度上决定了侦查任务的效率和成功率，而掌握熟练任务载荷操控技术需要进行大量的训练。如果采用实际装备真机外场实飞对无人机任务载荷操作手进行训练，需要消耗大量的时间、人力和物力成本，不仅无法保证经验不足的操作手可能造成的损失，而且在任务模拟、天气条件和时间条件上还具有一定的局限性，无法快速培养大量具有高熟练度操作技术的光电载荷操作手。以上这些问题均会严重影响侦察型无人机的实际使用。

发明内容

鉴于上述的分析，本发明旨在公开了一种光电伺服的目标跟踪模拟方法、装置及仿真无人机。以解决锁定跟踪目标功能的模拟问题以及无人机操作手的模拟训练问题。

本发明一方面公开了一种光电伺服的目标跟踪模拟方法，包括：

在进行跟踪时，模拟的跟踪控制器获取仿真的视景实时图像；

所述跟踪控制器从视景实时图像中确定出目标区域中心的坐标，并解算出目标的脱靶量；

所述跟踪控制器根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟的光电伺服机构；

所述光电伺服机构根据所述跟踪控制量控制模拟转台的方位和俯仰通道，使模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；

根据所述视景实时图像的帧频率，确定基准时间以进行下一次的跟踪。

进一步地，所述目标脱靶量为目标区域中心在监视屏幕上的坐标与监视屏幕中心坐标之间的偏差量。

进一步地，所述跟踪控制器从实时图像中确定出目标区域中心的坐标为无人机地理坐标系中的位置坐标，通过坐标转换得到目标区域中心在跟踪显示屏幕上的坐标。

进一步地，坐标转换的过程包括：

1)建立包括世界坐标系、无人机地理坐标系、无人机机体坐标系和视点坐标系在内的多个坐标系；

2)进行第一次坐标转换；根据无人机和目标区域中心在世界坐标系下的坐标，进行世界坐标系到无人机地理坐标系的转换，得到目标区域中心在无人机体坐标系下的坐标；

3)进行第二次坐标转换；进行无人机地理坐标系到无人机体坐标系的转换，得到目标区域中心在无人机体坐标系下的坐标；

4)进行第三次坐标转换，根据相机中心点在机体坐标系中的坐标，进行无人机体坐标系到视点坐标系的转换，得到目标区域中心在视点坐标系下的坐标；

5)进行归一化；将目标区域中心在视点坐标系下的坐标，根据视点垂直方向上的视角进行归一化得到视点坐标系下归一化后的坐标；

6)进行第四次坐标转换，根据目标区域中心在视点坐标系下的归一化后的坐标，进行视点坐标系到屏幕坐标系的转换，得到目标区域中心在屏幕坐标系下的坐标。

进一步地，所述目标区域中心在视点坐标系下的坐标：

其中，

(x_c,y_c,h)为无人机在世界坐标系下的坐标；

(x_T,y_T,z_T)为目标区域中心在世界坐标系下的坐标；

(T_x,T_y,T_z)为相机的中心点在无人机机体坐标系中的坐标；

ψ为无人机绕无人机地理坐标系轴Z_s航向角；θ为无人机绕无人机地理坐标系轴X_s俯仰角；γ为无人机绕无人机地理坐标系轴Y_s滚转角；α为相机绕无人机机体坐标系轴Z_a的方位角，β为相机绕无人机机体坐标系轴X_a的俯仰角。

进一步地，目标区域中心在视点坐标系下归一化后的坐标：

其中，视点投影矩阵：

fov为视点垂直方向的视角；f为视点的焦距；

视点显示宽高比：

width为视点显示宽度；height为视点显示宽度；

进一步地，目标区域中心在屏幕坐标系下的坐标

其中，视点坐标到屏幕坐标的矩阵：

进一步地，所述跟踪控制器根据所述脱靶量进行PID控制产生跟踪控制量。

本发明还公开了一种光电伺服的目标跟踪模拟装置，包括跟踪控制器、模拟光电伺服机构、模拟转台和基准时间确定模块；

所述跟踪控制器与模拟光电伺服机构连接，用于在进行跟踪时，从仿真的视景实时图像中确定出目标区域中心的坐标，解算出目标的脱靶量；并根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟光电伺服机构；

所述模拟光电伺服机构与模拟转台连接；根据所述跟踪控制量控制模拟转台的方位和俯仰通道，带动模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；

所述基准时间确定模块，用于根据所述视景实时图像的帧频率，确定基准时间以进行下一次的跟踪。

本发明还公开了一种仿真无人机，包括如上所述的光电伺服的目标跟踪模拟装置。

本发明可实现以下有益效果之一：

本发明公开的光电伺服的目标跟踪模拟方法、装置及仿真无人机，可以根据仿真的视景实时图像，利用仿真的光电伺服机构和仿真转台实现对视景实时图像中目标的跟踪模拟；可以实现在无需真机飞行情况下进行无人机任务载荷频次的侦察任务模拟训练，训练场景逼真，训练效果好，并且大大节约训练的人力、物力和财力。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例一中的光电伺服的目标跟踪模拟方法流程图；

图2为本发明实施例一中的视角与视点显示之间的几何关系图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

实施例一

本发明的一个实施例公开了一种光电伺服的目标跟踪模拟方法，如图1所示，包括：

步骤S1、在进行跟踪时，模拟的跟踪控制器获取仿真的视景实时图像；

步骤S2、所述跟踪控制器从视景实时图像中确定出目标区域中心的坐标，并解算出目标的脱靶量；

步骤S3、所述跟踪控制器根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟的光电伺服机构；

步骤S4、所述光电伺服机构根据所述跟踪控制量控制模拟转台的方位和俯仰通道，使模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；

并根据仿真的帧频率，确定基准时间以进行下一次的跟踪。

具体的，在步骤S1中的仿真的视景实时图像中包括在仿真环境中生成的地形、地物、无人机飞行仿真训练中需要的目标模型以及包括模拟各种天时气候环境下的侦察效果的特效信息。

具体的，所述步骤S2中，所述跟踪控制器从视景实时图像中确定出目标区域中心的坐标以及监视屏幕中心的坐标；其中，目标区域中心以及监视屏幕中心的坐标均通过碰撞检测方法获取，为世界坐标系下的经纬度坐标。无人机在世界坐标系下的坐标为(x_c,y_c,h)，h为无人机距离地面的高度。目标区域中心在世界坐标系下的坐标为(x_T,y_T,z_T)。

进一步地，本实施例中，所述目标脱靶量为目标区域中心在监视屏幕上的坐标与监视屏幕中心坐标之间的偏差量。

由于从视景实时图像中确定出目标区域中心的坐标以及监视屏幕中心的坐标为世界坐标系，因此在计算脱靶量时，所述跟踪控制器从实时图像中确定出目标区域中心的坐标为世界坐标系下的位置坐标，通过坐标转换得到目标区域中心在跟踪显示屏幕上的坐标。

具体的，坐标转换的过程包括：

1)建立包括世界坐标系、无人机地理坐标系、无人机机体坐标系和视点坐标系在内的多个坐标系；

其中，

无人机地理坐标系(O_s-X_sY_sZ_s)的坐标原点O_s为无人机在世界坐标系下的坐标，三个坐标轴与世界坐标系的三轴平行；

无人机机体坐标系(O_a-X_aY_aZ_a)坐标原点O_a与坐标原点O_s重合，三个坐标轴为无人机的航向、俯仰和滚转轴；

视点坐标系(O_b-X_aY_bZ_b)的坐标原点O_b为相机的聚焦中心，以光轴为Z轴建立的三维直角坐标系，X_a轴与Y_b轴与图像的X,Y轴平行，Z_b轴为相机光轴。

2)进行第一次坐标转换；根据无人机和目标区域中心在世界坐标系下的坐标，进行世界坐标系到无人机地理坐标系的转换，得到目标区域中心在无人机体坐标系下的坐标；

具体的，无人机地理坐标系与地面坐标系的三轴平行，因此，目标在无人机地理坐标系中的坐标(x_s,y_s,z_s)为:

2)进行第二次坐标转换；进行无人机地理坐标系到无人机体坐标系的转换，得到目标区域中心在无人机体坐标系下的坐标(x_a,y_a,z_a)；

具体的，(x_a,y_a,z_a)^T＝Q₁Q₂Q₃(x_s,y_s,z_s)^T；

其中，

ψ为无人机绕无人机地理坐标系轴Z_s航向角；θ为无人机绕无人机地理坐标系轴X_s俯仰角；γ为无人机绕无人机地理坐标系轴Y_s滚转角；

3)进行第三次坐标转换，根据相机中心点在机体坐标系中的坐标，进行无人机体坐标系到视点坐标系的转换，得到目标区域中心在视点坐标系下的坐标；

具体的，相机中心点在机体坐标系中的坐标为T＝[T_x,T_y,T_z]，则目标区域中心在视点坐标系下的坐标(x_b,y_b,z_b)为：

(x_b,y_b,z_b)^T＝Q₄Q₅(x_a-T_x,y_a-T_y,z_a-T_z)^T；

其中，

α为相机绕无人机机体坐标系轴Z_a的方位角，β为相机绕无人机机体坐标系轴X_a的俯仰角。

基于步骤1)-3)得到目标区域中心在视点坐标系下的坐标与世界坐标系下的坐标的转换关系式为：

4)进行归一化；将目标区域中心在视点坐标系下的坐标，根据视点垂直方向上的视角进行归一化得到视点坐标系下归一化后的坐标；

具体的，视点垂直方向的视角是fov，aspect为视点显示宽高比，如下图2所示。

视点投影矩阵为：

归一化后视点坐标x'_b、y'_b、z'_b：

5)进行第四次坐标转换，根据目标区域中心在视点坐标系下的归一化后的坐标，进行视点坐标系到屏幕坐标系的转换，得到目标区域中心在屏幕坐标系下的坐标。

具体的，在归一化的视点坐标系中x是-1到1，y也是-1到1，而视点视口大小分别是width和height。

屏幕上的点坐标可以表示为：

在屏幕空间的目标高度z_screen是0，假设在视点坐标系中目标高度z也是0，可得：

z_screen＝z；

因此得到视点坐标到屏幕坐标的矩阵S为：

最后得到目标在屏幕上点坐标P_screen的坐标为：

将屏幕中心点的坐标P_center和目标在屏幕上点坐标P_screen进行求差运算，解算出目标的脱靶量。

具体的，步骤S3中所述跟踪控制器根据所述脱靶量进行PID控制产生跟踪控制量输出到模拟的光电伺服机构；

所述PID控制控制算法根据输入的偏差值，按照比例、积分、微分的函数关系进行运算，运算结果用以控制输出。在工作过程中，连续控制***的PID控制规律为：

式中，K_p——比例增益，与比例度成倒数关系，T_t——积分时间常数；T_D——微分时间常数；u(t)——PID控制器的跟踪控制量信号；e(t)——给定值r(t)与测量值之差。给定值r(t)通过飞行摇杆输入的状态控制指令中获得。

具体的，步骤S4中的模拟转台的转台模型模拟仿真了一个两轴的转台，转台装载在无人机机体上，转台模型两轴设定为动态节点，根据实装的参数限定每轴动态节点的运动方向、运动范围和运动步进。转台模型采用开源视景仿真引擎进行模拟，在其中嵌套动态节点来实现其六自由度的运动。动态节点主要包括：转台的方位节点(0-360度)，转台的俯仰节点(-20～110度)，方位节点是俯仰节点的父节点，将视景仿真的视点装载在俯仰节点上，当任何节点进行转动时，也就转台的两轴进行转动时，或者飞机移动时，此时侦察到画面会进行相应的改变。

所述光电伺服机构根据所述跟踪控制量控制模拟转台的方位和俯仰通道，使模拟转台带动相机的视轴向目标方向转动，使目标处于监视屏幕中心。

综上所述，本发明实施例中公开的光电伺服的目标跟踪模拟方法，可以根据仿真的视景实时图像，对利用仿真的光电伺服机构和仿真转台进行跟踪控制实现对视景实时图像中目标的跟踪模拟；可以实现在无需真机飞行情况下进行无人机任务载荷频次的侦察任务模拟训练，训练场景逼真，训练效果好，并且大大节约训练的人力、物力和财力。

实施例二

本发明的一个实施例中公开了一种光电伺服的目标跟踪模拟装置，包括跟踪控制器、模拟光电伺服机构、模拟转台和基准时间确定模块；

所述跟踪控制器与模拟光电伺服机构连接，用于在进行跟踪时，从仿真的视景实时图像中确定出目标区域中心的坐标，解算出目标的脱靶量；并根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟光电伺服机构；

所述模拟光电伺服机构与模拟转台连接；根据所述跟踪控制量控制模拟转台的方位和俯仰通道，带动模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；

所述基准时间确定模块，用于根据仿真的帧频率，确定基准时间以进行下一次的跟踪。

本实施例中的具体技术细节和有益效果，与实施例一中相同，请具体参照实施例一中所述的内容，在此就不一一赘述了。

实施例三

本发明的一个实施例中公开了一种仿真无人机；所述仿真无人机中包括了如实施例二中所述的光电伺服的目标跟踪模拟装置。

所述仿真无人机中利用低成本的计算机和视景仿真技术，在实验室内实现虚拟的可见光载荷模拟，实现逼真的虚拟侦察场景，既可以用于无人机半物理仿真试验，也可以用于地面任务载荷操作人员的训练。在无人机飞行训练中,虽然无人机没有真实飞行，没有真实的光电平台，但是使用可见光载荷模拟仿真***，受训人员通过无人机可见光载荷模拟仿真可以看到逼真的跟实际飞行场景基本一致的侦察场景，可以在无需真机飞行情况下进行无人机任务载荷频次的侦察任务训练，大大节约训练的人力、物力和财力。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种光电伺服的目标跟踪模拟方法，其特征在于，包括：

在进行跟踪时，模拟的跟踪控制器获取仿真的视景实时图像；

所述跟踪控制器从视景实时图像中确定出目标区域中心的坐标，并解算出目标的脱靶量；

所述跟踪控制器根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟的光电伺服机构；

所述光电伺服机构根据所述跟踪控制量控制模拟转台的方位和俯仰通道，使模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；

根据所述视景实时图像的帧频率，确定基准时间以进行下一次的跟踪。

2.根据权利要求1所述的光电伺服的模拟方法，其特征在于，所述目标脱靶量为目标区域中心在监视屏幕上的坐标与监视屏幕中心坐标之间的偏差量。

3.根据权利要求2所述的光电伺服的模拟方法，其特征在于，所述跟踪控制器从实时图像中确定出目标区域中心的坐标为无人机地理坐标系中的位置坐标，通过坐标转换得到目标区域中心在跟踪显示屏幕上的坐标。

4.根据权利要求3所述的光电伺服的模拟方法，其特征在于，坐标转换的过程包括：

1)建立包括世界坐标系、无人机地理坐标系、无人机机体坐标系和视点坐标系在内的多个坐标系；

2)进行第一次坐标转换；根据无人机和目标区域中心在世界坐标系下的坐标，进行世界坐标系到无人机地理坐标系的转换，得到目标区域中心在无人机体坐标系下的坐标；

3)进行第二次坐标转换；进行无人机地理坐标系到无人机体坐标系的转换，得到目标区域中心在无人机体坐标系下的坐标；

4)进行第三次坐标转换，根据相机中心点在机体坐标系中的坐标，进行无人机体坐标系到视点坐标系的转换，得到目标区域中心在视点坐标系下的坐标；

5)进行归一化；将目标区域中心在视点坐标系下的坐标，根据视点垂直方向上的视角进行归一化得到视点坐标系下归一化后的坐标；

6)进行第四次坐标转换，根据目标区域中心在视点坐标系下的归一化后的坐标，进行视点坐标系到屏幕坐标系的转换，得到目标区域中心在屏幕坐标系下的坐标。

5.根据权利要求4所述的光电伺服的模拟方法，其特征在于，所述目标区域中心在视点坐标系下的坐标：

其中，

(x_c,y_c,h)为无人机在世界坐标系下的坐标；

(x_T,y_T,z_T)为目标区域中心在世界坐标系下的坐标；

(T_x,T_y,T_z)为相机的中心点在无人机机体坐标系中的坐标；

ψ为无人机绕无人机地理坐标系轴Z_s航向角；θ为无人机绕无人机地理坐标系轴X_s俯仰角；γ为无人机绕无人机地理坐标系轴Y_s滚转角；α为相机绕无人机机体坐标系轴Z_a的方位角，β为相机绕无人机机体坐标系轴X_a的俯仰角。

6.根据权利要求5所述的光电伺服的模拟方法，其特征在于，目标区域中心在视点坐标系下归一化后的坐标：

其中，视点投影矩阵：

fov为视点垂直方向的视角；f为视点的焦距；

视点显示宽高比：

width为视点显示宽度；height为视点显示宽度；

7.根据权利要求6所述的光电伺服的模拟方法，其特征在于，目标区域中心在屏幕坐标系下的坐标

其中，视点坐标到屏幕坐标的矩阵：

8.根据权利要求1-7任一项所述的光电伺服的模拟方法，其特征在于，所述跟踪控制器根据所述脱靶量进行PID控制产生跟踪控制量。

9.一种根据权利要求1-8所述的光电伺服的目标跟踪模拟方法的目标跟踪模拟装置，其特征在于，包括跟踪控制器、模拟光电伺服机构、模拟转台和基准时间确定模块；

所述跟踪控制器与模拟光电伺服机构连接，用于在进行跟踪时，从仿真的视景实时图像中确定出目标区域中心的坐标，解算出目标的脱靶量；并根据所述脱靶量进行跟踪控制产生跟踪控制量输出到模拟光电伺服机构；

所述模拟光电伺服机构与模拟转台连接；根据所述跟踪控制量控制模拟转台的方位和俯仰通道，带动模拟的相机的视轴向目标方向转动，使目标处于监视屏幕中心；

所述基准时间确定模块，用于根据所述视景实时图像的帧频率，确定基准时间以进行下一次的跟踪。

10.一种仿真无人机，其特征在于，包括如权利要求9所述的光电伺服的目标跟踪模拟装置。