CN104950885A - 一种基于视觉和力觉反馈的uav群双边遥操作控制***及其方法 - Google Patents

Abstract

本发明公开了一种基于视觉和力觉反馈的UAV群双边遥操作控制***及其方法，所述***包括主端、从端和通讯模块，所述主端包括手控器和控制计算机，所述从端包括UAV虚代理点、UAV群、距离传感器、图像采集模块；操作者使用单个手控器控制所有的虚拟结构点，虚拟结构点与UAV采用双向跟踪机制，控制UAV群的队形移动；当与环境障碍物进行交互时环境提供力反馈信号，一方面提供给UAV改变UAV的位姿，控制编队队形的变换，另一方面提供给主端使操作者获得力觉临场感；同时，在每个UAV上安装摄像头，通过舵机调节摄像头视角范围，为操作员提供从端全局视图，最终使操作者同时获得力觉和视觉临场感。

Description

一种基于视觉和力觉反馈的UAV群双边遥操作控制***及其方法

技术领域

本发明涉及无人机双边遥操作控制技术领域，特别是涉及一种利用视觉和力觉反馈的无人机群的双边遥操作控制技术。

背景技术

对于复杂的工作任务及多变的工作环境，多机器人的协调与协作可完成单机器人无法或难以完成的工作。多无人机(Unmanned Aerial Vehicles,UAVs)协同编队飞行可显著提高UAV的作业能力，拓宽其使用范围，更安全、更可靠地完成编队、空中侦察和搬运等任务。

然而，当任务变得极为复杂以及需要以高层次的认知为基础的在线决策时，多机器人的完全自主控制仍远未能达到任务目的。在这种情况下，一方面，需要将人的智能引入控制***，充分利用人的在线决策提高多机器人作业能力；另一方面，将远端多机器人作业情况反馈给本地操作员，使操作员具有良好的临场感和沉浸感，降低操作员的工作难度。双边遥操作***就是一种将本地操作员的智能与远程机器人的适应性相结合的技术，它可以使远程机器人跟随本地操作员操控的手控器运动，并将远程机器人与环境的接触力反馈给本地操作员。将双边遥操作***应用于UAV群的编队控制问题中，借助于遥操作***提供力觉、视觉临场感，可以使操作者真实地感觉到从端UAV群与环境的动态相互作用，从而有效地解决UAV群编队过程中避障、UAV间相互碰撞、信息交互等问题。

发明内容

发明目的：针对现有技术中UAV群在复杂多变环境中难以通过完全自主控制实现编队导航的问题，本发明提供了一种基于视觉和力觉反馈的UAV群双边遥操作控制***及其方法，有效解决了UAV群编队导航过程中避障、UAV间相互碰撞及信息交互等问题。

技术方案：本发明在UAV群双边遥操作控制***中使用虚拟结构技术，在载体坐标系下为每个UAV设置一个相应的虚拟结构点，操作者使用单个手控器控制所有的虚拟结构点，虚拟结构点与UAV采用双向跟踪机制，控制UAV群的队形移动；当与环境障碍物进行交互时环境提供力反馈信号，一方面提供给UAV改变UAV的位姿，控制编队队形的变换，另一方面提供给主端使操作者获得力觉临场感；同时，在每个UAV上安装摄像头，通过舵机调节摄像头视角范围，为操作员提供从端全局视图，最终使操作者同时获得力觉和视觉临场感。

本发明提出一种基于视觉和力觉反馈的UAV群双边遥操作控制***，包括主端、从端和通讯模块，所述主端包括手控器和控制计算机，所述手控器包括力反馈触觉装置，用于根据操作者的操作运动，并输出位置信息给控制计算机；所述控制计算机根据手控器发送的位置信息输出控制信号；所述从端包括UAV虚代理点、UAV群、距离传感器、图像采集模块，所述UVA虚代理点和UAV采用双向跟踪机制，控制UAV群的队形移动，当与环境障碍物进行交互时，UAV根据障碍物提供的反作用力改变UAV的位姿，控制编队队形的变换；所述距离传感器用于检测UAV与障碍物的距离；所述图像采集模块用于采集UVA群的全局视图；所述通讯模块用于实现主端和从端间的通讯，将主端控制器输出的控制信号发送给从端，将从端的障碍物反作用力和全局视图发送给主端。

所述手控器具有3个位置自由度、3个关节自由度及3个位置自由度力反馈输出。

所述通讯模块为无线网络，包括XBee透明传输网络和WIFI网络。

所述距离传感器包括超声波传感器。

所述图像采集模块包括安装在UVA上的摄像头和舵机，随着该UAV摄像头在前方180°范围内的左右转动，使得其他UAV在摄像头的视场内，获得其余UAV的全局视图。

本发明还提出一种基于视觉和力觉反馈的UAV群双边遥操作控制方法，包括以下步骤：

1)手控器根据操作者的操作运动，并输出手控器的位置信息给控制计算机；

2)控制计算机接收手控器的位置信息，通过工作空间映射将手控器有限的工作空间映射到UAV无限的工作空间内，然后通过无线网络将控制信号发送给从端UAV群所有的虚拟结构点；

3)UVA虚代理点和UAV采用双向跟踪机制，虚拟结构点在控制信号的作用下进行移动，UAV跟踪对应虚拟结构点实现UAV位置更新；

4)距离传感器检测UAV与障碍物的距离，当单个UAV与环境障碍物之间的距离达到预警值时，障碍物提供给UAV环境反作用力，改变单个UAV的速度，同时，相应的虚拟结构点进行移动，更新编队队形；

5)UAV群根据环境反作用力输出从端力信号，并通过无线网络发送给主端手控器，使操作者获得力觉临场感，同时，安装在UAV上的摄像头在载体坐标系下，以其中单个UAV为中心，调节舵机角度，获得其余UAV的全局视图，并通过无线网络发送给主端控制计算机，使操作者监测从端UAV群的飞行以及与环境的接触状况，从而获得视觉临场感。

所述方法还包括对虚拟结构点的初始设置，具体为：在载体坐标系下，设置虚拟结构点位置，使得UAV与相应的虚拟结构点之间的位置误差趋于零。

所述控制计算机生成控制信号的方法为：采用位置——映射机制，将力反馈手控器的空间位置分别映射到从端所有的UAV虚拟结构点，根据力反馈手控器产生的空间位置信息生成所有虚拟结构点左/右、上/下、前/后方向的位置控制命令，从而对应四旋翼左转/右转、上升/下降、前进/后退方向的飞行控制命令，形成一对多控制模式，即一个力反馈手控器空间位置控制所有的UAV虚拟结构点整体的移动。

所述UAV与虚拟结构点采用双向跟踪方法为：UAV使用轨迹跟踪算法跟踪自身的虚拟结构点的位置，使得UAV与虚拟结构点之间的跟踪位置误差以及速度误差均趋于零，从而实现底层UAV的运动；反之，虚拟结构点跟踪相应UAV，使由虚拟结构点构成的编队队形发生变换。

有益效果：本发明采用上述技术方案，具有以下有益效果：

(1)从端UAV群采用虚拟结构方式，主端直接控制虚拟结构点，从而有效地规避对底层多自由度欠驱动UAV的控制；同时，实现了主从端一对多模式，使得一个手控器即可控制多个UAV的运动，大大减轻了操作者的负担。

(2)从端UAV与虚拟结构点采用双向跟踪方法，虚拟结构点的位置更新和UAV群编队队形的形成同步进行，使得在UAV编队队形过程中避免了UAV之间复杂的信息交互和处理以及UAV之间的相互碰撞。

(3)控制***同时引入力觉和视觉双重反馈，根据从端UAV群与环境障碍物交互的情况，从端产生反馈力和全局视图给操作者，同时改变从端UAV群的编队队形，使得操作者能够清晰的判断从端UAV群与障碍物的交互情况，增强操作者的临场感，提高了操作者的控制能力。

附图说明

图1为本发明基于视觉和力觉反馈的UAV群双边遥操作控制***结构框图；

图2为本发明从端UAV群的初始编队队形示意图；

图3为本发明从端UAV群虚拟结构点的移动XOY平面示意图；

图4为本发明从端UAV群力反馈的原理示意图；

图5为本发明从端UAV群视觉反馈的全局视图。

具体实施方式

下面结合附图和实施例，对本发明作进一步详细说明。

参见图1所示，基于视觉和力觉反馈的UAV群双边遥操作控制***包括主端1、从端3和通讯模块2，所述主端1包括相互连接的手控器11和控制计算机12，所述手控器11包括力反馈触觉装置，具有3个位置自由度、3个关节自由度及3位置自由度力反馈输出，用于根据操作者的操作运动，并输出位置信息给控制计算机12；所述控制计算机12根据手控器11发送的位置信息输出控制信号；所述从端3包括UAV虚代理点31、UAV32群、距离传感器33、图像采集模块34，所述UVA虚代理点31和UAV32采用双向跟踪机制，控制UAV32群的队形移动，当与环境障碍物进行交互时，UAV32根据障碍物提供的反作用力改变UAV32的位姿，控制编队队形的变换；所述距离传感器33为超声波传感器，用于检测UAV32与障碍物的距离；所述图像采集模块34包括安装在UVA32上的摄像头和舵机，随着该UAV摄像头在前方180°范围内的左右转动，使得其他UAV32在摄像头的视场内，获得其余UAV32的全局视图；所述通讯模块2为无线网络，包括XBee透明传输网络和WIFI网络，用于实现主端1和从端3间的通讯，将主端控制器12输出的控制信号发送给从端3，将从端3的障碍物反作用力和全局视图发送给主端1。

上述基于视觉和力觉反馈的UAV群双边遥操作控制***的控制方法，包括如下步骤：

操作者将力f_h作用在手控器11上，手控器11将位置信息x_m发送给控制计算机12；位置信息x_m进入通讯模块2形成从端3位置信号x_s；VSP_i31在位置信号x_s的作用下改变各自的位置为VSP′_i，同时，UAV 32跟踪自身的VSP 31到达控制目标位置；UAV_j32输出环境位置信号作用于障碍物，障碍物提供给UAV_j32环境反作用力UAV32群根据环境反作用力输出从端力信号f_s，进入通讯模块2后输出主端力信号r_m，最后通过手控器11作用于操作者，使操作者获得从端UAV32群的力反馈信息；从端3每个UAV32上安装摄的摄像头在载体坐标系下，以其中单个UAV32为中心，调节舵机角度，获得其余UAV32的全局视图，并通过通讯模块2进行视觉反馈，使得操作者获得从端UAV32群的全局视图，增强操作者的临场感。

参见图2所示，初始编队队形主要依赖于虚拟结构点初始点的设置，一旦虚拟结构点初始位置确定后，则编队队形形成。虚拟结构点VSP初始点的设定主要依赖于UAV初始位置，使得初始虚拟结构点位置与UAV初始位置之间的距离d_i趋于零，图中应使得d_i→0。在惯性坐标系E(OXYZ)下给定n个UAV的位置在载体坐标系B(oxyz)下，根据UAV的位置给定n个虚拟结构点VSP的位置定义欧拉角，设UAV偏航角为ψ、俯仰角为θ、横滚角为载体坐标系到惯性坐标系的转换矩阵为则惯性坐标系E(OXYZ)下VSP的位置如下：

$(p_1^E,...,p_n^E)=C_B^E\·(p_1^B,...,p_n^B)$

其中则要求 $d_i=dis\tan ce(r_i^E,p_i^E)=\sqrt{{\[r_i^E-p_i^E\]}^T\[r_i^E-p_i^E\]}\→0.$

参见图3所示，为***从端UAV群的虚拟结构点的移动XOY平面示意图。虚拟结构点VSP在主端位置信息x_m的作用下，VSP_i进行移动产生位移，在t₁＝t₀+△t时刻，VSP_i的位置为在虚拟结构点移动的期间，UAV在惯性坐标系下偏航角、俯仰角以及横滚角均变换为ψ+△ψ、θ+△θ、载体坐标系到惯性坐标系的转换矩阵则转换为则VSP′_i在惯性坐标系下位置假设UAV仅在xoy平面做平移运动，在z轴方向不做任何变化，保持悬停状态且高度不变。图中VSP_i和VSP′_i的相对转动偏航角度为Δψ，则虚拟结构点VSP_i移动的速度为k_Δψ＞0，k_Δψ为UAV偏航角的增益系数。

虚拟结构点VSP_i以速度进行更新，Δt时刻之后，由从端虚拟结构点VSP构成的编队进行位置更新；同时，从端UAV采用双向跟踪机制，使用最短路径算法跟踪自身的虚拟结构点，使得UAV与虚拟结构点之间的跟踪位置误差以及速度误差均趋于零，实现底层UAV的运动，从而实现整个UAV群的移动。

参见图4所示，从端单UAV采用距离传感器测量与环境障碍物的距离D，产生人工势场力，当从端UAV与障碍物的距离小于预警值时，即D＜D_th，环境障碍物即产生反馈力给操作者，同时，改变单UAV的速度为根据双向跟踪机制，UAV对应的虚拟结构点跟踪其自身的UAV，虚拟结构点的位置发生相应的改变，从而改变从端UAV群的编队队形；当从端UAV与障碍物的距离在安全范围内，则从端不提供力反馈，且不改变UAV群的编队队形。

当障碍物产生反馈力时，提供给单UAV(或子集)反作用力即其中，为从端UAV障碍物检测子集，N_i对应的UAV距离障碍物的距离D均在预警值D_th内，λ，k为大于0的比例系数；同时，子集内单UAV的速度改变为UAV群根据环境反作用力输出从端力信号f_s，f_s再进入通讯环节，输出主端力信号f_m，经过手控器输出主端位置信号r_m，手控器再作用于操作者，使操作者获得力觉临场感。

参见图5所示，在参考虚拟结构点对应的随动UAV上安装一个无线摄像头，同时，添加一个舵机使得摄像头在前方180°的范围内左右转动，从而保证摄像头的灵活性。在载体坐标系下，以UAV中心为原点，调节舵机角度，使得其他UAV在摄像头的视场内，可获得其余UAV的全局视图。首先，定义N个UAV的平均移动速度然后，计算不同UAV上装载的摄像头的相对角度其中为舵机的转动角度。通过各个相对角度可以获得UAV群的全局视图；最后，将摄像头模块通过WIFI网络与主端控制计算机进行数据传输，操作者监测从端UAV群的飞行以及与环境的接触状况。

Claims (9)

1.一种基于视觉和力觉反馈的UAV群双边遥操作控制***，其特征在于，包括主端、从端和通讯模块，所述主端包括手控器和控制计算机，所述手控器包括力反馈触觉装置，用于根据操作者的操作运动，并输出位置信息给控制计算机；所述控制计算机根据手控器发送的位置信息输出控制信号；所述从端包括UAV虚代理点、UAV群、距离传感器、图像采集模块，所述UVA虚代理点和UAV采用双向跟踪机制，控制UAV群的队形移动，当与环境障碍物进行交互时，UAV根据障碍物提供的反作用力改变UAV的位姿，控制编队队形的变换；所述距离传感器用于检测UAV与障碍物的距离；所述图像采集模块用于采集UVA群的全局视图；所述通讯模块用于实现主端和从端间的通讯，将主端控制器输出的控制信号发送给从端，将从端的障碍物反作用力和全局视图发送给主端。

2.如权利要求1所述的基于视觉和力觉反馈的UAV群双边遥操作控制***，其特征在于，所述手控器具有3个位置自由度、3个关节自由度及3个位置自由度力反馈输出。

3.如权利要求1所述的基于视觉和力觉反馈的UAV群双边遥操作控制***，其特征在于，所述通讯模块为无线网络，包括XBee透明传输网络和WIFI网络。

4.如权利要求1所述的基于视觉和力觉反馈的UAV群双边遥操作控制***，其特征在于，所述距离传感器包括超声波传感器。

5.如权利要求1所述的基于视觉和力觉反馈的UAV群双边遥操作控制***，其特征在于，所述图像采集模块包括安装在UVA上的摄像头和舵机。

6.一种基于视觉和力觉反馈的UAV群双边遥操作控制方法，其特征在于，包括以下步骤：

1）手控器根据操作者的操作运动，并输出手控器的位置信息给控制计算机；

2）控制计算机接收手控器位置信息，通过工作空间映射将手控器有限的工作空间映射到UAV无限的工作空间内，然后通过无线网络将控制信号发送给从端UAV群所有的虚拟结构点；

3）UVA虚代理点和UAV采用双向跟踪机制，虚拟结构点在控制信号的作用下进行移动，UAV跟踪对应虚拟结构点实现UAV位置更新；

4）距离传感器检测UAV与障碍物的距离，当单个UAV与环境障碍物之间的距离达到预警值时，障碍物提供给UAV环境反作用力，改变单个UAV的速度，同时，相应的虚拟结构点进行移动，更新编队队形；

5）UAV群根据环境反作用力输出从端力信号，并通过无线网络发送给主端手控器，使操作者获得力觉临场感，同时，安装在UAV上的摄像头在载体坐标系下，以其中单个UAV为中心，调节舵机角度，获得其余UAV的全局视图，并通过无线网络发送给主端控制计算机，使操作者监测从端UAV群的飞行以及与环境的接触状况，从而获得视觉临场感。

7.如权利要求6所述的基于视觉和力觉反馈的UAV群双边遥操作控制方法，其特征在于，所述方法还包括对虚拟结构点的初始设置，具体为：在载体坐标系下，设置虚拟结构点位置，使得UAV与相应的虚拟结构点之间的位置误差趋于零。

8.如权利要求6所述的基于视觉和力觉反馈的UAV群双边遥操作控制方法，其特征在于，所述控制计算机生成控制信号的方法为：采用位置——映射机制，将力反馈手控器的空间位置分别映射到从端所有的UAV虚拟结构点，根据力反馈手控器产生的空间位置信息生成所有虚拟结构点左/右、上/下、前/后方向的位置控制命令，从而对应四旋翼左转/右转、上升/下降、前进/后退方向的飞行控制命令，形成一对多控制模式，即一个力反馈手控器空间位置控制所有的UAV虚拟结构点整体的移动。

9.如权利要求6所述的基于视觉和力觉反馈的UAV群双边遥操作控制方法，其特征在于，所述UAV与虚拟结构点采用双向跟踪方法为：UAV使用轨迹跟踪算法跟踪自身的虚拟结构点的位置，使得UAV与虚拟结构点之间的跟踪位置误差以及速度误差均趋于零，从而实现底层UAV的运动；反之，虚拟结构点跟踪相应UAV，使由虚拟结构点构成的编队队形发生变换。