CN116149313A - 视触觉融合的空中机器人遥操作***及跟随辅助控制方法 - Google Patents

视触觉融合的空中机器人遥操作***及跟随辅助控制方法 Download PDF

Info

Publication number
CN116149313A
CN116149313A CN202211437290.7A CN202211437290A CN116149313A CN 116149313 A CN116149313 A CN 116149313A CN 202211437290 A CN202211437290 A CN 202211437290A CN 116149313 A CN116149313 A CN 116149313A
Authority
CN
China
Prior art keywords
module
aerial robot
robot
control
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211437290.7A
Other languages
English (en)
Inventor
陈铭楠
尹选春
文晟
张建桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202211437290.7A priority Critical patent/CN116149313A/zh
Publication of CN116149313A publication Critical patent/CN116149313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及空中机器人遥操作领域，为视触觉融合的空中机器人遥操作***及跟随辅助控制方法。其***包括主端、从端、控制策略模块和网络通讯模块，主端包括操纵杆信号采集模块、触觉反馈模块、视觉反馈模块和信号处理模块，从端包括领导者和跟随者，领导者设有定位模块，跟随者为空中机器人；空中机器人包括运动控制模块、定位建图模块、运动规划模块及视觉采集模块。本发明采用触觉反馈的方法提供跟随辅助控制引导，使遥操作***能够安全地完成复杂的任务；与单纯依靠视觉反馈信号在非结构化环境下控制空中机器人相比，降低了操作员的工作负荷，提高了控制的安全性。

Description

视触觉融合的空中机器人遥操作***及跟随辅助控制方法
技术领域
本发明涉及空中机器人遥操作领域，特别涉及一种视觉与触觉反馈相融合的空中机器人遥操作***及跟随辅助控制方法。
背景技术
随着空中机器人遥操作技术的成熟，其越来越广泛地应用在危险的、复杂的，人难以进入的非结构化环境中，如高空、火灾现场、核辐射区域。此外，多智能体协作技术可以发挥非结构化环境中人-机或多机间的异质性带来的优势，在非结构化环境下由操作员操作合作完成任务。
遥操作技术是一种人与机器人远程交互的技术，其一方面捕捉操作员的控制意图，将操作员的控制命令传送到远端的机器人控制器中，另一方面通过机器人上安装的多传感器设备将环境和机器人的状态信息反馈给操作员，从而使操作员获取控制决策的依据。
目前的空中机器人遥操控方法主要依靠基于人眼或视觉传感器反馈回图像单边遥操控，在高度非结构化环境下对操作员有较大的认知负荷，例如视线不佳的环境。此外，多智能体技术将人-机编队或多机编队中每个能够自主或***控的移动的主体视为智能体。在编队移动的过程中，往往有作为领导员角色的人或机器人来领导其余机器人移动。对于其余机器人来说，能否安全地跟随领导员，是近几年来一个关注的问题。然而，目前的机器人虽然可以依靠目标追踪和自主导航技术完成跟随与按照最优路径避障的任务，但这种自主化方法难以适应突如其来的意外和触摸不到的危险。
发明内容
为了解决现有技术所存在的问题，本发明利用触觉反馈为操作员提供跟随辅助控制，结合视觉第一视角信息，构建一种视触觉融合的空中机器人遥操作***；并依据编队中其余智能体的状态信息、环境信息和各个智能体的操作员命令，提出一种视触觉融合的空中机器人跟随辅助控制方法，提高遥操作的安全性，降低操作员的工作负荷。
根据本发明提出的一种视触觉融合的空中机器人遥操作***，包括：
主端，包括操纵杆信号采集模块、触觉反馈模块、视觉反馈模块和信号处理模块，其中信号处理模块分别与操纵杆信号采集模块、触觉反馈模块、视觉反馈模块连接；
控制策略模块；
网络通讯模块；
从端，包括领导者和跟随者，领导者设有定位模块，跟随者为空中机器人；空中机器人包括运动控制模块、定位建图模块、运动规划模块及视觉采集模块；定位模块分别与网络通讯模块、运动规划模块连接；
其中，操纵杆信号采集模块采集来自移动触觉反馈设备操纵杆转轴的旋转量和对应的时刻信息，并输出触觉反馈设备信号到信号处理模块；
触觉反馈模块接收信号处理模块计算的期望的触觉反馈设备操纵杆位移量信号，控制触觉反馈设备操纵杆渲染对应的触感，以辅助控制触觉设备操作杆移动；
信号处理模块接收操纵杆信号采集模块的信息并处理成空中机器人速度控制指令；接收控制策略模块计算的跟随辅助控制速度信号，并处理成期望的触觉反馈设备操纵杆位移量信号给触觉反馈模块；接收经由网络通讯模块传输的从端空中机器人的视觉采集模块所采集的第一视角图像信号，并传输给视觉反馈模块；
视觉反馈模块将信号处理模块传输的空中机器人的第一视角图像信号显示输出；
定位模块采集与计算得出领导者和跟随者的三维位置坐标与对应的时刻信息；
运动控制模块接收来自定位建图模块的定位信息和来自控制策略模块计算的最终的从端空中机器人速度控制指令，以控制空中机器人的运动；
定位建图模块获取从端空中机器人的点云地图信息和定位信息并输出给运动规划模块，并将定位信息经由网络通讯模块传输给控制策略模块；
运动规划模块接收从端空中机器人定位建图模块的点云地图信息和定位信息，接收领导者的定位信息作为跟随目标；结合从端空中机器人的动力学模型，处理得出满足动力学和避障的运动轨迹，并将轨迹信息经由网络通讯模块传输给控制策略模块；
视觉采集模块，从视觉传感器实时获取第一视角图像信号并经由网络通讯模块传输给信号处理模块；
控制策略模块接收来自信号处理模块的从端空中机器人速度控制指令、从端空中机器人的定位信息、期望的轨迹信息，计算输出最终的从端空中机器人速度控制指令给运动控制模块，输出跟随辅助控制速度信号给信号处理模块。
本发明提出的一种跟随辅助控制方法，基于上述视触觉融合的空中机器人遥操作***，具体包括以下步骤：
信号处理模块将触觉反馈设备操纵杆末端点的空间位移量、末端旋转轴的旋转量匹配为从端空中机器人期望的空间移动速度指令和其偏转角速度指令；
根据从端空中机器人跟随的引导辅助力和空中机器人编队集群间避碰的排斥辅助力，计算得到触觉反馈设备上的辅助合力。
与现有技术相比，本发明取得的技术效果包括：
1、本发明视触觉融合的空中机器人遥操作***及跟随辅助控制方法，结合操作员的经验和空中机器人的自有能力，采用触觉反馈的方法给操作员提供跟随辅助控制引导，使遥操作***能够安全地完成复杂的任务；与单纯依靠视觉反馈信号在非结构化环境下控制空中机器人相比，降低了操作员的工作负荷，提高了控制的安全性。
2、本发明将触觉反馈力分为用于跟随无人机的引导力和用于多机间动态障碍物避障的排斥力，提高了空中机器人轨迹跟随的精度，提高了多机间的安全性。
3、本发明采用多机编队的遥操作***构造，可以通过给不同空中机器人赋予基本的智能化并配置适应于不同任务的不同设备，与将全部功能模块都配备在一个空中机器人的方案相比，本发明使得编队中每个机器人有轻量化的特点，通过多机协作完成复杂的任务，提高***的灵活性。
4、本发明采用的跟随辅助控制方法融合了人的自主性与自动化***的辅助提示，充分地利用了人的经验和自主***的优势，提高了***适应不同任务的能力。
附图说明
图1为本发明实施例中遥操作***的结构示意图；
图2为本发明实施例中位置空间下速度障碍物概念图的示例；
图3为本发明实施例中速度空间下速度障碍物概念图的示例。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例提供的是一种视触觉融合的空中机器人遥操作***，该遥操作***包括主端、从端、无线网络通讯模块和控制策略模块。主端包括操纵杆信号采集模块、触觉反馈模块、视觉反馈模块和信号处理模块，其中信号处理模块分别与操纵杆信号采集模块、触觉反馈模块、视觉反馈模块连接。从端包括领导者和跟随者，领导者为远端环境中的人或者领导机器人，其装备有定位模块；跟随者为空中机器人，包括特殊任务模块、运动控制模块、定位建图模块、运动规划模块及视觉采集模块，定位建图模块可采用定位建图系列传感器实现，视觉采集模块可采用视觉传感器实现。运动规划模块、定位建图模块、运动控制模块和运动控制模块依次连接；定位模块分别与网络通讯模块、运动规划模块连接。其中，
操纵杆信号采集模块，用于采集来自移动触觉反馈设备操纵杆的六个转轴的旋转量和对应的时刻信息，并输出触觉反馈设备信号到信号处理模块；移动触觉反馈设备操纵杆可由操作员来操控；
触觉反馈模块，用于接收信号处理模块计算的期望的触觉反馈设备操纵杆位移量信号，控制触觉反馈设备操纵杆渲染对应的触感，来辅助操作员控制触觉设备操作杆移动；
信号处理模块，用于接收操纵杆信号采集模块的信息并处理成空中机器人速度控制指令，其中空中机器人速度控制指令包括空中机器人空间移动速度指令和空中机器人偏转角速度指令；用于接收控制策略模块计算的建议的跟随辅助控制速度信号，并处理成期望的触觉反馈设备操纵杆位移量信号给触觉反馈模块；用于接收经由无线网络通讯模块传输的从端空中机器人的视觉采集模块所采集的第一视角图像信号，并以指定帧率与格式传输空中机器人的第一视角图像信号给视觉反馈模块；
视觉反馈模块，用于将信号处理模块传输的空中机器人的第一视角图像信号显示输出，一般地可将第一视角图像信号显示输出在显示屏上；
定位模块，用于采集与计算得出领导员/领导机器人、编队中其他跟随者的三维位置坐标与对应的时刻信息，各个机器人的定位模块计算的位置坐标都在同一坐标系下；
特殊任务模块，用于接收运动控制模块运行特殊功能的指令，并负责执行特殊任务；
运动控制模块，用于接收来自定位建图模块的定位信息和来自控制策略模块计算的最终的从端空中机器人速度控制指令，经处理后输出PWM信号控制从端空中机器人的动力***的电机转速，从而控制从端空中机器人的运动；用于发送控制命令信号控制特殊任务模块的运行；
定位建图模块，用于获取空中机器人的定位建图系列传感器点云信息、惯性测量传感器IMU信息以及其他定位传感器的信息，并输出点云地图信息和定位信息给运动规划模块，输出空中机器人在世界坐标系的定位信息并经由无线网络通讯模块给控制策略模块；
运动规划模块，用于接收空中机器人定位建图模块的点云地图信息和定位信息，接收领导员/领导机器人的定位信息作为跟随目标，结合空中机器人的动力学模型，经由空中机器人机载电脑在线处理得出满足动力学和避障的运动轨迹，此轨迹要求带有路径点位置信息；并将轨迹信息经由无线网络通讯模块传输给控制策略模块；
视觉采集模块，用于从视觉传感器实时获取第一视角图像信号并经由无线网络通讯模块传输给信号处理模块；
无线网络通讯模块，用于负责主端、从端空中机器人、领导员/领导机器人以及其他智能体间的信号传输；
控制策略模块，用于接收来自信号处理模块的空中机器人速度控制指令、其他跟随者的定位模块的定位信息、空中机器人定位信息、期望的轨迹信息，经过本发明的空中机器人遥操作***的跟随辅助控制方法计算，输出最终的空中机器人速度控制指令给运动控制模块，输出跟随辅助控制速度信号给信号处理模块。
在本实施例中，定位模块是装配在领导员/机器人中心处的UWB定位标签或运动捕捉***标签；特殊任务模块是装配在空中机器人上的传感器和/或执行器，如红外探测仪、机械臂。
在本实施例中，空中机器人包括飞行控制器、机载电脑；运动控制模块设置在飞行控制器内，从机载电脑获取顶层的控制指令和定位信息，并且根据飞行控制器上的陀螺仪、加速度计、气压计等传感器采集机器人的运动状态信息进行分析，产生PWM信号控制动力***的电机转速，进而控制机器人的空间位姿。此外运动控制模块负责与特殊任务模块进行信息交互，通过机载电脑或飞行控制器发送信息给特殊任务模块，以及接收特殊任务模块采集的信息。
在本实施例中，定位建图模块运行同时定位与地图构建算法，定位建图系列传感器可使用包含但不限于如下传感器方案：多线激光雷达+IMU模块、多线激光雷达、单目/双目相机+IMU、双目相机+深度相机+IMU、实感追踪摄像头等；定位建图模块通过同时定位与地图构建算法计算获得三维点云地图、机器人三维定位坐标信息、机器人四元数姿态信息。
在优选的实施例中，视觉采集模块为设置在空中机器人上的RGB摄像头。
基于相同的发明构思，本实施例还提供一种跟随辅助控制方法，该方法基于上述视触觉融合的空中机器人遥操作***，具体包括以下步骤：
S1、信号处理模块将触觉反馈设备操纵杆末端点的空间位移量、末端旋转轴的旋转量匹配为从端空中机器人期望的空间移动速度指令和其偏转角速度指令，其位移-速度的匹配公式为：
Figure BDA0003947434180000051
其中，空中机器人期望的空间移动速度指令和其偏转角速度指令
Figure BDA0003947434180000052
Figure BDA0003947434180000053
代表空中机器人的线速度指令，ωz，com代表偏转角速度指令，/>
Figure BDA0003947434180000054
代表触觉反馈设备操纵杆末端位置的位移，ΨHD代表触觉反馈设备操纵杆末端旋转轴的旋转量，系数/>
Figure BDA0003947434180000055
Figure BDA0003947434180000056
为位移-速度匹配参数；
S2、根据从端空中机器人跟随的引导辅助力和空中机器人编队集群问避碰的排斥辅助力，计算得到触觉反馈设备上的辅助合力，公式为：
F＝Fat+Fre
其中，
Figure BDA0003947434180000057
为空中机器人跟随的引导辅助力，/>
Figure BDA0003947434180000058
为空中机器人编队集群间避碰的排斥辅助力，/>
Figure BDA0003947434180000059
为触觉反馈设备产生的辅助合力。
空中机器人跟随的引导辅助力Fat可进一步分解为：
Fat＝F⊥+F||
其中，
Figure BDA0003947434180000061
为朝着运动规划模块计算得出的轨迹的垂直方向的回归辅助力，
Figure BDA0003947434180000062
为朝着运动规划模块计算得出的轨迹的前进方向的跟随辅助力；
所述回归辅助力F⊥的计算公式为：
Figure BDA0003947434180000063
KHD，P为触觉反馈设备操纵杆的弹性系数，KHD，D为触觉反馈设备操纵杆的阻尼系数，
Figure BDA0003947434180000064
为定义在空中机器人机体坐标系OB，F下的运动规划模块期望的空中机器人的空间速度，/>
Figure BDA0003947434180000065
为触觉反馈设备操纵杆末端的移动速度；其中，/>
Figure BDA0003947434180000066
的计算公式为：
Figure BDA0003947434180000067
Figure BDA0003947434180000068
代表以空中机器人起始位姿为坐标原点和方向的坐标系OF，/>
Figure BDA0003947434180000069
为控制策略模块计算得出的朝着期望轨迹的垂直方向的回归的空中机器人移动速度，其计算公式为：
Figure BDA00039474341800000610
K⊥，P、K⊥，I和K⊥，D分别为路径回归的PID控制器的比例、积分和微分参数，xF为空中机器人在坐标系OF的位置坐标，
Figure BDA00039474341800000611
为运动规划模块计算得出的期望路径上距离空中机器人最近的路径点。
所述跟随辅助力F||目的在于通过触觉反馈设备引导操作员控制空中机器人以安全的速度在运动规划模块规划的轨迹方向上跟随领导者(即领导员或领导机器人)，其计算方法为：
当空中机器人距离领导者很近的时候，其在轨迹方向上安全的跟随速度公式为：
Figure BDA00039474341800000612
其中，KPP、KPI和KPD为该PID控制器比例、积分和微分参数，Drel为空中机器人与领导者的当前距离，Ddefault为期望空中机器人与领导者静止时的相对距离；
当空中机器人距离领导者比较远时候，其在轨迹方向上安全的跟随加速度公式为：
Figure BDA00039474341800000613
其中，KVP、KVI和KVD分别为路径跟随的PID控制器的比例、积分和微分参数，vf，tra为空中机器人在轨迹方向上的速度，
Figure BDA0003947434180000071
为领导者在惯性坐标系OF下的移动速度，进而，可以得出速度公式为：
Figure BDA0003947434180000072
因此，根据空中机器人距离领导者远近分情况得出的速度
Figure BDA0003947434180000073
可以定义一个在轨迹方向上、空中机器人机体坐标系OB，F的速度矢量/>
Figure BDA0003947434180000074
其模长大小为/>
Figure BDA0003947434180000075
因此，所述跟随辅助力F||的计算公式为：
Figure BDA0003947434180000076
所述空中机器人跟随的排斥辅助力Fre计算方法为：
Fre计算方法的核心是为除当前空中机器人之外的每一个智能体构建一个速度障碍物(VO)，最终当前空中机器人的速度障碍物空间为每一个速度障碍物VO的叠加；
对每一个速度障碍物VO来说，当前空中机器人缩减为半径为0的质点，其余包括领导者在内的智能体膨胀为一个球，球的半径rLe计算方法如下：
rLe＝rL+re
rL为包围空中机器人的最小球的半径与包围对应智能体的最小球的半径之和，re为扩展的安全误差半径。
如图2所示，以一个空中机器人和一个领导者组成的编队为例，赋予它们编号分别为F和L，
Figure BDA0003947434180000077
表示空中机器人缩小成质点，/>
Figure BDA0003947434180000078
表示领导者膨胀成球，/>
Figure BDA0003947434180000079
表示空中机器人的速度，
Figure BDA00039474341800000710
表示领导者的速度，速度障碍物VO的碰撞锥VO′F|L可表示为：
Figure BDA00039474341800000711
Figure BDA00039474341800000712
如图3所示，对速度障碍物VO进一步的优化方案是，在碰撞锥VO′F|L的基础上设置一个可行区域，使得控制策略只关注未来一段时间Th内的碰撞，该可行区域VOH为：
Figure BDA00039474341800000713
其中，dm为空中机器人缩小的质点
Figure BDA00039474341800000714
到领导者膨胀的球/>
Figure BDA00039474341800000715
的表面的最近距离。优化后的速度障碍物VO空间区域为：
Figure BDA0003947434180000081
定义排斥辅助力Fre的方向
Figure BDA0003947434180000082
为空中机器人速废/>
Figure BDA0003947434180000083
向量末端点垂直到速度障碍物空间区域/>
Figure BDA0003947434180000084
表面的方向，排斥辅助力Fre的计算方法为：
Figure BDA0003947434180000085
其中，Fset为人为调整的合适的力模长值。
在本实施例中，通过图2在位置空间下可直观地看空中机器人速度
Figure BDA0003947434180000086
领导者速度/>
Figure BDA0003947434180000087
叠加后的速度在速度障碍物VO的哪个位置，判断叠加后的这个速度是否在速度障碍物VO内，进而判断空中机器人与领导者在将来是否会碰撞。通过图3在速度空间下，可将速度障碍物VO按照领导者速度/>
Figure BDA0003947434180000088
方向和大小移动，能判断空中机器人速度/>
Figure BDA0003947434180000089
指向位置是否在速度障碍物VO内，进而判断空中机器人与领导者在将来是否碰撞。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种视触觉融合的空中机器人遥操作***，其特征在于，包括：
主端，包括操纵杆信号采集模块、触觉反馈模块、视觉反馈模块和信号处理模块，其中信号处理模块分别与操纵杆信号采集模块、触觉反馈模块、视觉反馈模块连接；
控制策略模块；
网络通讯模块；
从端，包括领导者和跟随者，领导者设有定位模块，跟随者为空中机器人；空中机器人包括运动控制模块、定位建图模块、运动规划模块及视觉采集模块；定位模块分别与网络通讯模块、运动规划模块连接；
其中，操纵杆信号采集模块采集来自移动触觉反馈设备操纵杆转轴的旋转量和对应的时刻信息，并输出触觉反馈设备信号到信号处理模块；
触觉反馈模块接收信号处理模块计算的期望的触觉反馈设备操纵杆位移量信号，控制触觉反馈设备操纵杆渲染对应的触感，以辅助控制触觉设备操作杆移动；
信号处理模块接收操纵杆信号采集模块的信息并处理成空中机器人速度控制指令；接收控制策略模块计算的跟随辅助控制速度信号，并处理成期望的触觉反馈设备操纵杆位移量信号给触觉反馈模块；接收经由网络通讯模块传输的从端空中机器人的视觉采集模块所采集的第一视角图像信号，并传输给视觉反馈模块；
视觉反馈模块将信号处理模块传输的空中机器人的第一视角图像信号显示输出；
定位模块采集与计算得出领导者和跟随者的三维位置坐标与对应的时刻信息；
运动控制模块接收来自定位建图模块的定位信息和来自控制策略模块计算的最终的从端空中机器人速度控制指令，以控制空中机器人的运动；
定位建图模块获取从端空中机器人的点云地图信息和定位信息并输出给运动规划模块，并将定位信息经由网络通讯模块传输给控制策略模块；
运动规划模块接收从端空中机器人定位建图模块的点云地图信息和定位信息，接收领导者的定位信息作为跟随目标；结合从端空中机器人的动力学模型，处理得出满足动力学和避障的运动轨迹，并将轨迹信息经由网络通讯模块传输给控制策略模块；
视觉采集模块，从视觉传感器实时获取第一视角图像信号并经由网络通讯模块传输给信号处理模块；
控制策略模块接收来自信号处理模块的从端空中机器人速度控制指令、从端空中机器人的定位信息、期望的轨迹信息，计算输出最终的从端空中机器人速度控制指令给运动控制模块，输出跟随辅助控制速度信号给信号处理模块。
2.根据权利要求1所述的视触觉融合的空中机器人遥操作***，其特征在于，定位模块为UWB定位标签或运动捕捉***标签。
3.根据权利要求1所述的视触觉融合的空中机器人遥操作***，其特征在于，空中机器人还包括与运动控制模块连接的特殊任务模块，特殊任务模块为装配在空中机器人上的传感器和/或执行器。
4.根据权利要求1所述的视触觉融合的空中机器人遥操作***，其特征在于，定位建图模块通过同时定位与地图构建算法计算获得三维点云地图信息、机器人三维定位坐标信息及机器人四元数姿态信息。
5.一种跟随辅助控制方法，基于权利要求1-4中任一项所述视触觉融合的空中机器人遥操作***；其特征在于，所述控制方法包括以下步骤：
信号处理模块将触觉反馈设备操纵杆末端点的空间位移量、末端旋转轴的旋转量匹配为从端空中机器人期望的空间移动速度指令和其偏转角速度指令；
根据从端空中机器人跟随的引导辅助力和空中机器人编队集群间避碰的排斥辅助力，计算得到触觉反馈设备上的辅助合力。
6.根据权利要求5所述的跟随辅助控制方法，其特征在于，空间移动速度指令和其偏转角速度指令的匹配公式为：
Figure FDA0003947434170000021
其中，从端空中机器人期望的空间移动速度指令和其偏转角速度指令
Figure FDA0003947434170000022
Figure FDA0003947434170000023
Figure FDA0003947434170000024
代表从端空中机器人的线速度指令，ωz，com代表偏转角速度指令，PHD代表触觉反馈设备操纵杆末端位置的位移，ΨHD代表触觉反馈设备操纵杆末端旋转轴的旋转量，系数α为位移-速度匹配参数。
7.根据权利要求5所述的跟随辅助控制方法，其特征在于，触觉反馈设备上的辅助合力的计算公式为：
F＝Fat+Fre
其中，Fat为从端空中机器人跟随的引导辅助力，Fre为从端空中机器人编队集群间避碰的排斥辅助力，F为触觉反馈设备产生的辅助合力。
8.根据权利要求7所述的跟随辅助控制方法，其特征在于，从端空中机器人跟随的引导辅助力Fat分解为：
Fat＝F⊥+F||
其中，F⊥为朝着运动规划模块计算得出的轨迹的垂直方向的回归辅助力，F||为朝着运动规划模块计算得出的轨迹的前进方向的跟随辅助力；
所述回归辅助力F⊥的计算公式为：
Figure FDA0003947434170000031
KHD，P为触觉反馈设备操纵杆的弹性系数，KHD，D为触觉反馈设备操纵杆的阻尼系数，PHD代表触觉反馈设备操纵杆末端位置的位移，
Figure FDA0003947434170000032
为定义在从端空中机器人机体坐标系OB，F下的运动规划模块期望的从端空中机器人的空间速度，vHD为触觉反馈设备操纵杆末端的移动速度；
所述跟随辅助力F||的计算公式为：
Figure FDA0003947434170000033
Figure FDA0003947434170000034
为在轨迹方向上、从端空中机器人机体坐标系OB，F的速度矢量。
9.根据权利要求7所述的跟随辅助控制方法，其特征在于，从端空中机器人跟随的排斥辅助力Fre计算方法为：
为除当前空中机器人之外的每一个智能体构建一个速度障碍物，最终当前空中机器人的速度障碍物空间为每一个速度障碍物VO的叠加；
对每一个速度障碍物VO来说，当前空中机器人缩减为半径为0的质点，其余包括领导者在内的智能体膨胀为一个球；
设
Figure FDA0003947434170000035
表示空中机器人缩小成质点，/>
Figure FDA0003947434170000036
表示领导者膨胀成球，/>
Figure FDA0003947434170000037
表示空中机器人的速度，/>
Figure FDA0003947434170000038
表示领导者的速度，速度障碍物VO的碰撞锥VO′F|L表示为：
Figure FDA0003947434170000039
Figure FDA00039474341700000310
对速度障碍物VO优化，在碰撞锥VO′F|L的基础上设置一个可行区域，使得控制策略只关注未来一段时间Th内的碰撞，该可行区域VOH为：
Figure FDA00039474341700000311
其中，dm为空中机器人缩小的质点
Figure FDA00039474341700000312
到领导者膨胀的球/>
Figure FDA00039474341700000313
的表面的最近距离；优化后的速度障碍物VO空间区域为：
Figure FDA00039474341700000314
定义排斥辅助力Fre的方向
Figure FDA0003947434170000041
为空中机器人速度/>
Figure FDA0003947434170000042
向量末端点垂直到速度障碍物空间区域/>
Figure FDA0003947434170000043
表面的方向，排斥辅助力Fre的计算方法为：
Figure FDA0003947434170000044
其中，Fset为人为调整的合适的力模长值。
CN202211437290.7A 2022-11-17 2022-11-17 视触觉融合的空中机器人遥操作***及跟随辅助控制方法 Pending CN116149313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211437290.7A CN116149313A (zh) 2022-11-17 2022-11-17 视触觉融合的空中机器人遥操作***及跟随辅助控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211437290.7A CN116149313A (zh) 2022-11-17 2022-11-17 视触觉融合的空中机器人遥操作***及跟随辅助控制方法

Publications (1)

Publication Number Publication Date
CN116149313A true CN116149313A (zh) 2023-05-23

Family

ID=86357187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211437290.7A Pending CN116149313A (zh) 2022-11-17 2022-11-17 视触觉融合的空中机器人遥操作***及跟随辅助控制方法

Country Status (1)

Country Link
CN (1) CN116149313A (zh)

Similar Documents

Publication Publication Date Title
CN104950885B (zh) 一种基于视觉和力觉反馈的uav群双边遥操作控制***及其方法
US8447440B2 (en) Autonomous behaviors for a remote vehicle
CN109388150B (zh) 多传感器环境地图构建
US8214098B2 (en) System and method for controlling swarm of remote unmanned vehicles through human gestures
Kim et al. Accurate modeling and robust hovering control for a quad-rotor VTOL aircraft
EP4361038A2 (en) Systems and methods for adjusting uav trajectory
WO2022252221A1 (zh) 一种移动机器人队列***及路径规划、跟随方法
Sathiyanarayanan et al. Gesture controlled robot for military purpose
Santos et al. UAV obstacle avoidance using RGB-D system
CN110825076A (zh) 基于视线和力反馈的移动机器人编队导航半自主控制方法
Xiao et al. Visual servoing for teleoperation using a tethered uav
Hou et al. Dynamic kinesthetic boundary for haptic teleoperation of aerial robotic vehicles
CN112445232A (zh) 一种便携式体感控制自主巡检机器人
Sato et al. A simple autonomous flight control of multicopter using only web camera
Asadi et al. An integrated aerial and ground vehicle (UAV-UGV) system for automated data collection for indoor construction sites
JP5969903B2 (ja) 無人移動体の制御方法
Kim et al. Single 2D lidar based follow-me of mobile robot on hilly terrains
CN116149313A (zh) 视触觉融合的空中机器人遥操作***及跟随辅助控制方法
CN116100565A (zh) 基于外骨骼机器人的沉浸式实时远程操作平台
JP6949417B1 (ja) 車両操縦システムと車両操縦方法
Horan et al. Bilateral haptic teleoperation of an articulated track mobile robot
EP2147386B1 (en) Autonomous behaviors for a remote vehicle
Nemec et al. Safety Aspects of the Wheeled Mobile Robot
CN113781676B (zh) 基于四足机器人及无人机的安防巡检***
EP4024155A1 (en) Method, system and computer program product of control of unmanned aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination