CN111580519A - 一种地月时延下月面探测准实时遥操作*** - Google Patents

一种地月时延下月面探测准实时遥操作*** Download PDF

Info

Publication number
CN111580519A
CN111580519A CN202010399002.8A CN202010399002A CN111580519A CN 111580519 A CN111580519 A CN 111580519A CN 202010399002 A CN202010399002 A CN 202010399002A CN 111580519 A CN111580519 A CN 111580519A
Authority
CN
China
Prior art keywords
lunar
teleoperation
mobile robot
module
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010399002.8A
Other languages
English (en)
Other versions
CN111580519B (zh
Inventor
王鹏基
王勇
胡勇
胡海东
孙赫婕
徐拴锋
魏春岭
邢琰
毛晓艳
贾永
安思颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control Engineering
Original Assignee
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control Engineering filed Critical Beijing Institute of Control Engineering
Priority to CN202010399002.8A priority Critical patent/CN111580519B/zh
Publication of CN111580519A publication Critical patent/CN111580519A/zh
Application granted granted Critical
Publication of CN111580519B publication Critical patent/CN111580519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种地月时延下月面探测准实时遥操作***，包括月面任务操作现场、地面控制中心和天地传输链路；月面任务操作现场包括月面移动机器人和月面环境；月面移动机器人上配置有多套测量传感器；月面环境包括月面地形地貌和光照条件；月面任务操作现场通过天地传输链路实时接收地面控制中心遥控上传的遥操作指令，驱动月面移动机器人按指令移动，并通过天地传输链路将月面移动机器人上的传感器测量数据遥测下传到地面控制中心；天地传输链路负责地面控制中心与月面任务操作现场之间的信息交互；地面控制中心负责地月时延下月面移动机器人的运动状态预测修正以及地面遥操作和指令解析上传，生成的遥操作指令经由天地传输链路到达月面任务操作现场，实时驱动月面移动机器人进行移动探测。

Description

一种地月时延下月面探测准实时遥操作***
技术领域
本发明涉及一种地月时延下月面探测准实时遥操作***，属于载人月球探测领域。
背景技术
由地面操控人员遥操作月面移动机器人是月面探测的重要方式，而月面地形环境复杂未知，且存在较大的不确定性，这将对月面移动机器人的遥操作任务带来比较大的挑战。由于地月之间距离传输时延和传输带宽的限制，使得在轨数据无法实时传输到地面上，地面操控人员也就无法直接根据月面机器人的运动状态和月面地形图像数据实时操控机器人。因此，世界上如苏联的“徒步者”和我国的“玉兔号”等已实现的无人月球车月面探测任务都采用Move-Wait-Watch”即“移动-等待-监视”的阶段目标遥操作策略：在当前移动周期内，地面人员根据遥测下传的多幅月球车周围的局部图像进行拼接和可通过性分析，并通过自主或人工生成遥操作指令、且生成的操作指令经地面充分验证后才上传到天上执行，从而确保月面探测的安全性。这种“走走停停”的探测方式使得月球车一个月昼周期(约一个月)内仅能移动几十米，月面探测效率非常低。因此，这样的遥操作方式对于未来月球表面大范围野外未知环境探测、甚至是建设无人月球基地任务来说显然是不够的。
发明内容
本发明解决的技术问题是：针对目前地月时延遥操作巡视探测走走停停、效率低下的不足，提出一种基于移动机器人状态预测修正和虚实场景匹配仿真相结合的月面探测准实时遥操作***，解决了地月时延期间月面机器人运动状态预测、虚实场景准实时匹配以及月面操作现场虚拟现实实时仿真问题，确保地月遥操作的实时性和准确性，提高探测效率。
本发明的技术方案是：一种地月时延下月面探测准实时遥操作***，包括月面任务操作现场、地面控制中心和天地传输链路三部分，
月面任务操作现场：包括月面移动机器人和月面环境；其中，月面移动机器人上配置有多套测量传感器，包括用于月面成像的全景相机，用于局部月面成像的双目相机和激光雷达，以及用于机器人位置姿态测量的惯性测量单元IMU；月面环境包括月面地形地貌和光照条件；月面任务操作现场通过天地传输链路实时接收地面控制中心遥控上传的遥操作指令，驱动月面移动机器人按指令移动，并通过天地传输链路将月面移动机器人上的传感器测量数据遥测下传到地面控制中心；
天地传输链路：负责地面控制中心与月面任务操作现场之间的信息交互，即进行地面控制指令的遥控上传和月面任务操作现场测量数据的遥测下传；
地面控制中心：负责地月时延下月面移动机器人的运动状态预测修正以及地面遥操作和指令解析上传，生成的遥操作指令经由天地传输链路到达月面任务操作现场，实时驱动月面移动机器人进行移动探测。
所述地面控制中心包括遥操作预测修正子***、混合现实仿真子***和人机交互子***；其中，遥操作预测修正子***负责在地月时延过程中对月面移动机器人的未来运动状态进行预测，并根据延时下传的IMU测量数据和图像数据对状态预测结果进行修正，预测修正结果作为混合现实仿真子***的输入条件；混合现实仿真子***负责构建月面任务操作现场的虚拟任务场景，并根据月面移动机器人运动状态预测修正结果和遥测下传的图像数据进行虚拟场景的更新和显示，构建的虚拟月面任务场景作为人机交互子***的输入条件；人机交互子***负责地面遥操作和指令生成，地面操控人员根据虚拟月面任务场景连续操控手柄，生成序列遥操作指令，并将指令发送给遥操作预测修正子***，经由其进行指令解析后遥控上传到月面任务操作现场。
所述遥操作预测修正子***包括状态预测模块、定位定姿模块、预测修正模块和指令上传模块；其中：
状态预测模块：建立月面移动机器人的运动状态预测模型，包括运动学和动力学模型以及月面地形起伏的数学模型；每个遥操作周期Δt，状态预测模块以当前时刻月面移动机器人的位置姿态和遥操作指令作为运动状态预测模型的输入，在月面遥测数据尚未下传到地面的时间间隔内，通过数学计算获得月面移动机器人的位置姿态预测数据；
定位定姿模块：每个图像下传延时周期T，将月面上延时下传的双目相机和激光雷达图像数据作为输入条件，结合T时间间隔内遥测下传的序列IMU位姿测量数据，利用即时定位与建图方法SLAM获得传感器成像时刻月面移动机器人的精确位置姿态信息，作为预测修正的精确初值；
预测修正模块：包括短周期预测修正子模块和长周期预测修正子模块；短周期预测修正子模块在每个遥操作周期Δt内执行一次操作，长周期预测修正子模块在每个图像下传延时周期T内执行一次操作；其中：
指令上传模块：将地面操控人员实时操作手柄产生的手柄位移、角度操作指令转换成移动机器人可识别的轮速驱动指令，通过天地传输链路遥控上传给月面移动机器人。
所述短周期预测修正子模块：每个遥操作周期Δt，预测修正模块以延时下传的IMU数据作为初值，自IMU数据开始下传时刻开始，根据状态预测模块中的预测模型和遥操作指令进行计算，直至当前时刻；计算过程中，每个遥操作周期Δt得到的位置姿态数据即为短周期预测修正后的位姿数据；
所述长周期预测修正子模块：每个图像下传延时周期T，预测修正模块以定位定姿模块得到的成像时刻移动机器人精确位姿数据作为初值，自图像数据下传时刻开始，根据状态预测模块中的预测模型和遥操作指令进行计算，直至当前时刻；计算过程中，每个遥操作周期Δt得到的位置姿态数据即为长周期预测修正后的位姿数据。
所述混合现实仿真子***包括三维重建模块、场景更新模块、信息生成模块和增强显示模块；其中：
三维重建模块：利用遥测下传的移动机器人周围大范围月面地形图像数据和已知的月面移动机器人外形结构数据，对月面任务操作现场进行三维重建，构建起包括虚拟月面地形和虚拟移动机器人在内的虚拟月面任务场景；所述大范围月面地形图像数据通过月球轨道器上的高分辨率相机和移动机器人上配置的全景相机、双目相机和激光雷达获取；
场景更新模块：根据遥操作预测修正子***获取的移动机器人预测修正的位姿数据并结合双目相机和激光雷达在移动机器人本体的安装指向，实时更新显示当前时刻的虚拟月面任务场景；同时，根据延时下传的移动机器人周围局部精细月面图像数据，细化更新对应区域的虚拟月面任务场景；
信息生成模块：在三维重建获取虚拟月面任务场景的同时，对虚拟场景中的突起、凹坑等障碍特征进行三维测量并记录，根据移动机器人外形尺寸和越障能力，分析不同障碍特征的危险程度并进行标识；同时，利用地面操控人员对虚拟月面任务场景的认知规划一条参考行进路径；将障碍特征的三维数据、危险程度等信息称为增强信息，连同参考行进路径一起统称为引导信息；
增强显示模块：将信息生成模块获取的增强信息和行进路径信息准确显示在虚拟月面任务场景中。
所述人机交互子***包括地面操控人员和操作手柄；人机交互子***通过三维重建的虚拟月面任务场景和操作手柄搭建起地面操控人员与月面任务操作现场之间的互动关系，由地面操控人员根据实时更新的虚拟月面任务场景，人工控制操作手柄实现对虚拟移动机器人、即对月面移动机器人的连续遥操作。
本发明与现有技术相比的优点在于：
(1)现有月球车“移动——等待”遥操作采用串行控制方式，地面人员等待机器人在轨运动状态和月面图像数据都下传到地面后才进行图像拼接、可通过性分析并生成遥操作规划指令；本发明采用并行控制方式，即在等待机器人在轨运动状态和月面图像数据下传过程中，同时对机器人运动位姿进行预测。这样一来，机器人位姿预测结果通过下传至地面的真实运动状态和月面图像数据进行精确修正后，即可作为地面虚拟仿真的输入，使得地面人员可实时且准确地“看到”月面机器人在地月延时过程中的运动。
(2)现有月球车“移动——等待”遥操作采用多幅局部地形图像拼接的方式构建月面移动机器人周围局部范围的平面图像，地面人员根据局部图像进行路径规划并生成操作指令；本发明采用基于大范围三维重建的虚拟现实仿真技术，充分利用着陆器和月面移动机器人上的敏感器获取不同范围和不同分辨率的月面图像进行三维重建，大范围场景和局部精细地形互相补充，从而提高地面人员进行大范围任务规划和遥操作控制的全局性和准确性。
(3)现有月球车“移动——等待”遥操作采用半开环方式，地面人员在上传遥操作指令后，本执行周期(历时数小时甚至以天计算)内通过离线方式监视在轨状态，遥操作执行误差只能等待下一个执行周期去修正，既降低了操作效率又易造成误差累积；本发明采用遥操作误差实时闭环修正方式：在地月时延期间对月面移动机器人的运动状态进行预测，并根据下传的在轨数据对预测误差进行定时修正，从而达到实时修正位姿误差、进而准实时遥控月面移动机器人，提高探测效率和遥操作控制精度的目的。
附图说明
图1为地月时延下准实时遥操作***组成与原理框图；
图2为地月时延下准实时遥操作工作流程。
具体实施方式
(一)总体技术方案
1、***组成和功能
图1给出了地月时延下准实时遥操作***组成与原理框图。该***由月面任务操作现场、地面控制中心和天地传输链路三大部分组成。其中：
月面任务操作现场主要由在月面上巡视探测的移动机器人以及月面环境等组成，在***中属于天上部分。其中，月面移动机器人上配置有用于较大范围月面成像的全景相机、用于机器人周围局部月面成像和导航的双目相机、用于获取局部月面三维点云图像数据的激光雷达以及用于实时获取机器人位置姿态等运动状态信息的惯性测量单元(IMU)等。月面环境主要指月面地形地貌和光照条件。
天地传输链路主要指连接地面控制中心和月面任务操作现场之间的测控通信链路，负责地面控制中心与月面任务操作现场二者之间的信息交互，即进行地面控制指令的遥控上传和月面任务操作现场数据的遥测下传。
地面控制中心主要由遥操作预测修正、混合现实仿真和人机交互三个子***组成，在***中属于地面部分。
地月时延下准实时遥操作***的三个组成部分有机结合，构成了一个地月遥操作闭环***。其中，地面控制中心是突破地月时延下准实时遥操作的关键，下面对地面控制中心的各子***组成和功能进行详细阐述。
(1)遥操作预测修正子***
遥操作预测修正子***是地月时延准实时遥操作实现的核心，由移动机器人状态预测模块、定位定姿模块、预测修正模块和指令上传模块等组成。移动机器人运动状态的预测优劣取决于定位定姿、预测和修正的综合作用结果，任何一部分性能降低，都将直接影响最终的预测性能，进而影响准实时遥操作任务的实施。
a)状态预测：通过建立月面移动机器人的预测模型(含有月面地形起伏的运动学和动力学模型)，对地月时延下的机器人位置姿态进行外推预测。
b)定位定姿：根据月面上延时下传的机器人位姿和月面地形图像数据，利用SLAM(即时定位与建图)方法对成像时刻机器人真实位姿进行精确计算，这是预测修正的重要参考数据。由于地月时延的存在，该位姿数据无法实时获取，只能是有限帧数据。
c)预测修正：利用延时下传的惯性测量单元(IMU)数据实现短周期预测修正，并结合SLAM技术获取的位姿信息实现长周期预测修正，确保机器人运动状态预测误差收敛，精度满足要求。
d)指令上传：将操控人员实时操作获取的手柄操作指令(包括手柄位移、角度等)解析成移动机器人可识别的轮速等驱动指令，然后通过天地传输链路上传到给月面移动机器人。
(2)混合现实仿真子***
混合现实仿真子***主要由三维重建模块、场景更新模块、信息生成模块和增强显示模块等组成。
a)三维重建：对包括大范围月面地形(任务初始，由月轨空间站、着陆器和机器人上携带的光学相机以及激光雷达等获取待探测区域的月面地形数据)和移动机器人在内的月面任务操作现场真实场景进行精确三维重建，实现月面真实场景的数字化。
b)场景更新：一方面，根据状态预测和修正的机器人位姿数据并结合双目相机的安装指向对虚拟月面场景进行更新；另一方面，根据延时下传的双目相机和激光雷达月面成像数据对局部虚拟场景进行更新。
c)信息生成：针对虚拟月面场景，生成场景的地形特征尺寸、危险程度等增强信息，同时人工生成规划路径信息，这些信息统称为引导信息。
d)增强显示：将生成的增强信息和规划路径信息准确显示在虚拟月面场景中，为地面控制中心的操控人员提供准确且高临场感的混合现实可视场景，便于操控人员对移动机器人进行实时操作。
(3)人机交互子***
人机交互子***由地面操控人员、操作手柄以及头盔等混合现实设备等组成。人机交互子***通过虚拟月面场景和操控手柄构建起地面操控人员与月面任务操作现场之间的互动关系，由操控人员根据实时更新的虚拟月面场景，人工控制操作手柄实现对月面移动机器人的准实时遥操作。
2、***工作原理
首先，由混合现实仿真子***针对月面任务操作现场进行三维重建，构建起数字化的虚拟月面场景，并形成引导信息。
接着，由预测与修正子***上传地面操控人员执行的遥操作指令，在遥操作指令到达月面执行之前在地面对移动机器人运动状态进行预测，并利用IMU延时下传的位姿测量数据进行短周期预测修正；待月面图像延时下传后，由SLAM算法解算得到更为精确的移动机器人位姿结果，根据此位置结果进行长周期预测修正，进一步提高预测准确度。
与此同时，移动机器人的位姿预测结果和延时下传的图像数据实时发送给混合现实仿真子***，用于对虚拟月面场景进行实时更新，并进行引导信息显示，为操控人员提供高临场感且与月面任务操作现场延时同步变化的虚拟现实数字场景。
然后，由地面操控人员根据实时变化的虚拟现实数字场景，连续控制操作手柄，生成驱动月面移动机器人的序列操作指令。
最后，由预测与修正子***将序列操作指令解析成移动机器人的驱动指令，并通过天地传输链路连续上传至月面任务操作现场的移动机器人，延时执行。
由此循环进行状态预测、定位定姿、预测修正、三维重建与场景更新显示以及指令解析与上传等操作，从而构成地月时延下准实时遥操作闭环***。
(二)***工作流程
图1给出了地月时延下月面探测准实时遥操作***的基本工作流程。
如图2所示，中间一条带有箭头的轴为时间轴，轴的上端为“天”，即月面环境下的真实操作现场，天上时间用ts表示；轴的下端为“地”，即地面控制中心的虚拟操作现场，地面时间用t表示。遥操作指令上传与月面执行之间，可认为相差一个地月传输距离延时Ttrans。遥测下传的敏感器测量数据可分为短周期时延数据和长周期时延数据两类：短周期时延数据为惯性测量单元(IMU)测量得到的移动机器人运动状态数据(位置、姿态等)，其时延主要为地月传输距离延时Ttrans；长周期时延数据为图像数据，包括双目相机获取的视觉图像和激光雷达获取的三维点云图像数据，其时延为图像下传时延T，包括地月传输距离时延Ttrans和图像数据传输时间Tpic两部分。Δt表示遥操作周期，即地面遥操作指令的上传时间间隔。
地月时延下月面探测准实时遥操作***的工作流程具体描述如下：
(1)初始化。
a)初始图像获取。t＝0时刻，月面移动机器人在月面任务操作现场上处于静止状态。利用移动机器人上的全景相机、双目相机和月球轨道器上的高分辨率相机分别获取月面任务操作现场的大范围静态全景图像和局部图像，并将图像数据下传到地面控制中心。
b)静态场景三维重建。t＝0时刻，位于地面控制中心的混合现实仿真子***对月面任务操作现场的月面地形和移动机器人进行静态三维重建，实现月面真实场景的数字化，即构建起虚拟月面地形和虚拟移动机器人。
c)引导信息生成显示。t＝0时刻，针对三维重建的虚拟月面任务场景，生成遥操作引导信息，包括地形特征尺寸、危险程度等级等增强信息以及自主或人工生成的规划路径信息，并在地面控制中心显示屏上呈现出虚拟月面任务场景和引导信息。
(2)短周期时延下的执行操作。
短周期时延指的是地月传输距离延时Ttrans。该时间间隔即为短周期时延数据——IMU测量数据的下传时间间隔。
a)一步遥操作。在当前地月距离延时间隔Ttrans内，地面操控人员根据三维重建后的虚拟月面任务场景，通过人机交互子***操控手柄进行一步遥操作，这里的“一步”指的是每个遥操作周期Δt。手柄操作指令转化成轮速指令后，驱动虚拟移动机器人在虚拟月面任务场景中按规划轨迹运动。同时，地面控制中心将当前遥操作指令经解析后上传至月面任务操作现场的真实移动机器人。
b)一步预测。在当前地月距离延时间隔Ttrans内，每个遥操作周期Δt，由地面控制中心的预测与修正子***对虚拟移动机器人的运动状态(车***置、速度、姿态等)进行一步预测。这里的“一步”指的是每个遥操作周期Δt。
c)一步场景更新。在当前地月距离延时间隔Ttrans内，地面控制中心的混合现实仿真子***根据预测的虚拟移动机器人运动状态，对虚拟月面任务场景中的月面地形和机器人位置姿态进行动态更新。
d)短周期时延数据(IMU数据)延时下传。由于地月距离延时Ttrans的存在，第一帧遥操作指令在t＝Ttrans时刻才能上传到月面执行，此时惯性测量单元(IMU)才有第一帧短周期时延数据开始下传，同样经过一个地月距离延时Ttrans后、即在t＝2Ttrans时刻到达地面控制中心。之后，每个遥操作周期Δt都会有延时下传的短周期时延数据(即IMU测量数据)。
e)短周期预测修正。地面控制中心发出的一帧遥操作指令，经过一个短周期时延即地月传输距离延时Ttrans后在月面执行，再经过一个短周期时延Ttrans后，执行效果(即IMU测量数据)才能反馈到地面控制中心。在此期间，通过对运动状态进行预测来实现移动机器人的实时运动。较大时延间隔内的预测存在误差，需要通过闭环修正来降低甚至消除误差。在短周期时延数据(IMU数据)下传到地面后，地面控制中心的预测与修正子***以下传的IMU数据作为初值，结合移动机器人预测模型和遥操作指令，对自当前时刻往前2Ttrans时间间隔开始的预测结果进行修正，直至当前时刻。之后，每个遥操作周期Δt，预测与修正子***都根据延时下传的IMU数据进行短周期预测修正，直到第一帧长周期时延图像数据下传到地面。
(3)长周期时延下的执行操作。
长周期时延指的是图像下传时延T，包括地月传输距离时延Ttrans和图像数据传输时间Tpic两部分，该时间间隔即为长周期时延数据——图像数据的下传时间间隔。
a)短周期时延下的操作循环执行。在长周期时延数据尚未下传到地面的时延间隔T内，重复执行短周期时延下的操作，既遥操作、指令上传、预测、更新和修正。
b)长周期时延数据(图像数据)延时下传。由于图像数据容量较大，受地月传输链路带宽限制，需要一定的时间间隔Tpic才能传输完整，同时还需要考虑地月之间的距离带来的时延。因此，图像数据遥测下传的时间间隔与IMU数据相比要大一些，甚至大很多，主要受地月传输链路带宽的影响。月面移动机器人上的双目相机和激光雷达获取的图像数据需要经过一个图像下传时延T后才能下传到地面控制中心，这个T就是长周期时延数据的下传周期。
c)长周期定位定姿。长周期时延数据即图像数据延时下传到地面后，地面控制中心的预测与修正子***根据下传的图像数据，并结合短周期时延IMU数据，对图像对应时刻(当前时刻往前T时间间隔)移动机器人的位置姿态进行精确解算，为长周期预测修正提供基准位姿信息。
d)长周期预测修正。预测与修正子***以长周期定位定姿确定的长周期时延T时间间隔之前的精确位置姿态为初值，结合移动机器人预测模型和遥操作指令以及短周期时延IMU数据，对自T时间间隔之前开始的短周期预测修正结果进行长周期精确修正，直至当前时刻。
e)场景更新与信息显示。地面控制中心的混合现实仿真子***以长周期预测修正的移动机器人位姿数据和延时下传的图像数据为输入，更新虚拟月面任务场景中的月面地形和虚拟移动机器人的运动状态，同时更新规划的路径以及月面地形特征尺寸和危险程度等增强信息，并在地面控制中心显示屏上进行更新显示，为地面操控人员提供更为准确的任务场景。
重复短周期时延和长周期时延下的执行操作步骤，从而实现了地面遥操作、指令上传、位姿预测、场景更新、数据下传、预测修正、场景再更新显示、地面再遥操作的地月时延下月面探测准实时遥操作过程，直至任务结束。

Claims (6)

1.一种地月时延下月面探测准实时遥操作***，包括月面任务操作现场、地面控制中心和天地传输链路三部分，其特征在于：
月面任务操作现场：包括月面移动机器人和月面环境；其中，月面移动机器人上配置有多套测量传感器，包括用于月面成像的全景相机，用于局部月面成像的双目相机和激光雷达，以及用于机器人位置姿态测量的惯性测量单元IMU；月面环境包括月面地形地貌和光照条件；月面任务操作现场通过天地传输链路实时接收地面控制中心遥控上传的遥操作指令，驱动月面移动机器人按指令移动，并通过天地传输链路将月面移动机器人上的传感器测量数据遥测下传到地面控制中心；
天地传输链路：负责地面控制中心与月面任务操作现场之间的信息交互，即进行地面控制指令的遥控上传和月面任务操作现场测量数据的遥测下传；
地面控制中心：负责地月时延下月面移动机器人的运动状态预测修正以及地面遥操作和指令解析上传，生成的遥操作指令经由天地传输链路到达月面任务操作现场，实时驱动月面移动机器人进行移动探测。
2.根据权利要求1所述的一种地月时延下月面探测准实时遥操作***，其特征在于：所述地面控制中心包括遥操作预测修正子***、混合现实仿真子***和人机交互子***；其中，遥操作预测修正子***负责在地月时延过程中对月面移动机器人的未来运动状态进行预测，并根据延时下传的IMU测量数据和图像数据对状态预测结果进行修正，预测修正结果作为混合现实仿真子***的输入条件；混合现实仿真子***负责构建月面任务操作现场的虚拟任务场景，并根据月面移动机器人运动状态预测修正结果和遥测下传的图像数据进行虚拟场景的更新和显示，构建的虚拟月面任务场景作为人机交互子***的输入条件；人机交互子***负责地面遥操作和指令生成，地面操控人员根据虚拟月面任务场景连续操控手柄，生成序列遥操作指令，并将指令发送给遥操作预测修正子***，经由其进行指令解析后遥控上传到月面任务操作现场。
3.根据权利要求2所述的一种地月时延下月面探测准实时遥操作***，其特征在于：所述遥操作预测修正子***包括状态预测模块、定位定姿模块、预测修正模块和指令上传模块；其中：
状态预测模块：建立月面移动机器人的运动状态预测模型，包括运动学和动力学模型以及月面地形起伏的数学模型；每个遥操作周期Δt，状态预测模块以当前时刻月面移动机器人的位置姿态和遥操作指令作为运动状态预测模型的输入，在月面遥测数据尚未下传到地面的时间间隔内，通过数学计算获得月面移动机器人的位置姿态预测数据；
定位定姿模块：每个图像下传延时周期T，将月面上延时下传的双目相机和激光雷达图像数据作为输入条件，结合T时间间隔内遥测下传的序列IMU位姿测量数据，利用即时定位与建图方法SLAM获得传感器成像时刻月面移动机器人的精确位置姿态信息，作为预测修正的精确初值；
预测修正模块：包括短周期预测修正子模块和长周期预测修正子模块；短周期预测修正子模块在每个遥操作周期Δt内执行一次操作，长周期预测修正子模块在每个图像下传延时周期T内执行一次操作；其中：
指令上传模块：将地面操控人员实时操作手柄产生的手柄位移、角度操作指令转换成移动机器人可识别的轮速驱动指令，通过天地传输链路遥控上传给月面移动机器人。
4.根据权利要求3所述的一种地月时延下月面探测准实时遥操作***，其特征在于：所述短周期预测修正子模块：每个遥操作周期Δt，预测修正模块以延时下传的IMU数据作为初值，自IMU数据开始下传时刻开始，根据状态预测模块中的预测模型和遥操作指令进行计算，直至当前时刻；计算过程中，每个遥操作周期Δt得到的位置姿态数据即为短周期预测修正后的位姿数据；
所述长周期预测修正子模块：每个图像下传延时周期T，预测修正模块以定位定姿模块得到的成像时刻移动机器人精确位姿数据作为初值，自图像数据下传时刻开始，根据状态预测模块中的预测模型和遥操作指令进行计算，直至当前时刻；计算过程中，每个遥操作周期Δt得到的位置姿态数据即为长周期预测修正后的位姿数据。
5.根据权利要求2所述的一种地月时延下月面探测准实时遥操作***，其特征在于：所述混合现实仿真子***包括三维重建模块、场景更新模块、信息生成模块和增强显示模块；其中：
三维重建模块：利用遥测下传的移动机器人周围大范围月面地形图像数据和已知的月面移动机器人外形结构数据，对月面任务操作现场进行三维重建，构建起包括虚拟月面地形和虚拟移动机器人在内的虚拟月面任务场景；所述大范围月面地形图像数据通过月球轨道器上的高分辨率相机和移动机器人上配置的全景相机、双目相机和激光雷达获取；
场景更新模块：根据遥操作预测修正子***获取的移动机器人预测修正的位姿数据并结合双目相机和激光雷达在移动机器人本体的安装指向，实时更新显示当前时刻的虚拟月面任务场景；同时，根据延时下传的移动机器人周围局部精细月面图像数据，细化更新对应区域的虚拟月面任务场景；
信息生成模块：在三维重建获取虚拟月面任务场景的同时，对虚拟场景中的突起、凹坑等障碍特征进行三维测量并记录，根据移动机器人外形尺寸和越障能力，分析不同障碍特征的危险程度并进行标识；同时，利用地面操控人员对虚拟月面任务场景的认知规划一条参考行进路径；将障碍特征的三维数据、危险程度等信息称为增强信息，连同参考行进路径一起统称为引导信息；
增强显示模块：将信息生成模块获取的增强信息和行进路径信息准确显示在虚拟月面任务场景中。
6.根据权利要求2所述的一种地月时延下月面探测准实时遥操作***，其特征在于：所述人机交互子***包括地面操控人员和操作手柄；人机交互子***通过三维重建的虚拟月面任务场景和操作手柄搭建起地面操控人员与月面任务操作现场之间的互动关系，由地面操控人员根据实时更新的虚拟月面任务场景，人工控制操作手柄实现对虚拟移动机器人、即对月面移动机器人的连续遥操作。
CN202010399002.8A 2020-05-12 2020-05-12 一种地月时延下月面探测准实时遥操作*** Active CN111580519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010399002.8A CN111580519B (zh) 2020-05-12 2020-05-12 一种地月时延下月面探测准实时遥操作***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010399002.8A CN111580519B (zh) 2020-05-12 2020-05-12 一种地月时延下月面探测准实时遥操作***

Publications (2)

Publication Number Publication Date
CN111580519A true CN111580519A (zh) 2020-08-25
CN111580519B CN111580519B (zh) 2023-06-30

Family

ID=72112173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010399002.8A Active CN111580519B (zh) 2020-05-12 2020-05-12 一种地月时延下月面探测准实时遥操作***

Country Status (1)

Country Link
CN (1) CN111580519B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577494A (zh) * 2020-11-13 2021-03-30 上海航天控制技术研究所 一种适用于月球车的slam方法、电子设备及存储介质
CN112722331A (zh) * 2021-01-27 2021-04-30 东南大学 一种月面载人移动车***的交互装置及交互控制方法
CN115565430A (zh) * 2022-09-15 2023-01-03 北京科技大学 一种模拟月球车远程遥操作的***
CN115996101A (zh) * 2022-11-28 2023-04-21 西安电子科技大学 面向月球表面多场景通信的无线信道建模方法
CN116382476A (zh) * 2023-03-30 2023-07-04 哈尔滨工业大学 一种用于月表人机协同作业的穿戴式交互***
CN117990111A (zh) * 2024-04-03 2024-05-07 北京盛安同力科技开发有限公司 一种基于mbse模型的探月机器人局部路径规划方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101434066A (zh) * 2008-10-20 2009-05-20 北京理工大学 机器人遥操作预测方法和遥操作预测平台
CN102880063A (zh) * 2012-09-13 2013-01-16 中国人民解放军63921部队 同步控制遥操作***及方法
CN104015190A (zh) * 2014-05-13 2014-09-03 中国科学院力学研究所 一种不确定双向时延条件下的机器人远程控制方法和***
US20140324249A1 (en) * 2013-03-19 2014-10-30 Alberto Daniel Lacaze Delayed Telop Aid
US20160259330A1 (en) * 2015-03-06 2016-09-08 Alberto Daniel Lacaze Point-and-Click Control of Unmanned, Autonomous Vehicle Using Omni-Directional Visors
CN109933097A (zh) * 2016-11-21 2019-06-25 清华大学深圳研究生院 一种基于三维手势的空间机器人遥操作***
US20190271979A1 (en) * 2018-03-02 2019-09-05 Carnegie Mellon University Efficient Teleoperation of Mobile Robots via Online Adaptation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101434066A (zh) * 2008-10-20 2009-05-20 北京理工大学 机器人遥操作预测方法和遥操作预测平台
CN102880063A (zh) * 2012-09-13 2013-01-16 中国人民解放军63921部队 同步控制遥操作***及方法
US20140324249A1 (en) * 2013-03-19 2014-10-30 Alberto Daniel Lacaze Delayed Telop Aid
CN104015190A (zh) * 2014-05-13 2014-09-03 中国科学院力学研究所 一种不确定双向时延条件下的机器人远程控制方法和***
US20160259330A1 (en) * 2015-03-06 2016-09-08 Alberto Daniel Lacaze Point-and-Click Control of Unmanned, Autonomous Vehicle Using Omni-Directional Visors
CN109933097A (zh) * 2016-11-21 2019-06-25 清华大学深圳研究生院 一种基于三维手势的空间机器人遥操作***
US20190271979A1 (en) * 2018-03-02 2019-09-05 Carnegie Mellon University Efficient Teleoperation of Mobile Robots via Online Adaptation

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577494A (zh) * 2020-11-13 2021-03-30 上海航天控制技术研究所 一种适用于月球车的slam方法、电子设备及存储介质
CN112577494B (zh) * 2020-11-13 2022-11-18 上海航天控制技术研究所 一种适用于月球车的slam方法、电子设备及存储介质
CN112722331A (zh) * 2021-01-27 2021-04-30 东南大学 一种月面载人移动车***的交互装置及交互控制方法
CN115565430A (zh) * 2022-09-15 2023-01-03 北京科技大学 一种模拟月球车远程遥操作的***
CN115565430B (zh) * 2022-09-15 2024-03-29 北京科技大学 一种模拟月球车远程遥操作的***
CN115996101A (zh) * 2022-11-28 2023-04-21 西安电子科技大学 面向月球表面多场景通信的无线信道建模方法
CN115996101B (zh) * 2022-11-28 2024-05-24 西安电子科技大学 面向月球表面多场景通信的无线信道建模方法
CN116382476A (zh) * 2023-03-30 2023-07-04 哈尔滨工业大学 一种用于月表人机协同作业的穿戴式交互***
CN116382476B (zh) * 2023-03-30 2023-10-13 哈尔滨工业大学 一种用于月表人机协同作业的穿戴式交互***
CN117990111A (zh) * 2024-04-03 2024-05-07 北京盛安同力科技开发有限公司 一种基于mbse模型的探月机器人局部路径规划方法及***
CN117990111B (zh) * 2024-04-03 2024-07-12 北京盛安同力科技开发有限公司 一种基于mbse模型的探月机器人局部路径规划方法及***

Also Published As

Publication number Publication date
CN111580519B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN111580519B (zh) 一种地月时延下月面探测准实时遥操作***
CN110989605B (zh) 一种三体智能***架构及探测机器人
Volpe Rover functional autonomy development for the mars mobile science laboratory
US10240930B2 (en) Sensor fusion
RU2564628C2 (ru) Системы и способы для дистанционно взаимодействующих транспортных средств
CN113945206A (zh) 一种基于多传感器融合的定位方法及装置
CN111045425A (zh) 一种地面无人车辆的辅助遥操作驾驶方法
KR20200093412A (ko) 차량 주행 제어 방법 및 장치
CN105867404A (zh) 一种无人机测量土石方的设备及方法
CN115200588B (zh) 移动机器人的slam自主导航方法及其装置
Benninghoff et al. Development and hardware-in-the-loop test of a guidance, navigation and control system for on-orbit servicing
CN112518739A (zh) 履带式底盘机器人侦察智能化自主导航方法
CN106909161B (zh) 一种敏捷卫星零偏流角成像的最优姿态机动规划方法
Theil et al. ATON (Autonomous Terrain-based Optical Navigation) for exploration missions: recent flight test results
CN110044361B (zh) 基于目标投影位置的光学载荷星上自主调度方法
KR20210043522A (ko) 오프라인 지도 생성 방법, 장치, 전자 기기 및 저장 매체
CN112780275A (zh) 掘进机工作***及方法
Tunstel et al. Mars exploration rover mobility and robotic arm operational performance
CN105588564A (zh) 一种适用于二维广域扫描的稳定成像方法
Weclewski et al. Sample Fetch Rover guidance, navigation and control subsystem-an overview
Wettergreen et al. Operating nomad during the Atacama Desert trek
Volpe Rover technology development and mission infusion beyond MER
Chen et al. Outdoor 3d environment reconstruction based on multi-sensor fusion for remote control
CN211008643U (zh) 掘进机工作***
Bresina et al. K9 operation in May’00 dual-rover field experiment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant