CN113263497A - 消防机器人远程智能人机交互方法 - Google Patents
消防机器人远程智能人机交互方法 Download PDFInfo
- Publication number
- CN113263497A CN113263497A CN202110370799.3A CN202110370799A CN113263497A CN 113263497 A CN113263497 A CN 113263497A CN 202110370799 A CN202110370799 A CN 202110370799A CN 113263497 A CN113263497 A CN 113263497A
- Authority
- CN
- China
- Prior art keywords
- fire
- robot
- fighting robot
- control
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000003993 interaction Effects 0.000 title claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000006467 substitution reaction Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A62—LIFE-SAVING; FIRE-FIGHTING
- A62C—FIRE-FIGHTING
- A62C37/00—Control of fire-fighting equipment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种消防机器人远程智能人机交互方法，包括：构建高逼真度的火灾现场三维立体场景，建立视觉临场感操纵环境，为后方操纵人员提供操纵的视觉代入感；构建实际驾驶场景，构建驾驶操作的补偿跟踪模型和预瞄跟踪模型，将驾驶员对消防机器人的操纵行为通过模型进行描述，用于遥控操作指令理解；基于消防机器人的任务控制操纵模式与动作控制操纵模式之间的映射关系，建立机器人的任务控制行为模型，并基于所建立的机器人操纵行为模型，得到远程遥控指令的合理化理解与解析结果。本发明实现了人机智能协作，使消防机器人能够对远程操作人发出的宏观指令进行理解和分解，并能自主判断指令的合理性，在消防救援时实现机器人的自主工作。
Description
技术领域
本发明属于消防救援技术领域，尤其涉及一种消防机器人远程智能人机交互方法。
背景技术
消防机器人是科技不断发展和创新的产物，是一种特种机器人，在灭火以及抢险救援中能够起到让人意想不到的作用，可以辅助甚至逐渐取代消防员的工作，保障了消防员的生命安全。但大部分消防救援机器人在实际的应用过程中，也有着不足之处：在进行消防救援任务时，后方遥控人员由于距离原因，缺少操作的代入感，无法切身衡量机器人的通过能力、稳定性、负载能力、操作合理性等因素，所发出的远程遥控指令可能缺乏合理性，影响消防救援效率，甚至危及消防机器人的运动稳定性和安全性。
发明内容
本发明的目的是提供一种消防机器人远程智能人机交互方法，以解决上述技术问题。
本发明提供了一种消防机器人远程智能人机交互方法，包括如下步骤：
步骤1，基于救援现场的CCD图像及激光雷达信息，基于感知***匹配标定、多传感器信息融合、全景图像拼接、图像特征匹配方法，构建高逼真度的火灾现场三维立体场景，建立视觉临场感操纵环境，为后方操纵人员提供操纵的视觉代入感；
步骤2，构建实际驾驶场景，基于驾驶员驾驶意图、状态及习性建模方法，构建驾驶操作的补偿跟踪模型和预瞄跟踪模型，将驾驶员对消防机器人的操纵行为通过模型进行描述，用于遥控操作指令理解；
步骤3，基于消防机器人的任务控制操纵模式与动作控制操纵模式之间的映射关系，建立机器人的任务控制行为模型，并基于所建立的机器人操纵行为模型，得到远程遥控指令的合理化理解与解析结果。
进一步地，所述步骤3中所述映射关系为方向、速度、姿态与当前位置、目标位置的映射。
借由上述方案，通过消防机器人远程智能人机交互方法，实现了人机智能协作，使消防机器人能够对远程操作人发出的宏观指令进行理解和分解，并能自主判断指令的合理性，在消防救援时实现机器人的自主工作。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例详细说明如后。
具体实施方式
下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实例在救援现场开展救援任务时，基于短时延高带宽5G与微波通讯技术，通过视觉临场感环境构建、机器人***操作行为建模、消防机器人遥控指令理解与解析等关键技术，对机器人的行为进行合理规划，从而实现救援现场与后方指挥的智能化人机交互。具体内容包括：
1、视觉临场感操纵环境构建。
基于救援现场的CCD图像及激光雷达信息，基于感知***匹配标定、多传感器信息融合、全景图像拼接、图像特征匹配方法，构建高逼真度的火灾现场三维立体场景，建立视觉临场感操纵环境，为后方操纵人员提供操纵的视觉代入感，后方操作人员在操作台使用手动控制器控制机器人执行器终点速率，机器人工作的状态参数可选择性显示在操作台上。
本实施例通过建立一个稳定的、计算复杂度较低的、对观测数量要求较少的重构算法来精确地恢复原现场图像信号。主要包括：(1)改进匹配追踪、迭代阈值、梯度投影等算法，降低计算复杂度，提高重构的精确度；(2)基于模型的重构算法，最大程度降低算法复杂度及其对信号结构先验知识的要求；(3)确定最小测量数M与重构算法计算复杂度的优化方法。
2、机器人***操纵行为建模。
构建实际驾驶场景，基于深度数据挖掘与自学习方法的驾驶员驾驶意图、状态及习性建模方法，构建驾驶操作的补偿跟踪模型和预瞄跟踪模型，将驾驶员对消防机器人的操纵行为通过模型进行描述，为后续的遥控操作指令理解提供理论基础。
本实施例中，采用如下的步骤进行操纵行为的建模：
首先建立如下形式的消防机器人的运动行为模型：
Xk＝AXk-1+Gδk-1 k＝2,3,…N
建立其状态观测方程：Zk＝HXk+θk k＝2,3,…N。最后，结合预瞄模型，对消防机器人的运动行为进行滤波和状态预测。
3、遥控指令理解与解析。
基于消防机器人的任务控制操纵模式与动作控制操纵模式之间的映射关系，建立机器人的任务控制行为模型，并基于所建立的机器人操纵行为模型，得到远程遥控指令的合理化理解与解析结果。
本实施例基于数据的形式建立如下形式的映射关系：
g(方向、速度、姿态)<——>f(当前位置、目标位置)。
该消防机器人远程智能人机交互方法，实现了人机智能协作，使消防机器人能够对远程操作人发出的宏观指令进行理解和分解，并能自主判断指令的合理性，在消防救援时实现机器人的自主工作。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (2)
1.一种消防机器人远程智能人机交互方法，其特征在于，包括如下步骤：
步骤1，基于救援现场的CCD图像及激光雷达信息，基于感知***匹配标定、多传感器信息融合、全景图像拼接、图像特征匹配方法，构建高逼真度的火灾现场三维立体场景，建立视觉临场感操纵环境，为后方操纵人员提供操纵的视觉代入感；
步骤2，构建实际驾驶场景，基于驾驶员驾驶意图、状态及习性建模方法，构建驾驶操作的补偿跟踪模型和预瞄跟踪模型，将驾驶员对消防机器人的操纵行为通过模型进行描述，用于遥控操作指令理解；
步骤3，基于消防机器人的任务控制操纵模式与动作控制操纵模式之间的映射关系，建立机器人的任务控制行为模型，并基于所建立的机器人操纵行为模型，得到远程遥控指令的合理化理解与解析结果。
2.根据权利要求1所述的消防机器人远程智能人机交互方法，其特征在于，所述步骤3中所述映射关系为方向、速度、姿态与当前位置、目标位置的映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110370799.3A CN113263497A (zh) | 2021-04-07 | 2021-04-07 | 消防机器人远程智能人机交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110370799.3A CN113263497A (zh) | 2021-04-07 | 2021-04-07 | 消防机器人远程智能人机交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113263497A true CN113263497A (zh) | 2021-08-17 |
Family
ID=77228716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110370799.3A Pending CN113263497A (zh) | 2021-04-07 | 2021-04-07 | 消防机器人远程智能人机交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113263497A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114371632A (zh) * | 2021-12-29 | 2022-04-19 | 达闼机器人有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
| CN115228035A (zh) * | 2022-07-18 | 2022-10-25 | 北京东晨润科技有限公司 | 人形智能交互消防作战机器人 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0665949A (ja) * | 1991-09-28 | 1994-03-08 | Tokyu Constr Co Ltd | 建設ロボットにおける遠隔臨場制御方法 |
| CN106530407A (zh) * | 2016-12-14 | 2017-03-22 | 深圳市金大象文化发展有限公司 | 一种用于虚拟现实的三维全景拼接方法、装置和*** |
| CN107291879A (zh) * | 2017-06-19 | 2017-10-24 | 中国人民解放军国防科学技术大学 | 一种虚拟现实***中三维环境地图的可视化方法 |
| CN107875550A (zh) * | 2017-11-07 | 2018-04-06 | 山东阿图机器人科技有限公司 | 一种面向复杂地面环境的消防灭火机器人 |
| CN209519260U (zh) * | 2018-11-12 | 2019-10-22 | 山西职业技术学院 | 一种基于vr虚拟现实技术控制的小型消防机器人 |
| CN112339766A (zh) * | 2020-11-17 | 2021-02-09 | 清华大学 | 一种基于混合学习的驾驶员转向意图预测方法 |
-
2021
- 2021-04-07 CN CN202110370799.3A patent/CN113263497A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0665949A (ja) * | 1991-09-28 | 1994-03-08 | Tokyu Constr Co Ltd | 建設ロボットにおける遠隔臨場制御方法 |
| CN106530407A (zh) * | 2016-12-14 | 2017-03-22 | 深圳市金大象文化发展有限公司 | 一种用于虚拟现实的三维全景拼接方法、装置和*** |
| CN107291879A (zh) * | 2017-06-19 | 2017-10-24 | 中国人民解放军国防科学技术大学 | 一种虚拟现实***中三维环境地图的可视化方法 |
| CN107875550A (zh) * | 2017-11-07 | 2018-04-06 | 山东阿图机器人科技有限公司 | 一种面向复杂地面环境的消防灭火机器人 |
| CN209519260U (zh) * | 2018-11-12 | 2019-10-22 | 山西职业技术学院 | 一种基于vr虚拟现实技术控制的小型消防机器人 |
| CN112339766A (zh) * | 2020-11-17 | 2021-02-09 | 清华大学 | 一种基于混合学习的驾驶员转向意图预测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114371632A (zh) * | 2021-12-29 | 2022-04-19 | 达闼机器人有限公司 | 智能设备控制方法、装置、服务器和存储介质 |
| CN115228035A (zh) * | 2022-07-18 | 2022-10-25 | 北京东晨润科技有限公司 | 人形智能交互消防作战机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108519814B (zh) | 一种人机交互操作*** | |
| CN113263497A (zh) | 消防机器人远程智能人机交互方法 | |
| US8271132B2 (en) | System and method for seamless task-directed autonomy for robots | |
| US20200218253A1 (en) | Advanced control system with multiple control paradigms | |
| CN104950885A (zh) | 一种基于视觉和力觉反馈的uav群双边遥操作控制***及其方法 | |
| CN113134187B (zh) | 基于积分强化学习的多消防巡检协作机器人*** | |
| CN113110478A (zh) | 一种多机器人运动规划的方法、***及存储介质 | |
| Franco et al. | Short-term path planning with multiple moving obstacle avoidance based on adaptive MPC | |
| Lashkari et al. | Development of a novel robust control method for formation of heterogeneous multiple mobile robots with autonomous docking capability | |
| Zhao et al. | Online trajectory planning for an industrial tractor towing multiple full trailers | |
| Capozzi et al. | Evolving (semi)-autonomous vehicles | |
| US11422570B2 (en) | Systems and methods for managing a transportation device fleet using teleoperation commands | |
| Xin et al. | Variable autonomy of whole-body control for inspection and intervention in industrial environments using legged robots | |
| Raghuwaiya et al. | Formation types of multiple steerable 1-trailer mobile robots via split/rejoin maneuvers | |
| Alzorgan et al. | Actuator trajectory planning for uavs with overhead manipulator using reinforcement learning | |
| CN113031651B (zh) | 基于值函数逼近的uav吊挂***双边遥操作控制***及方法 | |
| Lei et al. | An mpc-based framework for dynamic trajectory re-planning in uncertain environments | |
| Zhang et al. | Autonomous following indoor omnidirectional mobile robot | |
| Raju et al. | Design and implementation of a rescue and surveillance robot using cross-platform application | |
| Li et al. | Model-Based Trajectory Planning of a Hybrid Robot for Powerline Inspection | |
| Arad et al. | Coordinated path following control for a group of car-like vehicles with an application to intelligent transportation system | |
| Feng | Multi-agent Collaborative Fire Rescue Based on Deep Reinforcement Learning | |
| Liu et al. | Laser slam-based autonomous navigation for fire patrol robots | |
| CN114995457A (zh) | 一种仿地形城市救援机器人的自主导航方法与*** | |
| EP3767423B1 (en) | Work machine and work machine support server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210817 |
|
| RJ01 | Rejection of invention patent application after publication |