CN104950695B - 一种通用的无人机视觉仿真平台 - Google Patents
一种通用的无人机视觉仿真平台 Download PDFInfo
- Publication number
- CN104950695B CN104950695B CN201510415014.4A CN201510415014A CN104950695B CN 104950695 B CN104950695 B CN 104950695B CN 201510415014 A CN201510415014 A CN 201510415014A CN 104950695 B CN104950695 B CN 104950695B
- Authority
- CN
- China
- Prior art keywords
- control
- ros
- general unmanned
- machine connecting
- connecting interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000010006 flight Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种通用的无人机视觉仿真平台，包括仿真环境部分和真实环境部分，所述仿真环境部分包括机器人操作***ROS、开源的机器人仿真平台模块Gazebo、视觉算法库和用于把ROS***传过来的信息转换成不同飞控能识别的控制信息的通用无人机连接接口，所述通用无人机连接接口支持ROS***，所述开源的机器人仿真平台模块Gazebo、视觉算法库和通用无人机连接接口均与机器人操作***ROS连接；所述真实环境部分包括飞行器机架和飞行控制器，所述通用无人机连接接口与所述飞行控制器连接。本发明提供一种具有良好的扩展性和通用性的无人机视觉仿真平台。
Description
技术领域
本发明涉及无人机视觉自动控制领域,尤其是一种能够使仿真与真机相结合的平台。
背景技术
近几年无论是在研究方面还是商业应用方面,无人机的领域是越来越火爆,而无人机仿真***作为一个比较新颖的领域,它在社会上的需求也是越来越高,与真机测试相比,它能够有效地避免飞机在测试过程中的损伤。通过无人机的仿真***，可以无消耗、安全的测试视觉的算法和飞行器自动控制。
但是目前的无人机仿真***主要只针对一种飞机,例如TUM的AR.Drone仿真***，而且它只能测试一种视觉算法，没有什么扩展性和通用性，其他的仿真***甚至无法与真机进行算法测试的对接，这样就失去了仿真的最终意义。
发明内容
为了克服已有无人机仿真方式的对象单一、扩展性和通用性较差的不足，本发明提供一种具有良好的扩展性和通用性的无人机视觉仿真平台。
本发明解决其技术问题所采用的技术方案是：
一种通用的无人机视觉仿真平台，包括仿真环境部分和真实环境部分，所述仿真环境部分包括机器人操作***ROS、开源的机器人仿真平台模块Gazebo、视觉算法库和用于把ROS***传过来的信息转换成不同飞控能识别的控制信息的通用无人机连接接口，所述通用无人机连接接口支持ROS***，所述开源的机器人仿真平台模块Gazebo、视觉算法库和通用无人机连接接口均与机器人操作***ROS连接；所述真实环境部分包括飞行器机架和飞行控制器，所述通用无人机连接接口与所述飞行控制器连接。
进一步，所述通用无人机连接接口中，输入端是ROS***传入的逻辑层控制信息，获取到逻辑层控制信息后，在准备发送给无人机的飞控之前需要进行数据的预处理，对控制信息针对某个飞控进行转化后发给飞行控制器。
再进一步，所述转化的过程如下：针对AR.Drone的飞控需要把逻辑的上下左右控制转化为AR.Drone驱动可以识别的控制消息，然后通过WIFI传输给AR.Drone飞行控制器实现控制；针对Pixhawk飞控同样把接口的逻辑控制信息转化为mavlink消息再发给Pixhawk飞行控制器；针对ASCTEC的飞控也需要把逻辑控制信息转化为ASCTEC驱动可以识别的消息再发送给飞行控制器。
更进一步，所述机器人操作***ROS还包括用户交互界面，用于让用户去选择需要连接的飞控类型。
本发明的有益效果主要表现在：具有良好的扩展性和通用性。
附图说明
图1是通用的无人机视觉仿真平台的原理框图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1，一种通用的无人机视觉仿真平台，包括仿真环境部分和真实环境部分，所述仿真环境部分包括机器人操作***ROS、开源的机器人仿真平台模块Gazebo、视觉算法库和用于把ROS***传过来的信息转换成不同飞控能识别的控制信息的通用无人机连接接口，所述通用无人机连接接口支持ROS***，所述开源的机器人仿真平台模块Gazebo、视觉算法库和通用无人机连接接口均与机器人操作***ROS连接；所述真实环境部分包括飞行器机架和飞行控制器，所述通用无人机连接接口与所述飞行控制器连接。
进一步，所述通用无人机连接接口中，输入端是ROS***传入的逻辑层控制信息，获取到逻辑层控制信息后，在准备发送给无人机的飞控之前需要进行数据的预处理，对控制信息针对某个飞控进行转化后发给飞行控制器。
本实施例的平台可以支持多种无人机飞控比如AR.Drone 2.0，pixhawk，APM等等。而且可以支持多种目前国际上较为先进的视觉算法来自动控制无人机，比如OpenTLD，ORB-SLAM等。
本实施例的仿真平台总体是基于ROS***和Gazebo组成，Gazebo是目前较为流行的
开源仿真软件针对机器人仿真设计。而ROS***也是目前世界上公认的最好的功能最全的开源机器人操作***。
在Gazebo中首先设计好一套模拟无人机的环境，包括多种模拟的三维场景，无人机飞行器的模型，无人机的运动学动力学模型，摩擦碰撞模型和各种传感器仿真等。
然后在Gazebo中把模拟无人机在场景中获取的图像信息传输给ROS***，视觉算法模块再从ROS***中获取图像的输入，然后进行相应地运算，得出的结果在反馈给ROS，ROS把结果处理转换成控制信息发给Gazebo中的模拟飞行器，这样就实现了视觉算法控制模拟飞行器的流程。
通用无人机连接接口，必须要支持ROS***，在接口设计上与仿真***连接的层面只需设计好与ROS通信的接口即可，算法层和仿真***中运动模型或者动力学模型都会与ROS进行通信。
与真机环境中的连接设计较为复杂，需要设计一种通用接口把ROS***传过来的信息转换成不同飞控能识别的控制信息，比如与pixhawk通信需要使用mavros驱动，也就是mavlink和ROS的通信连接件。再比如AR.Drone由于官方提供ROS版本的驱动，可以直接与ROS通信，所以只需在通用接口中添加即可。
最后需要设计一个与用户交互的界面，可以让用户去选择需要连接的飞控类型，一旦选择完毕即可让视觉控制算法无缝应用在特定的飞控上，使特定的无人机执行一些基于视觉的任务。
通用无人机连接接口的工作流程：
1)首先接口的输入端是ROS***传入的逻辑层控制信息，逻辑上对不同无人机的控制是没有区别的，都是前后左右上下旋转等变化。
2)然后是接口获取到逻辑层控制信息后，在准备发送给无人机的飞控之前需要进行数据的预处理，对控制信息针对某个飞控进行特殊转化：针对AR.Drone的飞控需要把逻辑的上下左右控制转化为AR.Drone驱动可以识别的控制消息，然后通过WIFI传输给AR.Drone飞控实现控制；又比如针对Pixhawk飞控同样把接口的逻辑控制信息转化为mavlink消息再发给Pixhawk飞控；针对ASCTEC的飞控也需要把逻辑控制信息转化为ASCTEC驱动可以识别的消息，然后发给飞行控制器。
特别地，对于pixhawk或者APM的飞控由于其通用性较强，所以可以搭载到不同尺寸的无人机机架上，实现机架上的扩展。
以无人机跟踪为例，使用的飞机模型为AR.Drone，使用OpenTLD视觉跟踪算法，本实施例的平台运作的主要流程：
1)首先是仿真模块和真实模块的是相对独立的。
2)先从仿真模块开始，在Gazebo中有事先设计好的无人机模型，包括几何学模型和运动学模型,这些准备就绪后可以在Gazebo算法去控制无人机，同样的也可以在Gazebo中去获取当前无人机的各种姿态信息。
3)当Gazebo获取飞行器当前视角的图像数据后，通过ROS***获取图像信息，并把信息传给计算机视觉处理模块，然后在模块中进行算法处理，再把处理后的结果传输给ROS***，通过ROS转换控制信息给Gazebo，让模型飞行器在Gazebo完成相应的动作。
4)在视觉算法层进行算法处理之后，我们还能把控制信息通过ROS***转化为真机中能识别的信息，而这个需要ROS***和各种飞控的接口，一般较为通用的飞控官方便会提供ROS版本的驱动，比如AR.Drone等等。而我们做的是把和ROS***相连的一系列飞控进行整合，然后建立一个通用的接口，利用这个接口可以把ROS***和许多种飞控进行。
5)在真实环境的测试中，采用mavros作为ROS***与mavlink通用协议的转换组件。飞行器上的飞行控制模块通过mavlink协议和PC端的ROS***进行通讯。这样，在ROS中测试过的视觉算法就可以和真实飞行器进行交互。经过仿真测试之后的视觉算法可以非常方便地应用到实际飞行器的测试中来,提高了算法测试的安全性和高效性。
Claims (2)
1.一种通用的无人机视觉仿真平台，其特征在于：所述仿真平台包括仿真环境部分和真实环境部分，所述仿真环境部分包括机器人操作***ROS、开源的机器人仿真平台模块Gazebo、视觉算法库和用于把ROS***传过来的信息转换成不同飞控能识别的控制信息的通用无人机连接接口，所述通用无人机连接接口支持ROS***，所述开源的机器人仿真平台模块Gazebo、视觉算法库和通用无人机连接接口均与机器人操作***ROS连接；所述真实环境部分包括飞行器机架和飞行控制器，所述通用无人机连接接口与所述飞行控制器连接；所述通用无人机连接接口中，输入端是ROS***传入的逻辑层控制信息，获取到逻辑层控制信息后，在准备发送给无人机的飞控之前需要进行数据的预处理，对控制信息针对某个飞控进行转化后发给飞行控制器；所述转化的过程如下：
针对AR.Drone的飞控需要把逻辑的上下左右控制转化为AR.Drone驱动可以识别的控制消息，然后通过WIFI传输给AR.Drone飞行控制器实现控制；
针对Pixhawk飞控同样把接口的逻辑控制信息转化为mavlink消息再发给Pixhawk飞行控制器；
针对ASCTEC的飞控也需要把逻辑控制信息转化为ASCTEC驱动可以识别的消息再发送给飞行控制器。
2.如权利要求1所述的一种通用的无人机视觉仿真平台，其特征在于：所述机器人操作***ROS还包括用户交互界面，用于让用户去选择需要连接的飞控类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510415014.4A CN104950695B (zh) | 2015-07-15 | 2015-07-15 | 一种通用的无人机视觉仿真平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510415014.4A CN104950695B (zh) | 2015-07-15 | 2015-07-15 | 一种通用的无人机视觉仿真平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104950695A CN104950695A (zh) | 2015-09-30 |
| CN104950695B true CN104950695B (zh) | 2018-02-27 |
Family
ID=54165431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510415014.4A Active CN104950695B (zh) | 2015-07-15 | 2015-07-15 | 一种通用的无人机视觉仿真平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104950695B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105843249A (zh) * | 2016-03-22 | 2016-08-10 | 安徽大学 | 基于Pixhawk飞控的无人机自动巡航***及其巡航方法 |
| CN106326087B (zh) * | 2016-08-31 | 2019-04-19 | 北京光年无限科技有限公司 | 基于机器人操作***的网页体验方法及*** |
| CN108241354B (zh) * | 2016-12-26 | 2022-11-22 | 法法汽车(中国)有限公司 | 用于自动驾驶仿真***的测试方法 |
| CN108268050A (zh) * | 2016-12-30 | 2018-07-10 | 昊翔电能运动科技(昆山)有限公司 | 运动控制装置、头戴显示设备、无人机和飞行*** |
| US10332413B2 (en) * | 2017-05-30 | 2019-06-25 | Honeywell International Inc. | System and method for adjusting the correlation between a visual display perspective and a flight path of an aircraft |
| CN108375979A (zh) * | 2018-02-10 | 2018-08-07 | 浙江工业大学 | 基于ros的自动导航机器人通用控制*** |
| CN110333738A (zh) * | 2019-07-10 | 2019-10-15 | 华东师范大学 | 一种基于仿真模拟软件的无人机集群验证方法 |
| CN110887489A (zh) * | 2019-11-22 | 2020-03-17 | 深圳晨芯时代科技有限公司 | 一种基于ar机器人的slam算法的实验方法 |
| CN111830845A (zh) * | 2020-04-30 | 2020-10-27 | 航天图景（北京）科技有限公司 | 一种无人机风机叶片自动巡检仿真***及方法 |
| CN113759751A (zh) * | 2020-10-30 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种基于仿真***的强化学习方法、装置和*** |
| CN112562443A (zh) * | 2020-12-22 | 2021-03-26 | 北京航空航天大学 | 智能探测教学实践平台和智能探测车 |
| CN114326438B (zh) * | 2021-12-30 | 2023-12-19 | 北京理工大学 | 基于控制障碍函数的安全强化学习四旋翼控制***及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339021A (zh) * | 2011-07-21 | 2012-02-01 | 成都西麦克虚拟现实电子技术有限公司 | 无人机视景仿真***及仿真方法 |
| CN102508439A (zh) * | 2011-11-18 | 2012-06-20 | 天津大学 | 基于hla的多无人机分布式仿真方法 |
| CN203551961U (zh) * | 2013-09-24 | 2014-04-16 | 中国兵器工业计算机应用技术研究所 | 一种无人机航电半实物仿真*** |
-
2015
- 2015-07-15 CN CN201510415014.4A patent/CN104950695B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339021A (zh) * | 2011-07-21 | 2012-02-01 | 成都西麦克虚拟现实电子技术有限公司 | 无人机视景仿真***及仿真方法 |
| CN102508439A (zh) * | 2011-11-18 | 2012-06-20 | 天津大学 | 基于hla的多无人机分布式仿真方法 |
| CN203551961U (zh) * | 2013-09-24 | 2014-04-16 | 中国兵器工业计算机应用技术研究所 | 一种无人机航电半实物仿真*** |
Non-Patent Citations (3)
| Title |
|---|
| 三维姿态实时显示的小型无人机飞控仿真***;张云洲 等;《实验室研究与探索》;20150131;第34卷(第1期);第73-78页 * |
| 中小型无人机建模分析与仿真研究;云超 等;《计算机仿真》;20131130;第30卷(第11期);第32-35页 * |
| 基于嵌入式***的室内移动机器人定位与导航;胡春旭 等;《华中科技大学学报（自然科学版）》;20131031;第41卷;第254-257页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104950695A (zh) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104950695B (zh) | 一种通用的无人机视觉仿真平台 | |
| CN107589752B (zh) | 无人机与地面机器人协同编队实现方法及*** | |
| CN104808675B (zh) | 基于智能终端的体感飞行操控***及终端设备 | |
| CN103093047B (zh) | 典型飞行器视景仿真*** | |
| CN102219051B (zh) | 基于人机交互技术的四旋翼飞行器***控制方法 | |
| CN106773787A (zh) | 一种基于串口通信的无人机飞行仿真演示验证平台 | |
| CN104950902B (zh) | 多旋翼飞行器的控制方法及多旋翼飞行器 | |
| CN106716272A (zh) | 用于飞行模拟的***和方法 | |
| CN102854887A (zh) | 一种无人机航迹规划和远程同步操控方法 | |
| CN108473200A (zh) | 用于在多旋翼无人机（uav）中强健的轨迹跟踪的通用控制器 | |
| CN110223565B (zh) | 一种飞行模拟方法、装置、设备及存储介质 | |
| WO2019104554A1 (zh) | 无人机的控制方法及控制终端 | |
| Um et al. | Modular augmented reality platform for smart operator in production environment | |
| CN106127146A (zh) | 一种基于手势识别的无人机航迹指引方法 | |
| Maher et al. | Realtime human-UAV interaction using deep learning | |
| CN102331778B (zh) | 手持装置及利用其控制无人飞行载具的方法 | |
| Bu et al. | General simulation platform for vision based UAV testing | |
| CN109359629A (zh) | 人工智能飞行器及其智能控制方法 | |
| CN105676755A (zh) | 一种双核飞控计算机 | |
| Shah | Real-time image processing on low cost embedded computers | |
| CN205644148U (zh) | 一种双核飞控计算机 | |
| Sherman et al. | UAV swarm mapping using a fully distributed control approach | |
| CN101625554B (zh) | 航天器同轨同速模拟运动平台中的无线通信控制*** | |
| CN209044639U (zh) | 人工智能飞行器 | |
| TWM558760U (zh) | 無人機人工智慧模組 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |