CN107643695B - 基于脑电的有人/无人机集群编队vr仿真方法及*** - Google Patents
基于脑电的有人/无人机集群编队vr仿真方法及*** Download PDFInfo
- Publication number
- CN107643695B CN107643695B CN201710799662.3A CN201710799662A CN107643695B CN 107643695 B CN107643695 B CN 107643695B CN 201710799662 A CN201710799662 A CN 201710799662A CN 107643695 B CN107643695 B CN 107643695B
- Authority
- CN
- China
- Prior art keywords
- simulation
- unmanned aerial
- aerial vehicle
- formation
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及航空航天领域的仿真平台开发，为提出一种能够支持有人/无人机集群编队控制算法验证的仿真平台。基于脑电的有人/无人机集群编队VR仿真方法及***，实时仿真Simulink Real Time目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink Real Time目标机+嵌入式控制器代表一台无人机；嵌入式控制器运行无人机控制算法，计算出控制信号。本发明主要应用于航空航天模拟场合。
Description
技术领域
本发明涉及一种航空航天领域的仿真平台开发问题，是验证有人/无人机集群编队控制方法的仿真平台开发问题。具体讲,涉及基于脑电设备的有人/无人机集群编队VR仿真***。
背景技术
现代空战中，随着战场环境和作战任务的日趋复杂，仅凭单架无人机或者有人机将无法满足作战需求，有人机与无人机的协同作战将是未来空战的一种重要形式。有人/无人机协同的决策分配就是研究有人机和无人机在不同情况下的决策控制等级问题。将人的经验、直觉、灵活等优势与计算机数据处理能力强、速度快的优势相结合，使两者优势互补，达到更优的决策效果。有人机作为长机带领无人机进行混合编队飞行，这样不仅将使***的综合效能和任务执行时的冗余性能得到大幅提升，而且弥补了单纯无人机编队对复杂环境识别精度不高和判断困难等方面的不足，此问题成为有人/无人机混合编队及其应用技术发展的研究新热点，目前在编队队形控制、协同作战、信息交互处理以及具体实现验证等多方面已经开展了广泛的研究。随着研究的不断深入，设定的***运行环境和编队模型的相异性，对验证方法和验证手段带来了更大的挑战，由于实体验证需要完备的工程设计，繁杂的验证工作，大量的人力资源，冗长的工作周期，以及昂贵的实验仪器和物质消耗。因此，虚拟仿真验证作为一种灵活、低耗的验证方法适用于大多数的理论性预研。
有人/无人机编队控制***不同与普通通航天飞行器，其***的功能是由多个飞行器互相协同完成，因此存在着复杂的信息交互。这对飞行器位置姿态控制及飞行器任务管理、调度控制提出了新的要求。基于单一领域仿真模型集成的方法不利于***的扩展，集成后***仿真结果置信度低；基于统一建模语言方法需要对已有模型重新用数学方程描述，无法充分利用已有研究成果，并且有些模型无法用方程描述；基于异构仿真环境可以实现仿真***灵活构建,有效提高仿真效率，集成现有研究成果；基于分布式建模与仿真方案具有一定的灵活性、可扩展性，减少网络数据冗余，最大限度保证数据一致性，并可将真实仿真、虚拟仿真等集成到统一的仿真环境中。
有人/无人编队仿真平台采用计算机实时仿真、嵌入式软硬件技术和虚拟现实技术实现有人/无人编队的控制方法仿真与验证，其最大的特色在于仿真模型可以快速高效的移植到平台上，并在虚拟现实环境中实时观看仿真效果。符合有人/无人编队仿真的应用需求和发展趋势。
通过对现有技术的检索，并未发现类似专利。特别是针对有人/无人编队控制算法实时验证方面，没有一种有效的仿真验证平台。
发明内容
为克服现有技术的不足，本发明旨在提出一种能够支持有人/无人机集群编队控制算法验证的仿真平台。本发明采用的技术方案是，基于脑电的有人/无人机集群编队VR仿真***，实时仿真Simulink Real Time目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink Real Time目标机+嵌入式控制器代表一台无人机，目标机运行无人机数字仿真simulink模型；嵌入式控制器运行无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路；脑电设备+人机交互装置模拟有人机，脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作；仿真平台管理计算机接收这两个控制信号并将有人机指令发送给操控无人机；视景计算机接收仿真产生的位置、姿态角信息，在大屏幕显示***上进行实时视景演示。
平台管理软件运行在平台管理计算机上，包含数字仿真模块、实时仿真模块、数据管理模块、网络通信模块、脑机接口模块和人机交互模块，具体如下：
(1)数字仿真模块：建立仿真软件Matlab/Simulink环境下可复用的数字仿真回路，并基于模块化的思想将数字仿真回路分为有人/无人机模型库、编队队形库、任务分配方法库、轨迹优化方法库和编队控制方法库五个模块，其中，有人/无人机模型库提供了包括四旋翼、六旋翼飞机模型，编队队形库提供了包括攻击队形数据、侦查队形数据、巡航队形数据、任务分配方法库提供了包括群算法、市场类算法、聚类算法的动态和静态任务分配算法；轨迹优化方法库提供包括自适应遗传算法、改进粒子群算法的轨迹优化方法；编队控制方法库提供包括PID，滑模、反步的编队控制方法，在一个可复用的数字回路中，在不同的库中选择不同的模型、编队队形、任务分配方法、轨迹优化方法以及控制算法，生成数字仿真dlm文件；在进行回路模块化设计的过程中，统一模块之间进行交互的I/O接口，使其具有通用性，为后续开发和扩展提供方便；
(2)实时仿真模块：基于Simulink Real Time函数库解析上述五个模块构成的数字仿真模型，实现仿真数据监控，并开发模型连接、程序下载、开始仿真、结束仿真功能模块，管理集群编队实时仿真全过程；实时仿真数据显示则基于绘图控件Teechart开发曲线绘制子模块，实现对于有人/无人机编队实时位置信息、姿态角、速度的关键数据的显示；
(3)数据管理模块：基于数据库Mysql提供的函数开发包API，开发数据管理子模块，实现对1组有人/无人机编队实时仿真数据的管理功能，包含数据存储、数据修改、数据删除、数据对比、数据导出功能模块，充分利用仿真过程产生的数据；
(4)网络通信模块：基于用户数据报协议UDP开发网络通信模块，将有人/无人机编队的实时仿真数据传输给视景演示软件，驱动视景演示软件进行动态显示；
(5)脑机接口模块：包含信号采集子模块和信号转换子模块，基于脑电采集***Neuracle采集用户脑电信号。基于脑电设备配套软件开发单元NeuroCube，采用Neuracle配套软件开发，转换为相应有人机控制指令，实时发送给无人机控制器，完成基于脑控的有人/无人机集群虚拟飞行验证；
(6)人机交互模块：包含手势识别子模块。基于手势识别技术Orion，识别操作者动作，并将其转化为相应的有人机控制指令，控制无人机编队飞行，进行有人/无人协同飞行仿真验证，实现“人在回路”仿真。
视景演示软件运行在视景计算机中：设计三维虚拟场景模块、人机交互模块和网络通信模块，具体如下：
(1)三维虚拟场景模块：包含VR模型、场景、特效的设计与实现，通过三维建模软件SketchUp、3D max建模，建立包含多种固定翼、旋翼的有人/无人机模型库，及山地、平原、森林环境下的陆地场景库，并将其导入图形开发引擎Unity建立应用程序资源组，基于物理引擎Physics实现集群编队对军事目标打击时产生的***、碎片特效，基于Unity跨平台发布的功能，将虚拟场景输出至VR头显设备中显示；
(2)人机交互模块：包含手势识别子模块、用户图形界面GUI子模块、头部追踪子模块，基于Orion手势识别技术，实现用户通过手势在VR视景演示中，与程序进行交互的功能，基于三维图形界面库Hovercast设计VR场景中的GUI界面，实现用户对仿真信息的查看、沙盘演示、场景配置；基于头部追踪组件OpenVR实现VR视角切换功能；
(3)网络通信模块：基于UDP协议开发网络通信模块，接收编队的实时仿真数据，驱动虚拟场景中有人/无人机的运动，演示有人/无人编队队形生成和保持的过程。
基于脑电的有人/无人机集群编队VR仿真方法，利用Simulink Real Time目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink RealTime目标机+嵌入式控制器代表一台无人机，目标机运行无人机simulink模型；嵌入式控制器运行无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路；脑电设备+人机交互装置模拟有人机，脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作；仿真平台管理计算机接收这两个控制信号并将有人机指令发送给操控无人机；视景计算机接收仿真产生的位置、姿态角信息，在大屏幕显示***上进行实时视景演示。
本发明的特点及有益效果是：
社会效益：此项发明对有人/无人机编队控制***的研究具有十分重要的意义。该项发明具有国际先进水平，它不仅可以提高有人/无人机编队控制***开发初期的仿真可信度，大大缩短研究周期；同时又降低了平台开发成本，并支持对不同编队控制方法的仿真验证，有效提高了有人/无人机编队控制的理论研究水平和仿真试验水平，为有人/无人机控制***的研究与发展打下良好的试验平台基础。
经济效益：有人/无人机编队结合了有人机和无人机作战的优势，能够简化作战任务，扩大观测领域，提高***健壮性，还可以根据任务的变更替换***载荷，提高有人/无人机编队对任务的适应性，具有较高的经济价值，在军事方面都具有很大的潜在应用。该仿真与验证平台针对有人/无人机编队控制***进行设计，不仅可以为未来有人/无人机编队飞行控制***开发提供更加全面、复杂的仿真验证功能；同时可以作为研究有人/无人机编队飞行控制***的快速原型化平台，解决仿真优化设计及控制策略验证问题，既快速高效又节省开支。
附图说明：
图1有人/无人机编队仿真平台硬件结构示意图。
图2基于脑电设备的有人机与无人机的协同仿真方法流程图。
图3平台管理软件软件结构示意图。
图4视景演示软件结构图。
图5Simulink Real Time编程实现流程图。
图6Simulink Real Time target串口通信流程图。
具体实施方式
本发明的目的在于提供一种能够支持有人/无人机集群编队控制算法验证的仿真平台。
本发明充分利用Simulink Real Time实时仿真技术构建实时仿真模块，基于Simulink Real Time宿主机——目标机架构，该技术通过PC机构建有人/无人编队动力学仿真环境，同时结合无缝连接Matlab的优势，解决了传统数字仿真不能在线调整参数的问题，实现了Matlab/Simulink仿真程序的快速C代码化和仿真实时性。有效提高了有人/无人机编队控制的理论研究水平和仿真试验水平，为有人/无人机编队协同控制***的研究与发展打下良好的试验平台基础。
本发明基于嵌入式控制器PcDuino设计有人无人编队控制器模块，采用的Linux嵌入式操作***支持多线程任务和应用程序的开发，通过Wifi无线网络技术模拟有人/无人编队间通讯，可扩展性强，通讯拓扑结构易重构，本发明的硬件平台支持后期开发各种应用程序。
本发明基于头显Htc Vive设计有人/无人编队虚拟现实体验环境模块，基于Unity构建有人/无人编队虚拟现实软件，实现对于有人/无人编队仿真的虚拟现实体验。
本发明基于Neuracle脑控设备设计有人/无人编队脑控仿真实验模块，根据脑控设备采集的脑信号，将其转化为相应的控制指令。模拟有人机控制指令，进行“人在回路”仿真。
本发明功能与特点如下：
(1)仿真平台支持基于Simulink Real Time的实时仿真功能，即在给定有人/无人编队的期望轨迹、姿态参数，动力配置的情况下，能够计算出任意仿真时刻的有人/无人机编队和姿态数据。
(2)仿真***结构支持有人/无人机集群编队控制算法的仿真验证，该发明设计了飞行控制器模块结构，支持将研究的Simulink模型编译为C代码进行实时仿真验证。
(3)仿真平台支持基于虚拟现实VR技术的有人/无人编队可视化仿真，VR头显提供沉浸式体验环境，实验员通过人机交互装置模拟有人机操作员发出操作指令，直观查看仿真过程中有人/无人编队的飞行视景演示效果。
(4)仿真平台支持基于脑电设备的有人机与无人机的协同仿真，利用脑电设备将脑信号转化为计算机可以识别的电信号，从而模拟有人机控制指令，并通过交互设备模拟有人机操作，实现“人在回路”仿真。
本发明的仿真平台，可以提高仿真的真实性和可信度，通过实时仿真和控制器的软硬件结合，增强了***控制策略的实时性和可移植性，为有人/无人机集群编队控制***开发节约了成本，也为国内有人/无人编队控制***的产业化奠定了基础。
有人/无人机编队仿真与验证平台，硬件包括实时仿真模块、飞控模块、VR模块、平台管理模块、脑控模块、大屏幕显示模块。软件设计主要包括平台管理软件和视景VR仿真软件。
本发明硬件设计方案如下：
本发明基于Simulink Real Time实时仿真技术进行开发，Simulink Real Time实时仿真目标机主要负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存，便于后期分析处理。每台Simulink Real Time目标机+嵌入式控制器代表一台无人机，目标机运行无人机simulink模型。嵌入式控制器无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路。脑电设备+人机交互装置模拟有人机。脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作。仿真平台管理计算机接收这两个控制信号并将有人机指令发送给无人机。视景计算机接收仿真产生的位置、姿态角等信息，在大屏幕显示***上进行实时视景演示。
平台管理软件运行在平台管理计算机上，包含数字仿真模块、实时仿真模块、数据管理模块和网络通信模块，技术方案如下：
(1)数字仿真模块：建立Matlab/Simulink环境下可复用的数字仿真回路，并基于模块化的思想将数字仿真回路分为有人/无人机模型库、编队队形库、任务分配方法库、轨迹优化方法库和编队控制方法库五个模块，内置丰富的机体模型、编队队形和编队方法。其中，有人无人机模型库提供了诸如四旋翼、六旋翼等飞机模型，编队队形库提供了诸如攻击队形、侦查队形、巡航队形等队形数据、任务分配方法库提供了诸如群算法、市场类算法、聚类算法等动态和静态任务分配算法，轨迹优化方法库提供诸如自适应遗传算法、改进粒子群算法等轨迹优化方法。编队控制方法库提供PID，滑模、反步等编队控制方法。在一个可复用的数字回路中，在不同的库中选择不同的模型、编队队形、任务分配方法、轨迹优化方法以及控制算法，生成数字仿真dlm文件。在进行回路模块化设计的过程中，统一模块之间进行交互的I/O接口，使其具有通用性，为后续开发和扩展提供方便。
(2)实时仿真模块：基于Simulink Real Time函数库解析上述模块构成的数字仿真模型，实现仿真数据监控，并开发模型连接、程序下载、开始仿真、结束仿真等功能模块，管理集群编队实时仿真全过程；实时仿真数据显示则基于Teechart控件开发曲线绘制子模块，实现对于有人/无人机编队实时位置信息、姿态角、速度等关键数据的显示。
(3)数据管理模块：基于Mysql数据库提供的API，开发数据管理子模块，实现对1组有人/无人机编队实时仿真数据的管理功能，包含数据存储、数据修改、数据删除、数据对比、数据导出等功能模块，充分利用仿真过程产生的数据。
(4)网络通信模块：基于UDP协议开发网络通信模块，利用其资源消耗小、处理速度快的优点，将有人/无人机编队的实时仿真数据传输给视景演示软件，驱动视景演示软件进行动态显示。
(5)脑机接口模块：包含信号采集子模块和信号转换子模块。基于Neuracle脑电采集***，采集用户脑电信号。基于NeuroCube单元，采用Neuracle配套软件开发，转换为相应有人机控制指令，实时发送给无人机控制器，完成基于脑控的有人/无人机集群虚拟飞行验证。
(6)人机交互模块：包含手势识别子模块。于Orion手势识别技术，识别操作者动作，并将其转化为相应的有人机控制指令，控制无人机编队飞行，进行有人/无人协同飞行仿真验证，实现“人在回路”仿真。
视景演示软件运行在视景计算机中：设计三维虚拟场景模块、人机交互模块、网络通信模块和脑电设备模块，技术方案如下：
(1)三维虚拟场景模块：包含VR模型、场景、特效的设计与实现。通过SketchUp、3Dmax建模，建立包含多种固定翼、旋翼的有人/无人机模型库，及山地、平原、森林等多种环境下的陆地场景库，并将其导入Unity引擎建立应用程序资源组。基于Physics物理引擎实现集群编队对军事目标打击时产生的***、碎片特效。基于Unity跨平台发布的功能，将虚拟场景输出至VR头显设备中显示。
(2)人机交互模块：包含手势识别子模块、GUI界面子模块、头部追踪子模块。基于Orion手势识别技术，实现用户通过手势在VR视景演示中，与程序进行交互的功能。基于Hovercast三维图形界面库设计VR场景中的GUI界面，实现用户对仿真信息的查看、沙盘演示、场景配置等功能；基于OpenVR头部追踪组件，实现VR视角切换功能。
(3)网络通信模块：基于UDP协议开发网络通信模块，接收编队的实时仿真数据，驱动虚拟场景中有人/无人机的运动，演示有人/无人编队队形生成和保持的过程。
结合附图对本发明作进一步详述。
参见图1，为有人/无人机控制方法仿真与验证平台的硬件结构图，主要包括：运行有平台管理软件的仿***控机，负责实时仿真的Simulink Real Time实时仿真计算机，以及实现编队控制的嵌入式控制器、负责视景演示的视景计算机、提供人机交互功能的感知元件、采集脑电信号的脑控设备等。
仿***控机：运行仿真平台管理软件，负责将编队构型控制软件、Matlab/Simulink有人/无人机仿真模型，数据通讯模型等下载到Simulink Real Time实时仿真计算机中，形成分布式结构的有人/无人机编队控制实时仿真环境，同时实现编队飞行控制***的仿真进程监控和数据库管理等功能。
Simulink Real Time实时仿真计算机：基于DOS环境，构建实时仿真环境，用以模拟有人/无人机编队模型。仿真机上运行控制模型，将模型信息发送给各编队控制器，同时，控制器将计算后的信息发送给实时仿真计算机，两者构成有人/无人机控制闭环。
嵌入式控制器：基于Linux嵌入式操作***，运行有人/无人机位置与姿态控制模块，实现有人/无人机编队控制，通过无线Wifi通讯模块接收编队控制指令，计算出控制信号，并通过串口传递给对应的仿真从机，实现有人/无人机编队控制回路。
视景仿真计算机：基于Windows嵌入式操作***，运行有人/无人机编队视景软件，并将视频信号投放到大屏幕及VR头显上，实时显示有人/无人编队飞行状态。
VR头显：基于Htc Vive，接收有人/无人编队飞行视频信号，提供观察者沉浸式体验效果。
交互设备：基于捕捉设备Leap Motion进行手势捕捉，采集人的动作信息，将其转化为有人机操作指令进行虚拟有人/无人机编队仿真交互。
脑电设备：包含信号采集子模块和信号转换子模块。基于neuracle脑电采集***，采集用户脑电信号。基于NeuroCube单元，采用neuracle配套软件开发，转换为相应控制指令，指挥无人机，完成有人/无人编队虚拟仿真。
参见图2，为基于脑电设备的有人机与无人机的协同仿真方法流程图，通过主控平台启动仿真进程，提供编队任务的初始化条件，构建主从结构的实时仿真环境；仿***控机运行主控软件，脑电设备采集模拟的有人机指令通过无线通讯方式发送控制指令到控制器，控制器经过仿真计算通过串口发送控制信号给仿真从机，仿真目标机模拟有人/无人机动力学模型和环境模型，提供有人/无人机的状态信息，与无人机控制器形成控制闭环。仿真数据回传到主控平台上，通过数据库，进行统一的管理和分析。主控计算机将仿真位置姿态角信息发送给视景VR平台，进行可视化仿真。
参见图3，为平台管理软件结构示意图，平台管理软件的功能是实现有人/无人机编队控制***从控制器方案设计到离线仿真、实时仿真，最后进行仿真分析的全过程。仿真平台技术层采用多种技术支撑仿真功能的实现，利用多线程Matlab引擎技术实现对基于Matlab/Simulink开发的仿真模型以及编队控制软件的支持，同时允许预先进行离线仿真。利用Matlab针对Simulink Real Time target提供的RTI驱动程序完成仿真程序向C语言代码的自动转换，实现实时代码的下载。仿真参数解析技术用于获取C代码程序仿真参数变量与Matlab编写的仿真参数的对应关系，从而可以实时监控仿真数据信息。利用数据库技术将离线仿真数据与实时仿真数据均保存到数据库对应的数据表单中。并进行性能评估。
参见图4，为视景演示软件结构图，该软件基于Unity开发，分为三个模块，具体实施方式如下：
三维虚拟场景模块：基于SketchUp、3D max建模与开发资源站Unity AssetStore、Google3D Warehouse等资源，建立丰富的模型库、场景库，并实现多种三维特效。模型库包括多种固定翼/旋翼的有人/无人机、导弹、各种军事打击目标、建筑物等三维模型；陆地场景库包括多种地形，如山地、平原、河流、森林等；基于Unity集成的Physics物理引擎实现对目标进行打击时产生的***、碎片特效，基于粒子***Shuriken实现飞行过程中产生的尾焰、尾迹等特效。
人机交互模块：Leap Motion提供了Unity版本的手势识别软件包Orion，将它集成到视景演示软件中进行二次开发。实现交互功能包括，引导提示功能、图形界面功能、仿真信息查看功能、视角切换功能、沙盘功能、大屏幕多视角分屏显示功能。
网络通信模块：向主控单元发送用户服务请求，接收仿真数据，驱动视景演示程序的运行。基于TCP和UDP协议，设计与主控机平台管理软件之间的应用层通信协议。基于.NET版本的Socket套接字API，开发客户端通信程序，实现对发送数据包的打包和对接收数据包的解包工作。
参见图5，为Simulink Real Time主控平台编程流程图，利用Matlab提供的Simulink Real Time API函数库编程实现对Simulink Real Time目标机的控制功能。首先，需要用应用程序注册函数对Simulink Real Time应用程序进行注册，建立主控平台与Simulink Real Time仿真机的通讯连接；然后，将基于Matlab开发的编队控制软件以及有人/无人机仿真模型加载到相应的Simulink Real Time仿真机中；启动实时仿真，仿真过程中可以进行仿真监控和在线调参功能；判断仿真是否结束，如果没有则进入仿真监控循环，如果仿真结束则断开宿主机与目标机的连接，完成本次仿真过程。仿真完成后，将获得的实时仿真数据保存到数据库中，供后期分析处理。
参见图6，为Simulink Real Time target串口通信流程图，Simulink Real Time仿真模型的串口通讯是通过Matlab\Simulink提供的带有FIFO缓冲区的串口通信模块、按数据字头读取串口数据模块、打包数据帧模块，解包数据帧模块组成。通过判断中断类型，是否有新数据，进入写入缓冲区；通过数据预设的字头查找，判断是否为需要数据，如果满足要求，则输出数据，否则继续检索数据字头。
Claims (3)
1.一种基于脑电的有人/无人机集群编队VR仿真***，其特征是，实时仿真SimulinkReal Time目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink Real Time目标机+嵌入式控制器代表一台无人机，目标机运行无人机数字仿真simulink模型；嵌入式控制器运行无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路；脑电设备+人机交互装置模拟有人机，脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作；仿真平台管理计算机接收这两个控制信号并将有人机指令发送给操控无人机；视景计算机接收仿真产生的位置、姿态角信息，在大屏幕显示***上进行实时视景演示；其中，平台管理软件运行在平台管理计算机上，包含数字仿真模块、实时仿真模块、数据管理模块、网络通信模块、脑机接口模块和人机交互模块，具体如下：
(1)数字仿真模块：建立仿真软件Matlab/Simulink环境下可复用的数字仿真回路，并基于模块化的思想将数字仿真回路分为有人/无人机模型库、编队队形库、任务分配方法库、轨迹优化方法库和编队控制方法库五个模块，其中，有人/无人机模型库提供了包括四旋翼、六旋翼飞机模型，编队队形库提供了包括攻击队形数据、侦查队形数据、巡航队形数据、任务分配方法库提供了包括群算法、市场类算法、聚类算法的动态和静态任务分配算法；轨迹优化方法库提供包括自适应遗传算法、改进粒子群算法的轨迹优化方法；编队控制方法库提供包括PID，滑模、反步的编队控制方法，在一个可复用的数字回路中，在不同的库中选择不同的模型、编队队形、任务分配方法、轨迹优化方法以及控制算法，生成数字仿真dlm文件；在进行回路模块化设计的过程中，统一模块之间进行交互的I/O接口，使其具有通用性，为后续开发和扩展提供方便；
(2)实时仿真模块：基于Simulink Real Time函数库解析上述五个模块构成的数字仿真模型，实现仿真数据监控，并开发模型连接、程序下载、开始仿真、结束仿真功能模块，管理集群编队实时仿真全过程；实时仿真数据显示则基于绘图控件Teechart开发曲线绘制子模块，实现对于有人/无人机编队实时位置信息、姿态角、速度的关键数据的显示；
(3)数据管理模块：基于数据库Mysql提供的函数开发包API，开发数据管理子模块，实现对1组有人/无人机编队实时仿真数据的管理功能，包含数据存储、数据修改、数据删除、数据对比、数据导出功能模块，充分利用仿真过程产生的数据；
(4)网络通信模块：基于用户数据报协议UDP开发网络通信模块，将有人/无人机编队的实时仿真数据传输给视景演示软件，驱动视景演示软件进行动态显示；
(5)脑机接口模块：包含信号采集子模块和信号转换子模块，基于脑电采集***Neuracle采集用户脑电信号，基于脑电设备配套软件开发单元NeuroCube单元，采用Neuracle配套软件开发，转换为相应有人机控制指令，实时发送给无人机控制器，完成基于脑控的有人/无人机集群虚拟飞行验证；
(6)人机交互模块：包含手势识别子模块，基于手势识别技术Orion，识别操作者动作，并将其转化为相应的有人机控制指令，控制无人机编队飞行，进行有人/无人协同飞行仿真验证，实现“人在回路”仿真。
2.如权利要求1所述的基于脑电的有人/无人机集群编队VR仿真***，其特征是，视景演示软件运行在视景计算机中：设计三维虚拟场景模块、人机交互模块和网络通信模块，具体如下：
(1)三维虚拟场景模块：包含VR模型、场景、特效的设计与实现，通过三维建模软件SketchUp、3D max建模，建立包含多种固定翼、旋翼的有人/无人机模型库，及山地、平原、森林环境下的陆地场景库，并将其导入图形开发引擎Unity建立应用程序资源组，基于物理引擎Physics实现集群编队对军事目标打击时产生的***、碎片特效，基于Unity跨平台发布的功能，将虚拟场景输出至VR头显设备中显示；
(2)人机交互模块：包含手势识别子模块、用户图形界面GUI子模块、头部追踪子模块，基于Orion手势识别技术，实现用户通过手势在VR视景演示中，与程序进行交互的功能，基于三维图形界面库Hovercast设计VR场景中的GUI界面，实现用户对仿真信息的查看、沙盘演示、场景配置；基于头部追踪组件OpenVR实现VR视角切换功能；
(3)网络通信模块：基于UDP协议开发网络通信模块，接收编队的实时仿真数据，驱动虚拟场景中有人/无人机的运动，演示有人/无人编队队形生成和保持的过程。
3.一种基于脑电的有人/无人机集群编队VR仿真方法，其特征是，利用Simulink RealTime目标机负责Matlab仿真程序的实时仿真功能，通过以太网与仿真平台管理计算机连接，仿真平台管理计算机将MATLAB程序下载到目标机中，目标机运行MATLAB程序，并将仿真结果实时发送给仿真平台管理计算机，并在该计算机上进行显示和数据保存；每台Simulink Real Time目标机+嵌入式控制器代表一台无人机，目标机运行无人机simulink模型；嵌入式控制器运行无人机控制算法，计算出控制信号，并通过串口传递给目标机，实现无人机控制回路；脑电设备+人机交互装置模拟有人机，脑电装置采集实验员脑信号，转化为相应的编队控制指令，模拟有人机飞行员操作，人机交互手柄接收人的手势动作，模拟飞行员的对有人机的操作；仿真平台管理计算机接收这两个控制信号并将有人机指令发送给操控无人机；视景计算机接收仿真产生的位置、姿态角信息，在大屏幕显示***上进行实时视景演示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710799662.3A CN107643695B (zh) | 2017-09-07 | 2017-09-07 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710799662.3A CN107643695B (zh) | 2017-09-07 | 2017-09-07 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107643695A CN107643695A (zh) | 2018-01-30 |
| CN107643695B true CN107643695B (zh) | 2020-11-20 |
Family
ID=61111166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710799662.3A Active CN107643695B (zh) | 2017-09-07 | 2017-09-07 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107643695B (zh) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108845802A (zh) * | 2018-05-15 | 2018-11-20 | 天津大学 | 无人机集群编队交互式仿真验证***及实现方法 |
| CN108829245B (zh) * | 2018-05-30 | 2019-08-23 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制*** |
| CN108983636B (zh) * | 2018-06-20 | 2020-07-17 | 浙江大学 | 人机智能共生平台*** |
| CN108648558B (zh) * | 2018-06-22 | 2020-06-26 | 中国人民解放军国防科技大学 | 一种有人机与无人机协同演练仿真座舱 |
| CN109085766A (zh) * | 2018-08-24 | 2018-12-25 | 赵小川 | 一种多模态无人机人机交互操控半实物仿真***及方法 |
| CN109189094B (zh) * | 2018-09-25 | 2021-08-13 | 中国人民解放军空军工程大学 | 一种多有人机与多无人机混合编队资源调度方法 |
| CN110008630B (zh) * | 2019-04-18 | 2022-07-15 | 哈尔滨工程大学 | 水下无人航行器集群仿真平台 |
| CN114840022A (zh) * | 2019-05-30 | 2022-08-02 | 中国人民解放军国防科技大学 | 一种基于mas的多无人***监督控制方法 |
| CN110377049B (zh) * | 2019-06-29 | 2022-05-17 | 天津大学 | 基于脑-机接口的无人机集群编队队形重构控制方法 |
| WO2021035691A1 (zh) * | 2019-08-30 | 2021-03-04 | 深圳市大疆创新科技有限公司 | 无人机的仿真方法、仿真装置和计算机可读存储介质 |
| CN110764433A (zh) * | 2019-10-16 | 2020-02-07 | 中山大学 | 一种基于v-rep平台的集群无人机***并行仿真方法 |
| CN111010436B (zh) * | 2019-12-11 | 2022-05-17 | 北京工业大学 | 一种用于无人机群***的数据传输*** |
| CN111474956B (zh) * | 2020-04-22 | 2022-08-23 | 中国电子科技集团公司第二十八研究所 | 一种基于仿真平台和监控平台的无人机电子侦查目标的模拟方法 |
| CN111522256A (zh) * | 2020-05-07 | 2020-08-11 | 北京神舟航天软件技术有限公司 | 一种基于Docker的分布式无人机集群仿真方法 |
| CN112394649B (zh) * | 2020-11-17 | 2022-08-30 | 中国人民解放军63892部队 | 一种基于分时复用的群无人机内通信行为控制平台 |
| CN112506076B (zh) * | 2020-12-04 | 2023-03-28 | 杭州电子科技大学 | 基于飞行任务的无人机集群三维空间仿真器构建方法 |
| CN112631173B (zh) * | 2020-12-11 | 2022-08-23 | 中国人民解放军国防科技大学 | 脑控无人平台协同控制*** |
| CN112596799A (zh) * | 2020-12-25 | 2021-04-02 | 中电科芜湖通用航空产业技术研究院有限公司 | 一种可扩展通用型机载任务管理*** |
| CN112597594B (zh) * | 2020-12-28 | 2024-04-26 | 中国人民解放军军事科学院国防科技创新研究院 | 一种虚拟环境下无人机群真实位置验证***及方法 |
| CN112987794A (zh) * | 2021-04-21 | 2021-06-18 | 南京南机智农农机科技研究院有限公司 | 一种飞行集群模拟器 |
| CN113312765A (zh) * | 2021-05-21 | 2021-08-27 | 中国海洋大学 | 一种目标-海洋环境-声纳耦合特性综合仿真***及方法 |
| CN113589706A (zh) * | 2021-08-02 | 2021-11-02 | 天津大学 | 直升机后缘襟翼控制虚拟仿真方法 |
| CN114063474B (zh) * | 2021-12-03 | 2023-06-06 | 北京航空航天大学 | 一种基于无人机集群的半物理仿真***的仿真方法 |
| CN114578712B (zh) * | 2022-03-08 | 2023-09-26 | 北京航空航天大学 | 多功能水下自主航行器集群仿真*** |
| CN115237000B (zh) * | 2022-06-23 | 2023-08-04 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种有无人机编队协同对抗仿真试验平台及试验方法 |
| CN116027809B (zh) * | 2023-02-07 | 2023-07-18 | 中国矿业大学 | 一种DoS攻击下的多四旋翼无人机编队控制方法 |
| CN118194579A (zh) * | 2023-08-28 | 2024-06-14 | 中国民航管理干部学院 | 一种用于民用无人驾驶空中交通服务算法的评估方法 |
| CN117075496A (zh) * | 2023-09-18 | 2023-11-17 | 广东昊一航空科技有限公司 | 一种无人机方阵运行仿真*** |
| CN117075638B (zh) * | 2023-09-26 | 2024-02-06 | 南京航空航天大学 | 一种针对DoS网络攻击的集群无人机协同韧性控制方法 |
| CN116996927A (zh) * | 2023-09-28 | 2023-11-03 | 四川九洲软件有限公司 | 一种机载通信侦察演示方法及*** |
| CN117270574B (zh) * | 2023-11-20 | 2024-01-26 | 中国空气动力研究与发展中心计算空气动力研究所 | 基于虚拟目标的固定翼无人机飞行编队试验方法 |
| CN118034628B (zh) * | 2024-04-09 | 2024-06-18 | 西安中科天塔科技股份有限公司 | 一种基于航天器仿真的分屏显示方法和*** |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102508439A (zh) * | 2011-11-18 | 2012-06-20 | 天津大学 | 基于hla的多无人机分布式仿真方法 |
| CN103093047A (zh) * | 2013-01-12 | 2013-05-08 | 天津大学 | 典型飞行器视景仿真*** |
| CN103246204A (zh) * | 2013-05-02 | 2013-08-14 | 天津大学 | 多无人机***仿真与验证方法与装置 |
| CN103699106A (zh) * | 2013-12-30 | 2014-04-02 | 合肥工业大学 | 基于VR-Forces仿真平台的多无人机协同任务规划仿真*** |
| CN104615010A (zh) * | 2014-12-26 | 2015-05-13 | 成都飞机工业（集团）有限责任公司 | 基于网络通信的FlightGear和VC混合***开发方法 |
| CN106200679A (zh) * | 2016-09-21 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| US9721478B2 (en) * | 2009-12-01 | 2017-08-01 | The Boeing Company | Integrated live and simulation environment system for an aircraft |
| CN107065909A (zh) * | 2017-04-18 | 2017-08-18 | 南京邮电大学 | 一种基于bci的飞行器控制*** |
-
2017
- 2017-09-07 CN CN201710799662.3A patent/CN107643695B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9721478B2 (en) * | 2009-12-01 | 2017-08-01 | The Boeing Company | Integrated live and simulation environment system for an aircraft |
| CN102508439A (zh) * | 2011-11-18 | 2012-06-20 | 天津大学 | 基于hla的多无人机分布式仿真方法 |
| CN103093047A (zh) * | 2013-01-12 | 2013-05-08 | 天津大学 | 典型飞行器视景仿真*** |
| CN103246204A (zh) * | 2013-05-02 | 2013-08-14 | 天津大学 | 多无人机***仿真与验证方法与装置 |
| CN103699106A (zh) * | 2013-12-30 | 2014-04-02 | 合肥工业大学 | 基于VR-Forces仿真平台的多无人机协同任务规划仿真*** |
| CN104615010A (zh) * | 2014-12-26 | 2015-05-13 | 成都飞机工业（集团）有限责任公司 | 基于网络通信的FlightGear和VC混合***开发方法 |
| CN106200679A (zh) * | 2016-09-21 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
| CN107065909A (zh) * | 2017-04-18 | 2017-08-18 | 南京邮电大学 | 一种基于bci的飞行器控制*** |
Non-Patent Citations (1)
| Title |
|---|
| 有人/无人机编队三位可视化***的软件设计与实现;李一波等;《智能***学报》;20160430;第11卷(第2期);第272-278页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107643695A (zh) | 2018-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107643695B (zh) | 基于脑电的有人/无人机集群编队vr仿真方法及*** | |
| CN107479705B (zh) | 一种基于HoloLens的指挥所协同作业电子沙盘*** | |
| CN108845802A (zh) | 无人机集群编队交互式仿真验证***及实现方法 | |
| CN102508439B (zh) | 基于hla的多无人机分布式仿真方法 | |
| CN107132771B (zh) | 一种运载火箭飞行品质高效仿真验证方法 | |
| CN102789171A (zh) | 一种可视化无人机飞行控制半实物仿真测试方法及*** | |
| CN107942720A (zh) | 一种便携式地面在线飞行仿真*** | |
| CN102426424B (zh) | 基于分布式架构的临近空间飞行器视景仿真方法 | |
| CN104007665A (zh) | 一种固液动力飞行器飞行仿真测试*** | |
| CN107102565A (zh) | 无人机集群软件在环仿真*** | |
| CN109858111A (zh) | Rlv虚拟仿真平台设计及实现方法 | |
| CN110764433A (zh) | 一种基于v-rep平台的集群无人机***并行仿真方法 | |
| Jie et al. | Design of multi-mode UAV human-computer interaction system | |
| CN113467275A (zh) | 一种基于实物机载设备的无人机集群飞行仿真*** | |
| CN104091017A (zh) | 基于stk的多实时数据驱动对象通用态势显示***及方法 | |
| CN106772293B (zh) | 一种机载雷达模拟器 | |
| CN116522570A (zh) | 一种智能无人集群***区域覆盖中继通信应用仿真与试验*** | |
| CN114139370A (zh) | 一种光学引擎和电磁成像双模动目标同步仿真方法和*** | |
| Wu et al. | Software design of monitoring and flight simulation for UAV swarms based on OSGEarth | |
| Kim et al. | Collaborative visualization of a warfare simulation using a commercial game engine | |
| CN110705021B (zh) | 一种数据驱动的测试驱动方法 | |
| CN114662213A (zh) | 一种基于模型的可视化导弹突防概率验证方法及装置 | |
| Yili et al. | 3D scene simulation of UAVs formation flight based on FlightGear simulator | |
| Zhao et al. | Research on maintenance guiding system based on augmented reality | |
| Ma et al. | Mission Capability Evaluation Testing System for Unmanned Aerial Vehicle Swarm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |