CN116068928A - 一种分布式异构无人机集群空地一体控制***及方法 - Google Patents

Abstract

本发明提供一种分布式异构无人机集群的控制***及方法，涉及无人机控制技术领域，以提升无人机集群在复杂环境中的智能感知能力。该***包括：蜂群控制器，用于根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；信息处理板，用于接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，以控制本机自主配合集群中其它无人机完成飞行任务。分布式异构无人机集群的控制***应用于分布式异构无人机集群的控制方法。

Description

一种分布式异构无人机集群空地一体控制***及方法

技术领域

本发明涉及无人机控制技术领域，尤其涉及一种分布式异构无人机集群空地一体控制***及方法。

背景技术

随着科技的不断发展和军事理论的不断完善，无人机已经逐渐成为现代战场必不可少的装备之一。21世纪的战场环境将具有多维、多模态、一体化的复杂形态，要求侦察情报装备和武器打击装备具备分析和理解复杂战场环境的能力。尽管通过深度学习技术简单地组合制导控制方法可以解决单体无人机的飞行任务，但无人机集群执行飞行任务时仍会面临目标分配、群体决策、航迹规划等一系列协同任务，才能实现集群飞行效能的最大化，而上述任务的完成均需要具有群体一致性的协同探测感知能力。此外，在复杂任务的情况下，单一种类，单一载荷的无人机群体完成任务的能力十分有限，无人机作战的趋势是构型及载荷多样化。

要真正实现集群的完全自主控制还需要解决的关键技术主要包括：环境感知与认识、多机协同任务规划与决策、信息交互与自主控制、人机智能融合与自适应学习技术。除此之外，要让这类无人机集群具备实际使用价值的关键是辅助操控者进行集群操作的地面站软件。专利文献CN107831783A一种支持多无人机自主飞行的地面站控制***，存在以下缺点：(1)缺乏控制异构无人机同时作业的能力；(2)起飞前需要对所有无人机分别进行***参数配置，部署繁琐；(3)任务分配在地面进行集中规划后发送给各无人机，无人机飞行过程中航迹不可修改，不能够根据实际情况对已经下达的任务做出修改；(4)无人机在飞行途中无法根据实际情况的改变进行实时的航迹修正。(5)没有与无人机挂载的探测器或其他载荷进行适配，只能控制无人机群完成飞行任务，无法进行侦察探测等任务；(6)人机交互能力不足，地面站软件只能作为无人机飞行的“遥控器”。

发明内容

为解决上述技术问题，本发明提供一种分布式异构无人机集群空地一体控制***及方法，通过AI识别出吊舱画面中的目标，以提升无人机集群在复杂环境中的智能感知能力，同时接入光学吊舱、飞行控制器、蜂群控制器等机载设备，以实现对分布式异构无人机的协同侦察任务控制。

本发明提供一种分布式异构无人机集群空地一体控制***，该***包括：多个无人机和与多个无人机通信连接的地面站，其中，

所述多个无人机中的每个无人机包括：

蜂群控制器，用于根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；

飞行控制器，用于控制无人机姿态并且调整无人机的速度和飞行方向；

光电吊舱，用于实时拍摄视频帧并进行目标跟踪；

信息处理板，用于接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，以控制本机自主协同配合集群中其它无人机完成飞行任务。

优选地，所述信息处理板包括：数据接入模块，所述数据接入模块用于：

接收飞行控制器的遥测数据，作为飞控信息话题，将所述飞控信息话题发送至地面站节点，以通过地面站对无人机状态信息进行监测；创建无人机节点，基于无人机节点订阅地面站节点发布的任务输入话题，以使集群中所有无人机接收任务输入话题；基于无人机节点建立蜂群控制话题，订阅集群中其它无人机的蜂群控制话题，并将其它无人机的蜂群控制话题发送至蜂群控制器，蜂群控制器根据其它无人机的蜂群控制话题计算本机航迹和加速度信息，以控制本机自主协同配合集群中其它无人机完成飞行任务。

优选地，所述信息处理板包括：

协同控制模块，所述协同控制模块用于：

根据任务输入话题，激活蜂群控制器进行初始航迹计算。

优选地，所述信息处理板包括：机载感知模块，所述机载感知模块用于：

基于人工智能的识别模型及跟踪算法对所述视频帧中目标进行识别与跟踪，并在所述视频帧中叠加识别框以包络住被识别的目标，对被识别的同一目标赋予相同的目标ID，将叠加了识别框和赋予目标ID的视频帧编码后，推流至地面站。

优选地，所述信息处理板包括：人机交互模块，所述人机交互模块用于：

信息处理器将光电吊舱拍摄的连续视频帧中识别出目标，将目标标注并发送至地面站，操作人员在地面站通过点击锁定目标，并对目标进行跟踪，并将锁定位置发送至地面站；或，操作人员在地面站框选出被识别出的目标，并对地面站框选出的目标进行跟踪，并将锁定位置发送至地面站。

优选地，所述多个无人机包括多种构型的无人机，多种构型的无人机之间形成分布式控制结构。

优选地，所述地面站用于：

接收无人机的实时位置和航迹，并显示所有无人机的实时状态信息；

在无人机飞行前进入任务信息输入画面，并在任务信息输入画面中设置任务信息，其中，任务信息包括无人机数量、巡航区域和禁飞区域，通过数据链将任务信息通过信息处理板发送至蜂群控制器，进行任务决策；

在侦查过程中，锁定目标并控制光电吊舱对目标进行跟踪或者取消光电吊舱对目标的跟踪锁定。

与现有技术相比，本发明所提供的一种分布式异构无人机集群空地一体控制***具有如下有益效果：蜂群控制器根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；信息处理板接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，飞行控制器控制无人机姿态并且调整无人机的速度和飞行方向，以控制本机自主协同配合集群中其它无人机完成飞行任务。以实现对分布式异构无人机的协同侦察任务控制。

本发明还提供一种分布式异构无人机集群空地一体控制方法，该方法包括：步骤S1：蜂群控制器根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；步骤S2：信息处理板接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，以控制本机自主配合集群中其它无人机完成飞行任务。

与现有技术相比，本发明提供的一种分布式异构无人机集群空地一体控制方法的有益效果与上述技术方案所述一种分布式异构无人机集群空地一体控制***的有益效果相同，在此不做赘述。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的分布式异构无人机集群空地一体控制***的结构示意图；

图2示出了本发明实施例所提供的分布式异构无人机集群空地一体控制***硬件连接架构图；

图3示出了本发明实施例所提供的自主协同控制示意图；

图4示出了本发明实施例所提供的无人机状态信息收集示意图；

图5示出了本发明实施例所提供的侦查目标锁定示意图；

图6示出了本发明实施例所提供的初始化界面示意图；

图7示出了本发明实施例所提供的地图界面示意图；

图8示出了本发明实施例所提供的禁飞区设置界面示意图；

图9示出了本发明实施例所提供的零点设置界面示意图；

图10示出了本发明实施例所提供的吊舱画面界面示意图；

图11示出了本发明实施例所提供的吊舱识别画面地面测试示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本实施例中提到的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。“示例性的”或者“例如”等词用于表示作例子、例证或说明，旨在以具体方式呈现相关概念，不应被解释为比其他实施例或设计方案更优选或更具优势。

图1示出了本发明实施例所提供的分布式异构无人机集群空地一体控制***的结构示意图，图2示出了本发明实施例所提供的分布式异构无人机集群空地一体控制***硬件连接架构图，图3示出了本发明实施例所提供的分布式异构无人机集群空地一体控制***软件架构图。

如图1-图3所述，本发明实施例提供一种分布式异构无人机集群的空地一体控制***，该***包括：

多个无人机和与多个无人机通信连接的地面站10，其中，

所述多个无人机中的每个无人机包括：

蜂群控制器60，用于根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；

飞行控制器50，用于控制无人机姿态并且调整无人机的速度和飞行方向；

光电吊舱40，用于实时拍摄视频帧并进行目标跟踪；

信息处理板30，用于接收接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器60计算得到的本机航迹和加速度信息并发送至飞行控制器50，以控制本机自主协同配合集群中其它无人机完成飞行任务。

需要说明的是，地面站10可以为便携式计算机，也可以为触屏移动终端。地面站10通过自组网数据链20和网口与机载信息处理板30相连接。集群中的所有信息处理板30与地面站10通过数据链20通信形成无中心的无线域网，进行空地与机间信息交互。应理解，所述多个无人机包括多种构型的无人机，多种构型的无人机之间形成分布式控制结构。具体地，信息处理板30通过视频接口接收光电吊舱的视频数据，应理解，视频接口可以为MIPI。信息处理板30通过串口与光电吊舱进行数据交互，例如CAN。信息处理板30通过串口接受飞行控制器50的遥测信息，例如RS422，并向飞行控制器50发送航点指令及加速度信息控制无人机完成编队飞行及协同探测。信息处理板30通过串口与蜂群控制器60连接，例如RS422，将机间信息、无人机状态信息等必要蜂群控制物理量发送给蜂群控制器60，同时接收蜂群控制器60计算得到本机航迹、加速度消息，将计算得到的本机航迹、加速度消息转发给飞行控制器50控制本机配合集群中的其它无人机完成任务。

进一步地，地面站设备终端内设置有地面站软件，地面站软件基于ROS***使用Qt框架、C++语言建立，具有人机交互图形界面。

具体地，地面站设备终端内设置有地面站软件，用于实现以下功能：

(1)连接功能。建立与地面站的连接，自定义执行任务飞机的数量，建立地面站与机载信息处理板的连接。

(2)在无人机飞行前进入任务信息输入画面，并在任务信息输入画面中设置任务信息，其中，任务信息包括无人机数量、巡航区域和禁飞区域，通过数据链将任务信息通过信息处理板发送至蜂群控制器，进行任务决策。具体地，通过信息处理板的中转与蜂群控制器建立连接，具备控制任务开始、任务结束等使能操作。在无人机起飞前通过地面站的地图界面设置无人机巡航区域、禁飞区域、飞行高度范围等任务诸元，并通过信息处理板转发给蜂群控制器，使其开始任务决策工作。地面站也能够取消当前任务，取消任务的方式为地面站向信息处理板发送一条指令，随后该指令转发给蜂群控制器，使其取消当前任务。取消任务后，无人机将继续保持飞行状态，直至发送新的任务或返航指令。

(3)在无人机飞行进行侦察任务的过程中，接收无人机的实时位置和航迹，地面站地图界面显示所有无人机的实时位置与经过的航迹。此外，在信息栏显示集群中所有无人机的实时状态信息，例如：精度、维度、高度、速度、横滚、偏航、俯仰等。

(4)地面站解码机载信息处理板推送的RTSP视频流，显示光电吊舱拍摄的侦察视频，并叠加信息处理板识别的目标识别框及目标对应ID号。

(5)在侦察过程中，可通过地面站锁定目标并控制光电吊舱对目标进行跟踪。具体地，锁定方式分为框选锁定和点选锁定。框选锁定为操作员在视频界面画取矩形框住目标，光电吊舱对选框内的目标进行锁定跟踪。点选锁定为操作员点击识别目标的ID号，光电吊舱对ID号对应的目标进行锁定跟踪。此外，操作员还可以通过地面站取消光电吊舱对目标的跟踪锁定。

进一步地，信息处理板30，包括：

数据接入模块302，所述数据接入模块302用于：接收飞行控制器50的遥测数据，作为飞控信息话题，将所述飞控信息话题发送至地面站节点，以通过地面站对无人机状态信息进行监测；创建无人机节点，基于无人机节点订阅地面站节点发布的任务输入话题，以使集群中所有无人机接收任务输入话题；基于无人机节点建立蜂群控制话题，订阅集群中其它无人机的蜂群控制话题，并将其它无人机的蜂群控制话题发送至蜂群控制器60，蜂群控制器60根据其它无人机的蜂群控制话题计算本机航迹和加速度信息，以控制本机自主协同配合集群中其它无人机完成飞行任务。

具体地，如图2所示，将飞行控制器50、蜂群控制器60、光学吊舱40等组件产生的数据信息通过串口以指定通讯协议读取，并发布至正确端口，例如图2中与吊舱驱动3023，飞控驱动3022和蜂群控制驱动3021连接的串口，机上设备可读端口中的数据。数据接入模块302也可接入MIPI、SDI等视频输出接口，地区采集设备输入图像，利用伺服控制模块3024中的智能视觉算法对视频中的目标进行识别，随后发布图像话题，并对发布叠加识别结果的视频流。应理解，视觉伺服模块3024使用智能视觉算法实现多目标检测与跟踪功能，待地面站选择目标后控制光学吊舱40锁定目标并让无人机对其进行跟踪。

如图4所示，在飞行过程中，无人机节点发布飞控信息话题，话题里的内容为从飞行控制器中周期性读取的本机飞行遥测信息，该信息以一定的通信协议打包封装成遥测数据包。飞控信息话题被地面站节点订阅，地面站软件获取遥测后，将其解包，获得飞机速度、经纬高、加速度、电量等信息，并根据数据包中包含的无人机ID信息判断数据包来自于哪一架无人机。地面站将飞机的信息显示在对应的显示栏内。同时无人机的经纬度信息被解算为一个二维坐标，在离线地图的对应二维坐标上显示无人机图标，不同的无人机显示的无人机图标颜色不同。以此实现地面站对无人机状态信息的监测，并通过地图观察各无人机的实时位置。

进一步地，如图2所示，信息处理板30包括：

协同控制模块301，所述协同控制模块301用于；根据任务输入话题，激活蜂群控制器进行初始航迹计算。

具体地，如图3所示，以3架无人机为例，地面站软件建立一个地面站节点，该节点发布任务输入话题。当指挥官在地面站上输入飞机数量、任务区域、巡航高度、禁飞区等信息后，这些信息生成一个数据包并加载至任务输入话题。执行任务的所有无人机创建无人机节点，该节点订阅来自地面的任务输入话题，随后将收到的数据包发送给信息处理板与蜂群控制器连接的端口，蜂群控制器通过端口获取任务输入信息。这样的信息传递机制让地面站发布的任务规划信息能够同时被所有的无人机接收，并具备让蜂群控制器开始初始任务规划的使能作用。当蜂群控制器接收到任务规划信息后，开展分布式任务规划计算，将各飞机的初始航迹计算出来。同时，无人机节点发布蜂群控制话题。蜂群控制话题的内容来自于信息处理板与蜂群控制器连接的端口，包含了蜂群控制器产生的任务规划信息。除此之外，蜂群控制话题的内容还包含信息处理板从与飞控连接的端口中读取的本机状态信息。无人机建立的无人机节点订阅集群中其余所有无人机发布的蜂群控制话题，并将话题中的内容通过串口转送给蜂群控制器。这样的信息传递机制能够形成机间状态信息共享网络，蜂群控制器能够根据集群中各飞机的实时状态进行在线分布式计算。任务规划的结果能够让无人机集群根据任务需要完成编队保持、编队变换、智能避障、集散飞行等飞行动作，并生成相应的控制指令或信息飞机航线，通过信息处理板转发给本机飞控，控制飞机进行飞行姿态、方向、速度、高度或航迹的改变。

进一步地，信息处理板30，还包括：机载感知模块303，所述机载感知模块用于：基于人工智能的识别模型及跟踪算法对所述视频帧中目标进行识别与跟踪，并在所述视频帧中叠加识别框以包络住被识别的目标，对被识别的同一目标赋予相同的目标ID，将叠加了识别框和赋予目标ID的视频帧编码后，推流至地面站。

进一步地，信息处理板30，还包括：人机交互模块304，所述人机交互模块304用于负责空地数据通信，通过数据链网口与地面站软件以及集群中其余无人机的交互模块的通信网络。将接收到的地面站指令发布至相应端口，供其它设备或进程调用，并开展相应功能。同时接受其它进程反馈信息，周期性发送至地面站。信息处理器将光电吊舱拍摄的连续视频帧中识别出目标，将目标标注并发送至地面站，操作人员在地面站通过点击锁定目标，并对目标进行跟踪，并将锁定位置发送至地面站；或，操作人员在地面站框选出被识别出的目标，并对地面站框选出的目标进行跟踪，并将锁定位置发送至地面站。

具体地，如图5所示，以单架飞机为例。在天空端，信息处理板建立一个图像发布节点，该节点发布两个图像话题，分别为高分别率图像与压缩图像。光电吊舱拍摄的图像通过图像采集卡采集后，被图像发布节点读取，并发布两种不同分辨率的视频话题。高分辨率图像被存储设备采集储存，作为飞行记录的重要数据。压缩图像进入目标识别节点。目标识别节点运行基于人工智能的目标识别及跟踪算法，对压缩视频中出现的目标，例如不同车辆、人员、自行车等进行识别与跟踪，在视频中叠加识别框包络住被识别的目标，同时赋予被识别到的目标ID号，同一个画面中不同目标的ID号也不相同。完成识别工作后，目标识别节点将叠加了识别框及ID号的视频图像编码后以RTSP流形式通过数据链下传至地面站，同时发布目标信息话题。目标识别节点同时周期性接收光电吊舱的状态信息，发布伺服控制话题，话题内容包含了光电吊舱的状态信息，并包含了识别目标的ID。同时建立地面伺服控制节点，该节点发布伺服控制话题。对光电吊舱伺服***的控制，例如解锁、电锁、伺服转动、伺服归零及伺服状态改变等通过不同的指令完成，在地面站的界面点击某一的功能按钮后，伺服控制节点向伺服控制话题发送相应的指令。

如图5所示，地面站软件同时具有RTSP流解码功能，在地面站界面点击无人机的编号，可以读取该无人机IP地址发送的RTSP流，对其解码后进行实时播放。播放的视频为吊舱拍摄的实时画面，画面中叠加了目标识别框及识别框ID号，同时在视频播放界面的下方出现视频中的ID号，这些ID号可以点击选择。操作人员在监控这些视频的同时，可以对画面中出现的目标进行锁定。锁定的方式有两种，分别为选择锁定和框选锁定。选择锁定是通过点击界面中ID号按钮，对目标进行锁定，当点击ID号按钮后，伺服控制节点将ID号发送之伺服控制话题。框选锁定是通过在视频画面中，框选出矩形区域，对区域中的目标进行锁定，当框选完成后，伺服控制节点计算出框选矩形的中心坐标，即在图像中的相对坐标，并发送给伺服控制话题。目标识别节点会订阅伺服控制话题。若接收到的话题内容为伺服控制指令，则将指令发送至与光电吊舱连接的串口，光电吊舱通过串口接收指令，并完成相应的伺服控制动作。若接收到的话题内容为目标的ID号，则生成一条目标锁定指令，将此时画面中对应ID号的目标位置的中心位置发送至与光电吊舱连接的串口。若接收到的话题内容为矩形框的中心坐标值，则将该坐标转换为与光电吊舱拍摄画面对应的坐标位置，并生成锁定指令，将转换坐标发送至与光电吊舱连接的串口。光电吊舱接收到坐标值后，对坐标值处的目标进行锁定，控制视觉伺服模块3024锁定该目标。同时，飞行控制器与视觉伺服模块3024共同纠正无人机及视觉伺服模块3024的移动及转动，对目标进行跟踪锁定。

作为另一种可能的实施方式，完整的地面站启动、连接无人机、监测侦察画面、锁定目标的流程如下：

步骤1：根据图1所示准备好无人机及相应的器件。拟定好各器件之间数据传输的格式与通信协议。本发明实施示例中，以4台无人机为例，机载信息处理板和地面站计算机环境为Ubuntu 18.04操作***，安装ROS版本为ROS melodic 1.14.10，地面站软件基于Qt5.9.9开发。

步骤2：任务初始化。在如图6所示的界面对应位置填写ROS主节点IP地址、本机IP地址以及执行任务无人机的数量。然后点击连接后会根据对应的无人机数量订阅对应数量的飞机数据。

步骤3：无人机状态显示。如图7所示。该界面处显示一个在线地图，地图左侧存在着四个框，可以一次查看四台无人机的遥测信息，如果飞机数量大于了四架，则可以通过框上的下拉框进行无人机的切换查看其他无人机数据。中间地图可以进行放大缩小拖动功能，同时会在启动时根据自己当前的电脑IP地址进行定位。

步骤4：任务区域设置。点击图7中的任务区域设置按钮，进入任务区域设置界面，如图8所示。当鼠标在滑动时，左下角会实时显示经纬度；然后当点击右边目标区域设置按钮后，在地图上点击一个点后，该按钮下方会显示对角1的经纬度(即点击点)，同时鼠标在地图上滑动下方的长宽面积数据也会进行相应的变化，再次点击后，对角2会显示你第二次点击的经纬度，长宽面积也会固定；点击禁飞区域设置后，可以通过在地图上点击生成红色的圆，可以在圆框上的白色小方块进行拖动改变圆的半径，拖动过程可以通过查看按钮下方的半径进行数据的确认；点击重新部署会将地图上的禁飞区域和目标区域在地图上清空；点击确认后任务决策界面会关闭然后在点击图7界面中的蜂群控制器接管按钮会进行任务决策中的数据进行上传。

步骤5：零点设置。在图8界面点击零点设置后可设置此次飞行任务的相对零点位置，如图9所示，在地图中移动鼠标会导致零点设置界面中经纬度的变化，变化的数值为当前鼠标所指的经纬度，点击地图上的某一点后，该点的坐标被锁定。点击确定后被锁定的坐标值被确定为零点。

步骤6：目标检测及锁定。点击图6中的吊舱画面界面按钮，出现如图10所示的界面。右下角IP设置按钮需要设置无人机的IP地址。在红色框中会显示RTSP推流的导引头画面，通过右上角画面切换按钮切换其它无人机导引头画面。通过下方的播放和暂停图标进行播放和暂停。通过右边的伺服控制按钮进行吊舱伺服的手动控制，右下角电解锁及电锁控制伺服的解锁与锁定。画面中识别到的目标上方的ID号也会显示下方目标ID中。右下角吊舱状态显示栏显示吊舱及伺服信息。点击人工框选后，可以在画面中进行框选，框选完成后可将框选目标的位置信息发送给信息处理器，对目标进行锁定跟踪。目标识别情况如图11所示。

与现有技术相比，本发明实施例所提供的一种分布式异构无人机集群空地一体控制***具有如下有益效果：

(1)基于ROS开发，形成了空地一体，软件***的部分功能可以移植到空中，减轻了地面站计算机的计算负荷；

(2)基于ROS和信息处理板的软硬件架构使得分布式异构无人机集群空地一体控制***能够适配于任何可搭载信息处理板的无人设备，用不同构型的无人设备搭载信息处理板后可进行异构协同控制，可同时控制多个无人机进行集群侦察任务。

(3)不需要对单个无人机进行参数设置，采用基于全局的任务部署方式，任务的分解由无人机自主完成，简化了部署过程。

(4)采用分布式的任务规划方式，在任务执行过程中，地面站可更改任务，无人机快速响应，执行新的任务。

(5)无人机具有自主实时任务规划的能力，可以在飞行过程中根据实际情况进行航迹的修正。在执行侦察任务时，可对目标进行合理分配，让不同的无人机对不同的目标进行跟踪锁定。

(6)开创性的实现多架无人机侦察画面回传切换，使得操作人员在控制无人机的同时，能够看到所有无人机的回传画面，既能对任务区域的情况进行全局监测，又节省了数据链带宽。

(7)具备丰富的人机交互过程，可通过地面站并基于人工智能的算法完成对侦察目标的选择和锁定，由人在回路的方式进行确认打击。此外还能够在人工智能未识别到目标的情况下对特定目标进行框选，既利用了人工智能的快速自动识别的便捷性、和通用性，又通过人在回路提高识别准确性。

本发明实施例提供一种分布式异构无人机集群空地一体控制方法，该方法包括：

步骤S1：蜂群控制器根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；

步骤S2：信息处理板接收接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，以控制本机自主配合集群中其它无人机完成飞行任务。

与现有技术相比，本发明实施例提供的一种分布式异构无人机集群空地一体控制方法的有益效果与上述技术方案所述一种分布式异构无人机集群空地一体控制***的有益效果相同，在此不做赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种分布式异构无人机集群空地一体控制***，

其特征在于，包括：多个无人机和与多个无人机通信连接的地面站，其中，所述多个无人机中的每个无人机包括：

蜂群控制器，用于根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；

飞行控制器，用于控制无人机姿态并且调整无人机的速度和飞行方向；

光电吊舱，用于实时拍摄视频帧并进行目标跟踪；

信息处理板，用于接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，以控制本机自主配合集群中其它无人机完成飞行任务。

2.根据权利要求1所述的一种分布式异构无人机集群空地一体控制***，其特征在于，所述信息处理板包括：

数据接入模块，所述数据接入模块用于：

接收飞行控制器的遥测数据，作为飞控信息话题，将所述飞控信息话题发送至地面站节点，以通过地面站对无人机状态信息进行监测；

创建无人机节点，基于无人机节点订阅地面站节点发布的任务输入话题，以使集群中所有无人机接收任务输入话题；

基于无人机节点建立蜂群控制话题，订阅集群中其它无人机的蜂群控制话题，并将其它无人机的蜂群控制话题发送至蜂群控制器，蜂群控制器根据其它无人机的蜂群控制话题计算本机航迹和加速度信息，以控制本机自主协同配合集群中其它无人机完成飞行任务。

3.根据权利要求2所述的一种分布式异构无人机集群空地一体控制***，其特征在于，所述信息处理板包括：

协同控制模块，所述协同控制模块用于：根据任务输入话题，激活蜂群控制器进行初始航迹计算。

4.根据权利要求2所述的一种分布式异构无人机集群空地一体控制***，其特征在于，所述信息处理板包括：

机载感知模块，所述机载感知模块用于：

基于人工智能的识别模型及跟踪算法对所述视频帧中目标进行识别与跟踪，并在所述视频帧中叠加识别框以包络住被识别的目标，对被识别的同一目标赋予相同的目标ID，将叠加了识别框和赋予目标ID的视频帧编码后，推流至地面站。

5.根据权利要求2所述的一种分布式异构无人机集群空地一体控制***，其特征在于，所述信息处理板包括：

人机交互模块，所述人机交互模块用于：

信息处理器将光电吊舱拍摄的连续视频帧中识别出目标，将目标标注并发送至地面站，操作人员在地面站通过点击锁定目标，并对目标进行跟踪，并将锁定位置发送至地面站，或，操作人员在地面站框选出被识别出的目标，并对地面站框选出的目标进行跟踪，并将锁定位置发送至地面站。

6.根据权利要求1所述的一种分布式异构无人机集群空地一体控制***，其特征在于，

所述多个无人机包括多种构型的无人机，多种构型的无人机之间形成分布式控制结构。

7.根据权利要求2所述的一种分布式异构无人机集群空地一体控制***，其特征在于，所述地面站用于：

接收无人机的实时位置和航迹，并显示所有无人机的实时状态信息；

在无人机飞行前进入任务信息输入画面，并在任务信息输入画面中设置任务信息，其中，任务信息包括无人机数量、巡航区域和禁飞区域，通过数据链将任务信息通过信息处理板发送至蜂群控制器，进行任务决策；

在侦查过程中，锁定目标并控制光电吊舱对目标进行跟踪或者取消光电吊舱对目标的跟踪锁定。

8.一种分布式异构无人机集群空地一体控制方法，其特征在于，包括：

步骤S1：蜂群控制器根据无人机集群中其它无人机的状态信息计算本机航迹和加速度信息，并将本机航迹和加速度信息发送至信息处理板；

步骤S2：信息处理板接收光学吊舱和光学类载荷的视频帧以及探测类载荷的探测数据，利用人工智能算法在视频帧中识别出目标，并将视频帧发送至地面站；接收蜂群控制器计算得到的本机航迹和加速度信息并发送至飞行控制器，以控制本机自主配合集群中其它无人机完成飞行任务。

Images