CN109669477A - 一种面向无人机集群的协同控制***及控制方法 - Google Patents
一种面向无人机集群的协同控制***及控制方法 Download PDFInfo
- Publication number
- CN109669477A CN109669477A CN201910087121.7A CN201910087121A CN109669477A CN 109669477 A CN109669477 A CN 109669477A CN 201910087121 A CN201910087121 A CN 201910087121A CN 109669477 A CN109669477 A CN 109669477A
- Authority
- CN
- China
- Prior art keywords
- unmanned plane
- module
- cluster
- plane cluster
- earth station
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000003993 interaction Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000013461 design Methods 0.000 claims abstract description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 7
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000011217 control strategy Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000002688 persistence Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims 2
- 238000000465 moulding Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000007654 immersion Methods 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002674 ointment Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种面向无人机集群的协同控制***，包括无人机集群和地面站；无人机集群是由多架异构无人机组成的集群；地面站包括硬件部分和软件部分；硬件部分包括AR人机交互模块、数据处理模块、无线传输模块；数据处理模块分别与AR人机交互模块、无线传输模块连接；其中，AR人机交互模块用于人机交互；数据处理模块用于数据处理；无线传输模块用于地面站与无人机集群之间的数据传输；软件部分采用模块化设计，并为各个功能模块提供统一的通信方式和监测管理服务；本发明地面站***增加AR人机交互功能，通过叠加在真实环境中的虚拟场景给无人机集群下达飞行任务，给用户提供自然友好、具有沉浸感的操作体验。
Description
技术领域
本发明涉及无人机技术的研究领域，特别涉及一种面向无人机集群的协同控制***及控制方法。
背景技术
近年来，无人机得到了广泛的应用，在航拍、农业植保、快递运输、灾难救援、地理测绘、资源勘探、电力巡检、军事作战等各个领域都发挥了作用。由于单个无人机的作业能力有限，人们已经不再局限于使用单一的无人机，而是开始关注于无人机集群的协同应用。地面站是整个无人机***的指挥控制中心，能对无人机的飞行状态进行监控，控制无人机完成飞行作业任务。与无人机集群相对应，地面站也从“一站一机”的形式向着“一站多机”的方向发展。
但是，现有技术中也存在着一些问题。第一，人机交互方式单一。现有的地面站***通常只为用户提供图形用户界面的操作方式，用户操作起来不够灵活和便捷，操作体验不够好。第二，地面站与无人机集群之间的时间不一致问题。时间同步可以保证地面站与无人机集群的全局时间一致性，给无人机集群的协同控制提供时间基准。缺少这个时间基准，无人机集群就无法相互协调、协同作业。而采用GPS(Global Positioning System，全球定位***)来为无人机集群提供统一的时间，会存在抗屏蔽性差、安全性低、易受到磁场和气候等影响的问题。第三，支持无人机集群协同作业的能力较差。现有的地面站一般是对无人机的飞控进行直接的控制，在无人机集群的自主飞行、实时任务分配、协同控制以及智能化数据决策方面缺少较好的支持。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种面向无人机集群的协同控制***。
本发明的另一目的在于提供一种面向无人机集群的协同控制方法。
本发明的主要目的通过以下的技术方案实现：
一种面向无人机集群的协同控制***，包括无人机集群和地面站；所述无人机集群是由多架异构无人机组成的集群；所述地面站包括硬件部分和软件部分；
所述硬件部分包括AR人机交互模块、数据处理模块、无线传输模块；所述数据处理模块分别与AR人机交互模块、无线传输模块连接；其中，所述AR人机交互模块用于人机交互；所述数据处理模块用于数据处理；所述无线传输模块用于地面站与无人机集群之间的数据传输；
所述软件部分采用模块化设计，并为各个功能模块提供统一的通信方式和监测管理服务，其中功能模块包括：图形用户界面模块、人机交互代理模块、时间同步模块、集群通信模块、数据存储模块、智能数据分析模块、任务规划模块、群体智能模块、编队控制模块。
进一步地，所述AR人机交互模块为：AR人机交互设备，为用户提供基于AR的多模态人机交互方式，通过语音、视觉、动作、真实环境等与虚拟场景的结合给用户提供一种自然友好、沉浸式的体验。
进一步地，所述数据处理模块为便携式计算机。
进一步地，所述软件部分通过软件总线为各个功能模块提供统一的通信方式和监测管理服务。
本发明的另一目的通过以下技术方案实现：
一种面向无人机集群的协同控制方法，其特征在于，包括以下步骤：
S1、地面站与无人机建立通信连接，并获取无人机信息和状态；
S2、用户通过地面站指派无人机集群及下达飞行任务；
S3、对飞行任务需求进行协同任务规划，给无人机集群中每台无人机分配协同子任务；
S4、为无人机集群中每台无人机生成协同控制指令，发送协同控制指令给无人机集群，无人机集群收到协同控制指令并开始执行飞行任务；
S5、无人机集群实时返回无人机相关信息，地面站对无人机相关信息进行处理；所述无人机相关信息包括：状态信息、载荷信息、图像信息、任务执行信息；
S6、判断是否需要对无人机集群的飞机任务进行动态调整，若需要，则执行步骤S3，否则执行步骤S7；
S7、判断是否需要对协同控制指令进行动态调整，若需要，则执行步骤S4，否则执行步骤S8；
S8、判断飞行任务是否执行完毕，若没有执行完毕，则执行步骤S5，否则执行S9；
S9、飞行结束后，用户在图形用户界面上查看数据库中存储的无人机相关信息。
进一步地，还包括，协同控制***采用基于IEEE1588的时间同步算法，同步全局时间；具体为：将地面站***时钟作为主时钟、无人机集群中各个无人机的***时钟作为从时钟，通过周期***换报文来确定地面站主时钟和无人机从时钟之间的时间偏差；
所述周期***换报文过程如下：
Y1、地面站主时钟周期性地给无人机从时钟发送Sync同步报文，无人机从时钟收到Sync同步报文后记下该报文准确的到达时刻t2；
Y2、地面站主时钟随后向无人机从时钟发送Follow_Up跟随报文，该报文携带Sync同步报文准确的发送时刻t1；
Y3、无人机从时钟向地面站主时钟发送一个Delay_Req延迟请求报文，并记录该报文准确的发送时刻t3；
Y4、地面站主时钟记录Delay_Req延迟请求报文准确的到达时刻t4，然后通过Delay_Resp延迟响应报文把t4送回到无人机从时钟。
进一步地，所述步骤S2具体为：
S201、人机交互代理模块获取无人集群信息与状态，并发送AR人机交互模块，根据无人机集群的信息和状态实时更新AR场景中虚拟无人机集群的状态；
S202、用户通过AR人机交互模块指定无人机集群及下达飞行任务；
S203、人机交互模块将AR场景视频和AR交互结果发送至人机交互代理模块，再转发至地面站的其他功能模块。
进一步地，所述步骤S3中，协同任务规划包括离线任务规划和在线任务规划；所述离线任务规划为飞行前任务分配初始方案；所述在线任务规划为无人机集群飞行过程中进行动态任务调整。
进一步地，所述步骤S4具体为：根据群体智能和编队控制策略生成协同控制指令，群体智能利用相对简单的个体成员规则和局部交互让无人机集群产生复杂的群体行为，编队控制采用领航者-跟随者的策略，包括队形形成、队形保持、队形变换，使无人机集群能在执行任务的过程中呈现出预定的队形。
进一步地，所述步骤S5具体为：通过多源数据融合技术对无人机集群返回的数据进行高效融合，包括数据预处理、数据融合、数据挖掘、数据存储，为地面站的任务分配、协同控制的智能化决策提供支持。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明为用户提供图形用户界面的操作方式，还为用户操作地面站***提供了AR交互功能，通过叠加在真实环境中的虚拟场景给无人机集群下达飞行任务，增加了用户操作的灵活性，给用户提供了一种自然友好、具有沉浸感的操作体验；
2、本发明采用时间同步模块，根据地面站***时间来对无人机集群中的每个无人机进行时间同步，避免了GPS同步存在的抗屏蔽性差、安全性低、易受到磁场和气候等影响的问题，具有收敛速度快、同步精度高的优点，提高了无人机集群协同控制、数据融合等的实时性；
3、本发明通过任务规划模块、群体智能模块，实现无人机集群的任务规划和协同控制，在突发情况下对飞行任务和控制命令进行动态调整，并通过智能数据处理为任务分配、协同控制的智能化决策提供支持，大大减小了无人机机载***的计算量，有效实现了对无人机集群的智能化协同控制。
附图说明
图1是本发明所述一种面向无人机集群的协同控制***的硬件结构图；
图2是本发明所述一种面向无人机集群的协同控制***的各功能模块信息交互图；
图3是本发明所述一种面向无人机集群的协同控制方法的方法流程图；
图4是本发明所述实施例中AR人机交互流程图；
图5是本发明所述实施例中基于IEEE1588的时间同步算法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1：
一种面向无人机集群的协同控制***，包括无人机集群和地面站；所述无人机集群是由多架异构无人机组成的集群；所述地面站，即地面站***，包括硬件部分和软件部分；
所述硬件部分，如图1所示，包括AR人机交互模块、数据处理模块、无线传输模块；所述数据处理模块分别与AR人机交互模块、无线传输模块连接；其中，所述AR人机交互模块为AR人机交互设备，用于人机交互；所述数据处理模块为便携式计算机，用于数据处理；所述无线传输模块为无线传输设备，用于地面站与无人机集群之间的数据传输；
所述软件部分采用模块化设计，并为各个功能模块提供统一的通信方式和监测管理服务，其中功能模块包括：图形用户界面模块、人机交互代理模块、时间同步模块、集群通信模块、数据存储模块、智能数据分析模块、任务规划模块、群体智能模块、编队控制模块。
AR人机交互模块与便携式计算机通过无线网络进行连接，用于为用户提供基于AR的人机交互方式，本实施例中采用HoloLens眼镜、Leap Motion体感控制器。HoloLens眼镜是一款头戴式增强现实设备，可以将虚拟图像叠加到真实环境中，提供全息影像，感知用户的声音和动作。Leap Motion体感控制器能够识别各种不同的手势，与HoloLens眼镜结合在一起使用可以弥补HoloLens眼镜在手势操作上的不足，更加方便用户的操作。通过AR人机交互模块，用户可以通过叠加在真实环境中的虚拟场景给无人机集群下达飞行任务。
便携式计算机是运行无人机集群地面站***软件程序的电子设备，具有体积小、重量轻的特点，便于携带，可以方便用户在室外进行操作。
无线传输设备用于实现地面站***与无人机集群之间的通信，在本实施例中采用4G无线通信模块，为地面站和无人机集群中的每一个无人机均配备有4G无线通信模块。由于4G通信已经得到了广泛的应用，4G基站覆盖率大，地面站***与无人机集群之间有很大的通信范围。通过无线传输设备，地面站***的控制指令可以发送到无人机集群，同时，无人机集群也可以将集群信息、飞行状态信息、载荷信息、视频图像等发送给地面站***。
本实施例通过对无人机集群协同控制的具体需求进行分析，采用模块化的方法进行地面站***功能设计，并通过软件总线为各个功能模块提供发布/订阅的通信方式和监测管理服务。通信的两个功能模块采用话题进行通信，发布消息的模块将消息朝一个特定的话题进行发布，订阅了同样的话题的功能模块就能接收到发布的消息。
本实施例的功能模块包括：图形用户界面模块、人机交互代理模块、时间同步模块、集群通信模块、数据存储模块、智能数据分析模块、任务规划模块、群体智能模块和编队控制模块。根据对地面站***的具体业务流程的分析，如图2所示描述了这些功能模块之间的信息交互。各功能模块的描述如下：
图形用户界面模块为用户提供图形化的操作方式；人机交互代理模块用于与AR人机交互设备进行连接，为地面站***提供AR交互功能；时间同步模块负责地面站***与无人机集群中的每一个无人机***的时间同步，以维持全局一致的时间；集群通信模块用于实现地面站***与无人机集群之间的消息通信；数据存储模块用于将无人机集群的状态数据、任务数据等数据持久化存储到数据库中，以方便用户后续查看；所述智能数据分析模块用于对无人机集群返回的数据进行数据融合、数据挖掘，从而为任务分配、协同控制的智能化决策提供支持；任务规划模块用于将用户下达的总体飞行任务进行规划分解，为无人机集群中的每一个无人机分配具体的协同子任务；群体智能模块用于控制无人机集群产生群体行为；编队控制模块用于控制无人机集群按照一定的队形进行编组飞行。
本实施例使用Qt技术进行图形用户界面的开发。图形用户界面的功能包括单机监控、集群监控、电子地图、AR交互和数据存储。具体的，单机监控功能包括单机控制、单机状态显示和实时视频显示，用户可以根据无人机标识号来选择无人机集群中要控制的一个无人机；集群监控功能包括集群无人机管理、任务规划、集群控制、集群状态显示，用户可以对无人机集群进行管理，为每个无人机指定所属的集群；电子地图功能包括地图显示、航点编辑和实时航迹显示；AR交互功能包括AR场景显示和AR交互结果显示，AR场景是HoloLens眼镜中的场景的视频流，AR交互结果是用户通过人机交互设备选择的被控无人机集群和飞行任务航点；数据存储功能包括数据存储和数据回放。
实施例2：
一种面向无人机集群的协同控制方法，如图3所示，包括以下步骤：
S1、地面站与无人机建立通信连接，并获取无人机信息和状态；具体的，无人机的状态信息主要有电量、状态、经度、纬度、高度、横滚角、俯仰角、偏航角、X向线速度、Y向线速度、Z向线速度、偏航角速度、X向加速度、Y向加速度、Z向加速度等；
S2、用户通过地面站指派无人机集群及下达飞行任务；无人机集群通过集群标识号来唯一标识，每个无人机都有集群标识号用于区分该无人机属于哪个集群，用户可以指定无人机的集群标识号；飞行任务的内容包括任务类型、集群标识号、航点坐标、任务时间；
如图4所示，具体为：
S201、人机交互代理模块获取无人集群信息与状态，并发送AR人机交互模块，根据无人机集群的信息和状态实时更新AR场景中虚拟无人机集群的状态；
S202、用户通过AR人机交互模块指定无人机集群及下达飞行任务；
S203、人机交互模块将AR场景视频和AR交互结果发送至人机交互代理模块，再转发至地面站的其他功能模块。
S3、对飞行任务需求进行协同任务规划，给无人机集群中每台无人机分配协同子任务；具体的，协同任务规划包括离线任务规划和在线任务规划；
离线任务规划在飞行前根据初始的无人机数量、状态、任务状态、任务间关系以最小化无人机总路径为优化目标，可以通过遗传算法给出任务分配及执行顺序的初始方案；
在线任务规划是在无人机集群飞行过程中，遇到无人机故障、无人机暂时失联、新任务加入等情况，根据各个无人机的任务执行情况和新增加的任务需求对每个无人机进行任务调整；
S4、为无人机集群中每台无人机生成协同控制指令，发送协同控制指令给无人机集群，无人机集群收到协同控制指令并开始执行飞行任务；
具体的，根据群体智能和编队控制策略生成协同控制指令；
群体智能利用相对简单的个体成员规则和局部交互让无人机集群产生复杂的群体行为，主要有聚集、蜂拥、觅食和围捕行为；根据任务分配结果、群体行为算法和各无人机状态为无人机集群中的每一个无人机生成具体的协同控制指令；
编队控制采用领航者-跟随者的策略；根据任务规划的结果和队形，计算出队形形成时集群中各个无人机的目标位置并封装成控制指令发送给无人机集群，从而形成队形；队形形成后，需要根据无人机的实际位置、姿态与目标位置、姿态进行实时调整，从而保持队形；在飞行过程中，可以对选中的无人机集群的队形进行调整，通过生成新的队形中各个无人机的目标点并封装成控制指令发送给无人机集群来改变其队形；
S5、无人机集群实时返回无人机相关信息，地面站对无人机相关信息进行处理；所述无人机相关信息包括：状态信息、载荷信息、图像信息、任务执行信息；
具体的，数据处理通过多源数据融合技术对无人机集群返回的数据进行高效融合，包括数据预处理、数据融合、数据挖掘、数据存储，从而为地面站***任务分配、协同控制的智能化决策提供支持；数据预处理主要是对无人机集群返回的数据进行校验、清洗、去噪、转换处理；数据融合是对来自各个无人机的数据进行归类、匹配；数据挖掘是对融合后的数据采用聚类、神经网络、决策树、支持向量机等算法挖掘出有效信息以便做出智能化决策；数据存储是对无人机返回的数据和数据挖掘结果进行存储，采用MySQL数据库；
S6、判断是否需要对无人机集群的飞机任务进行动态调整，若需要，则执行步骤S3，否则执行步骤S7；具体的，当出现无人机故障、无人机暂时失联、新任务加入等情况时需要对飞行任务进行动态调整；
S7、判断是否需要对协同控制指令进行动态调整，若需要，则执行步骤S4，否则执行步骤S8；具体的，当出现队形改变、群体行为改变时，需要对协同控制指令进行调整；
S8、判断飞行任务是否执行完毕，若没有执行完毕，则执行步骤S5，否则执行S9；
S9、飞行结束后，用户在图形用户界面上查看数据库中存储的无人机相关信息。
进一步地，采用基于IEEE1588的时间同步算法，将地面站***时钟作为主时钟、无人机集群中各个无人机的***时钟作为从时钟，通过周期***换报文来确定地面站主时钟和无人机从时钟之间的时间偏差。本实施例通过Linux***下的clock_gettime()函数来获取精确到纳秒的***时间，通过clock_settime()函数来设置***时间。如图5所示，基于IEEE1588的时间同步算法的报文交换过程包括以下步骤：
Y1、地面站主时钟周期性(一般为2s)地给无人机从时钟发送Sync同步报文，无人机从时钟收到Sync同步报文后记下该报文准确的到达时刻t2；
Y2、地面站主时钟随后向无人机从时钟发送Follow_Up跟随报文，该报文携带Sync同步报文准确的发送时刻t1；
Y3、无人机从时钟向地面站主时钟发送一个Delay_Req延迟请求报文，并记录该报文准确的发送时刻t3；
Y4、地面站主时钟记录Delay_Req延迟请求报文准确的到达时刻t4，然后通过Delay_Resp延迟响应报文把t4送回到无人机从时钟。
假设报文由地面站主时钟到无人机从时钟的传输时延与报文由无人机从时钟到地面站主时钟的传输时延相同且用Delay表示，地面站主时钟和无人机从时钟之间的时间偏差为Offset，根据上述步骤可得：
t2＝t1+Offset+Delay (1)
t4＝t3-Offset+Delay (2)
根据式(1)和式(2)，无人机从时钟可以计算出主从时钟之间的传输延时Delay和时间偏差Offset：
Delay＝((t2-t1)+(t4-t3))/2 (3)
Offset＝((t2-t1)-(t4-t3))/2 (4)
根据式(4)计算出来的时间偏差Offset，无人机从时钟就可以调整其***时间，从而完成一次与地面站***的时间同步。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种面向无人机集群的协同控制***，其特征在于，包括无人机集群和地面站；所述无人机集群是由多架异构无人机组成的集群；所述地面站包括硬件部分和软件部分；
所述硬件部分包括AR人机交互模块、数据处理模块、无线传输模块；所述数据处理模块分别与AR人机交互模块、无线传输模块连接；其中，所述AR人机交互模块用于人机交互；所述数据处理模块用于数据处理；所述无线传输模块用于地面站与无人机集群之间的数据传输；
所述软件部分采用模块化设计，并为各个功能模块提供统一的通信方式和监测管理服务，其中功能模块包括：图形用户界面模块、人机交互代理模块、时间同步模块、集群通信模块、数据存储模块、智能数据分析模块、任务规划模块、群体智能模块、编队控制模块；
所述图形用户界面模块为用户提供图形化的操作方式；所述人机交互代理模块用于与AR人机交互模块进行连接，为地面站***提供AR交互功能；所述时间同步模块负责地面站***与无人机集群中的每一个无人机***的时间同步；所述集群通信模块用于实现地面站***与无人机集群之间的消息通信；所述数据存储模块用于将无人机集群的状态数据、任务数据等数据持久化存储到数据库中；所述智能数据分析模块用于对无人机集群返回的数据进行数据融合、数据挖掘，并为任务分配、协同控制的智能化决策提供支持；所述任务规划模块用于将用户下达的总体飞行任务进行规划分解，为无人机集群中的每一个无人机分配具体的协同子任务；所述群体智能模块用于控制无人机集群产生群体行为；所述编队控制模块用于控制无人机集群按照一定的队形进行编组飞行。
2.根据权利要求1所述的一种面向无人机集群的协同控制***，其特征在于，所述AR人机交互模块为AR人机交互设备。
3.根据权利要求1所述的一种面向无人机集群的协同控制***，其特征在于，所述数据处理模块为便携式计算机。
4.根据权利要求1所述的一种面向无人机集群的协同控制***，其特征在于，所述软件部分通过软件总线为各个功能模块提供统一的通信方式和监测管理服务。
5.一种面向无人机集群的协同控制方法，其特征在于，包括以下步骤：
S1、地面站与无人机建立通信连接，并获取无人机信息和状态；
S2、用户通过地面站指派无人机集群及下达飞行任务；
S3、对飞行任务需求进行协同任务规划，给无人机集群中每台无人机分配协同子任务；
S4、为无人机集群中每台无人机生成协同控制指令，发送协同控制指令给无人机集群，无人机集群收到协同控制指令并开始执行飞行任务；
S5、无人机集群实时返回无人机相关信息，地面站对无人机相关信息进行处理；所述无人机相关信息包括：状态信息、载荷信息、图像信息、任务执行信息；
S6、判断是否需要对无人机集群的飞机任务进行动态调整，若需要，则执行步骤S3，否则执行步骤S7；
S7、判断是否需要对协同控制指令进行动态调整，若需要，则执行步骤S4，否则执行步骤S8；
S8、判断飞行任务是否执行完毕，若没有执行完毕，则执行步骤S5，否则执行S9；
S9、飞行结束后，用户在图形用户界面上查看数据库中存储的无人机相关信息。
6.根据权利要求5所述的一种面向无人机集群的协同控制方法，其特征在于，还包括，协同控制***采用基于IEEE1588的时间同步算法，同步全局时间；具体为：将地面站***时钟作为主时钟、无人机集群中各个无人机的***时钟作为从时钟，通过周期***换报文来确定地面站主时钟和无人机从时钟之间的时间偏差；
所述周期***换报文过程如下：
Y1、地面站主时钟周期性地给无人机从时钟发送Sync同步报文，无人机从时钟收到Sync同步报文后记下该报文准确的到达时刻t2；
Y2、地面站主时钟随后向无人机从时钟发送Follow_Up跟随报文，该报文携带Sync同步报文准确的发送时刻t1；
Y3、无人机从时钟向地面站主时钟发送一个Delay_Req延迟请求报文，并记录该报文准确的发送时刻t3；
Y4、地面站主时钟记录Delay_Req延迟请求报文准确的到达时刻t4，然后通过Delay_Resp延迟响应报文把t4送回到无人机从时钟。
7.根据权利要求5所述的一种面向无人机集群的协同控制方法，其特征在于，所述步骤S2具体为：
S201、人机交互代理模块获取无人集群信息与状态，并发送AR人机交互模块，根据无人机集群的信息和状态实时更新AR场景中虚拟无人机集群的状态；
S202、用户通过AR人机交互模块指定无人机集群及下达飞行任务；
S203、人机交互模块将AR场景视频和AR交互结果发送至人机交互代理模块，再转发至地面站的其他功能模块。
8.根据权利要求5所述的一种面向无人机集群的协同控制方法，其特征在于，所述步骤S3中，协同任务规划包括离线任务规划和在线任务规划；所述离线任务规划为飞行前任务分配初始方案；所述在线任务规划为无人机集群飞行过程中进行动态任务调整。
9.根据权利要求5所述的一种面向无人机集群的协同控制方法，其特征在于，所述步骤S4具体为：根据群体智能和编队控制策略生成协同控制指令，群体智能利用相对简单的个体成员规则和局部交互让无人机集群产生复杂的群体行为，编队控制采用领航者-跟随者的策略，包括队形形成、队形保持、队形变换，使无人机集群能在执行任务的过程中呈现出预定的队形。
10.根据权利要求5所述的一种面向无人机集群的协同控制方法，其特征在于，所述步骤S5具体为：通过多源数据融合技术对无人机集群返回的数据进行高效融合，包括数据预处理、数据融合、数据挖掘、数据存储，为地面站的任务分配、协同控制的智能化决策提供支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910087121.7A CN109669477A (zh) | 2019-01-29 | 2019-01-29 | 一种面向无人机集群的协同控制***及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910087121.7A CN109669477A (zh) | 2019-01-29 | 2019-01-29 | 一种面向无人机集群的协同控制***及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109669477A true CN109669477A (zh) | 2019-04-23 |
Family
ID=66150412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910087121.7A Pending CN109669477A (zh) | 2019-01-29 | 2019-01-29 | 一种面向无人机集群的协同控制***及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109669477A (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110162092A (zh) * | 2019-06-10 | 2019-08-23 | 哈尔滨理工大学 | 一种多无人机编队植保作业方法 |
| CN110231814A (zh) * | 2019-07-03 | 2019-09-13 | 中国人民解放军国防科技大学 | 一种固定翼无人机集群的分层分布式控制***及控制方法 |
| CN110377054A (zh) * | 2019-08-13 | 2019-10-25 | 西北工业大学 | 一种基于机载平台的无人机集群控制***及方法 |
| CN110412996A (zh) * | 2019-06-18 | 2019-11-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势和眼动的无人机操控方法、装置和*** |
| CN110794873A (zh) * | 2019-11-28 | 2020-02-14 | 云南电网有限责任公司电力科学研究院 | 一种电力输电线路自动巡检***及方法 |
| CN110865627A (zh) * | 2019-08-29 | 2020-03-06 | 北京神舟航天软件技术有限公司 | 一种智能无人集群***测试床架构 |
| CN110932812A (zh) * | 2019-11-13 | 2020-03-27 | 深圳供电局有限公司 | 基于时间同步的任务发送方法、任务接收方法及其*** |
| CN111045360A (zh) * | 2019-11-29 | 2020-04-21 | 中国电子科技集团公司第二十研究所 | 一种支持无人***互操作的通用任务指令处理方法 |
| CN111190433A (zh) * | 2019-12-16 | 2020-05-22 | 北京泊松技术有限公司 | 一种无人机集群对抗比赛评判方法 |
| CN111224709A (zh) * | 2019-12-27 | 2020-06-02 | 航天神舟飞行器有限公司 | 一种集群无人机测控*** |
| CN111343425A (zh) * | 2020-02-28 | 2020-06-26 | 深圳市凯达尔科技实业有限公司 | 基于无人机的虚拟现实直播控制方法 |
| CN111401146A (zh) * | 2020-02-26 | 2020-07-10 | 长江大学 | 一种无人机电力巡检方法、设备及存储介质 |
| CN111638725A (zh) * | 2020-05-14 | 2020-09-08 | 西安电子科技大学 | 基于蚁群算法与人工势场法的无人机编队重构***及方法 |
| CN111781951A (zh) * | 2020-07-13 | 2020-10-16 | 江苏中科智能制造研究院有限公司 | 一种基于集群无人机的工业园区监测与数据可视化*** |
| CN112182977A (zh) * | 2020-10-12 | 2021-01-05 | 中国人民解放军国防科技大学 | 一种无人集群协同博弈对抗的控制方法及*** |
| CN112235545A (zh) * | 2020-10-19 | 2021-01-15 | 中国人民解放军国防科技大学 | 多机协同与视频中继传输方法 |
| CN113268082A (zh) * | 2021-06-03 | 2021-08-17 | 一飞(海南)科技有限公司 | 无人机编队表演舞步航点快速下载保存和获取的方法、*** |
| CN113268078A (zh) * | 2021-04-20 | 2021-08-17 | 四川大学 | 一种无人机群自适应环境的目标追踪围捕方法 |
| CN113568425A (zh) * | 2020-04-28 | 2021-10-29 | 北京理工大学 | 一种基于神经网络学习的集群协同制导方法 |
| CN114047786A (zh) * | 2021-11-26 | 2022-02-15 | 北京航天自动控制研究所 | 一种用于集散式异构无人机集群的协同处理***和方法 |
| CN114189517A (zh) * | 2021-12-03 | 2022-03-15 | 中国电子科技集团公司信息科学研究院 | 一种异构自主无人集群统一接入管控*** |
| CN114449568A (zh) * | 2022-01-11 | 2022-05-06 | 中国人民解放军军事科学院国防科技创新研究院 | 一种真实环境无人机集群通信模拟测试***和方法 |
| CN114449455A (zh) * | 2021-12-16 | 2022-05-06 | 珠海云洲智能科技股份有限公司 | 一种广域集群任务的集成控制***和广域集群*** |
| CN115035771A (zh) * | 2022-06-27 | 2022-09-09 | 中国人民解放军国防科技大学 | 一种群控无人机通信实验教学*** |
| CN115996459A (zh) * | 2023-03-23 | 2023-04-21 | 西安羚控电子科技有限公司 | 一种无人机集群时钟同步的方法 |
| CN116193507A (zh) * | 2023-04-26 | 2023-05-30 | 深圳市安信达存储技术有限公司 | 一种无人机存储控制方法及控制*** |
| CN116795141A (zh) * | 2023-08-16 | 2023-09-22 | 西安天成益邦电子科技有限公司 | 无人机集群协同作业*** |
| CN117640631A (zh) * | 2023-11-13 | 2024-03-01 | 北京三月雨文化传播有限责任公司 | 一种ar设备集群多点控制器 |
| CN117714484A (zh) * | 2023-11-15 | 2024-03-15 | 杭州中汇通航航空科技有限公司 | 一种无人机飞行报告管理平台 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591358A (zh) * | 2012-03-12 | 2012-07-18 | 北京航空航天大学 | 一种多无人机的动态编队控制方法 |
| CN102768518A (zh) * | 2012-07-11 | 2012-11-07 | 清华大学 | 多无人机平台协同控制*** |
| CN103699106A (zh) * | 2013-12-30 | 2014-04-02 | 合肥工业大学 | 基于VR-Forces仿真平台的多无人机协同任务规划仿真*** |
| CN104615010A (zh) * | 2014-12-26 | 2015-05-13 | 成都飞机工业（集团）有限责任公司 | 基于网络通信的FlightGear和VC混合***开发方法 |
| CN105955288A (zh) * | 2016-07-15 | 2016-09-21 | 零度智控（北京）智能科技有限公司 | 飞行器定位及控制方法及*** |
| CN106454209A (zh) * | 2015-08-06 | 2017-02-22 | 航天图景（北京）科技有限公司 | 基于时空信息融合技术的无人机应急快反数据链***及方法 |
| CN106998589A (zh) * | 2017-03-31 | 2017-08-01 | 北京臻迪科技股份有限公司 | 一种无人机通信方法及装置 |
| CN107918402A (zh) * | 2017-12-02 | 2018-04-17 | 广东容祺智能科技有限公司 | 一种基于移动网络无人机集群飞行*** |
| CN108733070A (zh) * | 2018-04-11 | 2018-11-02 | 广州亿航智能技术有限公司 | 无人机控制方法及控制*** |
| CN108845802A (zh) * | 2018-05-15 | 2018-11-20 | 天津大学 | 无人机集群编队交互式仿真验证***及实现方法 |
| CN109076249A (zh) * | 2016-05-06 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于视频处理和显示的***和方法 |
| CN109213200A (zh) * | 2018-11-07 | 2019-01-15 | 长光卫星技术有限公司 | 多无人机协同编队飞行管理***及方法 |
-
2019
- 2019-01-29 CN CN201910087121.7A patent/CN109669477A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102591358A (zh) * | 2012-03-12 | 2012-07-18 | 北京航空航天大学 | 一种多无人机的动态编队控制方法 |
| CN102768518A (zh) * | 2012-07-11 | 2012-11-07 | 清华大学 | 多无人机平台协同控制*** |
| CN103699106A (zh) * | 2013-12-30 | 2014-04-02 | 合肥工业大学 | 基于VR-Forces仿真平台的多无人机协同任务规划仿真*** |
| CN104615010A (zh) * | 2014-12-26 | 2015-05-13 | 成都飞机工业（集团）有限责任公司 | 基于网络通信的FlightGear和VC混合***开发方法 |
| CN106454209A (zh) * | 2015-08-06 | 2017-02-22 | 航天图景（北京）科技有限公司 | 基于时空信息融合技术的无人机应急快反数据链***及方法 |
| CN109076249A (zh) * | 2016-05-06 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于视频处理和显示的***和方法 |
| CN105955288A (zh) * | 2016-07-15 | 2016-09-21 | 零度智控（北京）智能科技有限公司 | 飞行器定位及控制方法及*** |
| CN106998589A (zh) * | 2017-03-31 | 2017-08-01 | 北京臻迪科技股份有限公司 | 一种无人机通信方法及装置 |
| CN107918402A (zh) * | 2017-12-02 | 2018-04-17 | 广东容祺智能科技有限公司 | 一种基于移动网络无人机集群飞行*** |
| CN108733070A (zh) * | 2018-04-11 | 2018-11-02 | 广州亿航智能技术有限公司 | 无人机控制方法及控制*** |
| CN108845802A (zh) * | 2018-05-15 | 2018-11-20 | 天津大学 | 无人机集群编队交互式仿真验证***及实现方法 |
| CN109213200A (zh) * | 2018-11-07 | 2019-01-15 | 长光卫星技术有限公司 | 多无人机协同编队飞行管理***及方法 |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110162092A (zh) * | 2019-06-10 | 2019-08-23 | 哈尔滨理工大学 | 一种多无人机编队植保作业方法 |
| CN110412996A (zh) * | 2019-06-18 | 2019-11-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势和眼动的无人机操控方法、装置和*** |
| CN110231814A (zh) * | 2019-07-03 | 2019-09-13 | 中国人民解放军国防科技大学 | 一种固定翼无人机集群的分层分布式控制***及控制方法 |
| CN110377054A (zh) * | 2019-08-13 | 2019-10-25 | 西北工业大学 | 一种基于机载平台的无人机集群控制***及方法 |
| CN110865627A (zh) * | 2019-08-29 | 2020-03-06 | 北京神舟航天软件技术有限公司 | 一种智能无人集群***测试床架构 |
| CN110932812A (zh) * | 2019-11-13 | 2020-03-27 | 深圳供电局有限公司 | 基于时间同步的任务发送方法、任务接收方法及其*** |
| CN110932812B (zh) * | 2019-11-13 | 2021-10-01 | 深圳供电局有限公司 | 基于时间同步的任务发送方法、任务接收方法及其*** |
| CN110794873A (zh) * | 2019-11-28 | 2020-02-14 | 云南电网有限责任公司电力科学研究院 | 一种电力输电线路自动巡检***及方法 |
| CN111045360A (zh) * | 2019-11-29 | 2020-04-21 | 中国电子科技集团公司第二十研究所 | 一种支持无人***互操作的通用任务指令处理方法 |
| CN111190433A (zh) * | 2019-12-16 | 2020-05-22 | 北京泊松技术有限公司 | 一种无人机集群对抗比赛评判方法 |
| CN111224709A (zh) * | 2019-12-27 | 2020-06-02 | 航天神舟飞行器有限公司 | 一种集群无人机测控*** |
| CN111401146A (zh) * | 2020-02-26 | 2020-07-10 | 长江大学 | 一种无人机电力巡检方法、设备及存储介质 |
| CN111343425A (zh) * | 2020-02-28 | 2020-06-26 | 深圳市凯达尔科技实业有限公司 | 基于无人机的虚拟现实直播控制方法 |
| CN113568425B (zh) * | 2020-04-28 | 2024-05-14 | 北京理工大学 | 一种基于神经网络学习的集群协同制导方法 |
| CN113568425A (zh) * | 2020-04-28 | 2021-10-29 | 北京理工大学 | 一种基于神经网络学习的集群协同制导方法 |
| CN111638725B (zh) * | 2020-05-14 | 2021-08-10 | 西安电子科技大学 | 基于蚁群算法与人工势场法的无人机编队重构***及方法 |
| CN111638725A (zh) * | 2020-05-14 | 2020-09-08 | 西安电子科技大学 | 基于蚁群算法与人工势场法的无人机编队重构***及方法 |
| CN111781951A (zh) * | 2020-07-13 | 2020-10-16 | 江苏中科智能制造研究院有限公司 | 一种基于集群无人机的工业园区监测与数据可视化*** |
| CN112182977A (zh) * | 2020-10-12 | 2021-01-05 | 中国人民解放军国防科技大学 | 一种无人集群协同博弈对抗的控制方法及*** |
| CN112235545A (zh) * | 2020-10-19 | 2021-01-15 | 中国人民解放军国防科技大学 | 多机协同与视频中继传输方法 |
| CN113268078A (zh) * | 2021-04-20 | 2021-08-17 | 四川大学 | 一种无人机群自适应环境的目标追踪围捕方法 |
| CN113268082A (zh) * | 2021-06-03 | 2021-08-17 | 一飞(海南)科技有限公司 | 无人机编队表演舞步航点快速下载保存和获取的方法、*** |
| CN114047786A (zh) * | 2021-11-26 | 2022-02-15 | 北京航天自动控制研究所 | 一种用于集散式异构无人机集群的协同处理***和方法 |
| CN114189517B (zh) * | 2021-12-03 | 2024-01-09 | 中国电子科技集团公司信息科学研究院 | 一种异构自主无人集群统一接入管控*** |
| CN114189517A (zh) * | 2021-12-03 | 2022-03-15 | 中国电子科技集团公司信息科学研究院 | 一种异构自主无人集群统一接入管控*** |
| CN114449455A (zh) * | 2021-12-16 | 2022-05-06 | 珠海云洲智能科技股份有限公司 | 一种广域集群任务的集成控制***和广域集群*** |
| CN114449568A (zh) * | 2022-01-11 | 2022-05-06 | 中国人民解放军军事科学院国防科技创新研究院 | 一种真实环境无人机集群通信模拟测试***和方法 |
| CN115035771A (zh) * | 2022-06-27 | 2022-09-09 | 中国人民解放军国防科技大学 | 一种群控无人机通信实验教学*** |
| CN115035771B (zh) * | 2022-06-27 | 2024-05-17 | 中国人民解放军国防科技大学 | 一种群控无人机通信实验教学*** |
| CN115996459A (zh) * | 2023-03-23 | 2023-04-21 | 西安羚控电子科技有限公司 | 一种无人机集群时钟同步的方法 |
| CN116193507B (zh) * | 2023-04-26 | 2023-11-03 | 深圳市安信达存储技术有限公司 | 一种无人机存储控制方法及控制*** |
| CN116193507A (zh) * | 2023-04-26 | 2023-05-30 | 深圳市安信达存储技术有限公司 | 一种无人机存储控制方法及控制*** |
| CN116795141B (zh) * | 2023-08-16 | 2023-11-14 | 西安天成益邦电子科技有限公司 | 无人机集群协同作业*** |
| CN116795141A (zh) * | 2023-08-16 | 2023-09-22 | 西安天成益邦电子科技有限公司 | 无人机集群协同作业*** |
| CN117640631A (zh) * | 2023-11-13 | 2024-03-01 | 北京三月雨文化传播有限责任公司 | 一种ar设备集群多点控制器 |
| CN117640631B (zh) * | 2023-11-13 | 2024-07-05 | 北京三月雨文化传播有限责任公司 | 一种ar设备集群多点控制器 |
| CN117714484A (zh) * | 2023-11-15 | 2024-03-15 | 杭州中汇通航航空科技有限公司 | 一种无人机飞行报告管理平台 |
| CN117714484B (zh) * | 2023-11-15 | 2024-06-18 | 杭州中汇通航航空科技有限公司 | 一种无人机飞行报告管理平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109669477A (zh) | 一种面向无人机集群的协同控制***及控制方法 | |
| US11196964B2 (en) | Merged reality live event management system and method | |
| CN110531960B (zh) | 用于通过虚拟世界，在现实世界中开发，测试以及部署数字现实应用程式的***与方法 | |
| CN109613931A (zh) | 基于生物社会力的异构无人机集群目标跟踪***及方法 | |
| CN103699106B (zh) | 基于VR-Forces仿真平台的多无人机协同任务规划仿真*** | |
| CN103389699B (zh) | 基于分布式智能监测控制节点的机器人监控及自主移动***的运行方法 | |
| CN112180985A (zh) | 一种支持多无人机集群控制的小型机载协同控制*** | |
| Forsmo et al. | Optimal search mission with unmanned aerial vehicles using mixed integer linear programming | |
| CN113238583B (zh) | 一种固定翼无人机密集编队飞行与防撞控制方法 | |
| WO2022001120A1 (zh) | 一种多智能体***及其控制方法 | |
| CN105306500B (zh) | 一种基于四轴飞行器的快递运输***、快递运输方法及单目避障方法 | |
| CN107479705A (zh) | 一种基于HoloLens的指挥所协同作业电子沙盘*** | |
| CN107507488A (zh) | 一种轨道交通虚拟电子沙盘仿真训练***及方法 | |
| CN109917811A (zh) | 一种无人机集群协同避障-重构处理方法 | |
| CN110032209A (zh) | 一种多无人机任务区集结分布式控制方法 | |
| CN115951598A (zh) | 一种多无人机的虚实结合仿真方法、装置及*** | |
| CN106742086A (zh) | 敏捷成像卫星自主运控*** | |
| Abbenseth et al. | Cloud-based cooperative navigation for mobile service robots in dynamic industrial environments | |
| CN113687718A (zh) | 一种人-机集成的数字孪生***及其构建方法 | |
| CN109116861A (zh) | 一种无人机地面控制*** | |
| Liu et al. | Summary of cloud robot research | |
| CN111275376B (zh) | 基于无人仓虚拟现实仿真实现的***及方法 | |
| CN116566792A (zh) | 一种多无人***分布式仿真方法和*** | |
| CN116257975A (zh) | 一种一席控多机视景仿真***及其设计方法 | |
| CN113190035B (zh) | 基于混合型拓扑结构的无人机编队控制方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190423 |
|
| RJ01 | Rejection of invention patent application after publication |