CN110221620B - 一种基于mas的多无人***监督控制站 - Google Patents
一种基于mas的多无人***监督控制站 Download PDFInfo
- Publication number
- CN110221620B CN110221620B CN201910460868.2A CN201910460868A CN110221620B CN 110221620 B CN110221620 B CN 110221620B CN 201910460868 A CN201910460868 A CN 201910460868A CN 110221620 B CN110221620 B CN 110221620B
- Authority
- CN
- China
- Prior art keywords
- complexity
- operator
- unmanned system
- task
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims description 47
- 238000011156 evaluation Methods 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 210000004556 brain Anatomy 0.000 claims description 6
- 230000007123 defense Effects 0.000 claims description 6
- 230000004424 eye movement Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008901 benefit Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000002147 killing effect Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 208000031636 Body Temperature Changes Diseases 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000036760 body temperature Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 2
- 230000003930 cognitive ability Effects 0.000 abstract description 3
- 230000007704 transition Effects 0.000 description 16
- 230000003993 interaction Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于MAS的多无人***监督控制站及方法，包括平行***架构，所述平行***架构包括多智能体软硬件监督控制***与无人***；所述多智能体软硬件监督控制***包括硬件平台与软件平台，所述硬件平台包括多屏工作站，所述多屏工作站上设有能够检测操作员生理数据与动态指令的动态生理采集组件。有效的对无人***的实时工作状态、环境复杂度、任务复杂度以及综合情报信息进行监控；根据环境复杂度、任务复杂度、操作员的疲劳度、无人***的自主等级计算无人***的控制模态，进而实现无人***的控制模态动态切换；可观察、可解释、可预测、可干预的混合自主模式形成了人机混合智能，充分利用人的知识和认知能力。本发明应用于监督控制领域。
Description
技术领域
本发明涉及监督控制领域，尤其涉及一种基于MAS的多无人***监督控制站及方法。
背景技术
基于多智能体(MAS，Multi-AgentSystem)的监督控制是有人-无人协同的关键内容，是实现优势互补，形成高效协同的有效途径。2017年发布的新一代人工智能发展规划中，明确提出要研究“人在回路”的混合增强智能、人机智能共生的行为增强等基础理论，要发展人机交互等技术等。近年来开始由“人在回路中”(man-in-the-loop)的交互控制向“人在回路上”(man-on-the-loop)的监督控制(Supervisory Control)方向发展，智能体执行任务过程中，操作员拥有最终决定权，依据人的认知能力来监督控制多个智能体。基于多智能体的有人-无人协同面临的挑战来自两个方面，一是“低智能”与“高智能”之间的沟通，即人与智能体之间的态势理解、决策判断和交互方式都不一样，如何实现高效的沟通。二是在多智能体执行任务过程中，面临不确定的意外事件，如何有效的协同处理好这些意外事件。因此，监督控制提供了解决办法，监督控制贯穿多智能体任务执行的OODA(观察-判断-决策-行动)所有阶段，以人—智能体混合主动为核心，提供人—智能体的交互渠道，并处理好意外事件。
专利号为201610838445.6的专利文献提供了一种多模态自然交互的单操作员多无人机混合主动控制方法，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态等模态与无人机进行自然交互与控制，然而只解决了操作员的状态评估，并没有构建一个集成多智能体监控、操作员状态监控、环境复杂度和任务复杂度评估的综合监督控制体系。
发明内容
针对现有技术中的不足，本发明的目的是提供一种基于MAS的多无人***监督控制站及方法。
其采用的技术方案是：
一种基于MAS的多无人***监督控制站，包括平行***架构，所述平行***架构包括多智能体软硬件监督控制***与无人***；
所述多智能体软硬件监督控制***包括硬件平台与软件平台，所述硬件平台包括多屏工作站，所述多屏工作站上设有能够检测操作员生理数据与动态指令的动态生理采集组件；
所述软件平台包括：
操作员状态监控模块，获取动态生理采集组件上传的操作员的生理数据与动态指令，根据操作员的生理数据对操作员的疲劳度进行分类并显示在多屏工作站上，根据操作员的动态指令生成无人***的任务指令；
无人***状态监控模块，获取无人***的实时状态信息，并根据无人***的实时状态信息对无人***的自主等级进行分类并显示在多屏工作站上；
环境和任务复杂度监控模块，获取无人***在执行任务过程中的实时环境信息；
情报处理模块，根据环境和任务复杂度监控模块获取的实时环境信息以及操作员状态监控模块生成的任务指令计算出无人***在执行任务过程中的环境复杂度、任务复杂度与综合情报信息；
人机智能融合模块，根据环境复杂度、任务复杂度、操作员的疲劳度、无人***的自主等级计算出无人***的控制模态，并根据控制模态控制无人***运行。
作为上述技术方案的进一步改进，所述软件平台还包括：
并发任务冲突消解模块，根据无人***在执行任务过程中的任务复杂度对无人***的并发任务进行冲突消解。
作为上述技术方案的进一步改进，所述多屏工作站包括：
操作员状态显示屏，显示操作员的疲劳度分类信息；
无人***状态监控显示屏，显示无人***的自主等级分类信息；
综合态势显示屏，显示无人***在执行任务过程中的环境复杂度；
侦察情报显示屏，显示无人***在执行任务过程中的综合情报信息；
任务规划显示屏，显示无人***在执行任务过程中的任务复杂度。
作为上述技术方案的进一步改进，所述生理数据采集组件包括：
体感传感器，获取包含操作员外部图像与骨骼图像信息的生理数据
脑电波传感器，获取包含操作员脑电波变化信息的生理数据；
眼动传感器，获取包含操作员注视点位置和眨眼频率信息的动态指令；
语音传感器，获取包含操作员声音信息的动态指令；
心率体温传感器，获取包含操作员心率与体温变化信息的生理数据；
触摸控制屏，获取包含操作员手势动作信息的动态指令。
一种基于MAS的多无人***监督控制方法，包括如下步骤：
步骤101，获取无人***的实时状态信息，根据无人***的实时状态信息对无人***的自主等级进行分类；
步骤102，获取操作员的实时生理数据与动作指令，根据操作员的生理数据对操作员的疲劳度进行分类获取操作员的疲劳度分类信息，根据操作员的动态指令生成无人***的任务指令；
步骤103，获取无人***在执行任务过程中的实时环境信息，根据实时环境信息与无人***的任务指令计算出无人***在执行任务过程中的环境复杂度、任务复杂度与综合情报信息；
步骤104，根据任务复杂度对无人***的并发任务进行冲突消解；
步骤105，根据环境复杂度、任务复杂度、操作员的疲劳度分类信息、无人***的自主等级分类信息计算出无人***的控制模态，并根据控制模态控制无人***运行。
作为上述技术方案的进一步改进，步骤104中具体包括：
步骤201，对无人***中的单个无人设备分别进行petri网建模，整合所有无人设备的petri网子模型，得到无人***的petri网模型；
步骤202，根据每一petri网子模型的变迁与库所，对petri网模型中可能发生冲突的时间区间进行冲突检测，获取petri网模型中的冲突变迁；
步骤203，根据优先级函数确定冲突变迁中变迁发生的先后次序，进而达到对无人***的并发任务进行冲突消解的效果。
作为上述技术方案的进一步改进，步骤102中，所述操作员的疲劳度分类信息的计算过程为：
式中，x＝1,2,3,4，为操作员的疲劳程度，1级表示操作员状态最佳，2、3级表示操作员状态正在递减，4级表示操作员状态最差；t为操作员的工作时间；r为操作员的休息时间；x0∈(0,1)表示操作员初始工作负担；e表示自然常数；δ表示归一化因子。
作为上述技术方案的进一步改进，步骤105中，所述无人***的控制模态的计算过程为：
P＝ηx+λw+γξ+ρψ
η+λ+γ+ρ＝1
式中，P表示无人***的控制模态；η为操作员能力权重，λ为任务复杂度的权重，γ为环境复杂度的权重，ρ为无人机自主等级权重；x为操作员的疲劳程度，w为任务复杂度、ξ为环境复杂度、ψ为无人机自主等级；R表示机为主模式的控制模态，RH表示机主人辅模式的控制模态，HR表示人主机辅模式的控制模态，H表示人为主模式的控制模态；Thr1，Thr2，Thr3表示自主等级划分的阈值。
本发明的有益技术效果：
(1)可以在监控操作员状态的同时采集操作员的动态指令，进而实现操作员与无人***的交互，交互方式更加的自然；
(2)有效的对无人***的实时工作状态进行监控；
(3)有效的对无人***执行任务过程中的环境复杂度、任务复杂度以及综合情报信息进行监控；
(4)根据环境复杂度、任务复杂度、操作员的疲劳度、无人***的自主等级计算无人***的控制模态，进而实现无人***的控制模态动态切换；
(5)可观察、可解释、可预测、可干预的混合自主模式形成了人机混合智能，可充分利用人的知识和认知能力。
附图说明
图1是基于MAS的多无人***监督控制站的结构示意图；
图2是基于MAS的多无人***监督控制站的实物示意图；
图3是软件平台与硬件平台的连接结构示意图；
图4是操作员状态评估示意图；
图5是无人***的任务—时间序列图；
图6是无人***运行环境复杂度评估示意图；
图7是无人***运行任务复杂度评估示意图；
图8是基于MAS的多无人***监督控制方法的流程示意图；
图9是并发任务进行冲突消解的流程示意图；
图10是无人***的petri网模型的示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚明白，下结合具体实施例，并根据附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，未描述的内容以及部分英文简写为所属技术领域中普通技术人员所熟知的内容。本实施例中给定的一些特定参数仅作为示范，在不同的实时方式中该值可以相应地改变为合适的值。
如图1-2所示的一种基于MAS的多无人***监督控制站，包括平行***架构，平行***架构包括多智能体软硬件监督控制***与无人***。其中无人设备、离机自主代理设备与互联网共同组成无人***，离机自主代理设备可以对无人设备实现自控控制也能与多智能体软硬件监督控制***一起对无人设备实现混合控制，无人设备可以是移动机器人群体、无人车辆群体、无人机群体以及无人水平艇群体和无人潜航器群体等各种各样的无人实物运行设备。
参考图3，多智能体软硬件监督控制***包括硬件平台与软件平台，硬件平台包括多屏工作站，多屏工作站上设有能够检测操作员生理数据与动态指令的动态生理采集组件。
参考图1，操作员与硬件平台之间的交互有：操作员通过硬件平台输出监督控制，例如动态指令；硬件平台对操作员的状态进行监控并给出警报。硬件平台、软件平台、无人设备与离机自主代理设备之间的交互过程为：硬件平台利用人工智能算法或神经网络算法或机器学***台。软件平台根据硬件平台发送的任务指令以及获取的无人设备的实时状态进行仿真实现并将仿真实验结果反馈给硬件平台，硬件平台将控制指令传送无人设备。
参考图3，软件平台包括：
操作员状态监控模块，与动态生理采集组件、多屏工作站通信相连，获取动态生理采集组件上传的操作员的生理数据与动态指令，根据操作员的生理数据对操作员的疲劳度进行分类并显示在多屏工作站上，根据操作员的动态指令生成无人***的任务指令；参考图4，操作员状态监控模块在多屏工作站上显示的内容具体有疲劳度、操作员的心情、操作员的关注度以及行为，并根据状态确定当前操作员的疲劳度的分类。
无人***状态监控模块，与无人***、多屏工作站通信相连，获取无人***的实时状态信息，并根据无人***的实时状态信息对无人***的自主等级进行分类并显示在多屏工作站上。实时状态信息包括无人***的运动状态信息、任务分配信息、意外事件信息等，并将其以任务—时间序列图方式展示在多屏工作站上，显示结果如图5所示，以使得操作员能够对意见事件及时获知并进行处理。
环境和任务复杂度监控模块，与无人***、多屏工作站通信相连，获取无人***在执行任务过程中的实时环境信息，并将实时环境信息显示在多屏幕工作站上，实时环境信息为视频、图像等，以便操作员能够对突发情况作出反应，进而下达动作指令。
情报处理模块，根据环境和任务复杂度监控模块获取的实时环境信息以及操作员状态监控模块生成的任务指令计算出无人***在执行任务过程中的环境复杂度、任务复杂度与综合情报信息，综合情报信息包括目标检测、目标识别、目标定位、目标跟踪等信息；其中，环境复杂度是由地形复杂度、气象复杂度、通信复杂度、目标复杂度、威胁复杂度五个维度的复杂度评估得到，即如图6所示，具体的：
1、地形复杂度的计算过程为：
(1)获取实时地形图片；
(2)计算实时地形图片的图像熵与灰度共生矩阵的反差值；
(3)对实时地形图片的图像熵与灰度共生矩阵的反差值分别进行归一化处理，获得图像熵值的归一化值，以及灰度共生矩阵的反差值的归一化值；
(4)根据图像熵值的归一化值与灰度共生矩阵的反差值的归一化值计算地形复杂度：Land＝0.2×Entropy+0.8×Contrast，其中，Land表示地形复杂度，Entropy表示图像熵值的归一化值，Contrast表示灰度共生矩阵的反差值的归一化值。
2、威胁复杂度的计算过程为：
(1)针对雷达、高炮和地空导弹三种战场防空火力建立了杀伤区域模型；
(2)根据威胁点的位置在杀伤区域模型中绘制战场防空火力分布图；
(3)计算战场防空火力分布图中的安全区域比例，进而获得威胁复杂度。
3、气象复杂度的计算过程为：
(1)选取风切变，风力等级，雷暴天气和降雨天气进行模糊综合评价。综合评价方法为：
TR＝F(U)→F(V)
其中，F(*)为模糊变化，U为因素集，包括信息尽可能不交叉的评价指标；V为评语集，由各种不同评判等级形成的集合：
U＝{风，风切变，雷暴，降水}
V＝{好，较好，中等，较差，很差}
(2)针对评价结果出现的不符合常理的情况，采取隶属度次大的趋于评价等级较差的评价等级作为评价的结果，最终模糊综合评价的结果即为气象复杂度。
4、通信复杂度的计算过程为：
(1)选取能够全面反映通信环境优劣的因素集和评语集。
这里因素集U和评语集V为：
U＝{丢包率，误码率，时间延迟，中断}
V＝{好，较好，中等，较差，差}
其中误码率计算方法为：
丢包率计算方法为：
(2)根据模糊综合评价的方法进行综合评价,最终模糊综合评价的评价结果即为通信复杂度。
5、目标识别复杂度的计算过程为：
(1)针对目标混淆采取生成目标结构特征空间的方法进行度量；
目标混淆度RSS计算方法为：
RSS＝[(μT-μB)2+σT 2]1/2
其中σT为目标的灰度标准差，μT为目标的灰度均值，μB为背景的灰度均值；
步骤602，针对目标遮掩采取计算目标与局部背景对比度的方法进行度量；
目标遮掩度DTS计算方法为：
其中S被遮挡为被遮挡面积，S目标为目标面积。
(2)根据目标混淆度和目标遮掩率计算得到目标识别复杂度，目标复杂度Target计算方法为：
其中RSS为目标混消度，DTS为目标遮掩度，DFA为目标虚警度，目标虚警度计算方法为：
其中，n为疑似目标的数量。
任务复杂度是由任务及战术行为、态势感知、规划与分析、协同与合作四个维度的复杂度来评估得到的，即如图7所示，具体的，先通过求取每一个维度的复杂度的主观复杂度与客观复杂度，通过加权计算主观复杂度与客观复杂度得到每一评估指标的综合复杂度，综合四种纬度技能得到任务复杂度，其中，主观复杂度采用主观定权法来计算，客观复杂度采用客观定权法来计算，本实施例中的主观定权法为可拓展层次分析法，客观定权法为熵权法，每一评估指标的综合复杂度为：
Wn＝α·W1n+β·W2n
α+β＝1,α>0,β>0
式中，Wn表示一种评估指标的综合复杂度；W1n表示该评估指标通过可拓展层次分析法得到的主观复杂度；W2n表示该评估指标通过熵权法得到的客观复杂度。
并发任务冲突消解模块，根据无人***在执行任务过程中的任务复杂度，即任务状态与时序对无人***的并发任务进行冲突消解；
人机智能融合模块，根据环境复杂度、任务复杂度、操作员的疲劳度、无人***的自主等级计算出无人***的控制模态，并根据控制模态控制无人***运行。
参考图2，多屏工作站包括：操作员状态显示屏101，显示操作员的疲劳度分类信息；无人***状态监控显示屏103，显示无人***的自主等级分类信息；综合态势显示屏102，显示无人***在执行任务过程中的环境复杂度；侦察情报显示屏106，显示无人***在执行任务过程中的综合情报信息，综合情报信息包括目标检测、目标识别、目标定位、目标跟踪等信息；任务规划显示屏104，显示无人***在执行任务过程中的任务复杂度。
生理数据采集组件包括：体感传感器201，获取包含操作员外部图像与骨骼图像信息的生理数据；脑电波传感器202，获取包含操作员脑电波变化信息的生理数据；眼动传感器203，获取包含操作员注视点位置和眨眼频率信息的动态指令；语音传感器204，获取包含操作员声音信息的动态指令；心率体温传感器205，获取包含操作员心率与体温变化信息的生理数据；触摸控制屏105，获取包含操作员手势动作信息的动态指令。通过生理数据采集组件实现了监督控制站的可干预，本实施例给出了几种混合主动的干预方式，语音干预，眼动干预，手势干预，触摸屏干预。首先对语音进行识别，然后根据语音识别结果对无人***发出任务指令。其次获取眼动位置，对无人***发出位置指令。再次是识别手势，根据手势对应得指令，引导无人***的运动方向或任务变更等。最后是触摸屏干预，掌握无人***的状态，可以干预无人***诸如路径规划、航点导航、避障行为等。同时具有可观察性、可解释性与可预测性。可观察性是指可观察多智能体的实时状态信息和任务信息；可解释性是由于人做出的决策具有可解释性，而决策来源于人通过多模态交互对多智能体的控制，可预测性是指人可预测多智能体未来的局势。
如图8所示的一种基于MAS的多无人***监督控制方法，包括如下步骤：
步骤101，获取无人***的实时状态信息，根据无人***的实时状态信息对无人***的自主等级进行分类；
步骤102，获取操作员的实时生理数据与动作指令，根据操作员的生理数据对操作员的疲劳度进行分类获取操作员的疲劳度分类信息，根据操作员的动态指令生成无人***的任务指令；
步骤103，获取无人***在执行任务过程中的实时环境信息，根据实时环境信息与无人***的任务指令计算出无人***在执行任务过程中的环境复杂度、任务复杂度与综合情报信息；
步骤104，根据任务复杂度对无人***的并发任务进行冲突消解；
步骤105，根据环境复杂度、任务复杂度、操作员的疲劳度分类信息、无人***的自主等级分类信息计算出无人***的控制模态，并根据控制模态控制无人***运行。
参考图9，步骤104中具体包括：
步骤201，对无人***中的单个无人设备分别进行petri网建模，整合所有无人设备的petri网子模型，得到无人***的petri网模型，即图10所示；
步骤202，根据每一petri网子模型的变迁与库所，对petri网模型中可能发生冲突的时间区间进行冲突检测，获取petri网模型中的冲突变迁；
步骤203，根据优先级函数确定冲突变迁中变迁发生的先后次序，进而达到对无人***的并发任务进行冲突消解的效果。
以上步骤104的具体过程中，为了便于对无人***Petri网的分析和建模，采用自下而上的方式：即复杂分布式***由简单子***组合而成。单个无人设备包括若干离散及连续的变迁t和库所p，变迁表示任务事件，库所表示***资源及其状态，其中，在人机动态任务分配过程中，***资源主要指人的精力和时间。含测试弧的混合时间Petri网在变迁发生的时间段内对***进行分析，同时通过计算冲突可能发生的时间区间对冲突进行检测。图9中p8、p4和p6表示包含人的精力的库所，即共享资源，Petri网清楚的表示出了子***在变迁过程中t4与t4′，t5与t5′存在冲突。对冲突进行消解时，考虑到任务分配的实际情况，在冲突变迁中可引入优先级函数，来确定变迁发生的次序，避免死变迁，保持***活性，从而打破冲突变迁间的时间区间交集达到冲突消解的目的。针对以无人机为例的无人设备要处理的并发任务，需要进行任务的属性分析，构建任务的各种属性矩阵，包括任务需要处理的时间、任务处理的时间窗口、任务的优先级等，分析任务延时处理对作战效能的影响，建立任务调度处理的决策矩阵，采取两种处理方案：1)如果调度方案可以满足任务效能的要求，即引入任务调度策略，主要包括优先级策略、先到先服务(FCFS)策略、最高属性优先(HAF)等。优先级策略又包括动态优先级策略和静态优先级策略，其中截止时间驱动的动态优先级策略是一种典型的动态优先级调度策略，它根据每个任务的绝对截止期限作为优先级，截止期限越短，优先级越高，因此任务没有固定的优先级。2)如果任何一种调度方案都对任务效能有较大的影响，无法实时有效的处理这些并发任务，这时就考虑改变无人机自主***的控制权限，将自主***的权限提升，在人预先授权的范围内进行决策和行动。
步骤102中，操作员的疲劳度分类共分为四级，计算过程为：
式中，x＝1,2,3,4，为操作员的疲劳程度，1级表示操作员状态最佳，2、3级表示操作员状态正在递减，4级表示操作员状态最差；t为操作员的工作时间；r为操作员的休息时间；x0表示操作员初始工作负担x0∈(0,1)；e表示自然常数；δ表示归一化因子。
步骤105中，无人***的控制模态具体有以机为主模式(R)、机主人辅模式(RH)、人主机辅模式(HR)、以人为主模式(H)，计算过程为：
P＝ηx+λw+γξ+ρψ
η+λ+γ+ρ＝1
式中，P表示无人***的控制模态；η为操作员能力权重，λ为任务复杂度的权重，γ为环境复杂度的权重，ρ为智能体自主等级权重；x为操作员的疲劳程度，w为任务复杂度、ξ为环境复杂度、ψ为智能体自主等级；R表示机为主模式的控制模态，RH表示机主人辅模式的控制模态，HR表示人主机辅模式的控制模态，H表示人为主模式的控制模态；Thr1，Thr2，Thr3表示自主等级划分的阈值。
无人机为例，R为机为主模式，指的是在有人机监督的前提下，无人机***自主控制，实现分析态势、识别目标、决策与轨迹规划等工作；RH为机主人辅模式，指的是由有人机进行目标识别、授权决策请求、航机规划与任务控制工作，由无人机自主进行态势感知、决策请求、机载载重规划工作，为半自动控制模式；HR为人主机辅模式，指的是由无人机进行提示态势与目标、提供决策支持。离线重规划与自主飞控工作，由有人机进行态势感知、目标识别、任务决策与分配以及航迹规划工作；H为人为主模式，指的由有人机发布分析态势、识别目标、决策与轨迹规划的指令，由无人机来具体执行。其中，人为主模式自主等级为最低，需要有人机来实现目标识别、任务决策、航迹规划、底层控制等功能；人主机辅模式自主等级次之，目标识别需要有人机来做，任务决策和航迹规划为有人机和无人机共同来完成，飞行控制由无人机完成；机主人辅自主等级较高，由无人机进行自主飞行和态势感知，无人机做出的任务决策由有人机来授权，有人机来规划初始航迹，无人机做航迹重规划。机为主模式的自主等级最高，整个态势感知、目标识别、自主决策、航迹规划、飞行控制都有无人机完成。
以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。
Claims (3)
1.一种基于MAS的多无人***监督控制站，其特征在于，包括平行***架构，所述平行***架构包括多智能体软硬件监督控制***与无人***；
所述多智能体软硬件监督控制***包括硬件平台与软件平台，所述硬件平台包括多屏工作站，所述多屏工作站上设有能够检测操作员生理数据与动态指令的动态生理采集组件；
所述软件平台包括：
操作员状态监控模块，获取动态生理采集组件上传的操作员的生理数据与动态指令，根据操作员的生理数据对操作员的疲劳度进行分类，根据操作员的动态指令生成无人***的任务指令；
无人***状态监控模块，获取无人***的实时状态信息，并根据无人***的实时状态信息对无人***的自主等级进行分类；
环境和任务复杂度监控模块，获取无人***在执行任务过程中的实时环境信息；
情报处理模块，根据环境和任务复杂度监控模块获取的实时环境信息以及操作员状态监控模块生成的任务指令计算出无人***在执行任务过程中的环境复杂度、任务复杂度与综合情报信息；
环境复杂度是由地形复杂度、气象复杂度、通信复杂度、目标复杂度、威胁复杂度五个维度的复杂度评估得到；
地形复杂度的计算过程为：
(1)获取实时地形图片；
(2)计算实时地形图片的图像熵与灰度共生矩阵的反差值；
(3)对实时地形图片的图像熵与灰度共生矩阵的反差值分别进行归一化处理，获得图像熵值的归一化值，以及灰度共生矩阵的反差值的归一化值；
(4)根据图像熵值的归一化值与灰度共生矩阵的反差值的归一化值计算地形复杂度：Land＝0.2×Entropy+0.8×Contrast，其中，Land表示地形复杂度，Entropy表示图像熵值的归一化值，Contrast表示灰度共生矩阵的反差值的归一化值；
威胁复杂度的计算过程为：
(1)针对雷达、高炮和地空导弹三种战场防空火力建立了杀伤区域模型；
(2)根据威胁点的位置在杀伤区域模型中绘制战场防空火力分布图；
(3)计算战场防空火力分布图中的安全区域比例，进而获得威胁复杂度；
气象复杂度的计算过程为：
(1)选取风切变，风力等级，雷暴天气和降雨天气进行模糊综合评价；
(2)针对评价结果出现的不符合常理的情况，采取隶属度次大的趋于评价等级较差的评价等级作为评价的结果，最终模糊综合评价的结果即为气象复杂度；
通信复杂度的计算过程为：
(1)选取能够全面反映通信环境优劣的因素集和评语集；因素集＝{丢包率，误码率，时间延迟，中断}，评语集＝{好，较好，中等，较差，差}；
(2)根据模糊综合评价的方法进行综合评价,最终模糊综合评价的评价结果即为通信复杂度；
目标复杂度的计算过程为：
(1)针对目标混淆采取生成目标结构特征空间的方法进行度量；
(2)针对目标遮掩采取计算目标与局部背景对比度的方法进行度量；
(3)根据目标混淆度和目标遮掩率计算得到目标识别复杂度；
任务复杂度是由任务及战术行为、态势感知、规划与分析、协同与合作四个维度的复杂度来评估得到的；
人机智能融合模块，根据环境复杂度、任务复杂度、操作员的疲劳度、无人***的自主等级计算出无人***的控制模态，并根据控制模态控制无人***运行；
并发任务冲突消解模块，根据无人***在执行任务过程中的任务复杂度对无人***的并发任务进行冲突消解。
2.根据权利要求1所述基于MAS的多无人***监督控制站，其特征在于，所述多屏工作站包括：
操作员状态显示屏，显示操作员的疲劳度分类信息；
无人***状态监控显示屏，显示无人***的自主等级分类信息；
综合态势显示屏，显示无人***在执行任务过程中的环境复杂度；
侦察情报显示屏，显示无人***在执行任务过程中的综合情报信息；
任务规划显示屏，显示无人***在执行任务过程中的任务复杂度。
3.根据权利要求1所述基于MAS的多无人***监督控制站，其特征在于，所述生理数据采集组件包括：
体感传感器，获取包含操作员外部图像与骨骼图像信息的生理数据；
脑电波传感器，获取包含操作员脑电波变化信息的生理数据；
眼动传感器，获取包含操作员注视点位置和眨眼频率信息的动态指令；
语音传感器，获取包含操作员声音信息的动态指令；
心率体温传感器，获取包含操作员心率与体温变化信息的生理数据；
触摸控制屏，获取包含操作员手势动作信息的动态指令。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910460868.2A CN110221620B (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制站 |
| CN202210491666.6A CN114840022A (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910460868.2A CN110221620B (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制站 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210491666.6A Division CN114840022A (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110221620A CN110221620A (zh) | 2019-09-10 |
| CN110221620B true CN110221620B (zh) | 2022-06-07 |
Family
ID=67818582
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910460868.2A Active CN110221620B (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制站 |
| CN202210491666.6A Pending CN114840022A (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210491666.6A Pending CN114840022A (zh) | 2019-05-30 | 2019-05-30 | 一种基于mas的多无人***监督控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN110221620B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110703803A (zh) * | 2019-11-06 | 2020-01-17 | 中国人民解放军国防科技大学 | 一种无人机群飞行控制的方法、无人机、***及介质 |
| CN110806758B (zh) * | 2019-11-12 | 2022-12-30 | 中国人民解放军国防科技大学 | 一种基于情景模糊认知图的无人机群自主等级自适应调整方法 |
| CN111409788B (zh) * | 2020-04-17 | 2021-07-16 | 大连海事大学 | 一种无人船艇自主航行能力测试方法及*** |
| CN114385099B (zh) * | 2021-11-26 | 2023-12-12 | 中国航空无线电电子研究所 | 基于主动推显的多无人机动态监控界面显示方法和装置 |
| CN114378796B (zh) * | 2022-03-04 | 2023-09-05 | 国网智能科技股份有限公司 | 主从与自主作业一体化的机械臂***、机器人***及方法 |
| CN115640106B (zh) * | 2022-10-18 | 2023-09-29 | 杭州国科骏飞光电科技有限公司 | 一种面向多无人机指挥控制的人机功能分配方法及*** |
| CN117950355B (zh) * | 2024-03-27 | 2024-06-11 | 西安爱生无人机技术有限公司 | 一种侦察型无人机监督控制***及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6360193B1 (en) * | 1998-09-17 | 2002-03-19 | 21St Century Systems, Inc. | Method and system for intelligent agent decision making for tactical aerial warfare |
| CN107643695A (zh) * | 2017-09-07 | 2018-01-30 | 天津大学 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9030491B1 (en) * | 2012-04-18 | 2015-05-12 | The United States Of America As Represented By The Secretary Of The Navy | System and method for displaying data from multiple devices on a single user interface |
| CN106200679B (zh) * | 2016-09-21 | 2019-01-29 | 中国人民解放军国防科学技术大学 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
-
2019
- 2019-05-30 CN CN201910460868.2A patent/CN110221620B/zh active Active
- 2019-05-30 CN CN202210491666.6A patent/CN114840022A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6360193B1 (en) * | 1998-09-17 | 2002-03-19 | 21St Century Systems, Inc. | Method and system for intelligent agent decision making for tactical aerial warfare |
| CN107643695A (zh) * | 2017-09-07 | 2018-01-30 | 天津大学 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 于振华 等.基于Petri网的多Agent***设计与实现.《电子科技大学学报》.2007,第36卷(第03期),第517-520页. * |
| 黄席樾 等.基于Agent的人机协同机制与人的作用.《重庆大学学报(自然科学版)》.2002,第25卷(第09期),第32-35页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114840022A (zh) | 2022-08-02 |
| CN110221620A (zh) | 2019-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110221620B (zh) | 一种基于mas的多无人***监督控制站 | |
| CN110222406B (zh) | 一种基于任务阶段复杂性的无人机自主能力评估方法 | |
| McGee et al. | The future of air traffic control: Human operators and automation | |
| Coppin et al. | Autonomy spectrum and performance perception issues in swarm supervisory control | |
| Kilingaru et al. | Monitoring pilot “situation awareness” | |
| Strenzke et al. | Managing cockpit crew excess task load in military manned-unmanned teaming missions by dual-mode cognitive automation approaches | |
| Kulida et al. | About the use of artificial intelligence methods in aviation | |
| Parasuraman et al. | Automation and human performance in aviation | |
| Honecker et al. | Automated online determination of pilot activity under uncertainty by using evidential reasoning | |
| Gore et al. | A computational implementation of a human attention guiding mechanism in MIDAS v5 | |
| RU2128854C1 (ru) | Система поддержки экипажа в опасных ситуациях | |
| Alharasees et al. | Human Factors in the Age of Autonomous UAVs: Impact of Artificial Intelligence on Operator Performance and Safety | |
| Wang et al. | Intelligent interaction model for battleship control based on the fusion of target intention and operator emotion | |
| Corker | Cognitive models and control: Human and system dynamics in advanced airspace operations | |
| Smith et al. | The design and application of MIDAS: A constructive simulation for human-system analysis | |
| Ponomaryova et al. | DEVISING AN APPROACH FOR THE AUTOMATED RESTORATION OF SHIPMASTER’S NAVIGATIONAL QUALIFICATION PARAMETERS UNDER RISK CONDITIONS. | |
| Skorupski et al. | The model of a pilot competency as a factor influencing the safety of air traffic | |
| Haselein et al. | Multiple machine learning modeling on near mid-air collisions: An approach towards probabilistic reasoning | |
| Werther et al. | Colored Petri Net based formal airport control model for simulation and analysis of airport control processes | |
| Corker et al. | A cognitive system model for human/automation dynamics in airspace management | |
| Mulgund et al. | Olipsa: On-line intelligent processor for situation assessment | |
| Schweiger et al. | Classification for avionics capabilities enabled by artificial intelligence | |
| Mehta et al. | A control architecture for human-machine interaction in the presence of unreliable automation and operator cognitive limitations | |
| Wickens et al. | Predicting pilot performance in off-nominal conditions: A meta-analysis and model validation | |
| Chu et al. | Analysis and modeling of information handling tasks in supervisory control of advanced aircraft |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |