CN113566831B - 基于人机交互的无人机集群导航方法、装置和设备 - Google Patents

基于人机交互的无人机集群导航方法、装置和设备 Download PDF

Info

Publication number
CN113566831B
CN113566831B CN202111125458.6A CN202111125458A CN113566831B CN 113566831 B CN113566831 B CN 113566831B CN 202111125458 A CN202111125458 A CN 202111125458A CN 113566831 B CN113566831 B CN 113566831B
Authority
CN
China
Prior art keywords
value
state evaluation
agent
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111125458.6A
Other languages
English (en)
Other versions
CN113566831A (zh
Inventor
何华
周鑫
王彦锋
李小波
杨松
井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111125458.6A priority Critical patent/CN113566831B/zh
Publication of CN113566831A publication Critical patent/CN113566831A/zh
Application granted granted Critical
Publication of CN113566831B publication Critical patent/CN113566831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)

Abstract

本申请涉及一种基于人机交互的无人机集群导航方法、装置和设备。所述方法包括：构建人机协同导航框架，将无人机定义为动态规划中的智能体，根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数，采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径。采用本方法，可以实现人机交互情况下无人机集群的导航规划。

Description

基于人机交互的无人机集群导航方法、装置和设备
技术领域
本申请涉及人机交互条件下无人机导航技术领域，特别是涉及一种基于人机交互的无人机集群导航方法、装置和设备。
背景技术
在进行无人机探测导航时，人机交互***是由指挥员与机器人组成的复杂***，他们相互协作以实现一个共同的目标。无人集群是由多个无人平台组成的群体，如无人机集群、无人车集群。在无人集群自动规划领域，无人平台会根据其当前状态和附近环境，与相邻无人平台相互交互以及自己的局部控制规则进行自动规划。人机交互***在未知远程环境和高度非结构化的任务中具有卓越性能，能够减少了人员工作量，完成单个无人平台无法完成的任务，且具有更高的故障鲁棒性和可扩展性，然而在进行无人机集群的导航规划时，传统的任务规划算法或者导航算法无法进行人机交互情况下的导航规划。
发明内容
基于此，有必要针对上述技术问题，提供一种基于人机交互的无人机集群导航方法、装置和设备。
一种基于人机交互的无人机集群导航方法，所述方法包括：
构建人机协同导航框架；所述人机协同导航框架中包括：搜索价值、搜索代价和回报值；所述搜索价值是无人机对区域进行探索得到的反馈值，所述区域是对地理环境进行网格划分得到的；所述搜索代价是根据无人机对区域进行探索时的资源消耗确定的；所述回报值是所述搜索价值和所述搜索代价的差值；所述反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值；
将无人机定义为动态规划中的智能体；所述智能体能够根据已探索的区域选择回报值最大的区域作为导航方案；
根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数；所述***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值；
采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径。
在其中一个实施例中，还包括：确定每个智能体的导航方案为：
Figure 192445DEST_PATH_IMAGE001
其中，
Figure 688149DEST_PATH_IMAGE002
表示已探索的区域对应的已探索方案，
Figure 279667DEST_PATH_IMAGE003
表示智能体的输入。
在其中一个实施例中，还包括：将所述***状态评估函数分解为每个智能体的期望回报值为：
Figure 442795DEST_PATH_IMAGE004
其中，
Figure 828777DEST_PATH_IMAGE005
，
Figure 592202DEST_PATH_IMAGE006
表示第k个智能体的子***状态评估函数，
Figure 721833DEST_PATH_IMAGE007
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 739467DEST_PATH_IMAGE008
其中，
Figure 296350DEST_PATH_IMAGE009
表示无人机选择低空探测时的***状态评估函数，
Figure 15914DEST_PATH_IMAGE010
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 683655DEST_PATH_IMAGE011
无人机选择人机交互时的***状态评估函数为：
Figure 821376DEST_PATH_IMAGE012
其中，p表示指挥员响应并成功分析出执行行动
Figure 549160DEST_PATH_IMAGE013
的方案价值的概率；
Figure 37910DEST_PATH_IMAGE014
分别表示对于方案i，智能体执行行动
Figure 493031DEST_PATH_IMAGE015
和行动
Figure 485258DEST_PATH_IMAGE013
所耗费的成本，当***状态为
Figure 649523DEST_PATH_IMAGE016
时，第k个智能体需要确定是停止搜索并从集合
Figure 94411DEST_PATH_IMAGE017
选择最大价值
Figure 369534DEST_PATH_IMAGE018
，或是在比较行动
Figure 731115DEST_PATH_IMAGE019
和行动
Figure 535123DEST_PATH_IMAGE020
效果后继续探索未知方案i。
在其中一个实施例中，还包括：定义无人机选择低空探测时的***状态评估函数的期望状态评估值为：
Figure 998465DEST_PATH_IMAGE021
其中，
Figure 546121DEST_PATH_IMAGE022
的概率为
Figure 762207DEST_PATH_IMAGE023
，
Figure 2696DEST_PATH_IMAGE024
的概率为
Figure 687755DEST_PATH_IMAGE025
；
定义无人机选择人机交互时的***状态评估函数的期望状态评估值为：
Figure 773523DEST_PATH_IMAGE026
其中，
Figure 844116DEST_PATH_IMAGE027
的概率为
Figure 989926DEST_PATH_IMAGE028
，
Figure 896703DEST_PATH_IMAGE029
的概率为
Figure 786161DEST_PATH_IMAGE030
。
在其中一个实施例中，还包括：根据低空探测时的***状态评估函数的期望状态评估值，以及人机交互时的***状态评估函数的期望状态评估值，确定执行行动
Figure 242419DEST_PATH_IMAGE031
和行动
Figure 559131DEST_PATH_IMAGE032
的决策指标分别记为
Figure 953203DEST_PATH_IMAGE033
和
Figure 646353DEST_PATH_IMAGE034
为：
Figure 707850DEST_PATH_IMAGE035
进一步化简得到：
Figure 733747DEST_PATH_IMAGE036
根据***状态
Figure 349536DEST_PATH_IMAGE037
和指标集合
Figure 580797DEST_PATH_IMAGE038
，确定搜索规则；所述搜索规则包括：判断规则和停止规则；所述判断规则指示智能体探索未探索区域而执行动作，所述停止规则当前最大价值大于所有未知方案的决策指标时，则停止搜索并选择具有最大价值的导航方案作为最终导航方案。
在其中一个实施例中，还包括：计算所有方案的行动指标对应的决策指标，并保存至决策指标集合中；
基于SADP算法设置探索程序和仿真程序求解所述***状态评估函数，得到每个智能体的导航方案；所述探索程序用于计算在决策指标集合中最大决策指标，以及根据最大决策指标输出的导航方案、行动以及代价，若最大反馈值大于最大决策指标，则输出最终导航方案，若最大反馈值小于或等于最大决策指标，则启动仿真程序，仿真指挥员是否响应并成功分析出执行行动
Figure 496801DEST_PATH_IMAGE039
的方案价值的结果，以及响应的反馈值的结果。
一种基于人机交互的无人机集群导航装置，所述装置包括：
框架搭建模块，用于构建人机协同导航框架；所述人机协同导航框架中包括：搜索价值、搜索代价和回报值；所述搜索价值是无人机对区域进行探索得到的反馈值，所述区域是对地理环境进行网格划分得到的；所述搜索代价是根据无人机对区域进行探索时的资源消耗确定的；所述回报值是所述搜索价值和所述搜索代价的差值；所述反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值；
规划模块，用于将无人机定义为动态规划中的智能体；所述智能体能够根据已探索的区域选择回报值最大的区域作为导航方案；
***状态转化模块，用于根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数；所述***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值；
导航模块，用于采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径。
在其中一个实施例中，所述规划模块还用于确定每个智能体的导航方案为：
Figure 404583DEST_PATH_IMAGE040
其中，
Figure 773247DEST_PATH_IMAGE041
表示已探索的区域对应的已探索方案，
Figure 808199DEST_PATH_IMAGE042
表示智能体的输入。
在其中一个实施例中，所述***状态转化模块还用于将所述***状态评估函数分解为每个智能体的期望回报值为：
Figure 562398DEST_PATH_IMAGE043
其中，
Figure 657393DEST_PATH_IMAGE044
，
Figure 778932DEST_PATH_IMAGE045
，
Figure 351996DEST_PATH_IMAGE046
表示第k个智能体的子***状态评估函数，
Figure 977013DEST_PATH_IMAGE047
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 757756DEST_PATH_IMAGE048
其中，
Figure 835433DEST_PATH_IMAGE049
表示无人机选择低空探测时的***状态评估函数，
Figure 477767DEST_PATH_IMAGE050
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 957290DEST_PATH_IMAGE051
无人机选择人机交互时的***状态评估函数为：
Figure 643355DEST_PATH_IMAGE052
其中，p表示指挥员响应并成功分析出执行行动
Figure 473908DEST_PATH_IMAGE053
的方案价值的概率；
Figure 388774DEST_PATH_IMAGE054
分别表示对于方案i，智能体执行行动
Figure 253962DEST_PATH_IMAGE055
和行动
Figure 861661DEST_PATH_IMAGE053
所耗费的成本，当***状态为
Figure 179510DEST_PATH_IMAGE056
时，第k个智能体需要确定是停止搜索并从集合
Figure 147335DEST_PATH_IMAGE057
选择最大价值
Figure 601450DEST_PATH_IMAGE058
，或是在比较行动
Figure 645629DEST_PATH_IMAGE059
和行动
Figure 185195DEST_PATH_IMAGE060
效果后继续探索未知方案i。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现步骤如下：
构建人机协同导航框架；所述人机协同导航框架中包括：搜索价值、搜索代价和回报值；所述搜索价值是无人机对区域进行探索得到的反馈值，所述区域是对地理环境进行网格划分得到的；所述搜索代价是根据无人机对区域进行探索时的资源消耗确定的；所述回报值是所述搜索价值和所述搜索代价的差值；所述反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值；
将无人机定义为动态规划中的智能体；所述智能体能够根据已探索的区域选择回报值最大的区域作为导航方案；
根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数；所述***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值；
采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径。
上述基于人机交互的无人机集群导航方法、装置和设备，针对存在人机交互时的无人机集群的导航，构建了人机协同导航框架，在框架中，通过反馈值和搜索代价，引入无人机人机交互时对导航的影响，由于无人机集群中每个无人机都是独立的，因此引入了智能体的概念，以智能体的行动作为无人机决策的动作，来进行无人机导航的动态规划，在进行任务规划时，将各个区域分为已探索区域和未探索区域分开考虑，从而将动态规划问题，化解为***状态评估问题，最终通过SADP算法求解***状态评估函数，得到无人机集群导航的整体导航方案。
附图说明
图1为一个实施例中基于人机交互的无人机集群导航方法的流程示意图；
图2为一个实施例中方案状态转移关系的示意图；
图3为一个实施例中基于人机交互的无人机集群导航装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于人机交互的无人机集群导航方法，包括以下步骤：
步骤102，构建人机协同导航框架。
人机协同导航框架中包括：搜索价值、搜索代价和回报值；搜索价值是无人机对区域进行探索得到的反馈值，区域是对地理环境进行网格划分得到的；搜索代价是根据无人机对区域进行探索时的资源消耗确定的；回报值是搜索价值和搜索代价的差值；反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值。
具体的，无人集群在区域中寻找到高价值目标，如果包含的高价值目标越多，则这片区域就越有价值。无人集群的目标是以尽可能少的代价寻找到价值尽可能高的若干区域。假设每个区域的价值是独立的，在被无人集群探测之前具体数值是未知的。以此为基础，定义搜索价值、搜索代价和回报值。以下进行展开说明：
1、对于搜索价值，是指无人集群探索某个区域的必要性的综合度量。
搜索价值是由目标的重要程度决定的，目标越重要，那么该目标所具备的价值也就越大，探索这片区域的价值也就越大。考虑到先验态势信息的不准确性，每片区域的价值事先是不确定的。假设不同区域的价值是相互独立的。对于区域
Figure 956711DEST_PATH_IMAGE061
，其价值
Figure 530911DEST_PATH_IMAGE062
服从概率分布
Figure 480413DEST_PATH_IMAGE063
，其中U表示所有备选区域，或称为方案空间。无人集群可以采用抵近侦察或者高空侦察的方式获取信息。其中，抵近侦察能够获取区域的确切价值，高空侦察数据需要成功咨询指挥员后才可能获得确切价值。另外，不同行动耗费的成本是不一致的，比如抵近侦察就存在被击落的风险，而高空侦察则不易被击落。
2、对于搜索代价，是指无人集群探索某个区域时的成本的综合度量。
派遣无人集群前往目标地点搜索是需要耗费成本的，记为
Figure 507275DEST_PATH_IMAGE064
。假设采用不同行动搜索不同区域的代价是已知的且相互独立的。那么，无人集群在考虑进一步探索时，需要权衡搜索价值和搜索代价的关系，即回报值。回报值可以认为是净效益，在本发明中无人集群的目标是使得回报值最大化。
3、回报值，是搜索价值与探索成本之差。
每个区域的状态分为状态未知、状态已知和状态分析三类，如图2所示。状态未知是指该区域还未被无人集群探索，确切价值尚不可知；状态已知是指该区域已经被无人集群探测过，已经查明了确切价值；状态分析是指该地区正在被无人集探测，无人集群正向指挥员请求数据分析。可以采用多种手段进行探测，不失一般性，无人集群主要有如下两种手段：①无人集群前往目标区域u进行抵近侦察，采用多个视角和多种传感器收集和处理数据，记为
Figure 833214DEST_PATH_IMAGE065
；②无人集群前往目标区域u进行高空侦察，并请求指挥员进行大数据分析，记为
Figure 245609DEST_PATH_IMAGE066
。所有行动集合记为
Figure 366012DEST_PATH_IMAGE067
。
步骤104，将无人机定义为动态规划中的智能体。
智能体，即Agent。智能体能够根据已探索的区域选择回报值最大的区域作为导航方案。
具体的，人与无人集群协作搜索被形式化建模为一类多Agent***动态规划问题，其中无人平台被抽象为Agent，每个区域被称为一个方案。将备选方案集合记为
Figure 880170DEST_PATH_IMAGE068
，将其分为两个互斥集合：一个为不断增加的已探索方案集合
Figure 9800DEST_PATH_IMAGE069
，另一个是未探索方案集合
Figure 27435DEST_PATH_IMAGE070
，
Figure 833586DEST_PATH_IMAGE071
，
Figure 835040DEST_PATH_IMAGE072
。每个Agent在决策时，可以选择是否从集合
Figure 237202DEST_PATH_IMAGE073
中选择一个未探索方案进行探索，此时可以采用抵近侦察和咨询指挥员两种方式获得确切回报值；或者该Agent停止探索并从集合
Figure 640502DEST_PATH_IMAGE074
中选择一个已探索方案作为最终方案。设定整个集群一共选取
Figure 368286DEST_PATH_IMAGE075
个方案，每个Agent只能够选择一个最有价值的方案。
步骤106，根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数。
***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值。
***状态评估函数为当已知价值集合为y且未探索方案集合为
Figure 840725DEST_PATH_IMAGE073
时，执行最优策略能够获得的期望回报值，记为
Figure 577737DEST_PATH_IMAGE076
。
步骤108，采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径。
上述基于人机交互的无人机集群导航，针对存在人机交互时的无人机集群的导航，构建了人机协同导航框架，在框架中，通过反馈值和搜索代价，引入无人机人机交互时对导航的影响，由于无人机集群中每个无人机都是独立的，因此引入了智能体的概念，以智能体的行动作为无人机决策的动作，来进行无人机导航的动态规划，在进行任务规划时，将各个区域分为已探索区域和未探索区域分开考虑，从而将动态规划问题，化解为***状态评估问题，最终通过SADP算法求解***状态评估函数，得到无人机集群导航的整体导航方案。
在其中一个实施例中，确定每个智能体的导航方案为：
Figure 569963DEST_PATH_IMAGE077
其中，
Figure 203070DEST_PATH_IMAGE078
表示已探索的区域对应的已探索方案，
Figure 179116DEST_PATH_IMAGE079
表示智能体的输入。
另外，在Agent***动态规划问题中，求解问题的充分统计量记为
Figure 437928DEST_PATH_IMAGE080
，称为***状态。***状态分为两部分：未探索方案信息
Figure 550241DEST_PATH_IMAGE081
，和已探索方案集合
Figure 619828DEST_PATH_IMAGE082
。以此作为将Agent***多动态规划问题即转化为***状态评估函数的依据。
在其中一个实施例中，将***状态评估函数分解为每个智能体的期望回报值为：
Figure 817591DEST_PATH_IMAGE083
其中，
Figure 630826DEST_PATH_IMAGE084
，
Figure 863224DEST_PATH_IMAGE085
表示第k个智能体的子***状态评估函数，
Figure 352980DEST_PATH_IMAGE086
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 38040DEST_PATH_IMAGE087
其中，
Figure 654966DEST_PATH_IMAGE088
表示无人机选择低空探测时的***状态评估函数，
Figure 741871DEST_PATH_IMAGE089
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 887681DEST_PATH_IMAGE090
无人机选择人机交互时的***状态评估函数为：
Figure 60036DEST_PATH_IMAGE091
其中，p表示指挥员响应并成功分析出执行行动
Figure 464342DEST_PATH_IMAGE092
的方案价值的概率；
Figure 405753DEST_PATH_IMAGE093
分别表示对于方案i，智能体执行行动
Figure 988044DEST_PATH_IMAGE094
和行动
Figure 647696DEST_PATH_IMAGE095
所耗费的成本，当***状态为
Figure 606424DEST_PATH_IMAGE096
时，第k个智能体需要确定是停止搜索并从集合
Figure 651610DEST_PATH_IMAGE097
选择最大价值
Figure 670381DEST_PATH_IMAGE098
，或是在比较行动
Figure 551750DEST_PATH_IMAGE099
和行动
Figure 48590DEST_PATH_IMAGE100
效果后继续探索未知方案i。
具体的，每个Agent都有局部方案空间，不同Agent的方案空间可能交叉
Figure 964593DEST_PATH_IMAGE101
，也可能不交叉
Figure 888687DEST_PATH_IMAGE102
。对于每个子集
Figure 772198DEST_PATH_IMAGE103
和价值集合
Figure 807150DEST_PATH_IMAGE104
，子***状态评估函数
Figure 577660DEST_PATH_IMAGE105
需要满足上述迭代关系。
在其中一个实施例中，定义无人机选择低空探测时的***状态评估函数的期望状态评估值为：
Figure 938234DEST_PATH_IMAGE107
其中，
Figure 528616DEST_PATH_IMAGE108
的概率为
Figure 632838DEST_PATH_IMAGE109
，
Figure 507122DEST_PATH_IMAGE110
的概率为
Figure 38597DEST_PATH_IMAGE111
；
定义无人机选择人机交互时的***状态评估函数的期望状态评估值为：
Figure 116275DEST_PATH_IMAGE112
其中，
Figure 758609DEST_PATH_IMAGE113
的概率为
Figure 238132DEST_PATH_IMAGE114
，
Figure 189776DEST_PATH_IMAGE115
的概率为
Figure 754750DEST_PATH_IMAGE111
。
上述公式中，对于行动
Figure 200774DEST_PATH_IMAGE116
，如果采样价值
Figure 800383DEST_PATH_IMAGE117
，出现该情况的概率为
Figure 673661DEST_PATH_IMAGE118
，那么当前最高采样价值不变，期望状态评估值为
Figure 725931DEST_PATH_IMAGE119
；如果
Figure 959335DEST_PATH_IMAGE120
，出现此情况的概率为
Figure 679029DEST_PATH_IMAGE121
，那么当前的最高采样价值将更新为
Figure 457629DEST_PATH_IMAGE122
，期望状态评估值为
Figure 997195DEST_PATH_IMAGE123
。
对于行动
Figure 785022DEST_PATH_IMAGE124
，如果采样价值
Figure 342912DEST_PATH_IMAGE125
，出现该情况的概率为
Figure 557992DEST_PATH_IMAGE126
，那么期望状态评估值为
Figure 584854DEST_PATH_IMAGE127
；如果
Figure 910793DEST_PATH_IMAGE128
，那么期望状态评估值为
Figure 339501DEST_PATH_IMAGE129
。
通过上述定义，将人与无人集群协作搜索问题建模为一种动态规划问题。该问题特点是递归计算，因此难以直接求解状态评估函数。
在其中一个实施例中，根据低空探测时的***状态评估函数的期望状态评估值，以及人机交互时的***状态评估函数的期望状态评估值，确定执行行动
Figure 725483DEST_PATH_IMAGE130
和行动
Figure 488908DEST_PATH_IMAGE131
的决策指标分别记为
Figure 352959DEST_PATH_IMAGE132
和
Figure 901752DEST_PATH_IMAGE133
为：
Figure 458635DEST_PATH_IMAGE134
进一步化简得到：
Figure 194510DEST_PATH_IMAGE135
根据***状态
Figure 127831DEST_PATH_IMAGE136
和指标集合
Figure 514819DEST_PATH_IMAGE137
，确定搜索规则；搜索规则包括：判断规则和停止规则；判断规则指示智能体探索未探索区域而执行动作，停止规则当前最大价值大于所有未知方案的决策指标时，则停止搜索并选择具有最大价值的导航方案作为最终导航方案。
通过该规则，复杂的***状态函数计算问题就转化为简单的指标判断问题，且每个指标的计算都是独立的，不受其他方案价值概率分布的影响。
在其中一个实施例中，计算所有方案的行动指标对应的决策指标，并保存至决策指标集合中；基于SADP算法设置探索程序和仿真程序求解***状态评估函数，得到每个智能体的导航方案；探索程序用于计算在决策指标集合中最大决策指标，以及根据最大决策指标输出的导航方案、行动以及代价，若最大反馈值大于最大决策指标，则输出最终导航方案，若最大反馈值小于或等于最大决策指标，则启动仿真程序，仿真指挥员是否响应并成功分析出执行行动
Figure 242603DEST_PATH_IMAGE138
的方案价值的结果，以及响应的反馈值的结果。
具体的，探索程序如表1所示：
表1探索程序
Figure 465774DEST_PATH_IMAGE139
Figure 202786DEST_PATH_IMAGE140
仿真程序如表2所示：
表2仿真程序
Figure 460592DEST_PATH_IMAGE141
具体的，在嵌套遍历中，应先找出集合
Figure 342966DEST_PATH_IMAGE142
中最大指标
Figure 53433DEST_PATH_IMAGE143
，以及对应的方案
Figure 62978DEST_PATH_IMAGE144
、行动
Figure 175290DEST_PATH_IMAGE145
和代价
Figure 510457DEST_PATH_IMAGE146
。如果最大采样价值大于最大决策指标
Figure 691908DEST_PATH_IMAGE147
，则停止搜索并返回最大采用价值
Figure 770723DEST_PATH_IMAGE148
、最终方案
Figure 737542DEST_PATH_IMAGE149
和累积搜索代价；反之则进入仿真程序G，获取是否咨询成功
Figure 978030DEST_PATH_IMAGE150
以及采样价值x。如果获得确切采样价值，那么更新集合
Figure 397510DEST_PATH_IMAGE151
、
Figure 998125DEST_PATH_IMAGE152
、
Figure 85029DEST_PATH_IMAGE153
和累积搜索代价
Figure 496419DEST_PATH_IMAGE154
。
在仿真程序G中，如果采取行动
Figure 668774DEST_PATH_IMAGE155
，则将生成的随机数r与咨询成功率p对比，以判断能否咨询成功。另外，符号“~”表示采样，
Figure 823812DEST_PATH_IMAGE156
表示对概率分布
Figure 765223DEST_PATH_IMAGE157
进行一次采样。
值得说明的是，每个Agent动态规划问题的求解过程就同潘多拉问题的求解过程一致。每个已探索方案
Figure 596782DEST_PATH_IMAGE158
具有价值
Figure 256434DEST_PATH_IMAGE159
；未探索方案i可以看成是两个独立的方案
Figure 949583DEST_PATH_IMAGE160
，每个方案代价分别为
Figure 11080DEST_PATH_IMAGE161
，搜索价值概率分布为
Figure 764272DEST_PATH_IMAGE162
。一旦得到方案i的采样回报值，则将两个方案
Figure 894908DEST_PATH_IMAGE163
移入已探索集合I。此外，本文采用基于指标的搜索策略，即如果要继续探索，则选择具有最高指标的架构；如果停止搜索，则选择具有最大已知采样值的架构，SADP算法的时间复杂度取决于排序算法的时间复杂度。算法的执行过程是基于方案指标值大小而执行的，这个顺序在整个探索过程中是不会发生改变的。换句话说，该算法的计算复杂度等于排序算法的计算复杂度。现有排序算法，如堆排序、冒泡排序，都是多项式时间的计算复杂度。因此，SADP算法是一种多项式时间最优算法。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种基于人机交互的无人机集群导航装置，包括：框架搭建模块302、规划模块304、***状态转化模块306和导航模块308，其中：
框架搭建模块302，用于构建人机协同导航框架；所述人机协同导航框架中包括：搜索价值、搜索代价和回报值；所述搜索价值是无人机对区域进行探索得到的反馈值，所述区域是对地理环境进行网格划分得到的；所述搜索代价是根据无人机对区域进行探索时的资源消耗确定的；所述回报值是所述搜索价值和所述搜索代价的差值；所述反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值；
规划模块304，用于将无人机定义为动态规划中的智能体；所述智能体能够根据已探索的区域选择回报值最大的区域作为导航方案；
***状态转化模块306，用于根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数；所述***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值；
导航模块308，用于采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径。
在其中一个实施例中，规划模块304还用于确定每个智能体的导航方案为：
Figure 657328DEST_PATH_IMAGE164
其中，
Figure 573331DEST_PATH_IMAGE165
表示已探索的区域对应的已探索方案，
Figure 497425DEST_PATH_IMAGE166
表示智能体的输入。
在其中一个实施例中，***状态转化模块306还用于将所述***状态评估函数分解为每个智能体的期望回报值为：
Figure 866089DEST_PATH_IMAGE167
其中，
Figure 901042DEST_PATH_IMAGE168
，
Figure 186398DEST_PATH_IMAGE169
表示第k个智能体的子***状态评估函数，
Figure 281393DEST_PATH_IMAGE170
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 137354DEST_PATH_IMAGE171
其中，
Figure 241576DEST_PATH_IMAGE172
表示无人机选择低空探测时的***状态评估函数，
Figure 866592DEST_PATH_IMAGE173
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 398068DEST_PATH_IMAGE174
无人机选择人机交互时的***状态评估函数为：
Figure 725013DEST_PATH_IMAGE175
其中，p表示指挥员响应并成功分析出执行行动
Figure 367347DEST_PATH_IMAGE176
的方案价值的概率；
Figure 846870DEST_PATH_IMAGE177
分别表示对于方案i，智能体执行行动
Figure 283667DEST_PATH_IMAGE178
和行动
Figure 832329DEST_PATH_IMAGE179
所耗费的成本，当***状态为
Figure 12775DEST_PATH_IMAGE180
时，第k个智能体需要确定是停止搜索并从集合
Figure 612383DEST_PATH_IMAGE181
选择最大价值
Figure 485661DEST_PATH_IMAGE182
，或是在比较行动
Figure 803510DEST_PATH_IMAGE183
和行动
Figure 36914DEST_PATH_IMAGE184
效果后继续探索未知方案i。
在其中一个实施例中，还包括：状态评估模块，用于定义无人机选择低空探测时的***状态评估函数的期望状态评估值为：
Figure 491029DEST_PATH_IMAGE185
其中，
Figure 269630DEST_PATH_IMAGE186
的概率为
Figure 74775DEST_PATH_IMAGE187
，
Figure 597023DEST_PATH_IMAGE188
的概率为
Figure 171224DEST_PATH_IMAGE189
；
定义无人机选择人机交互时的***状态评估函数的期望状态评估值为：
Figure 369993DEST_PATH_IMAGE190
其中，
Figure 396854DEST_PATH_IMAGE191
的概率为
Figure 722794DEST_PATH_IMAGE192
，
Figure 151501DEST_PATH_IMAGE193
的概率为
Figure 537483DEST_PATH_IMAGE194
。
在其中一个实施例中，***状态转化模块306还用于根据低空探测时的***状态评估函数的期望状态评估值，以及人机交互时的***状态评估函数的期望状态评估值，确定执行行动
Figure 300908DEST_PATH_IMAGE195
和行动
Figure 164959DEST_PATH_IMAGE196
的决策指标分别记为
Figure 713752DEST_PATH_IMAGE197
和
Figure 270635DEST_PATH_IMAGE198
为：
Figure 6510DEST_PATH_IMAGE199
进一步化简得到：
Figure 415799DEST_PATH_IMAGE200
根据***状态
Figure 819098DEST_PATH_IMAGE201
和指标集合
Figure 546883DEST_PATH_IMAGE202
，确定搜索规则；所述搜索规则包括：判断规则和停止规则；所述判断规则指示智能体探索未探索区域而执行动作，所述停止规则当前最大价值大于所有未知方案的决策指标时，则停止搜索并选择具有最大价值的导航方案作为最终导航方案。
在其中一个实施例中，导航模块308还用于计算所有方案的行动指标对应的决策指标，并保存至决策指标集合中；基于SADP算法设置探索程序和仿真程序求解所述***状态评估函数，得到每个智能体的导航方案；所述探索程序用于计算在决策指标集合中最大决策指标，以及根据最大决策指标输出的导航方案、行动以及代价，若最大反馈值大于最大决策指标，则输出最终导航方案，若最大反馈值小于或等于最大决策指标，则启动仿真程序，仿真指挥员是否响应并成功分析出执行行动
Figure 770054DEST_PATH_IMAGE203
的方案价值的结果，以及响应的反馈值的结果。
关于基于人机交互的无人机集群导航装置的具体限定可以参见上文中对于基于人机交互的无人机集群导航方法的限定，在此不再赘述。上述基于人机交互的无人机集群导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人机交互的无人机集群导航方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于人机交互的无人机集群导航方法，其特征在于，所述方法包括：
构建人机协同导航框架；所述人机协同导航框架中包括：搜索价值、搜索代价和回报值；所述搜索价值是无人机对区域进行探索得到的反馈值，所述区域是对地理环境进行网格划分得到的；所述搜索代价是根据无人机对区域进行探索时的资源消耗确定的；所述回报值是所述搜索价值和所述搜索代价的差值；所述反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值；
将无人机定义为动态规划中的智能体；所述智能体能够根据已探索的区域选择回报值最大的区域作为导航方案；
根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数；所述***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值；
采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径；
根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数，包括：
将所述***状态评估函数分解为每个智能体的期望回报值为：
Figure 924837DEST_PATH_IMAGE001
其中，
Figure 785346DEST_PATH_IMAGE002
，
Figure 453087DEST_PATH_IMAGE003
表示第k个智能体的子***状态评估函数，
Figure 387545DEST_PATH_IMAGE004
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 974384DEST_PATH_IMAGE005
其中，
Figure 931976DEST_PATH_IMAGE006
表示无人机选择低空探测时的***状态评估函数，
Figure 528043DEST_PATH_IMAGE007
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 520269DEST_PATH_IMAGE008
无人机选择人机交互时的***状态评估函数为：
Figure 950114DEST_PATH_IMAGE009
其中，p表示指挥员响应并成功分析出执行行动
Figure 785214DEST_PATH_IMAGE010
的方案价值的概率；
Figure 529180DEST_PATH_IMAGE011
分别表示对于方案i，智能体执行行动
Figure 500547DEST_PATH_IMAGE012
和行动
Figure 366871DEST_PATH_IMAGE013
所耗费的成本，当***状态为
Figure 299055DEST_PATH_IMAGE014
时，第k个智能体需要确定是停止搜索并从集合
Figure 239854DEST_PATH_IMAGE015
选择最大价值
Figure 675515DEST_PATH_IMAGE016
，或是在比较行动
Figure 40637DEST_PATH_IMAGE017
和行动
Figure 256855DEST_PATH_IMAGE018
效果后继续探索未知方案i。
2.根据权利要求1所述的方法，其特征在于，所述将无人机定义为动态规划中的智能体，包括：
确定每个智能体的导航方案为：
Figure 608202DEST_PATH_IMAGE019
其中，
Figure 288582DEST_PATH_IMAGE020
表示已探索的区域对应的已探索方案，
Figure 699971DEST_PATH_IMAGE021
表示智能体的输入。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
定义无人机选择低空探测时的***状态评估函数的期望状态评估值为：
Figure 403485DEST_PATH_IMAGE022
其中，
Figure 683157DEST_PATH_IMAGE023
的概率为
Figure 93409DEST_PATH_IMAGE024
，
Figure 800334DEST_PATH_IMAGE025
的概率为
Figure 991144DEST_PATH_IMAGE026
；
定义无人机选择人机交互时的***状态评估函数的期望状态评估值为：
Figure 684294DEST_PATH_IMAGE027
其中，
Figure 339266DEST_PATH_IMAGE028
的概率为
Figure 826879DEST_PATH_IMAGE029
，
Figure 504985DEST_PATH_IMAGE030
的概率为
Figure 126459DEST_PATH_IMAGE031
。
4.根据权利要求3所述的方法，其特征在于，在采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案之前，还包括：
根据低空探测时的***状态评估函数和***状态评估函数的期望状态评估值，以及人机交互时的***状态评估函数和***状态评估函数的期望状态评估值，确定执行行动
Figure 511304DEST_PATH_IMAGE032
和行动
Figure 560032DEST_PATH_IMAGE033
的决策指标分别记为
Figure 459855DEST_PATH_IMAGE034
和
Figure 494807DEST_PATH_IMAGE035
为：
Figure 121442DEST_PATH_IMAGE036
进一步化简得到：
Figure 216437DEST_PATH_IMAGE037
根据***状态
Figure 603556DEST_PATH_IMAGE038
和指标集合
Figure 566832DEST_PATH_IMAGE039
，确定搜索规则；所述搜索规则包括：判断规则和停止规则；所述判断规则指示智能体探索未探索区域而执行动作，所述停止规则当前最大价值大于所有未知方案的决策指标时，则停止搜索并选择具有最大价值的导航方案作为最终导航方案。
5.根据权利要求4所述的方法，其特征在于，所述采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，包括：
计算所有方案的行动指标对应的决策指标，并保存至决策指标集合中；
基于SADP算法设置探索程序和仿真程序求解所述***状态评估函数，得到每个智能体的导航方案；所述探索程序用于计算在决策指标集合中最大决策指标，以及根据最大决策指标输出的导航方案、行动以及代价，若最大反馈值大于最大决策指标，则输出最终导航方案，若最大反馈值小于或等于最大决策指标，则启动仿真程序，仿真指挥员是否响应并成功分析出执行行动
Figure 926269DEST_PATH_IMAGE040
的方案价值的结果，以及响应的反馈值的结果。
6.一种基于人机交互的无人机集群导航装置，其特征在于，所述装置包括：
框架搭建模块，用于构建人机协同导航框架；所述人机协同导航框架中包括：搜索价值、搜索代价和回报值；所述搜索价值是无人机对区域进行探索得到的反馈值，所述区域是对地理环境进行网格划分得到的；所述搜索代价是根据无人机对区域进行探索时的资源消耗确定的；所述回报值是所述搜索价值和所述搜索代价的差值；所述反馈值包括：无人机低空探测所采集到的反馈值以及人机交互时接收到的反馈值；
规划模块，用于将无人机定义为动态规划中的智能体；所述智能体能够根据已探索的区域选择回报值最大的区域作为导航方案；
***状态转化模块，用于根据已探索区域对应的方案信息和未探索区域对应的方案信息，将多个智能体的多动态规划问题转化为***状态评估函数；所述***状态评估函数为已探索区域对应的方案信息对应的已知价值集合和未探索区域对应的方案信息在预设状态时，多智能体执行导航方案的期望回报值；
导航模块，用于采用SADP算法求解所述***状态评估函数，得到每个智能体的导航方案，根据每个智能体的导航方案，得到无人机集群的导航路径；
***状态转化模块，还用于将所述***状态评估函数分解为每个智能体的期望回报值为：
Figure 316800DEST_PATH_IMAGE041
其中，
Figure 191215DEST_PATH_IMAGE042
，
Figure 567969DEST_PATH_IMAGE043
表示第k个智能体的子***状态评估函数，
Figure 906547DEST_PATH_IMAGE044
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 343344DEST_PATH_IMAGE045
其中，
Figure 705056DEST_PATH_IMAGE046
表示无人机选择低空探测时的***状态评估函数，
Figure 10135DEST_PATH_IMAGE047
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 78585DEST_PATH_IMAGE048
无人机选择人机交互时的***状态评估函数为：
Figure 810918DEST_PATH_IMAGE049
其中，p表示指挥员响应并成功分析出执行行动
Figure 659925DEST_PATH_IMAGE050
的方案价值的概率；
Figure 644062DEST_PATH_IMAGE051
分别表示对于方案i，智能体执行行动
Figure 691652DEST_PATH_IMAGE052
和行动
Figure 470252DEST_PATH_IMAGE053
所耗费的成本，当***状态为
Figure 806556DEST_PATH_IMAGE054
时，第k个智能体需要确定是停止搜索并从集合
Figure 453438DEST_PATH_IMAGE055
选择最大价值
Figure 496480DEST_PATH_IMAGE056
，或是在比较行动
Figure 242719DEST_PATH_IMAGE057
和行动
Figure 397144DEST_PATH_IMAGE058
效果后继续探索未知方案i。
7.根据权利要求6所述的装置，其特征在于，所述规划模块还用于确定每个智能体的导航方案为：
Figure 457504DEST_PATH_IMAGE059
其中，
Figure 479687DEST_PATH_IMAGE060
表示已探索的区域对应的已探索方案，
Figure 865669DEST_PATH_IMAGE061
表示智能体的输入。
8.根据权利要求6所述的装置，其特征在于，所述***状态转化模块还用于将所述***状态评估函数分解为每个智能体的期望回报值为：
Figure 910985DEST_PATH_IMAGE062
其中，
Figure 899670DEST_PATH_IMAGE063
，
Figure 917304DEST_PATH_IMAGE064
表示第k个智能体的子***状态评估函数，
Figure 333242DEST_PATH_IMAGE065
表示每个智能体的方案选择不同；
根据无人机探测时反馈值的类型，构建每个智能体的迭代公式如下：
Figure 865855DEST_PATH_IMAGE066
其中，
Figure 268017DEST_PATH_IMAGE067
表示无人机选择低空探测时的***状态评估函数，
Figure 530371DEST_PATH_IMAGE068
表示无人机选择人机交互时的***状态评估函数；
无人机选择低空探测时的***状态评估函数为：
Figure 992577DEST_PATH_IMAGE069
无人机选择人机交互时的***状态评估函数为：
Figure 12485DEST_PATH_IMAGE070
其中，p表示指挥员响应并成功分析出执行行动
Figure 342973DEST_PATH_IMAGE071
的方案价值的概率；
Figure 69620DEST_PATH_IMAGE072
分别表示对于方案i，智能体执行行动
Figure 92940DEST_PATH_IMAGE073
和行动
Figure 600144DEST_PATH_IMAGE074
所耗费的成本，当***状态为
Figure 344110DEST_PATH_IMAGE075
时，第k个智能体需要确定是停止搜索并从集合
Figure 315477DEST_PATH_IMAGE076
选择最大价值
Figure 119485DEST_PATH_IMAGE077
，或是在比较行动
Figure 113985DEST_PATH_IMAGE078
和行动
Figure 783345DEST_PATH_IMAGE079
效果后继续探索未知方案i。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
CN202111125458.6A 2021-09-26 2021-09-26 基于人机交互的无人机集群导航方法、装置和设备 Active CN113566831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111125458.6A CN113566831B (zh) 2021-09-26 2021-09-26 基于人机交互的无人机集群导航方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111125458.6A CN113566831B (zh) 2021-09-26 2021-09-26 基于人机交互的无人机集群导航方法、装置和设备

Publications (2)

Publication Number Publication Date
CN113566831A CN113566831A (zh) 2021-10-29
CN113566831B true CN113566831B (zh) 2021-12-07

Family

ID=78174354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111125458.6A Active CN113566831B (zh) 2021-09-26 2021-09-26 基于人机交互的无人机集群导航方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113566831B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114353805B (zh) * 2022-01-13 2022-10-21 中国人民解放军国防科技大学 基于人工辅助的机器人集群导航方法、装置和设备
CN117852316B (zh) * 2024-03-07 2024-05-28 中国人民解放军军事科学院国防科技创新研究院 通讯约束下集群协同导航仿真测试***及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9678506B2 (en) * 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9823658B1 (en) * 2016-11-04 2017-11-21 Loveland Innovations, LLC Systems and methods for adaptive property analysis via autonomous vehicles
US10427786B2 (en) * 2017-09-14 2019-10-01 At&T Intellectual Property I, L.P. Drone authentication system
CN110737212B (zh) * 2018-07-18 2021-01-01 华为技术有限公司 无人机控制***和方法
CN111191840B (zh) * 2019-12-30 2024-02-02 沈阳理工大学 基于离散粒子群优化算法的多无人机动平台任务分配方法
CN112632744B (zh) * 2020-11-13 2023-05-16 中国人民解放军国防科技大学 基于超网络模型的作战体系架构建模方法及空间探索方法
CN112947581B (zh) * 2021-03-25 2022-07-05 西北工业大学 基于多智能体强化学习的多无人机协同空战机动决策方法

Also Published As

Publication number Publication date
CN113566831A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113566831B (zh) 基于人机交互的无人机集群导航方法、装置和设备
KR20190107117A (ko) 시스템들의 자동화 및 제어를 위한 인지 공학 기술을 위한 시스템 및 방법
WO2021057329A1 (zh) 一种作战体系架构建模与最优搜索方法
CN111597358A (zh) 基于关系注意力的知识图谱推理方法、装置和计算机设备
CN111679972B (zh) 软件***可靠性预计方法、装置、计算机设备和存储介质
CN112800237A (zh) 基于知识图谱嵌入表示的预测方法、装置和计算机设备
CN113626612A (zh) 一种基于知识图谱推理的预测方法和***
Hussain et al. Analyzing the performance of smart industry 4.0 applications on cloud computing systems
Son et al. CreativeSearch: Proactive design exploration system with Bayesian information gain and information entropy
KR20210042709A (ko) 기업 관계 데이터를 이용한 주가 예측 방법 및 서버
CN111596894A (zh) 软件需求抽取方法、装置、计算机设备和可读存储介质
CN113867850A (zh) 数据处理方法、装置、设备和存储介质
KR20210069215A (ko) 빅데이터 분석을 최적화하는 사용자 인터페이스 방법
CN111008311A (zh) 基于邻域弱连接的复杂网络节点重要性评估方法和装置
CN113936804B (zh) 一种肺癌切除术后持续漏气风险预测模型构建***
Yeon et al. Visual imputation analytics for missing time-series data in bayesian network
Chen et al. A wireless network based technical and tactical analysis of volleyball game based on data mining techniques
Spichkova et al. A human-centred framework for combinatorial test design
CN114353805B (zh) 基于人工辅助的机器人集群导航方法、装置和设备
TWI626550B (zh) 用於預測系統障礙熱區之處理系統與方法
CN112734008A (zh) 分类网络构建方法以及基于分类网络的分类方法
CN113850454A (zh) 基于工业神经网络的零件制造方法、装置、设备及介质
Sheshkalani et al. Verification of visibility-based properties on multiple moving robots in an environment with obstacles
CN117632905B (zh) 基于云端使用记录的数据库管理方法及***
Li et al. On Testing and Evaluation of Artificial Intelligence Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant