CN111340324B - 基于顺次分配的多层多粒度集群任务规划方法 - Google Patents
基于顺次分配的多层多粒度集群任务规划方法 Download PDFInfo
- Publication number
- CN111340324B CN111340324B CN201910913739.4A CN201910913739A CN111340324B CN 111340324 B CN111340324 B CN 111340324B CN 201910913739 A CN201910913739 A CN 201910913739A CN 111340324 B CN111340324 B CN 111340324B
- Authority
- CN
- China
- Prior art keywords
- information
- layer
- unmanned aerial
- environment
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000010410 layer Substances 0.000 claims abstract description 73
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 239000011229 interlayer Substances 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 39
- 230000009471 action Effects 0.000 claims description 13
- 239000003795 chemical substances by application Substances 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 7
- 230000009916 joint effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 208000001491 myopia Diseases 0.000 abstract description 8
- 230000004379 myopia Effects 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Automation & Control Theory (AREA)
- Development Economics (AREA)
- Remote Sensing (AREA)
- Educational Administration (AREA)
- Radar, Positioning & Navigation (AREA)
- Game Theory and Decision Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于顺次分配的多层多粒度集群任务规划方法,包括多层降维信念信息表示、层间信息交互模型和在线预测函数的顺序分配,所述多层降维信念信息表示为建立统一巡逻模型,所述层间信息交互模型中每一层无人机关注的信息粒度是不同的,但具有一定对应关系,且每一层无人机间的对应关系为主要包括自底向上的信念信息传输和自顶向下的命令信息传输;所述在线预测函数的顺序分配为基于近视调度算法,所述近视调度算法包括基于启发式函数的单无人机巡逻、基于顺次分配技术的子群巡逻和集群巡逻的集中调度。本发明能够在复杂的情况下更好的实现对无人机集群连续侦察的任务规划,有利于进行推广运用。
Description
技术领域
本发明涉及无人机集群控制技术领域,尤其涉及基于顺次分配的多层多粒度集群任务规划方法。
背景技术
无人机集群近年来发展迅速,特别是具有侦察能力的无人机集群,正在成为态势感知的常用手段。我们考虑这样一个情景:无人机集群不断地侦察一片区域,尽可能多地收集态势信息。这在现实中很常见,例如搜索山区失踪的游客、侦察战场环境、获取灾情信息和巡逻植保等等。在这些地区,环境是动态变化和不确定的,且每架无人机只能获取当前时刻的局部信息。换句话说,环境是部分可观察的。因此,难点在于如何进行任务规划,使无人机集群到信息值最大的地方采集信息。
对于动态和不确定的环境,马尔可夫链是目前使用的最广泛的方法之一。例如,有研究者将地面目标建模为两状态马尔可夫链,或者将侦察环境建模为K状态马尔可夫链,也有研究者使用马尔可夫链来表示目标的隐藏运动。根据这些模型,我们假设侦察环境随K状态马尔可夫链变化。目前,大多数关于无人机集群侦察问题的可计算算法是单层控制结构。例如,有研究者引入三种方法来解决具有集中控制结构和分散控制结构的多无人机***的协同任务规划,有研究者提出了一种在动态和不确定环境中进行单层多无人机***侦察的任务规划方法。因此,为了有效地管理大规模多无人机***,建议使用层次结构控制结构来降低复杂性。有许多框架可以解决侦察任务规划问题,部分可观察马尔可夫决策过程是最常见的框架之一。但是,随着无人机数量的增加,可能的行动数量将呈指数增长,一些基线算法,如部分可观察蒙特卡罗计划,很难解决我们的问题。为此,我们提出了一种基于顺次分配的多层多粒度集群任务规划方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的基于顺次分配的多层多粒度集群任务规划方法。
为了实现上述目的,本发明采用了如下技术方案:
基于顺次分配的多层多粒度集群任务规划方法,包括多层降维信念信息表示、层间信息交互模型和在线预测函数的顺序分配,
所述多层降维信念信息表示为建立统一巡逻模型,每一层都可以看作是独立的侦察问题,即将每一层的侦察都抽象为部分可见的马尔科夫决策过程模型,即<S,A,O,δ,Ω,R,B>;描述如下:
为该层所有无人机联合状态集合,包括位置状态和信息状态,定义为 是当前***状态,包括V和S,V是Agent的位置状态,S是环境信息状态,一个联合位置状态定义为联合信息状态定义为其中U为该层无人机的数量,|V|为该层所有顶点数量,每个顶点的信息状态属于Ik∈[I1,I2,...,IK];
对于某无人机k,k∈U,其位置状态转移函数公式如下,其中vgoal表示无人机执行行动后的目标位置;
对于某顶点v,v∈|V|,其信息状态转移函数公式如下,其中sgoal表示状态更新后的目标状态;
所述层间信息交互模型中每一层无人机关注的信息粒度是不同的,同的,但具有对应关系,且每一层无人机间的对应关系为自底向上的信念信息传输和自顶向下的命令信息传输;
所述在线预测函数的顺序分配为基于近视调度算法,所述近视调度算法包括基于启发式函数的单无人机巡逻、基于顺次分配技术的子群巡逻和集群巡逻的集中调度。
优选的,所述信念信息传输指上层环境中顶点的信念信息与下层环境中顶点的信念信息的对应关系,并用Bh(t)=Θb(Bl(t))表示上层信息信念向量Bh(t)与下层信念Bl(t)的关系。
优选的,所述命令信息传输指无人机的行动在上层环境和下层环境中的对应关系,用al(τ)=Θa(ah(th))表示行动,其中al(τ)表示下层Agent在τ时刻的行动,表示上层Agent的行动,(th)表示上层Agent的时间。
本发明提出的基于顺次分配的多层多粒度集群任务规划方法,有益效果在于:本方案在进行运用的过程中,能够在复杂的情况下更好的实现对无人机集群连续侦察的任务规划,进而实现了有效地管理更多的无人机,且随着无人机层数的增加,本方案能够保证低约束性能,而不会增加任何决策者在进行任务规划过程中的计算复杂度,有利于推广运用。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
基于顺次分配的多层多粒度集群任务规划方法,包括多层降维信念信息表示、层间信息交互模型和在线预测函数的顺序分配。
所述多层降维信念信息表示为建立统一巡逻模型,每一层都可以看作是独立的侦察问题,即将每一层的侦察都抽象为部分可见的马尔科夫决策过程模型,即<S,A,O,δ,Ω,R,B>;描述如下:
为该层所有无人机联合状态集合,包括位置状态和信息状态,定义为 是当前***状态,包括V和S,V是Agent的位置状态,S是环境信息状态,一个联合位置状态定义为联合信息状态定义为其中U为该层无人机的数量,|V|为该层所有顶点数量,每个顶点的信息状态属于Ik∈[I1,I2,...,IK];
对于某无人机k,k∈U,其位置状态转移函数公式如下,其中vgoal表示无人机执行行动后的目标位置;
对于某顶点v,v∈|V|,其信息状态转移函数公式如下,其中sgoal表示状态更新后的目标状态;
其中,pIk(t)表示在t时刻节点vn的信息状态是Ik时的条件概率,即是最优策略的充分统计量,通过不同节点的独立状态,我们可以把充分统计状态从K|V|减少为K·|V|。这极大减少了寻找最优侦察策略的计算和存储复杂度。
为了预测环境的态势信息,那么无人机需要预测环境信息信念向量,信息信念向量更新如下公式所示:
所述层间信息交互模型中每一层无人机关注的信息粒度是不同的,但具有对应关系,且每一层无人机间的对应关系为自底向上的信念信息传输和自顶向下的命令信息传输。
所述信念信息传输指上层环境中顶点的信念信息与下层环境中顶点的信念信息的对应关系,并用Bh(t)=Θb(Bl(t))表示上层信息信念向量Bh(t)与下层信念Bl(t)的关系,上层信念信息是对下层信念信息的提炼,在扩展上层无人机决策范围的同时,需要避免信息***,由于下层一个区域块对应上层一个顶点,因此Θb(·)是多个信息对一个信息映射,那么一个比较恰当的方法就是均值滤波法,均值滤波法能够体现区域块信息的整体特征,具体公式如下:
所述命令信息传输指无人机的行动在上层环境和下层环境中的对应关系,用al(τ)=Θa(ah(th))表示行动,下层无人机需要执行上层无人机的命令,上层无人机的命令是粗粒度的,且当无人机子群活动只限于以上层无人机为中心的正方形区域块中,因此下层无人机在满足上层无人机的基础上,需要做出具体的决策,上层无人机命令信息如下所示:
定义
所述在线预测函数的顺序分配为基于近视调度算法,所述近视调度算法包括基于启发式函数的单无人机巡逻、基于顺次分配技术的子群巡逻和集群巡逻的集中调度。
其中,Λi表示第i个元素为1的单位向量,Λ1=[1,0,...,0].vgoal表示无人机uk访问的目标顶点,vk表示某顶点。
对于基于顺次分配技术的子群巡逻,具体为一个子群领机为其下无人机做出决策时,根据子群决策的顺序分配方法进行计算,计算内容为:首先,基于启发式函数计算第一个无人机的近视策略,然后计算第二个无人机的近视策略,以此类推,在具体的t时刻第k个无人机未来D步策略π(t)的期望值由当前位置、信念向量和之前集群中已计算出的贪婪策略有关,从而多子群侦察监视中,第k个子群领机的最佳策略递归求解如下:
其中,表示第k个无人机的最优D步策略t∈[t,t+D-1],这时会出现同步访问和异步访问问题,对于同步访问,也就是不同无人机在同一时刻访问同一顶点,采用的方法是,最先负责访问该顶点的无人机能够获取该点信息;对于异步访问问题,是第i个无人机决定t1时刻访问顶点v时,而第j(i<j)个无人机已经在t2(t2<t1)时刻访问了该顶点,此时可以看到,无人机j访问顶点v的期望值被过高估计了,因为它没有估计到无人机i已经决定要访问该顶点,因此需要引入惩罚因子,用于惩罚无人机j多计算出来的预期回报值,设定p是无人机i在无人机j访问顶点vh的损失。rexpected为不考虑无人机j时,无人机i访问顶点v的期望回报值;rrevised为考虑无人机j时,无人机i访问顶点v的期望回报值,那么,p=rexpected-rrevised.如下:
对于集群巡逻的集中调度,其目标是找到所有层中所有无人机的策略,其中将第L层设置为顶层、IGA为信息收集算法的简称、SPSA为集群巡逻的集中调度的简称、TPA为任务规划算法的简称、SAM为顺序分配方法的简称:策略的算法过程中如下,
综上所述:本发明在进行运用的过程中,能够在复杂的情况下更好的实现对无人机集群连续侦察的任务规划,进而实现了有效地管理更多的无人机,且随着无人机层数的增加,本发明能够保证低约束性能,而不会增加任何决策者在进行任务规划过程中的计算复杂度,有利于推广运用。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (1)
1.基于顺次分配的多层多粒度集群任务规划方法,包括多层降维信念信息表示、层间信息交互模型和在线预测函数的顺序分配,其特征在于,
为该层所有无人机联合状态集合,包括位置状态和信息状态,定义为是当前***状态,包括 和 , 是Agent的位置状态, 是环境信息状态,一个联合位置状态定义为联合信息状态定义为其中U为该层无人机的数量,|V|为该层所有顶点数量,每个顶点的信息状态属于Ik∈[I1,I2,...,IK];
对于某无人机k,k∈U,其位置状态转移函数公式如下,其中vgoal表示无人机执行行动后的目标位置,Vk(t)指的是第k个Agent的位置状态;
对于某顶点v,v∈|V|,其信息状态转移函数公式如下,其中sgoal表示状态更新后的目标状态,Sk(t)表示第k个Agent的所巡逻的环境的信息状态;
所述层间信息交互模型中每一层无人机关注的信息粒度是不同的,但具有对应关系,且每一层无人机间的对应关系为自底向上的信念信息传输和自顶向下的命令信息传输;
所述信念信息传输指上层环境中顶点的信念信息与下层环境中顶点的信念信息的对应关系,并用Bh(t)=Θb(Bl(t))表示上层信息信念向量Bh(t)与下层信念Bl(t)的关系,Θb(·)是多个信息对一个信息映射,采用均值滤波法,均值滤波法能够体现区域块信息的整体特征,具体公式如下:
所述在线预测函数的顺序分配为基于近视眼调度算法,所述近视眼调度算法包括基于启发式函数的单无人机巡逻、基于顺次分配技术的子群巡逻和集群巡逻的集中调度;
所述命令信息传输指无人机的行动在上层环境和下层环境中的对应关系,用al(τ)=Θa(ah(th))表示行动,其中al(τ)表示下层Agent在τ时刻的行动,ah(th),表示上层Agent的行动,th表示上层Agent的时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910913739.4A CN111340324B (zh) | 2019-09-25 | 2019-09-25 | 基于顺次分配的多层多粒度集群任务规划方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910913739.4A CN111340324B (zh) | 2019-09-25 | 2019-09-25 | 基于顺次分配的多层多粒度集群任务规划方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340324A CN111340324A (zh) | 2020-06-26 |
CN111340324B true CN111340324B (zh) | 2022-06-07 |
Family
ID=71183331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910913739.4A Active CN111340324B (zh) | 2019-09-25 | 2019-09-25 | 基于顺次分配的多层多粒度集群任务规划方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340324B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111784211B (zh) * | 2020-08-04 | 2021-04-27 | 中国人民解放军国防科技大学 | 一种基于分簇的群体多任务分配方法及存储介质 |
CN112422699B (zh) * | 2021-01-25 | 2021-04-06 | 中国人民解放军国防科技大学 | 一种基于动态调整的无人机集群行动方案生成方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345946A (zh) * | 2017-12-14 | 2018-07-31 | 中国航空工业集团公司上海航空测控技术研究所 | 一种面向无人机地面保障的维护决策***及方法 |
CN108983823A (zh) * | 2018-08-27 | 2018-12-11 | 安徽农业大学 | 一种植保无人机集群协同控制方法 |
CN109655066A (zh) * | 2019-01-25 | 2019-04-19 | 南京邮电大学 | 一种基于Q(λ)算法的无人机路径规划方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9912655B2 (en) * | 2015-03-27 | 2018-03-06 | Amazon Technologies, Inc. | Unmanned vehicle message exchange |
US10332320B2 (en) * | 2017-04-17 | 2019-06-25 | Intel Corporation | Autonomous vehicle advanced sensing and response |
US10353399B2 (en) * | 2017-07-21 | 2019-07-16 | AI Incorporated | Polymorphic path planning for robotic devices |
-
2019
- 2019-09-25 CN CN201910913739.4A patent/CN111340324B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108345946A (zh) * | 2017-12-14 | 2018-07-31 | 中国航空工业集团公司上海航空测控技术研究所 | 一种面向无人机地面保障的维护决策***及方法 |
CN108983823A (zh) * | 2018-08-27 | 2018-12-11 | 安徽农业大学 | 一种植保无人机集群协同控制方法 |
CN109655066A (zh) * | 2019-01-25 | 2019-04-19 | 南京邮电大学 | 一种基于Q(λ)算法的无人机路径规划方法 |
Non-Patent Citations (2)
Title |
---|
多无人机协同的飞行航迹规划问题研究;丁强;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20190115;全文 * |
无人机集群***侦察监视任务规划方法;陈少飞;《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》;20171115;第1-55页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111340324A (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113282368B (zh) | 一种用于变电站巡视的边缘计算资源调度方法 | |
Russell et al. | Q-decomposition for reinforcement learning agents | |
CN111552314B (zh) | 多无人机自适应编队跟踪控制方法 | |
CN113128828B (zh) | 一种基于多智能体强化学习的卫星观测分布式在线规划方法 | |
CN111340324B (zh) | 基于顺次分配的多层多粒度集群任务规划方法 | |
Park et al. | Cooperative information-driven source search and estimation for multiple agents | |
CN113312172B (zh) | 基于适变网络的多无人机集群动态任务调度模型 | |
CN112947575B (zh) | 基于深度强化学习的无人机集群多目标搜索方法及*** | |
CN111813539A (zh) | 一种基于优先级与协作的边缘计算资源分配方法 | |
CN112801539A (zh) | 无人机集群任务的柔变网络架构动态调度模型 | |
CN111209294A (zh) | 一种基于区域分配面向多无人机的分布式覆盖搜索方法 | |
CN112527016A (zh) | 一种智能集群一体化容错时变编队控制方法及*** | |
CN114037048B (zh) | 基于变分循环网络模型的信念一致多智能体强化学习方法 | |
CN114815882A (zh) | 一种基于强化学习的无人飞行器自主编队智能控制方法 | |
CN114326806B (zh) | 一种考虑任务体系下的无人机集群维修方法 | |
CN116169776A (zh) | 电力***云边协同人工智能调控方法、***、介质及设备 | |
CN116449863A (zh) | 一种基于信息素的强化学习的无人机集群多目标搜索方法 | |
Guériau et al. | Constructivist approach to state space adaptation in reinforcement learning | |
CN115840892B (zh) | 一种复杂环境下多智能体层次化自主决策方法及*** | |
CN115525061A (zh) | 一种基于图论的多无人机协同控制方法 | |
CN115314904B (zh) | 基于多智能体最大熵强化学习的通信覆盖方法及相关设备 | |
CN116362377A (zh) | 一种基于多智能体策略梯度模型的大电网区域协同潮流调控方法 | |
CN116193395A (zh) | 无人集群组织重构角色分配方法、***、设备及存储介质 | |
CN116449864A (zh) | 一种无人机集群的最优路径选择方法 | |
CN113741192A (zh) | 基于可切换拓扑的时滞多智能体***约束容错控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |