CN112824998A - 马尔可夫决策过程的多无人机协同航路规划方法和装置 - Google Patents
马尔可夫决策过程的多无人机协同航路规划方法和装置 Download PDFInfo
- Publication number
- CN112824998A CN112824998A CN201911139552.XA CN201911139552A CN112824998A CN 112824998 A CN112824998 A CN 112824998A CN 201911139552 A CN201911139552 A CN 201911139552A CN 112824998 A CN112824998 A CN 112824998A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- state
- drone
- collaborative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 230000008569 process Effects 0.000 title claims abstract description 91
- 230000009471 action Effects 0.000 claims abstract description 122
- 238000011156 evaluation Methods 0.000 claims abstract description 40
- 238000012546 transfer Methods 0.000 claims abstract description 22
- 238000013461 design Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 165
- 230000007704 transition Effects 0.000 claims description 20
- 238000005094 computer simulation Methods 0.000 claims description 6
- 239000000446 fuel Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002195 synergetic effect Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 24
- 238000004088 simulation Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000295 fuel oil Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了马尔可夫决策过程的多无人机协同航路规划方法和装置,方法包括:根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与预先构造的报酬函数,构建多无人机协同航路规划任务下的马尔可夫过程模型;基于预先构造的评价函数执行基于马尔可夫过程模型的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。本发明还将无人机行驶时雷达威胁引入报酬函数,合理设计多无人机作战环境与状态空间数目;不仅能为多无人机快速规划出合理有效的飞行路径,同时也大大降低了多无人机航路的雷达威胁代价,提高了无人机在复杂环境下执行任务的安全性。
Description
技术领域
本发明涉及无人机航路规划技术领域,具体涉及马尔可夫决策过程的多无人机协同航路规划方法和装置。
背景技术
随着航空技术的发展,利用多无人机在复杂多变的环境下进行协同作战已得到广泛应用。开展无人机航路规划方法的研究,在减轻人工规划航路的负担和不便的同时,能够充分利用已知的地形、威胁等信息完成满足自身约束和任务要求的全局航路,为实现无人机低空突防、隐蔽飞行提供了技术保证。因此无人机航路规划方法是无人机***的关键组成部分;是实现无人机自主飞行的重要前提;是保证无人机顺利完成任务、精确击中敌方目标的重要基础;是实现无人机自动控制的有力保障。开展航路规划的研究也能提高目前任务规划的整体水平,对于任务规划的进一步研究也具有重要的现实意义。开展航路规划与任务规划的研究将进一步提高了无人机的生存概率,为确定航路的作战使用价值提供有力的依据,对于我国无人机的发展具有较强的工程应用价值和现实意义。如何快速地规划出满足约束条件的飞行航迹,也是实现无人机自主规划的关键。
目前,国内外对于航路规划的研究工作主要集中在航路规划算法方面,航路规划算法对无人机的自主飞行、精确跟踪或打击起着决定性作用,关系着航路规划的效率甚至是无人机的生存概率。航迹规划中,无人机所执行的任务不同,所采取的航路规划算法亦不同。执行简单的侦查任务时,只需根据已经获得的信息规划出一条全局航路,无人机在起飞前只需加载该全局航路即可。而实施对敌打击时往往伴随着敌方动态威胁的出现,这时需要在全局参考航线的基础上适当做动态调整,以便躲避动态威胁。
目前,国内外常用的多无人机协同航路规划方法有蚁群算法、遗传算法、A*算法等。蚁群算法具有较强的鲁棒性与良好的信息反馈能力等优点,但算法的收敛速度低且易陷入局部最优。遗传算法因其不依赖于模型特点使得算法鲁棒性强,但是对于复杂的战场环境,算法的收敛速度缓慢,导致路径搜索时间较长。A*算法具有算法简单,易于工程师先等优点,但其算法计算量较大,规划时间较长。
发明内容
为解决现有技术中以上多无人机协同航路规划方法至少一个方面的不足。
一方面,本发明提供一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,包括如下步骤:
根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;
根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;
根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与预先构造的报酬函数,构建多无人机协同航路规划任务下的马尔可夫决策过程模型;
基于预先构造的评价函数执行基于马尔可夫决策过程模型的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
无人机在起飞前只需加载规划出的最优多无人机协同航路即可执行协同飞行任务。
前述的一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,优选地,对无人机飞行环境进行建模,初始化任务环境,采用栅格法对无人机飞行环境进行二维空间建模,为简化模型,忽略地形障碍、恶劣天气等影响,只考虑敌方雷达威胁,飞行场景中包含多无人机的起始点,任务目标点,以及雷达威胁区域。
前述的一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,优选地,还包括搜索策略迭代过程中基于预先构造的多无人机综合航行代价函数计算多无人机综合航行代价函数值,以多无人机综合航行代价函数值最小的路径作为最优无人机协同航路;
预先设置多无人机综合航行代价函数,用以评价所规划航路的性能指标,具体步骤为:
对于单无人机来说,航路代价主要包括燃油代价、威胁代价等。而对于多无人机协同航路规划,航路代价不仅考虑单机的航行代价,还应满足多机协同航行代价。采用如下代价方程来描述多无人机的综合航行代价计算公式如下:
Ji=W1Jl,i+W2Jr,i+W3Jt (1)
式中:W1、W2和W3分别为燃油代价、威胁代价以及协同代价的权重,Jl,i代表第i个航路段下航路段长度为l时的燃油代价,与无人机飞行航程有关;Jr,i代表第i个航路段下雷达威胁为r时的威胁代价;Jt为协同代价,它随着无人机飞行时间的变化而改变。根据多无人机综合航行代价函数计算公式(1),可计算出规划后航路的综合航行代价,并选择综合航行较小的航路作为算法所规划出的最终航路,确保无人机在复杂环境下执行任务的安全性。前述的一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,优选地,其所述马尔可夫决策过程模型用马尔可夫决策过程模型(MDP)用以下四元组M=<S,A,P,R>来表示:
S表示***状态的有限集合,包含无人机飞行环境的有限状态点。根据步骤 S11在二维坐标系下建立无人机的环境模型,环境模型中不同坐标点代表着无人机的不同状态,而每个状态都与状态空间集合S中的一个元素相对应。
A表示无人机可用的有限动作集合。在无人机的实际飞行过程中无人机的飞行是连续的状态,但在多无人机的航路规划中,设定了各无人机的起始点和目标点之后,在路径规划过程中将无人机看作为一个质点。由于采用栅格法建立了无人机的飞行环境状态,因此在这里定义无人机有8个可执行动作, a=1,2,3,…,8。整个360°被这些动作等分,相邻两个动作之间的角度为45°。
P为状态转移函数,表示当主体处在状态st时,执行动作at∈A,而转移到状态st+1的概率。状态转移概率会随着目标状态、威胁状况等发生改变。在给定无人机当前状态和执行动作的情况下,状态转移概率的分布将在很大程度上决定无人机在下一时刻的动作选择。状态转移概率可表示为:
P(s′|s,a)=P(st+1=s′|st=s,at=a) (2)
∑s′∈SP(s′|s,a)=1 (3)
无人机以安全到达目标点为任务目标,因此在无人机从初始点到目标点飞行时,其运动方向是以目标点的方位为导向的。将目标点与无人机的连线与目标点与x方向之间的夹角定义为θ,可以控制无人机根据目标点方位不断调整动作使无人机朝向目标点移动。根据θ可将目标点周围360°空间以45°为间隔划分,离散成8个位置状态,目标点位置空间Tstate离散规则如下:
在目标点位置点已知时,为控制无人机朝着目标点方向移动,无人机可执行的动作有限,同时认定无人机将以较大概率朝目标点方向所在的栅格给出动作,无人机也会以一定概率进入相邻的栅格,但概率较小。当无人机处于目标点某个位置空间内时,无人机将有5个可执行动作,且每个动作概率不同,则对于8个位置空间,动作输出状态共有5×8=40。本领域技术人员可跟根据实际任务规划无人机可执行动作的状态转移概率。
R为报酬函数,表示在给定无人机当前状态和动作的情况下所能获得的立即报酬。马尔可夫模型***中,报酬函数是在UAV做出动作策略并与环境进行交互后由环境反馈的惩罚或奖励信号。在模型中表征着无人机在某种状态下所采取动作的好坏程度,同时也是引导无人机进行飞行决策和安全避障的重要依据。针对航路规划过程无人机的安全性和趋向目标点的问题预先对报酬函数进行设计,引入了无模型均匀结构的报酬函数模型Rmovegoal和Ravoidobstacle。
Rmovegoal为无人机正常行驶时报酬函数模型,Ravoidobstacle为无人机遇到威胁时报酬函数模型;
无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle (7)。
多无人机协同航路规划中,无人机在飞行过程中会时刻受到来自雷达的威胁,基于基本马尔可夫模型算法虽能为无人机规划出有效路径,但其仍有很大概率会被雷达探测到。因此,为进一步降低无人机被雷达探测的概率,在报酬函数中提出并引入了非均匀结构的雷达威胁模型Rthreat。
其中,Rthreat为无人机行驶时雷达威胁报酬函数模型,对于无人机飞行时受到的雷达威胁给以负的奖赏。L为无人机做出动作决策后该航路段的长度,N为雷达威胁个数,dk/4,i,k=1,2,3为航路段的k/4点处与第i个雷达威胁之间的距离,无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle+Rthreat (9)。
本发明将雷达威胁代价与马尔可夫模型相结合,合理设计马尔可夫决策模型、提出了一种基于改进马尔可夫决策模型的多无人机航路规划算法。在复杂多威胁环境下,为多无人机进行飞行航路规划,不仅能为多无人机快速规划出合理有效的飞行路径,同时也大大降低了多无人机航路的威胁代价和航路综合代价,提高了无人机在复杂环境下执行任务的安全性。
前述的一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,优选地,基于马尔可夫决策模型的多无人机航路规划旨在通过无人机动作与飞行环境之间进行交互并最终产生决策,规划出无人机的有效航路。无人机主体根据当前环境状态s,选择并执行动作a,使无人机状态由s转移到s′,同时获得报酬R,循环往复,直到最终达到目标状态。即多无人机的协同航路规划就是寻找最优策略π*,即根据无人机的当前状态,执行搜索策略,搜索使期望报酬即评价函数Vπ(s)最大的动作序列。
利用最优策略π*表示对于所有状态s∈S均存在V*(s)=maxπVπ(s),最优策略π*对应的评价函数称为最优评价函数V*(s)。最优策略的生成过程称为策略迭代。最优策略π*可用动态规划寻找最大奖励V*(s)。在无限阶段折扣模型中,评价函数Vπ(s)可以描述为:
其中γ为折扣因子,γt为t时刻折扣因子,取0.9。Rt为在t时刻所对应的报酬函数值。s为t=0时刻无人机所对应的状态,s′为下一时刻无人机所处状态。则以递归形式可将上式重写为:
Vπ(s)=R(s,π(s))+γ∑s′∈SP(s′|s,a)Vπ(s′) (11) 上式给定了一种计算策略所对应评价函数的方法,定义状态-动作值函数 Qπ(s,a)作为对评价函数求解过程中的中间变量。在给定无人机初始状态s和当前动作a的条件下,无人机在下一时刻将以概率P(s′|s,a)转向下一个状态s′,并在未来遵循此规则,则状态-动作值函数Qπ(s,a)可表示为:
Qπ(s,a)=R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′) (12)
其中,R(s,a)为无人机在状态s下,选取动作a时所获得的报酬。
此时,MDP的最优策略π*(s)可以表示为:
π*(s)=arg maxa∈AQπ(s,a)=arg maxa∈A{R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′)}(13)
相应地,最优评价函数V*(s)可以表示为:
V*(s)=maxa∈A{R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′)} (14)
另一方面,本发明提供一种基于改进马尔可夫决策过程的多无人机协同航路规划装置,其特征在于,包括无人机协同***建模模块、马尔可夫过程模型构建模块和多无人机协同航路规划模块;所述无人机协同***建模模块,用于根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;
所述马尔可夫过程模型构建模块,用于根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与预先构建的报酬函数,构建多无人机协同航路规划任务下的马尔可夫决策过程模型;
所述多无人机协同航路规划模块,用于基于预先构造的评价函数执行基于马尔可夫决策过程模型的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
进一步地,预先构造的的报酬函数R包括无人机正常行驶时Rmovegoal和无人机遇到威胁时Ravoidobstacle,表示如下:
Rmovegoal为无人机正常行驶时报酬函数模型,Ravoidobstacle为无人机遇到威胁时报酬函数模型;
无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle。
再进一步地,所述报酬函数还包括无人机行驶时雷达威胁报酬函数Rthreat,表示如下:
其中,Rthreat为无人机行驶时雷达威胁报酬函数;L为无人机做出动作决策后该航路段的长度,N为雷达威胁个数,dk/4,i,k=1,2,3为航路段的k/4点处与第i 个雷达威胁之间的距离;
无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle+Rthreat。
本发明所达到的有益技术效果:
本发明针对多无人机在复杂环境下执行作战任务时易受环境威胁影响的问题,提出了一种基于改进马尔可夫决策过程模型的多无人机航路规划算法。本发明根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;构造报酬函数,根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与报酬函数,构建多无人机协同航路规划任务下的马尔可夫过程模型;构建评价函数并基于评价函数执行基于马尔科夫决策的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
本发明还将无人机行驶时雷达威胁引入报酬函数,该算法利用离散化的雷达威胁信息,合理设计多无人机作战环境与状态空间数目;将目标点方位空间离散化,进而合理分配状态转移概率;
本发明将雷达威胁与马尔可夫决策过程模型相结合,在无模型均匀结构的报酬函数基础上提出并引入了非均匀结构的雷达威胁模型,建立改进后的马尔可夫决策过程模型;
本发明通过设置多无人机综合航行代价函数,搜索出使评价函数值最大的动作序列之后计算多无人机综合航行代价函数值,以多无人机综合航行代价函数值最小的路径作为最优无人机协同航路,不仅能为多无人机快速规划出合理有效的飞行路径,同时也大大降低了多无人机航路的威胁代价和航路综合代价,提高了无人机在复杂环境下执行任务的安全性。
附图说明
图1是本发明具体实施例的航路规划方法的算法流程图;
图2是本发明具体实施例多无人机环境模型图;
图3是本发明具体实施例无人机基本动作图;
图4是本发明具体实施例位置状态示意图;
图5是本发明具体实施例简单环境下仿真结果图;
图6是本发明具体实施例简单环境下仿真结果图,其中(a)为复杂环境下单目标仿真结果图;(b)为复杂环境下多目标仿真结果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
如图1所示,一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,包括如下步骤:
步骤S1,根据多无人机协同航路规划任务本质,对无人机的飞行环境进行构建,并建立航路评判体系,确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;包括以下步骤:
对无人机飞行环境进行建模,初始化任务环境,采用栅格法对无人机飞行环境进行二维空间建模,每个栅格大小为5km,为简化模型,忽略地形障碍、恶劣天气等影响,只考虑敌方雷达威胁,飞行场景中包含多无人机的起始点,任务目标点,以及雷达威胁区域,多无人机环境模型如图2所示;
步骤S2根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;
根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与预先构造的报酬函数,构建多无人机协同航路规划任务下的马尔可夫决策过程模型;
并基于预先构造的评价函数执行基于马尔可夫决策过程模型的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
具体包括以下步骤;
步骤S21,将雷达威胁代价与马尔可夫决策过程模型相结合,分别针对马尔可夫决策过程中的状态空间、动作空间、状态转移函数与报酬函数进行模型构建。
马尔可夫决策过程模型(MDP)用以下四元组M=〈S,A,P,R〉来表示:
S表示***状态的有限集合,包含无人机飞行环境的有限状态点。根据步骤 S11在二维坐标系下建立无人机的环境模型,环境模型中不同坐标点代表着无人机的不同状态,而每个状态都与状态空间集合S中的一个元素相对应。
A表示无人机可用的有限动作集合。在无人机的实际飞行过程中无人机的飞行是连续的状态,但在多无人机的航路规划中,设定了各无人机的起始点和目标点之后,在路径规划过程中将无人机看作为一个质点。由于采用栅格法建立了无人机的飞行环境状态,因此在这里定义无人机有8个可执行动作, a=1,2,3,…,8。整个360°被这些动作等分,相邻两个动作之间的角度为45°,无人机基本动作图如图3所示。
P为状态转移函数,表示当主体处在状态st时,执行动作at∈A,而转移到状态st+1的概率。状态转移概率会随着目标状态、威胁状况等发生改变。在给定无人机当前状态和执行动作的情况下,状态转移概率的分布将在很大程度上决定无人机在下一时刻的动作选择。状态转移概率可表示为:
P(s′|s,a)=P(st+1=s′|st=s,at=a) (2)
∑S′∈SP(s′|s,a)=1 (3)
无人机以安全到达目标点为任务目标,因此在无人机从初始点到目标点飞行时,其运动方向是以目标点的方位为导向的。将目标点与无人机的连线与目标点与x方向之间的夹角定义为θ,可以控制无人机根据目标点方位不断调整动作使无人机朝向目标点移动。根据θ可将目标点周围360°空间以45°为间隔划分,离散成8个位置状态。状态示意图如图4所示,目标点位置空间Tstate离散规则如下:
在目标点位置点已知时,为控制无人机朝着目标点方向移动,无人机可执行的动作有限,同时认定无人机将以较大概率朝目标点方向所在的栅格给出动作,无人机也会以一定概率进入相邻的栅格,但概率较小。当无人机处于目标点某个位置空间内时,无人机将有5个可执行动作,且每个动作概率不同,则对于8个位置空间,动作输出状态共有5×8=40(无人机基本动作图如图3所示,位置状态示意图如图4所示)。本实施例中无人机可执行动作的部分状态转移概率设计如表1所示。
表1部分状态转移概率设计
R为报酬函数,表示在给定无人机当前状态和动作的情况下所能获得的立即报酬。马尔可夫模型***中,报酬函数是在UAV做出动作策略并与环境进行交互后由环境反馈的惩罚或奖励信号。在模型中表征着无人机在某种状态下所采取动作的好坏程度,同时也是引导无人机进行飞行决策和安全避障的重要依据。针对航路规划过程无人机的安全性和趋向目标点的问题对报酬函数进行设计,预先构造了无模型均匀结构的报酬函数模型Rmovegoal和Ravoidobstacle。
Rmovegoal为无人机正常行驶时报酬函数模型,Ravoidobstacle为无人机遇到威胁时报酬函数模型。
无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle (7)。
多无人机协同航路规划中,无人机在飞行过程中会时刻受到来自雷达的威胁,基于基本马尔可夫模型算法虽能为无人机规划出有效路径,但其仍有很大概率会被雷达探测到。因此,为进一步降低无人机被雷达探测的概率,在报酬函数中提出并引入了非均匀结构的雷达威胁模型Rthreat。
其中,Rthreat为无人机行驶时雷达威胁报酬函数模型,对于无人机飞行时受到的雷达威胁给以负的奖赏。L为无人机做出动作决策后该航路段的长度,N 为雷达威胁个数,dk/4,i,k=1,2,3为航路段的k/4点处与第i个雷达威胁之间的距离。在给定无人机当前状态s和执行动作a后,可根据无人机与目标点、障碍物之间的距离变化情况通过公式(5)~(6)确定Rmovegoal和Ravoidobstacle,可依据无人机与雷达之间的距离关系通过公式(8)得出Rthreat。无人机在状态s 下,选取动作a的所获得的报酬为:
R(s,a)=Rmovegoal+Ravoidobstacle+Rthreat (9)
步骤S22,针对建立的马尔可夫决策过程模型,基于预先构造的评价函数执行搜索策略,搜索出使评价函数最大的动作序列。
基于马尔可夫决策模型的多无人机航路规划旨在通过无人机动作与飞行环境之间进行交互并最终产生决策,规划出无人机的有效航路。无人机主体根据当前环境状态s,选择并执行动作a,使无人机状态由s转移到s′,同时获得报酬R,循环往复,直到最终达到目标状态。即多无人机的协同航路规划就是寻找最优策略π*,即根据无人机的当前状态,执行搜索策略,搜索使期望报酬即评价函数Vπ(s)最大的动作序列。
利用最优策略π*表示对于所有状态s∈S均存在V*(s)=maxπVπ(s),最优策略π*对应的评价函数称为最优评价函数V*(s)。
最优策略的生成过程称为策略迭代。最优策略π*可用动态规划寻找最大奖励V*(s)。在无限阶段折扣模型中,评价函数Vπ(s)可以描述为:
其中γ为折扣因子,γt为t时刻折扣因子,γ和γt取0.9。Rt为在t时刻所对应的报酬值。s为t=0时刻无人机所对应的状态,s′为下一时刻无人机所处状态。则以递归形式可将上式重写为:
Vπ(s)=R(s,π(s))+γ∑s′∈SP(s′|s,a)Vπ(s′) (11)
上式给定了一种计算策略所对应评价函数的方法,定义状态-动作值函数 Qπ(s,a)作为对评价函数求解过程中的中间变量。在给定无人机初始状态s和当前动作a的条件下,无人机在下一时刻将以概率P(s′|s,a)转向下一个状态s′,并在未来遵循此规则,则状态-动作值函数Qπ(s,a)可表示为:
Qπ(s,a)=R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′) (12)
其中,R(s,a)为无人机在状态s下,选取动作a的所获得的报酬。
此时,MDP的最优策略π*(s)可以表示为:
π*(s)=arg maxa∈AQπ(s,a)=arg maxa∈A{R(s,a)+γ∑s′∈S P(s′|s,a)Vπ(s′)}(13)
相应地,最优评价函数V*(s)可以表示为:
V*(s)=maxa∈A{R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′)} (14)
在以上实施例的基础上,进一步地设置多无人机综合航行代价函数,用以评价所规划航路的性能指标,搜索策略迭代过程中计算多无人机综合航行代价函数值,以多无人机综合航行代价函数值最小的路径作为最优无人机协同航路;
对于单无人机来说,航路代价主要包括燃油代价、威胁代价等。而对于多无人机协同航路规划,航路代价不仅考虑单机的航行代价,还应满足多机协同航行代价。采用如下代价方程来描述多无人机的综合航行代价计算公式如下:
Ji=W1Jl,i+W2Jr,i+W3Jt (1)
式中:W1、W2和W3分别为燃油代价、威胁代价以及协同代价的权重,Jr,i代表燃油代价,与无人机飞行航程有关;Jr,i为威胁代价;Jt为协同代价,它随着无人机飞行时间的变化而改变。
仿真分析:
图5是本发明具体实施例简单环境下仿真结果图;如图5所示,为在简单环境下分别利用基本蚁群算法和的基本MDP(Markov Decision Processes,马尔科夫决策过程)模型规划算法的Matlab仿真结果图,初始化相关参数:起飞点设为(4,40),(60,5),(90,90),目标点设为(50,50),雷达威胁半径统一为2,单位均为千米,雷达威胁数目为64,表2为简单环境下基本蚁群算法和基本MDP模型规划算法实验数据;从图5中可以看出,这两种算法均能规划出一条可行路径,其中实线表示基本MDP模型规划算法所规划出的可行路径,虚线表示基本蚁群算法规划出的可行路径;从表2中可以看出,在相同的目标环境下,采用基本MDP模型规划算法相比基本蚁群算法均能为无人机规划出可行路径,但基本MDP模型规划算法的路径规划时间更少、规划出的航路具有较小的威胁代价和航路综合代价。
表2基本蚁群算法和基本MDP模型规划算法实验数据
实验方法 | 规划时间/ms | 威胁代价 | 综合代价 |
基本蚁群算法 | 352 | 470 | 324 |
基本MDP模型算法 | 223 | 358 | 263 |
图6是本发明具体实施例简单环境下仿真结果图,其中(a)为复杂环境下单目标仿真结果图;(b)为复杂环境下多目标仿真结果图。如图6所示,为在复杂环境下针对单目标和多目标任务分别利用基本MDP模型和改进后MDP模型算法(这里改进后的MDP模型算法即本发明在报酬函数中提出并引入了非均匀结构的雷达威胁模型的具体实施例)的Matlab仿真结果图,初始化相关参数:单目标任务下起飞点设为(4,40),(60,5),(90,90),目标点设为(50,50),多目标任务下起飞点设为(10,10),(60,5),(85,5),目标点设为(20,80), (50,85),(70,85),目标点雷达威胁半径不定,雷达威胁数目为64,表3为复杂环境下基本MDP模型算法和改进MDP模型规划算法实验数据;从表3可以看出改进后的MDP模型算法在为多无人机规划出合理有效的飞行路径的同时,也使得航路威胁代价和综合代价大大减少,提高了无人机在复杂环境下执行任务的安全性。
表3基本MDP模型算法和改进MDP模型规划算法实验数据
实施例:一种基于改进马尔可夫决策过程的多无人机协同航路规划装置,包括无人机协同***建模模块、马尔可夫过程模型构建模块和多无人机协同航路规划模块;所述无人机协同***建模模块,用于根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;
所述马尔可夫过程模型构建模块,用于根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;构造报酬函数,根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与报酬函数,构建多无人机协同航路规划任务下的马尔可夫过程模型;
所述多无人机协同航路规划模块,用于构建评价函数并基于评价函数执行基于马尔科夫决策的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
所述马尔可夫过程模型构建模块构建的马尔可夫决策过程模型用马尔可夫决策过程模型(MDP)用以下四元组M=〈S,A,P,R〉来表示:
S表示***状态的有限集合,包含无人机飞行环境的有限状态点。根据步骤 S11在二维坐标系下建立无人机的环境模型,环境模型中不同坐标点代表着无人机的不同状态,而每个状态都与状态空间集合S中的一个元素相对应。
A表示无人机可用的有限动作集合。在无人机的实际飞行过程中无人机的飞行是连续的状态,但在多无人机的航路规划中,设定了各无人机的起始点和目标点之后,在路径规划过程中将无人机看作为一个质点。由于采用栅格法建立了无人机的飞行环境状态,因此在这里定义无人机有8个可执行动作, a=1,2,3,…,8。整个360°被这些动作等分,相邻两个动作之间的角度为45°。
P为状态转移函数,表示当主体处在状态st时,执行动作at∈A,而转移到状态st+1的概率。状态转移概率会随着目标状态、威胁状况等发生改变。在给定无人机当前状态和执行动作的情况下,状态转移概率的分布将在很大程度上决定无人机在下一时刻的动作选择。状态转移概率可表示为:
P(s′|s,a)=P(st+1=s′|st=s,at=a) (2)
∑s′∈SP(s′|s,a)=1 (3)
无人机以安全到达目标点为任务目标,因此在无人机从初始点到目标点飞行时,其运动方向是以目标点的方位为导向的。将目标点与无人机的连线与目标点与x方向之间的夹角定义为θ,可以控制无人机根据目标点方位不断调整动作使无人机朝向目标点移动。根据θ可将目标点周围360°空间以45°为间隔划分,离散成8个位置状态,目标点位置空间Tstate离散规则如下:
在目标点位置点已知时,为控制无人机朝着目标点方向移动,无人机可执行的动作有限,同时认定无人机将以较大概率朝目标点方向所在的栅格给出动作,无人机也会以一定概率进入相邻的栅格,但概率较小。当无人机处于目标点某个位置空间内时,无人机将有5个可执行动作,且每个动作概率不同,则对于8个位置空间,动作输出状态共有5×8=40。无人机可执行动作的部分状态转移概率设计如表1所示。
马尔可夫过程模型构建模块包括报酬函数构建模块,R为报酬函数,表示在给定无人机当前状态和动作的情况下所能获得的立即报酬。马尔可夫模型***中,报酬函数是在UAV做出动作策略并与环境进行交互后由环境反馈的惩罚或奖励信号。在模型中表征着无人机在某种状态下所采取动作的好坏程度,同时也是引导无人机进行飞行决策和安全避障的重要依据。针对航路规划过程无人机的安全性和趋向目标点的问题对报酬函数进行设计,报酬函数构建模块引入了无模型均匀结构的报酬函数模型Rmovegoal和Ravoidobstacle。
Rmovegoal为无人机正常行驶时报酬函数模型,Ravoidobstacle为无人机遇到威胁时报酬函数模型;
无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle (7)。
多无人机协同航路规划中,无人机在飞行过程中会时刻受到来自雷达的威胁,基于基本马尔可夫模型算法虽能为无人机规划出有效路径,但其仍有很大概率会被雷达探测到。因此,为进一步降低无人机被雷达探测的概率,报酬函数构建模块在报酬函数中提出并引入了非均匀结构的雷达威胁模型Rthreat。
其中,Rthreat为无人机行驶时雷达威胁报酬函数模型,对于无人机飞行时受到的雷达威胁给以负的奖赏。L为无人机做出动作决策后该航路段的长度,N为雷达威胁个数,dk/4,i,k=1,2,3为航路段的k/4点处与第i个雷达威胁之间的距离,无人机在状态s下,选取动作a的所获得的报酬函数R(s,a)表示如下:
R(s,a)=R(s,a)=Rmovegoal+Ravoidobstacle+Rthreat (9)。
多无人机协同航路规划模块,用于基于马尔可夫决策模型的多无人机航路规划旨在通过无人机动作与飞行环境之间进行交互并最终产生决策,规划出无人机的有效航路。无人机主体根据当前环境状态s,选择并执行动作a,使无人机状态由s转移到s′,同时获得报酬R,循环往复,直到最终达到目标状态。即多无人机的协同航路规划就是寻找最优策略π*,即根据无人机的当前状态,执行搜索策略,搜索使期望报酬即评价函数Vπ(s)最大的动作序列。
利用最优策略π*表示对于所有状态s∈S均存在V*(s)=maxπVπ(s),最优策略π*对应的评价函数称为最优评价函数V*(s)。最优策略的生成过程称为策略迭代。最优策略π*可用动态规划寻找最大奖励V*(s)。在无限阶段折扣模型中,评价函数Vπ(s)可以描述为:
其中γ为折扣因子,γt为t时刻折扣因子,取0.9。Rt为在t时刻所对应的报酬函数值;s为t=0时刻无人机所对应的状态,s′为下一时刻无人机所处状态。则以递归形式可将上式重写为:
Vπ(s)=R(s,π(s))+γ∑s′∈SP(s′|s,a)Vπ(s′) (11)
上式给定了一种计算策略所对应评价函数的方法,定义状态-动作值函数 Qπ(s,a)作为对评价函数求解过程中的中间变量。在给定无人机初始状态s和当前动作a的条件下,无人机在下一时刻将以概率P(s′|s,a)转向下一个状态s′,并在未来遵循此规则,则状态-动作值函数Qπ(s,a)可表示为:
Qπ(s,a)=R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′) (12) 其中,R(s,a)为无人机在状态s下,选取动作a时所获得的报酬。
此时,MDP的最优策略π*(s)可以表示为:
π*(s)=arg maxa∈AQπ(s,a)=arg maxa∈A{R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′)}(13)
相应地,最优评价函数V*(s)可以表示为:
V*(s)=maxa∈A{R(s,a)+γ∑s′∈SP(s′|s,a)Vπ(s′)}
(14)
本发明针对多无人机协同航路规划问题的特点,针对多无人机在复杂环境下执行作战任务时易受环境威胁影响的问题,提出了一种基于改进马尔可夫决策过程模型的多无人机航路规划算法。本发明根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;构造报酬函数,根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与报酬函数,构建多无人机协同航路规划任务下的马尔可夫过程模型;构建评价函数并基于评价函数执行基于马尔科夫决策的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
为进一步降低无人机被雷达探测的概率,在报酬函数中提出并引入了非均匀结构的雷达威胁模型,本发明将雷达威胁代价与马尔可夫模型相结合,合理设计马尔可夫决策模型、提出了一种基于改进马尔可夫决策模型的多无人机航路规划算法。在复杂多威胁环境下,为多无人机进行飞行航路规划,仿真结果表明,基于改进马尔可夫决策模型的多无人机航路规划不仅能为多无人机快速规划出合理有效的飞行路径,同时也大大降低了多无人机航路的雷达威胁代价和航路综合代价,提高了无人机在复杂环境下执行任务的安全性。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (10)
1.一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,其特征在于,包括如下步骤:
根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;
根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;
根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与预先构建的报酬函数,构建多无人机协同航路规划任务下的马尔可夫决策过程模型;
基于预先构建的评价函数执行基于马尔可夫决策过程模型的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
2.根据权利要求1所述的一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,其特征在于,所述方法还包搜索策略迭代过程中基于预先构建的多无人机综合航行代价函数计算多无人机综合航行代价函数值,以多无人机综合航行代价函数值最小的路径作为最优无人机协同航路;
所述多无人机综合航行代价函数计算公式如下:
Ji=W1Jl,i+W2Jr,i+W3Jt
式中:Ji为第i个航路段下的多无人机综合航行代价,W1、W2和W3分别为燃油代价、威胁代价以及协同代价的权重,Jl,i代表第i个航路段下航路段长度为l时的燃油代价;Jr,i代表第i个航路段下雷达威胁为r时的威胁代价;Jt为协同代价。
3.根据权利要求1所述的一种基于改进马尔可夫决策过程的多无人机协同航路规划方法,其特征在于,所述马尔可夫决策过程模型用以下四元组M=<S,A,P,R>来表示:
S表示***状态的有限集合,包含无人机飞行环境的有限状态点;
A表示无人机可用的有限动作集合;
P为状态转移概率函数,表示当主体处在状态st时,执行动作at∈A,而转移到状态st+1的概率;
R为报酬函数,表示在给定无人机当前状态和动作的情况下所能获得的立即报酬。
8.一种基于改进马尔可夫决策过程的多无人机协同航路规划装置,其特征在于,包括无人机协同***建模模块、马尔可夫过程模型构建模块和多无人机协同航路规划模块;所述无人机协同***建模模块,用于根据多无人机协同航路规划任务确定飞行场景中多无人机的起始点、任务目标点以及雷达威胁区域;
所述马尔可夫过程模型构建模块,用于根据多无人机的起始点、任务目标点以及雷达威胁区域确定多无人机运动过程中所有的状态空间、动作空间以及状态转移函数;根据马尔可夫决策过程中的状态空间、动作空间、状态转移函数与预先构造的报酬函数,构建多无人机协同航路规划任务下的马尔可夫决策过程模型;
所述多无人机协同航路规划模块,用于基于预先构建的评价函数执行马尔可夫决策过程模型的搜索策略迭代,搜索出使评价函数值最大的动作序列,从而规划出最优多无人机协同航路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911139552.XA CN112824998A (zh) | 2019-11-20 | 2019-11-20 | 马尔可夫决策过程的多无人机协同航路规划方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911139552.XA CN112824998A (zh) | 2019-11-20 | 2019-11-20 | 马尔可夫决策过程的多无人机协同航路规划方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112824998A true CN112824998A (zh) | 2021-05-21 |
Family
ID=75906673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911139552.XA Pending CN112824998A (zh) | 2019-11-20 | 2019-11-20 | 马尔可夫决策过程的多无人机协同航路规划方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112824998A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113703483A (zh) * | 2021-08-31 | 2021-11-26 | 湖南苍树航天科技有限公司 | 多uav协同轨迹规划方法及***、设备、存储介质 |
CN114200963A (zh) * | 2022-02-17 | 2022-03-18 | 佛山科学技术学院 | 动态环境下无人机自主任务规划方法、设备及存储介质 |
CN114722946A (zh) * | 2022-04-12 | 2022-07-08 | 中国人民解放军国防科技大学 | 基于概率模型检测的无人机异步行动与协同策略合成方法 |
CN116882607A (zh) * | 2023-07-11 | 2023-10-13 | 中国人民解放军军事科学院***工程研究院 | 一种基于路径规划任务的关键节点识别方法 |
CN117075596A (zh) * | 2023-05-24 | 2023-11-17 | 陕西科技大学 | 一种环境和运动不确定下的机器人复杂任务路径规划方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107883962A (zh) * | 2017-11-08 | 2018-04-06 | 南京航空航天大学 | 一种多旋翼无人机在三维环境下的动态航路规划方法 |
CN108594858A (zh) * | 2018-07-16 | 2018-09-28 | 河南大学 | 马尔科夫运动目标的无人机搜索方法及装置 |
-
2019
- 2019-11-20 CN CN201911139552.XA patent/CN112824998A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107883962A (zh) * | 2017-11-08 | 2018-04-06 | 南京航空航天大学 | 一种多旋翼无人机在三维环境下的动态航路规划方法 |
CN108594858A (zh) * | 2018-07-16 | 2018-09-28 | 河南大学 | 马尔科夫运动目标的无人机搜索方法及装置 |
Non-Patent Citations (2)
Title |
---|
XIANG YU等: "Collision-Free Trajectory Generation and Tracking for UAVs Using Markov Decision Process in a Cluttered Environment", 《JOURNAL OF INTELLIGENT & ROBOTIC SYSTEMS》 * |
肖作林等: "多UCAV 协同任务规划技术研究", 《战术导弹技术》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113703483A (zh) * | 2021-08-31 | 2021-11-26 | 湖南苍树航天科技有限公司 | 多uav协同轨迹规划方法及***、设备、存储介质 |
CN113703483B (zh) * | 2021-08-31 | 2024-04-09 | 湖南苍树航天科技有限公司 | 多uav协同轨迹规划方法及***、设备、存储介质 |
CN114200963A (zh) * | 2022-02-17 | 2022-03-18 | 佛山科学技术学院 | 动态环境下无人机自主任务规划方法、设备及存储介质 |
CN114200963B (zh) * | 2022-02-17 | 2022-05-10 | 佛山科学技术学院 | 动态环境下无人机自主任务规划方法、设备及存储介质 |
CN114722946A (zh) * | 2022-04-12 | 2022-07-08 | 中国人民解放军国防科技大学 | 基于概率模型检测的无人机异步行动与协同策略合成方法 |
CN117075596A (zh) * | 2023-05-24 | 2023-11-17 | 陕西科技大学 | 一种环境和运动不确定下的机器人复杂任务路径规划方法及*** |
CN117075596B (zh) * | 2023-05-24 | 2024-04-26 | 陕西科技大学 | 一种环境和运动不确定下的机器人复杂任务路径规划方法及*** |
CN116882607A (zh) * | 2023-07-11 | 2023-10-13 | 中国人民解放军军事科学院***工程研究院 | 一种基于路径规划任务的关键节点识别方法 |
CN116882607B (zh) * | 2023-07-11 | 2024-02-02 | 中国人民解放军军事科学院***工程研究院 | 一种基于路径规划任务的关键节点识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112824998A (zh) | 马尔可夫决策过程的多无人机协同航路规划方法和装置 | |
Zhang et al. | Cooperative and geometric learning algorithm (CGLA) for path planning of UAVs with limited information | |
Duan et al. | Imperialist competitive algorithm optimized artificial neural networks for UCAV global path planning | |
CN107168380B (zh) | 一种基于蚁群算法的无人机群区域覆盖的多步寻优方法 | |
CN101286071B (zh) | 基于微粒群优化和遗传算法的多无人机三维编队重构方法 | |
CN108153328B (zh) | 一种基于分段贝塞尔曲线的多导弹协同航迹规划方法 | |
CN109917806B (zh) | 一种基于非劣解鸽群优化的无人机集群编队控制方法 | |
Liu et al. | Adaptive path planning for unmanned aerial vehicles based on bi-level programming and variable planning time interval | |
CN110908395A (zh) | 改进的无人机航迹实时规划方法 | |
CN112947592A (zh) | 一种基于强化学习的再入飞行器轨迹规划方法 | |
CN112783213B (zh) | 一种基于混合机制的多无人机协同广域动目标搜索方法 | |
Li et al. | A UAV path planning method based on deep reinforcement learning | |
CN114740883B (zh) | 一种协同点侦察任务规划跨层联合优化方法 | |
Saito et al. | A LiDAR based mobile area decision method for TLS-DQN: improving control for AAV mobility | |
CN115562357A (zh) | 一种面向无人机集群的智能路径规划方法 | |
Zhong et al. | Method of multi-UAVs cooperative search for Markov moving targets | |
Zhang et al. | Design of the fruit fly optimization algorithm based path planner for UAV in 3D environments | |
CN111121804B (zh) | 一种具有安全性约束的智能车辆路径规划方法及*** | |
Yu et al. | UAV path planning using GSO-DE algorithm | |
Zhou et al. | Multi‐UAVs Formation Autonomous Control Method Based on RQPSO‐FSM‐DMPC | |
Kermani et al. | Flight path planning using GA and fuzzy logic considering communication constraints | |
Fu et al. | Obstacle avoidance and collision avoidance of UAV swarm based on improved VFH algorithm and information sharing strategy | |
Pandey et al. | IoV Enabled Route Optimization Technique for Combat Vehicles | |
Guopeng et al. | Research on Path planning of Three-Dimensional UAV Based on Levy Flight Strategy and Improved Particle Swarm Optimization Algorithm | |
Zeng et al. | Research Status and Development Trend of UAV Path Planning Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210521 |
|
RJ01 | Rejection of invention patent application after publication |