CN115494866A - 一种多无人机全局及局部路径智能规划方法及*** - Google Patents
一种多无人机全局及局部路径智能规划方法及*** Download PDFInfo
- Publication number
- CN115494866A CN115494866A CN202211160137.4A CN202211160137A CN115494866A CN 115494866 A CN115494866 A CN 115494866A CN 202211160137 A CN202211160137 A CN 202211160137A CN 115494866 A CN115494866 A CN 115494866A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- obstacle
- global
- path planning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000009471 action Effects 0.000 claims abstract description 45
- 230000004888 barrier function Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 239000002245 particle Substances 0.000 claims description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003897 fog Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种多无人机全局及局部路径智能规划方法及***，包括构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划；通过毫米波雷达采集环境中的障碍物运动状态信息，并获取无人机飞行状态信息；判断是否冲突，设计奖励函数，生成相应的避障策略；获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，避开障碍物，获得局部路径规划模型并跟踪到全局航行路径；每一个无人机同时用全局及局部路径规划模型进行路径规划；本发明可提高多无人机***航迹规划及避障效率，在动态未知复杂环境中实现对多无人机连续动作输出的控制，满足全天候工作条件。
Description
技术领域
本发明涉及无人机技术领域，更具体的说是涉及一种多无人机全局及局部路径智能规划方法及***。
背景技术
随着科技水平的不断进步与发展，无人机凭借其机动性强、成本低、操作方便等特点，在军事、农业、交通、公共管理等领域获得广泛应用。上述应用通常涉及到多架无人机共同完成任务来提高效率，由于在空中同时存在着静态和动态障碍物，无人机需具有很高的全局路径规划能力与局部动态避障能力才能完成指定任务，多无人机的全局路径规划及局部动态避障研究是无人机领域重要技术之一。
传统的全局路径智能规划算法主要包括A星搜索算法、粒子群算法、快速扩展随机树算法以及遗传算法，局部动态避障方法主要包括基于制导率的避障算法、基于速度障碍法的避障算法以及基于人工势场的避障算法，但是传统避障方法局限性较大，对于复杂、动态未知环境不太适用；而近几年备受关注的热门方向之一是结合深度学习、强化学习的智能避障方法，但这种方法存在收敛难度大、实时性差等问题。
因此，如何提供一种多无人机全局及局部路径智能规划方法及***是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种多无人机全局及局部路径智能规划方法及***，可提高多无人机***航迹规划及避障效率，在动态未知复杂环境中实现对多无人机连续动作输出的控制，满足全天候工作条件。
为了实现上述目的，本发明采用如下技术方案：
一种多无人机全局及局部路径智能规划方法，包括以下步骤：
S1.根据每一个无人机航行任务的起始点和目标点构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划，得到每一个无人机的参考全局航行路径；
S2.通过毫米波雷达采集无人机周围环境中的障碍物运动状态信息，并获取无人机飞行状态信息；
S3.根据无人机与障碍物相对位置关系判断是否规划局部避障路径；
S4.根据所述障碍物运动状态信息和所述无人机飞行状态信息，判断无人机与障碍物是否产生飞行冲突，并据此设计奖励函数，生成相应的局部避障策略；
S5.获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，避开障碍物，获得局部路径规划模型并跟踪到全局航行路径；
S6.对无人机集群中每一个无人机同时用所述全局路径规划模型及所述局部路径规划模型进行路径规划。
优选的，S1中所述改进双向搜索A星算法包括：
S11对路径规划进行优化；
具体的：通过调整A星算法的启发函数，搜索最短的到达目的地的路径；
S12对航迹进行平滑处理；
具体的：利用准均匀B样条曲线对航行路径进行平滑处理，准均匀B样条曲线采用分段连续多项式。
优选的，所述障碍物运动状态信息包括障碍物与无人机的距离、障碍物相对无人机的位置信息和运动速度信息；所述无人机的飞行状态信息包括无人机位置信息和飞行速度信息。
优选的，当检测到无人机相对于障碍物的速度方向与障碍物相对于无人机的位置方向处于同一象限时，进行局部路径规划；
优选的，S4中所述判断无人机与障碍物是否产生飞行冲突的的具体方法为：
将无人机简化为质点A，将障碍物视为具有安全半径的障碍圆⊙O，A和O两点之间的距离为di，线段OA落在直线l上，无人机与障碍物的相对速度矢量为vuioi：
vuioi＝vui-voi
其中，vui为无人机的速度矢量信息，voi为障碍物的速度矢量信息；
获取经过点A且与障碍圆相切的切线l1和l2，直线l和切线l1或l2之间的夹角为αi，相对速度矢量vuioi和直线l之间的夹角为βi，障碍圆的半径为Ri，当βi≤αi时，无人机与障碍物之间存在飞行冲突；否则，当βi＞αi时，不存在飞行冲突；
优选的，S5中无人机与环境交互后的状态空间为：
其中，ui为第i个无人机的实时位置信息；vui为第i个无人机的实时速度矢量信息；
为第i个无人机的实时航向角信息，γi为无人机的实时俯仰角信息，o为毫米波雷达探测到的障碍物的实时位置矢量信息，vo为毫米波雷达探测到的障碍物的实时速度矢量信息，d为障碍物与毫米波雷达的实时距离矢量信息，p为全局路径上的实时子目标点的位置信息，g为全局路径终点的位置信息。
优选的，S5中无人机与环境交互后的动作空间为：
其中，vui为无人机的实时速度矢量信息，
为无人机的实时航向角信息，γi为无人机的实时俯仰角信息；
vui、
和γi的变化范围为：
vui∈[vmin，vmax]∩[v-vaΔt，v+vbΔt]
γi∈[0，π]∩[γ-γaΔt，γ+γbΔt]
其中，vmin和vmax为无人机的最小速度和最大速度，va和vb为无人机在前进方向上的最大减速度和最大加速度，
和
为无人机在在航向角上的最大减速度和最大加速度，γa和γb为无人机在在俯仰角上的最大减速度和最大加速度。
优选的，所述奖励函数为：
R(s，a)＝R1(t)+R2(t)+R3(t)+R4(t)
其中，R1(t)为无人机与障碍物之间的距离变化产生的奖励，在无人机与障碍物安全距离内，距离障碍物越近奖励越小，无人机在安全距离以外时，奖励为正常数；
R2(t)为无人机检测到障碍物对无人机飞行产生威胁时速度变化产生的奖励；当无人机与障碍物之间存在飞行冲突，获得一个负奖励；否则，不存在飞行冲突，获得一个正奖励；
R3(t)为无人机与航行任务目标点之间的距离变化产生的奖励，距离越近奖励越大；
R4(t)表示无人机与临时子目标点之间距离变化产生的奖励，距离越近奖励越大。
优选的，S5中所述采用深度确定性策略梯度算法进行避障训练的具体内容包括：
所述算法包括基于策略的策略网络、目标策略网络和基于价值的价值网络、目标价值网络四个网络；
无人机通过策略网络得到当前状态st下的动作at，与环境交互得到下一状态st+1，其中状态和动作的取值满足所述状态空间和所述动作空间的约束，并通过所述奖励函数计算出当前奖励rt与下一状态下奖励rt+1；
保存{St,at,rt+1,St+1}到经验池中，当样本达到开始训练的条件时，随机从经验池中选取N个样本来训练网络完成参数更新。
一种多无人机全局及局部路径智能规划***，包括全局路径规划模块、采集模块、局部路径规划模块和训练模块；
所述全局路径规划模块，用于根据每一个无人机航行任务的起始点和目标点构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划，得到每一个无人机的参考全局航行路径，在所述参考全局航行路径中均匀选取若干个子目标点；
所述采集模块，用于通过毫米波雷达采集无人机周围环境中的障碍物运动状态信息，还用于获取无人机飞行状态信息，所述障碍物运动状态信息包括障碍物与无人机的距离、障碍物相对无人机的位置信息和运动速度信息；所述无人机的飞行状态信息包括无人机位置信息和飞行速度信息；
所述局部路径规划模块，用于根据无人机与障碍物相对位置关系判断是否规划局部避障路径，根据所述障碍物运动状态信息和所述无人机飞行状态信息，判断无人机与障碍物是否产生飞行冲突，利用局部路径规划模型的避障策略在连续动作空间上实现对无人机动作的控制，避开障碍物，并跟踪到全局航行路径上；
所述训练模块，用于设计奖励函数，获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，获得局部路径规划模型；
所述全局路径规划模型及所述局部路径规划模型用于对无人机集群中每一个无人机进行路径规划。
经由上述的技术方案可知，与现有技术相比，本发明公开提供的一种多无人机全局及局部路径智能规划方法及***的有益效果在于：
(1)本发明针对多无人机的多类型障碍物环境提供的无人机全局及局部路径智能规划，相比于单独的全局或局部路径规划，更具灵活性，无人机集群中每一无人机都同时具备了全局路径规划和局部动态避障的能力；
(2)本发明通过深度确定性策略梯度算法实现了对多无人机***连续动作输出的控制，同时具备了可适用于动态未知复杂环境，实时性强，效率高的优点；
(3)本发明同时考虑了无人机飞行状态信息与障碍物运动状态信息，根据障碍物的威胁程度判断是否采取避障措施，并据此设计奖励函数，提高了多无人机***的路径规划及避障效率；
(4)本发明用毫米波雷达采集每架无人机周围的环境数据，获取障碍物信息，相比于激光雷达，探测范围更广，其导引头对穿透雾、烟、灰尘等的穿透能力强，可以实现全天候工作，对环境的适应能力强，可应用的范围更广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种多无人机全局及局部路径智能规划方法流程图；
图2附图为本发明提供的一种多无人机全局及局部路径智能规划方法示意图；
图3附图为本发明提供的划分无人机相对障碍物的飞行冲突范围与非飞行冲突范围的示意图；
图4附图为本发明实施例提供的根据深度确定性策略梯度算法进行避障训练的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种多无人机全局及局部路径智能规划方法，如图1和图2，包括以下步骤：
S1.根据每一个无人机航行任务的起始点和目标点构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划，得到每一个无人机的参考全局航行路径；
S2.通过毫米波雷达采集无人机周围环境中的障碍物运动状态信息，并获取无人机飞行状态信息；
S3.根据无人机与障碍物相对位置关系判断是否规划局部避障路径；
S4.根据所述障碍物运动状态信息和所述无人机飞行状态信息，判断无人机与障碍物是否产生飞行冲突，并据此设计奖励函数，生成相应的局部避障策略；
S5.获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，避开障碍物，获得局部路径规划模型并跟踪到全局航行路径；
S6.对无人机集群中每一个无人机同时用所述全局路径规划模型及所述局部路径规划模型进行路径规划。
为了进一步实施上述技术方案，S1中改进双向搜索A星算法包括：
S11对路径规划进行优化；
具体的：通过调整A星算法的启发函数，使得搜索开始时，更倾向于搜索快速到达目的地的路径，搜索结束时，更倾向于搜索最短的到达目的地的路径；
在本实施例中，改进后的启发函数为：
F(n)＝G(n)+w*H(n)
其中，n为当前节点，F(n)是从起始点到目标点的估计值，G(n)是从起始点到当前节点的估计值，H(n)是从当前节点到目标点的估计值，ω为动态系数；ω的取值随着当前节点到目标点对角线距离的减小而减小；
S12对航迹进行平滑处理；
具体的：利用准均匀B样条曲线对航行路径进行平滑处理，准均匀B样条曲线采用分段连续多项式；
整条曲线用一个完整的表达式，但内在量是一段一段的，相较于Bezier曲线在相同阶次下具有更好的优化效果，同时方便了对局部路径规划的修改。
在一个实施例中，每段曲线由连续相邻的4个航迹控制点确定对航行路径进行平滑处理。
在本实施例中，改进后的双向搜索A星算法可以极大缩短路径搜索时间，提高搜索效率。
为了进一步实施上述技术方案，障碍物运动状态信息包括障碍物与无人机的距离、障碍物相对无人机的位置信息和运动速度信息；无人机的飞行状态信息包括无人机位置信息和飞行速度信息。
在本实施例中，毫米波雷达设置于无人机左侧、右侧、前侧和后侧，采集无人机周围障碍物信息，毫米波雷达引头对穿透雾、烟、灰尘等的穿透能力强，具有较高的测距精度和较远的测距范围，为多无人机***在复杂气候及环境条件下的安全飞行提供了有力保障；无人机飞行状态信息通过地面站监测获取。
为了进一步实施上述技术方案，当检测到无人机相对于障碍物的速度方向与障碍物相对于无人机的位置方向处于同一象限时，进行局部路径规划。
具体的：
1.障碍物在无人机右前方时，在航迹坐标系下，满足以下三个条件时，无人机立即进行障碍物的规避：a.无人机相对于障碍物的速度方向在xoy面上的投影在第一象限，b.障碍物在向无人机所在飞行高度靠近，c.在预设时间段内，障碍物会对无人机飞行产生一定威胁；若不满足以上条件，无人机按照原来航迹航行。
2.障碍物在无人机左前方时，在航迹坐标系下，满足以下三个条件时，无人机立即进行障碍物的规避：a.无人机相对于障碍物的速度方向在xoy面上的投影在第二象限，b.障碍物在向无人机所在飞行高度靠近，c.在预设时间段内，障碍物会对无人机飞行产生一定威胁；若不满足以上条件，无人机按照原来航迹航行。
3.障碍物在无人机左后方时，在航迹坐标系下，满足以下三个条件时，无人机立即进行障碍物的规避：a.无人机相对于障碍物的速度方向在xoy面上的投影在第三象限，b.障碍物在向无人机所在飞行高度靠近，c.在预设时间段内，障碍物会对无人机飞行产生一定威胁；若不满足以上条件，无人机按照原来航迹航行。
4.障碍物在无人机右后方时，在航迹坐标系下，满足以下三个条件时，无人机立即进行障碍物的规避：a.无人机相对于障碍物的速度方向在xoy面上的投影在第四象限，b.障碍物在向无人机所在飞行高度靠近，c.在预设时间段内，障碍物会对无人机飞行产生一定威胁；若不满足以上条件，无人机按照原来航迹航行。
为了进一步实施上述技术方案，如图3，S4中判断无人机与障碍物是否产生飞行冲突的的具体方法为：
将无人机简化为质点A，将障碍物视为具有安全半径的障碍圆⊙O，A和O两点之间的距离为di，线段OA落在直线l上，无人机与障碍物的相对速度矢量为vuioi：
vuioi＝vui-voi
其中，vui为无人机的速度矢量信息，voi为障碍物的速度矢量信息；
获取经过点A且与障碍圆相切的切线l1和l2，直线l和切线l1或l2之间的夹角为αi，相对速度矢量vuioi和直线l之间的夹角为βi，障碍圆的半径为Ri，当βi≤αi时，无人机与障碍物之间存在飞行冲突；否则，当βi＞αi时，不存在飞行冲突。
优选的，S5中无人机与环境交互后的状态空间为：
其中，ui为第i个无人机的实时位置信息；vui为第i个无人机的实时速度矢量信息；
为第i个无人机的实时航向角信息，γi为无人机的实时俯仰角信息，o为毫米波雷达探测到的障碍物的实时位置矢量信息，vo为毫米波雷达探测到的障碍物的实时速度矢量信息，d为障碍物与毫米波雷达的实时距离矢量信息，p为全局路径上的实时子目标点的位置信息，g为全局路径终点的位置信息。
优选的，S5中无人机与环境交互后的动作空间为：
其中，vui为无人机的实时速度矢量信息，
为无人机的实时航向角信息，γi为无人机的实时俯仰角信息；
vui、
和γi的变化范围为：
vui∈[vmin，vmax]∩[v-vaΔt，v+vbΔt]
γi∈[0，π]∩[γ-γaΔt，γ+γbΔt]
其中，vmin和vmax为无人机的最小速度和最大速度，va和vb为无人机在前进方向上的最大减速度和最大加速度，
和
为无人机在在航向角上的最大减速度和最大加速度，γa和γb为无人机在在俯仰角上的最大减速度和最大加速度。
为了进一步实施上述技术方案，奖励函数为：
R(s，a)＝R1(t)+R2(t)+R3(t)+R4(t)
其中，R1(t)为无人机与障碍物之间的距离变化产生的奖励，在无人机与障碍物安全距离内，距离障碍物越近奖励越小，无人机在安全距离以外时，奖励为正常数。
R2(t)为无人机检测到障碍物对无人机飞行产生威胁时速度变化产生的奖励，当无人机与障碍物之间存在飞行冲突，即βi≤αi时，获得一个负奖励；否则，不存在飞行冲突，获得一个正奖励；
R3(t)为无人机与航行任务目标点之间的距离变化产生的奖励，距离越近奖励越大；
R4(t)表示无人机与临时子目标点之间距离变化产生的奖励，距离越近奖励越大。
在本实施例中，
其中，R1(t)为无人机与障碍物之间的距离变化产生的奖励，距离越远奖励越大，目的是使无人机避开障碍物，r1为负常数，表示无人机进入障碍物威胁区域时获得的惩罚，do为不同时刻无人机与未膨化处理的障碍物边缘的距离，Do为障碍物膨胀的宽度，Du为无人机与障碍物的安全距离，k1为负的奖惩系数，vr为无人机相对障碍物的航行速度；
其中，R2(t)为无人机检测到障碍物对无人机飞行产生威胁时速度变化产生的奖励，目的是使该无人机在非飞行冲突的范围内航行，r2为负常数，表示无人机在飞行冲突范围内航行获得的惩罚；r3为正常数，表示为无人机在非飞行冲突范围内航行获得的奖励；
其中，R3(t)为无人机与航行任务目标点之间的距离变化产生的奖励，距离越近奖励越大，目的是使无人机在避障过程中尽量少的偏离航行任务目标点，r4为正常数，表示到达航行任务目标点获得的奖励，k2为正的奖惩系数，dg为不同时刻无人机与航行任务目标点之间的距离，当dg＜dm1时，表示无人机到达了航行任务目标点，vu为无人机的航行速度；
其中，R4(t)表示无人机与临时子目标点之间距离变化产生的奖励，距离越近奖励越大，目的是使无人机在避障完成后可以通过跟踪全局路径上的临时子目标点回到改进双向搜索A星算法规划的全局路径上，r5为正常数，表示到达临时子目标点获得的奖励，k3为正的奖惩系数，dp表示不同时刻无人机与临时子目标点之间的距离，当dp＜dm2时，表示无人机到达了临时子目标点，vu为无人机的航行速度。
为了进一步实施上述技术方案，S5中采用深度确定性策略梯度算法进行避障训练的具体内容包括：
所述算法包括基于策略的策略网络、目标策略网络和基于价值的价值网络、目标价值网络四个网络；
无人机通过策略网络得到当前状态st下的动作at，与环境交互得到下一状态st+1，其中状态和动作的取值满足所述状态空间和所述动作空间的约束，并通过所述奖励函数计算出当前奖励rt与下一状态下奖励rt+1。
保存{St，at，rt+1，St+1}到经验池中，当样本达到开始训练的条件时，随机从经验池中选取N个样本来训练网络完成参数更新，当达到参数更新最大回合数或者达到网络收敛条件时停止参数更新，得到规划的局部避障路径。
在一个实施例中，如图4，深度确定性策略梯度算法进行避障训练的具体内容为：
S51初始化策略网络π(s；θ)和价值网络q(s，a；η)的参数θ和η；初始化目标策略网络π′(s；θ′)和目标价值网络q′(s，a；η′)的参数θ′和η′；初始化目标网络学习率ε，每次学习样本批量大小为N，经验池大小为Z；
S52根据状态空间和动作空间，通过策略网络在当前St状态下输出动作at＝π(st)，其中状态和动作的选择满足状态空间和动作空间的约束；
S53执行动作，根据奖励函数从环境中获取奖励rt+1和下一时刻状态St+1；
S54保存{St，at，rt+1，St+1}到经验池中，当样本达到开始训练的条件时，随机从经验池中选取N个样本，
S55更新策略网络和价值网络：
yi＝ri+1+γq(si+1，π(si+1，θ′)，η′)
S56间隔一段时间更新一次目标价值网络目标策略网络：
η′←εη+(1-ε)η′
θ′←εθ+(1-ε)θ′
S57返回S52进行循环，直到达到最大回合数或达到网络收敛条件。
一种多无人机全局及局部路径智能规划***，包括全局路径规划模块、采集模块、局部路径规划模块和训练模块；
全局路径规划模块，用于根据每一个无人机航行任务的起始点和目标点构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划，得到每一个无人机的参考全局航行路径，在参考全局航行路径中均匀选取若干个子目标点；
采集模块，用于通过毫米波雷达采集无人机周围环境中的障碍物运动状态信息，还用于获取无人机飞行状态信息，障碍物运动状态信息包括障碍物与无人机的距离、障碍物相对无人机的位置信息和运动速度信息；无人机的飞行状态信息包括无人机位置信息和飞行速度信息；
局部路径规划模块，用于根据障碍物运动状态信息和无人机飞行状态信息，划分无人机相对障碍物的飞行冲突范围与非飞行冲突范围，生成相应的避障策略，在参考全局航行路径中均匀选取若干个子目标点，无人机避障结束后将距离最近的子目标点作为临时子目标点，跟踪到参考全局航行路径上；
训练模块，用于设计奖励函数，获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，获得局部路径规划模型；
所述全局路径规划模型及所述局部路径规划模型用于对无人机集群中每一个无人机进行路径规划。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种多无人机全局及局部路径智能规划方法，其特征在于，包括以下步骤：
S1.根据每一个无人机航行任务的起始点和目标点构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划，得到每一个无人机的参考全局航行路径；
S2.通过毫米波雷达采集无人机周围环境中的障碍物运动状态信息，并获取无人机飞行状态信息；
S3.根据无人机与障碍物相对位置关系判断是否规划局部避障路径；
S4.根据所述障碍物运动状态信息和所述无人机飞行状态信息，判断无人机与障碍物是否产生飞行冲突，并设计奖励函数，生成相应的局部避障策略；
S5.获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，避开障碍物，获得局部路径规划模型并跟踪到全局航行路径；
S6.对无人机集群中每一个无人机同时用所述全局路径规划模型及所述局部路径规划模型进行路径规划。
2.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，S1中所述改进双向搜索A星算法包括：
S11对路径规划进行优化；
具体的：通过调整A星算法的启发函数，搜索最短的到达目的地的路径；
S12对航迹进行平滑处理；
具体的：利用准均匀B样条曲线对航行路径进行平滑处理，准均匀B样条曲线采用分段连续多项式。
3.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，所述障碍物运动状态信息包括障碍物与无人机的距离、障碍物相对无人机的位置信息和运动速度信息；所述无人机的飞行状态信息包括无人机位置信息和飞行速度信息。
4.根据权利要求3所述的一种多无人机全局及局部路径智能规划方法，其特征在于，当检测到无人机相对于障碍物的速度方向与障碍物相对于无人机的位置方向处于同一象限时，进行局部路径规划。
5.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，S4中判断无人机与障碍物是否产生飞行冲突的的具体方法为：
将无人机简化为质点A，将障碍物视为具有安全半径的障碍圆⊙O，A和O两点之间的距离为di，线段OA落在直线l上，无人机与障碍物的相对速度矢量为vuioi：
vuioi＝vui-voi
其中，vui为无人机的速度矢量信息，voi为障碍物的速度矢量信息；
获取经过点A且与障碍圆相切的切线l1和l2，直线l与切线l1或l2之间的夹角为αi，相对速度矢量vuioi和直线l之间的夹角为βi，障碍圆的半径为Ri，当βi≤αi时，无人机与障碍物之间存在飞行冲突；否则，当βi>αi时，不存在飞行冲突。
6.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，S5中无人机与环境交互后的状态空间为：
其中，ui为第i个无人机的实时位置信息；vui为第i个无人机的实时速度矢量信息；
为第i个无人机的实时航向角信息，γi为无人机的实时俯仰角信息，o为毫米波雷达探测到的障碍物的实时位置矢量信息，vo为毫米波雷达探测到的障碍物的实时速度矢量信息，d为障碍物与毫米波雷达的实时距离矢量信息，p为全局路径上的实时子目标点的位置信息，g为全局路径终点的位置信息。
7.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，S5中无人机与环境交互后的动作空间为：
其中，vui为无人机的实时速度矢量信息，
为无人机的实时航向角信息，γi为无人机的实时俯仰角信息；
vui、
和γi的变化范围为：
vui∈[vmin,vmax]∩[v-vaΔt,v+vbΔt]
γi∈[0,π]∩[γ-γaΔt,γ+γbΔt]
其中，vmin和vmax为无人机的最小速度和最大速度，va和vb为无人机在前进方向上的最大减速度和最大加速度，
和
为无人机在在航向角上的最大减速度和最大加速度，γa和γb为无人机在在俯仰角上的最大减速度和最大加速度。
8.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，所述奖励函数为：
R(s,a)＝R1(t)+R2(t)+R3(t)+R4(t)
其中，R1(t)为无人机与障碍物之间的距离变化产生的奖励，在无人机与障碍物安全距离内，距离障碍物越近奖励越小，无人机在安全距离以外时，奖励为正常数；
R2(t)为无人机检测到障碍物对无人机飞行产生威胁时速度变化产生的奖励，当无人机与障碍物之间存在飞行冲突，获得一个负奖励；否则，不存在飞行冲突，获得一个正奖励；
R3(t)为无人机与航行任务目标点之间的距离变化产生的奖励，距离越近奖励越大；
R4(t)为无人机与临时子目标点之间距离变化产生的奖励，距离越近奖励越大。
9.根据权利要求1所述的一种多无人机全局及局部路径智能规划方法，其特征在于，S5中所述采用深度确定性策略梯度算法进行避障训练的具体内容包括：
所述算法包括基于策略的策略网络、目标策略网络和基于价值的价值网络、目标价值网络四个网络；
无人机通过策略网络得到当前状态St下的动作at，与环境交互得到下一状态St+1，其中状态和动作的取值满足所述状态空间和所述动作空间的约束，并通过所述奖励函数计算出当前奖励rt与下一状态下奖励rt+1；
保存{St,at,rt+1,St+1}到经验池中，当样本达到开始训练的条件时，随机从经验池中选取N个样本来训练网络完成参数更新。
10.一种多无人机全局及局部路径智能规划***，基于权利要求1-9任意一项所述的一种多无人机全局及局部路径智能规划方法，其特征在于，包括全局路径规划模块、采集模块、局部路径规划模块和训练模块；
所述全局路径规划模块，用于根据每一个无人机航行任务的起始点和目标点构建栅格地图，利用改进双向搜索A星算法获得全局路径规划模型并进行全局路径规划，得到每一个无人机的参考全局航行路径；
所述采集模块，用于通过毫米波雷达采集无人机周围环境中的障碍物运动状态信息，还用于获取无人机飞行状态信息；
所述局部路径规划模块，用于根据无人机与障碍物相对位置关系判断是否规划局部避障路径，根据所述障碍物运动状态信息和所述无人机飞行状态信息，判断无人机与障碍物是否产生飞行冲突，利用局部路径规划模型的避障策略在连续动作空间上实现对无人机动作的控制，避开障碍物，并跟踪到全局航行路径上；
所述训练模块，用于设计奖励函数，获取状态空间和动作空间，采用深度确定性策略梯度算法进行避障训练，在连续动作空间上实现对无人机动作的控制，获得局部路径规划模型；
所述全局路径规划模型及所述局部路径规划模型用于对无人机集群中每一个无人机进行路径规划。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211160137.4A CN115494866A (zh) | 2022-09-22 | 2022-09-22 | 一种多无人机全局及局部路径智能规划方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211160137.4A CN115494866A (zh) | 2022-09-22 | 2022-09-22 | 一种多无人机全局及局部路径智能规划方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115494866A true CN115494866A (zh) | 2022-12-20 |
Family
ID=84470036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211160137.4A Pending CN115494866A (zh) | 2022-09-22 | 2022-09-22 | 一种多无人机全局及局部路径智能规划方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115494866A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117631689A (zh) * | 2024-01-25 | 2024-03-01 | 成都航空职业技术学院 | 一种无人机避障飞行方法 |
| CN118012110A (zh) * | 2024-04-10 | 2024-05-10 | 山东省国土测绘院 | 一种基于无人机航测的智能测绘方法及*** |
-
2022
- 2022-09-22 CN CN202211160137.4A patent/CN115494866A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117631689A (zh) * | 2024-01-25 | 2024-03-01 | 成都航空职业技术学院 | 一种无人机避障飞行方法 |
| CN117631689B (zh) * | 2024-01-25 | 2024-04-16 | 成都航空职业技术学院 | 一种无人机避障飞行方法 |
| CN118012110A (zh) * | 2024-04-10 | 2024-05-10 | 山东省国土测绘院 | 一种基于无人机航测的智能测绘方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115494866A (zh) | 一种多无人机全局及局部路径智能规划方法及*** | |
| Wen et al. | UAV online path planning algorithm in a low altitude dangerous environment | |
| Ali et al. | Cooperative path planning of multiple UAVs by using max–min ant colony optimization along with cauchy mutant operator | |
| CN102759357B (zh) | 通信延迟下多无人机协同实时航路规划方法 | |
| McGee et al. | Optimal path planning in a constant wind with a bounded turning rate | |
| CN110703804B (zh) | 一种固定翼无人机集群的分层防撞控制方法 | |
| CN109871032A (zh) | 一种基于模型预测控制的多无人机编队协同控制方法 | |
| CN110617818A (zh) | 一种无人机航迹生成方法 | |
| CN109871031B (zh) | 一种固定翼无人机的轨迹规划方法 | |
| CN109270933A (zh) | 基于圆锥曲线的无人驾驶避障方法、装置、设备及介质 | |
| CN111580548B (zh) | 一种基于样条-rrt和速度障碍的无人机避障方法 | |
| CN112577506B (zh) | 一种自动驾驶局部路径规划方法和*** | |
| CN112947594B (zh) | 一种面向无人机的航迹规划方法 | |
| Ingersoll et al. | UAV path-planning using Bezier curves and a receding horizon approach | |
| CN115373399A (zh) | 一种基于空地协同的地面机器人路径规划方法 | |
| CN112824998A (zh) | 马尔可夫决策过程的多无人机协同航路规划方法和装置 | |
| Zhang et al. | Collision Avoidance of Fixed-Wing UAVs in Dynamic Environments Based on Spline-RRT and Velocity Obstacle | |
| CN115903888A (zh) | 一种基于天牛群算法的旋翼无人机自主路径规划方法 | |
| CN113793534B (zh) | 一种确定车路协同环境下行车风险场的方法和装置 | |
| CN117724524A (zh) | 一种基于改进球面向量粒子群算法的无人机航线规划方法 | |
| CN114879716B (zh) | 反制低空空域飞行器的执法无人机路径规划方法 | |
| CN114460972B (zh) | 一种无人机城区运行管控方法 | |
| CN115981377A (zh) | 一种无人机动态避障方法及*** | |
| CN113985927A (zh) | 一种四旋翼无人机栖停机动轨迹优化方法 | |
| Hamnanaka | Optimum design for drone highway network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |