CN109655066B - 一种基于Q(λ)算法的无人机路径规划方法 - Google Patents

Abstract

本发明提供了一种基于Q(λ)算法的无人机任务规划方法，包括环境建模步骤，马尔科夫决策过程模型初始化步骤，Q(λ)算法迭代计算步骤，根据状态价值函数计算最优路径步骤，首先根据无人机最小航迹段长度初始化栅格空间，将栅格空间坐标映射为航路点，并对圆形和多边形威胁区域进行表示，然后建立马尔科夫决策模型，包括无人机飞行动作空间表示，状态转移概率的设计，奖励函数的构造，然后采用Q(λ)算法在构建的模型基础上进行迭代计算，并根据最终收敛的状态价值函数计算得出一条能够安全避开威胁区域的无人机的最优路径，本发明将传统的Q学习算法与效用追踪结合，提升了价值函数收敛的速度与精度，引导无人机避开威胁区域并进行自主路径规划。

Description

一种基于Q(λ)算法的无人机路径规划方法

技术领域

本发明涉及一种无人机，具体的说是一种无人机路径规划方法，属于启发式算法技术领域。

背景技术

无人机路径规划是无人机任务规划的重要组成部分，是实现无人机自主执行任务的重要阶段。无人机路径规划要求在给定已知、部分已知或完全未知信息的环境中，规划出从起始点到达目标点，可以绕过威胁区和障碍物、安全可靠无碰撞、且同时满足各种约束条件的飞行航迹。根据无人机所处的战场环境信息的获取情况将路径规划分为全局路径规划和局部路径规划。

在实际应用中，如果无人机能获取全局环境知识，可以使用动态规划实现路径规划。然而随着战场环境的复杂性和不确定性增加，无人机很少有环境的先验知识，所以在实际应用中需要无人机具有较强的适应动态环境的能力。在这种情况下，依赖于传感器信息实时感知威胁区域信息进行局部路径规划的技术就显示出巨大的优越性。

目前的局部路径规划技术存在着算法易陷入局部极小或局部振荡、算法时间代价大和计算机信息存储量大、规则难以确定等问题。而基于行为的无人机路径规划方法称为当今研究的热点，其实质就是将传感器感知的环境状态映射到执行器的动作，基于行为的方法中对状态特征向量的设计和有监督的样本的获取在实际复杂环境中往往是非常困难的。因此这些问题亟待解决。

发明内容

本发明的目的是提供一种基于Q(λ)算法的无人机任务规划方法，结合Q 学习和效用追踪(Eligibility Traces)，对传感器感知的环境状态给与量化的奖惩信号，通过不断与环境的交互，引导无人机进行自主路径规划并进行安全避开威胁区域，实现对外界环境变化的快速响应，具有快速、实时的优点，提升无人机在未知或部分未知环境下适应能力。

本发明提供一种基于Q(λ)算法的无人机路径规划方法，其特征在于：包括以下步骤：

步骤1，环境建模：利用传感器采集到的环境信息，识别威胁区域，使用栅格法将无人机飞行环境进行建模，将连续的空间离散化，根据设定的空间大小生成均匀的网格图，将网格顶点作为离散后的航路点；

步骤2，初始化马尔科夫决策过程模型：初始化适用于求解所述无人机路径规划的马尔科夫决策过程模型，所述马尔科夫决策过程模型可以用四元组<S, A,P,R>表示，S为无人机所处的状态空间，A为无人机的动作空间，P为状态转移矩阵，R为奖励函数，马尔科夫决策过程模型初始化包括对无人机飞行动作空间的表示、状态转移概率的设计以及奖励函数的构造；

步骤3，在所建立的模型上，使用Q(λ)算法迭代计算：在步骤1和步骤2 建立的模型基础上，使用结合Q-learning算法和效用追踪的Q(λ)算法进行迭代计算；引入状态动作价值函数Q(s,a)来表征无人机在状态s采取动作a的价值，建立Q表存储每个状态动作对<s,a>的价值；引入效用追踪函数E(s,a)表示终止状态与状态行为对<s,a>的因果关系；首先进行Q值和E值初始化，然后在每个学习周期内，通过Boltzmann策略选择在s状态下采取的动作a；执行动作a转移到下一状态s'后，通过Q值更新公式更新Q(s,a)的值，并通过E值更新公式更新所有状态动作对的E值，当到达终止状态时，当次学习周期结束，直到到达最大学习周期数后，Q(λ)算法迭代计算过程结束；

步骤4，根据状态价值函数计算最优路径：经过步骤3后得到收敛的状态价值函数，则可以在状态s下选择具有最大Q值的动作a*，采取动作a*后继续采用确定性的策略，直到到达终止状态，最后将网格中的节点映射至经纬度则得到最优路径。

作为本发明的进一步限定：所述步骤1环境建模的具体步骤为：

步骤1.1根据无人机最小航迹段长度初始化栅格空间；

无人机在若干个航点之间飞行是沿直线飞行，而到达某些航点时根据航迹要求而改变飞行姿态，最小航迹段长度是限制无人机在开始改变飞行姿态前必须直飞的最短距离，以无人机最小航迹段长度设置步长，可获得满足无人机自身约束的离散栅格空间；

设置无人机起点位置的经纬度坐标为S＝(lon_S,lat_S)，目标点的经纬度坐标为 T＝(lon_T,lat_T)，无人机最小航迹段长度为d_min，栅格空间的大小为m*n，将d_min设置为栅格步长，则m、n的计算公式为：

步骤1.2将栅格空间坐标映射为航路点；

将栅格顶点作为离散后的航路点，栅格空间中的坐标使用(x,y)表示，设置栅格空间原点(0,0)对应的经纬度坐标为(lon_o,lat_o)，则(x,y)对应的航路点经纬度坐标(lon_xy,lat_xy)的计算公式如下：lon_xy＝lon_o+d_min*x,lat_xy＝lat_o+d_min*y。

步骤1.3威胁区域信息的表示；

无人机在飞行过程中要考虑威胁源的空间位置，根据威胁源种类将威胁区域分为圆形区域和多边形区域，在栅格空间中，将含有威胁区域的节点标注为 1，表示为禁飞区域，不含有威胁区域的节点标注为0，表示为可飞区域；对于圆形威胁区域，设置区域圆心坐标为(lon_c,lat_c)，威胁区域半径为r(km)，对于栅格中的每个节点(x,y)，根据haversine公式计算节点对应的航路点到威胁区圆心的距离d_xyo，haversine方程是根据经纬度坐标计算球面上两个点间的距离；

如果d_xyo≦r，则将(x,y)对应的节点标注为1，否则标注为0，对于多边形威胁区域，以航路点(lon_xy,lat_xy)开始，向右(或向左)的水平方向作一射线，计算该射线与多边形区域的交点个数，如果交点个数为奇数，则航路点位于多边形威胁区内，将(x,y)节点标注为1，若交点个数为偶数，则在多边形威胁区外，将节点标注为1。

作为本发明的进一步限定：所述步骤2马尔科夫决策过程模型初始化的具体步骤为：

步骤2.1表示无人机飞行动作空间

在栅格空间中将网格顶点作为航路点，则一个顶点到另一个顶点共有八个转移方向(边界点除外)；根据无人机自身的约束和空间的威胁分布对转移方向做一定的限制，将无人机的行为泛化为离散动作空间，将航向状态以45°为间隔进行离散化，可以获得8个离散状态；根据设置的离散化航向状态，设置5 个无人机飞行动作，直飞用数字0表示、右转45°用1表示，左转45°用2表示，右转90°用3表示、左转90°用4表示，则动作空间表示为A＝[0,1,2,3,4]，每个数字分别表示一个动作；

步骤2.2设计状态转移概率

状态转移概率是指当无人机在某一航路状态下执行动作后，到达另一航路状态的条件概率，用

表示，代表无人机在状态s下执行动作a转移到状态s' 的概率；

由于在学习初期，无人机对环境未知，极易进入威胁区域，无人机进入威胁区域即代表一个学习周期结束，对环境的探索局限在初始状态附近，所以设定当无人机采取的动作会导致其进入威胁区域或者会导致无人机离开状态空间时，不发生状态转移，即无人机状态不发生改变，其余条件下将100％转移到动作指向的状态；无人机的状态空间为S，威胁区域空间为O，则

的计算公式为：

步骤2.3奖励函数的构造

无人机进行航路点转移进入下一个状态时会获得即时奖励，基于Q(λ)算法的学习目标就是最大化累积即时奖励，奖励函数的构造要考虑影响航迹性能的各种指标，包括距目标点的距离、飞行安全性、威胁程度等；

表示无人机在状态s下采取动作a转移到s'状态获得的即时奖励函数，计算公式如下，其中 w₁、w₂、w₃为加权系数,f_d、f_o、f_a为经过归一化处理的航迹评价因素；

f_d表示能见度，取状态s'距目标点距离的倒数,s'的经纬度坐标为s'＝(lon _s',lat_s'),目标点的经纬度坐标为T＝(lon_T,lat_T)，f_d计算公式为：

f_o表示威胁区域对状态s'的威胁程度，

其中I_o表示对无人机当前状态转移存在威胁的威胁区集合，

表示威胁区o_i对s'的威胁程度,威胁区 o_i的经纬度坐标为

计算公式为：

f_a表示对无人机飞行动作的惩罚项,无人机采取的飞行动作是影响无人机飞行安全的关键因素；根据步骤2.1设置的无人机飞行动作空间，将f_a处理为离散函数：

作为本发明的进一步限定：所述步骤3在所建立的模型上，使用Q(λ)算法迭代计算的具体步骤为：

步骤3.1初始化Q表

对Q表中的每个状态动作对Q(s,a)进行Q值初始化，Q(s,～)表示s状态下所有状态动作对的初始价值，s_T表示终止状态，则Q(s,a)的计算公式如下：

如果s为终止状态，则初始Q值为0，否则将Q值设置为s与s_T的距离的倒数，s状态对应的坐标为(x,y),s_T状态对应的坐标为(x_T,y_T)，dss_T的计算公式为：

步骤3.2初始化E值

在每个学习周期开始时，将所有状态动作对<s,a>的E值E(s,a)初始化为0；

步骤3.3使用Boltzmann分布策略进行动作选择。

在每个学习周期内，首先设定初始状态，然后根据Boltzmann分布策略选择动作进行状态转移；s状态下采取动作a的概率p(a|s)计算公式为：

其中T表示温度系数，用来控制策略的探索强度。在学习初期可以使用较大的温度系数以保证较强的策略探索能力，之后逐渐减小温度系数。然后根据 p(a|s)使用轮盘法选择动作a，并将E(s,a)的值加一；

步骤3.4更新Q值

无人机在状态s下采取步骤3.2选取的动作a，转移到状态s',并获得即时奖励r，则Q(s,a)的更新公式为：

Q(s,a)＝Q(s,a)+α*(r+γ*max_aQ(s′,a)-Q(s,a))*E(s,a)

其中α为学习率，γ为折扣因子，γ表示对未来奖励的重视程度,max_aQ(s',a) 为状态s'下最大的Q值；

步骤3.5更新E值

对所有的状态动作对E(s,a)的更新公式为:E(s,a)＝λ*E(s,a)，其中λ为权重参数，当状态s'为终止状态时，则本次学习周期结束，进入下个学习周期，否则转移到s'状态，并返回步骤3.2，继续学习过程；

作为本发明的进一步限定：所述步骤4根据状态价值函数计算最优路径的具体步骤为：

步骤4.1使用确定性策略进行状态转移

经过步骤3后，状态价值Q已经收敛；首先设定初始状态s，在s状态下选择具有最大Q值的动作a*，并进行状态转移，动作a*的选择公式为:a^*＝argmax_a∈AQ(s,a)，当采取动作a转移到下一状态s'后，继续采取确定性策略选择动作，直到到达终止状态；

步骤4.2将网格空间映射成航路点经纬度坐标

根据步骤1.2中的公式将步骤4.1中得到的网格中的最优路径坐标映射成航路点的经纬度坐标，则得到无人机最优路径。。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.使用无人机最小航迹段长度作为离散化步长，考虑了无人机自身约束，解决了环境建模的离散化过程缺少依据的缺点，获得能充分发挥无人机飞行能力的离散规划空间；

2.在设置状态转移概率时，当无人机采取的动作会导致其进入威胁区域时，无人机不发生状态转移，保持当前状态不变继续进行当前周期的学习，解决了在学习初期无人机与环境交互局限在初始状态附近的缺点，提升了算法的收敛速度；

3.Q学习算法不需要全局得环境知识，而是通过类似试错的方法，不断与环境交互，通过优化行为价值函数来逼近最优策略，适用于动态环境下无人机对环境未知或部分未知的情况，引导无人机进行自主路径规划；

4.传统Q学习算法在算法迭代过程中是在当前状态下多看一步，通过在Q 学习算法内引入效用追踪函数，综合考虑了所有步数的预测，使得对于价值函数的计算更准确。并且可以进行有效的在线更新，不需要等到一个学习周期结束才进行Q值更新，可以丢弃之前的学习数据，加快算法收敛的速度。

附图说明

图1栅格空间内无人机离散动作及其转移结果。

图2每个学习周期内算法迭代流程图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

为了方便叙述，简单定义算法中的主要变量：

无人机起点位置的经纬度坐标为S＝(lon_S,lat_S)，目标点的经纬度坐标为 T＝(lon_T,lat_T)，栅格空间的大小为m*n，栅格空间内点坐标为(x,y)。马尔科夫模型用四元组<S,A,P,R>表示，S为无人机所处状态空间，A为无人机动作空间， R为奖励函数，P为状态转移概率矩阵。

本发明提出一种基于Q(λ)算法的无人机路径规划方法，包括环境建模步骤，马尔科夫决策过程模型初始化步骤，Q(λ)算法迭代计算步骤，根据状态价值函数计算最优路径步骤；

具体步骤如下：

步骤1)环境建模步骤

步骤1.1)将栅格空间的步长设置为无人机最小航迹段长度d_min；

步骤1.2)根据公式

计算栅格空间大小；

步骤1.3)根据公式lon_xy＝lon_o+d_min*x,lat_xy＝lat_o+d_min*y将栅格空间坐标映射为航路点经纬度坐标，(lon_o,lat_o)为栅格空间原点(0,0)对应的经纬度坐标；

步骤1.4)在栅格空间内，将含有威胁区域的节点标注为1，表示禁飞区域。将不含有威胁区域的节点标注为0，表示为可飞区域；

步骤2)马尔科夫决策过程模型初始化

步骤2.1)根据如图1所示的无人机转移方向，设置5个无人机飞行动作，直飞用数字0表示、右转45°用1表示，左转45°用2表示，右转90°用3表示、左转90°用4表示，将无人机飞行动作空间表示为A＝[0,1,2,3,4]，每个数字分别表示一个动作；

步骤2.2)将状态转移概率设定为无人机采取的动作会导致其进入威胁区域或者会导致无人机离开状态空间时，不发生状态转移，即无人机状态不发生改变，其余条件下将100％转移到动作指向的状态。状态转移概率计算公式为：

其中O为威胁区域空间；

步骤2.3)无人机在状态s下采取动作a转移到s'状态获得的即时奖励函数

计算公式为

其中w₁、w₂、w₃为加权系数,f_d、f_o、 f_a为经过归一化处理的航迹评价因素；

步骤2.4)f_d表示能见度，取状态s'距目标点距离的倒数,s'的经纬度坐标为 s'＝(lon_s',lat_s'),目标点的经纬度坐标为T＝(lon_T,lat_T)，f_d计算公式为：

步骤2.5)f_o表示威胁区域对状态s'的威胁程度，

其中I_o表示对无人机当前状态转移存在威胁的威胁区集合,

表示威胁区o_i对s'的威胁程度,威胁区o_i的经纬度坐标为

计算公式为：

步骤2.6)f_a表示对无人机飞行动作的惩罚项,无人机采取的飞行动作是影响无人机飞行安全的关键因素。根据步骤2.1设置的无人机飞行动作空间，将f_a处理为离散函数，

步骤3)在所建立的模型上，使用Q(λ)算法进行迭代计算，算法在每个学习周期内的迭代流程如图2所示；

步骤3.1)对Q表中的每个状态动作对Q(s,a)进行Q值初始化。Q(s,～)表示 s状态下所有状态动作对的初始价值，s_T表示终止状态，则Q(s,a)的计算公式如下：

步骤3.2)在每个学习周期开始时，将所有状态动作对<s,a>的E值E(s,a) 初始化为0；

步骤3.3)设置初始状态；

步骤3.4)根据Boltzmann分布策略进行动作选择，s状态下采取动作a的概率p(a|s)计算公式为：

步骤3.5)根据公式：

Q(s,a)＝Q(s,a)+α*(r+γ*max_aQ(s′,a)-Q(s,a))*E(s,a)

对Q(s,a)进行更新；

步骤3.6)根据公式E(s,a)＝λ*E(s,a)对E值进行更新：

步骤3.7)采取动作a转移至下一状态s'，若s'为终止状态，则本次学习周期结束，返回步骤3.2)进入下一学习周期，否则返回步骤3.4)继续迭代。

步骤4)根据状态价值函数计算最优路径：

步骤4.1)经过步骤3)后，状态价值Q已经收敛，首先设定初始状态s，在s状态下选择具有最大Q值的动作a*，并进行状态转移，动作a*的选择公式为:a^*＝argmax_a∈AQ(s,a)。当采取动作a转移到下一状态s'后，继续采取确定性策略选择动作，直到到达终止状态；

步骤4.2)根据步骤1.3)中的公式将步骤4.1)中得到的网格中的最优路径坐标映射成航路点的经纬度坐标，则得到无人机最优路径。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于Q(λ)算法的无人机路径规划方法，其特征在于：包括以下步骤：

步骤1，环境建模：利用传感器采集环境信息，识别威胁区域，使用栅格法将无人机飞行环境进行建模，将连续的空间离散化，根据设定的空间大小生成均匀的网格图，将网格顶点作为离散后的航路点；

步骤2，初始化马尔科夫决策过程模型：初始化适用于求解所述无人机路径规划的马尔科夫决策过程模型，所述马尔科夫决策过程模型用四元组<S,A,P,R>表示，S为无人机所处的状态空间，A为无人机的动作空间，P为状态转移矩阵，R为奖励函数，马尔科夫决策过程模型初始化包括对无人机飞行动作空间的表示、状态转移概率的设计以及奖励函数的构造；

步骤3，在所建立的模型上，使用Q(λ)算法迭代计算：在步骤1和步骤2建立的模型基础上，使用结合Q-learning算法和效用追踪的Q(λ)算法进行迭代计算；引入状态动作价值函数Q(s,a)来表征无人机在状态s采取动作a的价值，建立Q表存储每个状态动作对<s,a>的价值；引入效用追踪函数E(s,a)表示终止状态与状态行为对<s,a>的因果关系；首先进行Q值和E值初始化，然后在每个学习周期内，通过Boltzmann策略选择在s状态下采取的动作a；执行动作a转移到下一状态s'后，通过Q值更新公式更新Q(s,a)的值，并通过E值更新公式更新所有状态动作对的E值，当到达终止状态时，当次学习周期结束，直到到达最大学习周期数后，Q(λ)算法迭代计算过程结束；

步骤4，根据状态价值函数计算最优路径：经过步骤3后得到收敛的状态价值函数，则在状态s下选择具有最大Q值的动作a*，采取动作a*后继续采用确定性的策略，直到到达终止状态，最后将网格中的节点映射至经纬度则得到最优路径。

2.根据权利要求1所述的基于Q(λ)算法的无人机路径规划方法，其特征在于：所述步骤1环境建模的具体步骤为：

步骤1.1根据无人机最小航迹段长度初始化栅格空间；

无人机在若干个航点之间飞行是沿直线飞行，而到达某些航点时根据航迹要求而改变飞行姿态，最小航迹段长度是限制无人机在开始改变飞行姿态前必须直飞的最短距离，以无人机最小航迹段长度设置步长，可获得满足无人机自身约束的离散栅格空间；

设置无人机起点位置的经纬度坐标为S＝(lon_S,lat_S)，目标点的经纬度坐标为T＝(lon_T,lat_T)，无人机最小航迹段长度为d_min，栅格空间的大小为m*n，将d_min设置为栅格步长，则m、n的计算公式为：

步骤1.2将栅格空间坐标映射为航路点；

将栅格顶点作为离散后的航路点，栅格空间中的坐标使用(x,y)表示，设置栅格空间原点(0,0)对应的经纬度坐标为(lon_o,lat_o)，则(x,y)对应的航路点经纬度坐标(lon_xy,lat_xy)的计算公式如下：lon_xy＝lon_o+d_min*x,lat_xy＝lat_o+d_min*y；

步骤1.3威胁区域信息的表示；

无人机在飞行过程中要考虑威胁源的空间位置，根据威胁源种类将威胁区域分为圆形区域和多边形区域，在栅格空间中，将含有威胁区域的节点标注为1，表示为禁飞区域，不含有威胁区域的节点标注为0，表示为可飞区域；对于圆形威胁区域，设置区域圆心坐标为(lon_c,lat_c)，威胁区域半径为rkm，对于栅格中的每个节点(x,y)，根据haversine公式计算节点对应的航路点到威胁区圆心的距离d_xyo，haversine方程是根据经纬度坐标计算球面上两个点间的距离；

如果d_xyo≦r，则将(x,y)对应的节点标注为1，否则标注为0，对于多边形威胁区域，以航路点(lon_xy,lat_xy)开始，向右或向左的水平方向作一射线，计算该射线与多边形区域的交点个数，如果交点个数为奇数，则航路点位于多边形威胁区内，将(x,y)节点标注为1，若交点个数为偶数，则在多边形威胁区外，将节点标注为1。

3.根据权利要求2所述的基于Q(λ)算法的无人机路径规划方法，其特征在于：所述步骤2马尔科夫决策过程模型初始化的具体步骤为：

步骤2.1表示无人机飞行动作空间

在栅格空间中将网格顶点作为航路点，则一个顶点到另一个顶点共有八个转移方向，边界点除外；根据无人机自身的约束和空间的威胁分布对转移方向做一定的限制，将无人机的行为泛化为离散动作空间，将航向状态以45°为间隔进行离散化，获得8个离散状态；根据设置的离散化航向状态，设置5个无人机飞行动作，直飞用数字0表示、右转45°用1表示，左转45°用2表示，右转90°用3表示、左转90°用4表示，则动作空间表示为A＝[0,1,2,3,4]，每个数字分别表示一个动作；

步骤2.2设计状态转移概率

状态转移概率是指当无人机在某一航路状态下执行动作后，到达另一航路状态的条件概率，用

表示，代表无人机在状态s下执行动作a转移到状态s'的概率；

由于在学习初期，无人机对环境未知，极易进入威胁区域，无人机进入威胁区域即代表一个学习周期结束，对环境的探索局限在初始状态附近，所以设定当无人机采取的动作会导致其进入威胁区域或者会导致无人机离开状态空间时，不发生状态转移，即无人机状态不发生改变，其余条件下将100％转移到动作指向的状态；无人机的状态空间为S，威胁区域空间为O，则

的计算公式为：

步骤2.3奖励函数的构造

无人机进行航路点转移进入下一个状态时会获得即时奖励，基于Q(λ)算法的学习目标就是最大化累积即时奖励，奖励函数的构造要考虑影响航迹性能的各种指标，包括距目标点的距离、飞行安全性、威胁程度；

表示无人机在状态s下采取动作a转移到s'状态获得的即时奖励函数，计算公式如下，其中w₁、w₂、w₃为加权系数,f_d、f_o、f_a为经过归一化处理的航迹评价因素；

f_d表示能见度，取状态s'距目标点距离的倒数,s'的经纬度坐标为s'＝(lon_s',lat_s'),目标点的经纬度坐标为T＝(lon_T,lat_T)，f_d计算公式为：

f_o表示威胁区域对状态s'的威胁程度，

其中I_o表示对无人机当前状态转移存在威胁的威胁区集合，

表示威胁区o_i对s'的威胁程度,威胁区o_i的经纬度坐标为

计算公式为：

f_a表示对无人机飞行动作的惩罚项,无人机采取的飞行动作是影响无人机飞行安全的关键因素；根据步骤2.1设置的无人机飞行动作空间，将f_a处理为离散函数：

4.根据权利要求3所述的基于Q(λ)算法的无人机路径规划方法，其特征在于：所述步骤3在所建立的模型上，使用Q(λ)算法迭代计算的具体步骤为：

步骤3.1初始化Q表

对Q表中的每个状态动作对Q(s,a)进行Q值初始化，Q(s,～)表示s状态下所有状态动作对的初始价值，s_T表示终止状态，则Q(s,a)的计算公式如下：

如果s为终止状态，则初始Q值为0，否则将Q值设置为s与s_T的距离的倒数，s状态对应的坐标为(x,y),s_T状态对应的坐标为(x_T,y_T)，dss_T的计算公式为：

步骤3.2初始化E值

在每个学习周期开始时，将所有状态动作对<s,a>的E值E(s,a)初始化为0；

步骤3.3使用Boltzmann分布策略进行动作选择；

在每个学习周期内，首先设定初始状态，然后根据Boltzmann分布策略选择动作进行状态转移；s状态下采取动作a的概率p(a|s)计算公式为：

其中T表示温度系数，用来控制策略的探索强度；在学习初期使用较大的温度系数以保证较强的策略探索能力，之后逐渐减小温度系数；然后根据p(a|s)使用轮盘法选择动作a，并将E(s,a)的值加一；

步骤3.4更新Q值

无人机在状态s下采取步骤3.2选取的动作a，转移到状态s',并获得即时奖励r，则Q(s,a)的更新公式为：

Q(s，a)＝Q(s，a)+α*(r+γ*max_aQ(s′，a)-Q(s，a))*E(s，a)

其中α为学习率，γ为折扣因子，γ表示对未来奖励的重视程度,max_aQ(s',a)为状态s'下最大的Q值；

步骤3.5更新E值

对所有的状态动作对E(s,a)的更新公式为:E(s,a)＝λ*E(s,a)，其中λ为权重参数，当状态s'为终止状态时，则本次学习周期结束，进入下个学习周期，否则转移到s'状态，并返回步骤3.2，继续学习过程。

5.根据权利要求4所述的基于Q(λ)算法的无人机路径规划方法，其特征在于：所述步骤4根据状态价值函数计算最优路径的具体步骤为：

步骤4.1使用确定性策略进行状态转移

经过步骤3后，状态价值Q已经收敛；首先设定初始状态s，在s状态下选择具有最大Q值的动作a*，并进行状态转移，动作a*的选择公式为:a^*＝argmax_a∈AQ(s,a)，当采取动作a转移到下一状态s'后，继续采取确定性策略选择动作，直到到达终止状态；

步骤4.2将网格空间映射成航路点经纬度坐标

根据步骤1.2中的公式将步骤4.1中得到的网格中的最优路径坐标映射成航路点的经纬度坐标，则得到无人机最优路径。

Images