CN114020016A - 一种基于机器学习的空地协同通信服务方法及*** - Google Patents
一种基于机器学习的空地协同通信服务方法及*** Download PDFInfo
- Publication number
- CN114020016A CN114020016A CN202111271084.9A CN202111271084A CN114020016A CN 114020016 A CN114020016 A CN 114020016A CN 202111271084 A CN202111271084 A CN 202111271084A CN 114020016 A CN114020016 A CN 114020016A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- unmanned
- vehicle
- communication service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000010801 machine learning Methods 0.000 title claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 64
- 230000007613 environmental effect Effects 0.000 claims description 31
- 230000008901 benefit Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 25
- 230000009471 action Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010295 mobile communication Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种基于机器学***的通信服务,具有较高鲁棒性与较强的环境适应能力,可应用于空地协同通信服务之中。
Description
技术领域
本发明涉及空地协同通信服务技术领域,具体涉及一种基于机器学习的空地协同通信服务方法及***。
背景技术
无人机为地面用户提供通信服务主要有两种途径,第一种途径是将无人机作为通信的中继点使用;在这种使用模式下,无人机负责转发用户与基站之间的通信消息,以此为用户提供通信服务。在这种通信服务模式中如何优化无人机的位置布局以及如何分配通信通道给不同的用户需要得到解决。通常的做法是将以上问题建模为一个多目标优化问题,使用凸优化的方法或者智能算法进行求解,得到无人机的位置分布以及通信信道的分配策略。第二种途径是利用无人机直接给用户提供通信服务;在这种模式下,无人机直接作为一个空中通信基站,给用户提供直接的通信服务。在这种通信服务模式中如何优化无人机的动态轨迹,为用户提供高质量的通信服务需要得到解决。通常的做法是将以上问题建模为一个优化问题求解,考虑的约束条件包括能量约束,最大数据吞吐量约束等,优化目标使得无人机为用户提供尽可能好的通信服务。一般方法为凸优化方法和一些机器学习方法。
虽然上述方法使无人机能够在一些简单的环境中为用户提供高质量的通信服务,但仍有一些问题没有被解决。首先,在实践中可用的无人机数量有限,提供的服务也有限,因此很难向分布在各种环境中的用户提供高质量的服务;其次,由于分布在环境中的障碍物会阻挡通信链路,被障碍物阻挡的用户很难获得无人机的服务,因此,仅靠无人机无法为广域和复杂环境中所有用户提供高质量的通信服务。
发明内容
鉴于以上问题,本发明提出一种基于机器学习的空地协同通信服务方法及***,用以解决现有技术中仅靠无人机提供通信服务导致服务质量不高且效率低的问题。
根据本发明一方面,提出一种基于机器学习的空地协同通信服务方法,该方法包括以下步骤:
步骤一、获取每个无人机以及无人车在通信服务中的环境信息;
步骤二、将所述环境信息输入预训练的深度神经网络模型中,解算获得无人机以及无人车的协同通信服务策略指令。
进一步地,步骤一中每个无人机对应的环境信息包括通信服务区域中用户状态信息、距离当前无人机最近的多个无人机位置信息、距离当前无人机最近的多个无人车位置信息;每个无人车对应的环境信息包括通信服务区域中用户状态信息、距离当前无人车最近的多个无人车位置信息、距离当前无人车最近的多个无人机位置信息;其中,所述位置信息包括距离参数和角度参数。
进一步地,步骤一中所述用户状态信息包括相对当前无人机或无人车具有最小排序因子的多个用户位置信息、全部用户的通信平均服务质量以及通信服务质量标准差;所述排序因子计算公式为:
式中,ρk表示用户k相对于无人机或无人车的排序因子;dik表示无人机或无人车相对于用户k的距离;αik表示无人机或无人车的速度方向和无人机或无人车与用户k之间连线的夹角;表示用户k在t时刻具有的通信服务质量;dmax,Qmax为归一化系数;λ1,λ2,λ3为比例系数。
进一步地,步骤二中深度神经网络模型预训练的过程包括:
步骤二二、在每个交互周期内,无人机与无人车分别收集与环境的交互数据{ot(ui),at(ui),rt+1(ui),ot+1(ui)}与{ot(vj),at(vj),rt+1(vj),ot+1(vj)},其中,ot(ui)表示无人机i在t时刻观测的环境信息,表示无人机i在t时刻执行的动作指令,rt+1(ui)表示无人机i在t+1时刻接收的奖励值,ot+1(ui)表示无人机i在t+1时刻观测的环境信息;ot(vj)表示无人车j在t时刻观测的环境信息,表示无人车j在t时刻执行的动作指令,rt+1(vj)表示无人车j在t+1时刻接收的奖励值,ot+1(vj)表示无人车j在t+1时刻观测的环境信息;
步骤二三、利用收集的交互数据计算优势函数,无人机i以及无人车j的优势函数计算为:
步骤二四、重复步骤二二至步骤二三直到达到设定的最大步长T;
步骤二五、利用上述步骤收集的交互数据以及计算的优势函数计算获得无人机策略以及无人车策略的损失值如下:
式中,LCLIP(θu)以及LCLIP(θv)分别表示无人机的策略损失值以及无人车的策略损失值;∈为一个常数,取值范围在(0,1)之间;ri t(θu)为无人机实际策略与目标策略的比值,ri t(θv)为无人车实际策略与目标策略的比值;
步骤二六、最小化LCLIP(θu)与LCLIP(θv)更新无人机以及无人车的通信服务策略网络;
步骤二七、利用上述步骤收集的交互数据计算无人机值函数以及无人车值函数的损失值如下:
式中,LV(φu)为无人机值函数的损失值,LV(φv)为无人车值函数的损失值;
步骤二八、最小化LV(φu)与LV(φv)更新无人机以及无人车值网络;
步骤二九、更新无人机目标策略网络与无人车目标策略网络:θ′u←θu,θ′v←θv;
步骤二十、重复步骤二二至步骤二九直到网络训练收敛,获得训练好的深度神经网络模型。
进一步地,步骤二中解算获得无人机以及无人车的协同通信服务策略指令的具体过程包括:经过训练好的深度神经网络模型的输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率,无人机控制指令为无人机航向偏角指令,无人车控制指令为无人车线速度控制指令与角速度控制指令的组合;选择具有最大概率值对应的无人机航向偏角指令作为无人机实际控制指令,选择具有最大概率值对应的无人车线速度控制指令与角速度控制指令的组合作为无人车实际控制指令。
根据本发明另一方面,提出一种基于机器学习的空地协同通信服务***,该***包括:
数据获取模块,用于获取每个无人机以及无人车在通信服务中的环境信息;
指令解算模块,用于将所述环境信息输入预训练的深度神经网络模型中,解算获得无人机以及无人车的协同通信服务策略指令。
进一步地,所述数据获取模块中每个无人机对应的环境信息包括通信服务区域中用户状态信息、距离当前无人机最近的多个无人机位置信息、距离当前无人机最近的多个无人车位置信息;每个无人车对应的环境信息包括通信服务区域中用户状态信息、距离当前无人车最近的多个无人车位置信息、距离当前无人车最近的多个无人机位置信息;其中,所述位置信息包括距离参数和角度参数。
进一步地,所述数据获取模块中所述用户状态信息包括相对当前无人机或无人车具有最小排序因子的多个用户位置信息、全部用户的通信平均服务质量以及通信服务质量标准差;所述排序因子计算公式为:
式中,ρk表示用户k相对于无人机或无人车的排序因子;dik表示无人机或无人车相对于用户k的距离;αik表示无人机或无人车的速度方向和无人机或无人车与用户k之间连线的夹角;表示用户k在t时刻具有的通信服务质量;dmax,Qmax为归一化系数;λ1,λ2,λ3为比例系数。
进一步地,所述指令解算模块包括模型训练子模块,所述模型训练子模块用于预训练深度神经网络模型,预训练的过程包括:
步骤二二、在每个交互周期内,无人机与无人车分别收集与环境的交互数据{ot(ui),at(ui),rt+1(ui),ot+1(ui)}与{ot(vj),at(vj),rt+1(vj),ot+1(vj)},其中,ot(ui)表示无人机i在t时刻观测的环境信息,表示无人机i在t时刻执行的动作指令,rt+1(ui)表示无人机i在t+1时刻接收的奖励值,ot+1(ui)表示无人机i在t+1时刻观测的环境信息;ot(vj)表示无人车j在t时刻观测的环境信息,表示无人车j在t时刻执行的动作指令,rt+1(vj)表示无人车j在t+1时刻接收的奖励值,ot+1(vj)表示无人车j在t+1时刻观测的环境信息;
步骤二三、利用收集的交互数据计算优势函数,无人机i以及无人车j的优势函数计算为:
步骤二四、重复步骤二二至步骤二三直到达到设定的最大步长T;
步骤二五、利用上述步骤收集的交互数据以及计算的优势函数计算获得无人机策略以及无人车策略的损失值如下:
式中,LCLIP(θu)以及LCLIP(θv)分别表示无人机的策略损失值以及无人车的策略损失值;∈为一个常数,取值范围在(0,1)之间;ri t(θu)为无人机实际策略与目标策略的比值,ri t(θv)为无人车实际策略与目标策略的比值;
步骤二六、最小化LCLIP(θu)与LCLIP(θv)更新无人机以及无人车的通信服务策略网络;
步骤二七、利用上述步骤收集的交互数据计算无人机值函数以及无人车值函数的损失值如下:
式中,LV(φu)为无人机值函数的损失值,LV(φv)为无人车值函数的损失值;
步骤二八、最小化LV(φu)与LV(φv)更新无人机以及无人车值网络;
步骤二九、更新无人机目标策略网络与无人车目标策略网络:θ′u←θu,θ′v←θv;
步骤二十、重复步骤二二至步骤二九直到网络训练收敛,获得训练好的深度神经网络模型。
进一步地,所述指令解算模块还包括概率选择子模块,所述概率选择子模块用于在训练好的深度神经网络模型输出值中选择具有最大概率值对应的无人机航向偏角指令作为无人机实际控制指令,选择具有最大概率值对应的无人车线速度控制指令与角速度控制指令的组合作为无人车实际控制指令;其中,深度神经网络模型输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率,无人机控制指令为无人机航向偏角指令,无人车控制指令为无人车线速度控制指令与角速度控制指令的组合。
本发明的有益技术效果是:
本发明提出无人机与无人车协同对地面用户进行通信服务,可解决地面通信基站受损之后地面用户与外界或者地面用户之间相互通信的问题,同时可解决移动通信设备可用量不足的问题。相比于传统的通信服务方法,本发明具有以下优势:1)通信服务***具有多个无人机与无人车,可对地面用户提供高质量且公平的通信服务;2)通过在通信服务***中加入无人车,可以弥补可用通信服务无人机数量不足的问题;3)通过使用深度强化学习方法训练无人机与无人车的协同通信服务策略,可以适应环境的变化,具有较高的鲁棒性与较强的环境适应能力,可在多种复杂环境中执行通信服务任务;4)可适应无人机个数与无人车个数的变化,同时可以适应地面用户个数的变化。
附图说明
本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解,所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。
图1是本发明实施例中无人车与无人机通信服务场景示意图。
图2是本发明实施例中深度神经网络结构示意图。
图3是本发明实施例中无人机与无人车协同策略训练过程中获得的奖励值曲线示意图。
图4是本发明实施例中无人机与无人车协同通信服务轨迹曲线图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,在下文中将结合附图对本发明的示范性实施方式或实施例进行描述。显然,所描述的实施方式或实施例仅仅是本发明一部分的实施方式或实施例,而不是全部的。基于本发明中的实施方式或实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式或实施例,都应当属于本发明保护的范围。
为解决地面用户的通信服务问题,本发明提出一种基于机器学***的通信服务。
本发明实施例提供一种基于机器学习的空地协同通信服务方法,具体包括以下步骤:
步骤一:无人机以及无人车获取通信服务中环境信息;
无人车与无人机通信服务场景如图1所示。根据本发明实施例,无人机获取的环境信息包含三部分内容,其中,表示无人机ui获得的通信服务区域中用户的状态信息,包括在通信服务区域中相对无人机ui具有最小排序因子的5个用户位置信息,位置信息包括在无人机ui的航向坐标系下距离dij、角度αij,j=1,2,...,5,以及全部用户的通信平均服务质量以及通信服务质量标准差用户k相对于无人机ui的排序因子ρk计算如下式所示:
式中,dik表示无人机ui相对于用户k的距离;αik表示无人机ui的速度方向和无人机ui与用户k之间连线的夹角;表示用户k在t时刻具有的通信服务质量;dmax,Qmax为归一化系数,λ1,λ2,λ3为比例系数。
表示距离无人机ui最近的3个无人机的位置信息,包括在无人机ui的航向坐标系下距离dij、角度αij,j=1,2,3,即 表示距离无人机ui最近的3个无人车的位置信息,包括在无人机ui的航向坐标系下距离和角度。
无人车感知的环境信息与无人机感知的环境信息相似,表示为:同样包含三部分信息;其中,表示无人车cj感知到的用户状态,包括在通信服务区域中相对无人车cj具有最小排序因子的5个用户位置信息、全部用户的通信平均服务质量以及通信服务质量标准差 表示无人车cj感知到的无人机状态即无人机位置信息;表示无人车cj感知到的其他无人车状态即其他无人车位置信息。
步骤二:将无人机以及无人车获取到的环境信息输入预训练的深度神经网络模型中,解算获得无人机以及无人车的通信服务策略指令;
根据本发明实施例,深度神经网络结构如图2所示,其包括3层全连接网络,其中第一层与第二层具有128个节点,激活函数为非线性整流单元(ReLU),第三层具有7个输出节点,激活函数为SoftMax函数,将输出值限制在(0,1)之间。
深度神经网络预训练的过程包括:收集无人机以及无人车与环境的交互数据即环境信息,然后利用这些数据估计优势函数以及接着计算策略损失函数LCLIP(θu)、LCLIP(θv)以及值函数的损失函数LV(φu)、LV(φv),最后通过最小化策略损失函数以及值函数的损失函数更新策略网络以及值函数网络,从而获得训练好的深度神经网络模型。具体训练过程如下:
(2)在每个时间步即交互周期内,无人机与无人车分别收集与环境的交互数据{ot(ui),at(ui),rt+1(ui),ot+1(ui)}与{ot(vj),at(vj),rt+1(vj),ot+1(vj)},其中,ot(ui)表示无人机i在t时刻观测的环境信息,表示无人机i在t时刻执行的动作指令,rt+1(ui)表示无人机i在t+1时刻接收的奖励值,ot+1(ui)表示无人机i在t+1时刻观测的环境信息,ot(vj)表示无人车j在t时刻观测的环境信息,表示无人车j在t时刻执行的动作指令,rt+1(vj)表示无人车j在t+1时刻接收的奖励值,ot+1(vj)表示无人车j在t+1时刻观测的环境信息;
(3)利用收集的交互数据计算优势函数,无人机i以及无人车j的优势函数计算为:
(4)重复步骤(2)、(3)直到达到设定的最大步长T;
(5)利用步骤(2)、(3)、(4)收集的交互数据以及计算的优势函数计算无人机策略以及无人车策略的损失值如下:
式中,LCLIP(θu)以及LCLIP(θv)分别表示无人机的策略损失值以及无人车的策略损失值,∈为一个常数,取值范围在(0,1)之间;clip是一个函数,clip(ri t(θu),1-∈,1+∈)表示将ri t(θu)的值限定在[1-∈,1+∈]之间;ri t(θu)为无人机实际策略与目标策略的比值,ri t(θv)为无人车实际策略与目标策略的比值,分别计算如下:
(6)最小化LCLIP(θu)与LCLIP(θv)更新无人机以及无人车的通信服务策略网络;
(7)利用步骤(2)、(3)、(4)收集的交互数据计算无人机值函数以及无人车值函数的损失值如下:
式中,LV(φu)为无人机值函数的损失值,LV(φv)为无人车值函数的损失值;
(8)最小化LV(φu)与LV(φv)更新无人机以及无人车值网络;
(9)更新无人机目标策略网络与无人车目标策略网络,θ′u←θu;θ′v←θv;
(10)重复步骤(2)到(9)直到网络训练收敛,获得训练好的深度神经网络模型。
预训练过程中,无人机ui获得的奖励值可以由下式表示:
rt(ui)=rt Q(ui)+rt S(ui)+rt R(ui)
式中,第一项rt Q(ui)与用户的通信服务质量相关,当用户具有较高的平均通信服务质量以及较低的通信服务质量方差时,rt Q(ui)较大;反之rt Q(ui)较小。第二项rt S(ui)与无人机ui和其他无人机的距离以及其他无人车的距离相关,当无人机之间以及无人机与无人车之间的距离较小时,rt S(ui)为负值;反之rt S(ui)为0。第三项rt R(ui)与无人机ui相对于通信服务环境的位置相关,当无人机ui在通信服务区域中时,rt R(ui)为0;反之rt R(ui)为负值。
无人车的奖励函数设计过程与无人机的奖励函数设计过程相同。采用深度强化学***的通信服务,具体实现过程的伪代码见下表1。
将实时获取的无人机及无人车环境信息经过训练好的深度神经网络模型,其输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率其中,无人机控制指令为无人机的航向偏角指令,即度;无人车控制指令为无人车的线速度控制指令与角速度控制指令的组合,即其中最后,从中选择具有最大概率的航向偏角作为无人机的实际控制指令,从中选择具有最大概率的线速度与角速度组合作为无人车的实际控制指令。
进一步通过实验验证本发明的有益效果。
采用数字仿真的方式验证本发明的正确性以及合理性。首先在Python环境中构建一个大小为500m×500m×150m的通信服务环境,包括具有10个用户以及由多个无人机与无人车组成的动态通信服务***。无人机定速定高飞行,飞行速度为10m/s,无人车的最大速度为10m/s,用户的最大移动速度为1m/s,且在通信服务区域内随机移动。仿真测试软件环境为Windows10+Python3.7,硬件环境为AMD Ryzen 53550H CPU+16.0GBRAM。
实验首先验证无人机以及无人车的通信服务控制策略训练是否收敛。实验共进10000轮训练,记录每100轮训练过程中无人机以及无人车获得的平均奖励值,绘制曲线如图3所示。由图3可知,随着训练的进行,无人机和无人车可以获得稳定的奖励值,奖励值在6.5到7之间,表明无人机以及无人车的通信服务策略趋近于收敛,无人机以及无人车可以给用户提供高质量公平的通信服务。
然后对无人机与无人车的协同策略进行实验验证,验证结果如图4所示。由图4可以看出,无人机和无人车可分别对不同的用户提供通信服务,且提供的通信服务比较均匀,即无人机和无人车可协同对地面用户提供公平的通信服务。
本发明提出无人机与无人车协同对地面用户进行通信服务,可以解决灾后或者地面通信基站受损之后,地面用户与外界或者地面用户之间相互通信的问题。同时,无人机与无人车协同可解决可用移动通信设备不足的问题,发挥无人机与无人车各自具有的通信服务的优势。相比于传统的通信服务策略,本发明提出的基于学***的通信服务。2)通过在通信服务***中加入无人车,可以弥补可用通信服务无人机数量不足的问题。3)通过使用深度强化学***的通信服务,为灾后用户通信服务的提供方式提供了新的技术途径。
本发明另一实施例提供一种基于机器学习的空地协同通信服务***,该***包括:
数据获取模块,用于获取每个无人机以及无人车在通信服务中的环境信息;其中,每个无人机对应的环境信息包括通信服务区域中用户状态信息、距离当前无人机最近的多个无人机位置信息、距离当前无人机最近的多个无人车位置信息;每个无人车对应的环境信息包括通信服务区域中用户状态信息、距离当前无人车最近的多个无人车位置信息、距离当前无人车最近的多个无人机位置信息;其中,位置信息包括距离参数和角度参数;用户状态信息包括相对当前无人机或无人车具有最小排序因子的多个用户位置信息、全部用户的通信平均服务质量以及通信服务质量标准差;排序因子计算公式为:
式中,ρk表示用户k相对于无人机或无人车的排序因子;dik表示无人机或无人车相对于用户k的距离;αik表示无人机或无人车的速度方向和无人机或无人车与用户k之间连线的夹角;表示用户k在t时刻具有的通信服务质量;dmax,Qmax为归一化系数;λ1,λ2,λ3为比例系数;
指令解算模块,用于将环境信息输入预训练的深度神经网络模型中,解算获得无人机以及无人车的协同通信服务策略指令;包括模型训练子模块和概率选择子模块;
其中,模型训练子模块用于预训练深度神经网络模型,预训练的过程包括:
步骤二二、在每个交互周期内,无人机与无人车分别收集与环境的交互数据{ot(ui),at(ui),rt+1(ui),ot+1(ui)}与{ot(vj),at(vj),rt+1(vj),ot+1(vj)},其中,ot(ui)表示无人机i在t时刻观测的环境信息,表示无人机i在t时刻执行的动作指令,rt+1(ui)表示无人机i在t+1时刻接收的奖励值,ot+1(ui)表示无人机i在t+1时刻观测的环境信息;ot(vj)表示无人车j在t时刻观测的环境信息,表示无人车j在t时刻执行的动作指令,rt+1(vj)表示无人车j在t+1时刻接收的奖励值,ot+1(vj)表示无人车j在t+1时刻观测的环境信息;
步骤二三、利用收集的交互数据计算优势函数,无人机i以及无人车j的优势函数计算为:
步骤二四、重复步骤二二至步骤二三直到达到设定的最大步长T;
步骤二五、利用上述步骤收集的交互数据以及计算的优势函数计算获得无人机策略以及无人车策略的损失值如下:
式中,LCLIP(θu)以及LCLIP(θv)分别表示无人机的策略损失值以及无人车的策略损失值;∈为一个常数,取值范围在(0,1)之间;ri t(θu)为无人机实际策略与目标策略的比值,ri t(θv)为无人车实际策略与目标策略的比值;
步骤二六、最小化LCLIP(θu)与LCLIP(θv)更新无人机以及无人车的通信服务策略网络;
步骤二七、利用上述步骤收集的交互数据计算无人机值函数以及无人车值函数的损失值如下:
式中,LV(φu)为无人机值函数的损失值,LV(φv)为无人车值函数的损失值;
步骤二八、最小化LV(φu)与LV(φv)更新无人机以及无人车值网络;
步骤二九、更新无人机目标策略网络与无人车目标策略网络:θ′u←θu,θ′v←θv;
步骤二十、重复步骤二二至步骤二九直到网络训练收敛,获得训练好的深度神经网络模型;
概率选择子模块用于在训练好的深度神经网络模型输出值中选择具有最大概率值对应的无人机航向偏角指令作为无人机实际控制指令,选择具有最大概率值对应的无人车线速度控制指令与角速度控制指令的组合作为无人车实际控制指令;其中,深度神经网络模型输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率,无人机控制指令为无人机航向偏角指令,无人车控制指令为无人车线速度控制指令与角速度控制指令的组合。
本发明实施例所述一种基于机器学习的空地协同通信服务***的功能可以由前述一种基于机器学习的空地协同通信服务方法说明,因此本实施例未详述部分,可参见以上方法实施例,在此不再赘述。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (10)
1.一种基于机器学习的空地协同通信服务方法,其特征在于,包括以下步骤:
步骤一、获取每个无人机以及无人车在通信服务中的环境信息;
步骤二、将所述环境信息输入预训练的深度神经网络模型中,解算获得无人机以及无人车的协同通信服务策略指令。
2.根据权利要求1所述的一种基于机器学习的空地协同通信服务方法,其特征在于,步骤一中每个无人机对应的环境信息包括通信服务区域中用户状态信息、距离当前无人机最近的多个无人机位置信息、距离当前无人机最近的多个无人车位置信息;每个无人车对应的环境信息包括通信服务区域中用户状态信息、距离当前无人车最近的多个无人车位置信息、距离当前无人车最近的多个无人机位置信息;其中,所述位置信息包括距离参数和角度参数。
4.根据权利要求3所述的一种基于机器学习的空地协同通信服务方法,其特征在于,步骤二中深度神经网络模型预训练的过程包括:
步骤二二、在每个交互周期内,无人机与无人车分别收集与环境的交互数据{ot(ui),at(ui),rt+1(ui),ot+1(ui)}与{ot(vj),at(vj),rt+1(vj),ot+1(vj)},其中,ot(ui)表示无人机i在t时刻观测的环境信息,表示无人机i在t时刻执行的动作指令,rt+1(ui)表示无人机i在t+1时刻接收的奖励值,ot+1(ui)表示无人机i在t+1时刻观测的环境信息;ot(vj)表示无人车j在t时刻观测的环境信息,表示无人车j在t时刻执行的动作指令,rt+1(vj)表示无人车j在t+1时刻接收的奖励值,ot+1(vj)表示无人车j在t+1时刻观测的环境信息;
步骤二三、利用收集的交互数据计算优势函数,无人机i以及无人车j的优势函数计算为:
步骤二四、重复步骤二二至步骤二三直到达到设定的最大步长T;
步骤二五、利用上述步骤收集的交互数据以及计算的优势函数计算获得无人机策略以及无人车策略的损失值如下:
式中,LCLIP(θu)以及LCLIP(θv)分别表示无人机的策略损失值以及无人车的策略损失值;∈为一个常数,取值范围在(0,1)之间;为无人机实际策略与目标策略的比值,为无人车实际策略与目标策略的比值;
步骤二六、最小化LCLIP(θu)与LCLIP(θv)更新无人机以及无人车的通信服务策略网络;
步骤二七、利用上述步骤收集的交互数据计算无人机值函数以及无人车值函数的损失值如下:
式中,LV(φu)为无人机值函数的损失值,LV(φv)为无人车值函数的损失值;
步骤二八、最小化LV(φu)与LV(φv)更新无人机以及无人车值网络;
步骤二九、更新无人机目标策略网络与无人车目标策略网络:θ′u←θu,θ′v←θv;
步骤二十、重复步骤二二至步骤二九直到网络训练收敛,获得训练好的深度神经网络模型。
5.根据权利要求4所述的一种基于机器学习的空地协同通信服务方法,其特征在于,步骤二中解算获得无人机以及无人车的协同通信服务策略指令的具体过程包括:经过训练好的深度神经网络模型的输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率,无人机控制指令为无人机航向偏角指令,无人车控制指令为无人车线速度控制指令与角速度控制指令的组合;选择具有最大概率值对应的无人机航向偏角指令作为无人机实际控制指令,选择具有最大概率值对应的无人车线速度控制指令与角速度控制指令的组合作为无人车实际控制指令。
6.一种基于机器学习的空地协同通信服务***,其特征在于,包括:
数据获取模块,用于获取每个无人机以及无人车在通信服务中的环境信息;
指令解算模块,用于将所述环境信息输入预训练的深度神经网络模型中,解算获得无人机以及无人车的协同通信服务策略指令。
7.根据权利要求6所述的一种基于机器学习的空地协同通信服务***,其特征在于,所述数据获取模块中每个无人机对应的环境信息包括通信服务区域中用户状态信息、距离当前无人机最近的多个无人机位置信息、距离当前无人机最近的多个无人车位置信息;每个无人车对应的环境信息包括通信服务区域中用户状态信息、距离当前无人车最近的多个无人车位置信息、距离当前无人车最近的多个无人机位置信息;其中,所述位置信息包括距离参数和角度参数。
9.根据权利要求8所述的一种基于机器学习的空地协同通信服务***,其特征在于,所述指令解算模块包括模型训练子模块,所述模型训练子模块用于预训练深度神经网络模型,预训练的过程包括:
步骤二二、在每个交互周期内,无人机与无人车分别收集与环境的交互数据{ot(ui),at(ui),rt+1(ui),ot+1(ui)}与{ot(vj),at(vj),rt+1(vj),ot+1(vj)},其中,ot(ui)表示无人机i在t时刻观测的环境信息,表示无人机i在t时刻执行的动作指令,rt+1(ui)表示无人机i在t+1时刻接收的奖励值,ot+1(ui)表示无人机i在t+1时刻观测的环境信息;ot(vj)表示无人车j在t时刻观测的环境信息,表示无人车j在t时刻执行的动作指令,rt+1(vj)表示无人车j在t+1时刻接收的奖励值,ot+1(vj)表示无人车j在t+1时刻观测的环境信息;
步骤二三、利用收集的交互数据计算优势函数,无人机i以及无人车j的优势函数计算为:
步骤二四、重复步骤二二至步骤二三直到达到设定的最大步长T;
步骤二五、利用上述步骤收集的交互数据以及计算的优势函数计算获得无人机策略以及无人车策略的损失值如下:
式中,LCLIP(θu)以及LCLIP(θv)分别表示无人机的策略损失值以及无人车的策略损失值;∈为一个常数,取值范围在(0,1)之间;为无人机实际策略与目标策略的比值,为无人车实际策略与目标策略的比值;
步骤二六、最小化LCLIP(θu)与LCLIP(θv)更新无人机以及无人车的通信服务策略网络;
步骤二七、利用上述步骤收集的交互数据计算无人机值函数以及无人车值函数的损失值如下:
式中,LV(φu)为无人机值函数的损失值,LV(φv)为无人车值函数的损失值;
步骤二八、最小化LV(φu)与LV(φv)更新无人机以及无人车值网络;
步骤二九、更新无人机目标策略网络与无人车目标策略网络:θ′u←θu,θ′v←θv;
步骤二十、重复步骤二二至步骤二九直到网络训练收敛,获得训练好的深度神经网络模型。
10.根据权利要求9所述的一种基于机器学习的空地协同通信服务***,其特征在于,所述指令解算模块还包括概率选择子模块,所述概率选择子模块用于在训练好的深度神经网络模型输出值中选择具有最大概率值对应的无人机航向偏角指令作为无人机实际控制指令,选择具有最大概率值对应的无人车线速度控制指令与角速度控制指令的组合作为无人车实际控制指令;其中,深度神经网络模型输出值包括选择每个无人机控制指令的概率和选择每个无人车控制指令的概率,无人机控制指令为无人机航向偏角指令,无人车控制指令为无人车线速度控制指令与角速度控制指令的组合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271084.9A CN114020016B (zh) | 2021-10-29 | 2021-10-29 | 一种基于机器学习的空地协同通信服务方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111271084.9A CN114020016B (zh) | 2021-10-29 | 2021-10-29 | 一种基于机器学习的空地协同通信服务方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114020016A true CN114020016A (zh) | 2022-02-08 |
CN114020016B CN114020016B (zh) | 2022-06-21 |
Family
ID=80058717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111271084.9A Active CN114020016B (zh) | 2021-10-29 | 2021-10-29 | 一种基于机器学习的空地协同通信服务方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114020016B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229685A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种空地一体的无人智能决策方法 |
CN110650039A (zh) * | 2019-09-17 | 2020-01-03 | 沈阳航空航天大学 | 一种基于多峰优化的无人机群辅助车辆网络协同通信模型 |
CN110874578A (zh) * | 2019-11-15 | 2020-03-10 | 北京航空航天大学青岛研究院 | 一种基于强化学习的无人机视角车辆识别追踪方法 |
CN111300372A (zh) * | 2020-04-02 | 2020-06-19 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
CN111628818A (zh) * | 2020-05-15 | 2020-09-04 | 哈尔滨工业大学 | 空地无人***分布式实时通信方法、装置及多无人*** |
CN112068549A (zh) * | 2020-08-07 | 2020-12-11 | 哈尔滨工业大学 | 一种基于深度强化学习的无人***集群控制方法 |
CN112965514A (zh) * | 2021-01-29 | 2021-06-15 | 北京农业智能装备技术研究中心 | 一种空地协同施药方法及*** |
CN113029169A (zh) * | 2021-03-03 | 2021-06-25 | 宁夏大学 | 一种基于三维地图和自主导航的空地协作搜救***及方法 |
CN113050678A (zh) * | 2021-03-02 | 2021-06-29 | 山东罗滨逊物流有限公司 | 基于人工智能的自主协同控制方法及*** |
CN113160554A (zh) * | 2021-02-02 | 2021-07-23 | 上海大学 | 基于车联网的空地协同交通管理***及方法 |
-
2021
- 2021-10-29 CN CN202111271084.9A patent/CN114020016B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229685A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种空地一体的无人智能决策方法 |
CN110650039A (zh) * | 2019-09-17 | 2020-01-03 | 沈阳航空航天大学 | 一种基于多峰优化的无人机群辅助车辆网络协同通信模型 |
CN110874578A (zh) * | 2019-11-15 | 2020-03-10 | 北京航空航天大学青岛研究院 | 一种基于强化学习的无人机视角车辆识别追踪方法 |
CN111300372A (zh) * | 2020-04-02 | 2020-06-19 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
CN111628818A (zh) * | 2020-05-15 | 2020-09-04 | 哈尔滨工业大学 | 空地无人***分布式实时通信方法、装置及多无人*** |
CN112068549A (zh) * | 2020-08-07 | 2020-12-11 | 哈尔滨工业大学 | 一种基于深度强化学习的无人***集群控制方法 |
CN112965514A (zh) * | 2021-01-29 | 2021-06-15 | 北京农业智能装备技术研究中心 | 一种空地协同施药方法及*** |
CN113160554A (zh) * | 2021-02-02 | 2021-07-23 | 上海大学 | 基于车联网的空地协同交通管理***及方法 |
CN113050678A (zh) * | 2021-03-02 | 2021-06-29 | 山东罗滨逊物流有限公司 | 基于人工智能的自主协同控制方法及*** |
CN113029169A (zh) * | 2021-03-03 | 2021-06-25 | 宁夏大学 | 一种基于三维地图和自主导航的空地协作搜救***及方法 |
Non-Patent Citations (2)
Title |
---|
周思全等: "面向空地协同作战的无人机-无人车异构时变编队跟踪控制", 《航空兵器》 * |
徐文菁: "非确定环境下无人机与无人车动态协同设计", 《洛阳理工学院学报( 自然科学版)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114020016B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109547938B (zh) | 无线传感器网络中无人机的轨迹规划方法 | |
CN110049566B (zh) | 一种基于多无人机辅助通信网络的下行功率分配方法 | |
CN105841702A (zh) | 一种基于粒子群优化算法的多无人机航路规划方法 | |
CN113055078B (zh) | 有效信息年龄确定方法、以及无人机飞行轨迹优化方法 | |
Dai et al. | Mobile crowdsensing for data freshness: A deep reinforcement learning approach | |
CN109885088A (zh) | 边缘计算网络中基于机器学习的无人机飞行轨迹优化方法 | |
CN114339842B (zh) | 基于深度强化学习无人机集群在时变场景下动态轨迹设计方法和装置 | |
CN105516190A (zh) | 连续位置服务中基于路网的位置隐私保护方法 | |
CN111191840B (zh) | 基于离散粒子群优化算法的多无人机动平台任务分配方法 | |
CN113762594A (zh) | 车机协同配送灾后救援物资的路径规划方法和装置 | |
CN115499921A (zh) | 面向复杂无人机网络的三维轨迹设计及资源调度优化方法 | |
CN117289691A (zh) | 用于导航场景下强化学习的路径规划智能体的训练方法 | |
Du et al. | Virtual relay selection in LTE-V: A deep reinforcement learning approach to heterogeneous data | |
CN114020016B (zh) | 一种基于机器学习的空地协同通信服务方法及*** | |
Cui et al. | Model-free based automated trajectory optimization for UAVs toward data transmission | |
Chen et al. | A fast coordination approach for large-scale drone swarm | |
CN115809751B (zh) | 一种基于强化学习的两阶段多机器人环境覆盖方法及*** | |
CN107578258A (zh) | 一种智能景区旅游服务公平性游客评价控制*** | |
CN114520991B (zh) | 基于无人机集群的边缘网络自适应部署方法 | |
CN114594793B (zh) | 一种基站无人机的路径规划方法 | |
CN107071790A (zh) | 一种混合传感器节点部署方法 | |
Bhandarkar et al. | User coverage maximization for a uav-mounted base station using reinforcement learning and greedy methods | |
CN113741418B (zh) | 异构车机编队协同路径的生成方法和装置 | |
Beck | Collaborative search and rescue by autonomous robots | |
CN114895710A (zh) | 一种无人机集群自主行为的控制方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |