CN113268077B - 无人机能耗最小化设计方法及装置 - Google Patents

无人机能耗最小化设计方法及装置 Download PDF

Info

Publication number
CN113268077B
CN113268077B CN202110397120.XA CN202110397120A CN113268077B CN 113268077 B CN113268077 B CN 113268077B CN 202110397120 A CN202110397120 A CN 202110397120A CN 113268077 B CN113268077 B CN 113268077B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
information
energy
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110397120.XA
Other languages
English (en)
Other versions
CN113268077A (zh
Inventor
张煜
熊轲
吴鹏
单葆国
谭显东
唐伟
王成洁
谭清坤
刘小聪
贾跃龙
马捷
张玉琢
吴姗姗
张成龙
王向
张莉莉
刘青
姚力
汲国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
State Grid Energy Research Institute Co Ltd
Original Assignee
Beijing Jiaotong University
State Grid Energy Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University, State Grid Energy Research Institute Co Ltd filed Critical Beijing Jiaotong University
Priority to CN202110397120.XA priority Critical patent/CN113268077B/zh
Publication of CN113268077A publication Critical patent/CN113268077A/zh
Application granted granted Critical
Publication of CN113268077B publication Critical patent/CN113268077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种无人机能耗最小化设计方法及装置，所述方法包括：计算无人机与传感器节点的信道增益；根据所述无人机与传感器节点的信道增益，计算传感器节点通信消耗的能量；根据所述无人机与传感器节点的信道增益，计算传感器节点收集的能量；计算无人机消耗的能量；根据传感器节点通信消耗的能量和传感器节点电池剩余电量情况，计算传感器信息年龄AoI；通过联合优化无人机的飞行轨迹，飞行时间以及信息采集和能量收集的策略以最小化无人机能耗，建立优化问题模型；建立基于DQN的无人机控制框架；根据所述基于DQN的无人机控制框架，基于DQN规划无人机飞行策略。

Description

无人机能耗最小化设计方法及装置
技术领域
本发明涉及网络优化设计技术领域，尤其是涉及一种无人机能耗最小化设计方法及装置。
背景技术
随着5G的快速部署，虚拟现实(VR，Virtual Reality)、增强现实(AR，AugmentedReality)、无人驾驶、智慧医疗等应用蓬勃发展，这些应用除了要求超高可靠、低时延通信，对信息新鲜度也十分敏感，而传统的网络指标如吞吐量、延迟等无法准确地刻画网络中的信息新鲜度。
为了准确的刻画信息的新鲜度，学术界提出了信息年龄(AoI，age ofinformation)的概念，其定义为目的节点最新接收的数据包从在源节点生成以来经过的时间。AoI是传感器网络中的关键性能指标之一，为了保证网络中信息的新鲜度，传感器节点需要频繁地传输最新采集的信息，为此需消耗大量能量，而频繁更换电池或充电通常是不方便且费用昂贵的，尤其在恶劣环境下更是难以实现。
无线功率传输(WPT，wireless power transfer)技术能够为传感器节点提供稳定的电源，从而延长***运行时间。因此，基于射频能量收集的AoI***已经有不少相关的研究。但是这些工作大多采用线性能量收集模型，即收集到的能量随接收射频信号输入功率的增加而线性增加，而在实际中，二极管等元件引起的电路非线性特性导致能量收集电路的输入输出显示高度非线性特性，因此实际的***应考虑非线性能量收集模型。
另外，为了延长无线网络中传感器节点的使用寿命，在无线网络中引入无人机(UAV，unmanned aerial vehicle)受到了广泛的关注。在无线网络环境中，安装能量发射器的无人机能够灵活移动到传感器节点附近与其建立视距(LoS，line-of-sight)连接，同时提供稳定的能量服务。但是，大部分无人机采用电池供电，续航时间有限，因此节能已被认为是未来无线网络设计的重要指标之一。目前有很多工作都在研究最小化无人机能耗的优化问题，无人机飞行轨迹优化对降低无人机飞行能耗具有重要作用。另外，通过优化无人机的加速度也能够降低无人机的能耗。
无人机飞行过程中与传感器节点的信道时刻在变化，同时能量和信息的传输也会引起传感器节点存储能量和信息AoI的变化，因此随着传感器节点个数的增加，状态空间很容易剧增而难以使用动态规划等传统算法解决无人机能耗优化问题。
近年来，深度强化学习(DRL，deep reinforcement learning)算法引起了工业界和学术界的广泛关注。与马尔科夫决策过程(MDP，markov decision process)和强化学习(RL，reinforcement learning)算法相比，深度强化学习能够克服巨大的状态和动作空间，求解更为复杂的优化问题。在一些领域，如游戏，已取得了显著的成功，也开始应用于解决无人机辅助网络中的优化问题。但现有***将无人机的飞行区域简单进行离散化，不能避免无人机在飞行过程中出现大角度拐弯的情况，因此优化结果与无人机实际飞行不相符。而且只关注了如何为无人机和传感器节点节能，尚未引进无线射频能量收集技术为低功耗传感器节点供电。
发明内容
本发明的目的在于提供一种无人机能耗最小化设计方法及装置，旨在解决现有技术中的上述问题。
本发明提供一种无人机能耗最小化设计方法，包括：
计算无人机与传感器节点的信道增益；
根据所述无人机与传感器节点的信道增益，计算传感器节点通信消耗的能量；
根据所述无人机与传感器节点的信道增益，计算传感器节点收集的能量；
计算无人机消耗的能量；
根据传感器节点通信消耗的能量和传感器节点电池剩余电量情况，计算传感器信息年龄AoI；
通过联合优化无人机的飞行轨迹，飞行时间以及信息采集和能量收集的策略以最小化无人机能耗，建立优化问题模型；
建立基于DQN的无人机控制框架；
根据所述基于DQN的无人机控制框架，基于DQN规划无人机飞行策略。
本发明实施例还提供一种无人机能耗最小化设计装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述无人机能耗最小化设计方法的步骤。
采用本发明实施例，提出了一个设计方法，基于信息年龄受限的无人机辅助无线传感器网络的无人机能耗最小化设计，在满足信息新鲜度(AoI，age of information)约束下通过联合优化传感器节点信息上传、能量收集调度策略和无人机飞行时间、轨迹，达到最小化无人机能耗。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的无人机能耗最小化设计方法的流程图；
图2是本发明实施例的无人机能耗最小化设计方法的***架构图；
图3是本发明实施例的基于DQN的无人机控制框架的示意图；
图4是本发明实施例的基于信息年龄受限的最小化无人机能耗优化的无人机飞行轨迹图一；
图5是本发明实施例的基于信息年龄受限的最小化无人机能耗优化的无人机飞行轨迹图二；
图6是本发明实施例的无人机能耗最小化设计装置的示意图。
具体实施方式
本发明实施例提供了一种无人机能耗最小化设计方法，通过信息年龄受限的无人机辅助能量信息收集网络，以无人机能耗为指标，设计信息年龄受限的无人机辅助无线供能网络。为了对复杂问题求解，采用了DRL算法进行求解。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种无人机能耗最小化设计方法，图1是本发明实施例的无人机能耗最小化设计方法的流程图，如图1所示，根据本发明实施例的无人机能耗最小化设计方法具体包括：
步骤101，计算无人机与传感器节点的信道增益；
步骤102，根据所述无人机与传感器节点的信道增益，计算传感器节点通信消耗的能量；
步骤103，根据所述无人机与传感器节点的信道增益，计算传感器节点收集的能量；
步骤104，计算无人机消耗的能量；
步骤105，根据传感器节点通信消耗的能量和传感器节点电池剩余电量情况，计算传感器信息年龄AoI；
步骤106，通过联合优化无人机的飞行轨迹，飞行时间以及信息采集和能量收集的策略以最小化无人机能耗，建立优化问题模型；
步骤107，建立基于DQN的无人机控制框架；
步骤108，根据所述基于DQN的无人机控制框架，基于DQN规划无人机飞行策略。
以下结合附图对上述处理步骤进行详细说明。
如图2所示，无人机辅助无线网络场景中，无人机从出发点起飞，在任务时间T内，利用WPT技术为地面随机分布的K个传感器节点传输能量，然后K个传感器利用收集到的能量采集信息，并将采集到的信息上传到无人机，无人机采集完所有节点的信息后飞到终点。
其中传感器节点记为集合V＝{v1,...,vK}。为了方便，将时间T分成N个时间片，即T＝N·δ，其中δ代表一个足够小的时间间隙。假设无人机飞行的固定高度为H，无人机的出发点的水平坐标为q0＝[x0,y0]，终点的水平坐标为qF＝[xF,yF]，在第n(n∈[1,2,...,N])时刻，无人机的飞行水平坐标为q(n)＝[x(n),y(n)]。
根据本发明实施例的无人机能耗最小化设计方法具体包括：
第一步：计算无人机与传感器节点的信道增益。
由于无人机飞行在一定高度上，能够与传感器节点建立LoS链路，同时考虑小规模尺度衰落，采用莱斯衰落信道模型描述信道。在第n时刻，无人机与第k个传感器节点vk的信道增益可表示为
Figure BDA0003018962220000061
其中du,k是无人机到传感器节点vk的距离；
β0表示在参考距离d0＝1米的信道增益；
||·||为欧式距离；
gk为小尺度衰落系数，
Figure BDA0003018962220000071
其中KR是指无人机与传感器节点信道的莱斯因子；
Figure BDA0003018962220000072
是视距分量，/>
Figure BDA0003018962220000073
是散射分量，表示零均值单位方差圆对称复高斯(CSCG)随机变量。
第二步：计算传感器节点通信消耗的能量。
为了避免干扰，无人机通过时分多址(TDMA,，time division multiple access)与传感器节点进行能量传播和信息传输，因此，在每一时刻，传感器节点只能进行能量收集或信息传输，且在信息传输时每次最多只能有一个传感器节点上传更新信息。因此，根据香农公式，在第n时刻，传感器节点vk传输信息所需的能量可由下式计算
Figure BDA0003018962220000074
其中S和B分别为数据包大小和信道带宽。
第三步：计算传感器节点收集的能量。
无人机从q0出发，在飞行过程中，通过广播方式给每个传感器节点充电。传感器节点vk装配有能量收集器，其射频电路接收到的输入功率可由下式计算
ek(n)＝pugu,k(n)
其中pu表示无人机的发射功率。
采用非线性能量收集模型来刻画射频到直流的转换。因此，在第n个时刻vk的收集到的能量由下式计算
Figure BDA0003018962220000075
其中M表示能量收集电路饱和时在能量收集接收器处的最大收集功率，a和b分别表示与实际电路灵敏度、电阻等有关的常数。那么，vk的电池存储电量变化过程可由下式计算
Figure BDA0003018962220000081
其中Bmax表示为传感器节点电池最大容量；
c(n)表示第n时刻信息传输和能量采集的策略，即c(n)＝{0,1,2,...,K}，当c(n)＝0时表示所有节点只进行能量采集；当c(n)＝k(k∈{1,2,...,K})时，表示第k个传感器节点vk上传信息，只有vk电池存储的能量大于传输信息消耗的能量才能成功上传信息。
第四步：计算无人机消耗的能量。
无人机***的能耗主要由无人机的推进能量和无人机通信相关的能量如信号处理、辐射等两部分组成，其中通信相关的能量远小于推进能量，因此，可忽略通信相关的能耗。固定翼无人机的飞行能耗可由下式计算：
Figure BDA0003018962220000082
其中c1和c2是两个常数，它们与飞机的重量、机翼面积、空气密度等有关；
g表示重力加速度；
m是无人机的质量；
v(n)和a(n)分别表示无人机的速度和加速度。
无人机的推进能耗主要与其速度和加速度有关。另外，无人机的飞行轨迹可由下式计算：
Figure BDA0003018962220000083
其中p(n)和o(n)分别表示第n时刻无人机的飞行角度及变化角度。
第五步：计算传感器信息年龄AoI。
信息年龄AoI是刻画采集信息新鲜度的一个重要指标，其定义是无人机最近一次采集到的信息自从产生经过的时间。假设Uk(n)表示在第n时刻无人机最近一次从vk采集信息的时间，则根据信息年龄AoI的定义，该信息的信息年龄AoI可由下式计算：
Ak(n)＝(n-Uk(n))δ。
不失一般性，假设信息产生时刻的信息年龄AoI为1个归一化单位的时间，每经过一个时刻，信息年龄增加1。一旦产生新的信息，将覆盖原有信息，信息年龄也将减少为1。vk信息的AoI在T的变化过程可由下式计算
Figure BDA0003018962220000091
第六步：建立优化问题模型。
通过联合优化无人机的飞行轨迹，飞行时间以及信息采集和能量收集的策略以最小化无人机能耗。问题的数学描述如下：
Figure BDA0003018962220000092
s.t.Ak(N)＜(N+1)δ,k∈{1,2,...,K},
Figure BDA0003018962220000093
q(0)＝q0,q(N)＝qF,
a(n)∈[amin,amax],
o(n)∈[omin,omax],
v(n)∈[vmin,vmax].
其中约束Ak(N)＜(N+1)δ,k∈{1,2,...,K},确保无人机至少采集每个传感器节点信息更新一次；
约束
Figure BDA0003018962220000094
保证无人机收集到的信息AoI满足最大信息年龄限制，Ar表示***允许的最大信息年龄AoI；
约束q(0)＝q0,q(N)＝qF表示无人机从初始地点出发，经过T完成任务并到达目的地；
约束a(n)∈[amin,amax],对无人机的加速度限制，保证正常飞行；
约束o(n)∈[omin,omax],对无人机的飞行转角限制，保证正常飞行；
约束v(n)∈[vmin,vmax],对无人机的速度限制，保证正常飞行。
其中，P0是非线性整数优化的非凸问题，无法直接求解。由于控制无人机飞行的加速度、转角、传感器节点储存的电量和收集信息的AoI之间的独立性，因此可以将问题P0建模为具有有限状态和动作空间的马尔科夫决策问题。然而，状态空间巨大使得问题难以使用传统标准的马尔科夫算法解决，而深度强化学习中的神经网络擅长提取高维度数据特征，因此采用深度强化学习方法来解决该问题。
第七步：基于DQN的无人机控制框架。
如图3所示，基于DQN(deep Q network)的无人机控制框架包含环境和智能体，在本专利DQN算法中，将无人机视为一个智能体，将在空中的飞行运动、与传感器节点的交互如信息能量传输等视为环境。在每个训练周期中的第n时刻，智能体需要感知周边环境状态sn，包括传感器节点的电量、上传信息的AoI等信息，从而根据当前环境决定下一时刻的动作an，执行动作后，智能体便能获得环境相应的反馈奖励rn，并继续观察下一时刻状态sn+1。因此，智能体的训练过程是通过不断地与环境进行交互，观察执行动作后状态的变化和环境反馈的奖励来调整动作策略，反复迭代学习，从而最大化累积回报，获得更好的动作策略。
智能体每次迭代过程中需要对给定的策略计算其值函数并根据值函数给出策略，DQN算法是通过神经网络非线性逼近值函数Q(sn,an|θn)评估状态sn采取动作an的代价，θ是人工神经网络(ANN，Artificial neural networks)的权重，值函数Q(sn,an|θn)的更新规则如下：
Figure BDA0003018962220000101
其中β为学习率，γ是折扣因子，a表示被选择执行的动作。
DQN算法包含两个神经网络，即在线网络和目标网络，这两个网络初始权重相同，在线网络每次迭代都会更新，而目标网络是每隔一段时间才会更新。另外，为了打破数据间的关联性，DQN算法使用经验池来存放历史数据，每次训练时从中随机抽取数据。考虑到状态空间中能量、AoI和位置量纲不同的影响，在存放数据前需对历史数据进行标准化，即
Figure BDA0003018962220000111
其中xo为原始数据、xs为标准化后数据、/>
Figure BDA0003018962220000112
为原始数据均值，σx为原始数据方差。对于任意一组历史数据(sn,an,rn,sn+1)，在线网络可通过最小化损失函数来训练，其损失函数定义如下：
Figure BDA0003018962220000113
其中j为更新权重的轮数。因此，使用梯度下降法更新在线网络，其梯度为
Figure BDA0003018962220000114
第八步：基于DQN规划无人机飞行策略。
基于DQN的无人机控制算法是将无人机能耗最小化优化问题转化为马尔科夫决策过程，由三元组{s,a,r}来描述，其中s表示智能体的状态，a表示智能体执行的动作，r表示智能体执行动作后环境反馈的奖励。
1)智能体状态
在第n个时刻，智能体状态sn包含两部分：在第n时刻传感器节点和无人机的状态信息，包括传感器节点的当前储存能量Β、无人机收集信息的新鲜度A、无人机的地理位置、飞行速度、飞行角度、能耗、飞行时间以及距离终点的距离。因此，在第n个时刻，智能体状态sn可以表示为
sn＝{Β,Α,q(n),v(n),p(n),E(n),n,d(n)}，
其中Β＝[B1,B2,...,BK]，Α＝[A1,A2,...,AK]，Bk，Ak分别表示为第k个传感器节点存储的电量和采集信息的AoI；
d(n)为无人机在第n时刻距离终点的位置，定义为d(n)＝||q(n)-qF||；
智能体状态空间为
Figure BDA0003018962220000115
其中sn∈S。
2)智能体执行动作
在第n个时刻，智能体执行动作an包含三部分：无人机的加速度a(n)、转角o(n)以及节点信息上传和能量收集策略c(n)，因此动作an可以表示为
an＝{a(n),o(n),c(n)}。
3)奖励函数
奖励函数的设计主要包含两部分，无人机与终点的距离和无人机消耗的能量。若当前状态满足问题P0中的所有约束条件，则给予一定的奖励，若违反约束条件，则应受到惩罚，因此，在第n个时刻，智能体执行动作后环境反馈的奖励函数可设计为：
Figure BDA0003018962220000121
其中
Figure BDA0003018962220000122
表示无人机从出发到第n时刻以来的能耗，k1,k2,k3为正常数。
基于DQN的无人机控制算法的流程如表1所示的算法所示。
首先，初始化经验池来存储训练数据并随机初始化在线网络参数，并以与在线网络相同的网络结构引入目标网络，并赋值与在线网络相同的神经网络参数。
然后，在Episodes训练周期内，初始化无人机的初始状态，并归一化处理状态，在无人机最大允许任务时间T内使用ε-greedy贪心策略探索环境，即在选择动作时以一定的探索概率ε随机选择动作。
在执行动作后，智能体可以得到环境反馈的奖励以及下一时刻状态sn+1，同时将{sn,an,rn,sn+1}训练数据归一化后存储于经验池D中。
若无人机任务完成，则退出当前飞行任务，进入下一轮训练。每次飞行任务结束，采用小批量方法从经验池中随机选取b组训练数据，以打破数据之间的相关性，并根据(1)更新梯度。
最后，每隔J步，将在线网络的权重同步更新目标网络。
表1
Figure BDA0003018962220000131
本发明实施例的应用实例如图4和图5所示。
装置实施例
本发明实施例提供一种无人机能耗最小化设计装置，如图6所示，包括：存储器60、处理器62及存储在所述存储器60上并可在所述处理器62上运行的计算机程序，所述计算机程序被所述处理器62执行时实现如方法实施例中所述的步骤。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器62执行时实现如方法实施例中所述的步骤。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于无人机能耗最小化设计方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的无人机能耗最小化设计方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、***或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种无人机能耗最小化设计方法，其特征在于，包括：
计算无人机与传感器节点的信道增益；
根据所述无人机与传感器节点的信道增益，计算传感器节点通信消耗的能量；
根据所述无人机与传感器节点的信道增益，计算传感器节点收集的能量；
计算无人机消耗的能量；
根据传感器节点通信消耗的能量和传感器节点电池剩余电量情况，计算传感器信息年龄AoI；
通过联合优化无人机的飞行轨迹，飞行时间以及信息采集和能量收集的策略以最小化无人机能耗，建立优化问题模型；具体包括：对优化问题模型进行数学描述，并采用深度强化学习方法将问题
Figure QLYQS_1
建模为具有有限状态和动作空间的马尔科夫决策问题进行求解；
建立基于DQN的无人机控制框架；具体包括：建立基于DQN的无人机控制框架的环境和智能体，将无人机视为一个智能体，将在空中的飞行运动，与传感器节点的交互如信息、能量传输视为环境；
在每个训练周期中的第n时刻，智能体需要感知周边环境状态s n，包括传感器节点的电量、上传信息的AoI这些信息，从而根据当前环境决定下一时刻的动作
Figure QLYQS_2
，执行动作后，智能体获得环境相应的反馈奖励/>
Figure QLYQS_3
，并继续观察下一时刻状态/>
Figure QLYQS_4
，其中，智能体的训练过程通过不断地与环境进行交互，观察执行动作后状态的变化和环境反馈的奖励来调整动作策略，反复迭代学习，从而最大化累积回报，获得更好的动作策略；
智能体每次迭代过程中对给定的策略计算其值函数并根据值函数给出策略，采用DQN算法通过神经网络非线性逼近值函数
Figure QLYQS_5
评估状态sn采取动作an的代价，其中，/>
Figure QLYQS_6
是人工神经网络的权重；
在存放数据前对历史数据进行标准化，即
Figure QLYQS_7
，其中x o为原始数据、x s为标准化后数据、/>
Figure QLYQS_8
为原始数据均值，/>
Figure QLYQS_9
为原始数据方差，对于任意一组历史数据/>
Figure QLYQS_10
，在线网络通过最小化损失函数来训练
使用梯度下降法更新在线网络；
根据所述基于DQN的无人机控制框架，基于DQN规划无人机飞行策略；具体包括：通过由三元组
Figure QLYQS_13
来描述基于DQN的无人机控制算法，将无人机能耗最小化优化问题转化为马尔科夫决策过程，其中/>
Figure QLYQS_22
表示智能体的状态，/>
Figure QLYQS_25
表示智能体执行的动作，/>
Figure QLYQS_14
表示智能体执行动作后环境反馈的奖励；其中，在第/>
Figure QLYQS_19
个时刻，智能体状态/>
Figure QLYQS_27
包含两部分：在第n时刻传感器节点和无人机的状态信息，包括传感器节点的当前储存能量/>
Figure QLYQS_34
、无人机收集信息的新鲜度/>
Figure QLYQS_15
、无人机的地理位置、飞行速度、飞行角度、能耗、飞行时间以及距离终点的距离；因此，在第
Figure QLYQS_23
个时刻，智能体状态/>
Figure QLYQS_24
表示为/>
Figure QLYQS_31
，其中/>
Figure QLYQS_17
，
Figure QLYQS_18
，/>
Figure QLYQS_29
，/>
Figure QLYQS_33
分别表示为第/>
Figure QLYQS_12
个传感器节点剩余的电量和采集信息的AoI；/>
Figure QLYQS_21
为无人机在第n时刻距离终点的位置，定义为/>
Figure QLYQS_26
；qF为终点的水平坐标，q(n)为无人机的飞行水平坐标，v(n)为飞行速度，p(n)为第/>
Figure QLYQS_30
时刻无人机的飞行角度，E (n)为能耗，智能体状态空间为/>
Figure QLYQS_11
，其中/>
Figure QLYQS_32
；在第/>
Figure QLYQS_35
个时刻，智能体执行动作/>
Figure QLYQS_36
包含三部分：无人机的加速度a(n)，转角o(n)以及节点信息上传和能量收集策略c(n)，因此动作/>
Figure QLYQS_16
表示为/>
Figure QLYQS_20
；奖励函数包括无人机与终点的距离和无人机消耗的能量，若当前状态满足问题/>
Figure QLYQS_28
中的所有约束条件，则给予一定的奖励，若违反约束条件，则应受到惩罚。
2.根据权利要求1所述的方法，其特征在于，计算无人机与传感器节点的信道增益具体包括：
假设传感器节点记为集合
Figure QLYQS_39
，将时间/>
Figure QLYQS_42
分成/>
Figure QLYQS_45
个时间片，即/>
Figure QLYQS_38
，其中/>
Figure QLYQS_40
代表一个足够小的时间间隙，无人机飞行的固定高度为/>
Figure QLYQS_43
，无人机的出发点的水平坐标为
Figure QLYQS_46
，终点的水平坐标为/>
Figure QLYQS_37
，在第/>
Figure QLYQS_41
时刻，无人机的飞行水平坐标为/>
Figure QLYQS_44
；
根据公式1，在第n时刻，计算无人机与第k个传感器节点
Figure QLYQS_47
的信道增益：
Figure QLYQS_48
公式1；
其中，
Figure QLYQS_50
是无人机到传感器节点/>
Figure QLYQS_53
的距离，/>
Figure QLYQS_56
表示在参考距离/>
Figure QLYQS_51
米的信道增益；/>
Figure QLYQS_52
为欧式距离，/>
Figure QLYQS_54
为小尺度衰落系数，/>
Figure QLYQS_57
，其中/>
Figure QLYQS_49
是无人机与传感器节点信道的莱斯因子，/>
Figure QLYQS_55
是视距分量，/>
Figure QLYQS_58
是散射分量，表示零均值单位方差圆对称复高斯CSCG随机变量，u表示无人机。
3.根据权利要求2所述的方法，其特征在于，根据所述无人机与传感器节点的信道增益，计算传感器节点通信消耗的能量具体包括：
根据香农公式，在第
Figure QLYQS_59
时刻，基于公式2计算传感器节点/>
Figure QLYQS_60
传输信息所需的能量：
Figure QLYQS_61
公式2；
其中，
Figure QLYQS_62
和/>
Figure QLYQS_63
分别为数据包大小和信道带宽。
4.根据权利要求3所述的方法，其特征在于，根据所述无人机与传感器节点的信道增益，计算传感器节点收集的能量具体包括：
假设无人机从
Figure QLYQS_64
出发，在飞行过程中，通过广播方式给每个传感器节点充电，传感器节点/>
Figure QLYQS_65
装配有能量收集器，根据公式3计算其射频电路接收到的输入功率：
Figure QLYQS_66
公式3；
其中，
Figure QLYQS_67
表示无人机的发射功率；
采用非线性能量收集模型来刻画射频到直流的转换，根据公式4计算在第n个时刻
Figure QLYQS_68
收集到的能量：
Figure QLYQS_69
公式4；/>
其中，M表示能量收集电路饱和时在能量收集接收器处的最大收集功率，a和b分别表示与实际电路灵敏度、电阻有关的常数；
根据公式5计算
Figure QLYQS_70
的电池容量变化过程：
Figure QLYQS_71
公式5；
其中，
Figure QLYQS_72
表示为传感器节点电池最大容量，/>
Figure QLYQS_73
表示第n时刻信息传输和能量采集的策略，即/>
Figure QLYQS_74
，当/>
Figure QLYQS_75
时表示所有节点只进行能量采集；当/>
Figure QLYQS_76
时，表示第k个传感器节点/>
Figure QLYQS_77
上传信息，只有/>
Figure QLYQS_78
电池剩余的能量大于传输信息消耗的能量才能成功上传信息。
5.根据权利要求4所述的方法，其特征在于，计算无人机消耗的能量具体包括：
根据公式6计算固定翼无人机的飞行能耗：
Figure QLYQS_79
公式6；
其中，
Figure QLYQS_80
和/>
Figure QLYQS_81
是两个常数，g表示重力加速度，m是无人机的质量，/>
Figure QLYQS_82
和/>
Figure QLYQS_83
分别表示无人机的速度和加速度，/>
Figure QLYQS_84
为任务时间；
根据公式7计算无人机的飞行轨迹：
Figure QLYQS_85
公式7；
其中，
Figure QLYQS_86
和/>
Figure QLYQS_87
分别表示第/>
Figure QLYQS_88
时刻无人机的飞行角度及变化角度。
6.根据权利要求5所述的方法，其特征在于，根据传感器节点通信消耗的能量和传感器节点电池剩余电量情况，计算传感器信息年龄AoI具体包括：
假设
Figure QLYQS_89
表示在第/>
Figure QLYQS_90
时刻无人机最近一次从/>
Figure QLYQS_91
采集信息的时间，则根据信息年龄AoI的定义，根据公式8计算该信息的信息年龄AoI：
Figure QLYQS_92
公式8；
假设信息产生时刻的信息年龄AoI为1个归一化单位的时间，每经过一个时刻，信息年龄增加1，一旦产生新的信息，将覆盖原有信息，信息年龄也将减少为1，根据公式9计算
Figure QLYQS_93
信息的AoI在/>
Figure QLYQS_94
的变化过程：
Figure QLYQS_95
公式9；
其中，
Figure QLYQS_96
代表一个足够小的时间间隙。
7.根据权利要求6所述的方法，其特征在于，通过联合优化无人机的飞行轨迹、飞行时间以及信息采集和能量收集的策略以最小化无人机能耗，建立优化问题模型具体包括：
根据公式10对优化问题模型进行数学描述，并采用深度强化学习方法将问题
Figure QLYQS_97
建模为具有有限状态和动作空间的马尔科夫决策问题进行求解：
Figure QLYQS_98
公式10；
其中，A r表示***允许的最大信息年龄AoI；约束
Figure QLYQS_99
确保无人机至少采集每个传感器节点信息更新一次；约束/>
Figure QLYQS_100
保证无人机收集到的信息AoI满足最大信息年龄限制；约束/>
Figure QLYQS_101
表示无人机从初始地点出发，经过/>
Figure QLYQS_102
完成任务并到达目的地；约束/>
Figure QLYQS_103
对无人机的加速度限制，保证正常飞行；约束/>
Figure QLYQS_104
对无人机的飞行转角限制，保证正常飞行；约束/>
Figure QLYQS_105
对无人机的速度限制，保证正常飞行。
8.根据权利要求7所述的方法，其特征在于，建立基于DQN的无人机控制框架具体包括：
建立基于DQN的无人机控制框架的环境和智能体，将无人机视为一个智能体，将在空中的飞行运动，与传感器节点的交互如信息、能量传输视为环境；
在每个训练周期中的第n时刻，智能体需要感知周边环境状态s n，包括传感器节点的电量、上传信息的AoI这些信息，从而根据当前环境决定下一时刻的动作
Figure QLYQS_106
，执行动作后，智能体获得环境相应的反馈奖励/>
Figure QLYQS_107
，并继续观察下一时刻状态/>
Figure QLYQS_108
，其中，智能体的训练过程通过不断地与环境进行交互，观察执行动作后状态的变化和环境反馈的奖励来调整动作策略，反复迭代学习，从而最大化累积回报，获得更好的动作策略；
智能体每次迭代过程中对给定的策略计算其值函数并根据值函数给出策略，采用DQN算法通过神经网络非线性逼近值函数
Figure QLYQS_109
评估状态sn采取动作an的代价，其中，/>
Figure QLYQS_110
是人工神经网络的权重，值函数/>
Figure QLYQS_111
的更新规则如公式11所示：
Figure QLYQS_112
公式11；
其中，
Figure QLYQS_113
为学习率，/>
Figure QLYQS_114
是折扣因子，a表示被选择执行的动作；
在存放数据前对历史数据进行标准化，即
Figure QLYQS_115
，其中x o为原始数据、x s为标准化后数据、/>
Figure QLYQS_116
为原始数据均值，/>
Figure QLYQS_117
为原始数据方差，对于任意一组历史数据/>
Figure QLYQS_118
，在线网络通过最小化损失函数来训练，其损失函数定义如公式12所示：
Figure QLYQS_119
公式12；
其中，
Figure QLYQS_120
为更新权重的轮数；
使用梯度下降法更新在线网络，其梯度如公式13所示：
Figure QLYQS_121
公式13。
9.根据权利要求8所述的方法，其特征在于，根据所述基于DQN的无人机控制框架，基于DQN规划无人机飞行策略具体包括：
通过由三元组
Figure QLYQS_127
来描述基于DQN的无人机控制算法，将无人机能耗最小化优化问题转化为马尔科夫决策过程，其中/>
Figure QLYQS_134
表示智能体的状态，/>
Figure QLYQS_139
表示智能体执行的动作，/>
Figure QLYQS_128
表示智能体执行动作后环境反馈的奖励；其中，在第/>
Figure QLYQS_133
个时刻，智能体状态/>
Figure QLYQS_140
包含两部分：在第n时刻传感器节点和无人机的状态信息，包括传感器节点的当前储存能量/>
Figure QLYQS_146
、无人机收集信息的新鲜度/>
Figure QLYQS_123
、无人机的地理位置、飞行速度、飞行角度、能耗、飞行时间以及距离终点的距离；因此，在第/>
Figure QLYQS_132
个时刻，智能体状态/>
Figure QLYQS_137
表示为/>
Figure QLYQS_143
，其中
Figure QLYQS_126
，/>
Figure QLYQS_130
，/>
Figure QLYQS_136
，/>
Figure QLYQS_142
分别表示为第/>
Figure QLYQS_125
个传感器节点剩余的电量和采集信息的AoI；/>
Figure QLYQS_131
为无人机在第n时刻距离终点的位置，定义为/>
Figure QLYQS_144
， qF为终点的水平坐标，q(n)为无人机的飞行水平坐标，v(n)为飞行速度，p(n)为第/>
Figure QLYQS_148
时刻无人机的飞行角度，E (n)为能耗；智能体状态空间为/>
Figure QLYQS_122
，其中/>
Figure QLYQS_129
；在第/>
Figure QLYQS_135
个时刻，智能体执行动作/>
Figure QLYQS_141
包含三部分：无人机的加速度a(n)，转角o(n)以及节点信息上传和能量收集策略c(n)，因此动作/>
Figure QLYQS_124
表示为/>
Figure QLYQS_138
；奖励函数包括无人机与终点的距离和无人机消耗的能量，若当前状态满足问题/>
Figure QLYQS_145
中的所有约束条件，则给予一定的奖励，若违反约束条件，则应受到惩罚，因此，在第/>
Figure QLYQS_147
个时刻，智能体执行动作后环境反馈的奖励函数如公式14所示：
Figure QLYQS_149
公式14；
其中，
Figure QLYQS_150
，表示无人机从出发到第/>
Figure QLYQS_151
时刻以来的能耗，/>
Figure QLYQS_152
为正常数；
所述基于DQN的无人机控制算法具体包括：
通过初始化经验池来存储训练数据并随机初始化在线网络参数，并以与在线网络相同的网络结构引入目标网络，并赋值与在线网络相同的神经网络参数；
在
Figure QLYQS_153
训练周期内，初始化无人机的初始状态，并归一化处理状态，在无人机最大允许任务时间/>
Figure QLYQS_154
内使用/>
Figure QLYQS_155
贪心策略探索环境，即在选择动作时以一定的探索概率/>
Figure QLYQS_156
随机选择动作；
在执行动作后，智能体得到环境反馈的奖励以及下一时刻状态
Figure QLYQS_157
，同时将/>
Figure QLYQS_158
训练数据归一化后存储于经验池D中；/>
若无人机任务完成，则退出当前飞行任务，进入下一轮训练，每次飞行任务结束，采用小批量方法从经验池中随机选取
Figure QLYQS_159
组训练数据，以打破数据之间的相关性，并根据智能体状态更新梯度；
每隔
Figure QLYQS_160
步，将在线网络的权重同步更新目标网络。
10.一种无人机能耗最小化设计装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的无人机能耗最小化设计方法的步骤。
CN202110397120.XA 2021-04-13 2021-04-13 无人机能耗最小化设计方法及装置 Active CN113268077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110397120.XA CN113268077B (zh) 2021-04-13 2021-04-13 无人机能耗最小化设计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110397120.XA CN113268077B (zh) 2021-04-13 2021-04-13 无人机能耗最小化设计方法及装置

Publications (2)

Publication Number Publication Date
CN113268077A CN113268077A (zh) 2021-08-17
CN113268077B true CN113268077B (zh) 2023-06-09

Family

ID=77228836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110397120.XA Active CN113268077B (zh) 2021-04-13 2021-04-13 无人机能耗最小化设计方法及装置

Country Status (1)

Country Link
CN (1) CN113268077B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406974B (zh) * 2021-08-19 2021-11-02 南京航空航天大学 一种面向无人机集群联邦学习的学习与资源联合优化方法
CN113938830B (zh) * 2021-09-24 2023-03-24 北京邮电大学 无人机基站部署方法及装置
CN114115304A (zh) * 2021-10-26 2022-03-01 南京航空航天大学 一种航空器四维爬升航迹规划方法及***
CN113973281B (zh) * 2021-10-26 2022-09-27 深圳大学 无人机物联网***和均衡传感器的能耗和寿命的方法
CN114071482B (zh) * 2021-11-11 2024-03-26 浙江工业大学 一种认知无线电网络中AoI约束下的网络吞吐量优化方法
CN114630335B (zh) * 2022-03-11 2023-09-08 西安电子科技大学 时效性保障的低能耗高动态空中网络覆盖方法
CN114697975B (zh) * 2022-04-11 2024-01-05 东南大学 一种增强陆地无线覆盖的无人机集群分布式部署方法
CN114783215B (zh) * 2022-04-18 2023-05-26 中国人民解放军战略支援部队信息工程大学 无人机分簇方法、装置和电子设备
CN115037638B (zh) * 2022-06-14 2023-10-20 北京邮电大学 低能耗和高时效性的无人机网络数据采集与传输控制方法
CN115277770B (zh) * 2022-07-20 2023-04-25 华北电力大学（保定） 一种节点接入和飞行策略联合优化的无人机信息收集方法
CN115113639B (zh) * 2022-07-25 2023-05-05 中国人民解放军32370部队 一种无人机飞行控制与模拟训练方法及装置
CN115265549B (zh) * 2022-09-27 2022-12-27 季华实验室 一种无人机路径规划方法、装置及电子设备
CN115278849B (zh) * 2022-09-29 2022-12-20 香港中文大学（深圳） 一种针对无人机动态拓扑的传输时机与功率控制方法
CN115857556B (zh) * 2023-01-30 2023-07-14 中国人民解放军96901部队 一种基于强化学习的无人飞行器协同探测规划方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045443B (zh) * 2018-10-11 2021-07-02 北京航空航天大学 无人机通信网络移动控制方法、装置、设备及存储介质
CN110364031B (zh) * 2019-07-11 2020-12-15 北京交通大学 地面传感器网络中无人机集群的路径规划和无线通信方法
CN110417456B (zh) * 2019-07-24 2020-06-16 北京交通大学 基于无人机的信息传输方法
CN111277320B (zh) * 2020-01-21 2021-06-11 北京大学 一种蜂窝网联无人机轨迹设计和干扰管理的方法及装置
CN111479239B (zh) * 2020-04-29 2022-07-12 南京邮电大学 一种多天线无人机数据采集***的传感器发射能耗优化方法

Also Published As

Publication number Publication date
CN113268077A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113268077B (zh) 无人机能耗最小化设计方法及装置
Bouhamed et al. A UAV-assisted data collection for wireless sensor networks: Autonomous navigation and scheduling
Yu et al. Multi-objective optimization for UAV-assisted wireless powered IoT networks based on extended DDPG algorithm
Chen et al. Machine learning for wireless networks with artificial intelligence: A tutorial on neural networks
CN116011511A (zh) 用于功率感知硬件的机器学习模型缩放***
CN113377131B (zh) 一种使用强化学习获得无人机收集数据轨迹的方法
Li et al. Online velocity control and data capture of drones for the internet of things: An onboard deep reinforcement learning approach
US11562653B1 (en) Systems and methods for in-flight re-routing of an electric aircraft
CN112752357B (zh) 基于能量收割技术的在线无人机辅助数据收集方法及装置
Reymann et al. Adaptive sampling of cumulus clouds with UAVs
CN112671451A (zh) 一种无人机数据收集方法、设备、电子设备及存储介质
CN117369026B (zh) 一种实时高精度预测云团驻留时间方法
Song et al. ADP-based optimal sensor scheduling for target tracking in energy harvesting wireless sensor networks
Shi et al. Age of information optimization with heterogeneous uavs based on deep reinforcement learning
CN113821535A (zh) 一种模型训练的方法及装置、计算机设备和存储介质
Boubin et al. Programming and deployment of autonomous swarms using multi-agent reinforcement learning
Wang et al. Multi-objective path planning algorithm for mobile charger in wireless rechargeable sensor networks
Boubin et al. Adaptive deployment for autonomous agricultural UAV swarms
Jiang et al. Research on autonomous obstacle avoidance and target tracking of UAV based on improved dueling DQN algorithm
CN113253763B (zh) 一种无人机数据收集的轨迹确定方法、***及装置
Zheng et al. Path planning of stratospheric airship in dynamic wind field based on deep reinforcement learning
Liu et al. Deep Reinforcement Learning-Based 3D Trajectory Planning for Cellular Connected UAV
Benhamaid et al. Towards energy efficient mobile data collection in cluster-based IoT networks
Bshiwa Smart 6G Sky for Green Mobile IOT Networks
CN115277770B (zh) 一种节点接入和飞行策略联合优化的无人机信息收集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant