CN109803344B - 一种无人机网络拓扑及路由联合构建方法 - Google Patents

一种无人机网络拓扑及路由联合构建方法 Download PDF

Info

Publication number
CN109803344B
CN109803344B CN201811623953.8A CN201811623953A CN109803344B CN 109803344 B CN109803344 B CN 109803344B CN 201811623953 A CN201811623953 A CN 201811623953A CN 109803344 B CN109803344 B CN 109803344B
Authority
CN
China
Prior art keywords
network
unmanned aerial
aerial vehicle
dqn
ddpg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811623953.8A
Other languages
English (en)
Other versions
CN109803344A (zh
Inventor
许文俊
黄春雷
张治�
李绍胜
张平
林家儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201811623953.8A priority Critical patent/CN109803344B/zh
Publication of CN109803344A publication Critical patent/CN109803344A/zh
Application granted granted Critical
Publication of CN109803344B publication Critical patent/CN109803344B/zh
Priority to PCT/CN2019/113936 priority patent/WO2020134507A1/zh
Priority to US16/939,254 priority patent/US11129082B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/22—Communication route or path selection, e.g. power-based or shortest path routing using selective relaying for reaching a BTS [Base Transceiver Station] or an access point
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • H04W40/08—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources based on transmission power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H04W40/16—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality based on interference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/20—Communication route or path selection, e.g. power-based or shortest path routing based on geographic position or location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/246—Connectivity information discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/28—Connectivity information management, e.g. connectivity discovery or connectivity update for reactive routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/04—TPC
    • H04W52/18—TPC being performed according to specific parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/04—TPC
    • H04W52/38—TPC being performed in particular situations
    • H04W52/46—TPC being performed in particular situations in multi hop networks, e.g. wireless relay networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/08—Learning-based routing, e.g. using neural networks or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/042—Public Land Mobile systems, e.g. cellular systems
    • H04W84/047—Public Land Mobile systems, e.g. cellular systems using dedicated repeater stations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本发明公开了一种无人机网络拓扑及路由联合构建方法，涉及无线通信技术领域，构建方法将无线通信领域中的节点中继、路由选择和传输功率控制技术相结合，通过使用节点中继、路由选择和传输功率控制技术，提升无人机网络组网能力，扩大无人机网络覆盖范围，平衡各节点无人机负载，以满足无人机网络高动态性环境下严苛的传输速率和可靠性需求。同时，利用深度强化学习技术实现无人机网络对以上通信任务的自主决策，具有智能高效、自适应、可扩展性强的优点。

Description

一种无人机网络拓扑及路由联合构建方法
技术领域
本发明涉及无线通讯技术领域，特别是指一种无人机网络拓扑及路由联合构建方法。
背景技术
无人机因其灵活性、易部署、视距信道衰减小等优点在执行应急、救灾等任务中得到广泛应用，同时，无人机作为辅助节点为现有通信网络提供辅助也受到广泛关注。而无人机网络中涉及的中继/路由选择和功率控制是无人机网络技术中的关键技术所在。
目前关于中继/路由选择方面，专利“201810332264.5”一种车联网中基于蚁群优化的中继选择方法：该方法在优化时需要严格的知道数据包的泊松过程概率模型和车辆的平均退避次数，因此需要在现有通信***中额外扩展大量信息交互功能，实际难以应用。此外，作为公知，蚁群优化是寻求超大规模优化问题的次优解。一方面，无人机网络的节点数目远不到发挥蚁群算法优势的地步，没有使用蚁群算法的必要；另一方面，却因为使用蚁群算法放弃了全局最优解，得不偿失。在功率控制方面：专利“201810309020.5”一种异构网络中基于强化学***，因此不能实现细粒度的功率控制，此外，该专利没有考虑中继需求，也没有考虑无人机网络对链路可靠性的要求，不能直接应用于无人机网络。在两者的结合方面，(1)固定指标方法利用人工构建的固定指标对无人机和中继节点或直连目标之间的链路进行选择。此类方法的缺陷在于人工构建的指标受数学复杂性的影响，往往只能基于简单的通信定义构建简单的信道容量等指标，难以兼顾自身需求和其它节点的通信需求、传输环境。同时，无人机网络的高动态性使其通信环境变化更为明显，简单的指标不能全方位的反映无人机网络通信环境的变化，因此其选择路由中继/路由时难以做到综合考虑、自适应。(2)基于优化方法的中继/路由选择需要实时获取无人机网络的用户需求和通信环境参数，建立优化问题并求解，但是一方面，全方位考虑的优化问题往往需要通信模型的先验知识，即通信状态之间如何变化，这在实际的通信***中往往不易获得；另一方面，当无人机网络中的节点数、通信资源增多时，优化问题迭代优化的速率大幅下降，收敛性也会受到影响，难以满足通信中快速的资源分配、功率控制需求。此外，此类离散优化问题往往需要对原问题进行松弛，难以达到最优解。
发明人通过研究无人机网络技术，发现目前的无人机网络主要问题如下，一方面，受到视距信道、有限的通信资源以及恶意干扰等影响；且无人机网络的高动态性使其拓扑结构、干扰动态变化。而另一方面，无人机网络对传输可靠性有更为严苛的要求。二者的矛盾制约了无人机网络的传输质量、可靠性，也是大规模无人机网络的组网瓶颈之一。
发明内容
有鉴于此，本发明的目的在于提出一种无人机网络拓扑及路由联合构建方法，以克服现有技术中全部或部分不足。
基于上述目的本发明提供的一种无人机网络拓扑及路由联合构建方法，包括如下步骤：
1)无人机网络和基站进行信息交互获得传输信息，并将传输信息加入每个无人机ui强化学习环境状态si；
2)无人机网络内部基于交互信息，从现有无人机中启发式选择一个无人机子集作为备选中继集合；
3)对于每个无人机ui，将环境状态si输入DQN网络，输出对不同的发送目标的累计奖励，选取累计奖励最大的发送目标作为无人机ui的发送目标，即DQN采取的行动aiDQN；
4)对于每个无人机ui，将所述环境状态si输入DDPG网络，输出无人机ui在信道n的发送功率该发送功率向量即DDPG采取的行动aiDDPG；
5)更新无人机网络的环境状态si+1，获得行动奖励ri；
6)基于DQN的行动记录{si,aiDQN,si+1,ri}和DDPG的行动记录{si,aiDDPG,si+1,ri}，进行DQN和DDPG网络联合训练，为DQN网络与DDPG网络的通用性、共享奖励和模型的精简与收敛性提供保证。
在一些可选实施例中，所述从现有无人机中启发式选择一个无人机子集作为备选中继集合，包括如下步骤：
1)计算无人机i-无人机j的第n个空空信道的信干噪比和无人机i-基站的第n个空地信道的信干噪比
其中，无人机i-无人机j的第n个空空信道，无人机i-基站的第n个空地信道，无人机ui在信道n的发送功率，Pn：噪声功率；
2)计算无人机-基站，无人机-无人机信道容量提升空间：
cidle＝C(w,sinrmax)-C(w,sinr)
其中，C(w,sinr)＝wlog(1+sinr)为香农公式，为假设无人机i以最大功率pmax发送时的信噪比，sinri为无人机i以当前功率发送时的信噪比；
3)根据计算出的cidle，选出最大的中继集合i为第m个中继无人机对应的编号。
在一些可选实施例中，所述将环境状态si输入DQN网络，输出对不同的发送目标累计奖励，包括如下步骤：
1)初始化DQN网络，开始第tepi个训练周期，初始化训练步数为t＝1，更新无人机网络环境状态
2)向DQN网络输入状态输出各发送目标的累计奖励的估计Q(si,ai)，进行ε-贪婪行动选择，输出选择的行动
3)基于行动更新环境状态
4)对各个无人机ui执行上述(2)～(3)，将记录i＝1,2,...,I记为一组记录，并从记录池中随机采样K组记录，i＝1,2,...,I,
k＝1,2,...,K；
5)计算获得的累计奖励获得的奖励：
训练周期是否终止的条件是：判断当前是否有一定数量的无人机不能满足最低的控制指令的信道容量需求；
6)基于K组误差对DQN网络进行反向传播训练，每L步更新一次DQN网络，步数t＝t+1，当t＞T时，初始化t＝1，返回(2)；对于每个无人机ui进行将环境状态si输入DQN网络，最终输出累计奖励最大的发送目标。
在一些可选实施例中，所述将所述环境状态si输入DDPG网络，输出无人机ui在信道n的发送功率包括如下步骤：
1)初始化critic网络，参数为θQ和actor网络，参数为θμ，开始第tepi个训练周期，初始化训练步数为t＝1，更新无人机网络环境状态
2)向actor网络输入状态输出在各信道上的发送功率向量基于actor网络选择行动，并添加探索噪声
3)基于行动更新环境状态所有无人机采取行动后计算获得的奖励
4)对各个无人机ui执行(2)～(3)，将记录i＝1,2,...,I记为一组记录，存储至记录池中，并从记录池中随机采样K组记录，i＝1,2,...,I,k＝1,2,...,K；
5)计算获得的累计奖励
训练周期是否终止的条件是：判断当前是否有一定数量的无人机不能满足最低的控制指令的信道容量需求；
6)基于K组误差对critic网络进行反向传播训练，利用梯度下降法更新actor网络，其梯度为：
7)对critic网络和acotr网络进行软更新：
θQ′←τθQ+(1-τ)θQ′
θμ′←τθμ+(1-τ)θμ′
其中τ∈(0,1)是soft update系数，步数t＝t+1，当t＞T时，初始化t＝1，返回(2)，对于每个无人机ui进行将环境状态si输入DDPG网络，最终输出无人机ui在信道n的发送功率
在一些可选实施例中，所述DQN/DDPG网络训练，包括如下步骤：
(1)～(4)：同DQN网络和DDPG网络中(1)～(4)；
5)保证奖励对于DQN网络与DDPG网络有通用性，公共累计奖励如下：先计算无人机网络的总速率需求和总的信道容量以及总的未满足的最低速率和最低速率需求奖励ri：
其中，总信道容量根据传输方式而定，直连基站时，反映了当前传输方案对无人机需求的满足程度，反映了当前传输方案的无人机的满足程度，λ为惩罚系数；
6)如DQN和DDPG网络流程中的(6)，完成基于DQN和DDPG网络拓扑及路由的联合构建。
在一些可选实施例中，所述传输信息包括无人机位置Pi、信道衰落系数和噪声功率Pn、自身速率需求ri、已承载速率需求当前传输功率加入每个无人机ui强化学习环境状态si。
在一些可选实施例中，所述信息交互为现有通信***中已存在、可用的信息交互，不需要额外扩展现有通信***功能。
从上面所述可以看出，本发明提供的一种无人机网络拓扑及路由联合构建方法，通过节点中继、路由选择和传输功率控制技术，使无人机网络中的无人机节点兼顾无人机自身传输任务与承载中继，自主选择接收目标(直连基站或寻求中继)，制定传输路由，从而构建无人机网络拓扑，提升无人机网络组网能力，有效扩大无人机网络覆盖范围，提升无人机网络的传输质量。另一方面，利用深度学习中的两种异构网络模型—DQN网络(深度Q网络)模型和DDPG网络(深度确定策略梯度)模型对以上通信问题进行建模，并进行联合训练，实现自主决策。DQN网络是离散控制模型，基于无人机当前的通信环境和需求自主决策发送目标，建立传输链路，构建网络拓扑；DDPG网络是连续控制模型，基于无人机当前的通信环境和需求实现细粒度的(连续的)功率控制，有效提升网络传输质量。
附图说明
图1为本发明实施例无人机网络拓扑及路由联合构建的模型架构及工作流程示意图；
图2为本发明实施例中继无人机集合的启发式选择规则示意图；
图3为本发明实施例DQN网络训练流程示意图；
图4为本发明实施例DDPG网络训练流程示意图；
图5为本发明实施例DQN网络和DDPG网络联合训练流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的：DQN(Deep Q-Learinng，深度Q网络)是深度强化学习的一种，用于基于当前的环境状态s自动选择最优行动a，即自主决策。其中a为离散行动，即可列举的有限的行动。强化学习中，定义当前状态s下采取行动a获得的奖励为r，并估计此时产生的后续行动的累计奖励为Q(s,a)。利用输入为状态s，输出为不同行动ai的累计奖励Q(s,ai)的深度神经网络估计Q(s,ai)，并选择对应Q(s,ai)最大的行动ai，即基于DQN网络模型决策。
DDPG(Deep Deterministic Policy Gradient，深度确定策略梯度)网络是深度强化学习的一种(深度强化学习相关概念见深度Q网络)，其中a为连续行动，即具有连续的取值范围，有利于细粒度的功率控制。DDPG网络与DQN网络不同，是一种策略梯度方法，包含actor和critic两个网络，其中actor网络以状态s为输入，拟合策略π，输出行动a＝π(s)，即基于当前状态s直接选择行动a；critic网络以状态s和行动a为输入，以累计奖励Q(s,a)为输出，用于评估状态s下采取行动a的效果。Actor和critic一个采取行动一个进行评价，不断改善决策效果，最终实现自主决策。
为了解决现有技术中无人机网络传输质量和可靠性，本发明实施例提供了一种无人机网络拓扑及路由联合构建方法，包括如下步骤：
1)无人机网络和基站进行信息交互获得传输信息，并将传输信息加入每个无人机ui强化学习环境状态si；
2)无人机网络内部基于交互信息，从现有无人机中启发式选择一个无人机子集作为备选中继集合；
3)对于每个无人机ui，将环境状态si输入DQN网络，输出对不同的发送目标的累计奖励，选取累计奖励最大的发送目标作为无人机ui的发送目标,即DQN采取的行动aiDQN；
4)对于每个无人机ui，将所述环境状态si输入DDPG网络，输出无人机ui在信道n的发送功率该发送功率向量即DDPG采取的行动aiDDPG；
5)更新无人机网络的环境状态si+1，获得行动奖励ri；
6)基于DQN的行动记录{si,aiDQN,si+1,ri}和DDPG的行动记录{si,aiDDPG,si+1,ri}，进行DQN和DDPG网络联合训练，为DQN网络与DDPG网络的通用性、共享奖励和模型的精简与收敛性提供保证。
其中，本发明实施例无人机网络拓扑及路由联合构建的模型架构及工作流程示意图如图1所示，设无人机网络中有I个无人机ui(i＝1,2,…,I)共用N个信道(或通信资源块)cn(n＝1,2…,N)，且存在复用。每次选出的备选无人机数目为M。基于无人机型号信息可知无人机的最大传输功率控制指令所需最低信道容量设DQN网络和DDPG网络已经训练完成。
101：无人机网络和基站进行基本的信息交互获得传输信息包括无人机位置Pi、信道衰落系数和(为无人机i-无人机j的第n个空空信道，为无人机i-基站的第n个空地信道)、噪声功率Pn、自身速率需求ri、已承载速率需求当前传输功率加入每个无人机ui强化学习环境状态si。(此处信息交互均为现有通信***中已存在、可用的信息交互，不需要额外扩展现有通信***功能，有良好的可用性、可扩展性)。
102：无人机网络内部基于交互信息，从现有无人机中启发式选择一个无人机子集作为备选中继集合i为第m个中继无人机对应的编号。并将是否属于中继集合加入对应无人机ui的强化学习环境状态si，启发式规则及对应的信息融合机制见下文。
103：对于每个无人机ui，将环境状态si输入DQN网络，输出对不同的发送目标Ai＝{R,BS}的累计奖励Q(si,ai|ai∈Ai)。其中，为中继无人机集合，BS为基站。选取累计奖励Q(si,ai|ai∈Ai)最大的发送目标ai∈Ai作为无人机ui的发送目标，
104：对于每个无人机ui，将环境状态输入DDPG网络，输出无人机ui在信道n的发送功率
105：进行DQN/DDPG网络训练，为DQN网络与DDPG网络的通用性、共享奖励和模型的精简与收敛性提供保证。
以上步骤实现了完成了无人机网络中的无人机的中继选择和功率分配任务，从而实现了基于异构深度强化学习的无人机网络拓扑及路由联合构建。
本发明实施例提出了无人机网络传输机制：每个无人机自主执行中继/路由选择和功率分配，每个无人机都兼顾自身传输与承载中继。因此，该方案不需要设立固定的无人机作为中继节点，可以有效提升无人机网络中的无人机使用率，联合中继与功率控制两种机制，保障无人机网络自主、高效、可靠通信，从而扩展无人机网络的覆盖范围。
本发明实施例中的中继无人机集合的启发式选择规则及对应的信息融合方法如图2所示。
本方案考虑无人机间资源复用的干扰和无人机-无人机的空空信道和无人机-基站的空地信道的差异，通过衡量无人机通过提升自身传输功率可获得的信道容量提升空间选择备选中继无人机集合。
201：计算无人机i-无人机j的第n个空空信道的信干噪比和无人机i-基站的第n个空地信道的信干噪比
202：每个无人机-基站，无人机-无人机信道容量提升空间为：
cidle＝C(w,sinrmax)-C(w,sinr)
当无人机ui直连基站时，上行容量提升空间为当无人机ui通过中继无人机中继时，上行容量提升空间为即ui到的无人机信道容量和到基站的信道容量的较小者。其中C(w,sinr)＝wlog(1+sinr)为香农公式，sinri max为假设无人机i以最大功率pmax发送时的信噪比，sinri为无人机i以当前功率发送时的信噪比。
203：根据计算出的cidle，中继无人机集合为最大的M个无人机m＝1,2,...,M，选出cidle最大的中继集合i为第m个中继无人机对应的编号。
以上步骤实现了无人机网络的启发式中继无人机选择任务。
提出的启发式的中继无人机子集的选择方案。该方案只需基于现有体制中可用的交互信息，不许额外的通信交互设计，有良好的可用性和可扩展性。同时，该方案有效地考虑干扰、传输功率等因素，利用可提升的信道容量空间评价无人机作为中继节点的可行性，并依此选择中继无人机子集，避免了只考虑信道容量，忽略中继无人机当前传输状态的缺点，因此可有效评价无人机是否适合作为中继节点。
本发明实施例中DQN网络模型训练流程如图3所示，具体如下：
301：初始化DQN网络，开始第tepi个训练周期(初始化为tepi＝1)，初始化训练步数为t＝1，更新无人机网络环境状态
302：向DQN网络模型输入状态输出各发送目标的累计奖励的估计Q(si,ai)，进行ε-贪婪行动选择，即以ε-的概率随机选择行动(发送目标)，以1-ε的概率选择累计奖励Q(si,ai)最大的行动。最终选择的行动即为
303：基于行动更新环境状态所有无人机采取行动后计算获得的奖励
304：对各个无人机ui执行302～303，将记录i＝1,2,...,I记为一组记录，存储至记录池中。并从记录池中随机采样K组记录，i＝1,2….I,k＝1,2….K。其中每组记录包含同一环境状态下的I个无人机的I条记录，以改善DQN网络的收敛性和多无人机同时决策的性能，共计KI条记录。
305：计算获得的累计奖励若训练周期终止，训练周期tepi＝tepi+1，返回步骤301，若tepi＞Tepi，训练结束，
训练周期是否终止的条件是：判断当前是否有一定数量的无人机不能满足最低的控制指令的信道容量需求。
306：基于K组误差对DQN网络进行反向传播训练。每L步更新一次DQN网络，步数t＝t+1，当t＞T时，初始化t＝1，返回302，对于每个无人机ui进行将环境状态si输入DQN网络，最终输出累计奖励最大的发送目标。
以上步骤实现了基于DQN网络的中继/路由选择功能。
提出的利用DQN网络进行中继/路由选择的解决方案。与传统优化方法相比，该方案不需要通信环境中如数据包、退避次数等先验模型参数，有良好的自适应性和可扩展性。与现有的基于DQN网络的中继方法相比，选择中继节点时充分考虑了中继节点自身的传输任务，可以兼顾自身传输与承载中继，因此满足了不专门设立中继无人机的需求，可有效提升无人机的使用率。
本发明实施例中DDPG网络模型训练流程如图4所示，具体如下：
401：初始化critic网络(参数为θQ)和actor网络(参数为θμ)，开始第tepi个训练周期(初始化为tepi＝1)，初始化训练步数为t＝1，更新无人机网络环境状态
402：向actor网络输入状态输出在各信道上的发送功率向量基于actor网络选择行动，并添加探索噪声
403：基于行动更新环境状态所有无人机采取行动后计算获得的奖励
404：对各个无人机ui执行402～403，将记录i＝1,2,...,I记为一组记录，存储至记录池中。并从记录池中随机采样K组记录，i＝1,2….I,k＝1,2….K。其中每组记录包含同一环境状态下的I个无人机的I条记录，以改善DQN网络的收敛性和多无人机同时决策的性能，共计KI条记录。
405：计算获得的累计奖励若训练周期终止，训练周期tepi＝tepi+1，返回401，若tepi＞Tepi，训练结束，
训练周期是否终止的条件是：判断当前是否有一定数量的无人机不能满足最低的控制指令的信道容量需求。
406：基于K组误差对critic网络进行反向传播训练。利用梯度下降法更新actor网络，其梯度为：
407：对critic网络和acotr网络进行软更新(soft update)：
θQ′←τθQ+(1-τ)θQ′
θμ′←τθμ+(1-τ)θμ′
其中τ∈(0,1)是soft update系数。步数t＝t+1，当t＞T时，初始化t＝1，返回402，对于每个无人机ui进行将环境状态si输入DDPG网络，最终输出无人机ui在信道n的发送功率
以上步骤实现了基于DDPG网络的功率控制功能。
提出的利用DDPG网络进行功率控制的解决方案。与传统优化方法相比该方案不需要通信环境中如数据包、退避次数等先验模型参数，有良好的自适应性和可扩展性。充分考虑了通信干扰、无人机自身状态、中继节点自身状态，可以兼顾自身传输与承载中继，实现连续的、细粒度的功率控制，此外，DDPG网络作为确定的策略梯度方法，不需要采取ε-贪婪的随机策略，有利于实现保证无人机网络传输的可靠性。
本发明实施例中DQN和DDPG网络联合模型训练流程如图5所示，具体步骤如下：
501～504：如训练DQN网络流程中的301～304和DDPG网络流程中的401～404；
505：考虑到DQN网络与DDPG网络的状态特性与公共需求，构建公共的累计奖励保证此奖励对于DQN网络与DDPG网络有通用性，从而使二者共享奖励，保证模型的精简与联合训练的收敛性。公共累计奖励如下：先计算无人机网络的总速率需求和总的信道容量以及总的未满足的最低速率和最低速率需求奖励ri为
其中，总信道容量根据传输方式而定，直连基站时，反映了当前传输方案对无人机需求的满足程度，反映了当前传输方案的无人机的满足程度，λ为惩罚系数。
506：如训练DQN网络流程中的306和DDPG网络流程中的406。
以上不收实现了基于DQN网络与DDPG网络的联合训练。
该方案考虑DQN网络与DDPG网络的状态特性与公共需求，构建公共的累计奖励，保证此奖励对于DQN网络与DDPG网络有通用性，从而使二者共享奖励，保证模型的精简与联合训练的收敛性。本方案是本专利的关键点与保证模型的精简与联合训练的收敛性的必要条件，应予以保护。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种无人机网络拓扑及路由联合构建方法，其特征在于，包括如下步骤：
(1)无人机网络和基站进行信息交互获得传输信息，并将传输信息加入每个无人机ui强化学习环境状态si；
(2)无人机网络内部基于交互信息，从现有无人机中启发式选择一个无人机子集作为备选中继集合；
(3)对于每个无人机ui，将环境状态si输入DQN网络，输出对不同的发送目标的累计奖励，选取累计奖励最大的发送目标作为无人机ui的发送目标，即DQN采取的行动aiDQN；其中，DQN网络为深度Q网络；
(4)对于每个无人机ui，将所述环境状态si输入DDPG网络，输出无人机ui在信道n的发送功率该发送功率向量即DDPG采取的行动aiDDPG；其中，DDPG为深度确定策略梯度；
(5)更新无人机网络的环境状态si+1，获得行动奖励ri；
(6)基于DQN的行动记录{si,aiDQN,si+1,ri}和DDPG的行动记录{si,aiDDPG,si+1,ri}，进行DQN和DDPG网络联合训练。
2.根据权利要求1所述的无人机网络拓扑及路由联合构建方法，其特征在于，所述从现有无人机中启发式选择一个无人机子集作为备选中继集合，包括如下步骤：
(21)计算无人机i-无人机j的第n个空空信道的信干噪比和无人机i-基站的第n个空地信道的信干噪比
其中，无人机i-无人机j的第n个空空信道，无人机i-基站的第n个空地信道，无人机ui在信道n的发送功率，Pn：噪声功率；
(22)计算无人机-基站，无人机-无人机信道容量提升空间：
cidle＝C(w,sinrmax)-C(w,sinr)
其中，C(w,sinr)＝wlog(1+sinr)为香农公式，sinri max为假设无人机i以最大功率pmax发送时的信噪比，sinri为无人机i以当前功率发送时的信噪比；
(23)根据计算出的cidle，选出最大的中继集合i为第m个中继无人机对应的编号。
3.根据权利要求1所述的无人机网络拓扑及路由联合构建方法，其特征在于，所述将环境状态si输入DQN网络，输出对不同的发送目标累计奖励，选取累计奖励最大的发送目标作为无人机ui的发送目标，包括如下步骤：
(31)初始化DQN网络，开始第tepi个训练周期，初始化训练步数为t＝1，更新无人机网络环境状态
(32)向DQN网络输入状态输出各发送目标的累计奖励的估计Q(si,ai)，进行ε-贪婪行动选择，输出选择的行动
(33)基于行动更新环境状态
(34)对各个无人机ui执行上述(32)～(33)，将记录记为一组记录，并从记录池中随机采样K组记录，
(35)计算获得的累计奖励ri t：获得的奖励：
训练周期是否终止的条件是：判断当前是否有一定数量的无人机不能满足最低的控制指令的信道容量需求；
(36)基于K组误差对DQN网络进行反向传播训练，每L步更新一次DQN网络，步数t＝t+1，当t＞T时，初始化t＝1，返回(32)；对于每个无人机ui进行将环境状态si输入DQN网络，最终输出累计奖励最大的发送目标。
4.根据权利要求1所述的无人机网络拓扑及路由联合构建方法，其特征在于，所述将所述环境状态si输入DDPG网络，输出无人机ui在信道n的发送功率包括如下步骤：
(41)初始化critic网络，参数为θQ和actor网络，参数为θμ，开始第tepi个训练周期，初始化训练步数为t＝1，更新无人机网络环境状态
(42)向actor网络输入状态输出在各信道上的发送功率向量基于actor网络选择行动，并添加探索噪声
(43)基于行动更新环境状态所有无人机采取行动后计算获得的奖励ri t；
(44)对各个无人机ui执行(42)～(43)，将记录记为一组记录，存储至记录池中，并从记录池中随机采样K组记录，
(45)计算获得的累计奖励
训练周期是否终止的条件是：判断当前是否有一定数量的无人机不能满足最低的控制指令的信道容量需求；
(46)基于K组误差对critic网络进行反向传播训练，利用梯度下降法更新actor网络，其梯度为：
(47)对critic网络和acotr网络进行软更新：
θQ′←τθQ+(1-τ)θQ′
θμ′←τθμ+(1-τ)θμ′
其中τ∈(0,1)是soft update系数，步数t＝t+1，当t＞T时，初始化t＝1，返回(42)，对于每个无人机ui进行将环境状态si输入DDPG网络，最终输出无人机ui在信道n的发送功率
5.根据权利要求1所述的无人机网络拓扑及路由联合构建方法，其特征在于，所述进行DQN和DDPG网络联合训练，包括如下步骤：
(51)～(54)：同DQN网络中(31)～(34)和DDPG网络中(41)～(44)；
(55)保证奖励对于DQN网络与DDPG网络有通用性，公共累计奖励如下：先计算无人机网络的总速率需求和总的信道容量以及总的未满足的最低速率和最低速率需求奖励ri：
其中，总信道容量根据传输方式而定，直连基站时，反映了当前传输方案对无人机需求的满足程度，反映了当前传输方案的无人机的满足程度，λ为惩罚系数；
(56)如DQN网络流程中(36)和DDPG网络流程中的(46)，完成基于DQN和DDPG网络拓扑及路由的联合构建。
6.根据权利要求1所述的无人机网络拓扑及路由联合构建方法，其特征在于，所述传输信息包括无人机位置Pi、信道衰落系数和噪声功率Pn、自身速率需求ri、已承载速率需求ri relay、当前传输功率加入每个无人机ui强化学习环境状态si。
7.根据权利要求1～6任一所述的无人机网络拓扑及路由联合构建方法，其特征在于，所述信息交互为现有通信***中已存在、可用的信息交互。
CN201811623953.8A 2018-12-28 2018-12-28 一种无人机网络拓扑及路由联合构建方法 Active CN109803344B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811623953.8A CN109803344B (zh) 2018-12-28 2018-12-28 一种无人机网络拓扑及路由联合构建方法
PCT/CN2019/113936 WO2020134507A1 (zh) 2018-12-28 2019-10-29 无人机网络路由构建方法、无人机及存储介质
US16/939,254 US11129082B2 (en) 2018-12-28 2020-07-27 Method of route construction of UAV network, UAV and storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811623953.8A CN109803344B (zh) 2018-12-28 2018-12-28 一种无人机网络拓扑及路由联合构建方法

Publications (2)

Publication Number Publication Date
CN109803344A CN109803344A (zh) 2019-05-24
CN109803344B true CN109803344B (zh) 2019-10-11

Family

ID=66557971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811623953.8A Active CN109803344B (zh) 2018-12-28 2018-12-28 一种无人机网络拓扑及路由联合构建方法

Country Status (3)

Country Link
US (1) US11129082B2 (zh)
CN (1) CN109803344B (zh)
WO (1) WO2020134507A1 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109803344B (zh) 2018-12-28 2019-10-11 北京邮电大学 一种无人机网络拓扑及路由联合构建方法
CN110611619B (zh) * 2019-09-12 2020-10-09 西安电子科技大学 一种基于ddpg强化学习算法的智能化路由决策方法
CN110661566B (zh) * 2019-09-29 2021-11-19 南昌航空大学 一种采用深度图嵌入的无人机集群组网方法与***
CN111263332A (zh) * 2020-03-02 2020-06-09 湖北工业大学 基于深度强化学习的无人机轨迹及功率联合优化方法
CN111917642B (zh) * 2020-07-14 2021-04-27 电子科技大学 分布式深度强化学习的sdn网络智慧路由数据传输方法
CN111885671B (zh) * 2020-07-17 2022-04-15 燕山大学 一种基于深度强化学习的水下联合中继选择和功率分配方法
CN112383965B (zh) * 2020-11-02 2023-04-07 哈尔滨工业大学 基于drqn和多传感器模型的认知无线电功率分配方法
CN112437131B (zh) * 2020-11-10 2022-09-13 西北农林科技大学 物联网中考虑数据相关性的数据动态采集与传输方法
CN112600869B (zh) * 2020-11-11 2022-08-30 南京邮电大学 基于td3算法的计算卸载分配方法和装置
CN112566209A (zh) * 2020-11-24 2021-03-26 山西三友和智慧信息技术股份有限公司 一种基于双Q学习的UAV-BSs能量和服务优先级轨迹设计方法
CN112636811B (zh) * 2020-12-08 2021-11-30 北京邮电大学 一种中继无人机部署方法及装置
CN112788699B (zh) * 2020-12-30 2022-07-12 北京邮电大学 一种飞行自组织网网络拓扑确定方法及***
CN112788726B (zh) * 2021-01-19 2022-04-22 西安交通大学 一种无人机辅助基站通信的网络场景模型下的功率控制方法
CN112967516B (zh) * 2021-02-03 2022-07-26 芜湖泊啦图信息科技有限公司 快速停车场端关键参数与整车匹配全局动态路径规划方法
CN113300749A (zh) * 2021-03-30 2021-08-24 北京邮电大学 基于机器学习赋能的智慧传输波束优化方法
CN113115344B (zh) * 2021-04-19 2021-12-14 中国人民解放***箭军工程大学 基于噪声优化的无人机基站通信资源分配策略预测方法
CN113225709B (zh) * 2021-04-25 2022-12-02 广州航海学院 一种在城市交叉路口处辅助5g nr车联网通信的中继策略优化方法
CN113517945B (zh) * 2021-04-26 2024-07-09 南京聚变信息科技有限公司 一种无人机抗干扰的通信导航装置及方法
CN113242602B (zh) * 2021-05-10 2022-04-22 内蒙古大学 毫米波大规模mimo-noma***资源分配方法及***
CN113382060B (zh) * 2021-06-07 2022-03-22 北京理工大学 一种物联网数据收集中的无人机轨迹优化方法及***
CN113438723B (zh) * 2021-06-23 2023-04-28 广东工业大学 一种高额奖励惩罚的竞争深度q网络功率控制方法
CN113346944B (zh) * 2021-06-28 2022-06-10 上海交通大学 空天地一体化网络中时延最小化计算任务卸载方法及***
CN113543176B (zh) * 2021-07-08 2023-06-27 中国科学院深圳先进技术研究院 基于智能反射面辅助的移动边缘计算***的卸载决策方法
CN113776531B (zh) * 2021-07-21 2024-07-19 电子科技大学长三角研究院(湖州) 无线自供电通信网络的多无人机自主导航及任务分配算法
CN113467248A (zh) * 2021-07-22 2021-10-01 南京大学 基于强化学习的无人机传感器故障时容错控制方法
CN113660159B (zh) * 2021-07-23 2023-04-18 成都壹唯视信息技术有限公司 一种基于强化学习的多径动态复用与分组传输方法
CN113709701B (zh) * 2021-08-27 2022-06-17 西安电子科技大学 毫米波车联网联合波束分配和中继选择方法、***及设备
CN114006645A (zh) * 2021-09-07 2022-02-01 西北工业大学 一种认知无人机中继辅助的安全传输方法及***
CN113938415B (zh) * 2021-09-09 2022-08-02 华中科技大学 一种基于链路状态估计的网络路由转发方法及***
CN114051272A (zh) * 2021-10-30 2022-02-15 西南电子技术研究所（中国电子科技集团公司第十研究所） 动态拓扑网络智能路由方法
CN114089762B (zh) * 2021-11-22 2024-06-21 江苏科技大学 一种基于强化学习的水空两栖无人航行器路径规划方法
CN114222251B (zh) * 2021-11-30 2024-06-28 中山大学·深圳 一种多无人机的自适应网络成型和轨迹优化方法
CN114422056B (zh) * 2021-12-03 2023-05-23 北京航空航天大学 基于智能反射面的空地非正交多址接入上行传输方法
CN114302477A (zh) * 2021-12-22 2022-04-08 山东芯慧微电子科技有限公司 一种基于fpga的无人机自组网通信可靠性优化方法
KR102529331B1 (ko) * 2021-12-29 2023-05-09 서울대학교산학협력단 강화 학습을 사용한 uav bs 기반의 통신 방법 및 이러한 방법을 수행하는 장치
CN114422363B (zh) * 2022-01-11 2023-04-21 北京科技大学 一种无人机搭载ris辅助通信***容量优化方法及装置
CN114520991B (zh) * 2022-01-27 2023-07-28 重庆邮电大学 基于无人机集群的边缘网络自适应部署方法
CN114615672B (zh) * 2022-03-07 2023-07-25 西北工业大学 一种基于统计信息的协作物理层安全增强方法
CN114785397B (zh) * 2022-03-11 2023-04-07 成都三维原光通讯技术有限公司 无人机基站控制方法、飞行轨迹优化模型构建、训练方法
CN114727316B (zh) * 2022-03-29 2023-01-06 江南大学 一种基于深度确定性策略的物联网传输方法以及装置
CN114756052B (zh) * 2022-03-31 2023-04-07 电子科技大学 一种基于无人机群的多目标协同追踪方法
CN114710437B (zh) * 2022-06-07 2022-08-23 南京邮电大学 一种结合区块链的物联网边缘网络路由***
CN114879742B (zh) * 2022-06-17 2023-07-04 电子科技大学 基于多智能体深度强化学习的无人机集群动态覆盖方法
CN115167506B (zh) * 2022-06-27 2024-06-28 华南师范大学 无人机飞行航线更新规划的方法、装置、设备及存储介质
CN115412156B (zh) * 2022-08-22 2023-07-14 北京鹏鹄物宇科技发展有限公司 一种面向城市监测的卫星携能物联网资源优化分配方法
CN116405111B (zh) * 2023-06-09 2023-08-15 山东科技大学 一种基于深度强化学习的海上无人机辅助光数据收集方法
CN116506965B (zh) * 2023-06-20 2023-09-19 南方科技大学 一种多无人机通信资源分配方法及终端
CN116709255B (zh) * 2023-08-04 2023-10-31 中国人民解放军军事科学院***工程研究院 一种不完全信息条件下的中继无人机分布式选择方法
CN117295096B (zh) * 2023-11-24 2024-02-09 武汉市豪迈电力自动化技术有限责任公司 基于5g短共享的智能电表数据传输方法及***
CN117835463B (zh) * 2023-12-27 2024-07-19 武汉大学 基于深度强化学习的空地自组通信网络时空动态部署方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491564A (zh) * 2015-11-25 2016-04-13 西安电子科技大学 用于多无人机环境下建立安全通信链路的方法
CN107517158A (zh) * 2017-08-29 2017-12-26 北京航空航天大学 无人机通信网络联合路由协议的设计方法
US9949138B2 (en) * 2016-07-28 2018-04-17 At&T Intellectual Property I, L.P. Systems and methods to augment the capacities and capabilities of cellular networks through an unmanned aerial vehicle network overlay
CN108616302A (zh) * 2018-04-28 2018-10-02 中国人民解放军陆军工程大学 一种功率控制下的无人机多重覆盖模型及部署方法
CN108770003A (zh) * 2018-05-07 2018-11-06 南京邮电大学 一种基于粒子群优化的自组织无人机网络路由发现方法
CN108833049A (zh) * 2018-06-12 2018-11-16 北京邮电大学 一种无人机网络中基于认知的欺骗式抗干扰方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US10454576B2 (en) * 2015-12-31 2019-10-22 Wellen Sham UAV network
US9826256B2 (en) * 2015-12-31 2017-11-21 Wellen Sham Facilitating multimedia information delivery through a UAV network
WO2017189859A1 (en) * 2016-04-27 2017-11-02 Neurala, Inc. Methods and apparatus for pruning experience memories for deep neural network-based q-learning
JP7039796B2 (ja) * 2016-09-27 2022-03-23 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 無人航空機（ｕａｖ）を管理するシステム及び方法
US10020872B2 (en) * 2016-10-11 2018-07-10 T-Mobile Usa, Inc. UAV for cellular communication
WO2018095528A1 (en) * 2016-11-24 2018-05-31 Telefonaktiebolaget Lm Ericsson (Publ) A method for directing an unmanned aerial vehicle to a destination
US10304343B2 (en) * 2017-02-24 2019-05-28 At&T Mobility Ii Llc Flight plan implementation, generation, and management for aerial devices
US10375585B2 (en) * 2017-07-06 2019-08-06 Futurwei Technologies, Inc. System and method for deep learning and wireless network optimization using deep learning
US20200192348A1 (en) * 2017-08-11 2020-06-18 Nokia Technologies Oy Information exchange for an unmanned aerial vehicle
WO2019067277A1 (en) * 2017-09-28 2019-04-04 Kyocera Corporation PREAMBLE MANAGEMENT FOR AIR VEHICLES WITHOUT PILOT
US10701641B2 (en) * 2017-10-13 2020-06-30 Apple Inc. Interference mitigation in ultra-dense wireless networks
CN107911299B (zh) * 2017-10-24 2020-12-29 浙江工商大学 一种基于深度q学习的路由规划方法
WO2019114959A1 (en) * 2017-12-13 2019-06-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods in a telecommunications network
US10660111B2 (en) * 2018-03-19 2020-05-19 Verizon Patent And Licensing Inc. Network resource allocation for unmanned aerial vehicles
CN108710348B (zh) * 2018-05-14 2024-03-26 西安工业大学 一种无人机群控制***及其无人机设备
CN108900419B (zh) * 2018-08-17 2020-04-17 北京邮电大学 Sdn架构下基于深度强化学习的路由决策方法及装置
US12035421B2 (en) * 2018-09-06 2024-07-09 Nokia Technologies Oy Procedure for optimization of self-organizing network
US10531240B1 (en) * 2018-10-29 2020-01-07 Nec Corporation User localization process leveraging UAVs equipped with lightweight base station to provide a moving mobile network
US11095360B2 (en) * 2018-11-26 2021-08-17 Eagle Technology, Llc Radio frequency (RF) communication system providing enhanced mobile vehicle positioning based upon reward matrices and related methods
CN109803344B (zh) * 2018-12-28 2019-10-11 北京邮电大学 一种无人机网络拓扑及路由联合构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491564A (zh) * 2015-11-25 2016-04-13 西安电子科技大学 用于多无人机环境下建立安全通信链路的方法
US9949138B2 (en) * 2016-07-28 2018-04-17 At&T Intellectual Property I, L.P. Systems and methods to augment the capacities and capabilities of cellular networks through an unmanned aerial vehicle network overlay
CN107517158A (zh) * 2017-08-29 2017-12-26 北京航空航天大学 无人机通信网络联合路由协议的设计方法
CN108616302A (zh) * 2018-04-28 2018-10-02 中国人民解放军陆军工程大学 一种功率控制下的无人机多重覆盖模型及部署方法
CN108770003A (zh) * 2018-05-07 2018-11-06 南京邮电大学 一种基于粒子群优化的自组织无人机网络路由发现方法
CN108833049A (zh) * 2018-06-12 2018-11-16 北京邮电大学 一种无人机网络中基于认知的欺骗式抗干扰方法及装置

Also Published As

Publication number Publication date
CN109803344A (zh) 2019-05-24
WO2020134507A1 (zh) 2020-07-02
US11129082B2 (en) 2021-09-21
US20200359297A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
CN109803344B (zh) 一种无人机网络拓扑及路由联合构建方法
Wang et al. Trajectory design for UAV-based Internet of Things data collection: A deep reinforcement learning approach
Kumar et al. Bayesian coalition game for the internet of things: an ambient intelligence-based evaluation
US9191304B1 (en) Reinforcement learning-based distributed network routing method utilizing integrated tracking and selective sweeping
CN113543074B (zh) 一种基于车路云协同的联合计算迁移和资源分配方法
CN106411749A (zh) 一种基于q学习的用于软件定义网络的路径选择方法
CN110753319B (zh) 异构车联网中面向异质业务的分布式资源分配方法及***
JP2021083091A (ja) マルチエージェント強化学習を介してセルラーネットワークにおいてユーザ機器を関連付けるための方法
CN114499648B (zh) 基于多智能体协作的无人机集群网络智能多跳路由方法
CN113194034A (zh) 基于图神经网络和深度强化学习的路由优化方法及***
CN107360093B (zh) 无人机与卫星混合网络通信路由方法及***
Kopeikin et al. Multi-uav network control through dynamic task allocation: Ensuring data-rate and bit-error-rate support
Mukherjee et al. ECoR: Energy-aware collaborative routing for task offload in sustainable UAV swarms
Kim et al. Extended OLSR and AODV based on multi-criteria decision making method
CN114980123A (zh) 基于联邦多智能体强化学习的车联网边缘资源分配方法
Liu et al. A Two-Stage Approach of Joint Route Planning and Resource Allocation for Multiple UAVs in Unmanned Logistics Distribution
Li et al. Collaborative computing in vehicular networks: A deep reinforcement learning approach
CN116980028A (zh) 一种基于星地融合网络的用户终端网络切换接入方法
CN117460034A (zh) 一种智能反射面中继辅助的车联网功率分配和用户调度方法、***、设备及介质
CN116009590B (zh) 无人机网络分布式轨迹规划方法、***、设备及介质
CN115278905B (zh) 一种用于无人机网络传输的多节点通信时机确定方法
US20080117892A1 (en) Method for Iterative Routing with the Aid of a Path-Dependent Routing Metric
CN114978295A (zh) 一种面向卫星互联网的跨层抗干扰方法和***
Tehrani et al. Distributed online learning of the shortest path under unknown random edge weights
CN117119555B (zh) 一种月面探索时变拓扑群节点自适应组网路由方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant