CN117241300B - 一种无人机辅助的通感算网络融合方法 - Google Patents
一种无人机辅助的通感算网络融合方法 Download PDFInfo
- Publication number
- CN117241300B CN117241300B CN202311526749.5A CN202311526749A CN117241300B CN 117241300 B CN117241300 B CN 117241300B CN 202311526749 A CN202311526749 A CN 202311526749A CN 117241300 B CN117241300 B CN 117241300B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- network
- user
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 238000004364 calculation method Methods 0.000 title description 20
- 238000004891 communication Methods 0.000 claims abstract description 62
- 230000008447 perception Effects 0.000 claims abstract description 54
- 238000005457 optimization Methods 0.000 claims abstract description 40
- 238000013468 resource allocation Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013439 planning Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000009471 action Effects 0.000 claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 206010042135 Stomatitis necrotising Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 229910010293 ceramic material Inorganic materials 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 201000008585 noma Diseases 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本申请涉及一种无人机辅助的通感算网络融合方法。该方法包括：无人机通过通感一体化信号对环境状态进行感知，获得当前的环境状态，在每个决策时刻t时，获取各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输入至训练好的策略优化网络模型进行分析，确定无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略，在下一时刻时，无人机根据最优的无人机的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略执行动作，从而提高了无人机的通信和感知性能。
Description
技术领域
本申请涉及通信技术领域，特别是涉及一种无人机辅助的通感算网络融合方法。
背景技术
通感算一体化即通信-感知-计算一体化，是6G的一个关键技术，旨在实现更高级别的智能化和全方位的连接。传统的通信、感知、计算分立的方案，会造成设计复杂、波段干扰、资源浪费等现象。通感算融合能够减少设备冗杂度并降低生产及使用成本，保证准确感知、灵活决策、互联互通，从而达到协同计算的目的，对发展6G技术有着重要的作用。无人机（Unmanned Aerial Vehicle，UAV）作为空中平台可以灵活部署在任何区域，以其高机动性、灵活部署和广泛覆盖受到广泛关注。无人机可以为地面用户提供通信和感知能力，并融合计算以达到最优分配，给地面用户提供有效服务。
然而，现有的研究仅对通信和感知性能边界进行了探讨，且信息理论大多从单一维度对通信、感知、计算的性能进行评价，对通感算一体化融合方法研究、指标评价以及性能优化等方面仍不足，因此，目前的无人机的通信和感知性能较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高无人机的通信和感知性能的无人机辅助的通感算网络融合方法。
一种无人机辅助的通感算网络融合方法，应用于无人机通感一体化传输与感知***的环境中，所述环境中至少包括个用户、/>个边缘基站以及飞行在用户的上空的/>架无人机，所述无人机辅助的通感算网络融合方法包括：
无人机通过周期性的发出通感一体化信号对环境状态进行感知，以获得回波信号；
根据所述回波信号中的信息进行提取，获得当前的环境状态；
所述无人机在每个决策时刻t时，获取各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输入至采用基于SAC算法训练好的策略优化网络模型，通过所述策略优化网络模型对所述无人机下一时刻的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行分析，确定无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略；
在下一时刻时，所述无人机根据所述最优的无人机的轨迹规划进行移动，所述无人机根据所述最优的无人机和用户关联决策与所述环境中的用户进行通信连接，所述无人机根据最优的目标感知选择确定感知的目标，所述无人机根据所述最优的发射波束形成策略调整发出通感一体化信号的通信功率加权系数和感知功率加权系数，所述无人机根据所述最优的资源分配策略对任务计算资源进行分配。
在其中一个实施例中，所述通感一体化信号的表达式为：
；
其中，F为无人机发出的通感一体化信号，表示感知分量，/>表示通信分量，/>为通信功率加权系数，/>为感知功率加权系数。
在其中一个实施例中，所述回波信号的表达式为：
；
其中，为回波信号，/>为雷达路径损耗，/>为自然常数，f s 为目标移动造成的频偏，/>为虚数单位，用于表示复数，/>为噪声干扰。
在其中一个实施例中，所述策略优化网络模型包括Critic网络和Actor网络，所述Critic网络对上一时刻输出最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行评价，输出评价结果至所述Actor网络，所述Actor网络根据所述Critic网络的评价结果和各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输出无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略。
在其中一个实施例中，所述采用基于SAC算法训练策略优化网络模型的步骤包括：
模拟无人机通感一体化传输与感知***的环境中进行信息传递与波束感知，获得每个时刻的各无人机的坐标样本、各用户的坐标样本、各边缘基站的坐标样本、无人机的剩余能量样本、无人机的处理速率样本、卸载速率样本和当前的环境状态样本，作为样本数据；
基于SAC算法，将样本数据作为待训练的策略优化网络模型的当前状态，输入待训练的策略优化网络模型的Critic网络，所述Critic网络根据上一时刻的状态/>、获得的回报/>和熵，对输入的当前状态的样本数据进行分析，以最大限度的提升无人机的加权频谱效率为所述待训练的策略优化网络模型的优化目标进行优化，由所述的Actor网络输出包括无人机的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略的动作/>，Critic网络从环境中获得回报/>，其中，熵根据公式/>进行自适应优化，/>表示求偏导，/>为熵参数，/>为熵函数，用于熵参数的更新；
将每个时刻的当前状态、动作/>、回报/>以及下一状态/>作为经验元组存入经验池中，随着基于SAC算法的迭代，经验池中的经验元组的数量逐渐增加，在达到预设数量时，使用当前收集的经验元组多个epoch执行小批量训练，优化Actor网络的网络参数，以及对Critic网络中的主Critic网络和目标Critic网络进行更新；
其中，通过 对Actor网络的网络参数进行优化，主Critic网络更新方法为/>，目标Critic网络更新方法为/>，其中，/>为Actor网络的网络参数，/>为Actor网络参数的更新函数，/>为软更新参数，/>为主Critic网络的网络参数，/>为目标Critic网络的网络参数，/>为主Critic网络参数的更新函数。
在其中一个实施例中，所述待训练的策略优化网络模型的优化目标的表达式为：
，
s.t. ，
，
，
；
其中，为/>时刻无人机/>的加权频谱效率，/>为无人机/>在/>时刻的水平位置，/>为无人机/>在/>时刻的水平位置，/>为无人机/>在一个时隙T内的最大行驶距离，/>为无人机集合，/>为用户集合，/>为其他无人机/>在/>时刻的水平位置，/>为在同一时刻/>无人机/>与其他无人机/>之间的最小间隔距离，/>为无人机/>在/>时刻的海拔高度，/>为用户m在/>时刻的海拔高度，/>为用户m在/>时刻的水平位置，/>为无人机/>到第m个用户的最大关联距离，/>为无人机允许飞行的最小高度， />为无人机允许飞行的最大高度。
在其中一个实施例中，所述时刻无人机/>的加权频谱效率的表达式为：
，
，
，
，
；
其中，为通信功率加权系数，/>为感知功率加权系数，/>为/>时刻无人机/>实现的通信频谱效率，/>为/>时刻无人机/>的感知频谱效率，/>为/>时刻无人机/>与用户m之间的关联情况，/>为/>时刻无人机/>与用户m之间信道功率增益，/>为/>时刻无人机/>的信号发射功率，/>为/>时刻其他无人机/>与用户m之间信道功率增益，/>为/>时刻其他无人机/>的信号发射功率，/>为接收信号处的高斯白噪声功率，/>为发射增益，/>为接收增益，/>为用户m的雷达截面平均值，/>为载波收发机的波长，/>为/>时刻无人机/>与用户m的距离，/>为/>时刻无人机/>对用户m的通道功率增益，/>为/>时刻其他无人机对用户m的通道功率增益，/>为相距距离1米时的信道功率。
上述无人机辅助的通感算网络融合方法，无人机通过周期性的发出通感一体化信号对环境状态进行感知，以获得回波信号，避免了传统通感信号存在峰均比较高，包络不恒定，旁瓣功率高等缺点，或是传输速率有限、感知性能下降的弊端，使得波既具备通信能力也具备雷达感知能力，提升了信号的利用率，节省发射端的开销，根据回波信号中的信息进行提取，获得当前的环境状态，无人机在每个决策时刻t时，获取各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输入至采用基于SAC算法训练好的策略优化网络模型，通过策略优化网络模型对无人机下一时刻的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行分析，确定无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略，在下一时刻时，无人机根据最优的无人机的轨迹规划进行移动，无人机根据最优的无人机和用户关联决策与环境中的用户进行通信连接，无人机根据最优的目标感知选择确定感知的目标，无人机根据最优的发射波束形成策略调整发出通感一体化信号的通信功率加权系数和感知功率加权系数，无人机根据最优的资源分配策略对任务计算资源进行分配，从而提高了无人机的通信和感知性能。
附图说明
图1为一个实施例中无人机辅助的通感算网络融合方法的应用场景示意图；
图2为一个实施例中无人机辅助的通感算网络融合方法的流程示意图；
图3为一个实施例中策略优化网络模型的训练框架示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种无人机辅助的通感算网络融合方法，应用于如图1所示的无人机通感一体化传输与感知***的环境中，无人机通感一体化传输与感知***的环境中至少包括个用户、/>个边缘基站以及飞行在用户的上空的/>架无人机，无人机集合表示为，用户集合表示为/>，边缘基站集合表示为/>。采用笛卡尔坐标系，无人机/>在时刻/>的水平位置记为/>，无人机/>的海拔高度为/>，其中，/>和/>分别表示/>时刻中无人机/>的x轴和y轴坐标；用户m在时刻/>中的水平位置为/>，用户m的海拔高度为/>，其中，/>和/>分别表示时刻/>中用户m的x轴和y轴坐标；边缘基站s在时刻/>中的水平位置为/>，/>，边缘基站s的海拔高度为/>，其中，/>和/>分别表示第/>个时隙基站s的x轴和y轴坐标。
其中，边缘基站和无人机均作为无人机通感一体化传输与感知***的环境中的计算平台；用户集合中的用户可以是智能手机、平板电脑、智能穿戴设备等。同一时刻，每台无人机能够为多个目标用户提供服务，每个目标用户仅由一台无人机提供服务；无人机作为空中平台，辅助目标用户进行通信。
其中，在同一时刻，无人机可以与地面上多个用户通信，每个用户最多只能与一架无人机通信，因此给出关联变量，表示/>时刻无人机/>与用户m 之间的关联。当时表示用户m 在/>时刻中由无人机/>服务；当/>时表示无人机/>在/>时刻中未给用户m 提供服务，即用户m 和无人机/>没有建立通信连接。同理，无人机和边缘基站间的关联表示为/>，其中/>表示无人机在/>时刻中与边缘基站s连接，否则为。
其中，所有无人机飞行在一定的高度范围，并且所有的无人机都在目标区域内保持悬停或水平飞行；终端用户在地面随机分布，由于每个决策时隙很短，所以假设在每一个时隙内目标用户的位置保持不变；此外，每台无人机能够为多个目标用户提供服务，每个目标用户仅由一个无人机提供服务。无人机通过周期性的发出通感一体化信号对环境状态进行感知以获得回波信号，进而对无人机自身的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行优化，采用无人机通信、边缘基站辅助计算的方法为目标用户提高通信服务。在该环境下，采用SAC算法，将性能优化问题转变为顺序决策问题，自适应调整熵值，寻找调整优化目标可行且最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略。
在一个实施例中，如图2所示，提供了一种无人机辅助的通感算网络融合方法，包括以下步骤：
步骤S220，无人机通过周期性的发出通感一体化信号对环境状态进行感知，以获得回波信号。
其中，通感一体化信号可以采用非正交多址接入（Non-Orthogonal MultipleAccess，NOMA）体制对信号进行设计，建立通信OFDM（Orthogonal Frequency DivisionMultiplexing）信号与感知LFM（Linear Frequency Modulation）信号非正交功率加权叠加的通感一体信号模型，实现无人机发出通感一体化信号，综合考虑通信性能与感知性能，保证了任务的执行效率。
在一个实施例中，通感一体化信号的表达式为：
；
其中，F为无人机发出的通感一体化信号，表示感知分量，/>表示通信分量，/>为通信功率加权系数，/>为感知功率加权系数。
其中，感知采用LFM信号，当子载波个数较大时，对于感知***而言，通信信号在这里可以视作为高斯白噪声。
应理解，通感一体化信号采用了NOMA技术对OFDM信号和LFM信号进行叠加，可以提高频谱效率和接入量，具备低延时、低信令花费、高鲁棒性的优势。
在一个实施例中，回波信号的表达式为：
；
其中，为回波信号，/>为雷达路径损耗，/>为自然常数，f s 为目标移动造成的频偏，/>为虚数单位，用于表示复数，/>为噪声干扰。
应理解，无人机发送通感一体化信号后，可以接收到回波信号，并获取感知信息，达到感知的能力。在该无人机通感一体化传输与感知***的环境下，通感一体化信号既具备高速的通信能力又具有高效的感知能力，做到了通信和感知的物理融合。采用了通信信号与感知信号非正交叠加的方法，建立了一种通信OFDM信号与感知LFM信号非正交功率加权叠加的通感一体信号模型，可以实现比传统通感一体信号更好的性能。
应理解，无人机飞行在用户的上空，周期性地进行感知活动，地面上的用户产生通信需求，也可以向无人机发出通信信号，信号通过上行链路信道请求将通信任务发送到与用户关联无人机上，或进一步卸载到边缘基站上进行处理，无人机或者边缘基站处理完通信或计算任务后，将信息通过下行链路返回给相应的用户。
其中，地面上的用户产生通信需求，向无人机发出通信信号时，无人机接收到的信号为：
；
其中，为路径损耗系数，/>为***子载波个数，/>为第/>个子载波上的调制信号，/>是虚数单位，用于表示复数，/>为自然常数，/>为干扰消除后感知信号的残留干扰，/>为高斯白噪声。
其中，用户将任务卸载到无人机的可达的通信传输速率为：
；
其中，为通信带宽，/>为信号的平均功率，/>为噪声功率，/>为干扰功率。
步骤S240，根据回波信号中的信息进行提取，获得当前的环境状态。
其中，当前的环境状态可以包括环境中的天气和突发事件等信息，还可以包括通信信道相关的信息，还可以包括环境中的用户相关信息等等。
步骤S260，无人机在每个决策时刻t时，获取各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输入至采用基于SAC算法训练好的策略优化网络模型，通过策略优化网络模型对无人机下一时刻的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行分析，确定无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略。
其中，轨迹规划在决策时刻t，无人机k将采取静止不动或者水平移动的策略，无人机的运行轨迹将会不断优化，使得无人机往更优位置移动。
其中，目标感知选择，可以是确定无人机对环境中的哪些用户或者某个区域进行感知。可以基于在不同时间或情境下，某些目标可能用于灾害救援、如天气变化、灾害等等情况，或者某些可能需要处理多个目标，而其他情境下只需处理一个目标或空闲等情况下，优化无人机的目标感知选择。
其中，发射波束形成策略可以是确定通感一体化信号的通信功率加权系数和感知功率加权系数，以优化通感一体化信号的通信能力和感知能力。
其中，无人机和用户关联决策可以包括下一时刻t时，无人机k和用户m 以及边缘基站s的关联情况。其中，决策时刻t时，无人机将对关联决策进行调整，以优化无人机、用户、边缘基站之间的关联决策。
其中，在任务卸载过程中，无人机k到基站s的可实现卸载速率表示为：
；
其中，表示地面信道，/>和/>分别表示无人机/>和/>用于传递信息承载符号的预编码，/>是边缘基站处的噪声功率。
其中，资源分配策略可以是无人机处理任务的计算资源的分配策略，确定无人机对任务进行处理还是卸载至边缘基站进行处理。可以结合无人机剩余能量、无人机的处理速率、无人机到边缘基站的可实现卸载速率和待处理任务的类型等考虑资源分配策略。
在一个实施例中，策略优化网络模型包括Critic网络和Actor网络，Critic网络对上一时刻输出最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行评价，输出评价结果至Actor网络，Actor网络根据Critic网络的评价结果和各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输出无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略。
其中，Critic网络是模拟智能体的软Q-function（也称状态动作分布）。Critic网络的输入包括所有无人机的状态向量和动作向量。同时，为了缓减对软Q-function的高估情况，在Critic网络中设计了两个主Critic网络 和两个目标Critic网络/> 。
其中，Actor网络进行策略产生。Actor网络是一个随机策略网络，可以根据输入的状态生成动作。对于输入的状态，可以通过Actor网络直接输出动作。
其中，策略优化网络模型采用基于SAC算法的最大熵深度强化学习方法来完成顺序决策、优化目标的等价变化相关问题，从而优化无人机的通信和感知性能。
如图3所示，在一个实施例中，采用基于SAC算法训练策略优化网络模型的步骤包括：
模拟无人机通感一体化传输与感知***的环境中进行信息传递与波束感知，获得每个时刻的各无人机的坐标样本、各用户的坐标样本、各边缘基站的坐标样本、无人机的剩余能量样本、无人机的处理速率样本、卸载速率样本和当前的环境状态样本，作为样本数据；
基于SAC算法，将样本数据作为待训练的策略优化网络模型的当前状态，输入待训练的策略优化网络模型的Critic网络，所述Critic网络根据上一时刻的状态/>、获得的回报/>和熵，对输入的当前状态的样本数据进行分析，以最大限度的提升无人机的加权频谱效率为待训练的策略优化网络模型的优化目标进行优化，由所述的Actor网络输出包括无人机的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略的动作/>，Critic网络从环境中获得回报/>，其中，熵根据公式/>进行自适应优化，/>表示求偏导，/>为熵参数，/>为熵函数，用于熵参数的更新；
将每个时刻的当前状态、动作/>、回报/>以及下一状态/>作为经验元组存入经验池中，随着基于SAC算法的迭代，经验池中的经验元组的数量逐渐增加，在达到预设数量时，使用当前收集的经验元组多个epoch执行小批量训练，优化Actor网络的网络参数，以及对Critic网络中的主Critic网络和目标Critic网络进行更新；
其中，通过 对Actor网络的网络参数进行优化，主Critic网络更新方法为/>，目标Critic网络更新方法为/>，其中，/>为Actor网络的网络参数，/>为Actor网络参数的更新函数，/>为软更新参数，/>为主Critic网络的网络参数，/>为目标Critic网络的网络参数，/>为主Critic网络参数的更新函数。
其中，采用了SAC算法，使用了离线的更新方式，采用经验池储存历史样本来多次学习，大大提高了样本利用率，同时采取了随机策略，相比确定性策略具有一定的优势，能够有效做到避免过高估计，同时能够加快学习和收敛速度，面对干扰的时候也能更容易做出调整。
应理解，为了优化无人机发射的信号感知和通信能力，采用一种SAC算法来最大限度地提高无人机的加权频谱效率，从而使策略优化网络模型分析出最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略，进而无人机根据最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略为用户提高通行服务，从而优化了无人机通感一体化传输与感知***的性能。
在一个实施例中，待训练的策略优化网络模型的优化目标的表达式为：
，
s.t. ，
，
，
；
其中，为/>时刻无人机/>的加权频谱效率，/>为无人机/>在/>时刻的水平位置，/>为无人机/>在/>时刻的水平位置，/>为无人机/>在一个时隙T内的最大行驶距离，/>为无人机集合，/>为用户集合，/>为其他无人机/>在/>时刻的水平位置，/>为在同一时刻/>无人机/>与其他无人机/>之间的最小间隔距离，/>为无人机/>在/>时刻的海拔高度，/>为用户m在/>时刻的海拔高度，/>为用户m在/>时刻的水平位置，/>为无人机/>到第m个用户的最大关联距离，/>为无人机允许飞行的最小高度， />为无人机允许飞行的最大高度。
其中，考虑到无人机的水平运行速度以及无人机之间的碰撞风险，给出无人机的约束条件。假设表示无人机/>在一个时隙T内的最大行驶距离，/>为在同一时刻/>无人机与其他无人机/>之间的最小间隔距离，即避碰距离，给出如下约束以及/>。假设/>表示无人机/>到第m个用户的最大关联距离，有如下约束/>。对于无人机飞行高度给出如下约束/>。/>和/>分别是无人机允许飞行的最小和最大高度。
在一个实施例中，时刻无人机/>的加权频谱效率的表达式为：
，
，
，
，
；
其中，为通信功率加权系数，/>为感知功率加权系数，/>为/>时刻无人机/>实现的通信频谱效率，/>为/>时刻无人机/>的感知频谱效率，/>为/>时刻无人机/>与用户m之间的关联情况，/>为/>时刻无人机/>与用户m之间信道功率增益，/>为/>时刻无人机/>的信号发射功率，/>为/>时刻其他无人机/>与用户m之间信道功率增益，/>为/>时刻其他无人机/>的信号发射功率，/>为接收信号处的高斯白噪声功率，/>为发射增益，/>为接收增益，/>为用户m的雷达截面平均值，/>为载波收发机的波长，/>为/>时刻无人机/>与用户m的距离，/>为/>时刻无人机/>对用户m的通道功率增益，/>为/>时刻其他无人机对用户m的通道功率增益，/>为相距距离1米时的信道功率。
步骤S280，在下一时刻时，无人机根据最优的无人机的轨迹规划进行移动，无人机根据最优的无人机和用户关联决策与环境中的用户进行通信连接，无人机根据最优的目标感知选择确定感知的目标，无人机根据最优的发射波束形成策略调整发出通感一体化信号的通信功率加权系数和感知功率加权系数，无人机根据最优的资源分配策略对任务计算资源进行分配。
其中，在决策时隙处理回波信号，获得环境状态，在下一时刻，使得无人机获得更合适的移动轨迹，取得更高效的用户关联，根据最优的发射波束形成策略使用更佳的信号频谱，从而能够平衡通信和感知性能与功率；通过无人机的智能化管理与网络化感知，实现辅助***自主决策。
应理解，在每个决策时刻t通过对回波信号的处理，结合各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态进行分析，确定最优策略，即：最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略，无人机根据确定的策略进行动作的开展。从而提高了无人机通感一体化传输与感知***的性能提升。
上述无人机辅助的通感算网络融合方法，无人机通过周期性的发出通感一体化信号对环境状态进行感知，以获得回波信号，避免了传统通感信号存在峰均比较高，包络不恒定，旁瓣功率高等缺点，或是传输速率有限、感知性能下降的弊端，使得波既具备通信能力也具备雷达感知能力，提升了信号的利用率，节省发射端的开销，根据回波信号中的信息进行提取，获得当前的环境状态，无人机在每个决策时刻t时，获取各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输入至采用基于SAC算法训练好的策略优化网络模型，通过策略优化网络模型对无人机下一时刻的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行分析，确定无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略，在下一时刻，无人机根据最优的无人机的轨迹规划进行移动，无人机根据最优的无人机和用户关联决策与环境中的用户进行通信连接，无人机根据最优的目标感知选择确定感知的目标，无人机根据最优的发射波束形成策略调整发出通感一体化信号的通信功率加权系数和感知功率加权系数，无人机根据最优的资源分配策略对任务计算资源进行分配，从而提高了无人机的通信和感知性能。
进一步的，通过飞行在用户上空的架无人机提供的高性能的空中通信服务平台，实现精准感知和灵活的决策分析，并联合边缘基站来减缓无人机平台的计算压力，从而达到准确、快速的互联互通，达到分布式协同计算的目的；此外，通感资源的智能调配以及无人机轨迹的智能规划，使得研究场景更符合现实情况。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种无人机辅助的通感算网络融合方法，应用于无人机通感一体化传输与感知***的环境中，其特征在于，所述环境中至少包括M个用户、W个边缘基站以及飞行在用户的上空的K架无人机，所述无人机辅助的通感算网络融合方法包括：
无人机通过周期性的发出通感一体化信号对环境状态进行感知，以获得回波信号；
根据所述回波信号中的信息进行提取，获得当前的环境状态；
所述无人机在每个决策时刻t时，获取各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输入至采用基于SAC算法训练好的策略优化网络模型，通过所述策略优化网络模型对所述无人机下一时刻的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行分析，确定无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略；
在下一时刻时，所述无人机根据所述最优的无人机的轨迹规划进行移动，所述无人机根据所述最优的无人机和用户关联决策与所述环境中的用户进行通信连接，所述无人机根据最优的目标感知选择确定感知的目标，所述无人机根据所述最优的发射波束形成策略调整发出通感一体化信号的通信功率加权系数和感知功率加权系数，所述无人机根据所述最优的资源分配策略对任务计算资源进行分配；
所述通感一体化信号的表达式为：
F＝ωs·sk+ωc·ck；
其中，F为无人机发出的通感一体化信号，sk表示感知分量，ck表示通信分量，ωc为通信功率加权系数，ωs为感知功率加权系数；
所述回波信号的表达式为：
其中，rsen为回波信号，ρsen为雷达路径损耗，e为自然常数，fs为目标移动造成的频偏，为虚数单位，用于表示复数，nk为噪声干扰。
2.根据权利要求1所述的无人机辅助的通感算网络融合方法，其特征在于，所述策略优化网络模型包括Critic网络和Actor网络，所述Critic网络对上一时刻输出最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略进行评价，输出评价结果至所述Actor网络，所述Actor网络根据所述Critic网络的评价结果和各无人机当前的坐标、各用户当前的坐标、各边缘基站当前的坐标、无人机当前的剩余能量、无人机的处理速率、卸载速率和当前的环境状态，输出无人机下一时刻最优的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略。
3.根据权利要求2所述的无人机辅助的通感算网络融合方法，其特征在于，所述采用基于SAC算法训练策略优化网络模型的步骤包括：
模拟无人机通感一体化传输与感知***的环境中进行信息传递与波束感知，获得每个时刻的各无人机的坐标样本、各用户的坐标样本、各边缘基站的坐标样本、无人机的剩余能量样本、无人机的处理速率样本、卸载速率样本和当前的环境状态样本，作为样本数据；
基于SAC算法，将样本数据作为待训练的策略优化网络模型的当前状态st，输入待训练的策略优化网络模型的Critic网络，所述Critic网络根据上一时刻的状态st-1、获得的回报rt-1和熵，对输入的当前状态的样本数据进行分析，以最大限度的提升无人机的加权频谱效率为所述待训练的策略优化网络模型的优化目标进行优化，由所述Actor网络输出包括无人机的轨迹规划、无人机和用户关联决策、目标感知选择、发射波束形成策略和资源分配策略的动作at，Critic网络从环境中获得回报rt，其中，熵根据公式进行自适应优化，/>表示求偏导，σ为熵参数，J(σ)为熵函数，用于熵参数的更新；
将每个时刻的当前状态st、动作at、回报rt以及下一状态st+1作为经验元组存入经验池中，随着基于SAC算法的迭代，经验池中的经验元组的数量逐渐增加，在达到预设数量时，使用当前收集的经验元组多个epoch执行小批量训练，优化Actor网络的网络参数，以及对Critic网络中的主Critic网络和目标Critic网络进行更新；
其中，通过对Actor网络的网络参数进行优化，主Critic网络更新方法为目标Critic网络更新方法为/>其中，φ为Actor网络的网络参数，J(φ)为Actor网络参数的更新函数，∈为软更新参数，/>为主Critic网络的网络参数，/>为目标Critic网络的网络参数，/>为主Critic网络参数的更新函数。
4.根据权利要求3所述的无人机辅助的通感算网络融合方法，其特征在于，所述待训练的策略优化网络模型的优化目标的表达式为：
其中，为t时刻无人机k的加权频谱效率，Θk,t为无人机k在t时刻的水平位置，Θk,t-1为无人机k在t-1时刻的水平位置，/>为无人机k在一个时隙T内的最大行驶距离，/>为无人机集合，/>为用户集合，Θj,t为其他无人机j在t时刻的水平位置，/>为在同一时刻t无人机k与其他无人机j之间的最小间隔距离，Hk为无人机k在t时刻的海拔高度，Hm为用户m在t时刻的海拔高度，um,t为用户m在t时刻的水平位置，L为无人机k到第m个用户的最大关联距离，Hmin为无人机允许飞行的最小高度，Hmax为无人机允许飞行的最大高度。
5.根据权利要求4所述的无人机辅助的通感算网络融合方法，其特征在于，所述t时刻无人机k的加权频谱效率的表达式为：
其中，ωc为通信功率加权系数，ωs为感知功率加权系数，为t时刻无人机k实现的通信频谱效率，/>为t时刻无人机k的感知频谱效率，αk,m,t为t时刻无人机k与用户m之间的关联情况，hk,m,t为t时刻无人机k与用户m之间信道功率增益，pk,t为t时刻无人机k的信号发射功率，hj,m,t为t时刻其他无人机j与用户m之间信道功率增益，pj,t为t时刻其他无人机j的信号发射功率，pg为接收信号处的高斯白噪声功率，/>为发射增益，/>为接收增益，θ为用户m的雷达截面平均值，l为载波收发机的波长，d为t时刻无人机k与用户m的距离，gk,m,t为t时刻无人机k对用户m的通道功率增益，gj,m,t为t时刻其他无人机j对用户m的通道功率增益，g0为相距距离1米时的信道功率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311526749.5A CN117241300B (zh) | 2023-11-16 | 2023-11-16 | 一种无人机辅助的通感算网络融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311526749.5A CN117241300B (zh) | 2023-11-16 | 2023-11-16 | 一种无人机辅助的通感算网络融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117241300A CN117241300A (zh) | 2023-12-15 |
| CN117241300B true CN117241300B (zh) | 2024-03-08 |
Family
ID=89086643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311526749.5A Active CN117241300B (zh) | 2023-11-16 | 2023-11-16 | 一种无人机辅助的通感算网络融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117241300B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110596698A (zh) * | 2019-07-25 | 2019-12-20 | 姚碧琛 | 主被动一体化无人机探测及识别技术 |
| CN111132009A (zh) * | 2019-12-23 | 2020-05-08 | 北京邮电大学 | 物联网的移动边缘计算方法、装置及*** |
| CN111263332A (zh) * | 2020-03-02 | 2020-06-09 | 湖北工业大学 | 基于深度强化学习的无人机轨迹及功率联合优化方法 |
| CN112367109A (zh) * | 2020-09-28 | 2021-02-12 | 西北工业大学 | 空地网络中由数字孪生驱动的联邦学习的激励方法 |
| CN113194488A (zh) * | 2021-03-31 | 2021-07-30 | 西安交通大学 | 一种无人机轨迹和智能反射面相移联合优化方法及*** |
| CN113296963A (zh) * | 2021-07-27 | 2021-08-24 | 南京信息工程大学 | 一种考虑用户移动性的无人机辅助的边缘计算方法 |
| CN114048689A (zh) * | 2022-01-13 | 2022-02-15 | 南京信息工程大学 | 基于深度强化学习的多无人机空中充电和任务调度方法 |
| WO2022134854A1 (zh) * | 2020-12-24 | 2022-06-30 | 华为技术有限公司 | 信息共享方法及通信装置 |
| CN115031981A (zh) * | 2021-03-04 | 2022-09-09 | 华为技术有限公司 | 一种车辆、传感器的仿真方法及装置 |
| CN115913302A (zh) * | 2022-09-26 | 2023-04-04 | 西安电子科技大学 | 通感一体化无人机网络中联合轨迹与波束形成的设计方法 |
| CN116318573A (zh) * | 2021-12-20 | 2023-06-23 | ***通信有限公司研究院 | 信号处理方法及设备 |
| CN116704823A (zh) * | 2023-06-12 | 2023-09-05 | 大连理工大学 | 基于强化学习的无人机智能轨迹规划和通感资源分配方法 |
| CN116699593A (zh) * | 2022-11-10 | 2023-09-05 | 中国人民解放军陆军炮兵防空兵学院 | 一种无人机通信与定位方法及*** |
| CN116847460A (zh) * | 2023-07-27 | 2023-10-03 | 重庆邮电大学 | 一种无人机辅助的通感一体化***资源调度方法 |
| CN116896777A (zh) * | 2023-07-11 | 2023-10-17 | 北京航空航天大学 | 基于强化学习的无人机群通感一体能耗优化方法 |
| CN116961862A (zh) * | 2023-07-26 | 2023-10-27 | 中国联合网络通信集团有限公司 | 感知方法、装置及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11104438B2 (en) * | 2016-09-09 | 2021-08-31 | Wing Aviation Llc | Payload coupling apparatus for UAV and method of delivering a payload |
| US20210356279A1 (en) * | 2018-07-08 | 2021-11-18 | Nng Software Developing And Commercial Llc. | A Method and Apparatus for Optimal Navigation to Multiple Locations |
-
2023
- 2023-11-16 CN CN202311526749.5A patent/CN117241300B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110596698A (zh) * | 2019-07-25 | 2019-12-20 | 姚碧琛 | 主被动一体化无人机探测及识别技术 |
| CN111132009A (zh) * | 2019-12-23 | 2020-05-08 | 北京邮电大学 | 物联网的移动边缘计算方法、装置及*** |
| CN111263332A (zh) * | 2020-03-02 | 2020-06-09 | 湖北工业大学 | 基于深度强化学习的无人机轨迹及功率联合优化方法 |
| CN112367109A (zh) * | 2020-09-28 | 2021-02-12 | 西北工业大学 | 空地网络中由数字孪生驱动的联邦学习的激励方法 |
| WO2022134854A1 (zh) * | 2020-12-24 | 2022-06-30 | 华为技术有限公司 | 信息共享方法及通信装置 |
| CN115031981A (zh) * | 2021-03-04 | 2022-09-09 | 华为技术有限公司 | 一种车辆、传感器的仿真方法及装置 |
| CN113194488A (zh) * | 2021-03-31 | 2021-07-30 | 西安交通大学 | 一种无人机轨迹和智能反射面相移联合优化方法及*** |
| CN113296963A (zh) * | 2021-07-27 | 2021-08-24 | 南京信息工程大学 | 一种考虑用户移动性的无人机辅助的边缘计算方法 |
| CN116318573A (zh) * | 2021-12-20 | 2023-06-23 | ***通信有限公司研究院 | 信号处理方法及设备 |
| CN114048689A (zh) * | 2022-01-13 | 2022-02-15 | 南京信息工程大学 | 基于深度强化学习的多无人机空中充电和任务调度方法 |
| CN115913302A (zh) * | 2022-09-26 | 2023-04-04 | 西安电子科技大学 | 通感一体化无人机网络中联合轨迹与波束形成的设计方法 |
| CN116699593A (zh) * | 2022-11-10 | 2023-09-05 | 中国人民解放军陆军炮兵防空兵学院 | 一种无人机通信与定位方法及*** |
| CN116704823A (zh) * | 2023-06-12 | 2023-09-05 | 大连理工大学 | 基于强化学习的无人机智能轨迹规划和通感资源分配方法 |
| CN116896777A (zh) * | 2023-07-11 | 2023-10-17 | 北京航空航天大学 | 基于强化学习的无人机群通感一体能耗优化方法 |
| CN116961862A (zh) * | 2023-07-26 | 2023-10-27 | 中国联合网络通信集团有限公司 | 感知方法、装置及存储介质 |
| CN116847460A (zh) * | 2023-07-27 | 2023-10-03 | 重庆邮电大学 | 一种无人机辅助的通感一体化***资源调度方法 |
Non-Patent Citations (10)
Also Published As
| Publication number | Publication date |
|---|---|
| CN117241300A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110730031B (zh) | 一种用于多载波通信的无人机轨迹与资源分配联合优化方法 | |
| Zhang et al. | Energy-efficient trajectory optimization for UAV-assisted IoT networks | |
| CN113645635A (zh) | 智能反射面辅助的高能效无人机通信***的设计方法 | |
| CN114025330B (zh) | 一种空地协同的自组织网络数据传输方法 | |
| CN111970709B (zh) | 一种基于粒子群优化算法的无人机中继部署方法及*** | |
| CN115441939B (zh) | 基于maddpg算法的多波束卫星通信***资源分配方法 | |
| CN110290542B (zh) | 海上无人机通信覆盖优化方法及*** | |
| CN112929849B (zh) | 一种基于强化学习的可靠车载边缘计算卸载方法 | |
| CN109890035B (zh) | 一种中继无人机航迹规划和用户接入联合优化方法 | |
| CN111711960A (zh) | 一种能量效率知觉的无人机群三维部署方法 | |
| CN114980169A (zh) | 一种基于轨迹与相位联合优化的无人机辅助地面通信方法 | |
| CN115499921A (zh) | 面向复杂无人机网络的三维轨迹设计及资源调度优化方法 | |
| CN113406965A (zh) | 一种基于强化学习的无人机能耗优化方法 | |
| CN112702097A (zh) | 一种用于uav辅助蜂窝网络的联合波束成形和功率控制方法 | |
| CN115002800A (zh) | 一种无人机辅助的noma反向散射通信***和速率最大化方法 | |
| Budhiraja et al. | Energy-efficient optimization scheme for RIS-assisted communication underlaying UAV with NOMA | |
| CN114615759A (zh) | 一种非正交多址接入网络中无人机辅助通信的方法 | |
| CN117241300B (zh) | 一种无人机辅助的通感算网络融合方法 | |
| CN117375695A (zh) | 智能反射面辅助的无人机安全通信感知一体化设计方法 | |
| CN117240343A (zh) | 一种感知通信一体化无人机辅助移动车辆的方法 | |
| Wang et al. | Trajectory design and bandwidth assignment for UAVs-enabled communication network with multi-agent deep reinforcement learning | |
| Wu et al. | Resource allocation optimization of UAVs-enabled air-ground collaborative emergency network in disaster area | |
| CN116546435A (zh) | 一种启用无人机的上行非正交多址网络多用户接入方法 | |
| CN114339667B (zh) | 基于混合无人机空中移动基站的中继方法和装置 | |
| CN115665798A (zh) | 一种面向空地6g网络长期任务卸载优化的问题解耦方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |