CN113708886A - 无人机抗干扰通信***及联合轨迹与波束成形优化方法 - Google Patents

Abstract

无人机抗干扰通信***及联合轨迹与波束成形优化方法，属于无线通信抗干扰技术领域，考虑一个抗全频段强功率干扰的通信网络，该网络内基站为移动用户提供通信服务，同时一个全频段的全向干扰机以功率压制的方式对于合法通信链路进行干扰。该干扰机具备一定的隐蔽性，其信息对于合法通信双方无法准确获取。利用无人机感知环境获取状态信息。通过ε‑greedy探索利用策略，依概率选择由神经网络估计的最佳回报值动作。智能反射无人机通过执行方案得到该动作的真实回报值，并将经验信息存储于滑动存储窗中。在多步经验池中的经验信息达到一定数量之后，神经网络进行更新，通过神经网络拟合环境后进行最优决策。能够很好地应用于实时抗干扰通信场景。

Description

无人机抗干扰通信***及联合轨迹与波束成形优化方法

技术领域

本发明涉及无线通信抗干扰技术领域，具体涉及一种无人机抗干扰通信***及联合轨迹与波束成形优化方法。

背景技术

当场景中存在强功率的全频段干扰时，实现可靠、稳健的信息传输是一个重要研究方向。由于干扰在频域与功率域的双重压制，常用的抗干扰手段难以解决。智能反射表面作为新技术具有无源反射，相位灵活调整，部署方便等优点，在解决这一场景下的抗干扰通信具有广阔前景。通过结合无人机技术，将智能反射表面部署在无人机上，通过实时调整无人机位置，在动态环境中，***的抗干扰性可以得到进一步提升。

发明内容

本发明提出一种无人机抗干扰通信***及联合轨迹与波束成形优化方法，很好地应用于实时抗干扰通信网络场景，以实现全频段强功率干扰条件下的高效抗干扰通信。在深度强化学习算法的基础之上，通过利用智能反射表面相位变化与波束成形高度耦合对于被动波束成形动作决策空间进行了大幅度降低，同时在轨迹规划中引入了多步经验引用，通过多步路径的分析进一步提高路径决策的准确性。

实现本发明目的的技术解决方案为：一种动态未知环境下抗干扰通信模型，对该模型作如下刻画：考虑一个抗全频段强功率干扰的通信网络，该网络内存在一个基站对于移动用户进行通信覆盖服务，但一个全频段的全向干扰机以功率压制的方式对于合法通信进行干扰。该干扰机具备一定的隐蔽性，其信息对于合法通信双方无法准确获取。

在某一拓扑状态内，移动用户D接收到的信号定义为：

其中，P_S为基站发射功率，P_J是干扰机干扰功率，H_S、H_J、h_SD和h_JD是基站S与移动用户D直射链路信道增益、干扰机J与移动用户D直射链路信道增益、基站S信号经智能反射表面U反射后到达移动用户D的联合信道增益和干扰机J信号经智能反射表面U反射后到达移动用户D的联合信道增益。x_S为基站发射信号，x_J为干扰机发射信号，z为移动用户D接收到的高斯白噪声，其服从均值为0，方差为δ²的高斯分布。因此，移动用户D在某一拓扑状态下的信干噪比具体表示为：

因此，移动用户D接收的可达通信速率表示为：

考虑通过联合优化无人机运动轨迹与智能反射表面被动波束成形，其中智能反射表面信道与波束成形方向存在强烈耦合关系，因此经智能反射表面反射后用户接受信道具体表示为：

其中，G_t,G_r和G是发射端，接收端和智能反射表面反射单元的天线增益，M和K是智能反射表面包含反射单元的行数和列数，d_x和d_y是反射单元的行宽和列宽，d₁和d₂是智能反射表面与发送端和接收端之间的距离，θ_t和θ_r是发射端信号和接收端信号与x轴的夹角，

和

为发射端信号和接收端信号与z轴的夹角，A是智能反射表面对于信号幅度的调整值，λ是信号的波长，

是反射单元的归一化功率辐射函数，

是波束成形方向偏移函数，其反映了波束成形方向偏移造成的信号幅度衰减，具体表示为：

其中，

φ_k,m是第行列反射单元所对应的相位变化值，当波束成形方向与接收端完全对齐，则反射单元的相位变化值可以表示为

根据智能反射表面相位与波束成形方向的耦合关系可以通过波束成形方向降低相位设计的算法复杂度。

发送方与智能反射表面在通信过程中，首先进行状态感知，然后执行基于深度强化学习的优化算法，依概率进行位置部署与波束成形的优化，通信后根据反馈值调整概率。其中，优化算法包括以下步骤：

步骤1，通过设计状态、动作、回报值以及转移概率函数将该抗干扰通信问题建模为马尔科夫决策过程

步骤2，初始化***场景及神经网络，根据状态收集、动作决策及反馈对神经网络参数进行更新。

步骤3，将执行算法后的路径与波束成形方案进行记录。

本发明通过被动波束成形模型设计，大尺度智能反射表面的相位变化优化算法动作状态空间得到降低，利于路径规划过程中强化学习收敛速度的提升，进一步提高算法的反应速度与抗干扰场景下的适配性。

本发明的发送端通过信道感知以及无人机的状态信息通信链路获取移动用户的位置和信道状态信息，在既定波束成形方向的情况下，可以直接对于发送端到智能反射表面端的波束成形方向进行校正。另一方面，由于干扰机的信息未知，通过深度强化学习交互的方式对于干扰机的信息进行探索，利用波束成形方向的实时控制寻找最佳智能反射面被动波束成形方案与无人机飞行轨迹。

本发明的感知信道状态后智能反射表面可以执行的被动波束成形设计可以分两种情况：①增强有用信号②降低干扰信号。

增强有用信号，即发送端经智能反射表面反射后到达用户接收端的信号与发送端和接收端直达信号之间的相位相同，接收端将信号进行叠加后有用信号强度远大于干扰信号强度，从而达到抗干扰的目的。

降低干扰信号，不管干扰信号以多大的功率进行干扰，智能反射表面将干扰发出的信号进行反射后在接收端进行重新聚焦，但信号经过反相处理，因此在接收端直射的干扰信号与反射的干扰信号会进行抵消，相对于有用信号，干扰信号得到降低，抗干扰通信效果得到提升。

本发明提出的智能反射表面无人机抗干扰通信***和基于深度强化学习的联合轨迹与波束成形优化方法，旨在提供方案以实现全频段强功率干扰条件下的高效抗干扰通信。本发明在深度强化学习算法的基础之上，通过利用智能反射表面相位变化与波束成形高度耦合对于被动波束成形动作决策空间进行了大幅度降低，同时在轨迹规划中引入了多步经验引用，通过多步路径的分析进一步提高路径决策的准确性。

附图说明

图1是无人机抗干扰通信***的网络示意图。

图2是基于深度强化学习的轨迹与波束成形联合优化方法示意图。

图3是本发明实施例1中的拓扑示意图。

图4是本专利算法与其他算法性能对比图

图5是不同干扰机位置情况下本专利算法性能对比图。

具体实施方式

下面结合附图对本发明的技术方案进行详细描述：

如图1所示，一种无人机抗干扰通信***，考虑一个抗全频段强功率干扰的通信网络，该网络内存在一个基站对于移动用户进行通信覆盖服务，但一个全频段的全向干扰机以功率压制的方式对于合法通信进行干扰。该干扰机具备一定的隐蔽性，其信息对于合法通信双方无法准确获取，为了达到最大吞吐量，通过联合调整智能反射表面无人机的位置与智能反射表面被动波束成形，充分探索该***的抗干扰效能。

进一步地说，在某一拓扑状态内，移动用户D接收到的信号定义为：

其中，P_S为基站发射功率，P_J是干扰机干扰功率，H_S、H_J、h_SD和h_JD是基站S与移动用户D直射链路信道增益、干扰机J与移动用户D直射链路信道增益、基站S信号经智能反射表面U反射后到达移动用户D的联合信道增益和干扰机J信号经智能反射表面U反射后到达移动用户D的联合信道增益。x_S为基站发射信号，x_J为干扰机发射信号，z为移动用户D接收到的高斯白噪声，其服从均值为0，方差为δ²的高斯分布。因此，移动用户D在某一拓扑状态下的信干噪比具体表示为：

因此，移动用户D接收的可达通信速率表示为：

考虑通过联合优化无人机运动轨迹与智能反射表面被动波束成形，其中智能反射表面信道与波束成形方向存在强烈耦合关系，因此经智能反射表面反射后用户接受信道具体表示为：

其中，G_t,G_r和G是发射端，接收端和智能反射表面反射单元的天线增益，M和K是智能反射表面包含反射单元的行数和列数，d_x和d_y是反射单元的行宽和列宽，d₁和d₂是智能反射表面与发送端和接收端之间的距离，θ_t和θ_r是发射端信号和接收端信号与x轴的夹角，

和

为发射端信号和接收端信号与z轴的夹角，A是智能反射表面对于信号幅度的调整值，λ是信号的波长，

是反射单元的归一化功率辐射函数，

是波束成形方向偏移函数，其反映了波束成形方向偏移造成的信号幅度衰减，具体表示为：

其中，

φ_k,m是第行列反射单元所对应的相位变化值，当波束成形方向与接收端完全对齐，则反射单元的相位变化值可以表示为

根据智能反射表面相位与波束成形方向的耦合关系可以通过波束成形方向降低相位设计的算法复杂度。

如图2所示，本发明的基于深度强化学习的联合轨迹与波束成形优化方法的具体过程为：发送方与智能反射表面在通信过程中，首先进行状态感知，然后执行基于深度强化学习的优化算法，依概率进行位置部署与波束成形的优化，通信后根据反馈值调整概率。其中，优化算法包括以下步骤：

步骤1，通过设计状态、动作、回报值以及转移概率函数将该抗干扰通信问题建模为马尔科夫决策过程

步骤2，初始化***场景及神经网络，根据状态收集、动作决策及反馈对神经网络参数进行更新。

步骤3，将执行算法后的路径与波束成形方案进行记录。

其中，步骤1中，通过被动波束成形模型设计，大尺度智能反射表面的相位变化优化算法动作状态空间得到降低，利于路径规划过程中强化学习收敛速度的提升，进一步提高算法的反应速度与抗干扰场景下的适配性。步骤2中，发送端通过信道感知以及无人机的状态信息通信链路获取移动用户的位置和信道状态信息，在既定波束成形方向的情况下，可以直接对于发送端到智能反射表面端的波束成形方向进行校正。另一方面，由于干扰机的信息未知，通过深度强化学习交互的方式对于干扰机的信息进行探索，利用波束成形方向的实时控制寻找最佳智能反射面被动波束成形方案与无人机飞行轨迹。

在深度强化学习算法中，包括以下步骤：

初始化，迭代次数设为i＝1，设置状态-动作-汇报存储空间，神经网络初始化参数，以及探索-利用概率ε。

步骤11，智能反射表面-无人机与环境进行交互，获取i时刻的状态s_i。

步骤12，智能反射表面-无人机依概率进行运动轨迹和被动波束成形相位设计的动作选择。通过ε-greeedy探索-利用策略，具体表示为：

其中，a_i为智能反射表面-无人机在i时刻的动作选择，s_i为智能反射表面-无人机在i时刻的状态，Q(s_i,a_i)为智能反射表面-无人机在s_i的状态下做出a_i动作后的回报值，根据公式(7)，在s_i的状态下，智能反射表面有ε的概率选择使得其回报值最大的动作，有1-ε的概率随机选择动作。通过在迭代过程中逐渐增加ε的值智能反射表面-无人机可以在探索与利用之间寻求平衡，在尽可能的探索所有动作的情况下，较快地获得最优方案。

步骤13，执行动作a_i后达到的下一时刻状态s_i+1，并获取回报值，将状态-动作-回报值-下一时刻状态[s_i,a_i,r_i,s_i+1]储存在滑动存储窗口中。

步骤14，令i＝i+1以及s_i＝s_i+1，重复步骤11-14，直至滑动存储窗被历史经验数据填满。

步骤15，当滑动存储窗被历史经验数据填满后，计算多步的经验数据，其中多步回报值的具体表示为：

其中，N是滑动储存窗的长度，γ是回报值的折扣率，反应了今后回报值对于现在动作的影响程度，当γ＝1时，则充分考虑未来回报值的影响，但会造成回报值的过度震荡，影响收敛效果。当γ＝0时，则仅仅考虑下一时刻回报值的影响，算法决策速度快，但会丢失对于未来趋势的把握。

在获得多步回报值后，将多步经验信息[s_i,a_i:i+N,s_i+N,r_i:i+N]存储在经验池中，用于神经网络的进一步更新。同时，不断获取的新的[s_i,a_i,r_i,s_i+1]在储存入滑动存储窗时，旧的信息会被抛弃，通过滑动存储窗不断得到新的多步经验信息[s_i,a_i:i+N,s_i+N,r_i:i+N]不断存入经验池中。

步骤16，当经验池中的多步经验信息达到一定数量时，开始对于神经网络进行更新，否则重复步骤11-15。

步骤17，更新神经网络参数。并在迭代过程中不断增加ε的值。使得智能反射表面-无人机有趋向性地做出使得回报值大的动作选择。

本发明利用感知信道状态后智能反射表面可以执行的被动波束成形设计可以分两种情况：①增强有用信号②降低干扰信号。

增强有用信号，即发送端经智能反射表面反射后到达用户接收端的信号与发送端和接收端直达信号之间的相位相同，接收端将信号进行叠加后有用信号强度远大于干扰信号强度，从而达到抗干扰的目的。

降低干扰信号，不管干扰信号以多大的功率进行干扰，智能反射表面将干扰发出的信号进行反射后在接收端进行重新聚焦，但信号经过反相处理，因此在接收端直射的干扰信号与反射的干扰信号会进行抵消，相对于有用信号，干扰信号得到降低，抗干扰通信效果得到提升。

实施例1

本发明的第一个实施例具体描述如下，***仿真采用python语言，参数设定不影响一般性。假设各节点相对位置如图3所示。基站位置W_S＝[10,10]，移动用户初始W_D[0]＝[1000,1000]，仿真结果如图4所示。

图4给出了不同干扰功率下，各优化方案的抗干扰通信效能示意图，可以看出通过所提出的联合轨迹与波束成形优化，***的抗干扰效能相对于单一优化方法在动态环境中可以得到显著提高。并且在干扰功率较高时也可以保持明显的抗干扰通信效果，实现了在强功率全频段干扰条件下的稳健抗干扰通信。

实施例2

本发明的第二个具体实施例如下描述，***仿真采用python软件，参数设定不影响一般性。针对不同干扰位置，所提联合优化方法可以在未知干扰机位置的情况下保持较高的抗干扰通信速率，同样对比单一的优化方法抗干扰效能得到显著提高。证明了该算法在未知环境中的适配性。

此外，对算法的性能进行仿真分析，将本算法与不同算法进行比较，可达通信速率对比图如图5所示。对于不同干扰位置，本文提出的联合优化算法明显优于一般的随机算法。

综上所述，本专利给出了联合路径与波束成形优化方案，能使得在全频段高功率干扰机条件下的抗干扰通信性能达到最优。

Claims (9)

1.一种无人机抗干扰通信***，其特征在于，包括一个全频段强功率干扰条件下的抗干扰通信网络，该网络内存在一个用于对移动用户进行通信覆盖服务的基站，一个全频段的全向干扰机以功率压制的方式对于合法通信进行干扰，全向干扰机具备一定的隐蔽性，全向干扰机的信息对于合法通信双方无法准确获取；全向干扰机的功率与频段的双重压制特性，通过部署无人机搭载智能反射表面增强有用信号/抵消干扰信号来提高***的抗干扰通信性能，通过无人机运动轨迹与智能反射表面被动波束成形的联合优化，提升动态未知环境的抗干扰通信能力。

2.根据权利要求1中的无人机抗干扰通信***，其特征在于，在一拓扑状态内，移动用户D接收到的信号定义为：

其中，P_S为基站发射功率，P_J是干扰机干扰功率，H_S、H_J、h_SD和h_JD是基站S与移动用户D直射链路信道增益、干扰机J与移动用户D直射链路信道增益、基站S信号经智能反射表面U反射后到达移动用户D的联合信道增益和干扰机J信号经智能反射表面U反射后到达移动用户D的联合信道增益，x_S为基站发射信号，x_J为干扰机发射信号，z为移动用户D接收到的高斯白噪声，高斯白噪声的服从均值为0，方差为δ²的高斯分布；

移动用户D在拓扑状态下的信干噪比具体表示为：

移动用户D接收的可达通信速率表示为：

移动用户端的可达通信速率受到智能反射表面位置与被动波束成形的联合影响。

3.根据权利要求1中的无人机抗干扰通信***，其特征在于，智能反射表面信道与波束成形方向存在强烈耦合关系，因此经智能反射表面反射后用户接受信道具体表示为：

其中，G_t,G_r和G是发射端、接收端和智能反射表面反射单元的天线增益，M和K是智能反射表面包含反射单元的行数和列数，d_x和d_y是反射单元的行宽和列宽，d₁和d₂是智能反射表面与发送端和接收端之间的距离，θ_t和θ_r是发射端信号和接收端信号与x轴的夹角，

和

为发射端信号和接收端信号与z轴的夹角，A是智能反射表面对于信号幅度的调整值，λ是信号的波长，

是反射单元的归一化功率辐射函数，

是波束成形方向偏移函数，反映了波束成形方向偏移造成的信号幅度衰减，具体表示为：

其中，

φ_k,m是第行列反射单元所对应的相位变化值，当波束成形与接收端完全对齐，则反射单元的相位变化值可以表示为

根据智能反射表面相位与波束成形方向的耦合关系，通过波束成形方向降低相位设计的算法复杂度。

4.基于权利要求1所述的无人机抗干扰通信***的联合轨迹与波束成形优化方法，其特征在于发送方与智能反射表面在通信过程中，首先进行状态感知，然后执行基于深度强化学习的优化算法，依概率进行位置部署与波束成形的优化，通信后根据反馈值调整概率。

5.根据权利要求4的联合轨迹与波束成形优化方法，其特征在于，优化算法包括以下步骤：

步骤1，通过设计状态、动作、回报值以及转移概率函数将该抗干扰通信问题建模为马尔科夫决策过程

步骤2，初始化***场景及神经网络，根据状态收集、动作决策及反馈对神经网络参数进行更新。

步骤3，将执行算法后的路径与波束成形方案进行记录。

6.根据权利要求5的联合轨迹与波束成形优化方法，其特征在于，步骤1中，通过被动波束成形模型设计，大尺度智能反射表面的相位变化优化算法动作状态空间得到降低，利于路径规划过程中强化学习收敛速度的提升，进一步提高算法的反应速度与抗干扰场景下的适配性。

7.根据权利要求5中的联合轨迹与波束成形优化方法，其特征在于，步骤1中，感知信道状态后智能反射表面可以执行的被动波束成形设计分两种情况：增强有用信号或降低干扰信号；

增强有用信号，即发送端经智能反射表面反射后到达用户接收端的信号与发送端和接收端直达信号之间的相位相同，接收端将信号进行叠加后有用信号强度远大于干扰信号强度，从而达到抗干扰的目的；

降低干扰信号，不管干扰信号以多大的功率进行干扰，智能反射表面将干扰发出的信号进行反射后在接收端进行重新聚焦，但信号经过反相处理，在接收端直射的干扰信号与反射的干扰信号会进行抵消，相对于有用信号，干扰信号得到降低，抗干扰通信效果得到提升。

8.根据权利要求5中的联合轨迹与波束成形优化方法，其特征在于，步骤2中，发送端通过信道感知以及无人机的状态信息通信链路获取移动用户的位置和信道状态信息，在既定波束成形方向的情况下，直接对于发送端到智能反射表面端的波束成形方向进行校正；由于干扰机的信息未知，通过深度强化学习交互的方式对于干扰机的信息进行探索，利用波束成形方向的实时控制寻找最佳智能反射面被动波束成形方案与无人机飞行轨迹。

9.根据权利要求8中的联合轨迹与波束成形优化方法，其特征在于，其中的深度强化学习算法，包括以下步骤：

初始化，迭代次数设为i＝1，设置状态-动作-汇报存储空间，神经网络初始化参数，以及探索-利用概率ε；

步骤11，智能反射表面-无人机与环境进行交互，获取i时刻的状态s_i；

步骤12，智能反射表面-无人机依概率进行运动轨迹和被动波束成形相位设计的动作选择。通过ε-greeedy探索-利用策略，具体表示为：

其中，a_i为智能反射表面-无人机在i时刻的动作选择，s_i为智能反射表面-无人机在i时刻的状态，Q(s_i,a_i)为智能反射表面-无人机在s_i的状态下做出a_i动作后的回报值，根据公式(7)，在s_i的状态下，智能反射表面有ε的概率选择使得其回报值最大的动作，有1-ε的概率随机选择动作；通过在迭代过程中逐渐增加ε的值智能反射表面-无人机在探索与利用之间寻求平衡，在尽可能的探索所有动作的情况下，较快地获得最优方案；

步骤13，执行动作a_i后达到的下一时刻状态s_i+1，并获取回报值，将状态-动作-回报值-下一时刻状态[s_i,a_i,r_i,s_i+1]储存在滑动存储窗口中；

步骤14，令i＝i+1以及s_i＝s_i+1，重复步骤11-14，直至滑动存储窗被历史经验数据填满；

步骤15，当滑动存储窗被历史经验数据填满后，计算多步的经验数据，其中多步回报值的具体表示为：

其中，N是滑动储存窗的长度，γ是回报值的折扣率，反应了今后回报值对于现在动作的影响程度，当γ＝1时，则充分考虑未来回报值的影响，但会造成回报值的过度震荡，影响收敛效果；当γ＝0时，则仅仅考虑下一时刻回报值的影响，算法决策速度快，但会丢失对于未来趋势的把握；

在获得多步回报值后，将多步经验信息[s_i,a_i:i+N,s_i+N,r_i:i+N]存储在经验池中，用于神经网络的进一步更新。同时，不断获取的新的[s_i,a_i,r_i,s_i+1]在储存入滑动存储窗时，旧的信息会被抛弃，通过滑动存储窗不断得到新的多步经验信息[s_i,a_i:i+N,s_i+N,r_i:i+N]不断存入经验池中；

步骤16，当经验池中的多步经验信息达到一定数量时，开始对于神经网络进行更新，否则重复步骤11-15；

步骤17，更新神经网络参数。并在迭代过程中不断增加ε的值。使得智能反射表面-无人机有趋向性地做出使得回报值大的动作选择。

Images