CN115378487A - 基于电磁屏障的卫星通信动态频谱接入方法 - Google Patents
基于电磁屏障的卫星通信动态频谱接入方法 Download PDFInfo
- Publication number
- CN115378487A CN115378487A CN202210784510.7A CN202210784510A CN115378487A CN 115378487 A CN115378487 A CN 115378487A CN 202210784510 A CN202210784510 A CN 202210784510A CN 115378487 A CN115378487 A CN 115378487A
- Authority
- CN
- China
- Prior art keywords
- interference
- channel
- user
- satellite
- team
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 66
- 230000004888 barrier function Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001228 spectrum Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005562 fading Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 claims description 3
- 230000003042 antagnostic effect Effects 0.000 claims description 2
- 238000011160 research Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 108091034117 Oligonucleotide Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/1851—Systems using a satellite or space-based relay
- H04B7/18519—Operations control, administration or maintenance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B7/00—Radio transmission systems, i.e. using radiation field
- H04B7/14—Relay systems
- H04B7/15—Active relay systems
- H04B7/185—Space-based or airborne stations; Stations for satellite systems
- H04B7/1851—Systems using a satellite or space-based relay
- H04B7/18513—Transmission in a satellite or space-based system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radio Relay Systems (AREA)
Abstract
本发明提供了基于电磁屏障的卫星通信动态频谱接入方法,包括以下步骤:步骤1:建立低轨道卫星对抗场景,在该对抗场景中包括蓝队和红队,分别用BT和RT表示,分析对抗场景中BT和RT受扰情况,并从吞吐量角度分析BT和RT的优化目标;步骤2:基于步骤1的分析,运用博弈论方法将优化目标转化为效用函数,并将BT和RT的通信对抗过程建模为Stackelberg博弈框架,证明在Stackelberg博弈框架内的两个子博弈都是精确的势博弈,并且存在Stackelberg均衡解;步骤3:利用分布式分层对抗信道选择算法求解Stackelberg均衡解,在求解过程中BT和RT找到各自的最大效用,实现信道通信选择。
Description
技术领域
本发明属于信道选择技术领域,具体涉及基于电磁屏障的卫星通信动态频谱接入方法。
背景技术
卫星互联网从20世纪80年代开始发展,至今已有40多年的历史。近年来,随着以Starlink为代表的巨型星座的迅速崛起,卫星互联网迎来了新一轮的发展热潮。然而,由于卫星互联网的天然开放性,它很容易受到攻击。因此,针对空间作战的战场需求,开展卫星互联网对抗的研究迫在眉睫。
在通信干扰方面,文献[Adversarial Jamming Attacks on Deep ReinforcementLearning Based Dynamic Multichannel Access]提出了两种基于AC的攻击策略。一种是基于前馈神经网络(FNN)的,另一种是基于深度强化学习(DRL)策略的,这会降低DRL用户进行动态多信道接入的精确度。在文献[Reinforcement Learning Based BeamformingJammer for Unknown Wireless Networks]中,作者提出了一种基于MAB的干扰策略,该策略可以在不知道敌方网络拓扑和信道信息的情况下找到最佳干扰波束宽度和方向。在通信抗干扰方面,文献[A Game-Theoretic Learning Approach for Anti-Jamming DynamicSpectrum Access in Dense Wireless Networks]中的工作研究了基于干扰抑制(IM)的密集无线网络的抗干扰信道选择问题。为了优化无人机的信道选择,提出了一种基于局部利他的协同抗干扰方法。以上研究旨在解决地面通信对抗问题。然而,基于卫星互联网的通信对抗受到的关注较少。在地面通信对抗技术的基础上研究卫星互联网的通信对抗是一个很好的思路。
博弈论能够很好地描述冲突、对抗或竞争关系,被广泛应用于通信对抗问题的建模。其中,Stackelberg博弈常被用来描述非合作博弈的分层问题。文献[A HierarchicalLearning Solution for Anti-jamming Stackelberg Game with Discrete PowerStrategies]研究了离散功率策略的抗干扰问题。然后建立Stackelberg博弈模型来模拟用户和***之间的竞争交互。作者在文献[Anti-Jamming Routing For Internet ofSatellites:a Reinforcement Learning Approach]中考虑了诸如未知中断、意外拥塞和智能干扰等因素。针对能够根据干扰效果自动改变干扰策略的智能干扰问题。路由抗干扰问题被描述为一个分层Stackelberg博弈。此外,布洛托上校游戏、图形化游戏等游戏模型也广泛应用于通信对抗中。
在基于频谱接入的研究中,协调能力、防御能力和攻击能力是双方在通信对抗中关注的三个关键能力。准确地说,(1)协调通信设备,减少我队内不同用户之间的干扰;同时,防止敌方通信用户的干扰,即最大限度地减少队内互扰和队外互扰。(2)保护对方通信设备的使用效率不受敌方恶意干扰,即提高抗干扰水平。(3)对敌实施恶意干扰,削弱敌通信设备效能,即提高干扰能力。
目前,大多数文献将独立研究的三种能力分开。然而,单一的对抗模式不足以满足复杂战场形势的需要。因此,要建立完善的攻防通信对抗体系,必须将这三种能力有机结合起来。
本发明以低轨卫星互联网为背景,研究通信对抗中的信道选择问题。
发明内容
针对上述问题,本发明提供了基于电磁屏障的卫星通信动态频谱接入方法。
本发明采用的技术方案为:
基于电磁屏障的卫星通信动态频谱接入方法,其特征在于,包括以下步骤:
步骤1:建立低轨道卫星对抗场景,在该对抗场景中包括蓝队和红队,分别用BT和RT表示,分析对抗场景中BT和RT受扰情况,并从吞吐量角度分析BT和RT的优化目标;
步骤2:基于步骤1的分析,运用博弈论方法将优化目标转化为效用函数,并将BT和RT的通信对抗过程建模为Stackelberg博弈框架,在Stackelberg博弈框架内的两个子博弈都是精确的势博弈,并且存在Stackelberg均衡解;
步骤3:利用分布式分层对抗信道选择算法求解Stackelberg均衡解,在求解过程中BT和RT找到各自的最大效用,实现信道通信选择。
优选的,步骤1的具体过程如下:
(1)在低轨道卫星对抗场景中,BT成员表示为Nb={1,2,…N,N+1},其中,第N+1个索引表示干扰卫星,BT的卫星用户每一时隙只能选择一个信道进行通信,他们选择的信道集表示为Ab,即其中表示BT干扰卫星选择的信道集合,电磁屏障干扰卫星每一时隙可以选择多个信道,干扰信道集表示为RT成员表示为Mr,其中,Mr={1,2,…M},RT卫星用户每个时隙只能选择一个信道,他们选择的信道集合表示为Ar,即Ar={a1,a2,…,am};BT和RT的可用信道分别为Cb和Cr,假设Cb=Cr=C,则BT和RT会采取有利的信道选择策略来减少干扰;
(2)分析BT和RT的受扰情况,其中,BT受到BT其他成员的队内互扰和RT的队外互扰;RT受到RT其他成员的队内互扰、BT的队外互扰和BT的电磁屏障的恶意干扰,这三种干扰均为同信道干扰;
考虑低轨卫星的通信场景,节点和节点之间的信道增益考虑自由空间路径损耗,具体来说
(3)从吞吐量的角度出发分析单个成员的优化目标
BT的优化目标
BT中某用户n的吞吐量表示为
T(n)=B·log2(1+SINR(n)) (2)
其中,{Nb|n}表示从Nb中移除n,Ps表示中BT中用户s的传输功率,Pm是RT中某用户m的发射功率,f(ax,ay)表示节点x和y是否在相同的时隙中选择相同的信道,表示为
则BT中用户受到的期望加权聚合干扰表示为Un,
RT的优化目标
与BT类似,RT中用户m的吞吐量表示为
T(m)=B·log2(1+SINR(m)) (7)
由于RT中每个用户会受到三方面的干扰威胁,则用户m受到的加权聚合和干扰为
其中,Pv表示卫星v的发射功率,PN+1表示BT电磁屏障干扰机的干扰功率;
则RT中用户受到的期望加权聚合干扰表示为,其表示为Um
其中,Pm表示权重;
RT的优化目标表示为
优选的,将BT和RT之间的博弈描述为
G={Nb,Mr,Ab,Ar,un,um} (11)
其中,Ab和Ar分别表示BT和RT选择的信道集;Nb和Mr分别为BT和RT的卫星通信对和干扰卫星的索引集;un和um分别表示BT和RT的效用函数;
BT的效用函数描述
以队内互扰和队外互扰的负值和电磁屏障干扰的正值作为目标函数,BT的效用函数表示为
RT的效用函数描述
RT的每个卫星用户都会受到来自BT的电磁屏障干扰卫星的队内互扰、队外互扰和恶意干扰三个方面的干扰,RT的效用函数表示为
其中,Lm和Ln是正数;
则BT侧的优化问题表示为
类似的,RT成员端的优化问题是
BT和RT的决定是相互影响的,由于BT强大的电磁屏障干扰,所以假设BT首先采取行动,RT跟随BT,从而推动了一个回合对抗过程,时间充裕,则本回合双方可以达到一个Stackelberg均衡,下面分别对BT和RT的子博弈模型进行描述:
(1)在红蓝双方的Stackelberg博弈中,BT作为领导者,其子博弈可以表达为
Gb={Nb,Ab,un(an,α-n)} (16)
其中,α-n=[a1,a2,…an-1,an+1,…aN]表示除了卫星用户n其他BT成员选择的信道集合,证明领导者子博弈是一个精确的势博弈,至少有一个纯策略纳什均衡点;
(2)RT作为跟随者,其子博弈可以表示为
Gr={Mr,Ar,um(am,α-m)} (17)
其中,α-m=[a1,a2,…am-1,am+1,…aM,aM+1]表示出了卫星用户m其他RT成员选择的信道集合,证明跟随者子博弈是一个精确的势博弈,至少有一个纯策略纳什均衡点;
优选的,在步骤3中,提出了分布式分层对抗信道选择算法来求解Stackelberg均衡解,在BT和RT之间的沟通对抗中,领导者和追随者使用分布式分层对抗信道选择算法来最大化各自的效用;
作为领导者,BT首先对RT发动电磁屏障干扰攻击,在第k个时隙中,电磁屏障干扰机阻塞了Jb通道,其中Jb≤C,RT用户只能在剩余的(C-Jb)信道中根据上述算法选择合适的信道通信,由于电磁屏障,信道集Jb对BT成员是安全的,其他信道(C-Jb)存在受RT的干扰影响,则BT成员将选择信道集合Jb,其次,BT将基于上述算法选择(C-Jb)与RT成员竞争信道资源;
具体过程如下所示:
初始化:设置可用信道C;最小迭代次数T;电磁屏障干扰信道数Jb;
For Jb=1:C
m位RT成员随机初始化他们的信道选择:Ar={a1,a2,…,am};
For k=1:T
Step2:第k时隙,每位BT成员根据策略θn(k)选择信道an(k);
Step3:每个时隙k,每位BT成员学习过程如下:
(1)BT成员根据公式(12)计算其效用函数un(k);
(2)蓝队成员根据更新公式(20),更新其策略选择;
θn(k+1)=θn(k)+bn·u′n(k)(1-θn(k)) (20)
上式中bn是学习步长且0<bn<1.
End
For k=1:T
Step2:第k时隙,每位RT用户根据策略θm(k)选择信道am(k);
Step3:每个时隙k,每位红队用户学习过程如下:
(1)RT用户根据公式(13)计算其效用函数um(k);
(2)BT成员根据更新公式(21),更新其策略选择;
θm(k+1)=θm(k)+bm·u′m(k)(1-θm(k)) (21)
上式中bm是学习步长且0<bm<1.
End
End
本发明的有益效果:
本发明提出了一种电磁屏障攻击策略,在保护我通信质量的同时,大大削弱了敌方的通信能力,在此基础上上,并采用设计的分布式分层对抗信道选择算法进行信道选择,两个团队都可以收敛到更好的效用,因为电磁屏障干扰卫星帮助BT抢占Jb通道,保证我队的通信质量,对RT造成干扰,削弱了RT的通信能力,则BT比RT收敛更快。并利用吞吐量验证效用函数设置的准确性,证明本发明设计思路的合理性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为低轨道卫星对抗场景示意图。
图2为BT和RT受扰情况分析图。
图3为卫星互联网场景。
图4为BT信道选择概率。
图5为RT信道选择概率。
图6为BT和RT的网络效用。
图7为Jb对BT网络总效用的影响。
图8为Jb对RT网络总效用的影响。
图9为Jb对BT总吞吐量的影响。
图10为Jb对RT总吞吐量的影响。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了基于电磁屏障的卫星通信动态频谱接入方法,包括以下步骤:
步骤1:建立低轨道卫星对抗场景,在该对抗场景中包括蓝队和红队,分别用BT和RT表示,分析对抗场景中BT和RT受扰情况,并从吞吐量角度分析BT和RT的优化目标;
步骤2:基于步骤1的分析,运用博弈论方法将优化目标转化为效用函数,并将BT和RT的通信对抗过程建模为Stackelberg博弈框架,证明在Stackelberg博弈框架内的两个子博弈都是精确的势博弈,并且存在Stackelberg均衡解;
步骤3:利用分布式分层对抗信道选择算法求解Stackelberg均衡解,在求解过程中BT和RT找到各自的最大效用,实现信道通信选择。
步骤1的具体过程如下:
(1)我们建立了一个相对的低轨道卫星对抗场景,将自己和敌人分成两队,即蓝队(我方,用BT表示)和红队(敌方,用RT表示),如图1所示。
在低轨道卫星对抗场景中,BT成员表示为Nb={1,2,…N,N+1},其中,第N+1个索引表示干扰卫星,BT的卫星用户每一时隙只能选择一个信道进行通信,他们选择的信道集表示为Ab,即其中表示BT干扰卫星选择的信道集合,电磁屏障干扰卫星每一时隙可以选择多个信道,干扰信道集表示为RT成员表示为Mr,其中,Mr={1,2,…M},RT卫星用户每个时隙只能选择一个信道,他们选择的信道集合表示为Ar,即Ar={a1,a2,…,am};BT和RT的可用信道分别为Cb和Cr,假设Cb=Cr=C,则BT和RT会采取有利的信道选择策略来减少干扰。
(2)分析BT和RT的受扰情况,其中,BT受到BT其他成员的队内互扰和RT的队外互扰;RT受到RT其他成员的队内互扰、BT的队外互扰和BT的电磁屏障的恶意干扰,这三种干扰均为通信道干扰。
“电磁屏障”干扰卫星有两个作用,第一,对RT发动恶意干扰攻击,从而,降低RT的通信质量。具体来说,如果在同一时刻,RT的卫星用户与BT的“电磁屏障”干扰卫星选择相同的信道,那么,这个RT的卫星用户的通信质量将会受到极大影响。第二,BT的“电磁屏障”干扰卫星作为一个屏障,保护BT用户的通信能力。具体来说,BT的“电磁屏障”干扰卫星不会对其他BT成员产生影响,并且,BT成员可以利用“电磁屏障”抢占的信道进行通信;此外,BT的每个卫星用户都将受到来自队内互扰和队外互扰两方面的干扰威胁。首先,卫星用户需要争夺频谱资源才能获得良好的通信质量。然而,如果BT中的两个卫星用户在某个时刻选择相同的信道,则会出现队内互扰,即同频干扰,这将影响他们的通信质量。其次,如果RT用户和BT用户在某个时隙选择相同的信道进行通信,RT用户也会对BT用户造成队外互扰。因此,BT用户应制定合理的频谱接入策略,以减少这两类干扰对通信质量的影响,并利用“电磁屏障”来提高通信水平。
考虑低轨卫星的通信场景,则节点和节点之间的信道增益考虑自由空间路径损耗,具体来说
(3)从吞吐量的角度出发分析单个成员的优化目标
BT的优化目标
BT中某用户n的吞吐量表示为
T(n)=B·log2(1+SINR(n)) (2)
其中,{Nb|n}表示从Nb中移除n,Ps表示中BT中用户s的传输功率,Pm是RT中某用户m的发射功率,f(ax,ay)表示节点x和y是否在相同的时隙中选择相同的信道,表示为
则BT中用户受到的期望加权聚合干扰表示为Un,其表示为
RT的优化目标
与BT类似,RT中用户m的吞吐量表示为
T(m)=B·log2(1+SINR(m)) (7)
由于RT中每个用户会受到三方面的干扰威胁,则用户m受到的加权聚合和干扰为
其中,Pv表示卫星v的发射功率,PN+1表示BT电磁屏障干扰机的干扰功率;
则RT中用户受到的期望加权聚合干扰表示为,其表示为Um
其中,Pm表示权重;
RT的优化目标表示为
在步骤2中,为了描述对抗模式,将其对抗描述为:
G={Nb,Mr,Ab,Ar,un,um} (11)
其中,,Nb和Mr分别为BT和RT的卫星通信对和干扰卫星的索引集;un和um分别表示BT和RT的效用函数。
BT的效用函数描述
以队内互扰和队外互扰的负值和“电磁屏障”干扰的正值作为目标函数,BT的效用函数表示为
RT的效用函数描述
RT的每个卫星用户都会受到来自BT的电磁屏障干扰卫星的队内互扰、队外互扰和恶意干扰三个方面的干扰,RT的效用函数表示为
其中,Lm和Ln是正数;
则BT侧的优化问题表示为
类似的,RT成员端的优化问题是
BT和RT的决定是相互影响的,具体地说,由于BT强大的“电磁屏障”干扰,可以合理地假设BT首先采取行动,RT跟随BT,从而推动了一个等级对抗过程。如果允许足够的运行时间,在对抗回合中可以达到Stackelberg均衡。其次,下面详细地给出了分层博弈模型的公式,并分析了Stackelberg均衡的存在性。
(1)BT动态频谱接入子博弈中BT作为领导者,其子博弈可以表达为
Gb={Nb,Ab,un(αn,α-n)} (16)
其中,α-n=[a1,a2,…an-1,an+1,…aN]表示除了卫星用户n其他BT成员选择的信道集合。
命题1:领导者子博弈是一个精确的势博弈,至少有一个纯策略纳什均衡(NE)点。
证明:在BT效用函数的基础上,势函数可以设计为
Φb=Φb,1+Φb,2 (22)
其中,
对(23)进行分解如式(25)
此外,我们提出与n无关的项Wb,
因为,
结合(25)、(26)、(27)可得
最后,通过化简,BT的势函数为
Φb=Φb,1+Φb,2=un+Wb (29)
根据精确势博弈的定义,如果蓝队中的一个任意玩家,例如玩家n,单方面将其信道选择从an改变为an′,则势函数的变化等于玩家n的效用的变化,如(30)所示。
Φb(n′)-Φb(n)
=(Φb,1(n′)+Φb,2(n′))-(Φb,1(n)+Φb,2(n))
=(un(n′)+Wb)-(un(n)+Wb)
=un(n′)-un(n). (30)
由于方程(30)符合精确势博弈的定义,所以领导者子博弈是精确势博弈。注意,每个精确势对策至少有一个纯策略NE点,证明了命题1。
(2)RT动态频谱接入子博弈中,RT作为跟随者,其子博弈可以表示为
Gr={Mr,Ar,um(am,α-m)} (17)
其中,α-m=[a1,a2,…am-1,am+1,…aM,aM+1]表示出了卫星用户m其他RT成员选择的信道集合。
命题2:跟随者子博弈是一个精确的势博弈,至少有一个纯策略纳什均衡(NE)点。
证明:在RT效用函数的基础上,势函数可以设计为
此外,我们提出与m无关的项Wr,
因为
结合(31),(32)和(33),我们可以得到式(34)
根据精确势博弈的定义。如果红队中的一个任意玩家,例如玩家m,单方面将其信道选择从am改变为am′,则势函数的变化等于玩家m的效用的变化,如(35)所示:
Φr(m′)-Φr(m)
=(um(m′)+Wr)-(um(m)+Wr)
=um(m′)-um(m). (35)
由于方程(28)符合精确势博弈的定义,所以领导者子博弈是精确势博弈。注意,每个精确势对策至少有一个纯策略NE点,证明了命题2。
(3)Stackelberg均衡分析
命题3:存在领导者的NE解和追随者的NE解,构成Stackelberg均衡。
在类似的分析之后,也可以证明式(18)。
因此,命题3得到证明。
在步骤3中,提出了分布式分层对抗信道选择算法(DHCCSA)来求解Stackelberg均衡解,在BT和RT之间的沟通对抗中,为了突出对抗策略,领导者和追随者使用分布式分层对抗信道选择算法来最大化各自的效用;
作为领导者,BT首先对RT发动电磁屏障干扰攻击,在第k个时隙中,电磁屏障干扰机阻塞了Jb通道,其中Jb≤C,RT用户只能在剩余的(C-Jb)信道中根据上述算法选择合适的信道通信,以避免恶意干扰,此时,由于电磁屏障,信道集Jb对BT成员是安全的,其他信道(C-Jb)可能会受到RT的干扰,则BT成员将优先选择信道集合Jb,其次,BT将基于上述算法选择(C-Jb)与RT成员竞争信道资源;
具体过程如下所示:
初始化:设置可用信道C;最小迭代次数T;“电磁屏障”干扰信道数Jb;
For Jb=1:C
m位RT成员随机初始化他们的信道选择:Ar={a1,a2,…,am};
For k=1:T
Step2:第k时隙,每位BT成员根据策略θn(k)选择信道an(k);
Step3:每个时隙k,每位BT成员学习过程如下:
(1)BT成员根据公式(12)计算其效用函数un(k);
(2)蓝队成员根据更新公式(20),更新其策略选择;
θn(k+1)=θn(k)+bn·u′n(k)(1-θn(k)) (20)
上式中bn是学习步长且0<bn<1.
End
For k=1:T
Step2:第k时隙,每位RT用户根据策略θm(k)选择信道am(k);
Step3:每个时隙k,每位红队用户学习过程如下:
(1)RT用户根据公式(13)计算其效用函数um(k);
(2)BT成员根据更新公式(21),更新其策略选择;
θm(k+1)=θm(k)+bm·u′m(k)(1-θm(k)) (21)
上式中bm是学习步长且0<bm<1.
End
End
仿真结果和讨论
通过仿真BT和RT的信道选择概率,验证了算法的收敛性。此外,我们还研究了BT的“电磁屏障”对两个团队的效用函数和网络吞吐量造成的信道数Jb的干扰。数值结果表明,该算法具有较好的收敛性,且BT比RT收敛速度快。
考虑到低轨道卫星场景,卫星之间的距离比较长,所以我们把通信距离设为几十公里,卫星通信对抗场景如图3所示。另外,BT和RT分别建立四对通信用户(即Si-Di)。在一定的时隙内,蓝队的“电磁屏障”干扰卫星可以实现多通道干扰。我们在频域中设置了可用信道的数量,并以8个信道为例进行了分析。BT和RT都根据DHCCSA算法选择合适的信道,以最大化各自的效用。
收敛和性能分析
首先,我们确定了被BT的“电磁屏障”干扰的通道数,并假设“电磁屏障”***将干扰4个通道(即Jb=4)。我们分别研究了BT和RT单个用户的信道选择概率的收敛,仿真结果如图4和图5所示。通过比较图4和图5,我们发现BT和RT用户最终都实现了收敛,但是BT用户比RT用户收敛得更快。这一现象表明,所提出的算法能够学习收敛,并且BT比RT收敛得更快。原因是BT用户受到“电磁屏障”的保护,“电磁屏障”相当于比RT用户更多的可用信道,因此可以更快收敛。RT用户受到“电磁屏障”的干扰,因此,收敛速度较慢。
此外,我们还对BT和RT的总网络效用进行了比较分析,如图6所示。BT和RT都有很好的性能,BT的收敛时间比RT快。当Jb=4时,四对智能BT成员将首先选择信道Jb进行通信,然后与其他四对红色团队成员竞争频谱资源(C-Jb)。此时,频谱资源满足了红蓝两队的需求。因此,基于DHCCSA的两个团队都可以收敛到更好的效用。因为“电磁屏障”干扰卫星帮助BT抢占Jb信道,保证了我们的通信质量;对RT造成干扰,削弱了RT的通信能力。因此,BT比RT收敛得更快。
总效用函数分析
与前面不同的是,本节中,将“电磁屏障”***的干扰通道数设置为不断变化,让Jb∈[0,8],从图7可以看出,随着Jb的增加,BT网络的总效用基本上保持在最优NE和最差NE之间。
此外,该算法的总效用远高于随机算法。然而,如图8所示,随着Jb的增加,RT的总效用呈现下降趋势,当Jb>5时,由于频谱资源不足,RT的总效用迅速下降。当Jb=8时,即全频带干扰时,RT的总利用率下降到0。此外,随机算法整体上也呈现下降趋势。
然而,该算法的总效用仍然远远高于随机算法,这也表明DHCCSA算法具有很好的优势。
网络总吞吐量分析
如图(9)所示,BT的总网络吞吐量不受Jb的影响,所提出的算法非常接近最佳NE。BT成员受到其他BT成员队内互扰和RT队外互扰的影响。此外,对于DHCCSA,即使是最差NE也具有比随机算法更高的网络总吞吐量,体现了该算法的优越性。
如图(10)所示,RT的总吞吐量总体上呈下降趋势。除了协调内部和外部的干扰,RT的成员还必须应对来自BT的强大的“电磁屏障”干扰。随着Jb的增加,RT的总网络吞吐量不断下降。当Jb=8时,红队受到全频段的恶意干扰,红队的总网络吞吐量降为0。
前面分别从效用函数和吞吐量的角度分析了Jb对BT和RT的影响。他们的仿真结果有相似的趋势,也就是说,在低信干噪比的情况下,聚合干扰的最大化确实产生了求和速率最大化的近似最优解。侧面说明了仿真的合理性。
以上所述,仅用以说明本发明的技术方案而非限制,本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换,只要不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.基于电磁屏障的卫星通信动态频谱接入方法,其特征在于,包括以下步骤:
步骤1:建立低轨道卫星对抗场景,在该对抗场景中包括蓝队和红队,分别用BT和RT表示,分析对抗场景中BT和RT受扰情况,并从吞吐量角度分析BT和RT的优化目标;
步骤2:基于步骤1的分析,运用博弈论方法将优化目标转化为效用函数,并将BT和RT的通信对抗过程建模为Stackelberg博弈框架,证明在Stackelberg博弈框架内的两个子博弈都是精确的势博弈,并且存在Stackelberg均衡解;
步骤3:利用分布式分层对抗信道选择算法求解Stackelberg均衡解,在求解过程中BT和RT找到各自的最大效用,实现信道通信选择。
2.根据权利要求1所述的基于电磁屏障的卫星通信动态频谱接入方法,其特征在于,步骤1的具体过程如下:
(1)在低轨道卫星对抗场景中,BT成员表示为Nb={1,2,…N,N+1},其中,第N+1个索引表示干扰卫星,BT的卫星用户每一时隙只能选择一个信道进行通信,他们选择的信道集表示为Ab,即其中表示BT干扰卫星选择的信道集合,电磁屏障干扰卫星每一时隙可以选择多个信道,干扰信道集表示为RT成员表示为Mr,其中,Mr={1,2,…M},RT卫星用户每个时隙只能选择一个信道,他们选择的信道集合表示为Ar,即Ar={a1,a2,…,am};BT和RT的可用信道分别为Cb和Cr,假设Cb=Cr=C,则BT和RT会采取有利的信道选择策略来减少干扰;
(2)分析BT和RT的受扰情况,其中,BT受到BT其他成员的队内互扰和RT的队外互扰;RT受到RT其他成员的队内互扰、BT的队外互扰和BT的电磁屏障的恶意干扰,这三种干扰均为同信道干扰;
考虑低轨卫星的通信场景,节点和节点之间的信道增益考虑自由空间路径损耗,具体来说
(3)从吞吐量的角度出发分析单个成员的优化目标
BT的优化目标
BT中某用户n的吞吐量表示为
T(n)=B·log2(1+SINR(n)) (2)
其中,{Nb|n}表示从Nb中移除n,Ps表示中BT中用户s的传输功率,Pm是RT中某用户m的发射功率,f(ax,ay)表示节点x和y是否在相同的时隙中选择相同的信道,表示为
则BT中用户受到的期望加权聚合干扰表示为Un,
RT的优化目标
与BT类似,RT中用户m的吞吐量表示为
T(m)=B·log2(1+SINR(m)) (7)
由于RT中每个用户会受到三方面的干扰威胁,则用户m受到的加权聚合和干扰为
其中,Pv表示卫星v的发射功率,PN+1表示BT电磁屏障干扰机的干扰功率;
则RT中用户受到的期望加权聚合干扰表示为,其表示为Um
其中,Pm表示权重;
RT的优化目标表示为
3.根据权利要求2所述的基于电磁屏障的卫星通信动态频谱接入方法,其特征在于,将BT和RT之间的博弈描述为
G={Nb,Mr,Ab,Ar,un,um} (11)
其中,Ab和Ar分别表示BT和RT选择的信道集;Nb和Mr分别为BT和RT的卫星通信对和干扰卫星的索引集;un和um分别表示BT和RT的效用函数;
BT的效用函数描述
以队内互扰和队外互扰的负值和电磁屏障干扰的正值作为目标函数,BT的效用函数表示为
RT的效用函数描述
RT的每个卫星用户都会受到来自BT的电磁屏障干扰卫星的队内互扰、队外互扰和恶意干扰三个方面的干扰,RT的效用函数表示为
其中,Lm和Ln是正数;
则BT侧的优化问题表示为
类似的,RT成员端的优化问题是
BT和RT的决定是相互影响的,由于BT强大的电磁屏障干扰,所以假设BT 首先采取行动,RT跟随BT,从而推动了一个回合对抗过程,时间充裕,则本回合双方可以达到一个Stackelberg均衡,下面分别对BT和RT的子博弈模型进行描述:
(1)在红蓝双方的Stackelberg博弈中,BT作为领导者,其子博弈可以表达为
Gb={Nb,Ab,un(an,α-n)} (16)
其中,α-n=[a1,a2,…an-1,an+1,…aN]表示除了卫星用户n其他BT成员选择的信道集合,证明领导者子博弈是一个精确的势博弈,至少有一个纯策略纳什均衡点;
(2)RT作为跟随者,其子博弈可以表示为
Gr={Mr,Ar,um(am,α-m)} (17)
其中,α-m=[a1,a2,…am-1,am+1,…aM,aM+1]表示出了卫星用户m其他RT成员选择的信道集合,证明跟随者子博弈是一个精确的势博弈,至少有一个纯策略纳什均衡点;
4.根据权利要求3所述的基于电磁屏障的卫星通信动态频谱接入方法,其特征在于,在步骤3中,提出了分布式分层对抗信道选择算法来求解Stackelberg 均衡解,在BT和RT之间的分层对抗中,领导者和追随者使用分布式分层对抗信道选择算法来最大化各自的效用;
作为领导者,BT首先对RT发动电磁屏障干扰攻击,在第k个时隙中,电磁屏障干扰机阻塞了Jb通道,其中Jb≤C,RT用户只能在剩余的(C-Jb)信道中根据上述算法选择合适的信道通信,由于电磁屏障,信道集Jb对BT成员是安全的,其他信道(C-Jb)存在受RT的干扰影响,则BT成员将选择信道集合Jb,其次,BT将基于上述算法选择(C-Jb)与RT成员竞争信道资源;
具体过程如下所示:
初始化:设置可用信道C;最小迭代次数T;电磁屏障干扰信道数Jb;
For Jb=1:C
m位RT成员随机初始化他们的信道选择:Ar={a1,a2,…,am};
For k=1:T
Step2:第k时隙,每位BT成员根据策略θn(k)选择信道an(k);
Step3:每个时隙k,每位BT成员学习过程如下:
(1)BT成员根据公式(12)计算其效用函数un(k);
(2)蓝队成员根据更新公式(20),更新其策略选择;
θn(k+1)=θn(k)+bn·u′n(k)(1-θn(k)) (20)
上式中bn是学习步长且0<bn<1.
End
For k=1:T
Step2:第k时隙,每位RT用户根据策略θm(k)选择信道am(k);
Step3:每个时隙k,每位红队用户学习过程如下:
(1)RT用户根据公式(13)计算其效用函数um(k);
(2)BT成员根据更新公式(21),更新其策略选择;
θm(k+1)=θm(k)+bm·u′m(k)(1-θm(k)) (21)
上式中bm是学习步长且0<bm<1.
End
End。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210784510.7A CN115378487B (zh) | 2022-07-05 | 2022-07-05 | 基于电磁屏障的卫星通信动态频谱接入方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210784510.7A CN115378487B (zh) | 2022-07-05 | 2022-07-05 | 基于电磁屏障的卫星通信动态频谱接入方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115378487A true CN115378487A (zh) | 2022-11-22 |
CN115378487B CN115378487B (zh) | 2023-12-01 |
Family
ID=84061805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210784510.7A Active CN115378487B (zh) | 2022-07-05 | 2022-07-05 | 基于电磁屏障的卫星通信动态频谱接入方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115378487B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116634468A (zh) * | 2023-07-21 | 2023-08-22 | 中国人民解放军军事科学院***工程研究院 | 一种基于精确势博弈的无人机信道选择方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080167064A1 (en) * | 2006-12-11 | 2008-07-10 | Yeheskel Bar-Ness | Method and system for decentralized power control of a multi-antenna access point using game theory |
CN101854729A (zh) * | 2010-03-30 | 2010-10-06 | 中国人民解放军信息工程大学 | 一种卫星通信***的随机接入方法 |
US20180083482A1 (en) * | 2016-09-19 | 2018-03-22 | Nestfield Co., Ltd. | Supply-demand balancing method and system for power management in smart grid |
CN108616916A (zh) * | 2018-04-28 | 2018-10-02 | 中国人民解放军陆军工程大学 | 一种合作抗干扰分层博弈模型及抗干扰学习算法 |
CN110441740A (zh) * | 2019-08-20 | 2019-11-12 | 南京航空航天大学 | 基于分层博弈的分布式mimo雷达稳健功率分配方法 |
US20200089246A1 (en) * | 2018-09-15 | 2020-03-19 | Toyota Research Institute, Inc. | Systems and methods for controlling the operation of a vehicle |
CN111200459A (zh) * | 2020-01-09 | 2020-05-26 | 南京凯瑞得信息科技有限公司 | 一种上行多波束卫星的信道分配和功率控制方法 |
CN111726192A (zh) * | 2020-06-12 | 2020-09-29 | 南京航空航天大学 | 基于对数线性算法的通信对抗中用频决策优化方法 |
CN112291800A (zh) * | 2020-10-29 | 2021-01-29 | 西北工业大学深圳研究院 | 一种针对多卫星通讯网络的抗网络攻击图博弈控制方法 |
CN113472423A (zh) * | 2021-06-29 | 2021-10-01 | 西安空间无线电技术研究所 | 一种基于零和博弈论的卫星通信抗干扰方法 |
CN113852439A (zh) * | 2021-09-24 | 2021-12-28 | 四川润泽经伟信息技术有限公司 | 卫星对抗装置的突发发射时间同步方法及卫星对抗装置 |
US20220209885A1 (en) * | 2020-12-24 | 2022-06-30 | Viettel Group | Method and apparatus for adaptive anti-jamming communications based on deep double-q reinforcement learning |
CN114698128A (zh) * | 2022-05-17 | 2022-07-01 | 中国人民解放军战略支援部队航天工程大学 | 一种认知星地网络的抗干扰信道选择方法和*** |
-
2022
- 2022-07-05 CN CN202210784510.7A patent/CN115378487B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080167064A1 (en) * | 2006-12-11 | 2008-07-10 | Yeheskel Bar-Ness | Method and system for decentralized power control of a multi-antenna access point using game theory |
CN101854729A (zh) * | 2010-03-30 | 2010-10-06 | 中国人民解放军信息工程大学 | 一种卫星通信***的随机接入方法 |
US20180083482A1 (en) * | 2016-09-19 | 2018-03-22 | Nestfield Co., Ltd. | Supply-demand balancing method and system for power management in smart grid |
CN108616916A (zh) * | 2018-04-28 | 2018-10-02 | 中国人民解放军陆军工程大学 | 一种合作抗干扰分层博弈模型及抗干扰学习算法 |
US20200089246A1 (en) * | 2018-09-15 | 2020-03-19 | Toyota Research Institute, Inc. | Systems and methods for controlling the operation of a vehicle |
CN110441740A (zh) * | 2019-08-20 | 2019-11-12 | 南京航空航天大学 | 基于分层博弈的分布式mimo雷达稳健功率分配方法 |
CN111200459A (zh) * | 2020-01-09 | 2020-05-26 | 南京凯瑞得信息科技有限公司 | 一种上行多波束卫星的信道分配和功率控制方法 |
CN111726192A (zh) * | 2020-06-12 | 2020-09-29 | 南京航空航天大学 | 基于对数线性算法的通信对抗中用频决策优化方法 |
CN112291800A (zh) * | 2020-10-29 | 2021-01-29 | 西北工业大学深圳研究院 | 一种针对多卫星通讯网络的抗网络攻击图博弈控制方法 |
US20220209885A1 (en) * | 2020-12-24 | 2022-06-30 | Viettel Group | Method and apparatus for adaptive anti-jamming communications based on deep double-q reinforcement learning |
CN113472423A (zh) * | 2021-06-29 | 2021-10-01 | 西安空间无线电技术研究所 | 一种基于零和博弈论的卫星通信抗干扰方法 |
CN113852439A (zh) * | 2021-09-24 | 2021-12-28 | 四川润泽经伟信息技术有限公司 | 卫星对抗装置的突发发射时间同步方法及卫星对抗装置 |
CN114698128A (zh) * | 2022-05-17 | 2022-07-01 | 中国人民解放军战略支援部队航天工程大学 | 一种认知星地网络的抗干扰信道选择方法和*** |
Non-Patent Citations (4)
Title |
---|
LULIANG JIA等: "Game-Theoretic learning Anti-Jamming Approaches in wireless networks", IEEE COMMUNICATIONS MAGAZINE, vol. 60, no. 5 * |
孙素云;李云梦;: "无线异构接入网络中集中式网络选择研究", 计算机应用, no. 05 * |
罗屹洁;杨?;: "依概率主动窃听下D2D通信的物理层安全研究", 信号处理, no. 05 * |
赫彬等: "认知雷达抗干扰中的博弈论分析和综述", 电子与信息学报, vol. 43, no. 5 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116634468A (zh) * | 2023-07-21 | 2023-08-22 | 中国人民解放军军事科学院***工程研究院 | 一种基于精确势博弈的无人机信道选择方法 |
CN116634468B (zh) * | 2023-07-21 | 2023-10-31 | 中国人民解放军军事科学院***工程研究院 | 一种基于精确势博弈的无人机信道选择方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115378487B (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113162679A (zh) | 基于ddpg算法的irs辅助无人机通信联合优化方法 | |
CN110708108B (zh) | 一种多无人机毫米波网络的波束控制优化方法 | |
CN115333612B (zh) | 基于欺骗机制的卫星互联网抗干扰方法 | |
CN115378487A (zh) | 基于电磁屏障的卫星通信动态频谱接入方法 | |
Ibrahim et al. | Anti-jamming game to combat intelligent jamming for cognitive radio networks | |
Shen et al. | Ringsfl: An adaptive split federated learning towards taming client heterogeneity | |
Khanafer et al. | Adaptive resource allocation in jamming teams using game theory | |
CN111726192B (zh) | 基于对数线性算法的通信对抗中用频决策优化方法 | |
Yang et al. | Learning-based reliable and secure transmission for UAV-RIS-assisted communication systems | |
Zhao et al. | Power control for D2D communication using multi-agent reinforcement learning | |
CN116073924B (zh) | 基于Stackelberg博弈的抗干扰信道分配方法及*** | |
CN113014305A (zh) | 基于优先级准入控制的功率带宽联合资源优化方法 | |
CN115297497B (zh) | 一种基于生物启发算法的高效节能分簇方法 | |
CN114143890B (zh) | 基于重叠信道的无人机通信中传输功率优化方法及*** | |
CN117768010B (zh) | 一种基于分层斯坦伯格博弈与匹配博弈的卫星抗干扰方法 | |
CN113613337A (zh) | 一种面向波束成形通信的用户协作抗干扰方法 | |
Li et al. | Flying Ad-Hoc Network Covert Communications with Deep Reinforcement Learning | |
Liu et al. | Fight Against Intelligent Reactive Jammer in MEC Networks: A Hierarchical Reinforcement Learning Based Hybrid Hidden Strategy | |
Zhang et al. | Distributed DRL Based Beamforming Design for RIS-Assisted Multi-Cell Systems | |
Zhao et al. | Space–Air–Ground–Sea Integrated Network with Federated Learning | |
Zhang et al. | Backdoor Attacks on Multi-Agent Reinforcement Learning-based Spectrum Management | |
Rao et al. | Joint optimization of jamming link and power control in communication countermeasures: A multiagent deep reinforcement learning approach | |
CN109548129B (zh) | 一种基于信噪干扰比的多通道功率分配方法 | |
Yang et al. | Research on Simulation of Satellite Communication Networks Based on Non cooperative Games | |
Wang et al. | Power allocation strategy for MIMO radar when coping with a smart jammer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |