CN117768075A - 用于确定上行信道的方法及终端、网络设备 - Google Patents
用于确定上行信道的方法及终端、网络设备 Download PDFInfo
- Publication number
- CN117768075A CN117768075A CN202211128492.3A CN202211128492A CN117768075A CN 117768075 A CN117768075 A CN 117768075A CN 202211128492 A CN202211128492 A CN 202211128492A CN 117768075 A CN117768075 A CN 117768075A
- Authority
- CN
- China
- Prior art keywords
- channel
- uplink channel
- sta
- determining
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000005540 biological transmission Effects 0.000 claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 24
- 230000002787 reinforcement Effects 0.000 claims description 49
- 230000009471 action Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 abstract description 8
- 238000003860 storage Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000003795 chemical substances by application Substances 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- OVGWMUWIRHGGJP-WVDJAODQSA-N (z)-7-[(1s,3r,4r,5s)-3-[(e,3r)-3-hydroxyoct-1-enyl]-6-thiabicyclo[3.1.1]heptan-4-yl]hept-5-enoic acid Chemical compound OC(=O)CCC\C=C/C[C@@H]1[C@@H](/C=C/[C@H](O)CCCCC)C[C@@H]2S[C@H]1C2 OVGWMUWIRHGGJP-WVDJAODQSA-N 0.000 description 1
- 101100161473 Arabidopsis thaliana ABCB25 gene Proteins 0.000 description 1
- 101000988961 Escherichia coli Heat-stable enterotoxin A2 Proteins 0.000 description 1
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- 101100096893 Mus musculus Sult2a1 gene Proteins 0.000 description 1
- 101150081243 STA1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/391—Modelling the propagation channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L5/00—Arrangements affording multiple use of the transmission path
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Quality & Reliability (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请涉及无线通信技术领域，公开一种用于确定上行信道的方法，应用于终端设备STA，包括：接收触发指令；触发指令用于触发STA感知信道状态；若存在空闲信道，则根据空闲信道的性能信息确定上行信道，接入上行信道进行数据传输；若不存在空闲信道，则在设定的退避时长后再次感知信道状态。能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率。本申请还公开一种终端、网络设备。
Description
技术领域
本申请涉及无线通信技术领域，例如涉及一种用于确定上行信道的方法及终端、网络设备。
背景技术
目前，在多AP间的协同调度的方式主要包括C-OFDMA(Coordinated OrthogonalFrequency-Division Multiple Access，协同正交频分多址)和CBF(CoordinatedBeamforming，协同波束赋形)。
其中，在C-OFDMA中，AP(Wireless Access Point，无线访问接入点)协调为所有STA(Station，终端)共享OFDMA(Orthogonal Frequency-Division Multiple Access，正交频分多址))资源，并使不同STA采用正交的时间和频率，以避免RU(Resource Unit，频谱资源块)冲突。一方面，将适当的RU分配给STA需要充足的CSI(Channel State Information，信道状态信息)或者充分的信道估计；另一方面，C-OFDMA是通过正交信道来抑制干扰并正确传输，但是在失协的情况下，AP无法保证信道是正交的，因此也就无法通过正交信道抑制干扰。另外，在保证信道正交时，也会降低信道的利用率。而CBF下STA反馈给AP的信道信息是不完整的，从而AP很难对信道进行有效估计。
此外，在WiFi6中信道估计是在HE-SIG-B字段完成的，这个字段长度是有限的，所以无法实现完整的信道估计。想要获得完整的CSI就要进行多次的传输，这样又会大大降低信道的效率。
因此，现有的两种方案CBF和C-OFDMA都是需要完整的CSI才可以实现信道的共享，然而在通信失协的情况下，AP很难准确知道其他AP所使用信道的情况，所以很难给出信道估计的情况，也就是说在通信失协的情况下，这两种方案可行性不强。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于确定上行信道的方法及终端、网络设备，从而在未知CSI或CSI信息不完整的情况下，完成信道的分配，以实现***吞吐量的提升，提高信道的利用率。
在一些实施例中，所述用于确定上行信道的方法，应用于终端设备STA，包括：
接收触发指令；所述触发指令用于触发STA感知信道状态；
若存在空闲信道，则根据空闲信道的性能信息确定上行信道，接入所述上行信道进行数据传输；
若不存在空闲信道，则在设定的退避时长后再次感知信道状态。
可选地，所述接入所述上行信道进行数据传输，包括：
在数据传输成功后，根据传输结果更新对应信道的性能信息，并接收新的数据包到达指示；
在数据传输失败后，根据传输结果更新对应信道的性能信息，并重新执行数据传输指令。
可选地，所述根据空闲信道的性能信息确定上行信道，包括：
获取空闲信道的性能信息；
将成功传输数据包的能力最优的空闲信道，确定为上行信道。
可选地，所述上行信道的确定，包括：
构建基于强化学习的上行信道选择模型；
将信道状态信息、性能信息输入到基于强化学***均吞吐量；
在网络平均吞吐量达到最大值的情况下，根据所述基于强化学习的上行信道选择模型的输出确定上行信道。
可选地，基于强化学习的上行信道选择模型的训练，包括：
将信道状态信息、性能信息作为强化学习的状态集
其中，表示STA在信道上的信道感知权重的集合；表示t时刻第k个STA在第m个信道上的感知权重；
表示STA在信道上的数据包传输权重的集合；表示t时刻第k个STA在第m个信道上的数据包传输权重感知权重；
将所述状态集S输入基于强化学习的上行信道选择模型中训练，得到动作集A＝{f1,f2,…,fM}，表示STA采取对应于在M个空闲信道中选择上行信道的动作的集合；
根据所述状态集确定奖励参数表示第k个STA在第m个信道传输的即时奖励；
根据所述奖励参数Rt训练所述基于强化学习的上行信道选择模型，以得到使奖励参数Rt最大的***动作对应的信道，作为所述上行信道。
可选地，所述基于强化学习的上行信道选择模型的建立，包括：
其中，Ct表示t时刻的网络平均吞吐量；N表示STA的总数；表示t时刻第k个STA的信干噪比。
可选地，所述根据所述奖励参数Rt训练所述基于强化学习的上行信道选择模型，包括：
将如下方式，作为强化学习的更新规则：
其中，Qt表示当前状态的Q值，Qt+1表示下一状态时刻的Q值；α表示的强化学习的学习率，取值为(0,1)；β表示对历史奖励的重视程度，取值为(0,1)；表示即时奖励；maxQt(S′,A′)表示下一时刻所有可能动作策略的最大Q值。
在一些实施例中，该用于确定上行信道的方法，应用于接入点AP，包括：
发送触发指令；所述触发指令用于触发STA感知信道状态；
接收STA通过上行信道传输的数据；所述上行信道是所述STA根据空闲信道的性能信息确定的。
在一些实施例中，提供一种终端设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的程序，执行如上述的用于确定上行信道的方法。
在一些实施例中，提供一种网络设备，包括处理器和通信接口，通信接口用于与其它网络设备进行通信；处理器用于运行一组程序，以使得所述网络设备实现如上述的用于确定上行信道的方法。
本公开实施例提供的用于确定上行信道的方法、终端及网络设备，可以实现以下技术效果：
通过终端STA感知信道状态，并在空闲信道中根据信道性能确定上行信道，进行数据传输。这样，能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例的环境***示意图；
图2是本公开实施例提供的一个用于确定上行信道的方法的流程示意图；
图3是本公开实施例提供的另一个用于确定上行信道的方法的流程示意图；
图4是本公开实施例中基于强化学习的上行信道选择模型的训练过程示意图；
图5是本公开实施例提供的另一个用于确定上行信道的方法的流程示意图；
图6是本公开实施例提供的另一个用于确定上行信道的方法的流程示意图；
图7是本公开实施例的一个应用示意图；
图8是本公开实施例提供的一个终端设备的示意图；
图9是本公开实施例提供的一个网络设备的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
本公开实施例中，AP表示无线接入点，可以是路由器、网关或组合路由器网关。
STA表示用户终端，可以是经由通信连接功能连接到AP以获得对AP***资源(如网络)的接入的移动终端或站。可以是蜂窝电话、无绳电话、会话启动协议(SessionInitiation Protocol，SIP)电话、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal Digital Assistant，PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备、下一代通信***例如NR网络中的终端设备，或者未来演进的公共陆地移动网络(Public Land Mobile Network，PLMN)网络中的终端设备等。也可以是手机(Mobile Phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(Virtual Reality，VR)终端设备、增强现实(Augmented Reality，AR)终端设备、工业控制(industrial control)中的无线终端设备、无人驾驶(self driving)中的无线终端设备、远程医疗(remote medical)中的无线终端设备、智能电网(smartgrid)中的无线终端设备、运输安全(transportation safety)中的无线终端设备、智慧城市(smart city)中的无线终端设备或智慧家庭(smart home)中的无线终端设备等。
图1表示本公开实施例提供的环境***示意图。
结合图1所示，该环境***包括多个AP和多个STA。
在上述多个***中，每个AP可以接入一个或多个STA；每个STA也可以接入一个或多个AP。
示例地，一个AP可以与一个STA相连接，并建立至少两条信道。如图1中的STA1与AP1；一个AP也可以与两个STA相连接，并建立至少两条信道。如图1中的STA2与AP2、AP3。
每个STA可以获取其与所接入的AP之间的一个或多个信道的信道感知信息及数据传输信息。各STA之间还可感测获取组内其他AP对本STA的干扰功率。
在现有技术中，虽然一个STA可以连接多个AP，该STA可以和多个AP之间建立多条双工信道，但是每条信道都需要负责上行和下行的数据承载。信道发送数据之前，STA和AP会进行载波侦听多址接入(carrier sense multiple access，CSMA)/增强分布式信道接入(enhanced distributed channel access，EDCA)退避，数据发送后可能会发生空口碰撞，如果发生空口碰撞，则数据发送失败，需要重新发送。当信道上下行均有数据发送时，如果AP或STA正在发送上行数据，则下行需要等待上行发送完毕，才能进行数据发送。如果正在发送下行数据，则上行需要等待下行发送完毕，才能进行数据发送。因此，可能会导致上下行数据发生碰撞，且数据发送的等待时延长，影响***的信道利用率和数据吞吐量。
在本实施例中的上行信道负责从STA向AP传输信息数据。
空闲信道是指接入的多信道中未被占用的信道。一般地，可以通过搜索发出空闲信号的信道，或搜索无载波信道在接入的信道中确定空闲信道。
通过搭建上述的网络架构，以及AP与STA间的信息交互、数据处理，获取在信道状态难以估计的情况下，基于该用于确定上行信道的方法，完成信道的分配。以实现***吞吐量的提升，提高信道的利用率。
在一些情况下，上述的环境***还可以包括网络控制器、移动管理实体等其他网络实体，本申请实施例对此不作限定。
基于上述的环境***，本公开实施例提供一种用于确定上行信道的方法，使得STA能够在所分配的资源中确定上行信道，并接入上传数据。
如图2所示，该方法应用于终端设备STA，包括：
步骤S201，STA接收触发指令；触发指令用于触发STA感知信道状态。
这里，触发指令用于告知STA数据包到达，可以进行感知信道状态，以传输数据包。
步骤S202，若存在空闲信道，则STA根据空闲信道的性能信息确定上行信道，接入上行信道进行数据传输。
步骤S203，若不存在空闲信道，则STA在设定的退避时长后再次感知信道状态。
这样，当有数据包到达时，STA开始感知信道状态，如果没有感知到空闲信道，则数据包退避，继续感知；如果感知到空闲状态，则根据空闲状态的性能信息在空闲状态中确定上行信道，以进行数据传输。能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率。
可选地，根据空闲信道的性能信息确定上行信道，包括：
获取空闲信道的性能信息；
将成功传输数据包的能力最优的空闲信道，确定为上行信道。
这里，成功传输数据包的能力可以通过数据包历史传输成功率和/或信道感知权重确定。
例如，将数据包历史传输成功率最高的信道，确定为上行信道。
这样，通过获取一个或多个空闲信道性能信息中的历史传输数据，即可确定历史传输成功率。历史传输成功率越高，发生信道碰撞等影响传输质量的可能越低。
又例如，将信道感知权重最高的信道，确定为上行信道。
信道感知权重，一般可以通过STA在对应信道上利用频谱感知算法计算获取，用于表示信道质量。
近年来，基于强化学习的研究越来越广泛，强化学习是一种在线学习算法，智能体和外部环境通过奖励机制进行交互，根据在环境中得到的奖励值来调整自身行为，使得智能体学习并适应外部环境，促使智能体选择能够在环境中获得使自身最大奖励的行为。可将强化学习的这种学习并适应于外部环境的特性应用于STA与AP间的信道选择中，使STA作为智能体对变化的信道状态进行学习，最终在空闲信道中选择成功传输数据包的能力最优的空闲信道作为上行信道，以减少信道状态扫描开销并提高信道检测概率。达到实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率的目的。
下面，结合具体方案对上述方案进行说明。
如图3所示，本公开实施例提供一种用于确定上行信道的方法，应用于图1中的STA，以通过强化学习的数据处理方式，确定STA与AP间的上行信道。该方法包括：
步骤S301，STA接收触发指令；触发指令用于触发STA感知信道状态。
步骤S302，在存在空闲信道的情况下，根据网络平均吞吐量优化问题，构建基于强化学习的上行信道选择模型。
若不存在空闲信道，则STA在设定的退避时长后再次感知信道状态。
这里，所构建的基于强化学习的上行信道选择模型，包括状态集、动作集和奖励函数。
可选地，该基于强化学习的上行信道选择模型的建立，包括：
其中，Ct表示t时刻的网络平均吞吐量；N表示STA的总数；表示t时刻第k个STA的信干噪比。其中，信干噪比是指***中信号与干扰和噪声之和的比。
如此，将STA与AP间的信道信息用于上行信道选择模型的建立，使得选择上行信道时，能够结合各信道的状态，以使得***吞吐量达到要求。
步骤S303，以网络平均吞吐量最大为目标，将信道状态信息、性能信息输入到基于强化学***均吞吐量。
可选地，该基于强化学习的上行信道选择模型的训练，包括：
将信道状态信息、性能信息作为强化学习的状态集
其中，表示STA在信道上的信道感知权重的集合；表示t时刻第k个STA在第m个信道上的感知权重；
表示STA在信道上的数据包传输权重的集合；表示t时刻第k个STA在第m个信道上的数据包传输权重感知权重；
将状态集S输入基于强化学习的上行信道选择模型中训练，得到动作集A＝{f1,f2,…,fM}，表示STA采取对应于在M个空闲信道中选择上行信道的动作的集合；
根据状态集确定奖励参数表示t时刻第k个STA在第m个信道传输的即时奖励；
根据奖励参数Rt训练基于强化学习的上行信道选择模型，以得到使奖励参数Rt最大的***动作对应的信道，作为上行信道。
这里，奖励参数Rt用于表示t时刻所选择的上行信道的感知权重和信道传输权重的平均值。
进一步地，根据奖励参数Rt训练基于强化学习的资源分配决策模型，包括：将如下方式，作为强化学习的更新规则：
其中，Qt表示当前状态的Q值，Qt+1表示下一状态时刻的Q值；α表示的强化学习的学习率，取值为(0,1)；β表示对历史奖励的重视程度，取值为(0,1)；表示即时奖励；maxQt(S′,A′)表示下一时刻所有可能动作策略的最大Q值。
图4中示出了本公开实施例中强化学习训练的示意图，以对上述步骤进行说明。
本实施例中的强化学习，采用Q-Learning算法。通过智能体在环境中执行动作获得一定的奖励来感知环境，从而学习到由状态到动作的映射策略来最大化奖励值。
在图4中，将STA作为强化学习的代理，作为智能体进行数据处理。根据STA接收的AP之间的相互干扰信息及信道空闲情况，利用强化学习算法实现合理有效的上行信道选择。通过智能体STA与环境不断交互的过程，从环境中得到反馈，进而改变智能体STA的动作，实现上行信道选择动作的调整。
具体地，STA首先获取AP之间相互干扰信息及信道空闲情况，作为信道性能信息和状态信息S0，智能体STA在S0环境下采取行动A0作为信道选择决策，并反馈给环境中的AP。这里，STA所采取的动作可以根据贪婪策略进行选择。
智能体STA进行信道选择决策后，根据所选择的上行信道进行接入及数据传输。根据***吞吐量确定奖励参数R1，向STA进行反馈；并向STA发送包含AP之间的相互干扰信息及信道空闲情况的下一状态S1。STA收到奖励参数R1和环境状态的S1后，根据强化学习的更新规则，更新Q值表，并对环境采取行动A1作为上行信道选择决策。环境状态接收到动作A1后由状态S1变化到S2，并且反馈奖励参数R2。即STA得到奖励参数R2、状态S2，更新Q值表，采取A2行动；得到奖励参数R3、状态S3，更新Q值表，采取A3行动。以此进行循环，直到***吞吐量最大，即奖励参数Rt达到最大。最终达到减少干扰，提高吞吐量的目的。
通过Q值表的更新，表中对每条信道都用一个Q值代表其信道传输质量的高低；在有数据包到达时，STA开始感知空闲信道，如果没有感知到空闲信道，则数据包退避，继续感知；如果感知到空闲信道，利用Q-Learning机制对上行信道选择策略进行学习。Q-learning学习过程包括：根据上一状态St决定此时刻的动作At+1，然后更新状态St+1，并且会反馈一个奖励Rt。STA通过学习会在空闲信道中选择一个传输质量最好的信道进行传输，这里的传输质量的衡量是历史传输数据包成功率的高低。并根据奖励参数更新Q值表中的Q值。这样，根据Q值对信道进行排序，可得到信道传输质量排序列表。当接收数据包达到信息后，STA可通过Q-Learning按照贪婪决策策略来采取行动，即以ε的概率在空闲信道中进行选择，最终确定上行信道。
步骤S304，在网络平均吞吐量达到最大值的情况下，根据基于强化学习的上行信道选择模型的输出确定上行信道。
将奖励参数Rt达到最大值时，***对应的动作At作为最优策略，以确定相应的上行信道选择动作。
步骤S305，接入上行信道进行数据传输。
如此，通过基于强化学习的上行信道选择模型，通过终端STA感知信道状态以及空闲信道的数量来做出决策，选择信道质量最高的信道进行数据传输，并将奖励反馈给环境同时更新下一状态。以在空闲信道中根据信道性能确定上行信道，进行数据传输。这样，能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率。
图5示出了一种用于确定上行信道的方法，以说明在有数据包到达时感知信道情况，并利用强化学习选择所要接入的信道以完成向AP的上行传输的步骤。
如图5所示，本公开实施例提供一种用于确定上行信道的方法，应用于图1中的STA，以通过强化学习的数据处理方式，确定STA与AP间的上行信道。该方法包括：
步骤S501，STA接收触发指令；触发指令包括数据包到达指示。
步骤S502，STA感知是否存在空闲信道。
步骤S503，若不存在空闲信道，则进行数据包退避，并在设定的退避时长后再次感知信道状态。设定的退避时长服从均值为λ的随机分布确定。
步骤S504，若存在空闲信道，利用Q-learning算法通过基于强化学习的上行信道选择模型输出信道选择决策，作为上行信道。
步骤S505，接入上行信道进行数据传输。并根据所选择的信道动作、以及选择后***吞吐量变化更新步骤S504中的动作集和奖励参数。
步骤S506，在数据传输成功后，根据传输结果更新步骤S504中Q-learning算法所需的信息。根据传输结果更新步骤S504中的状态集，并返回步骤S501接收新的数据包到达指示。
步骤S507，在数据传输失败后，根据传输结果更新步骤S504中Q-learning算法所需的信息，并返回步骤S502重新执行数据传输指令。根据传输结果更新步骤S504中的状态集。
如此，通过基于强化学习的上行信道选择模型，通过终端STA感知信道状态以及空闲信道的数量来做出决策，选择信道质量最高的信道进行数据传输，并将奖励反馈给环境同时更新下一状态。并在做出决策以后继续对环境状态进行更新。将数据包传输后存在的两种情况更新到Q-learning学习过程中。在传输成功后，在更新环境状态之后，本次数据传输结束，等待新的数据包到达，进入下一轮数据传输；在传输失败后，在更新环境状态之后，要进入重传机制，重新感知信道，以进行数据包的传输。这样，能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率。
图6示出了一种用于确定上行信道的方法，应用于图1所示环境***中的AP，包括：
步骤S601，AP发送触发指令；触发指令用于触发STA感知信道状态。
这里，AP通过向STA发送触发指令，以获取STA反馈的数据缓存信息，并触发STA进行信道状态感知，从而进行数据传输。AP可以发送BSRP缓存状态报告轮询帧(BufferStatus Report Poll，BSRP)来使STA发送缓存状态报告帧(Buffer Status Report,BSR)。
步骤S602，AP接收STA通过上行信道传输的数据；上行信道是STA根据空闲信道的性能信息确定的。
在接收到STA通过上行信道传输的数据后，AP还向STA发送确认字符(Acknowledgecharacter，ACK)以表示接收到上传数据。
这样，能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，提高***的频谱效率。
图7示出了一种用于确定上行信道的方法的应用示意图。
在该实际应用中，该用于确定上行信道的方法包括以下步骤：
步骤S701，AP向STA发送BRSP，请求获取STA的数据缓存信息；
步骤S702，STA向AP发送BSR，反馈数据缓存信息；
步骤S703，STA感知当前所有信道状态，如果感知到有多个空闲信道，则进入Q-learning学习过程环境，选择成功传输数据包的能力最优的空闲信道作为上行信道。如果没有信道空闲，数据包将退避一段时间再进行传输，退避时间是服从均值为λ的随机分布。
步骤S704，STA接入上行信道并传输数据。
步骤S705，AP接收到STA传输的数据，向STA发送ACK以表示接收。
如此，通过终端STA感知信道状态，并在空闲信道中根据信道性能确定上行信道，进行数据传输。这样，能够在通信失协等未知CSI信息或CSI信息不完整的情况下，通过STA完成上行信道的选择，可以实现较大的吞吐量提升，并最大化信道利用率，降低信道间碰撞的概率，降低多AP间干扰对数据传输的影响，提高***的频谱效率。
结合图8所示，本公开实施例提供一种终端设备，包括处理器800和存储器801。存储器801用于存储计算机程序，处理器800用于调用并运行存储器中存储的程序，执行如上述的用于确定上行信道的方法。
可选地，该设备还包括通信接口802和总线803。通信接口802用于与其它网络设备进行通信；处理器800、通信接口802、存储器801可以通过总线803完成相互间的通信。
结合图9所示，本公开实施例提供一种网络设备，包括处理器900和存储器901。存储器901用于存储计算机程序，处理器900用于调用并运行存储器中存储的程序，执行如上述的用于确定上行信道的方法。
可选地，该设备还包括通信接口902和总线903。通信接口902用于与其它网络设备进行通信；处理器900、通信接口902、存储器901可以通过总线903完成相互间的通信。
此外，上述的存储器901中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器901作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器900通过运行存储在存储器901中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于确定上行信道的方法。
存储器901可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于确定上行信道的方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于确定上行信道的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (10)
1.一种用于确定上行信道的方法，应用于终端设备STA，其特征在于，所述方法包括：
接收触发指令；所述触发指令用于触发STA感知信道状态；
若存在空闲信道，则根据空闲信道的性能信息确定上行信道，接入所述上行信道进行数据传输；
若不存在空闲信道，则在设定的退避时长后再次感知信道状态。
2.根据权利要求1所述的方法，其特征在于，所述接入所述上行信道进行数据传输，包括：
在数据传输成功后，根据传输结果更新对应信道的性能信息，并接收新的数据包到达指示；
在数据传输失败后，根据传输结果更新对应信道的性能信息，并重新执行数据传输指令。
3.根据权利要求1所述的方法，其特征在于，所述根据空闲信道的性能信息确定上行信道，包括：
获取空闲信道的性能信息；
将成功传输数据包的能力最优的空闲信道，确定为上行信道。
4.根据权利要求3所述的方法，其特征在于，所述上行信道的确定，包括：
构建基于强化学习的上行信道选择模型；
将信道状态信息、性能信息输入到基于强化学***均吞吐量；
在网络平均吞吐量达到最大值的情况下，根据所述基于强化学习的上行信道选择模型的输出确定上行信道。
5.根据权利要求4所述的方法，其特征在于，基于强化学习的上行信道选择模型的训练，包括：
将信道状态信息、性能信息作为强化学习的状态集
其中，表示STA在信道上的信道感知权重的集合；表示t时刻第k个STA在第m个信道上的感知权重；
表示STA在信道上的数据包传输权重的集合；表示t时刻第k个STA在第m个信道上的数据包传输权重感知权重；
将所述状态集S输入基于强化学习的上行信道选择模型中训练，得到动作集A＝{f1,f2,…,fM}，表示STA采取对应于在M个空闲信道中选择上行信道的动作的集合；
根据所述状态集确定奖励参数表示第k个STA在第m个信道传输的即时奖励；
根据所述奖励参数Rt训练所述基于强化学习的上行信道选择模型，以得到使奖励参数Rt最大的***动作对应的信道，作为所述上行信道。
6.根据权利要求5所述的方法，其特征在于，所述基于强化学习的上行信道选择模型的建立，包括：
其中，Ct表示t时刻的网络平均吞吐量；N表示STA的总数；SINRt k表示t时刻第k个STA的信干噪比。
7.根据权利要求5所述的方法，其特征在于，所述根据所述奖励参数Rt训练所述基于强化学习的上行信道选择模型，包括：
将如下方式，作为强化学习的更新规则：
其中，Qt表示当前状态的Q值，Qt+1表示下一状态时刻的Q值；α表示的强化学习的学习率，取值为(0,1)；β表示对历史奖励的重视程度，取值为(0,1)；表示即时奖励；maxQt(S′,A′)表示下一时刻所有可能动作策略的最大Q值。
8.一种用于确定上行信道的方法，应用于接入点AP，其特征在于，包括：
发送触发指令；所述触发指令用于触发STA感知信道状态；
接收STA通过上行信道传输的数据；所述上行信道是所述STA根据空闲信道的性能信息确定的。
9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的程序，执行如权利要求1至7所述的用于确定上行信道的方法。
10.一种网络设备，其特征在于，包括处理器和通信接口，通信接口用于与其它网络设备进行通信；处理器用于运行一组程序，以使得所述网络设备实现如权利要求8所述的用于确定上行信道的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211128492.3A CN117768075A (zh) | 2022-09-16 | 2022-09-16 | 用于确定上行信道的方法及终端、网络设备 |
| PCT/CN2023/107293 WO2024055739A1 (zh) | 2022-09-16 | 2023-07-13 | 用于确定上行信道的方法及终端、网络设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211128492.3A CN117768075A (zh) | 2022-09-16 | 2022-09-16 | 用于确定上行信道的方法及终端、网络设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117768075A true CN117768075A (zh) | 2024-03-26 |
Family
ID=90274172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211128492.3A Pending CN117768075A (zh) | 2022-09-16 | 2022-09-16 | 用于确定上行信道的方法及终端、网络设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117768075A (zh) |
| WO (1) | WO2024055739A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101257714B (zh) * | 2008-04-08 | 2011-03-09 | 浙江大学 | 认知无线电***的跨层自适应并行信道分配方法 |
| WO2017036258A1 (zh) * | 2015-09-02 | 2017-03-09 | 华为技术有限公司 | 竞争接入方法、竞争接入装置、站点及竞争接入*** |
| EP3892054B1 (en) * | 2019-02-21 | 2024-04-24 | Google LLC | User-equipment-coordination set for a wireless network using an unlicensed frequency band |
| CN111342920B (zh) * | 2020-01-10 | 2021-11-02 | 重庆邮电大学 | 一种基于q学习的信道选择方法 |
| CN113225832B (zh) * | 2020-02-05 | 2023-02-24 | 维沃移动通信有限公司 | 非授权频段的数据传输方法及装置、通信设备 |
-
2022
- 2022-09-16 CN CN202211128492.3A patent/CN117768075A/zh active Pending
-
2023
- 2023-07-13 WO PCT/CN2023/107293 patent/WO2024055739A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024055739A1 (zh) | 2024-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110447258B (zh) | 一种上行控制信道的资源映射方法及装置 | |
| US10856164B2 (en) | Method for scheduling resources in unlicensed frequency band, base station and terminal | |
| US20230422188A1 (en) | Multi-link operation with triggered alignment of frames | |
| EP3241391B1 (en) | Method and station for digital communications with interference avoidance | |
| JP5951648B2 (ja) | 上りリンク多重ユーザ多重入出力チャネルアクセスのためのアクセスポイント及び端末の通信方法 | |
| CN112333661A (zh) | 资源选择方法、装置及终端设备 | |
| EP3403351B1 (en) | Feedback for data block transmission | |
| US9526106B2 (en) | Method and apparatus for transmitting data in wireless communication system | |
| EP3713122B1 (en) | Method for replying with acknowledgement frame, apparatus, and data transmission system | |
| CN110139353A (zh) | 一种多接入点ap协调传输的方法以及相关装置 | |
| CN107736049A (zh) | 上行数据传输的方法和装置 | |
| JP2019083577A (ja) | サイクリック・プレフィックスの長さを設定するためのシステムおよび方法 | |
| CN107113749A (zh) | 用于功率控制的***和方法 | |
| US10135563B2 (en) | Triggering of an uplink pair of packets in a wireless local area network | |
| EP3952166B1 (en) | Feedback information determining method and apparatus | |
| TW201607266A (zh) | 在具有有限的回聲消除能力之裝置上的全雙工無線通訊技術 | |
| WO2018145302A1 (zh) | 无线通信方法、终端设备和网络设备 | |
| CN104158645A (zh) | 一种无线局域网中基于全双工接入点的介质访问控制方法 | |
| EP3099130B1 (en) | Data communication method, station and system | |
| CN108476476A (zh) | 功率指示***和方法 | |
| CN107409431A (zh) | 一种数据传输控制方法及接入点、站点 | |
| CN114365530B (zh) | 一种信息传输方法、装置、终端以及存储介质 | |
| CN112822766A (zh) | 一种发送应答帧的方法、装置、站点及存储介质 | |
| CN117768075A (zh) | 用于确定上行信道的方法及终端、网络设备 | |
| CN107041006B (zh) | 传输数据的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |