CN115865145A - 一种基于Transformer的大规模MIMO信道状态信息反馈方法 - Google Patents

一种基于Transformer的大规模MIMO信道状态信息反馈方法 Download PDF

Info

Publication number
CN115865145A
CN115865145A CN202211507543.3A CN202211507543A CN115865145A CN 115865145 A CN115865145 A CN 115865145A CN 202211507543 A CN202211507543 A CN 202211507543A CN 115865145 A CN115865145 A CN 115865145A
Authority
CN
China
Prior art keywords
matrix
layer
decoder
cdtransformer
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211507543.3A
Other languages
English (en)
Inventor
李军
王昱凯
张志晨
何波
王荣
张绪毅
袁亚微
刘智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Qilu University of Technology
Original Assignee
Shandong University
Qilu University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, Qilu University of Technology filed Critical Shandong University
Priority to CN202211507543.3A priority Critical patent/CN115865145A/zh
Publication of CN115865145A publication Critical patent/CN115865145A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明属于智能通信领域，公开了一种基于Transformer的大规模MIMO信道状态信息反馈方法。在用户端对获取的下行链路的CSI信道矩阵H做二维离散傅里叶变换，得到信道矩阵，根据该矩阵得到截断矩阵Ha；构建编码器和解码器的模型CDTransformer，其中编码器在用户端，解码器在基站端。编码器的输入是截断矩阵Ha，输出是码字向量；基站端的输入是码字向量，输出是截断矩阵的估计值
Figure DDA0003969741680000011
对截断矩阵的估计值
Figure DDA0003969741680000012
进行二维逆离散傅里叶变换，恢复得到原始空频域的信道矩阵
Figure DDA0003969741680000013
重建值；对CDTransformer网络模型进行训练，使得截断矩阵估计值
Figure DDA0003969741680000014
和截断矩阵Ha尽可能接近，获得模型参数；将训练好的CDTransformer模型用于CSI的压缩和重建。

Description

一种基于Transformer的大规模MIMO信道状态信息反馈方法
技术领域
本发明属于智能通信领域，特别涉及一种基于Transformer的大规模多输入多输出(Multiple-Input Multiple-Output，MIMO)***的信道状态信息(Channel StateInformation，CSI)反馈方法。
背景技术
大规模MIMO被广泛认为是第五代无线通信***中的关键技术之一。大规模MIMO能够借助更大的天线阵列，提高频谱效率和能量效率。下行链路CSI需要在基站(BaseStation，BS)处获得，以使MIMO***可以通过波束成形获得性能增益，从而显著提高网络吞吐量。CSI的获取通常在使用导频信号的训练过程中执行，具体地说，用户设备(UserEquipment，UE)在将其估计的CSI返回给BS之前需要接收从其BS发送的导频信号。在频分双工(Frequency Division Duplexing，FDD)***中，BS需要获取实时CSI进行预编码，上行CSI可以通过信道估计获得，而下行CSI必须从UE反馈。不幸的是，CSI反馈会产生过多的反馈开销，随着天线、接收器和子载波的数量增加，这已成为实际部署大规模MIMO***的主要障碍。
为了减少CSI反馈开销，通过利用CSI的时间相关性和空间相关性，引入压缩感知(Compression Sensation，CS)来设计具有压缩信道估计的CSI反馈协议。但是传统的CS方法要求CSI矩阵足够稀疏，实际***不能满足要求，尤其是压缩比较大时。另一方面，深度学习(Deep Learning，DL)在计算机视觉和信号处理方面取得了巨大成功。基于DL的方法主导了图像压缩任务，这促使研究人员也使用神经网络压缩CSI矩阵。
公开号CN108390706B、发明名称为“一种基于深度学习的大规模MIMO信道状态信息反馈方法”的专利文献将深度学习技术引入大规模MIMO***反馈方案中，为解决大规模MIMO***中信道状态信息反馈开销大的问题，与传统CS方法相比，其呈现出压倒性优势，然而该方案在室外复杂场景和低反馈开销下仍然存在着不能很好的保留信道完整信息和CSI重构精度较低的问题。
发明内容
发明目的：本发明提出了一种名为CDTransformer和MixedTransformer的模型来实现稳健的CSI反馈，同时减少反馈开销。
技术方案：本发明所述的一种基于Transformer的大规模MIMO信道状态信息反馈方法，其包括：
在FDD制式下的大规模MIMO***中，获取基站端天线采用半波长间距的均匀线性阵列和用户端为单用户的情况下下行链路的信道状态信息的信道矩阵；
在用户端侧对获取的下行链路的CSI信道矩阵做二维离散傅里叶变换，即在用户端侧对大规模MIMO信道状态信息在空频域的信道矩阵H进行二维离散傅里叶变换，获得在角延迟域稀疏的信道矩阵H。通过二维离散傅里叶变换在角延迟域中稀疏化
Figure SMS_1
变换过程为/>
Figure SMS_2
其中，Fd和Fa分别为/>
Figure SMS_3
和Nt×Nt的离散傅里叶变换矩阵，对于角延迟域信道矩阵H'，保留H'的前Nc行并删除剩余行，将截断矩阵的实部和虚部连接起来形成维度为Nc×Nt的实值矩阵Ha；
将获得的角延迟域稀疏的信道矩阵截断得到截断矩阵Ha；
构建包括编码器和解码器的模型CDTransformer，其中编码器属于用户端，将截断矩阵通过编码器转换为码字向量。解码器属于基站端，将编码器得到的码字向量通过解码器得到截断矩阵的估计值
Figure SMS_4
采用端到端的方式对模型CDTransformer网络进行训练，使得截断矩阵Ha和
Figure SMS_5
接近，获得模型参数；
将训练好的CDTransformer模型用于CSI的压缩和重建，对获取的截断矩阵的估计值先进行补零操作使其恢复为原始CSI矩阵大小，再进行二维逆离散傅立叶变换，恢复得到原空频域的信道矩阵
Figure SMS_6
对于CDTransformer的编码器，包含CDTransformer编码器层和二值化全连接层。其中CDTransformer编码器层包含3×3卷积头、1×9卷积核、9×1卷积核、1×1卷积头、多头自注意力层、两个层归一化层、二值化全连接层和重塑层。对于所述的编码器，Ha首先进入CDTransformer编码器层，CDTransfomer编码器层包括CNN和改进的Transformer网络，CDTransformer编码器层输出一个大小为S1×S2的矩阵，将S1×S2矩阵转换为长度为S1×S2的向量，将S1×S2的向量馈送到二进制全连接层，生成的编码向量s长度为M。对于所述的解码器，解码器的输入是编码向量s，解码器的第一层二值化全连接层，输出一个长度为S1×S2的向量，解码器的下一层是CDTransformer解码器层，输出为与信道矩阵Ha同纬度的重建信道矩阵。
对于基站端的解码器，包含二值化全连接层和CDTransformer解码器层。其中CDTransformer解码器层包含重塑层、多头自注意力层、两个归一化层、二值化全连接层、1×1卷积头、3×3卷积头、1×9卷积核、9×1卷积核和sigmoid函数；
对于CDTransformer的编码器，它包括CDTransformer编码器层和二值化全连接层。首先，Ha通过一个3×3的卷积头，然后采用卷积分解，将标准的9×9卷积核分成1×9核和9×1核。接着我们连接输出和输入并将它们与1×1卷积层合并，并重新整形为一个放大尺寸为4Nc×Nt的矩阵并且d＝2Nc。再将放大后的矩阵输入到一个多头自注意力层中。之后将自注意力层的输入和输出相加，随后进行归一化。然后将归一化的数据输入到二值化全连接层进行线性变换。接着将全连接层的输入和输出相加并归一化，生成一个大小为S1×S2的矩阵，将矩阵转换为S1S2的向量。最后将向量馈送到二进值全连接层，生成的编码向量s长度为M，其中M≤S1·S2。
对于CDTransformer的解码器，包括二值化全连接层和CDTransformer解码器层。其中解码器的输入是压缩码字s，解码器的第一层为二值化全连接层，用于恢复降维，输出一个长度为S1·S2的向量。下一层是CDTransformer解码器层，用于重建原始CSI空间模式。对于CDTransformer解码器，首先将向量转换为大小为S1×S2的矩阵，然后将矩阵输入到一个多头自注意力层，再将自注意力层的输入和输出相加并归一化。接下来，将归一化的数据通过二值化全连接层并将全连接层的输入和输出相加并归一化。之后，通过多个卷积层，在卷积层的末尾省略了整形操作。这些操作旨在将矩阵大小从S1×S2减小到2Nc×Nt。解码器的最后一个卷积层采用sigmoid激活函数，编码器和解码器的其余各卷积层均采用PReLU激活函数并使用批归一化，即最后的输出通过sigmoid函数缩放到[0,1]，它是用于输出范围归一化的。
将训练好的CDTransformer模型用于CSI的压缩和重建时，其中的CDTransformer模型还可以采用MixedTransformer网络模型，对于MixedTransformer网络模型，截断矩阵Ha被输入到由1×1内核组成的卷积层中。卷积层的输出包含S3＝2个高度为S1和宽度为S2的特征图，然后将特征图转换为长度为S1×S2×S3的向量后,最后将特征图加载到二值化全连接层中以生成压缩码字s。MixedTransformer的解码器与CDTransformer的解码器相同。MixedTransformer在其编码器中采用CNN结构以减少计算复杂度，同时在其解码器中使用CDTransformer解码器层网络以获得性能增益。
每个卷积之后都有一个批量归一化。在每个“conv”层的末尾添加了一个PReLU激活层以提供非线性。PReLU在每个卷积信道上学习不同的负斜率。
对编码器和解码器的所有内核和偏差值使用端到端学习，其中参数集表示为Θ＝{Θen,Θde}，网络的输入是Ha，第a个补丁的重建信道矩阵表示为
Figure SMS_7
该网络的输入和输出是归一化的信道矩阵，其元素在[0,1]范围内缩放。与自动编码器类似，它是一种无监督学习，该组参数使用Adam算法更新，使用归一化均方误差(NormalizedMean Square Error，NMSE)作为损失函数：/>
Figure SMS_8
所述的模型参数包括全连接层的权重、偏置和卷积层的卷积核、偏置。
本发明提出了CDTransformer模型，用于大规模MIMO频分双工***中下行链路CSI反馈，通过使用小卷积核级联的方式代替大卷积核可以在不增加任何计算复杂度的情况下提升网络性能，通过在全连接层加入二值化来减少CSI反馈开销，通过采用PReLU作为激活函数来丰富CSI特征多样性。此外，因为用户端功率有限，提出了一种MixedTransformer的网络模型。其中，MixedTransformer模型使用计算成本较低、结构简单的单层卷积神经网络(CNN)作为编码器的卷积头，而解码器采用和CDTransformer模型相同的解码器。
附图说明
图1为本发明具体实施方式的流程图。
图2为本发明CDTransformer反馈网络结构示意图。
图3为本发明CDTransformer的编码器层结构示意图。
图4为本发明CDTransformer的解码器层结构示意图。
图5为本发明CNN编码器和CDTransformer解码器的MixdTransformer网络模型。
图6为不同算法重建不同压缩比的信道图像。
图7为不同算法在1/32压缩比下随着训练轮数的增多NMSE变化的情况。
图8为不同算法在不同压缩比情况下的NMSE对比图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提出一种基于Transformer的大规模MIMO信道状态信息反馈方法，包括以下步骤：
(1)在频分双工(FDD)制式下的大规模MIMO***中，获取下行链路的CSI信道矩阵H；
(2)在用户端侧对大规模MIMO信道状态信息在空频域的信道矩阵H进行二维DFT变换，得到在角度延迟域稀疏的信道矩阵，将得到的在角度延迟域稀疏的信道矩阵的前Nc行非零元素进行截断得到截断矩阵Ha；
(3)构建包括编码器和解码器的模型CDTransformer，其中编码器属于用户端，将截断矩阵通过编码器转换为码字向量。解码器属于基站端，将编码器得到的码字向量通过解码器得到截断矩阵的估计值
Figure SMS_9
(4)采用端到端的方式对模型CDTransformer网络进行训练，使得截断矩阵Ha和
Figure SMS_10
尽可能接近，获得模型参数；
(5)将训练好的CDTransformer模型用于CSI的压缩和重建，对获取的截断矩阵的估计值先进行补零操作使其恢复为原始CSI矩阵大小，再进行二维逆DFT变换，恢复得到原空频域的信道矩阵
Figure SMS_11
在本实施例中将有编码器和解码器构成的反馈网络命名为CDTransformer。在用户端用编码器将CSI压缩编码为低维度码字，经反馈链路传送至基站端解码器并重建出CSI，减少CSI反馈开销。以下结合具体场景对本发明方法进行具体说明。
使用在线提供的数据集作为训练和测试数据集，训练数据集和测试数据集分别为256000和64000个样本。数据是由配备有Nt＝32个天线和
Figure SMS_12
个子载波的均匀线性阵列(ULA)的BS生成的。该***工作在3.5GHz频段。此外只有信道矩阵的前16行保留在角延迟域中。换句话说，H在被重新整形为二维实值矩阵后的大小为32×32。训练以40个epoch的批大小进行。学习率在前30个epoch为0.001，最后10个epoch降到0.0001。
在频分双工制式下的大规模MIMO***中，获取基站端天线采用半波长间距的均匀线性阵列和用户端为单用户的情况下下行链路的CSI信道矩阵,在用户端对获取的下行链路的CSI信道矩阵做二维DFT，获得在角延迟域稀疏的信道矩阵,变化过程为
Figure SMS_13
其中Fd和Fa分别为/>
Figure SMS_14
和Nt×Nt的DFT矩阵。对于角延迟域信道矩阵H'，只有前Nc行中包含非零元素，因为多径到达之间的时间延迟位于有限的周期内。因此，可以保留H'的前Nc行并删除剩余行，其余行大多数元素是为0的，可以省略这些元素而不会丢失太多信息。然后将截断矩阵的实部和虚部连接起来形成维度为Nc×Nt的实值矩阵。为了便于理解，用Ha来表示H'的前Nc行，Ha被送入编码器。/>
在得到截断矩阵
Figure SMS_15
后，所需反馈的元素数量是Nc×Nt。这在大规模MIMO通信***中仍然是一个很大的数，需要巨大的***开销。因此，在反馈之前进一步压缩Ha以使反馈尽可能轻。传统的基于压缩感知(CS)的压缩算法依赖于Ha的稀疏性，但是只有当Nt→∞时，Ha才足够稀疏。然而，Nt在实际***中受到限制，使得Ha的稀疏性不足。通过从给定的CSI矩阵学习空间模式，即使在密集的情况下，基于DL的编码器和解码器也可以高精度地压缩和恢复矩阵Ha。因此，提出了一种基于Transformer的反馈框架，建立一个UE编码器fen和一个BS解码器fde分别负责CSI编码和恢复。编码器过程可以表示为s＝fen(Ha),其中，s是编码器的输出结果，s在不同的压缩率下有不同的矩阵大小，fen(·)表示为编码器函数。编码器可以将信道矩阵Ha转换为M维向量(码字)，其中/>
Figure SMS_16
M＜2NcNt。数据压缩比为/>
Figure SMS_17
然后将码字s发送到BS端。一旦BS得到压缩后的CSI矩阵s，就可以通过BS基于Transformer框架实现的解码器重建矩阵/>
Figure SMS_18
这个重建过程可以表示为/>
Figure SMS_19
其中，/>
Figure SMS_20
为重建后的截断矩阵，fde(·)表示为解码器函数。由于采用的是基于DL的方法，因此，编码器与解码器采用端到端的训练方式。整个CSI反馈流程可以表示为/>
Figure SMS_21
图2显示了提出的CSI反馈架构，称为CDTansformer。图3描述了CDTransformer编码器层的详细结构。对于所述的编码器，它是由CDTransformer编码器层和二值化全连接层组成。首先，Ha通过一个3×3的卷积头，然后采用卷积分解，将标准的9×9卷积核分成1×9核和9×1核。接着连接输出和输入并将它们与1×1卷积层合并，并重新整形为一个放大尺寸为4Nc×Nt的矩阵并且d＝2Nc。再将放大后的矩阵输入到一个多头自注意力层中。之后将自注意力层的输入和输出相加，随后进行归一化。然后将归一化的数据输入到二值化全连接层进行线性变换。接着将全连接层的输入和输出相加并归一化，生成一个大小为S1×S2的矩阵，将矩阵转换为S1S2的向量。最后将向量馈送到二进值全连接层，生成的编码向量s长度为M，其中M≤S1·S2。
图4描述了CDTransformer解码器层的详细结构。对于所述的解码器，它是由二值化全连接层和CDTransformer解码器层组成。其中解码器的输入是压缩码字s，解码器的第一层为二值化全连接层，用于恢复降维，输出一个长度为S1·S2的向量。下一层是CDTransformer解码器层，用于重建原始CSI空间模式。对于CDTransformer解码器，首先将向量转换为大小为S1×S2的矩阵，然后将矩阵输入到一个多头自注意力层，再将自注意力层的输入和输出相加并归一化。接下来，将归一化的数据通过二值化全连接层并将全连接层的输入和输出相加并归一化。之后，通过多个卷积层，在卷积层的末尾省略了整形操作。这些操作旨在将矩阵大小从S1×S2减小到2Nc×Nt。最后的输出通过sigmoid函数缩放到[0,1]，它是用于输出范围归一化的。
对于MixedTransformer网络模型，它是利用一个卷积层来替换CDTransformer中的CDTransformer编码器层。图5显示了提出的MixedTransformer网络模型，其中截断矩阵Ha被输入到由1×1内核组成的卷积层中。卷积层的输出包含S3＝2个高度为S1和宽度为S2的特征图，然后将特征图转换为长度为S1×S2×S3的向量后,最后将特征图加载到二值化全连接层中以生成压缩码字s。MixedTransformer的解码器与CDTransformer的解码器相同。MixedTransformer在其编码器中采用CNN结构以减少计算复杂度，同时在其解码器中使用CDTransformer解码器层网络以获得性能增益。
Sigmoid函数为
Figure SMS_22
每个卷积之后都有一个批量归一化。在每个“conv”层的末尾添加了一个PReLU激活层以提供非线性。传统的sigmoid激活函数和tanh激活函数倾向于压缩梯度，因为它们的输出被限制在一个小范围内。结果随着网络的深入，梯度变得无法接受。大多数主流网络都采用ReLU作为激活函数。它们在保持非线性的同时避免了梯度消失问题。ReLU激活函数为/>
Figure SMS_23
除了使用NMSE来量化原始Ha和恢复的
Figure SMS_24
之间的差异，还使用下面余弦相似度来评估不同反馈方案的性能,余弦相似度定义为/>
Figure SMS_25
其中/>
Figure SMS_26
表示第n个子载波的恢复信道向量，/>
Figure SMS_27
衡量了/>
Figure SMS_28
和/>
Figure SMS_29
之间的相关性。
表1根据NMSE和ρ比较了所讨论的所有五个方案的性能，并突出显示了最佳结果。由表1可知，对于1/32和1/4之间的所有压缩率，所提出的方案都优于传统的CS-CsiNet和CsiNet。特别是，对于测试的所有压缩率，CDTransformer在NMSE和余弦相似度方面都表现出最佳性能。
表1 NMSE(dB)和ρ方面的性能比较
Figure SMS_30
图6是使用五种方案在不同压缩率下的CSI恢复性能的直观比较。从图中可以看出，CS-CsiNet提供的恢复信道随着压缩率的降低显示出明显的失真。图7显示了在压缩率为1/32的情况下，训练期间NMSE性能与epoch的函数关系，从图中可以看出，所有方案的NMSE都平稳下降。特别地，提出的方案的NMSE性能显著优于CsiNet。第30个epoch时NMSE的减少是由于学习率的调整引起的。为了更加直观地体现不同算法在不同压缩比情况下的重构性能，根据表1的仿真实验结果在Matlab中绘制了NMSE对比表，具体趋势如图8所示。
通过上述描述可以看出，本发明包括在频分双工(FDD)制式下的大规模MIMO***中，获取下行链路的CSI信道矩阵。首先，在用户端对获取的下行链路的CSI信道矩阵H做二维离散傅里叶变换(DFT)，得到在角度延迟域稀疏的信道矩阵，并根据该矩阵得到截断矩阵Ha；其次构建编码器和解码器的模型CDTransformer，其中编码器在用户端，解码器在基站端。编码器的输入是截断矩阵Ha，输出是码字向量；基站端的输入是得到的码字向量，输出是截断矩阵的估计值
Figure SMS_31
最后对截断矩阵的估计值/>
Figure SMS_32
进行二维逆离散傅里叶(IDFT)变换，恢复得到原始空频域的信道矩阵/>
Figure SMS_33
重建值；对CDTransformer网络模型进行训练，使得截断矩阵估计值/>
Figure SMS_34
和截断矩阵Ha尽可能接近，并获得模型参数；将训练好的CDTransformer模型用于CSI的压缩和重建。此外，因为用户端功率有限，提出了一种MixedTransformer的网络模型。其中，MixedTransformer模型使用计算成本较低、结构简单的单层卷积神经网络(CNN)作为编码器的卷积头，而解码器采用和CDTransformer模型相同的解码器。***仿真与分析表明，与已有的典型CSI反馈方法相比，CDTransformer和MixedTransformer网络模型拥有更好的归一化均方误差(NMSE)和余弦相似度性能。
以上内容是结合具体实施方式对本发明作进一步详细说明，不能认定本发明具体实施只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以作出若干简单的推演或替换，都应当视为属于本发明所提交的权利要求书确定的保护范围。

Claims (8)

1.一种基于Transformer的大规模MIMO信道状态信息反馈方法，其特征在于，包括以下步骤：
(1)在频分双工制式下的大规模MIMO***中，获取下行链路的信道状态信息的信道矩阵H；
(2)在用户端侧对大规模MIMO信道状态信息在空频域的信道矩阵H进行二维离散傅里叶变换(DFT)，得到在角度延迟域稀疏的信道矩阵，将得到的在角度延迟域稀疏的信道矩阵的前Nc行非零元素进行截断，得到截断矩阵Ha；
(3)构建包括编码器和解码器的模型CDTransformer，其中编码器属于用户端，将截断矩阵通过编码器转换为码字向量，解码器属于基站端，将编码器得到的码字向量通过解码器得到截断矩阵的估计值
Figure FDA0003969741650000011
(4)采用端到端的方式对模型CDTransformer网络进行训练，使得截断矩阵Ha和
Figure FDA0003969741650000012
接近，获得模型参数；
(5)将训练好的CDTransformer模型用于CSI的压缩和重建，对获取的截断矩阵的估计值先进行补零操作使其恢复为原始CSI矩阵大小，再进行二维逆离散傅里叶变换(IDFT)，恢复得到原空频域的信道矩阵
Figure FDA0003969741650000013
2.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，步骤(2)包括：通过二维DFT在角延迟域中稀疏化
Figure FDA0003969741650000014
变换过程为/>
Figure FDA0003969741650000015
其中，Fd和Fa分别为/>
Figure FDA0003969741650000016
和Nt×Nt的DFT矩阵。对于角延迟域信道矩阵H'，只保留H'的前Nc行并删除剩余行，将截断矩阵的实部和虚部连接起来形成维度为Nc×Nt的实值矩阵Ha。
3.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，步骤(3)包括：对于所述的编码器，Ha首先进入CDTansformer编码层,CDTransformer编码器层是卷积神经网络(CNN)和改进的Transformer网络，CDTransformer编码器层输出一个大小为S1×S2的矩阵，将矩阵转换为长度为S1·S2的向量。将S1×S2的向量馈送到二进值全连接层，生成的编码向量s长度为M，对于所述的解码器，解码器的输入是编码向量s，解码器的第一层二值化全连接层，输出一个长度为S1·S2的向量。解码器的下一层是CDTransformer解码器层，输出为与信道矩阵Ha同维度的重建信道矩阵
Figure FDA0003969741650000017
4.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，其特征在于，对于CDTransformer编码器层，其中Ha首先通过一个3×3的卷积头，然后采用卷积分解，将标准的9×9卷积核分成1×9核和9×1核。连接CDTransformer编码器层的输出和输入并将它们与1×1卷积层合并，并重新整形为一个放大尺寸为4Nc×Nt的矩阵并且d＝2Nc，再将放大后的矩阵输入到一个多头自注意力层中，其中，H中的不同元素被联合关注，之后将自注意力层的输入和输出相加，随后进行归一化，然后将归一化的数据输入到二值化全连接层进行线性变换。最后将全连接层的输入和输出相加并归一化，生成一个大小为S1×S2的矩阵，将矩阵转换为S1S2的向量。
5.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，其特征在于，对于CDTransformer解码器层，用于重建原始CSI空间模式，CDTransformer解码器层输入是一个长度为S1·S2的向量，首先将向量转换为大小为S1×S2的矩阵，然后将S1×S2的矩阵输入到一个多头自注意力层，再将自注意力层的输入和输出相加并归一化，接下来，将归一化的数据通过二值化全连接层并将全连接层的输入和输出相加并归一化，之后，通过多个卷积层。
6.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，其特征在于，解码器的最后一个卷积层采用sigmoid激活函数，编码器和解码器的其余各卷积层均采用参数整流线性单元(PReLU)激活函数并使用批归一化。
7.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，其特征在于，所述的模型参数包括全连接层的权重、偏置和卷积层的卷积核、偏置。
8.根据权利要求1所述的基于Transformer的大规模MIMO信道状态信息反馈方法，其特征是，所述步骤(3)中，模型CDTransformer可以采用MixedTransformer网络模型，其中截断矩阵Ha被输入到MixedTransformer网络模型卷积层中，卷积层的输出为特征图，然后将特征图转换向量后,最后将特征图加载到二值化全连接层中以生成压缩码字s，MixedTransformer的解码器与CDTransformer的解码器相同。
CN202211507543.3A 2022-11-29 2022-11-29 一种基于Transformer的大规模MIMO信道状态信息反馈方法 Pending CN115865145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211507543.3A CN115865145A (zh) 2022-11-29 2022-11-29 一种基于Transformer的大规模MIMO信道状态信息反馈方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211507543.3A CN115865145A (zh) 2022-11-29 2022-11-29 一种基于Transformer的大规模MIMO信道状态信息反馈方法

Publications (1)

Publication Number Publication Date
CN115865145A true CN115865145A (zh) 2023-03-28

Family

ID=85667514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211507543.3A Pending CN115865145A (zh) 2022-11-29 2022-11-29 一种基于Transformer的大规模MIMO信道状态信息反馈方法

Country Status (1)

Country Link
CN (1) CN115865145A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116505989A (zh) * 2023-05-06 2023-07-28 四川农业大学 一种基于复数编码器混合神经网络的csi反馈方法及***
CN116633402A (zh) * 2023-04-27 2023-08-22 北京科技大学 一种基于vae的信道信息反馈重构方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116633402A (zh) * 2023-04-27 2023-08-22 北京科技大学 一种基于vae的信道信息反馈重构方法及***
CN116633402B (zh) * 2023-04-27 2024-05-24 北京科技大学 一种基于vae的信道信息反馈重构方法及***
CN116505989A (zh) * 2023-05-06 2023-07-28 四川农业大学 一种基于复数编码器混合神经网络的csi反馈方法及***
CN116505989B (zh) * 2023-05-06 2024-02-06 四川农业大学 一种基于复数编码器混合神经网络的csi反馈方法及***

Similar Documents

Publication Publication Date Title
CN112737985B (zh) 基于深度学习的大规模mimo信道联合估计和反馈方法
CN108390706B (zh) 一种基于深度学习的大规模mimo信道状态信息反馈方法
CN110311718B (zh) 一种大规模mimo信道状态信息反馈中的量化和逆量化方法
CN111464220B (zh) 一种基于深度学习的信道状态信息重建方法
CN108847876B (zh) 一种大规模mimo时变信道状态信息压缩反馈及重建方法
CN109672464B (zh) 基于fcfnn的大规模mimo信道状态信息反馈方法
CN110350958B (zh) 一种基于神经网络的大规模mimo的csi多倍率压缩反馈方法
CN110912598B (zh) 基于长短时注意力机制的大规模mimo***csi反馈方法
CN111555781B (zh) 一种基于深度学习注意力机制的大规模mimo信道状态信息压缩及重建方法
CN115865145A (zh) 一种基于Transformer的大规模MIMO信道状态信息反馈方法
CN111698182A (zh) 一种基于压缩感知的时频分块稀疏的信道估计方法
CN113748614A (zh) 一种信道估计模型训练方法及设备
CN110289898B (zh) 一种大规模mimo***中基于1比特压缩感知的信道反馈方法
CN109474388B (zh) 基于改进梯度投影法的低复杂度mimo-noma***信号检测方法
CN111901069B (zh) 一种基于神经网络与近似消息传递算法的多用户检测方法
WO2022206747A1 (zh) 基于二值化神经网络的高效mimo信道反馈方法及装置
CN112600596B (zh) 基于张量并行压缩的毫米波***信道反馈方法
CN115022134B (zh) 基于非迭代重构网络的毫米波大规模mimo***信道估计方法及***
CN114884549A (zh) 基于深度学习的大规模mimo信道状态信息反馈方法
CN115549742A (zh) 一种基于深度学习的csi压缩反馈方法
CN114157331B (zh) 基于伪复值输入的大规模mimo信道状态信息反馈方法
CN115021787A (zh) 一种基于复数卷积神经网络的信道状态信息反馈方法
CN114567359A (zh) 一种大规模mimo***中基于多分辨率融合卷积反馈网络的csi反馈方法
CN113660020A (zh) 一种无线通信信道信息传输方法、***和解码器
CN112054826A (zh) 一种基于中间信道的单用户低复杂度混合预编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination