CN112600618B - 一种基于注意力机制的可见光信号均衡***及方法 - Google Patents

一种基于注意力机制的可见光信号均衡***及方法 Download PDF

Info

Publication number
CN112600618B
CN112600618B CN202011414459.8A CN202011414459A CN112600618B CN 112600618 B CN112600618 B CN 112600618B CN 202011414459 A CN202011414459 A CN 202011414459A CN 112600618 B CN112600618 B CN 112600618B
Authority
CN
China
Prior art keywords
signal
input
gate
value
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011414459.8A
Other languages
English (en)
Other versions
CN112600618A (zh
Inventor
陈俊杰
卢星宇
肖云鹏
刘宴兵
刘媛媛
冉玉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011414459.8A priority Critical patent/CN112600618B/zh
Publication of CN112600618A publication Critical patent/CN112600618A/zh
Application granted granted Critical
Publication of CN112600618B publication Critical patent/CN112600618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00—Baseband systems
    • H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/03—Shaping networks in transmitter or receiver, e.g. adaptive shaping networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Optical Communication System (AREA)

Abstract

本发明涉及可见光通信技术领域，具体涉及一种基于注意力机制的可见光信号均衡***及方法，包括：数据接收端接收到数据后，将接收到的数据进行解码，得到解码数据；将解码数据输入到训练好网络权重参数的CLSTM神经网络模型中，得到均衡信号并输出。本发明利用卷积神经网络和长短时记忆网络(LSTM)补偿接收数据中存在的线性和非线性损伤，提高了可见光通信***的传输速率和接收机的灵敏度，改善传输性能。

Description

一种基于注意力机制的可见光信号均衡***及方法
技术领域
本发明涉及可见光通信技术领域，具体涉及一种基于注意力机制的可见光信号均衡***及方法。
背景技术
可见光通信技术(Visible Light Communication，VLC)是指利用可见光波段的光作为信息载体，不使用光纤等有线信道的传输介质，而在空气中直接传输光信号的通信方式。基于发光二极管驱动的可见光通信(VLC)技术以其低成本、高效能、抗电磁干扰强、高安全性等优点成为一种有吸引力、极具潜力的技术。可见光通信技术主要是通过对LED的电流驱动来完成对光信号的调制，在信号的接收端将接收到的光信号转化为电信号，完成信号数据的传输。
均衡技术对信号的损伤进行补偿。根据信号的损伤类型划分可以分为线性损伤和非线性损伤。目前，神经网络在可见光信号均衡中具有广泛应用，基于人工神经网络(ANN)、卷积神经网络(CNN)和循环神经网络(RNN)在可见光均衡技术中取得了一定的成效。专利“一种基于可见光通信的神经网络均衡器(申请号201710602325.0)”中提出使用使用神经网络均衡器克服由于LED调制带宽的限制导致的码间干扰问题，使用神经网络的强大参数拟合数据直接进行分类，解决***中存在的线性损伤，没有考虑***中存在的非线性损伤和学习数据之间存在的潜在非线性关系。专利“基于神经网络的可见光通信***非线性建模方法(申请号202010044920.9)”中提出了通过神经网络得到可见光通信***信道的非线性和记忆性，使用该方式利用神经网络强大的参数拟合来模拟信道，会存在忽略掉数据之间存在的关联性，只是使用过多的网络参数来记忆信道，该方式会忽略信号数据之间的关联关系，导致参数严重过拟合，网络复杂等问题。
综上所述，目前的均衡技术存在以下几个问题：(1)对***中存在的非线性损伤进行补偿；(2)防止神经网络对数据出现过拟合，导致网络具有严重的记忆性和复杂度；(3)忽略数据之间存在的关联关系，不能有效学习数据中隐含的的规律。
发明内容
为了解决上述问题，本发明提供一种基于注意力机制的可见光信号均衡***及方法。
一种基于注意力机制的可见光信号均衡***，包括：数据接收模块、数据处理模块、信号均衡器、信号输出模块，数据接收模块用于接收脉冲幅度调制***PAM输出的调制信号，解调，得到解调后的有损光信号；数据处理模块用于对解调后的有损光信号进行预处理，得到有损光信号的样本序列，并将划分处理后的有损光信号样本子序列数据输入信号均衡器；所述信号均衡器用于将有损光信号均衡为无损光信号；所述信号输出模块用于输出均衡信号。
进一步的，数据处理模块中的预处理包括：使用tap＝n的滑动窗口将解调后的有损光信号划分为长度相同的连续的子序列，得到有损光信号的样本序列。
进一步的，信号均衡器中包括基于注意力机制的卷积神经网络CNN模块和长短时记忆神经网络LSTM单元。
进一步的，基于注意力机制的CNN模块包括两个支路和一个融合模块：第一个支路是CNN支路，CNN支路包含卷积层和池化层；第二个支路是注意力支路，注意力支路中主要是包括特征聚合和尺度恢复，其中，特征聚合是通过卷积层在跨尺度的序列中进行提取更全面的特征，在最后一层使用1*1的卷积核将特征尺度恢复到与CNN支路输出同等大小的M*N的特征序列，使用sigmoid函数将数值大小在0到1的区间范围，最终得到大小为M*N的包含有注意力机制的特征序列；融合模块：将CNN支路输出的特征值与注意力支路输出的包含有注意力机制的特征序列进行融合，得到融合结果。
进一步的，CNN支路的输入是上述数据处理模块划分的一个子序列，CNN支路的输出是M*N的特征序列，M表示为子序列的长度，N表示通过CNN支路后的信号特征序列；注意力支路的输入是CNN支路输入序列的前一个子序列的中间点到下一个子序列的中间点，注意力支路的输入长度为CNN支路输入的两倍长；注意力支路的输出是大小为M*N的包含有注意力机制的特征序列，注意力支路的输出与CNN支路的输出维度相同。
进一步的，LSTM单元包括输入门、遗忘门和输出门。
进一步的，LSTM单元的输入是基于注意力机制的CNN模块的融合结果，通过LSTM单元对融合结果再次进行特征提取学习，最后通过判断单元，得到损伤光信号的分类结果，即得到均衡后的无损伤光信号，完成信号的均衡。
一种基于注意力机制的可见光信号均衡方法，包括以下步骤：数据接收模块接收PAM调制后的有损光信号后，对接收到的有损光信号进行解调处理，得到解调后的有损光信号并输入到信号均衡器中，信号均衡器输出补偿后的无损光信号。信号均衡器包括基于注意力机制的CLSTM神经网络模型，CLSTM神经网络模型先训练后使用，训练过程包括以下步骤：
S1、在信号接收端，通过数据接收模块接收脉冲幅度调制***PAM输出的调制信号，解调处理，得到解调后的有损光信号传输给数据处理模块；在信号发射端采集发送的无损光信号样本，并传输给数据处理模块；
S2、数据处理模块中利用滑动窗口对有损光信号样本和无损光信号样本进行划分，得到训练样本子集，并输入信号均衡器；
S3、在信号均衡器中，首先初始化基于注意力机制的CLSTM神经网络模型的参数：包括初始化注意力机制与CNN并行模块卷积层的权重参数；初始化Attention支路的卷积层权重参数；初始化LSTM网络的输入门、遗忘门、输出门的初始化权重参数；
S4、将步骤S2中划分的训练信号样本子集输入初始化参数的基于注意力机制的CLSTM神经网络模型中，在基于注意力机制的CNN模块中，CNN支路对数据进行局部的特征提取，得到CNN支路提取的特征图，在注意力支路对数据进行大尺度的提取特征，得到注意力支路提取的特征图；最后通过融合模块将CNN支路提取的特征图与注意力支路提取的特征图融合，得到融合特征；
S5、将融合特征输入长短时记忆神经网络LSTM，对信号之间的线性和非线性进行均衡，得到预期的均衡信号；根据网络得到的均衡信号与原始标签信号计算损失函数，通过损失函数结果值迭代更新权重参数，使网络的损失函数达到最小或者达到最大经验迭代次数时，得到训练好的基于注意力机制的CLSTM神经网络模型。
进一步的，损失函数的表达式为：
Figure BDA0002819719040000041
其中，L表示损失值，p＝[p0,…,pc-1]是通过上述softmax函数得到的概率值，pi表示样本属于第i类的概率，y＝[y0,…,yc-1]是标签样本子集的onehot表示，当样本属于第i类时yi＝1，否则yi＝0，C表示标签样本。
本发明的有益效果：
1.本发明基于Attention机制的CLSTM神经网络可以对接收端的信号进行直接均衡，无需对信号进行额外的预处理。
2.本发明利用注意力机制与CNN并行模块对信号中的细粒度的信号特征进行提取，筛选重要特征信号，再利用长短时记忆网络LSTM网络对信号间特征关系提取，能够有效加强特征提取强度，加速CLSCM神经网络的拟合，并根据损失函数优化训练神经网络，利用训练好的神经网络补偿接收数据中存在的线性和非线性损伤，使得最终均衡信号更准确，提高了可见光通信***的传输速率和接收机的灵敏度，改善传输性能。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为本实施例的一种基于Attention机制的CLSTM神经网络的可见光信号均衡***结构图；
图2为本实施例的一种基于Attention机制的CLSTM神经网络模型的训练过程；
图3为本实施例的一种基于Attention机制的CLSTM神经网络的训练流程图；
图4为本发明实施例中的一种基于Attention机制的CLSTM神经网络模型的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例中使用脉冲幅度调制***(PAM)作为信号的调制解调***，将原始的二进制比特流输入脉冲幅度调制***(PAM)，经过预处理和编码调制之后，驱动LED进行强度调制，将电信号转换为光信号作为可见光通信***的信号输入。在信号的传输过程中存在线性损伤和非线性损伤，线性损伤的来源主要包括相邻码元在传输中存在的码间串扰和光传播中多径效应产生的码间串扰；非线性损伤的主要来源包括：由于可见光通信(VisibleLight Communication,VLC)***中可见光***器件造成的非线性损伤以及接收机平方率探测的***造成的非线性损伤。在高阶调制和高速率的传输中，线性和非线性损伤会严重影响可见光通信***的性能，所以需要对VLC***中出现的线性和非线性失真光信号进行补偿，以恢复出无损光信号。
可见光通信***结构如图1所示。图1展示了可见光***的信号发射、信号调制(包括PAM调制、LED强度调制)、信号传输、信号接收、信号均衡(采用本实施例的信号均衡***实现)以及信号输出的过程。
其中信号均衡采用基于注意力机制的可见光信号均衡***实现，其目的是对VLC***中出现的线性和非线性失真光信号进行补偿，以恢复出无损光信号。
本实施例提供一种基于注意力机制的可见光信号均衡***，包括：数据接收模块、数据处理模块、信号均衡器、信号输出模块。
数据接收模块用于接收在脉冲幅度调制***PAM输出的调制信号，解调，得到解调后的有损光信号。
数据处理模块用于对解调后的有损光信号进行预处理，得到有损光信号的样本序列。所述预处理包括：进行数据划分处理，具体实施过程是使用tap＝n的滑动窗口将解调后的有损光信号划分为长度相同的连续的有损光信号样本子序列。并将划分处理后的有损光信号样本子序列数据输入信号均衡器。
信号均衡器中包括基于注意力机制的CNN模块和长短时记忆网络LSTM单元。其中，基于注意力机制的CNN模块包括CNN支路和注意力支路两个支路，还包括一个融合模块，所述CNN支提取有损光信号样本子序列的特征，所述注意力支路提取有损光信号样本子序列带有注意力机制的特征，所述融合模块用于融合两个支路的特征，最终得到有损光信号样本子序列的融合特征。具体描述如下：
第一个支路是CNN支路，CNN支路包含卷积层、非线性层和池化层，CNN支路的输入是上述数据处理模块划分的一个子序列，CNN支路的输出是M*N的特征序列，M表示为子序列的长度，N表示通过CNN支路后的信号特征序列。
第二个支路是注意力支路，注意力支路的输入是CNN支路输入序列的前一个子序列的中间点到下一个子序列的中间点，其输入长度为CNN支路的两倍长。注意力支路中主要是包括特征聚合和尺度恢复。其中，特征聚合是通过卷积层在跨尺度的序列中进行提取更全面的特征，在最后一层使用1*1的卷积核将特征尺度恢复到与CNN支路输出同等大小的M*N的特征序列，使用sigmoid函数将数值大小在0到1的区间范围，最终得到大小为M*N的包含有注意力机制的特征序列。注意力支路中采用不同于CNN支路的输入序列，既可以捕捉更长序列的特征，其包含了CNN支路的序列，也可以不损失掉当前序列的特征信息，也可以有效的避免过拟合。
融合模块用于CNN支路输出的特征值与注意力支路输出的包含有注意力机制的特征序列进行逐元素相乘，得到融合结果。
信号均衡器中的LSTM单元。将融合结果作为LSTM单元中的输入，通过LSTM网络对融合后的序列进入输入门、遗忘门、输出门进行融合后特征之间关系的再次提取，最后通过判断单元，得到损伤光信号的分类结果，完成有损光信号的均衡/补偿。
所述信号输出模块用于输出均衡信号，所属均衡信号为补偿后的无损光信号。
本实施例的可见光信号均衡***中，注意力机制与CNN并行网络模块级联长短时记忆网络(LSTM)，如图4所示。注意力机制与CNN并行模块网络可以提取信号(具有损伤的连续信号)存在的非线性和线性的相关性特征，过滤掉信号数据中的非重要信息；LSTM网络可以记忆长距离信号数据之间的关联性，但是对损伤信号之间存在的潜在特征提取不充分。基于两个网络的特性使用注意力机制与CNN并行模块网络对信号数据先进行特征提取，将提取到的特征数据输入LSTM网络进行长距离关系学习，可以对信号数据中存在的潜在线性与非线性规律进行学习解决信号数据存在的损伤。
如图2所示，本实施例提供一种基于注意力机制的可见光信号均衡方法，该方法是一种基于注意力机制、CNN并行模块与长短时记忆网络(LSTM)的对可见光进行线性和非线性损伤的联合补偿方法，包括：数据接收模块接收PAM调制后的有损光信号后，对接收到的有损光信号进行解调处理，得到解调后的有损光信号并输入到信号均衡器中，信号均衡器输出补偿后的无损光信号。
信号均衡器中的具体结构包括基于注意力Attention机制的CLSTM神经网络模型，模型中包含基于Attention机制的CNN模块和LSTM单元。
基于注意力Attention机制的CLSTM神经网络模型先训练后使用，训练过程包括但不限于以下步骤：
S1、在信号接收端，通过数据接收模块接收脉冲幅度调制***PAM输出的调制信号，解调处理，得到解调后的有损光信号，将有损光信号样本按照7：3比例划分作为训练信号样本，并传输给数据处理模块。
在信号发射端采集发送的无损光信号样本，将无损光信号样本按照7:3比例进行划分作为标签信号样本，并传输给数据处理模块。
S2、数据处理模块中利用滑动窗口对训练信号样本和标签样本进行划分，得到训练信号样本子集和标签样本子集，并将划分处理后的数据输入信号均衡器。
设定tap＝n的滑动窗口，tap为滑动窗口大小，训练信号样本划分为指定长度的训练子序列{x1,x2,...,xn-1,xn}，将标签信号样本也划分为对应长度的子序列，最终得到训练信号样本子集和标签样本子集，这些样本子集中的子序列为非线性关联关系。
将标签样本子集的中间值作为该样本集的标签值，通过滑动窗口滑动可以得到一系列的训练子序列和对应的标签值集合。
S3、搭建基于Attention机制的CLSTM神经网络模型，初始化基于Attention机制的CLSTM神经网络模型的参数，包括初始化注意力机制与CNN并行模块卷积层的权重参数；初始化LSTM网络的输入门、遗忘门、输出门的初始化权重参数。
S4、将步骤S2中划分的训练信号样本子集输入初始化参数的基于注意力机制的CLSTM神经网络模型中，在基于注意力机制的CNN模块中，CNN支路对数据进行局部的特征提取，得到CNN支路提取的特征图，在注意力支路对数据进行大尺度的提取特征，得到注意力支路提取的特征图；最后通过融合模块将CNN支路提取的特征图与注意力支路提取的特征图融合，得到融合特征。
如图2所示，CLSTM神经网络模型包括基于注意力机制的CNN模块(特征提取模块)和LSTM单元两个部分。
CLSTM神经网络模型的第一部分为基于注意力机制的CNN模块(特征提取模块)，基于注意力机制的CNN模块包括注意力支路和CNN支路两个并行支路，用于提取有损光信号之间的特征图。
CNN支路主要包括两个网络模块，第一个模块是卷积层，卷积层通过共享权重参数，使用多个不同的卷积核对数据进行局部的特征提取，通过不同的卷积核，可以学习到数据中不同的特征关系，将学习到的特征关系继续输入到后续的卷积层模块进行深层次的特征关系提取。第二个模块是池化层，经过上述滑动窗口的数据有Tap倍数的数据冗余，池化层的作用是过滤特征中的非关键因素，池化层使用不同大小的窗口获取该窗口内特征关系数据的局部最大值。本发明中的池化层使用最大池化。最大池化层在网络结构中还具有减小网络参数，降低网络复杂度的作用。
在卷积层的输入输出关系为：
Y＝conv(X,W,H)
其中，X表示数据，W表示为卷积核，conv表示卷积操作，将不同卷积核的W作用于数据中，可以得到该卷积层的输出特征数据Y，其通道数为H。
在输入卷积层的数据长度为m，卷积层的设置为卷积核为w，padding为p，步长stride为s的情况下，通过卷积层后得到的数据维度的大小为n*H，其中n的大小为(m+2*p-w)/s+1。通过卷积层后得到的数据维度由原始的m*1维到n*H维度，在池化层中通过选择池化窗口p对数据特征进行最大池化操作，其数据的输入输出关系为：
[y1,…,ys]＝MAX(y1,…,yn)
其中，s表示的大小为n/p，n表示通过卷积之后的数据维度，p表示的是池化的窗口大小，其中数据的通道数保持为H。
在注意力支路中，输入数据为上一个子序列的中间点到下一个子序列的中间点，注意力支路输入数据的长度是CNN支路输入数据的两倍长。本实施例中，注意力支路的输入数据为2m。输入数据序列通过不同大小的卷积层操作后，再通过设置卷积核和通道数将其维度恢复到与CNN支路输出序列同等维度(在本实施例中，恢复至n*H维度)，经过sigmoid的函数将其数值约束在0到1之间，最终输出大小为n*H的包含有注意力机制的特征序列。注意力支路中采用不同于CNN支路的输入序列，既可以捕捉更长序列的特征，其包含了CNN支路的序列，也可以不损失掉当前序列的特征信息，也可以有效的避免过拟合。
基于注意力机制的CNN模块包括还包括融合模块，使用融合模块将CNN支路的输出数据特征与注意力支路的输出数据特征进行逐元素相乘，得到融合特征。融合模块进行特征的筛选，对重要的特征进行提取，抑制非重要特征对模型的干扰，可以有效筛选重要的细粒度的特征数据。在融合模块模块进行信号特征筛选的输入输出关系如下所示：
Figure BDA0002819719040000101
其中，Z(i,h)表示融合特征，ZAttention(i,h)表示通过注意力机制后得到的特征信号，ZCNN(i,h)表示经过CNN支路后得到的特征信号，i表示获得的特征序列的具***置，其范围为0到nn表示上述支路输出的特征维度，其中h表示输出的特征通道数。
S5、将融合特征输入长短时记忆神经网络(LSTM)，对信号之间的线性和非线性进行均衡，得到预期的均衡信号；根据网络得到的均衡信号与原始标签信号计算损失函数，通过损失函数结果值迭代更新权重参数，使网络的损失函数达到最小或者达到最大经验迭代次数时，得到训练好的基于注意力机制的CLSTM神经网络模型。
CLSTM神经网络模型的第二部分是长短时记忆神经网络(LSTM)。将经过注意力机制与CNN并行模块网络融合后的融合特征输入到长短时记忆神经网络(LSTM)中，用于学习长距离信号数据之间存在的线性与非线性潜在关系，有效增强长短时记忆神经网络(LSTM)对于数据特征之间存在的线性与非线性关系的进一步学习，从而保证均衡信号的准确性。门的作用是用于LSTM网络的记忆单元长时间的记忆输入信号之间的序列信息，从而有效的减小了梯度消失的问题，输入门控制允许被更新的信息，遗忘门用于控制需要保存或者丢弃的信息，输出门决定最后的输出信息。
长短时记忆神经网络(LSTM)中包括输入门、遗忘门、输出门和判决单元。数据通过长短时记忆神经网络(LSTM)的输入门来计算输入门的激活值it，同时输入门中还需要计算在t时刻记忆单元的候选状态值
Figure BDA0002819719040000111
其表达式如下所示：
it＝σ(wi·[ht-1,xt]+bi)
Figure BDA0002819719040000112
其中，it表示输入门的激活值，
Figure BDA0002819719040000113
表示在t时刻记忆单元的候选状态值，xt表示在t时刻的输入，ht-1表示在t-1时刻的输入值，σ表示sigmoid激活函数，bi表示为输入门激活函数的偏置项，wi为输入门激活函数的权值，wc输入门状态函数候选权值，bc为输入门候选状态函数的偏置，tanh表示双正切激活函数。
数据进入输入门后会进入遗忘门进行选择舍弃信息，遗忘门根据输入门的激活值it以及t时刻记忆单元的状态候选值
Figure BDA0002819719040000114
计算新的状态值Ct，其计算表达式如下所示：
ft＝σ(wf·[ht-1,xt]+bf)
Figure BDA0002819719040000115
其中，Xt表示在t时刻的输入，ht-1表示在t-1时刻的输入值，σ表示sigmoid激活函数，bf表示为遗忘门激活函数的偏置项，wf为遗忘门激活函数的权值，Ct表示新的状态值，Ct-1表示t-1时刻的状态值，ft表示表示遗忘门的激活值。
根据新的状态值Ct计算t时刻输出门的激活值ot以及输出值ht，具体的表达式如下：
ot＝σ(wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，wo表示输出门的权值，bo表示输出门的偏置，ht表示输出门的输出值。
将输出门的输出值ht输入判决单元，判决单元接收CNN+LSTM网络提取的特征后进行特征分类，将损伤光信号分为正确的类别，即将损伤光信号均衡回正确的无损伤光信号。本发明将信号作为分类问题处理，最终得到的分类结果即是均衡后的正确的光信号。
判决单元使用softmax函数作为激活函数。softmax函数表达式如下所示：
Figure BDA0002819719040000121
其中，pk表示第k个神经元的输出，即均衡后的信号电平概率；n表示最后的输出的神经元个数，也就是我们最后进行判决的分类个数，在PAM4调制中n＝4；分子表示输入信号hk的指数函数，分母是所有输入信号的指数函数的和。
通过softmax判决单元得到每个神经元中属于某个类别的概率值，结合在信号发射端采集发送的无损光信号样本，计算中间过程的交叉熵损失函数，基于交叉熵损失函数，使用优化器优化神经网络中的参数，通过参数不断迭代更新，如图3所示，最后拟合的神经网络可以较为准确的表示信号损伤之间的关系，从而均衡到正确的信号。重复迭代步骤进行参数更新，直到交叉熵损失函数减小到一定的值或者迭代次数超过最大经验迭代次数时停止迭代，得到训练好的基于注意力机制的CLSTM神经网络模型。
在一个实施例中，CLSTM神经网络模型的交叉熵损失函数表达式如下：
Figure BDA0002819719040000122
其中，L表示损失值，p＝[p0,…,pc-1]是通过上述softmax函数得到的概率值，pi表示样本属于第i类的概率，y＝[y0,…,yc-1]是标签样本子集的onehot表示，当样本属于第i类时yi＝1，否则yi＝0，C表示标签样本。
CLSTM神经网络模型中采用优化器进行参数更新算法，学习率为0.001作为优化算法，可以快速拟合数据，降低损失，加快训练速度。在整个网络中，卷积神经网络的结构一般采用3层卷积层，每一个卷积层的kernel大小为3，filter滤镜为64，池化层使用最大池化。
优选地，在长短时记忆网络中采用的网络隐藏层层数为15层，训练整个网络的最大经验迭代次数为50次。
当介绍本申请的各种实施例的过程时，冠词“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于注意力机制的可见光信号均衡***，包括：数据接收模块、数据处理模块、信号均衡器、信号输出模块，其特征在于，
数据接收模块用于接收脉冲幅度调制***PAM输出的调制信号，解调，得到解调后的有损光信号；
数据处理模块用于对解调后的有损光信号进行预处理，得到有损光信号的样本序列，并将划分处理后的有损光信号样本子序列数据输入信号均衡器；
所述信号均衡器用于将有损光信号均衡为无损光信号；
所述信号输出模块用于输出均衡信号；
所述信号均衡器中包括基于注意力机制的卷积神经网络CNN模块和长短时记忆神经网络LSTM单元；
基于注意力机制的CNN模块包括两个支路和一个融合模块：
第一个支路是CNN支路，CNN支路包含卷积层和池化层；
第二个支路是注意力支路，注意力支路中主要是包括特征聚合和尺度恢复，其中，特征聚合是通过卷积层在跨尺度的序列中进行提取更全面的特征，在最后一层使用1*1的卷积核将特征尺度恢复到与CNN支路输出同等大小的M*N的特征序列，使用sigmoid函数将数值大小在0到1的区间范围，最终得到大小为M*N的包含有注意力机制的特征序列；
融合模块：将CNN支路输出的特征值与注意力支路输出的包含有注意力机制的特征序列进行融合，得到融合结果
LSTM单元包括输入门、遗忘门和输出门；
LSTM单元的输入是基于注意力机制的CNN模块的融合结果，通过LSTM单元对融合结果再次进行特征提取学习，最后通过判断单元，得到损伤光信号的分类结果，即得到均衡后的无损伤光信号，完成信号的均衡；
所述得到均衡后的无损伤光信号，包括：
数据通过输入门来计算输入门的激活值it，同时输入门中还需要计算在t时刻记忆单元的候选状态值其表达式如下所示：
it＝σ(wi·[ht-1,xt]+bi)
其中，it表示输入门的激活值，表示在t时刻记忆单元的候选状态值，xt表示在t时刻的输入，ht-1表示在t-1时刻的输入值，σ表示sigmoid激活函数，bi表示为输入门激活函数的偏置项，wi为输入门激活函数的权值，wc输入门状态函数候选权值，bc为输入门候选状态函数的偏置，tanh表示双正切激活函数；
数据进入输入门后会进入遗忘门进行选择舍弃信息，遗忘门根据输入门的激活值it以及t时刻记忆单元的状态候选值计算新的状态值Ct，其计算表达式如下所示：
ft＝σ(wf·[ht-1,xt]+bf)
其中，Xt表示在t时刻的输入，ht-1表示在t-1时刻的输入值，σ表示sigmoid激活函数，bf表示为遗忘门激活函数的偏置项，wf为遗忘门激活函数的权值，Ct表示新的状态值，Ct-1表示t-1时刻的状态值，ft表示遗忘门的激活值;
根据新的状态值Ct计算t时刻输出门的激活值ot以及输出值ht，具体的表达式如下：
ot＝σ(wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，wo表示输出门的权值，bo表示输出门的偏置，ht表示输出门的输出值；
将输出门的输出值ht输入判决单元，判决单元接收CNN+LSTM网络提取的特征后进行特征分类，将损伤光信号分为正确的类别，即将损伤光信号均衡回正确的无损伤光信号;
判决单元使用softmax函数作为激活函数，softmax函数表达式如下所示：
其中，pk表示第k个神经元的输出，即均衡后的信号电平概率；n表示最后的输出的神经元个数，也就是最后进行判决的分类个数，在PAM4调制中n＝4；分子表示输入信号hk的指数函数，分母是所有输入信号的指数函数的和；
根据得到的均衡信号与原始标签信号计算损失函数，通过损失函数结果值迭代更新权重参数，使网络的损失函数达到最小或者达到最大经验迭代次数时，得到训练好的基于注意力机制的CLSTM神经网络模型；
损失函数的表达式为：
其中，L表示损失值，p＝[p0,…,pc-1]是通过上述softmax函数得到的概率值，pi表示样本属于第i类的概率，y＝[y0,…,yc-1]是标签样本子集的onehot表示，当样本属于第i类时yi＝1，否则yi＝0，C表示标签样本。
2.根据权利要求1所述的一种基于注意力机制的可见光信号均衡***，其特征在于，数据处理模块中的预处理包括：使用tap＝n的滑动窗口将解调后的有损光信号划分为长度相同的连续的子序列，得到有损光信号的样本序列。
3.根据权利要求1所述的一种基于注意力机制的可见光信号均衡***，其特征在于，CNN支路的输入是上述数据处理模块划分的一个子序列，CNN支路的输出是M*N的特征序列，M表示为子序列的长度，N表示通过CNN支路后的信号特征序列；注意力支路的输入是CNN支路输入序列的前一个子序列的中间点到下一个子序列的中间点，注意力支路的输入长度为CNN支路输入的两倍长；注意力支路的输出是大小为M*N的包含有注意力机制的特征序列，注意力支路的输出与CNN支路的输出维度相同。
4.一种基于注意力机制的可见光信号均衡方法，其特征在于，包括以下步骤：数据接收模块接收PAM调制后的有损光信号后，对接收到的有损光信号进行解调处理，得到解调后的有损光信号并输入到信号均衡器中，信号均衡器输出补偿后的无损光信号；
信号均衡器包括基于注意力机制的CLSTM神经网络模型，CLSTM神经网络模型先训练后使用，训练过程包括以下步骤：
S1、在信号接收端，通过数据接收模块接收脉冲幅度调制***PAM输出的调制信号，解调处理，得到解调后的有损光信号传输给数据处理模块；在信号发射端采集发送的无损光信号样本，并传输给数据处理模块；
S2、数据处理模块中利用滑动窗口对有损光信号样本和无损光信号样本进行划分，得到训练样本子集，并输入信号均衡器；
S3、在信号均衡器中，首先初始化基于注意力机制的CLSTM神经网络模型的参数：包括初始化注意力机制与CNN并行模块卷积层的权重参数；初始化Attention支路的卷积层权重参数；初始化LSTM网络的输入门、遗忘门、输出门的初始化权重参数；
S4、将步骤S2中划分的训练信号样本子集输入初始化参数的基于注意力机制的CLSTM神经网络模型中，在基于注意力机制的CNN模块中，CNN支路对数据进行局部的特征提取，得到CNN支路提取的特征图，在注意力支路对数据进行大尺度的提取特征，得到注意力支路提取的特征图；最后通过融合模块将CNN支路提取的特征图与注意力支路提取的特征图融合，得到融合特征；
S5、将融合特征输入长短时记忆神经网络LSTM，对信号之间的线性和非线性进行均衡，得到预期的均衡信号；根据网络得到的均衡信号与原始标签信号计算损失函数，通过损失函数结果值迭代更新权重参数，使网络的损失函数达到最小或者达到最大经验迭代次数时，得到训练好的基于注意力机制的CLSTM神经网络模型；
预期的均衡信号的获得过程包括：
数据通过输入门来计算输入门的激活值it，同时输入门中还需要计算在t时刻记忆单元的候选状态值其表达式如下所示：
it＝σ(wi·[ht-1,xt]+bi)
其中，it表示输入门的激活值，表示在t时刻记忆单元的候选状态值，xt表示在t时刻的输入，ht-1表示在t-1时刻的输入值，σ表示sigmoid激活函数，bi表示为输入门激活函数的偏置项，wi为输入门激活函数的权值，wc输入门状态函数候选权值，bc为输入门候选状态函数的偏置，tanh表示双正切激活函数；
数据进入输入门后会进入遗忘门进行选择舍弃信息，遗忘门根据输入门的激活值it以及t时刻记忆单元的状态候选值计算新的状态值Ct，其计算表达式如下所示：
ft＝σ(wf·[ht-1,xt]+bf)
其中，Xt表示在t时刻的输入，ht-1表示在t-1时刻的输入值，σ表示sigmoid激活函数，bf表示为遗忘门激活函数的偏置项，wf为遗忘门激活函数的权值，Ct表示新的状态值，Ct-1表示t-1时刻的状态值，ft表示遗忘门的激活值;
根据新的状态值Ct计算t时刻输出门的激活值ot以及输出值ht，具体的表达式如下：
ot＝σ(wo·[ht-1，xt]+bo)
ht＝ot*tanh(Ct)
其中，wo表示输出门的权值，bo表示输出门的偏置，ht表示输出门的输出值；
将输出门的输出值ht输入判决单元，判决单元接收CNN+LSTM网络提取的特征后进行特征分类，将损伤光信号分为正确的类别，即将损伤光信号均衡回正确的无损伤光信号;
判决单元使用softmax函数作为激活函数，softmax函数表达式如下所示：
其中，pk表示第k个神经元的输出，即均衡后的信号电平概率；n表示最后的输出的神经元个数，也就是最后进行判决的分类个数，在PAM4调制中n＝4；分子表示输入信号hk的指数函数，分母是所有输入信号的指数函数的和；
损失函数的表达式为：
其中，L表示损失值，p＝[p0,…,pc-1]是通过上述softmax函数得到的概率值，pi表示样本属于第i类的概率，y＝[y0,…,yc-1]是标签样本子集的onehot表示，当样本属于第i类时yi＝1，否则yi＝0，C表示标签样本。
CN202011414459.8A 2020-12-07 2020-12-07 一种基于注意力机制的可见光信号均衡***及方法 Active CN112600618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011414459.8A CN112600618B (zh) 2020-12-07 2020-12-07 一种基于注意力机制的可见光信号均衡***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414459.8A CN112600618B (zh) 2020-12-07 2020-12-07 一种基于注意力机制的可见光信号均衡***及方法

Publications (2)

Publication Number Publication Date
CN112600618A CN112600618A (zh) 2021-04-02
CN112600618B true CN112600618B (zh) 2023-04-07

Family

ID=75188514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414459.8A Active CN112600618B (zh) 2020-12-07 2020-12-07 一种基于注意力机制的可见光信号均衡***及方法

Country Status (1)

Country Link
CN (1) CN112600618B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259284B (zh) * 2021-05-13 2022-05-24 中南大学 一种基于Bagging和长短期记忆网络的信道盲均衡方法及***
CN114500197B (zh) * 2022-01-24 2023-05-23 华南理工大学 一种可见光通信后均衡方法、***、装置及存储介质
CN114500189B (zh) * 2022-01-24 2023-06-20 华南理工大学 一种可见光通信直接预均衡方法、***、装置及介质
CN115085808B (zh) * 2022-06-09 2023-10-17 重庆邮电大学 一种基于小波神经网络的vlc***时频联合后均衡方法
WO2024077449A1 (zh) * 2022-10-10 2024-04-18 华为技术有限公司 用于定位的模型的训练方法、定位方法、电子设备及介质
CN116506261B (zh) * 2023-06-27 2023-09-08 南昌大学 一种可见光通信感知方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944915A (zh) * 2017-11-21 2018-04-20 北京深极智能科技有限公司 一种游戏用户行为分析方法及计算机可读存储介质
EP3413218A1 (en) * 2017-06-08 2018-12-12 Facebook, Inc. Key-value memory networks
CN110472229A (zh) * 2019-07-11 2019-11-19 新华三大数据技术有限公司 序列标注模型训练方法、电子病历处理方法及相关装置
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法
CN110851718A (zh) * 2019-11-11 2020-02-28 重庆邮电大学 一种基于长短时记忆网络以及用户评论的电影推荐方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354168B2 (en) * 2016-04-11 2019-07-16 A2Ia S.A.S. Systems and methods for recognizing characters in digitized documents

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3413218A1 (en) * 2017-06-08 2018-12-12 Facebook, Inc. Key-value memory networks
CN107944915A (zh) * 2017-11-21 2018-04-20 北京深极智能科技有限公司 一种游戏用户行为分析方法及计算机可读存储介质
CN110472229A (zh) * 2019-07-11 2019-11-19 新华三大数据技术有限公司 序列标注模型训练方法、电子病历处理方法及相关装置
CN110610168A (zh) * 2019-09-20 2019-12-24 合肥工业大学 一种基于注意力机制的脑电情绪识别方法
CN110851718A (zh) * 2019-11-11 2020-02-28 重庆邮电大学 一种基于长短时记忆网络以及用户评论的电影推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Convolution-Enhanced LSTM Neural Network Post-Equalizer used in Probabilistic Shaped Underwater VLC System;Zhongya Li;《2020 IEEE International Conference on Signal Processing, Communications and Computing》;20201120;第1-2页 *
基于注意力机制的CNN-LSTM模型及其应用;李梅;《计算机工程与应用》;20190418;第1-4页 *

Also Published As

Publication number Publication date
CN112600618A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112600618B (zh) 一种基于注意力机制的可见光信号均衡***及方法
Zhang et al. Overfitting and underfitting analysis for deep learning based end-to-end communication systems
CN110942100B (zh) 一种基于深度去噪神经网络的空间调制***的工作方法
Li et al. Robust automated VHF modulation recognition based on deep convolutional neural networks
CN112308133A (zh) 基于卷积神经网络的调制识别方法
CN114239749B (zh) 基于残差收缩及双向长短期记忆网络的调制识别方法
CN109525369B (zh) 一种基于循环神经网络的信道编码类型盲识别方法
CN114881092A (zh) 一种基于特征融合的信号调制识别方法
CN110233810B (zh) 一种混合噪声下基于深度学习的msk信号解调方法
CN114157539B (zh) 一种数据知识双驱动的调制智能识别方法
CN110430013B (zh) 一种基于深度学习的rcm方法
CN111340107A (zh) 基于卷积神经网络代价敏感学习的故障诊断方法及***
CN112291005A (zh) 一种基于Bi-LSTM神经网络的接收端信号检测方法
CN114362859A (zh) 增强条件生成对抗网络的自适应信道建模方法及***
CN112865866A (zh) 基于gsn的可见光pam***非线性补偿方法
Pan et al. Image segmentation semantic communication over internet of vehicles
Abbasi et al. Deep learning-based list sphere decoding for Faster-than-Nyquist (FTN) signaling detection
CN114595729A (zh) 基于残差神经网络与元学习融合的通信信号调制识别方法
CN113206808A (zh) 一种基于一维多输入卷积神经网络的信道编码盲识别方法
Bansbach et al. Spiking neural network decision feedback equalization
Shen et al. Blind recognition of channel codes via deep learning
Kalade et al. Using sequence to sequence learning for digital bpsk and qpsk demodulation
He et al. Design and implementation of adaptive filtering algorithm for vlc based on convolutional neural network
CN110474798A (zh) 一种利用回声状态网络预测无线通信未来信号的方法
CN116310475A (zh) 一种基于半监督学习的垃圾图像分类算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant