CN114764577A - 一种基于深度神经网络的轻量级调制识别模型及其方法 - Google Patents

一种基于深度神经网络的轻量级调制识别模型及其方法 Download PDF

Info

Publication number
CN114764577A
CN114764577A CN202210467944.4A CN202210467944A CN114764577A CN 114764577 A CN114764577 A CN 114764577A CN 202210467944 A CN202210467944 A CN 202210467944A CN 114764577 A CN114764577 A CN 114764577A
Authority
CN
China
Prior art keywords
neural network
modulation
lightweight
deep neural
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210467944.4A
Other languages
English (en)
Inventor
石高涛
郭繁森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210467944.4A priority Critical patent/CN114764577A/zh
Publication of CN114764577A publication Critical patent/CN114764577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Error Detection And Correction (AREA)

Abstract

本发明公开一种基于深度神经网络的轻量级调制识别模型，所述轻量级调制识别模型由卷积神经网络、循环神经网络和深度神经网络三部分组成；所述轻量级调制识别模型通过使用循环门控单元层及一维卷积层来替换卷积长短时深度神经网络中的长短时记忆层和二维卷积层，达到简化网络结构，提升识别精度的目的；本发明中深度神经网络的轻量级调制识别模型不仅提高了调制识别分类准确率，而且减少了现有模型的复杂度。

Description

一种基于深度神经网络的轻量级调制识别模型及其方法
技术领域
本发明主要涉及基于无线通信的自动调制识别技术领域，尤其涉及一种基于深度神经网络的轻量级调制识别方法。
背景技术
自动调制分类(AMC，Automatic Modulation Classification)在现代无线通信中起着重要的作用，对于非合作通信而言，当接收或者截取到信号之后，由于没有对通信信道环境的先验知识，不知道实际信号、信道的参数信息(比如信号偏移、多径衰落、载波频率等)，想要识别出信号的调制方式是不易的。而自动调制识别技术能够在这种盲调制的情况下，完成对信号的调制分类，保证正常的通信过程，它主要用在信号到达接收器以后，通过进一步对信号的预处理，分析识别出信号的调制模式，方便信号在解调器中进行后续处理。自动调制识别技术的智能化处理特性被广泛应用于电子支援、电子对抗、无线电侦察、抗干扰识别等军用领域；此外，它还支持无线标记、自动化识别信号，此特性也被广泛的应用于无线设备检测、消除串行干扰、无线频谱监管等民用领域。
由于传输信道中噪声和多径衰落等因素的负面影响以及高级调制类型的增加，如何进一步提升调制识别精度是一个具有挑战性的问题。近些年来，随着5G通信技术的商用以及对 6G的研究和探索，使得通信信号调制模式越来越复杂，对调制识别模型性能也有了新的要求，尤其是针对一些资源受限的智能边缘设备。比如，在物联网的广泛普及中，万物互联的时代也将要到来，那时将会有成千上万的终端设备，分布式节点，而终端节点之间的互联互通也离不开物理层信号处理技术，这些终端节点计算能力差，内存资源不足的特性为调制识别带来了新的挑战。
目前调制识别算法主要有基于传统的算法和基于深度学***台计算资源，难以应用在一些内存资源有限，计算能力弱的小型化，低功耗设备上。随着资源受限的智能边缘设备的广泛应用，如何设计可用于资源受限环境下的轻量化调制识别算法具有非常重要的研究意义。此外，传统的基于模型压缩的轻量化方法[2][3]是以牺牲精度为代价的，因此，可以从简化网络模型，优化网络参数的角度，设计一种轻量级神经网络，使模型在提高识别精度的同时，尽可能降低模型复杂度。
一些研究学者提出了基于调制识别的深度学习网络如循环神经网络(RNN，Recurrent Neural Network)、卷积神经网络(CNN，Convolutional Neural Network)和长短时记忆网络(LSTM，Long Short-Term Memory)等。一般来说，CNN被广泛应用于计算机视觉领域，擅长提取数据的空间特性；LSTM被广泛应用于语音信号识别领域，擅长处理信号时间上的特性。此外，GRU(Gated Recurrent Unit)也是一种特殊的RNN架构，具有学习长期依赖关系的能力，相比LSTM，GRU的隐藏单元更少，因此只需要更少的计算量并且训练速度更快。针对通信调制信号的原始IQ数据，其包含着空间和时间特性，IQ数据有I和Q两路分量，每路分量I和Q采样点有对应关系，且每路分量采样点具有时序连续性且前后之间相关联，将卷积神经网络与循环神经网络相结合，能够更加充分的提取调制信号的特征信息。有研究者将CNN、LSTM和DNN组合成一个统一的架构，称为卷积长短时深度神经网络[4] (CLDNN，Convolutional，Long Short-Term Memory，Fully Connected Deep Neural Networks)，并证明在一定程度上使用混合网络相较单个网络能够拥有更高的性能，但 CLDNN网络复杂，模型参数多，内存消耗大，难以应用在一些资源受限的设备上。
文献[5]中提出了一种基于深度神经网络的调制识别方法(CNN2)，调制数据集由11 种调制类型组成，使用经预处理的不同阶数的光谱数据进行训练，其分类精度高于传统神经网络；文献[6]提出的残差神经网络(ResNet)有效地解决了网络模型的退化现象。残差结构基本思想在于采用跨层连接方式，在网络层之间添加恒等映射，将输入跳过一些卷积层直接连接到后面的层中，则输入数据没跳过中间层的输出与跳过中间层与恒等映射相加得到的残差结构的输出之间的差就是网络学习的目标，这使得网络可以学到更新的特征从而达到更好的效果。在调制识别领域，这个想法在文献[7]中被采用；文献[8]于2021年提出了一种更轻量化的卷积神经网络(Mod-LRCNN)来执行调制分类，实验结果表明，该网络以更少的参数量，更高的识别准确率优于前面提到的CNN2，ResNet等网络。本发明利用以上几种网络作为基准网络模型，从简化网络模型，优化网络参数的角度，提出一种基于CLDNN的轻量级混合神经网络。
[参考文献]
[1]Abdel-Moneim M A,El-Shafai W,Abdel-Salam N,et al.A survey oftraditional and advanced automatic modulation classification techniques,challenges,and some novel trends[J]. International Journal of CommunicationSystems,2021,34(10):e4762.
[2]Gupta S,Agrawal A,Gopalakrishnan K,et al.Deep learning withlimited numerical precision[C]//International conference on machinelearning.PMLR,2015:1737-1746.
[3]Liu Z,Sun M,Zhou T,et al.Rethinking the value of network pruning[J].arXiv preprint arXiv:1810.05270,2018.
[4]Ramjee S,Ju S,Yang D,et al.Fast deep learning for automaticmodulation classification[J]. arXiv preprint arXiv:1901.05850,2019.
[5]O’Shea T J,Corgan J,Clancy T C.Convolutional radio modulationrecognition networks[C]//International conference on engineering applicationsof neural networks.Springer, Cham,2016:213-226.
[6]Dai A,Zhang H,Sun H.Automatic modulation classification usingstacked sparse auto-encoders[C]//2016IEEE 13th International Conference onSignal Processing(ICSP).IEEE, 2016:248-252.
[7]O’Shea T J,Roy T,Clancy T C.Over-the-air deep learning based radiosignal classification[J].IEEE Journal of Selected Topics in SignalProcessing,2018,12(1):168-179.
[8]Courtat T,des Bourboux H M.A light neural network for modulationdetection under impairments[C]//2021International Symposium on Networks,Computers and Communications (ISNCC).IEEE,2020:1-7.
发明内容
本发明的目的在于克服现有技术的不足，提出一种基于深度神经网络的轻量级调制识别模型及其方法，该发明通过使模型在提升识别精度的同时，尽可能降低模型复杂度。
本发明解决其现实问题是采取以下技术方案实现的：
一种基于深度神经网络的轻量级调制识别模型，所述轻量级调制识别模型由卷积神经网络、循环神经网络和深度神经网络三部分组成；所述轻量级调制识别模型通过使用循环门控单元层及一维卷积层来替换卷积长短时深度神经网络中的长短时记忆层和二维卷积层，达到简化网络结构，提升识别精度的目的。包括如下步骤：
对轻量级调制识别模型输入经过预处理后的初始数据；
所述卷积神经网络通过一维卷积层对初始数据提取特征向量并进行最大池化处理获得降维特征向量；
所述循环神经网络通过循环门控单元层对降维特征向量进行特征提取获得依赖特征向量，并利用高斯Dropout防止过拟合；
所述深度神经网络通过展平层对依赖特征向量进行一维处理生成展平特征向量，然后映射到全连接层，通过Softmax激活函数输出分类结果。
本发明还可以采用如下技术方案予以实施：
一种基于深度神经网络的轻量级调制识别方法，其特征在于，包括如下步骤：
步骤1：将初始数据划分为训练集和测试集，训练集即调制信号，测试集即待识别信号；
步骤2：采用最小-最大标准化方法对调制信号和待识别信号进行归一化处理；
步骤3：进行仿真实验以确定网络模型最佳结构和参数，选取最佳的卷积层数量，循环门控单元层数量及卷积核的数量与大小；
步骤4：训练基于深度神经网络的轻量化网络模型来确定模型中神经元的最佳权重；
步骤5：将测试集输入到训练好的轻量级调制识别模型中，输出即为待识别信号的调制类型预测结果。
有益效果
1.本发明中的轻量级调制识别模型不仅提高了调制识别分类准确率，而且减少了现有模型复杂度。
2.本发明提出了一种基于深度神经网络的轻量级调制识别分类方法，通过对卷积长短时神经网络进行简化网络结构和优化参数，使得网络训练参数量减少，分类时间和占用内存大小也有一定下降。
附图说明
图1是一种基于深度神经网络的轻量级调制识别方法流程图；
图2是一种基于深度神经网络的轻量级调制识别网络模型架构图；
图3是不同模型在整个信噪比上的识别准确率变化图(LDNN为本发明模型)。
具体实施方式
下面结合附图对本发明作出详细说明：
本发明提供一种基于深度神经网络的轻量化模型，该模型由卷积神经网络、循环神经网络和深度神经网络三部分组成，通过使用门控循环单元层及一维卷积层来替换原网络 (CLDNN)中的长短时记忆层和二维卷积层，以达到简化网络结构，提升识别精度的目的。
如图2所示，模型输入为128×2的IQ初始数据，分别经过一维卷积层提取特征向量，然后对提取的特征进行最大池化处理，筛选特征并进行特征尺度降维，之后重复这一过程并将得到的特征向量输入至门控循环单元层及高斯Dropout层，门控循环单元通过其重置门与更新门进一步提取依赖特征，高斯Dropout通过随机丢弃一些神经元节点来缓解过拟合，最后重复这一过程并将提取的特征送入展平层，展平层将多维的输入一维化，之后展平的一维特征被映射到具有N(11)个神经元数量的全连接层，经Softmax激活函数以N(11)维的概率向量形式输出，以最大概率值的索引作为分类输出结果。
本发明的目的通过以下步骤来实现：
一种基于深度神经网络的轻量级调制识别模型方法，包括如下步骤：
步骤1：将初始数据划分为训练集和测试集，训练集即调制信号，测试集即待识别信号。将其中每一类调制类型在每一种信噪比值的数据中随机选取一部分作为训练集，另一部分作为测试集。
步骤2：采用最小-最大标准化方法对调制信号和待识别信号进行归一化处理。对初始数据进行归一化预处理，采用最小-最大标准化的归一化方法，即对调制信号的幅值进行简单缩放，将调制信号的幅值压缩在区间[0,1]之间，可以有效减少信道衰落等因素对信号幅值的影响，提高模型的泛化能力。
步骤3：进行仿真实验以确定网络模型最佳结构和参数。选取最佳的卷积层数量，循环门控单元层数量及卷积核的数量与大小。实验过程中，先固定其他层不变，针对一层进行实验，选取表现最好的参数；然后固定这层，继续对下一层进行同样的操作，直到选定所有参数。
步骤4：训练基于深度神经网络的轻量化网络模型来确定模型中每个神经元的权值。在训练时，将训练集输入神经网络，通过不断提取特征最终网络会输出一个信号调制类型，将此结果与真实的信号调制类型标签进行损失函数计算，并进行梯度回传，不断优化更新网络的权重，直到训练结束，便得到了信号调制识别网络模型。
在训练基于深度神经网络的轻量化模型过程中，使用softmax激活函数对输出结果进行预测分类，网络输出为一个长度为N的one-hot向量，其中N代表了数据集的N种调制方式，数值越高的那一位代表某种调制识别方式的可能性越大。对于测试样本数据x，xi表示x中的第i个元素，则这个元素的softmax值是:
Figure BDA0003625222170000051
由softmax函数将网络输出转化为概率向量得到网络对于测试数据x的预测概率
Figure BDA0003625222170000052
再使用交叉熵损失(Cross Entropy)函数衡量预测概率分布和真实概率分布之间的差异，设真实概率为y＝[y0,y1,...,yN-1]，那么交叉熵损失计算公式如：
Figure BDA0003625222170000053
当每一轮神经网络训练结束，便会将预测结果与真实标签进行比较，并进行梯度回传更新神经网络中的每个神经元节点的权重，当训练结束就得到了调制识别网络模型。
步骤5：将测试集输入到训练好的卷积神经网络模型中，输出即为待识别信号的调制类型识别结果。为了比较不同网络之间的性能，需要选择一种指标来评估其性能，本发明采用准确率作为评估指标，设测试集样本数为N，某一个数据样本的真实类别标签为yi，网络对该数据样本的预测类别为
Figure BDA0003625222170000054
那么网络在该测试集上的识别准确率为：
Figure BDA0003625222170000055
其中
Figure BDA0003625222170000056
步骤6：模型在调制识别领域公开数据集RML2016.10a上的表现如图3所示，其中LDNN 为本发明提出的模型，不同基线模型在分类时间和占用内存方面的对比效果如表1所示。通过不同性能评估结果可以看出，在分类准确率和复杂度方面，本发明模型有了一定的改善。
表1不同模型性能表现
Figure BDA0003625222170000057
Figure BDA0003625222170000061
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (2)

1.一种基于深度神经网络的轻量级调制识别模型，其特征在于，所述轻量级调制识别模型由卷积神经网络、循环神经网络和深度神经网络三部分组成；所述轻量级调制识别模型通过使用循环门控单元层及一维卷积层来替换卷积长短时深度神经网络中的长短时记忆层和二维卷积层。包括如下步骤：
对轻量级调制识别模型输入经过预处理后的初始数据；
所述卷积神经网络通过一维卷积层对初始数据提取特征向量并进行最大池化处理获得降维特征向量；
所述循环神经网络通过循环门控单元对降维特征向量进行特征提取获得依赖特征向量，并利用高斯Dropout防止过拟合；
所述深度神经网络通过展平层对依赖特征向量进行一维处理生成展平特征向量，然后映射到全连接层，通过Softmax激活函数输出分类结果。
2.一种基于深度神经网络的轻量级调制识别方法，其特征在于，包括如下步骤：
步骤1：将初始数据划分为训练集和测试集，训练集即调制信号，测试集即待识别信号；
步骤2：采用最小-最大标准化方法对调制信号和待识别信号进行归一化处理；
步骤3：进行仿真实验以确定网络模型最佳结构和参数，选取最佳的卷积层数量，循环门控单元层数量及卷积核的数量与大小；
步骤4：训练基于深度神经网络的轻量化网络模型来确定模型中神经元的最佳权重；
步骤5：将测试集输入到训练好的轻量级调制识别模型中，输出即为待识别信号的调制类型预测结果。
CN202210467944.4A 2022-04-29 2022-04-29 一种基于深度神经网络的轻量级调制识别模型及其方法 Pending CN114764577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210467944.4A CN114764577A (zh) 2022-04-29 2022-04-29 一种基于深度神经网络的轻量级调制识别模型及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210467944.4A CN114764577A (zh) 2022-04-29 2022-04-29 一种基于深度神经网络的轻量级调制识别模型及其方法

Publications (1)

Publication Number Publication Date
CN114764577A true CN114764577A (zh) 2022-07-19

Family

ID=82364569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210467944.4A Pending CN114764577A (zh) 2022-04-29 2022-04-29 一种基于深度神经网络的轻量级调制识别模型及其方法

Country Status (1)

Country Link
CN (1) CN114764577A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499278A (zh) * 2022-08-30 2022-12-20 哈尔滨工程大学 基于轻量级神经网络的mimo信号调制识别方法
CN117118789A (zh) * 2023-09-28 2023-11-24 江南大学 基于cldnn神经网络的mimo-ofdm信号盲调制识别方法及***
CN117131416A (zh) * 2023-08-21 2023-11-28 四川轻化工大学 一种小样本调制识别方法、***、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499278A (zh) * 2022-08-30 2022-12-20 哈尔滨工程大学 基于轻量级神经网络的mimo信号调制识别方法
CN115499278B (zh) * 2022-08-30 2024-06-04 哈尔滨工程大学 基于轻量级神经网络的mimo信号调制识别方法
CN117131416A (zh) * 2023-08-21 2023-11-28 四川轻化工大学 一种小样本调制识别方法、***、电子设备及存储介质
CN117131416B (zh) * 2023-08-21 2024-06-04 四川轻化工大学 一种小样本调制识别方法、***、电子设备及存储介质
CN117118789A (zh) * 2023-09-28 2023-11-24 江南大学 基于cldnn神经网络的mimo-ofdm信号盲调制识别方法及***

Similar Documents

Publication Publication Date Title
CN114764577A (zh) 一种基于深度神经网络的轻量级调制识别模型及其方法
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN114881092A (zh) 一种基于特征融合的信号调制识别方法
CN112910811B (zh) 基于联合学***未知条件下的盲调制识别方法和装置
CN113435509B (zh) 基于元学习的小样本场景分类识别方法及***
CN114239749B (zh) 基于残差收缩及双向长短期记忆网络的调制识别方法
CN112241724A (zh) 一种基于双路卷积长短期神经网络的自动识别方法及***
Xiao et al. Radar signal recognition based on transfer learning and feature fusion
Wu et al. Phase transitions for the information bottleneck in representation learning
CN113988357B (zh) 基于深度学习的高层建筑风致响应预测方法及装置
Ye et al. Deep over-the-air computation
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
Yu et al. Fingerprint extraction and classification of wireless channels based on deep convolutional neural networks
Zhang et al. A deep learning based algorithm with multi-level feature extraction for automatic modulation recognition
CN115982613A (zh) 一种基于改进卷积神经网络的信号调制识别***及方法
CN116471154A (zh) 基于多域混合注意力的调制信号识别方法
CN113343801B (zh) 基于轻量化卷积神经网络的无线信号自动调制识别方法
CN117853596A (zh) 无人机遥感测绘方法及***
CN113297964A (zh) 基于深度迁移学习的视频目标识别模型及方法
Zhang et al. Learning to search efficient densenet with layer-wise pruning
CN114998725B (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
Huang et al. Flow of renyi information in deep neural networks
Valadão et al. Cooperative spectrum sensing system using residual convolutional neural network
Sirojan et al. Enabling deep learning on embedded systems for iot sensor data analytics: Opportunities and challenges
CN116243248A (zh) 基于多标签分类网络的多分量干扰信号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination