CN110503185A - 一种改进的深度调制识别网络模型 - Google Patents
一种改进的深度调制识别网络模型 Download PDFInfo
- Publication number
- CN110503185A CN110503185A CN201910650582.0A CN201910650582A CN110503185A CN 110503185 A CN110503185 A CN 110503185A CN 201910650582 A CN201910650582 A CN 201910650582A CN 110503185 A CN110503185 A CN 110503185A
- Authority
- CN
- China
- Prior art keywords
- resnext
- network
- model
- modulation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
Abstract
本发明公开了一种改进的深度调制识别网络模型,属于模式识别领域。本发明通过水平堆叠多个ResNet模块结构,将改进的残差模型ResNext应用于深度调制识别中,在增加网络宽度的同时,增加网络深度,采用改进的ResNext模型对4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM‑DSB等11种通信调制类型进行识别,能够更好的对调制数据进行识别,在同等训练复杂度的情况下能大大提高识别性能,在信噪比为5dB时识别率达到98.5%以上,比其ResNet性能高4%。
Description
技术领域
本发明属于模式识别领域,一种基于深度学习的通信信号的调制样式的分类识别方法。
背景技术
在通信信号数据集或者信号样点比较少的情况下,采用简单的端到端深度神经网络如卷积神经网络CNN、循环神经网络RNN等可以取得较好的模式识别性能。当采样数据量一增加,简单的网络提取到的信号特征效果很差,且识别率还是较低。而通信信号是不确定的,所以在工程应用之前应该增大数据集,尽可能的包含更多通信环境。为了提高调制识别性能,需要探究更为大型深度的网络学习模型。
深度神经网络通过每层提取特征能够较好的实现信号的分类识别,适当增加网络深度可以提高准确率。但是从大量实验结果来看,无线信号深度调制识别只需要简单几层网络就能够达到一定的性能,随着深度的增加性能并没有呈现较好提升;反之,训练集分类准确度降低了,深度网络变得难以训练。
问题在于,在反向传播梯度的过程中,当网络比较深时,梯度在传播过程中会消失,越往前传播衰减越严重,从而导致算法无法对前端网络权重的有效调整。这种随着网络层数增加,导致梯度消失,在训练集上面的准确率达到饱和或者下降的的现象,称为退化问题。
2016年,前微软亚洲研究院何恺明等人在《Deep Residual Learning for ImageRecognition》中提出的深度残差网络(Deep Residual Networks,ResNet)模型,很好地减轻了深层网络的训练负担,使得梯度能够有效在深度网络中传播,保证了深度神经网络的学习能力,解决了随着网络加深准确率下降的问题,其基本结构如图1所示。
对于退化问题,ResNet提供了两种选择方式:恒等映射和残差映射。恒等部分直接将输入与输出相连接,残差部分则是输入经过多层隐含层后的结果。所以最后得到的结果为
H(x)=F(x)+x
其中,x表示输入数据集,F(x)表示输入x经过多层网络后的结果,H(x)表示模块的输出。如果网络已经到达最优,继续加深网络,残差映射将趋于0,只剩下恒等映射,这样理论上网络就一直处于最优状态,网络的性能也就不会随着深度增加而降低识别性能。
《Deep Architectures for Modulation Recognition》使用ResNet作为深度学习的通信调制模型,对4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM-DSB等11种调制信号进行识别,但是其性能在还是较低,在信噪比为5dB时识别性能只有94%。
发明内容
一般来说,深度网络要提高模型的准确率,都是加深或加宽网络。但是随着超参数数量的增加(比如卷积核大小、网络层数等等),需要训练的参数也更多,网络设计的难度和计算开销也会增加。而在实时调制识别***中,在保证精度的同时还需要优化网络模型,减少识别过程中的计算量。
鉴于目前基于深度学习的调制识别性能较低的问题,本发明提出将改进的残差模型ResNext应用于深度调制识别中,在不增加参数复杂度的前提下提高性能。用于调制识别的基本模块如图2,改进模型如图3。
本发明采用的技术方案为:
一种改进的深度调制识别网络模型设计方法,主要包括以下步骤:
步骤1:建立一个模型数据库,该数据库包括需要调制识别的信号数据以及相应的调制标签。
步骤2:设计用于调制识别的ResNext模型。
2.1、将模型数据库中的矩阵仿真数据分为N路并分别输入一个ResNet模块,然后将输出的N路结果合并得到第一层ResNext模块提取的特征矩阵,其中N=2,3…8,当N为1时,即为其原型ResNet。
2.2、将步骤2.1中得到的第一层ResNext模块提取的特征矩阵作为ResNext模块链的输入进行精细的信号特征提取,ResNext模块链包括M层垂直连接的ResNext模块,其中M=2,3,4…13,然后输出细提取的特征矩阵。
2.3将细提取的特征矩阵经过最大池化进行降维采样,减少计算量,然后输入到展平层将数据降为一维,最后通过全连接将特征分配适当的权重,通过激活函数输出识别结果。
步骤3:将步骤2得到的识别结果与期望值进行比较,如果误差大于等于设定门限,重复步骤2在原误差的基础上进行迭代,直到误差小于设定门限,训练结束。
本发明的有益效果:
本发明在增加网络宽度的同时,增加网络深度,采用改进的ResNext模型对4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM-DSB等11种通信调制类型进行识别,仿真实验表明,通过水平堆叠多个ResNet模块结构能够更好的对调制数据进行识别,在同等训练复杂度的情况下能大大提高识别性能,在信噪比为5dB时识别率达到98.5%以上,比其ResNet性能高4%。
附图说明
图1是ResNet Block结构。
图2是用于调制识别ResNet Block结构。
图3是改进的ResNext模块结构。
图4是改进的ResNext模型垂直连接结构图。
图5是不同分组数调制识别性能曲线图。
图6是不同网络深度调制识别性能曲线图。
图7是两种模型训练train和验证val损失曲线图。
图8是三种模型的识别性能曲线图。
具体实施方式
下面结合附图和具体实施例来详细描述本发明的技术方案。
本实施例包括以下步骤:
A.使用Gnuradio生成仿真数据,建立一个模型数据库,该数据库包括需要调制识别的信号数据以及相应的调制标签。在高斯信道不同信噪比(SNR=[-5dB,0dB,5dB,10dB,15dB,20dB])下,生成11种调制信号数据包括4PAM、BPSK、QPSK、8PSK、16QAM、64QAM、CPFSK、AM-DSB、AM-SSB、WBFM、GFSK,对信号进行采样得到1024个复数样点,将样点拆分成虚部与实部,合并所有的样本组成一个66000*2*1024的三维矩阵,其中66000表示11种调制信号在6个不同信噪比下采样1000个样本的总样本数目。本实施例中由于数据量相对较大,且不对数据作更改,所以将矩阵仿真数据通过Python序列化保存到本地文件中。
B.将数据随机分成训练集与验证集,占比为8:2。先将训练数据用于模型参数权重的训练调整。
训练完成后用验证集进行输入得到识别结果,与真实调制标签相比较,得到正确识别精度。
本实施例最终划分不同的分组数与不同的深度下的研究,主要包括以下内容。
如图3所示,本实施例在基础的一条路径的基础上,横向的拓扑路径可以从2-8不等变化,最终得到的仿真性能曲线如图5。同时,本实施例提供了4种深度的调制识别模型,如下表所示,包括3、7、12、14个改进模块的垂直堆叠,其识别曲线如图6。
大量实验发现,通过增加分组路径数量可以从一定程度上提高模型的识别性能,加深网络深度对于低信噪比部分的影响较大,网络越深其识别精度越高,但是在高信噪比部分,网络深度不影响其精度。通过进一步的分析时间与空间复杂度,本发明优选分组数为4和网络深度为7的网络模型。这种情况下,在保证网络识别性能较高的同时减少了训练耗时。
图7比较了ResNext与ResNet模型在同数据集同训练参数,学习率设置为0.01的情况下,训练和验证损失曲线。从损失曲线可以看到,相同学习率下,改进模型损失下降得更快,且训练与验证损失之间差距更小,性能更好。图8对比了ResNext、ResNet和简单深度模型CLDNN(CNN+LSTM+DNN)识别性能。结果显示,ResNext不管在低信噪比还是高信噪比部分的识别率都优于后两者。
以上所述,仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。
Claims (1)
1.一种改进的深度调制识别网络模型设计方法,其特征在于:包括以下步骤:
步骤1:建立一个模型数据库,该数据库包括需要调制识别的信号数据以及相应的调制标签;
步骤2:设计用于调制识别的ResNext模型,并输出识别结果;
2.1、将模型数据库中的矩阵仿真数据分为N路并分别输入一个ResNet模块,然后将输出的N路结果合并得到第一层ResNext模块提取的特征矩阵,其中N=2,3…8;
2.2、将步骤2.1中得到的第一层ResNext模块提取的特征矩阵作为ResNext模块链的输入进行精细的信号特征提取,ResNext模块链包括M层垂直连接的ResNext模块,其中M=2,3,4…13,然后输出细提取的特征矩阵;
2.3将细提取的特征矩阵经过最大池化进行降维采样,减少计算量,然后输入到展平层将数据降为一维,最后通过全连接将特征分配权重,通过激活函数输出识别结果;
步骤3:将步骤2得到的识别结果与期望值进行比较,如果误差大于等于设定门限,重复步骤2在原误差的基础上进行迭代,直到误差小于设定门限,训练结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910650582.0A CN110503185B (zh) | 2019-07-18 | 2019-07-18 | 一种改进的深度调制识别网络模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910650582.0A CN110503185B (zh) | 2019-07-18 | 2019-07-18 | 一种改进的深度调制识别网络模型 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110503185A true CN110503185A (zh) | 2019-11-26 |
CN110503185B CN110503185B (zh) | 2023-04-07 |
Family
ID=68585550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910650582.0A Active CN110503185B (zh) | 2019-07-18 | 2019-07-18 | 一种改进的深度调制识别网络模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110503185B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110974214A (zh) * | 2019-12-20 | 2020-04-10 | 华中科技大学 | 一种基于深度学习的自动心电图分类方法、***及设备 |
CN111191515A (zh) * | 2019-12-05 | 2020-05-22 | 中国电力科学研究院有限公司 | 一种基于深度学习的高精度频谱识别方法及*** |
CN112308133A (zh) * | 2020-10-29 | 2021-02-02 | 成都明杰科技有限公司 | 基于卷积神经网络的调制识别方法 |
CN113723353A (zh) * | 2021-09-13 | 2021-11-30 | 上海交通大学 | 一种随机多径干扰条件下基于cbd网络的调制信号识别方法 |
CN113947151A (zh) * | 2021-10-20 | 2022-01-18 | 嘉兴学院 | 一种海上复杂环境下的无线通信信号自动调制识别方法 |
CN114844583A (zh) * | 2022-03-30 | 2022-08-02 | 电子科技大学 | 基于原型网络的端到端通信接收方法 |
CN115664910A (zh) * | 2022-11-14 | 2023-01-31 | 西安睿奥电磁环境科技有限公司 | 基于Resnet-LSTM的信号调制分类方法与*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101408076B1 (ko) * | 2014-01-13 | 2014-06-18 | 국방과학연구소 | 유전 알고리즘 융합 신경망을 이용한 pri 변조형태 인식방법 및 그 장치 |
CN108647723A (zh) * | 2018-05-11 | 2018-10-12 | 湖北工业大学 | 一种基于深度学习网络的图像分类方法 |
CN109274621A (zh) * | 2018-09-30 | 2019-01-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度残差网络的通信协议信号识别方法 |
CN109361635A (zh) * | 2018-11-23 | 2019-02-19 | 泰山学院 | 基于深度残差网络的水下通信调制方式识别方法及*** |
CN109547374A (zh) * | 2018-11-23 | 2019-03-29 | 泰山学院 | 一种用于水下通信调制识别的深度残差网络及*** |
CN109787929A (zh) * | 2019-02-20 | 2019-05-21 | 深圳市宝链人工智能科技有限公司 | 信号调制识别方法、电子装置及计算机可读存储介质 |
-
2019
- 2019-07-18 CN CN201910650582.0A patent/CN110503185B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101408076B1 (ko) * | 2014-01-13 | 2014-06-18 | 국방과학연구소 | 유전 알고리즘 융합 신경망을 이용한 pri 변조형태 인식방법 및 그 장치 |
CN108647723A (zh) * | 2018-05-11 | 2018-10-12 | 湖北工业大学 | 一种基于深度学习网络的图像分类方法 |
CN109274621A (zh) * | 2018-09-30 | 2019-01-25 | 中国人民解放军战略支援部队信息工程大学 | 基于深度残差网络的通信协议信号识别方法 |
CN109361635A (zh) * | 2018-11-23 | 2019-02-19 | 泰山学院 | 基于深度残差网络的水下通信调制方式识别方法及*** |
CN109547374A (zh) * | 2018-11-23 | 2019-03-29 | 泰山学院 | 一种用于水下通信调制识别的深度残差网络及*** |
CN109787929A (zh) * | 2019-02-20 | 2019-05-21 | 深圳市宝链人工智能科技有限公司 | 信号调制识别方法、电子装置及计算机可读存储介质 |
Non-Patent Citations (4)
Title |
---|
NATHAN E. WEST等: "Deep Architectures for Modulation Recognition" * |
SAINING XIE等: "Aggregated Residual Transformations for Deep Neural Networks" * |
王辉: "大动态信噪比下数字调制信号识别方法研究" * |
罗兵兵: "基于深度学习的通信信号调制识别研究" * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111191515A (zh) * | 2019-12-05 | 2020-05-22 | 中国电力科学研究院有限公司 | 一种基于深度学习的高精度频谱识别方法及*** |
CN110974214A (zh) * | 2019-12-20 | 2020-04-10 | 华中科技大学 | 一种基于深度学习的自动心电图分类方法、***及设备 |
CN112308133A (zh) * | 2020-10-29 | 2021-02-02 | 成都明杰科技有限公司 | 基于卷积神经网络的调制识别方法 |
CN113723353A (zh) * | 2021-09-13 | 2021-11-30 | 上海交通大学 | 一种随机多径干扰条件下基于cbd网络的调制信号识别方法 |
CN113723353B (zh) * | 2021-09-13 | 2023-12-12 | 上海交通大学 | 一种随机多径干扰条件下基于cbd网络的调制信号识别方法 |
CN113947151A (zh) * | 2021-10-20 | 2022-01-18 | 嘉兴学院 | 一种海上复杂环境下的无线通信信号自动调制识别方法 |
CN113947151B (zh) * | 2021-10-20 | 2024-05-24 | 嘉兴学院 | 一种海上复杂环境下的无线通信信号自动调制识别方法 |
CN114844583A (zh) * | 2022-03-30 | 2022-08-02 | 电子科技大学 | 基于原型网络的端到端通信接收方法 |
CN115664910A (zh) * | 2022-11-14 | 2023-01-31 | 西安睿奥电磁环境科技有限公司 | 基于Resnet-LSTM的信号调制分类方法与*** |
Also Published As
Publication number | Publication date |
---|---|
CN110503185B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110503185A (zh) | 一种改进的深度调制识别网络模型 | |
CN107979554B (zh) | 基于多尺度卷积神经网络的无线电信号调制识别方法 | |
CN107547460A (zh) | 基于深度学习的无线通信调制信号识别方法 | |
CN109800736A (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
CN110163180A (zh) | 运动想象脑电数据分类方法及*** | |
CN103578119B (zh) | 基于超像素的Codebook动态场景中目标检测方法 | |
CN107038421A (zh) | 基于稀疏堆栈自编码的调制样式识别方法 | |
CN107292256A (zh) | 基于辅任务的深度卷积小波神经网络表情识别方法 | |
CN108768907A (zh) | 一种基于瞬时特征统计量和bp神经网络的调制识别方法 | |
CN111832417A (zh) | 基于cnn-lstm模型和迁移学习的信号调制样式识别方法 | |
CN112702294A (zh) | 一种基于深度学习的多层次特征提取的调制识别方法 | |
CN110502988A (zh) | 视频中的组群定位与异常行为检测方法 | |
CN107092960A (zh) | 一种改进的并行通道卷积神经网络训练方法 | |
CN107341480A (zh) | 一种改进型pccnn神经网络模型的人群聚集检测方法 | |
CN107657281A (zh) | 一种基于改进的卷积神经网络的图像识别方法 | |
CN105512676A (zh) | 一种智能终端上的食物识别方法 | |
CN108052956A (zh) | 一种大气湍流下无线光通信副载波调制星座图识别方法 | |
CN114254680B (zh) | 基于多特征信息的深度学习网络调制识别方法 | |
CN106557814A (zh) | 一种道路车辆密度评估方法及装置 | |
CN110110738A (zh) | 一种基于多特征融合的雷达辐射源识别方法 | |
CN110417694A (zh) | 一种通信信号调制方式识别方法 | |
CN106952275A (zh) | 一种基于粒子群神经网络的细胞图像分割方法 | |
CN113298031B (zh) | 一种考虑信号物理和时序特性的信号调制识别方法及*** | |
CN104657466A (zh) | 一种基于论坛帖子特征的用户兴趣识别方法及装置 | |
Zhang et al. | Adaptive RF fingerprints fusion via dual attention convolutions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |