CN108038471A - 一种基于深度学习技术的水声通信调制模式识别方法 - Google Patents

Abstract

本发明涉及一种基于深度学习技术的水声通信调制模式识别方法。该方法包括：构建深度学习卷积神经网络模型；预设训练集样本识别准确率T、测试集样本识别准确率P；获取不同调制方式实验数据或仿真数据；将每N个采样点数据作为一个原始数据样本，进行预处理；将预处理后数据样本随机划分为训练集和测试集；用训练样本集对其进行训练；判断训练集样本识别准确率是否达到预设值，当达到时，将输入切换为数据样本测试集，用数据样本测试集对进行测试；否则继续训练；判断测试集样本识别准确率是否达到预设值，当达到时则完成模型；否则，获取额外数据，与原数据混合，重复执行本方法。本发明解决了由于海洋信道时变空变导致的信号特征提取困难。

Description

一种基于深度学习技术的水声通信调制模式识别方法

技术领域

本发明涉及一种水声通信调制模式识别方法，特别是一种基于深度学习技术的水声通信调制模式识别方法，属于水声通信与模式识别领域。

背景技术

非合作水声通信信号调制模式识别研究作为水声对抗领域的重要组成部分，日益成为重要的研究课题。为有效实现分类识别，需要获得最能反映信号分类差别的特征。

范海波(范海波，杨志俊，曹志刚《卫星通信常用调制模式的自动识别》，通信学报，2004,25(1)：140-149)提出了一种基于谱特征的通信信号调制模式自动识别方法，从信号功率谱、平方谱中提取无需调制参数的特征参数作为特征向量，在较低信噪比下仍具有很好的识别准确率.但是，水声信道具有时变空变等复杂特性，使得无需先验知识的特征参数往往呈现出严重的不稳定性、随机性。

自2012年兴起的深度学习是一种基于数据驱动的自动特征提取识别算法，相较以往基于人工设计的特征提取算法，深度学习取得的效果更为出色，微软研究院和谷歌的语音识别研究人员先后采用深度学习降低语音识别错误率20％～30％，是语音识别领域10多年来最大的突破性进展。

尤其在图像识别应用中，基于深度学习中的卷积神经网络模型的算法体现了其它的非深度学习方法所不具备的优势。文献《ImageNet classification with deepconvolutional neural networks》(神经信息处理***2012年会，1097-1105页)在ImageNet图像识别评测上将错误率从26％降低到15％，比第二名高出10％左右。

发明内容

为克服上述技术缺陷，本发明要解决的技术问题是提供一种较为鲁棒的基于深度学习技术的水声通信调制模式识别方法。

为解决上述技术问题，本发明技术方案是：

步骤一：构建一个深度学习卷积神经网络模型；

步骤二：预设训练集样本识别准确率T，预设测试集样本识别准确率P；

步骤三：获取不同调制方式的水声通信调制信号的实验数据或仿真数据；

步骤四：将同类调制方式信号的每N个采样点数据作为一个原始数据样本，每一个原始数据样本为一个N×1的列向量，对原始数据样本标注信号的调制方式；

步骤五：对每个数据样本进行预处理，将所有原始数据样本转换为深度学习卷积神经网络的输入形式，包括对原始数据样本进行带通滤波，得到一个N×1的列向量，然后对滤波后得到的N×1的列向量进行希尔伯特变换，得到另一个N×1的列向量，将2个N×1的列向量合并成1个N×2矩阵；

步骤六：将预处理后的数据样本矩阵随机划分为训练集和测试集；

步骤七：用训练样本集训练深度学习卷积神经网络模型的参数；

步骤八：判断训练集样本识别准确率是否达到预设值，当训练集样本识别准确率大于等于T时，跳转至步骤九；否则，跳转至步骤七；

步骤九：将深度学习卷积神经网络的输入切换为数据样本测试集，用数据样本测试集对深度学习卷积神经网络模型进行检验；

步骤十：判断测试集样本识别准确率是否达到预设值，当测试集样本识别准确率大于等于P时，则执行步骤十一；否则，获取额外数据，与所述的步骤三中的原数据混合，扩大原始数据样本，然后跳转至步骤四；

步骤十一：完成深度学习卷积神经网络参数的设置，获得网络模型参数，完成模型。

本发明还包括：

1.步骤一的深度学习卷积神经网络模型的输出为经模型判断获得的数据样本调制方式，对每一层的输出结果先进行规范化处理后输出。

2.步骤七中用训练样本集对深度学习卷积神经网络进行训练方法为反向传播算法。

3.步骤四的原始数据样本满足：

(N-1)×t×B＞40

其中，t为采样周期，B为步骤三所述的实验数据和仿真数据的信号频带宽度。

4.步骤一的深度学习卷积神经网络模型包括卷积层、池化层和全连接层，所述的卷基层层数大于等于3层，所述的各卷积层的通道数应均大于等于30，所述的各卷积层的每个通道的神经元个数随卷积层逐层递减，通道个数逐层递增；每一层卷积层后面加入池化层，池化层为最大池化层，池化层的通道数与之前的卷积层的通道数相等；所述的全连接层连接在最后的池化层后，所述的全连接层层数大于等于2层且为单通道，第一层全连接层的神经元的个数大于等于100，最后一层全连接层的神经元的个数大于等于30，所述的全连接层的神经元个数逐层递减。

本发明有益效果：由于本发明采用深度学***台，该方法适用于对于水声通信对抗领域。深度学***。

附图说明

图1为本发明算法框图；

图2(a)为二进制相移键控(BPSK)待分类识别的水声通信调制信号样本的时域波形；

图2(b)为四进制相移键控(QPSK)待分类识别的水声通信调制信号样本的时域波形；

图2(c)为八进制相移键控(8PSK)待分类识别的水声通信调制信号样本的时域波形；

图2(d)为直接扩频序列(DSSS)待分类识别的水声通信调制信号样本的时域波形；

图2(e)为正交频分复用(OFDM)待分类识别的水声通信调制信号样本的时域波形；

图3为深度学习卷积神经网络中的基本计算单元神经元计算过程；

图4为神经网络全连结层示意图

图5为神经网络卷积层中一个卷积核的计算过程

图6为神经网络多通道的卷积层示意图

图7为深度学习卷积神经网络中的池化层运算过程；

图8(a)为未经dropout全连接层的示意图；

图8(b)为经过dropout全连接层的示意图；

图9为深度学习卷积神经网络模型示意图；

图10为含有规范化处理的卷积层、池化层的联合计算示意图

图11(a)为各种调制方式的识别结果图；

图11(b)为各种调制方式的识别率图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

本发明方法实现方式如下：

(1)构建一个输出为对样本调制方式的判断的深度学习卷积神经网络模型，如图9和图10所示，在每一给卷积层后面加入池化层，池化层为最大池化层，并且对每一层的输出结果先进行规范化处理再输出；

(2)获取不同调制方式的水声通信信号的实验数据或仿真数据，然后将同类信号的数据每N个采样点作为一个原始数据样本；

(3)将所有原始数据样本转换为深度学习卷积神经网络的输入形式，即先对原始数据样本进行带通滤波，得到滤波后的结果为一个N维的列向量，然后对滤波后的结果进行希尔伯特变换，变换的结果也为一个N维的列向量。然后将希尔伯特变换结果与带通滤波结果合并成N×2数据样本矩阵；

(4)将所有数据样本矩阵随机分为训练样本集和测试样本集两类；

(5)用训练样本集对深度学习卷积神经网络进行训练，所用方法为通过反向传播算法算法。判断深度学习卷积神经网络的识别结果的准确率是否达到预设的指标，如果达到指标，保留网络的参数，将深度学习卷积神经网络的输入切换为测试数据样本集，如果没达到指标，在原先网络模型参数的基础上，继续用训练样本集对深度学习卷积神经网络进行训练，从而不断更新网络的参数。再判断识别准确率，循环往复，直至识别准确率达到指标；

(6)用测试样本集对深度学习卷积神经网络进行测试，如果，测试时深度学习卷积神经网络的识别准确率也达到指标了，则认为已完成用于识别不同水声通信信号调制方式的深度学习卷积神经网络参数的设置，可用于其它应用或测试，如果没有达到指标，则获取额外数据，与原数据混合，扩大原始数据样本，回到处理流程第(2)步，循环往复，直至深度学习卷积神经网络对测试样本集的识别率达到指标为止。

步骤一所述的深度学习卷积神经网络模型的输出为经模型判断获得的数据样本调制方式。本模型的样本数据长度N应保证样本的时间长度(N-1)T_s与信号频带宽度B的乘积大于40，即(N-1)T_sB＞40，T_s为采样周期。本模型的卷积层数应大于等于三层，每个卷积层的通道数应大于等于30，一般每层卷积层中每个通道中神经元的个数会逐层递减，所以通道数可以逐层递增。卷积层的输出结果先进行规范化处理再输出。每一层卷积层后面加入池化层，池化层为最大池化层，池化层的通道数与之前的卷积层的通道数对应。而模型的卷积层和池化层后连接的全连接层应大于等于两层，且为单通道。第一层全连接层的神经元的个数大于等于100，最后一层全连接层的神经元的个数应大于等于30，中间的全连接层的神经元的个数可以逐层递减。

1、有关卷积神经网络的相关概念和计算的详细的阐述

A、希尔伯特变换

设有一个时域信号f(x)，其希尔伯特变换定义如下：

变换后的仍为一个时域信号，由于的频谱为

所以的频谱相对于f(x)的频谱在正频率上发生相移，而负频谱上发生的相移，即

对于离散数字信号，可先进行离散傅里叶变换，在正负频谱上进行相移操作，再进行离散傅里叶逆变换求得。

B、神经元及其计算

如图3所示，神经元是神经网络中的基本运算单位，它是模仿生物神经细胞的某些特性而搭建的数学化模型，神经元的输入可以为多个变量但之间有权重之分，在神经元里进行线性组合，并且其和需要与作为神经元自身属性的某一阈值进行比较，然后才会激励神经元响应输出，而且神经元的响应输出与输入的线性组合之间一般为非线性关系，所以神经元的数学模型化的计算如下

设

其中x_i为神经元的每个输入，w_i为与之对应的权重，为非线性激活函数向量，即

非线性激活函数一般为以下几种：

本模型中的非线性激活函数采用第三种。

C、全连接层神经网络

如图4所示，全连接层神经网络即是在单个神经元特性的基础上，将多个神经元排列为一层，每个神经元均与每个输入进行连接，但各个神经元与输入的连接权重并不一样，输入可以是原始的输入数据，也可以为前一层神经元的输出，但同层神经元之间并不连接，即实现两层神经元之间的连接，从而组成网络。所以全连接层神经网络的计算与单个神经元的计算一致，但多了一个维度的下标：

其中w_ij表示第i输入到第j神经元的连接权重，b_j和y_j是第j神经元的阈值和输出，若用矩阵的形式，可将公式改写如下：

神经网络的权值和阈值一般由反向传播算法得到，有关反向传播算法的计算过程在后文进行介绍。

D、卷积层

如图5、图6所示，神经网络模型中的卷积层与全连接层有一些差别，其一，在卷积层中每个神经元不是与所有输入相连接，而只是与输入数据的一个局部的连续区域相连接，该部分区域也称作该神经元的局部感受野，所有神经元的局部感受野均匀地分布在整个输入数据，而且每个神经元所连接的局部感受野的大小是一致的。其二，所有感受野与各自神经元之间的连接采用同一个权重系数向量，即权值共享。这个共享的权值称作卷积核。由于卷积核有尺寸上的大小，在数据边缘无法计算，输出数据则会比输入数据的尺寸小。如果要求输出与输入尺寸一致，可以在输入数据的周边用0补位以使卷积核在数据的边缘也可进行计算。如果是将数据的元素按下标进行翻转，以上的运算实质是一个卷积运算，而输入数据和卷积核一般为矩阵形式，则二维卷积运算如下：

其中表M_u′示卷积可计算的u′最大取值，M_v′与之类似。

卷积层相当于对原始二维数据先进行若干组的图像滤波然后进行非线性映射，由于滤波器的参数由大量数据样本对模型的训练得到，具有一定的自适应性，使滤波结果更接近于二维数据的本身特征，而且利用了二维数据在空间结构上的信息，对特征的提取会更有益。

卷积层的输入和输出均可为多个通道，但每个通道形状大小一致。当输入数据为多个通道数据的组成时，神经元的连接权重在同一通道内共享，而阈值在所有通道共享，而神经元非线性激活函数的宗量为各通道的在该神经元位置处的卷积的和，即

y(u,v)_j＝f(∑_ix(u,v)_i*w(u,v)_ij+b_j)

u,v表示输入输出的二维数据中的元素位置，下标i表示输入的第i通道，下标j表示输出的第j通道。

E、规范化处理

在每个神经元进行非线性映射之前，将该通道的所有神经元的非线性函数的宗量a(u,v)_j＝f(∑_ix(u,v)_i*w(u,v)_ij+b_j)进行规范化处理，由于每个通道的神经元的个数一样，m表示一个输出通道神经元的个数，处理过程如下：

其中ε表示大于0的某个很小的数，其作用只是在计算机运算上防止a(u,v)均相同从而分母为0的情况发生。γ_j和β_j为神经网络自适应调整的参数，由反向传播算法确定。

F、池化层

如图7所示，由于当神经网络的神经元的个数很多时，需要调整的参数也会很多，可对一层的神经网络进行池化操作，即对输入数据进行降采样，这样既减少了计算量，也增强了泛化能力。如图所示，将池化范围中的多个数合成一个数，最常见的有最大池化、平均池化、求和池化等。本模型的池化层采用最大池化层，即池化的结果取池化范围的最大的数。如果由于输入数据的形状和池化范围的形状的原因，池化范围不能均等划分，可以适当用0补位，在进行池化操作。

G、dropout处理

如图8(a)和图8(b)所示，为进一步提高模型的泛化能力，Hinton提出在一次训练过程中可按照一定的概率将某些神经元隐藏，即与该神经元有关参数并不会在这次训练过程中更新，保持上一次训练的数值，而在最后测试阶段，所有神经元都会参与计算。

H、反向传播算法

深度学习卷积神经网络的示意图如下所示：

如图9所示，以卷积层只有4个或3个通道的输出为例，卷积层的每个通道只与相对应的池化层进行连接，而池化层与下一层卷积层的每个通道进行全连接。以上图为例由于输入层是单通道，而与之相连的卷积层有四个通道，所以卷积层的滤波器有四个，但每个滤波器只有一个卷积核。而第二层的卷积层为三个通道，前一层的池化层有四个通道，所以该层卷积层有三个滤波器，每个滤波器有四个卷积核，分别与前一层的池化层的每一个通道进卷积。

模型的最后一层为模型的输出层，输出的结果为对信号调制方式的分类，如在本调制方式识别模型中，理想的分类结果，分别用五维单位向量来表示，如分别用(1,0,0,0,0)、(0,1,0,0,0)、…、(0,0,0,0,1)表示BPSK、QPSK、…、DSSS等，但不限于此。本文中关于矩阵、向量的元素的下标从1开始计数，与MATLAB对矩阵向量元素的引用方式相一致。设输出为输出层的结果由前一层的全连接层的输出直接得到，设最后一层全连接层为第L层，第j神经元的输出用表示。由于模型参数的初始值是随机的，输出会与有偏差，因此分类偏差向量为定义分类偏差的范数为分类误差

假设采用二范数，则

是神经网络各层参数的函数，因此E也是各层参数的函数，为使模型分类最优，应使E最小。在参数状态空间Θ上沿着负梯度方向对最优参数进行搜索，搜索步长为ξ，一般表示为

对于本深度学习卷积神经网络模型，方便求得最后一层输出的偏导数，

a)全连接层的连接权重矩阵W和阈值

令N、i为L-1层神经网络中神经元的个数和序号，表示第L-1层中第i神经元连接到L层中第j神经元的连接权重，则由偏导数的链式法则可得

当求出即可根据以上的公式求得以此类推，逐层递减，求得全连接层的参数。

当全连接层的输入为卷积层的输出时，将将卷积层的多通道二维输出重新排列为一维向量作为全连接层的输入。

b)卷积层的连接权重矩阵W和阈值

如图10所示，在卷积层中，由于引入了，我们将池化、规范化和卷积层的计算联合考虑求各参数的偏导数，也正因此，推导公式中在表示神经网络的层数时，卷积层以及其后继的池化层的序数都用l表示。

假设第l层的输出的偏导数已经求出，下面列出由链式求导法则求其它变量的偏导数的过程

由于池化过程对卷积层的输出变量进行了降采样，所以神经元的个数会减少，因此在方向传播递推卷积层的参数时，需要通过插值的方法对进行升采样。为简化计算可采用最简单的升采样方法，即在同一池化范围中的所有神经元的输出的偏导数相同，均为池化后的偏导数，即

其中k表示第k通道，j_p为第j神经元在池化层中的输出序号。接着可求卷积层参数，

为规范化处理的输出，接着求规范化处理中的参数的偏导数

其中J为卷积层中每个通道的神经元的个数。由于卷积层中，上层的输出并未与当前层所有的神经元均连接，而且卷积核的权值共享，表示第l层神经网络的第k滤波器的p通道的卷积核的权值。第l-1层的p通道的输出的偏导数只影响了与卷积运算有关的部分输出结果g为卷积核中权值的序号，M_i表示卷积运算中可与第l-1层的第p通道的第i神经元相连的权值，λ表示由于卷积核的形状、补零情况引起的元素下标偏差。

至此，对于第l层的卷积层神经网络的参数的偏导数可由推知，并且可推出第l-1层的各个通道的输出偏导数

结合以上全连接层以及卷积层的各个参数的偏导数的计算方法，以此类推，根据附图9示意图，由后一层推知前一层各参数的偏导数，从而求得整个深度学习卷积神经网络模型的偏导数，最后，按参数空间的负梯度方向更新参数，此即为反向传播算法。

2、不同海域实验数据验证

为了验证***的有效性和稳健性，利用不同海域通信体制数据进行了水声识别验证实验。数据来自鲅鱼圈、大连及松花江等地，信号带宽为2kHz或4kHz。为增强识别方法的泛化能力，将不同信道、参数下的各调制模式的通信信号混合在一起对深度学习卷积神经网络进行训练、识别，图2(a)至图2(e)中各通信信号的具体参数如表1所示：

表1实验信号的调制参数

训练结果和实验测试结果如图11(a)和图11(b)所示，利用深度学习卷积神经网络方法识别BPSK、QPSK及扩频信号可以达到100％的识别率。由测验结果可以看出，基于本方法的信号调制识别，对于二进制移相键控(BPSK)信号、直接序列扩频(DSSS)信号均可以达到100％识别，八进制移相键控(8PSK)信号和正交频分复用(OFDM)调制信号的识别正确率也高于90％。因此，以上结果在一定程度验证了本文设计的深度学习卷积神经网络结构在解决水声通信信号的调制识别问题上的有效性。

Claims (5)

1.一种基于深度学习技术的水声通信调制模式识别方法，其特征在于：包括以下步骤：

步骤一：构建一个深度学习卷积神经网络模型；

步骤二：预设训练集样本识别准确率T，预设测试集样本识别准确率P；

步骤三：获取不同调制方式的水声通信调制信号的实验数据或仿真数据；

步骤四：将同类调制方式信号的每N个采样点数据作为一个原始数据样本，每一个原始数据样本为一个N×1的列向量，对原始数据样本标注信号的调制方式；

步骤五：对每个数据样本进行预处理，将所有原始数据样本转换为深度学习卷积神经网络的输入形式，包括对原始数据样本进行带通滤波，得到一个N×1的列向量，然后对滤波后得到的N×1的列向量进行希尔伯特变换，得到另一个N×1的列向量，将2个N×1的列向量合并成1个N×2矩阵；

步骤六：将预处理后的数据样本矩阵随机划分为训练集和测试集；

步骤七：用训练样本集训练深度学习卷积神经网络模型的参数；

步骤八：判断训练集样本识别准确率是否达到预设值，当训练集样本识别准确率大于等于T时，跳转至步骤九；否则，跳转至步骤七；

步骤九：将深度学习卷积神经网络的输入切换为数据样本测试集，用数据样本测试集对深度学习卷积神经网络模型进行检验；

步骤十：判断测试集样本识别准确率是否达到预设值，当测试集样本识别准确率大于等于P时，则执行步骤十一；否则，获取额外数据，与所述的步骤三中的原数据混合，扩大原始数据样本，然后跳转至步骤四；

步骤十一：完成深度学习卷积神经网络参数的设置，获得网络模型参数，完成模型。

2.根据权利要求1所述的一种基于深度学习技术的水声通信调制模式识别方法，其特征在于：步骤一所述的深度学习卷积神经网络模型的输出为经模型判断获得的数据样本调制方式，对每一层的输出结果先进行规范化处理后输出。

3.根据权利要求1所述的一种基于深度学习技术的水声通信调制模式识别方法，其特征在于：步骤七中用训练样本集对深度学习卷积神经网络进行训练方法为反向传播算法。

4.根据权利要求1所述的一种基于深度学习技术的水声通信调制模式识别方法，其特征在于：步骤四所述的原始数据样本满足：

(N-1)×t×B＞40

其中，t为采样周期，B为步骤三所述的实验数据和仿真数据的信号频带宽度。

5.根据权利要求1所述的一种基于深度学习技术的水声通信调制模式识别方法，其特征在于：步骤一所述的深度学习卷积神经网络模型包括卷积层、池化层和全连接层，所述的卷基层层数大于等于3层，所述的各卷积层的通道数应均大于等于30，所述的各卷积层的每个通道的神经元个数随卷积层逐层递减，通道个数逐层递增；每一层卷积层后面加入池化层，池化层为最大池化层，池化层的通道数与之前的卷积层的通道数相等；所述的全连接层连接在最后的池化层后，所述的全连接层层数大于等于2层且为单通道，第一层全连接层的神经元的个数大于等于100，最后一层全连接层的神经元的个数大于等于30，所述的全连接层的神经元个数逐层递减。