CN109284662A - 一种面向水下声音信号分类的迁移学习方法 - Google Patents

Abstract

本发明公开了一种面向水下声音信号分类的迁移学习方法，涉及机器学习技术领域；本发明将数据集之间的分布和领域之间的域不变性结合；在类别分类器部分，使用MMD算法去匹配两数据集间的分布差异，并通过对内核的数量以及覆盖范围进行改变，最小化两数据集之间的分布差异；而在域分类器部分，则利用梯度反转去阻止域分类器在误差反向传播阶段的梯度下降，最大化域分类器的分类误差，使分类器具有领域不变性。一种面向水下声音信号分类的迁移学习方法，以动态的调整两种方法在模型进行迭代训练过程中的重要程度。通过实验证明，本发明提出的迁移学习方法要优于传统的分类方法以及现有的迁移学习方法DAN和DSN，并且分类越复杂，效果越明显。

Description

一种面向水下声音信号分类的迁移学习方法

技术领域

本发明涉及机器学习技术领域，具体涉及一种面向水下声音信号分类的迁移学习方法。

背景技术

机器学习领域出现了一个重要的问题：当源域样本数据与目标域样本数据的边缘分布或者条件分布不相同或者不完全相同，并且无法获取大量的有效数据去作为模型的训练数据时，怎样训练出一个精度高、稳定性强的模型去预测目标领域的数据。迁移学习这一研究方向因此变得愈发重要。迁移学习是指利用当前领域已经获取到的样本数据对模型参数进行训练，将训练好的模型应用到相关但是并不相同的领域中，对该领域的新数据进行预测的新的机器学习手段。它无需遵守传统机器学习的两个要求，其最终的目标是将已经学习到的知识(参数)迁移到目标领域中去，以解决目标域无法获取足够多的有效的训练数据的问题。

众所周知，由于水下环境的复杂性，近年来众多学者提出的水下声音信号分类方法的分类效果均无法达到理想的分类结果。本发明创新的将迁移学习的方法应用于水下声音信号的分类，试图利用迁移学习去提高分类精度。

发明内容

本发明的目的在于提供一种面向水下声音信号分类的迁移学习方法。

一种面向水下声音信号分类的迁移学习方法，其特征在于，通过以下步骤实现：

步骤一：输入源域数据集x^s以及其对应的类标签和域标签目标域数据集x^t；学习率σ和最大迭代次数T；类别分类器的初始调整参数值μ＝1和域分类器的初始调整参数值λ＝0；

步骤二：利用卷积神经网络的卷积层和下采样层去提取输入数据的特征，令i＝0；

步骤三：通过Feature Extraction获取数据特征；通过Category Classifier获取输入样本的预测类标签通过Domain Classifier获取输入样本的预测域标签

步骤四：根据实验设置获取数据的mini_batches；

步骤五：使用源域数据集x^s以及其对应的类标签和域标签目标域数据集x^t以及上面得到的预测类标签和域标签去最优化网络的参数Θ；

步骤六：使用优化后的网络去预测测试集x^t，并获得

步骤七：分别求出本次模型的类分类损失C_loss_new和域分类损失D_loss_new；

步骤八：分别计算本次损失与上次损失的差值：C_minus＝C_loss_new-C_loss_old，D_minus＝D_loss_new-D_loss_old；

步骤九：根据差值动态调整参数值：如果C_minus≤0&&D_minus≥0，则执行步骤十，否则执行步骤十三；

步骤十：如果i≤T/2，则执行步骤十一，否则执行步骤十二；

步骤十一：μ_new＝μ_old+0.05；λ_new＝1-μ_new；

步骤十二：μ_new＝μ_old-0.05；λ_new＝1-μ_new；

步骤十三：如果C_minus≥0&&D_minus≥0，则μ_new＝μ_old-0.1，λ_new＝1-μ_new；

步骤十四：如果C_minus≤0&&D_minus≤0，则μ_new＝μ_old+0.1，λ_new＝1-μ_new；

步骤十五：如果i≤T/2，则执行步骤十六，否则执行步骤十七；

步骤十六：μ_new＝μ_old+0.15，λ_new＝1-μ_new；

步骤十七：μ_new＝μ_old-0.15，λ_new＝1-μ_new；

步骤十八：判断如果不满足，则i＝i+1，回到步骤三重新执行；如果满足，则最终输出Θ，

本发明的技术效果为：

本发明将数据集之间的分布和领域之间的域不变性结合，在类别分类器部分，使用MMD 算法去匹配两数据集间的分布差异，并通过对内核的数量以及覆盖范围进行改变，从而使MMD 算法能够在训练的任一阶段有效，进而最小化两数据集之间的分布差异；而在域分类器部分，则利用梯度反转去阻止域分类器在误差反向传播阶段的梯度下降，从而最大化域分类器的分类误差，使分类器具有领域不变性。并提出了一种面向水下声音信号分类的迁移学习方法，以动态的调整两种方法在模型进行迭代训练过程中的重要程度。通过实验证明，本发明提出的迁移学习方法要优于传统的分类方法以及现有的迁移学习方法DAN和DSN。并且分类越复杂，效果越明显。

附图说明

图1为本发明迁移学习模型过程图；

图2为本发明迁移学习方法分类精度对比实验结果。

具体实施方式

下面结合附图对本发明做进一步描述。

实施例1：

一种面向水下声音信号分类的迁移学习方法，以动态的调整两种方法在模型进行迭代训练过程中的重要程度。主要内容如下：

(1)在类别分类器部分，使用改进的MMD算法作为源域和目标域之间样本分布差异度量方法。改进点在于内核的选择，本发明在实验中共使用了19个高斯核作为MMD的混合核函数， 19个内核的覆盖范围为[1e^-6,1e⁶]，有一个大范围的内核对本发明的模型训练是十分必要的，因为随着模型迭代的训练，共享特征(Shared Feature)的分布是会随之改变的，这时多高斯核的不同内核就会在不同的时间内确保核函数的有效性，并拒绝虚假的零假设，即当两分布并不相似时，得到的损失足够高。另外，在类别分类器模块还有一个比较重要的问题，那就是全连接层层数的选择。如果全连接层层数设置过少，那么会导致可调节的参数过少，使模型达不到要训练得到的效果；反之，如果全连接层层数设置过多，又会导致模型过于拟合训练数据，使模型的测试误差变大，导致过拟合现象的出现。本发明为了避免模型出现过拟合现象，在全连接层中加入L2范数，L2范数是一种比较常用的范数，欧氏距离就是一种L2范数，它的定义如下：

指向量中各元素的平方和然后开方。像L1范数一样，L2范数也可以度量两个向量间的差异，如平方差和(Sum of Squared Difference)：

SSD(x₁,x₂)＝∑_i(x_1i-x_2i)²

L2范数的优化问题就是通过最小化其规则项，也就是min||x||₂，使得x的每个元素都很小，接近于0。这样可以使模型更加简单，从而更不易产生过拟合现象。

(2)在域分类器部分，本发明采取的方法是使用梯度反转的思想去最大化域分类误差。众所周知，迁移学习方法的主要思想就是首先通过卷积神经网络的卷积层、池化层以及全连接层的相应操作去获得输入数据的分类结果，将分类结果与真实结果比较从而得到相应的误差。然后通过误差的反向传播，并在反向传播的过程中使用梯度下降的方法去最小化误差。梯度下降法是求解无约束最优化问题的一种常用方法，它更适合于需要学习的参数(变量)较多，模型比较复杂，无法罗列出具体的数学公式从而建立相应的模型的优化过程。它是一种迭代算法，每一步需要求解目标函数的梯度向量。受此思想的启发，本发明在域分类器部分的误差反向传播过程中，将相应的梯度反转，这样就能阻止梯度下降，从而增大其分类误差。

定义输入样本x对应的域标签为y∈{0,1}，x通过Feature Extraction部分后提取出的特征为f，其中各层的参数G_domain(·)定义为域分类器，其中各层的参数本发明的目的就是通过训练模型，调整参数项Θ_d和Θ_f，最大化分类器的分类误差。所以模型的域分类器损失DC_LOSS可以定义为如下形式：

其中L_domain(·,·)代表域分类器的分类损失计算函数。在使用梯度下降法去调整参数的过程中，传统的做法如下所示：

其中σ代表学习率，上面的做法就叫做随机梯度下降法(Stochastic GradientDescent， SGD)，其思想是随机选取一个点做梯度下降，而不是遍历所有样本点后进行参数迭代，主要作用是提高迭代速度，避免陷入庞大计算量的泥沼。如果不做任何改动，那么模型的域分类器会随着一次次的迭代，一次次的梯度下降而使分类误差越来越小，这样的后果是会导致模型丧失领域不变性。所以，本发明的做法是在误差反向传播的过程中加入梯度反转层 (Gradient Reversal Layer，GRL)，梯度反转层没有参数需要更新，它的功能就像是身份转换，在反向传播的过程中，通过在的前面乘以一个系数-λ，来反转当前梯度方向，具体的做法如下所示：

现在将梯度反转加入到域分类器的损失函数中，就能得到模型的域分类器损失DC_LOSS：

其中GRL(·)代表梯度反转函数，这样就实现了将域分类器的分类损失最大化。

实现的算法如下：

(3)在本发明提出的迁移学***均差异去最小化类分类器的分类误差；而随着模型训练的进一步深入，域间的差异逐渐变得重要，这时就需要通过梯度反转去最大化域分类器的分类误差，保证模型的领域不变性。

基于以上的讨论，本发明提出一种参数动态调整算法，算法的思想如下：在类别分类器和域分类器的误差项前面分别乘以一个参数λ和μ，去调整二者在以此迭代训练中的重要程度。λ的初值设置为1，μ的初值设置为0，然后在下一次迭代前，利用本次训练的损失值与上次的损失值做差，通过对差值进行分析，动态的调整λ和μ的值，但是二者的和要保证为1，这样通过动态的调整参数的值就可以保证每一次迭代过程中，类别分类器和域分类器都能发挥出最好的效果。

具体的算法如下：

实施例2：

一种面向水下声音信号分类的迁移学习方法，通过以下步骤实现，并通过图1的流程框图直观的表示出来：

步骤一：利用卷积神经网络的卷积层和下采样层去提取输入数据的特征；

步骤二：通过全连接层加上逻辑斯蒂分类对输入数据进行分类，在全连接层中利用改进的MMD(Maximum Mean Discrepancy)算法，去度量两个数据集间的分布差异，以此最大化模型的迁移能力。同时会在卷积神经网络的全连接层中加入L2范数，这样就可以在增加全连接层个数的同时，有效防止模型出现过拟合现象，并且提高模型的精度；

步骤三：利用梯度反转去实现域分类器的分类损失最大化，也就是在误差反向传播的过程中，通过反置梯度去阻止梯度下降，这样就能最大化域分类器的分类损失；

步骤四：通过动态的调整参数的值就可以保证每一次迭代过程中，类别分类器和域分类器都能发挥出最好的效果；

步骤五：将训练好的模型应用于水下声音信号的分类。

各步骤的实现过程如下：

输入：源域数据集x^s以及其对应的类标签和域标签目标域数据集x^t；学习率σ和最大迭代次数T；类别分类器的初始调整参数值μ＝1和域分类器的初始调整参数值λ＝0

输出：迁移学习网络的参数Θ以及目标域数据集对应的预测标签

由输入实现输出的过程：

(1)通过Feature Extraction获取数据特征，通过卷积和下采样操作去提取特征并对其进行降维；

(2)通过Category Classifier获取输入样本的预测类标签

(3)通过Domain Classifier获取输入样本的预测域标签

(4)根据实验设置获取数据的mini_batches；

(5)使用源域数据集x^s以及其对应的类标签和域标签目标域数据集x^t以及上面得到的预测类标签和域标签去最优化网络的参数Θ；

(6)使用优化后的网络去预测测试集x^t，并获得

(7)分别求出本次模型的类分类损失C_loss_new和域分类损失D_loss_new；

(8)分别计算本次损失与上次损失的差值：C_minus＝C_loss_new-C_loss_old，

D_minus＝D_loss_new-D_loss_old；

(9)根据差值动态调整参数值：如果C_minus≤0&&D_minus≥0，则执行(10)，否则执行(13)；

(10)如果i≤T/2，则执行(11)，否则执行(12)；

(11)μ_new＝μ_old+0.05；λ_new＝1-μ_new；

(12)μ_new＝μ_old-0.05；λ_new＝1-μ_new；

(13)如果C_minus≥0&&D_minus≥0，则μ_new＝μ_old-0.1，λ_new＝1-μ_new；

(14)如果C_minus≤0&&D_minus≤0，则μ_new＝μ_old+0.1，λ_new＝1-μ_new；

(15)如果i≤T/2，则执行(16)，否则执行(17)；

(16)μ_new＝μ_old+0.15，λ_new＝1-μ_new；

(17)μ_new＝μ_old-0.15，λ_new＝1-μ_new；

(18)判断如果不满足，则回到步骤(1)重新执行，如果满足，则最终输出Θ，

Claims (1)

1.一种面向水下声音信号分类的迁移学习方法，其特征在于，通过以下步骤实现：

步骤一：输入源域数据集x^s以及其对应的类标签和域标签目标域数据集x^t；学习率σ和最大迭代次数T；类别分类器的初始调整参数值μ＝1和域分类器的初始调整参数值λ＝0；

步骤二：利用卷积神经网络的卷积层和下采样层去提取输入数据的特征，令i＝0；

步骤三：通过Feature Extraction获取数据特征；通过Category Classifier获取输入样本的预测类标签通过Domain Classifier获取输入样本的预测域标签

步骤四：根据实验设置获取数据的mini_batches；

步骤五：使用源域数据集x^s以及其对应的类标签和域标签目标域数据集x^t以及上面得到的预测类标签和域标签去最优化网络的参数Θ；

步骤六：使用优化后的网络去预测测试集x^t，并获得

步骤七：分别求出本次模型的类分类损失C_loss_new和域分类损失D_loss_new；

步骤八：分别计算本次损失与上次损失的差值：C_minus＝C_loss_new-C_loss_old，D_minus＝D_loss_new-D_loss_old；

步骤九：根据差值动态调整参数值：如果C_minus≤0&&D_minus≥0，则执行步骤十，否则执行步骤十三；

步骤十：如果i≤T/2，则执行步骤十一，否则执行步骤十二；

步骤十一：μ_new＝μ_old+0.05；λ_new＝1-μ_new；

步骤十二：μ_new＝μ_old-0.05；λ_new＝1-μ_new；

步骤十三：如果C_minus≥0&&D_minus≥0，则μ_new＝μ_old-0.1，λ_new＝1-μ_new；

步骤十四：如果C_minus≤0&&D_minus≤0，则μ_new＝μ_old+0.1，λ_new＝1-μ_new；

步骤十五：如果i≤T/2，则执行步骤十六，否则执行步骤十七；

步骤十六：μ_new＝μ_old+0.15，λ_new＝1-μ_new；

步骤十七：μ_new＝μ_old-0.15，λ_new＝1-μ_new；

步骤十八：判断如果不满足，则i＝i+1，回到步骤三重新执行；如果满足，则最终输出Θ，