CN110111803A - 基于自注意多核最大均值差异的迁移学习语音增强方法 - Google Patents
基于自注意多核最大均值差异的迁移学习语音增强方法 Download PDFInfo
- Publication number
- CN110111803A CN110111803A CN201910385769.2A CN201910385769A CN110111803A CN 110111803 A CN110111803 A CN 110111803A CN 201910385769 A CN201910385769 A CN 201910385769A CN 110111803 A CN110111803 A CN 110111803A
- Authority
- CN
- China
- Prior art keywords
- attention
- self
- mean difference
- speech
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013526 transfer learning Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 10
- 230000000873 masking effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 19
- 238000013508 migration Methods 0.000 claims description 19
- 230000005012 migration Effects 0.000 claims description 19
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 239000004568 cement Substances 0.000 abstract 4
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Circuit For Audible Band Transducer (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于自注意多核最大均值差异的迁移学习语音增强方法,包括从原始语音中提取GFCC特征,并作为深度神经网络的输入特征;利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;构建基于深层神经网络的语音增强模型;构建自注意多核最大均值差异的迁移学习语音增强模型;训练自注意多核最大均值差异的迁移学习语音增强模型;输入目标域带噪语音的帧级特征,重建增强语音波形。本发明在多核最大均值差异前端添加自注意力算法,通过最小化源域注意到的特征和目标域注意到的特征之间的多核最大均值差异,实现对无标签的目标域的迁移学习,提高语音增强性能,具有良好的应用前景。
Description
技术领域
本发明涉及语音增强技术领域,具体涉及一种基于自注意多核最大均值差异的迁移学习语音增强方法。
背景技术
语音增强在语音处理的各领域都有重要应用。语音增强的目的就是提升受到噪声污染的语音的质量和可懂度。早期的单通道语音增强算法研究的重点在于如何从含噪语音中有效估计噪声谱,从而对其进行抑制。典型算法包括谱减法、维纳滤波法、最小均方误差法、最小控制的迭代平均的噪声估计算法及其改进算法等。这些算法主要研究加性背景噪声,并基于噪声和纯净语音间的复杂的统计特性进行设计。但是,语音信号和噪声信号间纷繁复杂统计特性的相互作用,以及算法中很多不合理的假设限制了算法性能上限。因此,这些算法常常难以处理未知语音环境下真实场景中的非平稳噪声。
在语音增强应用方面,监督学***稳或非平稳的噪声都可能干扰语音信号。即使数据集可以包含所有情况,比如噪声类型可以达到10000种,这对于模型训练来说是庞大的工作。如果数据集的标注存在问题,那么训练的结果也就不能保证。
目前,在语音增强研究方面,基于SEGAN的语音增强的研究展示了如何通过迁移学习技术来改进基于DNN的跨语言的语音增强效果。其中,顶层针对新语言进行细调,而较低的层是固定,是基于充足的原始语言样本进行训练的。迁移学习还被用来实现基于DNN的谱增强算法的模型压缩,在不造成性能损失和加深网络的情况下,减小了语音增强模型的尺寸。结果表明,转移学习对于生成对抗网络的语言间语音增强是非常有效的。经过英语培训的SEGAN即使在加泰罗尼亚语和朝鲜语(24秒)的短培训时间内也能获得高性能,并且在说话人和噪声未知的情况下,能够适应低资源环境。研究还发现,训练中噪声类型的数量对语音增强的效果并不是决定性的因素。虽然训练SEGAN是一项困难的任务,但可以通过使用预先训练的网络进行转移学习来绕开问题。
通过上述的描述,如何建立一种适合环境变化快速训练的语音(单通道)增强模型,是提高语音增强鲁棒性和性能的关键,是当前需要解决的问题。
发明内容
本发明的目的是克服现有的语音(单通道)增强方法,面对环境变化时出现模型不匹配的问题。本发明的基于自注意多核最大均值差异的迁移学习语音增强方法,通过在深层神经网络的架构上引入自注意层和多核最大均值差异域混淆损失,并在多核最大均值差异前端添加自注意力算法,通过最小化源域注意到的特征和目标域注意到的特征之间的多核最大均值差异,实现对无标签的目标域的迁移学习,提高语音增强性能,方法巧妙新颖,具有良好的应用前景。
为了达到上述目的,本发明所采用的技术方案是:
一种基于自注意多核最大均值差异的迁移学习语音增强方法,包括以下步骤,
步骤(A),从原始语音中提取GFCC特征,并作为深度神经网络的输入特征;
步骤(B),利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;
步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型;
步骤(D),根据基线模型,构建自注意多核最大均值差异的迁移学习语音增强模型;
步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型;
步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形。
前述的基于自注意多核最大均值差异的迁移学习语音增强方法,步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型,所述基线模型为4层DNN语音增强模型,前两层为特征编码器,后两层为重建解码器。
前述的基于自注意多核最大均值差异的迁移学习语音增强方法,步骤(D),构建自注意多核最大均值差异的迁移学习语音增强模型,是在特征编码器、重建解码器之间增加一层自注意力层,其中不带标签的目标域数据的GFCC特征通过特征编码器后,进行自注意力加权,加权后的特征经过重建解码器进行理想浮值掩蔽的重构。
前述的基于自注意多核最大均值差异的迁移学习语音增强方法,所述自注意力层的自注意力加权过程如下,
(D1),设通过特征编码器的输出是Xfeature_encoder,根据公式(1),计算其的对齐向量align,
align=tanh(Xfeature_encoder×W)×V (1)
其中,W,V∈RN×N是注意力机制中的待训练参数,N是自注意力层内编码器最后一层隐层单元数,也代表了新的特征空间维度;tanh函数为双曲正切函数,对齐向量的对应分数,如公式(2)所示,
score=sigmod(align+ε) (2)
其中,ε为可调因子,对齐向量的对应分数score取值在0到1之间;
(D2),根据公式(3),获得新的加权特征
其中,表示hardarm相乘,对于单个样本而言,即是对其各个特征进行加权。
前述的基于自注意多核最大均值差异的迁移学习语音增强方法,步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型,包括两条训练数据流向,分别为训练带标签的源域数据的GFCC特征和训练不带标签的目标域数据的GFCC特征,具体如下:
(E1),两个训练数据流向的数据同时通过两层的特征编码器,通过隐层神经元将输入特征延展到更高维度;
(E2),通过自注意力层后,两条训练数据流向的数据,即源域的自注意特征Asrc与目标域的自注意特征Atar汇集在适应层中计算源域和目标域自注意特征的多核最大均值差异的平方作为整个神经网络损失函数的一部分lD,该lD如公式(4)所示,
其中,MMD2[X,Y]为多核最大均值差异的平方;高斯核函数X和Y分别表示Asrc与Atar,m和n分别表示Asrc和Atar的维度,所使用的高斯核函数总数M为19,其系数σ2分别为:1e-6,1e-5,1e-4,1e-3,1e-2,1e-1,1,5,10,15,20,25,30,35,100,1e3,1e4,1e5,1e6;
(E3),带标签的源域自注意特征Asrc在经过适应层后会继续输入重建解码器中进行理想浮值掩蔽的重构,如公式(5)所示,
其中,θIRM_en为重建解码器层对应的网络参数,利用重构的理想浮值掩蔽和源域标签信息Y,计算平均绝对误差mae,作为整个神经网络损失函数的另一部分lG,如公式(6)所示,
其中,mae为平均绝对误差计算函数;
(E4),整个神经网络损失函数l,如公式(7)所示,
l=lG+ω*lD (7)
其中,ω为权重,用来调节二者对抗程度的参数。
前述的基于自注意多核最大均值差异的迁移学习语音增强方法,步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形,是利用目标域带噪语音中的相位信息通过反向傅里叶变换得到增强语音的时域波形,并通过重叠相加算法合成得到整个增强语音波形。
本发明的有益效果是:本发明的基于自注意多核最大均值差异的迁移学***均绝对误差,使自注意力输出的特征尽可能为源域重要的私有特征;针对目标域,模型联合源域自注意特征,通过最小化源域自注意特征与目标域自注意特征之间的最大均值差异,使自注意特征尽可能为源域和目标域的公共特征。因此,本发明的方法能够提高语音增强鲁棒性和性能,方法巧妙新颖,具有良好的应用前景。
附图说明
图1是本发明的基于自注意多核最大均值差异的迁移学习语音增强方法的流程图;
图2是本发明的训练阶段和增增加阶段的示意图。
具体实施方式
下面将结合说明书附图,对本发明作进一步的说明。
如图1所示,本发明的基于自注意多核最大均值差异的迁移学习语音增强方法,包括以下步骤,
步骤(A),从原始语音中提取(伽马通频率倒谱系数)GFCC特征,并作为深度神经网络的输入特征;
步骤(B),利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;
步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型,所述基线模型为4层DNN语音增强模型,前两层为特征编码器,后两层为重建解码器;
步骤(D),根据基线模型,构建自注意多核最大均值差异的迁移学习语音增强模型,在特征编码器、重建解码器之间增加一层自注意力层,其中不带标签的目标域数据的GFCC特征通过特征编码器后,进行自注意力加权,加权后的特征经过重建解码器进行理想浮值掩蔽的重构,所述自注意力层的自注意力加权过程如下,
(D1),设通过特征编码器的输出是Xfeature_encoder,根据公式(1),计算其的对齐向量align,
align=tanh(Xfeature_encoder×W)×V (8)
其中,W,V∈RN×N是注意力机制中的待训练参数,N是自注意力层内编码器最后一层隐层单元数,也代表了新的特征空间维度;tanh函数为双曲正切函数,对齐向量的对应分数,如公式(2)所示,
score=sigmod(align+ε) (9)
其中,对齐向量的对应分数score取值在0到1之间;为了避免过小分数使得其加权的特征能力被过度弱化,本发明在分数计算中添加了可调因子ε,此处,ε为元素全为1的矩阵,score在每一个新的特征维度上都有不同的值,代表了特征之间的相对差异;
(D2),根据公式(3),获得新的加权特征
其中,表示hardarm相乘,对于单个样本而言,即是对其各个特征进行加权;
步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型,如图2所示,在训练阶段,分别提取干净语音、源域的带噪语音(有标签)以及目标域的带噪语音(无标签)的伽马通频率倒谱系数(GFCC)特征,然后训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型,包括两条训练数据流向,分别为训练带标签的源域数据的GFCC特征和训练不带标签的目标域数据的GFCC特征,具体如下:
(E1),两个训练数据流向的数据同时通过两层的特征编码器,通过隐层神经元将输入特征延展到更高维度;
(E2),通过自注意力层后,两条训练数据流向的数据,即源域的自注意特征Asrc与目标域的自注意特征Atar汇集在适应层中计算源域和目标域自注意特征的多核最大均值差异的平方作为整个神经网络损失函数的一部分lD,该lD如公式(4)所示,
其中,MMD2[X,Y]为多核最大均值差异的平方;高斯核函数X和Y分别表示Asrc与Atar,m和n分别表示Asrc和Atar的维度,所使用的高斯核函数总数M为19,其系数σ2分别为:1e-6,1e-5,1e-4,1e-3,1e-2,1e-1,1,5,10,15,20,25,30,35,100,1e3,1e4,1e5,1e6;
(E3),带标签的源域自注意特征Asrc在经过适应层后会继续输入重建解码器中进行理想浮值掩蔽的重构,如公式(5)所示,
其中,θIRM_en为重建解码器层对应的网络参数,利用重构的理想浮值掩蔽和源域标签信息Y,计算平均绝对误差mae,作为整个神经网络损失函数的另一部分lG,如公式(6)所示,
其中,mae为平均绝对误差计算函数;
(E4),整个神经网络损失函数l,如公式(7)所示,
l=lG+ω*lD (14)
其中,ω为权重,用来调节二者对抗程度的参数;
步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形,具体过程为将目标域的带噪语音信号提取帧级GFCC特征并输入到结合改进的多核最大值差异的深度神经网络模型中,模型输出得到估计的目标域理想浮值掩蔽,经计算得到目标语音的离散傅里叶变换幅度谱,考虑到人耳对相位的微小变化不敏感,利用带噪语音信号中的相位信息通过反向傅里叶变换得到增强语音的时域波形,最后整个句子的语音波形可以通过重叠相加算法合成得到。
为了充分比较算法的迁移性能,实验设置对不同的噪声和不同的信噪比进行语音增强的迁移。实验主要比较了两种情况:1)源域10dB的Pink噪声迁移到目标域的SpeechBabble噪声,信噪比分别为5db,0db和-5db;2)源域10dB的White噪声迁移到目标域的DestroyerEngine噪声,信噪比分别为5db,0db和-5db。目标域测试集下的loss曲线,对应的性能指标如表1(其中,S代表SpeechBabble噪声,D代表DestroyerEngine噪声,F代表FactoryFloor1噪声,P代表Pink噪声)所示。从损失曲线上可知,三种模型变化趋势基本相同。从算法性能指标看,提出模型的指标是最高的。相比于多核最大值平均差异模型,三种指标fwSNRseg,PESQ和STOI分别提升0.649,0.02和0.005。
表1混合迁移下的算法性能对比
综上所述,本发明的基于自注意多核最大均值差异的迁移学***均绝对误差,使自注意力输出的特征尽可能为源域重要的私有特征;针对目标域,模型联合源域自注意特征,通过最小化源域自注意特征与目标域自注意特征之间的最大均值差异,使自注意特征尽可能为源域和目标域的公共特征。因此,本发明的方法能够提高语音增强鲁棒性和性能,方法巧妙新颖,具有良好的应用前景。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:包括以下步骤,
步骤(A),从原始语音中提取GFCC特征,并作为深度神经网络的输入特征;
步骤(B),利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;
步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型;
步骤(D),根据基线模型,构建自注意多核最大均值差异的迁移学习语音增强模型;
步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型;
步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形。
2.根据权利要求1所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型,所述基线模型为4层DNN语音增强模型,前两层为特征编码器,后两层为重建解码器。
3.根据权利要求2所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:步骤(D),构建自注意多核最大均值差异的迁移学习语音增强模型,是在特征编码器、重建解码器之间增加一层自注意力层,其中不带标签的目标域数据的GFCC特征通过特征编码器后,进行自注意力加权,加权后的特征经过重建解码器请进行理想浮值掩蔽的重构。
4.根据权利要求3所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:所述自注意力层的自注意力加权过程如下,
(D1),设通过特征编码器的输出是Xfeature_encoder,根据公式(1),计算其的对齐向量align,
align=tanh(Xfeature_encoder×W)×V (1)
其中,W,V∈RN×N是注意力机制中的待训练参数,N是自注意力层内编码器最后一层隐层单元数,也代表了新的特征空间维度;tanh函数为双曲正切函数,对齐向量的对应分数,如公式(2)所示,
score=sigmod(align+ε) (2)
其中,ε为可调因子,对齐向量的对应分数score取值在0到1之间;
(D2),根据公式(3),获得新的加权特征
其中,ο表示hardarm相乘,对于单个样本而言,即是对其各个特征进行加权。
5.根据权利要求1所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型,包括两条训练数据流向,分别为训练带标签的源域数据的GFCC特征和训练不带标签的目标域数据的GFCC特征,具体如下:
(E1),两个训练数据流向的数据同时通过两层的特征编码器,通过隐层神经元将输入特征延展到更高维度;
(E2),通过自注意力层后,两条训练数据流向的数据,即源域的自注意特征Asrc与目标域的自注意特征Atar汇集在适应层中计算源域和目标域自注意特征的多核最大均值差异的平方作为整个神经网络损失函数的一部分lD,该lD如公式(4)所示,
其中,MMD2[X,Y]为多核最大均值差异的平方;高斯核函数X和Y分别表示Asrc与Atar,m和n分别表示Asrc和Atar的维度,所使用的高斯核函数总数M为19,其系数σ2分别为:1e-6,1e-5,1e-4,1e-3,1e-2,1e-1,1,5,10,15,20,25,30,35,100,1e3,1e4,1e5,1e6;
(E3),带标签的源域自注意特征Asrc在经过适应层后会继续输入重建解码器中进行理想浮值掩蔽的重构,如公式(5)所示,
其中,θIRM_en为重建解码器层对应的网络参数,利用重构的理想浮值掩蔽和源域标签信息Y,计算平均绝对误差mae,作为整个神经网络损失函数的另一部分lG,如公式(6)所示,
其中,mae为平均绝对误差计算函数;
(E4),整个神经网络损失函数l,如公式(7)所示,
l=lG+ω*lD (7)
其中,ω为权重,用来调节二者对抗程度的参数。
6.根据权利要求1所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形,是利用目标域带噪语音中的相位信息通过反向傅里叶变换得到增强语音的时域波形,并通过重叠相加算法合成得到整个增强语音波形。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910385769.2A CN110111803B (zh) | 2019-05-09 | 2019-05-09 | 基于自注意多核最大均值差异的迁移学习语音增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910385769.2A CN110111803B (zh) | 2019-05-09 | 2019-05-09 | 基于自注意多核最大均值差异的迁移学习语音增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110111803A true CN110111803A (zh) | 2019-08-09 |
CN110111803B CN110111803B (zh) | 2021-02-19 |
Family
ID=67489188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910385769.2A Active CN110111803B (zh) | 2019-05-09 | 2019-05-09 | 基于自注意多核最大均值差异的迁移学习语音增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110111803B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619886A (zh) * | 2019-10-11 | 2019-12-27 | 北京工商大学 | 一种针对低资源土家语的端到端语音增强方法 |
CN110739003A (zh) * | 2019-10-23 | 2020-01-31 | 北京计算机技术及应用研究所 | 基于多头自注意力机制的语音增强方法 |
CN110739002A (zh) * | 2019-10-16 | 2020-01-31 | 中山大学 | 基于生成对抗网络的复数域语音增强方法、***及介质 |
CN110853653A (zh) * | 2019-11-21 | 2020-02-28 | 中科智云科技有限公司 | 一种基于自注意力和迁移学习的声纹识别方法 |
CN111063365A (zh) * | 2019-12-13 | 2020-04-24 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和电子设备 |
CN111145772A (zh) * | 2019-12-28 | 2020-05-12 | 广州国音智能科技有限公司 | 一种语音增强方法、***及设备 |
CN111327790A (zh) * | 2020-03-27 | 2020-06-23 | 武汉烛照科技有限公司 | 一种视频处理芯片 |
CN111883166A (zh) * | 2020-07-17 | 2020-11-03 | 北京百度网讯科技有限公司 | 一种语音信号处理方法、装置、设备以及存储介质 |
CN111968666A (zh) * | 2020-08-20 | 2020-11-20 | 南京工程学院 | 基于深度域自适应网络的助听器语音增强方法 |
CN112652321A (zh) * | 2020-09-30 | 2021-04-13 | 北京清微智能科技有限公司 | 一种基于深度学习相位更加友好的语音降噪***及方法 |
CN112767959A (zh) * | 2020-12-31 | 2021-05-07 | 恒安嘉新(北京)科技股份公司 | 语音增强方法、装置、设备及介质 |
CN112820301A (zh) * | 2021-03-15 | 2021-05-18 | 中国科学院声学研究所 | 一种融合分布对齐和对抗学习的无监督跨域声纹识别方法 |
CN113762303A (zh) * | 2020-11-23 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
CN113902104A (zh) * | 2021-11-01 | 2022-01-07 | 南京工程学院 | 联合无监督域自适应策略和注意力机制的非侵入式负荷监测方法 |
CN114067819A (zh) * | 2021-11-22 | 2022-02-18 | 南京工程学院 | 基于跨层相似性知识蒸馏的语音增强方法 |
WO2022196955A1 (ko) * | 2021-03-15 | 2022-09-22 | (주)뤼이드 | 인공지능 모델을 사전 학습시키는 방법 및 장치 |
CN115359784A (zh) * | 2022-10-21 | 2022-11-18 | 成都爱维译科技有限公司 | 基于迁移学习的民航陆空语音识别模型训练方法及*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024968A1 (en) * | 2016-07-22 | 2018-01-25 | Xerox Corporation | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization |
CN107909101A (zh) * | 2017-11-10 | 2018-04-13 | 清华大学 | 基于卷积神经网络的半监督迁移学习字符识别方法及*** |
CN108133702A (zh) * | 2017-12-20 | 2018-06-08 | 重庆邮电大学 | 一种基于mee优化准则的深度神经网络语音增强模型 |
US20180261225A1 (en) * | 2017-03-13 | 2018-09-13 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Multichannel End-to-End Speech Recognition |
CN108875918A (zh) * | 2018-08-14 | 2018-11-23 | 西安交通大学 | 一种基于适配共享深度残差网络的机械故障迁移诊断方法 |
CN108986834A (zh) * | 2018-08-22 | 2018-12-11 | 中国人民解放军陆军工程大学 | 基于编解码器架构与递归神经网络的骨导语音盲增强方法 |
CN108985378A (zh) * | 2018-07-20 | 2018-12-11 | 天津师范大学 | 一种基于混合交叉深度网络的域自适应方法 |
CN109376578A (zh) * | 2018-08-27 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度迁移度量学习的小样本目标识别方法 |
CN109600627A (zh) * | 2018-12-11 | 2019-04-09 | 国信优易数据有限公司 | 一种视频识别方法和装置 |
-
2019
- 2019-05-09 CN CN201910385769.2A patent/CN110111803B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180024968A1 (en) * | 2016-07-22 | 2018-01-25 | Xerox Corporation | System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization |
US20180261225A1 (en) * | 2017-03-13 | 2018-09-13 | Mitsubishi Electric Research Laboratories, Inc. | System and Method for Multichannel End-to-End Speech Recognition |
CN107909101A (zh) * | 2017-11-10 | 2018-04-13 | 清华大学 | 基于卷积神经网络的半监督迁移学习字符识别方法及*** |
CN108133702A (zh) * | 2017-12-20 | 2018-06-08 | 重庆邮电大学 | 一种基于mee优化准则的深度神经网络语音增强模型 |
CN108985378A (zh) * | 2018-07-20 | 2018-12-11 | 天津师范大学 | 一种基于混合交叉深度网络的域自适应方法 |
CN108875918A (zh) * | 2018-08-14 | 2018-11-23 | 西安交通大学 | 一种基于适配共享深度残差网络的机械故障迁移诊断方法 |
CN108986834A (zh) * | 2018-08-22 | 2018-12-11 | 中国人民解放军陆军工程大学 | 基于编解码器架构与递归神经网络的骨导语音盲增强方法 |
CN109376578A (zh) * | 2018-08-27 | 2019-02-22 | 杭州电子科技大学 | 一种基于深度迁移度量学习的小样本目标识别方法 |
CN109600627A (zh) * | 2018-12-11 | 2019-04-09 | 国信优易数据有限公司 | 一种视频识别方法和装置 |
Non-Patent Citations (2)
Title |
---|
JIAMING CHENG ET AL: "A Deep Adaptation Network for Speech Enhancement Combining a Relativistic Discriminator with Multi-Kernel Maximum Mean Discrepancy", 《JOURNAL OF LATEX CLASS FILES》 * |
RUIYU LIANG ET AL: "Transfer Learning Algorithm for Enhancing the Unlabeled Speech", 《IEEE ACCESS》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619886A (zh) * | 2019-10-11 | 2019-12-27 | 北京工商大学 | 一种针对低资源土家语的端到端语音增强方法 |
CN110619886B (zh) * | 2019-10-11 | 2022-03-22 | 北京工商大学 | 一种针对低资源土家语的端到端语音增强方法 |
CN110739002A (zh) * | 2019-10-16 | 2020-01-31 | 中山大学 | 基于生成对抗网络的复数域语音增强方法、***及介质 |
CN110739002B (zh) * | 2019-10-16 | 2022-02-22 | 中山大学 | 基于生成对抗网络的复数域语音增强方法、***及介质 |
CN110739003A (zh) * | 2019-10-23 | 2020-01-31 | 北京计算机技术及应用研究所 | 基于多头自注意力机制的语音增强方法 |
CN110739003B (zh) * | 2019-10-23 | 2022-10-28 | 北京计算机技术及应用研究所 | 基于多头自注意力机制的语音增强方法 |
CN110853653A (zh) * | 2019-11-21 | 2020-02-28 | 中科智云科技有限公司 | 一种基于自注意力和迁移学习的声纹识别方法 |
CN111063365A (zh) * | 2019-12-13 | 2020-04-24 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和电子设备 |
CN111063365B (zh) * | 2019-12-13 | 2022-06-07 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和电子设备 |
CN111145772A (zh) * | 2019-12-28 | 2020-05-12 | 广州国音智能科技有限公司 | 一种语音增强方法、***及设备 |
CN111327790A (zh) * | 2020-03-27 | 2020-06-23 | 武汉烛照科技有限公司 | 一种视频处理芯片 |
CN111883166B (zh) * | 2020-07-17 | 2024-05-10 | 北京百度网讯科技有限公司 | 一种语音信号处理方法、装置、设备以及存储介质 |
CN111883166A (zh) * | 2020-07-17 | 2020-11-03 | 北京百度网讯科技有限公司 | 一种语音信号处理方法、装置、设备以及存储介质 |
CN111968666A (zh) * | 2020-08-20 | 2020-11-20 | 南京工程学院 | 基于深度域自适应网络的助听器语音增强方法 |
CN112652321A (zh) * | 2020-09-30 | 2021-04-13 | 北京清微智能科技有限公司 | 一种基于深度学习相位更加友好的语音降噪***及方法 |
CN112652321B (zh) * | 2020-09-30 | 2023-05-02 | 北京清微智能科技有限公司 | 一种基于深度学习相位更加友好的语音降噪***及方法 |
CN113762303A (zh) * | 2020-11-23 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
CN113762303B (zh) * | 2020-11-23 | 2024-05-24 | 北京沃东天骏信息技术有限公司 | 图像分类方法、装置、电子设备及存储介质 |
CN112767959B (zh) * | 2020-12-31 | 2023-10-17 | 恒安嘉新(北京)科技股份公司 | 语音增强方法、装置、设备及介质 |
CN112767959A (zh) * | 2020-12-31 | 2021-05-07 | 恒安嘉新(北京)科技股份公司 | 语音增强方法、装置、设备及介质 |
WO2022196955A1 (ko) * | 2021-03-15 | 2022-09-22 | (주)뤼이드 | 인공지능 모델을 사전 학습시키는 방법 및 장치 |
CN112820301B (zh) * | 2021-03-15 | 2023-01-20 | 中国科学院声学研究所 | 一种融合分布对齐和对抗学习的无监督跨域声纹识别方法 |
CN112820301A (zh) * | 2021-03-15 | 2021-05-18 | 中国科学院声学研究所 | 一种融合分布对齐和对抗学习的无监督跨域声纹识别方法 |
CN113902104A (zh) * | 2021-11-01 | 2022-01-07 | 南京工程学院 | 联合无监督域自适应策略和注意力机制的非侵入式负荷监测方法 |
CN114067819A (zh) * | 2021-11-22 | 2022-02-18 | 南京工程学院 | 基于跨层相似性知识蒸馏的语音增强方法 |
CN115359784A (zh) * | 2022-10-21 | 2022-11-18 | 成都爱维译科技有限公司 | 基于迁移学习的民航陆空语音识别模型训练方法及*** |
CN115359784B (zh) * | 2022-10-21 | 2023-01-17 | 成都爱维译科技有限公司 | 基于迁移学习的民航陆空语音识别模型训练方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110111803B (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111803B (zh) | 基于自注意多核最大均值差异的迁移学习语音增强方法 | |
Le et al. | DPCRN: Dual-path convolution recurrent network for single channel speech enhancement | |
Cui et al. | Speech enhancement based on simple recurrent unit network | |
CN108172238A (zh) | 一种语音识别***中基于多个卷积神经网络的语音增强算法 | |
CN103345923A (zh) | 一种基于稀疏表示的短语音说话人识别方法 | |
Shi et al. | Deep Attention Gated Dilated Temporal Convolutional Networks with Intra-Parallel Convolutional Modules for End-to-End Monaural Speech Separation. | |
Rammo et al. | Detecting the speaker language using CNN deep learning algorithm | |
CN113077806B (zh) | 音频处理方法及装置、模型训练方法及装置、介质和设备 | |
Shi et al. | End-to-End Monaural Speech Separation with Multi-Scale Dynamic Weighted Gated Dilated Convolutional Pyramid Network. | |
CN105679321B (zh) | 语音识别方法、装置及终端 | |
Xian et al. | Convolutional fusion network for monaural speech enhancement | |
Li et al. | U-shaped transformer with frequency-band aware attention for speech enhancement | |
Li et al. | A multi-objective learning speech enhancement algorithm based on IRM post-processing with joint estimation of SCNN and TCNN | |
Fan et al. | Utterance-level permutation invariant training with discriminative learning for single channel speech separation | |
Cheng et al. | DNN-based speech enhancement with self-attention on feature dimension | |
Fan et al. | Deep attention fusion feature for speech separation with end-to-end post-filter method | |
Girirajan et al. | Real-Time Speech Enhancement Based on Convolutional Recurrent Neural Network. | |
CN112116921A (zh) | 一种基于整合优化器的单声道语音分离方法 | |
Sun et al. | Single-channel speech enhancement based on joint constrained dictionary learning | |
CN116013339A (zh) | 一种基于改进crn的单通道语音增强方法 | |
Feng et al. | Speech emotion recognition based on LSTM and Mel scale wavelet packet decomposition | |
CN108573698B (zh) | 一种基于性别融合信息的语音降噪方法 | |
Lan et al. | Multi-scale informative perceptual network for monaural speech enhancement | |
Kashani et al. | Speech enhancement via deep spectrum image translation network | |
CN113066483B (zh) | 一种基于稀疏连续约束的生成对抗网络语音增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |