CN113053407A - 一种针对多说话人的单通道语音分离方法及*** - Google Patents

Abstract

本发明提供针对多说话人的单通道语音分离方法，其包括：构建语音分离深度神经网络；获取第一编码、第二编码和第三编码；通过解卷积层解码第一编码及第三编码获取多个输出通道的语音分离信号；对语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络；将待测试语音样本输入到训练后的语音分离深度神经网络中，获取待测试语音样本中多个语音分离信号。本发明通过分离网络的音素附加输入和注意力机制可增加网络对语音信号分离的依据，相比原有方法可有效提高语音输出的准确性，降低语音的失真率，提高可懂度。同时，本发明还提供了针对多说话人的单通道语音分离***。

Description

一种针对多说话人的单通道语音分离方法及***

技术领域

本发明涉及语音信号处理领域，本发明具体涉及一种针对多说话人的单通道语音分离方法及***。

背景技术

随着高端智能设备如智能耳机、助听器、会议记录器等快速发展，语音交互作为人机互动最便捷的方式得到越来越广泛的研究。在语音信号处理领域，语音分离技术作为连接前端和后端的纽带，不仅可以过滤掉噪声等因素的干扰，还可以提取语音识别等技术需要的关键信息，因此起到至关重要的作用。但目前的算法中，当待分离的语音中含有较大的噪声或伴随混响时，分离的效果大打折扣。语音分离算法中研究和应用最广泛的是单通道语音分离技术。单通道语音分离技术主要利用单个麦克风采集的信号，借助目标语音和干扰信号之间的时频域声学和统计特性的差异进行建模，相比多通道语音分离任务，硬件要求和成本较低，运算量较小，但是难度更高。

近些年神经网络和深度学习技术得到快速发展，语音分离算法已采用深度学习的计算模式。基于深度学习的语音分离方法的基本思想是：建立语音分离模型，从混合语音中提取特征参数，然后通过网络训练寻找特征参数与各个目标语音信号的特征参数之间的映射关系，之后任意输入的混合信号都可以通过训练后的模型输出各个目标语音的信号，从而实现语音分离。早些年研究人员多在频域上研究分离算法，最近，时域的端到端分离算法由于可避免频域中的相位估算误差问题，得到广泛研究。目前时域语音分离算法主要包含：Cov-TasNet、BLSTM-TasNet和FurcaNeXt等。这些算法多应用在纯语音混合的数据中，但当数据中混合了噪声和混响等干扰时，效果都会在一定程度上下降。分析其中一个原因是，这些算法多是仅直接将混合信号输入到网络模型中进行训练，这样训练出的网络对提高分离准确度的帮助有限。

发明内容

本发明的目的一方面提供了针对多说话人的单通道语音分离方法，其通过分离网络的音素附加输入和注意力机制可增加网络对语音信号分离的依据，相比原有方法可有效提高语音输出的准确性，降低语音的失真率，提高可懂度。

本发明的目的另一方面提供了针对多说话人的单通道语音分离***，其通过分离网络的音素附加输入和注意力机制可增加网络对语音信号分离的依据，相比原有***可有效提高语音输出的准确性，降低语音的失真率，提高可懂度。

本发明的第一个方面，提供了一种针对多说话人的单通道语音分离方法，其包括：

步骤S101，构建语音分离深度神经网络。语音分离深度神经网络包括：输入层、输出层及多个输出通道。输出通道数量对应混合音频中的说话人数。语音分离网络包括：混合音频信号编码器、音素信息编码器、注意力机制模块和综合解码器。

步骤S102，将混合音频样本信号输入到混合音频信号编码器的输入端，经两层延时卷积网络编码混合音频样本信号，获取第一编码。

将每个目标说话人语音音素串联输入到音素编码器的输入端，经两层延时卷积网络编码每个目标说话人语音音素，提取高维特征获取第二编码。

注意力机制模块通过内部的打分机制获取第一编码和第二编码的评分，通过第一编码和第二编码的评分获取注意力权重值。通过注意力权重值获取加权后的第一编码。通过加权后的第一编码和第二编码获取第三编码。

综合解码器，通过解卷积层解码第一编码及第三编码获取多个输出通道的语音分离信号。

步骤S103，每个目标说话人干净音频作为语音分离深度神经网络的训练目标。训练语音分离深度神经网络。使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络。

步骤S104，将待测试语音样本输入到训练后的语音分离深度神经网络中，经语音分离深度神经网络处理，从多个输出通道获取待测试语音样本中多个语音分离信号。将待测试语音样本中多个语音分离信号作为每个目标说话人的语音分离结果信号。

本发明针对多说话人的单通道语音分离方法的一种实施方式中，混合音频信号编码器和音素信息编码器分别包括两个隐藏层。解码器包括2个隐藏层。注意力机制模块包括一个隐藏层。

本发明针对多说话人的单通道语音分离方法的另一种实施方式中，步骤S102中还包括：

对语音样本数据库中的语音样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合获取多个混合音频样本信号。每个混合音频样本信号的长度为4s。

获取每个混合音频样本信号对应的目标说话人干净音频和语音音素。

本发明针对多说话人的单通道语音分离方法的另一种实施方式中，步骤S103中还包括，随机初始化语音分离深度神经网络的参数。

本发明针对多说话人的单通道语音分离方法的再一种实施方式中，使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练的步骤还包括：前向传播阶段。

前向传播阶段包括：对语音分离深度神经网络中神经元节点之间的权重和偏置进行初始化。前向传播语音分离深度神经网络。在语音分离深度神经网络的前向传播过程中，通过激活函数来增加各层之间的非线性关系，以能够生成输入与输出结果间的非线性映射。

本发明针对多说话人的单通道语音分离方法的再一种实施方式中，步骤S103中，使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练的步骤包括：

步骤S1031，计算语音分离深度神经网络的输出层损失函数的梯度。损失函数为公式1：

其中，s_target是语音提取的目标。e_noise是估计的噪音，由估计的语音和混合语音的差值求得。

步骤S1032，获取语音分离深度神经网络中网络层数l＝L-1,L-2,…,2时每一层所对应的梯度。

步骤S1033，根据输出层损失函数的梯度及每一层所对应的梯度更新整个网络的权重和偏置。

本发明的第二个方面，提供了一种针对多说话人的单通道语音分离***，其包括：

构建网络单元，其配置为构建语音分离深度神经网络。语音分离深度神经网络包括：输入层、输出层及多个输出通道。输出通道数量对应混合音频中的说话人数。语音分离网络包括：混合音频信号编码器、音素信息编码器、注意力机制模块和综合解码器。

网络配置单元，其配置为将混合音频样本信号输入到混合音频信号编码器的输入端，经两层延时卷积网络编码混合音频样本信号，获取第一编码。

将每个目标说话人语音音素串联输入到音素编码器的输入端，经两层延时卷积网络编码每个目标说话人语音音素，提取高维特征获取第二编码。

注意力机制模块通过内部的打分机制获取第一编码和第二编码的评分，通过第一编码和第二编码的评分获取注意力权重值。通过注意力权重值获取加权后的第一编码。通过加权后的第一编码和第二编码获取第三编码。

综合解码器，通过解卷积层解码第一编码及第三编码获取多个输出通道的语音分离信号。

训练单元，其配置为每个目标说话人干净音频作为语音分离深度神经网络的训练目标。训练语音分离深度神经网络。使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络。和

分离单元，其配置为将待测试语音样本输入到训练后的语音分离深度神经网络中，经语音分离深度神经网络处理，从多个输出通道获取待测试语音样本中多个语音分离信号。将待测试语音样本中多个语音分离信号作为每个目标说话人的语音分离结果信号。

本发明针对多说话人的单通道语音分离***的一种实施方式中，网络配置单元还配置为：

对语音样本数据库中的语音样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合获取多个混合音频样本信号。每个混合音频样本信号的长度为4s。

获取每个混合音频样本信号对应的目标说话人干净音频和语音音素。

本发明针对多说话人的单通道语音分离***的另一种实施方式中，训练单元还配置为随机初始化语音分离深度神经网络的参数。

本发明针对多说话人的单通道语音分离***的另一种实施方式中，训练单元中使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练的步骤还包括：前向传播阶段。

前向传播阶段包括：对语音分离深度神经网络中神经元节点之间的权重和偏置进行初始化。前向传播语音分离深度神经网络。在语音分离深度神经网络的前向传播过程中，通过激活函数来增加各层之间的非线性关系，以能够生成输入与输出结果间的非线性映射。

下文将以明确易懂的方式，结合附图对针对多说话人的单通道语音分离方法及***的特性、技术特征、优点及其实现方式予以进一步说明。

附图说明

图1是用于说明在本发明一种实施方式中，针对多说话人的单通道语音分离方法的流程示意图。

图2是用于说明在本发明一种实施方式中，语音分离网络的组成示意图。

图3是用于说明在本发明一种实施方式中，多说话人的单通道语音分离***的组成示意图。

图4是用于说明在本发明一种实施方式中，语音分离深度神经网络的组成示意图。

图5a是用于说明在本发明一种实施方式中，混合音频信号编码器的部分层结构示意图。

图5b是用于说明在本发明一种实施方式中，音素信息编码器的部分层结构示意图。

图6是用于说明在本发明一种实施方式中，注意力机制模块的部分层结构示意图

图7是用于说明在本发明又一种实施方式中，综合解码器的部分层结构示意图。

具体实施方式

为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。

在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中只示意性地表示出了与本示例性实施例相关的部分，它们并不代表其作为产品的实际结构及真实比例。

发明的第一个方面，提供了一种针对多说话人的单通道语音分离方法，如图1所示，其包括：

步骤S101，构建语音分离深度神经网络。

本步骤中，构建语音分离深度神经网络。语音分离深度神经网络包括：输入层、输出层及多个输出通道。输出通道数量对应混合音频中的说话人数。如图2所示，语音分离网络包括：混合音频信号编码器101、音素信息编码器201、注意力机制模块301和综合解码器401。

步骤S102，获取多个输出通道的语音分离信号。

本步骤中，将混合音频样本信号输入到混合音频信号编码器101的输入端，经两层延时卷积网络编码混合音频样本信号，获取第一编码。

将每个目标说话人语音音素串联输入到音素编码器的输入端，经两层延时卷积网络编码每个目标说话人语音音素，提取高维特征获取第二编码。

注意力机制模块301通过内部的打分机制获取第一编码和第二编码的评分，通过第一编码和第二编码的评分获取注意力权重值。通过注意力权重值获取加权后的第一编码。通过加权后的第一编码和第二编码获取第三编码。

综合解码器401，通过解卷积层解码第一编码及第三编码获取多个输出通道的语音分离信号。

步骤S103，获得训练后的语音分离深度神经网络。

本步骤中，每个目标说话人干净音频作为语音分离深度神经网络的训练目标。训练语音分离深度神经网络。使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络。

步骤S104，获取多个语音分离信号。

本步骤中，将待测试语音样本输入到训练后的语音分离深度神经网络中，经语音分离深度神经网络处理，从多个输出通道获取待测试语音样本中多个语音分离信号。将待测试语音样本中多个语音分离信号作为每个目标说话人的语音分离结果信号。

本发明一种针对多说话人的单通道语音分离方法相比现有的单通道语音分离算法能更进一步的提取每个说话人的语音特征，有效去除对应目标说话人以外的信号，从而提高算法分离的准确度，降低语音的失真率，有效的提高了分离后各语音的可懂度。通过分离网络的音素附加输入和注意力机制可增加网络对语音信号分离的依据，相比原有方法可有效提高语音输出的准确性，降低语音的失真率，提高可懂度。

本发明针对多说话人的单通道语音分离方法的一种实施方式中，混合音频信号编码器101和音素信息编码器201分别包括两个隐藏层。解码器包括2个隐藏层。注意力机制模块301包括一个隐藏层。

本发明针对多说话人的单通道语音分离方法的另一种实施方式中，步骤S102中还包括：

对语音样本数据库中的语音样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合获取多个混合音频样本信号。每个混合音频样本信号的长度为4s。

获取每个混合音频样本信号对应的目标说话人干净音频和语音音素。

本发明针对多说话人的单通道语音分离方法的另一种实施方式中，步骤S103中还包括，随机初始化语音分离深度神经网络的参数。

本发明针对多说话人的单通道语音分离方法的再一种实施方式中，使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练的步骤还包括：前向传播阶段。

前向传播阶段包括：对语音分离深度神经网络中神经元节点之间的权重和偏置进行初始化。前向传播语音分离深度神经网络。在语音分离深度神经网络的前向传播过程中，通过激活函数来增加各层之间的非线性关系，以能够生成输入与输出结果间的非线性映射。

本发明针对多说话人的单通道语音分离方法的再一种实施方式中，步骤S103中，使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练的步骤包括：

步骤S1031，计算语音分离深度神经网络的输出层损失函数的梯度。损失函数为公式1：

其中，s_target是语音提取的目标。e_noise是估计的噪音，由估计的语音和混合语音的差值求得。

步骤S1032，获取语音分离深度神经网络中网络层数l＝L-1,L-2,…,2时每一层所对应的梯度。

步骤S1033，根据输出层损失函数的梯度及每一层所对应的梯度更新整个网络的权重和偏置。

本发明的第二个方面，提供了一种针对多说话人的单通道语音分离***，如图3所示，针对多说话人的单通道语音分离***包括：构建网络单元10、网络配置单元20、训练单元30和分离单元40。

构建网络单元10，其配置为构建语音分离深度神经网络。语音分离深度神经网络包括：输入层、输出层及多个输出通道。输出通道数量对应混合音频中的说话人数。语音分离网络包括：混合音频信号编码器101、音素信息编码器201、注意力机制模块301和综合解码器401。

网络配置单元20，其配置为将混合音频样本信号输入到混合音频信号编码器101的输入端，经两层延时卷积网络编码混合音频样本信号，获取第一编码。

将每个目标说话人语音音素串联输入到音素编码器的输入端，经两层延时卷积网络编码每个目标说话人语音音素，提取高维特征获取第二编码。

注意力机制模块301通过内部的打分机制获取第一编码和第二编码的评分，通过第一编码和第二编码的评分获取注意力权重值。通过注意力权重值获取加权后的第一编码。通过加权后的第一编码和第二编码获取第三编码。

综合解码器401，通过解卷积层解码第一编码及第三编码获取多个输出通道的语音分离信号。

训练单元30，其配置为每个目标说话人干净音频作为语音分离深度神经网络的训练目标。训练语音分离深度神经网络。使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络。

分离单元40，其配置为将待测试语音样本输入到训练后的语音分离深度神经网络中，经语音分离深度神经网络处理，从多个输出通道获取待测试语音样本中多个语音分离信号。将待测试语音样本中多个语音分离信号作为每个目标说话人的语音分离结果信号。

本发明针对多说话人的单通道语音分离***的一种实施方式中，网络配置单元20还配置为：

对语音样本数据库中的语音样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合获取多个混合音频样本信号。每个混合音频样本信号的长度为4s。

获取每个混合音频样本信号对应的目标说话人干净音频和语音音素。

本发明针对多说话人的单通道语音分离***的另一种实施方式中，训练单元30还配置为随机初始化语音分离深度神经网络的参数。

本发明针对多说话人的单通道语音分离***的另一种实施方式中，训练单元30中使用损失函数通过梯度下降法来反向传播更新权重和偏置，对语音分离深度神经网络有监督的训练的步骤还包括：前向传播阶段。

前向传播阶段包括：对语音分离深度神经网络中神经元节点之间的权重和偏置进行初始化。前向传播语音分离深度神经网络。在语音分离深度神经网络的前向传播过程中，通过激活函数来增加各层之间的非线性关系，以能够生成输入与输出结果间的非线性映射。

在本发明的针对多说话人的单通道语音分离方法的另一种优选的实施方式中，本发明的目的是针对多说话人的单通道语音分离技术提出一种音素时域卷积语音分离方法。该算法相比现有的单通道语音分离算法能更进一步的提取每个说话人的语音特征，有效去除对应目标说话人以外的信号，从而提高算法分离的准确度，降低语音的失真率，有效的提高了分离后各语音的可懂度。

本发明提出的算法由混合音频信号编码器、音素信息编码器、综合解码器和注意力机制模块构成。

具体操作流程包括：

第一部分：对训练语音样本进行预处理，并输入到网络输入端；

第二部分：使用损失函数对深度神经网络进行训练，以获得深度神经网络模型；

第三部分：将待测试语音样本输入到训好的网络模型中进行语音分离，得到测试结果。

第一部分具体包括：

1.1、对数据库样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合，同时保存每个混合音频对应的目标说话人干净音频和语音音素。每个样本的长度为4s。

1.2、将混合音频信号输入到混合音频信号编码器的输入端，将每个目标语音对应音素串联输入到音素编码器的输入端，对应说话人的干净语音音频作为神经网络的训练目标。

第二部分包括：

2.1、对深度神经网络参数进行随机初始化；

2.2、根据2.1初始化后的参数，对深度神经网络进行有监督的训练，即使用损失函数通过梯度下降法来反向传播更新权重和偏置，以获得深度神经网络模型。

上述2.1中包括前向传播阶段和反向传播阶段。

前向传播阶段包括：对网络神经元节点之间的权重和偏置进行初始化；深度神经网络进行前向传播。

神经网络在前向传播过程中，可使用激活函数来增加网络之间的非线性关系，最后能够生成输入与输出结果间的非线性映射。

反向传播阶段包括：

<1>计算深度神经网络的损失函数；

<2>通过梯度下降法更新深度神经网络的参数。

整个网络的损失函数为公式2：

其中，s_target是语音提取的目标；e_noise是估计的噪音，由估计的语音和混合语音的差值求得。

网络将使用梯度下降法对其中的参数进行交替更新：

a、构建语音分离网络。它是一个多输出的网络，输出的通道数与混合音频中的说话人数目有关。整个网络由四个模块组成，包括：混合音频信号编码器、音素信息编码器、综合解码器和注意力机制模块。网络除了输入层、输出层外，混合音频信号编码器和音素信息编码器分别含有两个隐藏层，解码器含有2个隐藏层。注意力机制含有一个隐藏层。。

b、计算网络输出层损失函数的梯度；

c、计算网络层数l＝L-1,L-2,…,2时每一层所对应的梯度；

d、更新整个网络的权重和偏置。

混合音频信号编码器部分：将混合音频y输入到网络输入端，然后经两层延时卷积网络对信号进行编码，得到G＝{g0,…,gN-1}。N为此编码器第二层网络对应的输出长度。

音素信息编码器部分：将每个混合音频的目标语音对应的音素串联为p输入到此模块的输入端，然后经两层延时卷积网络编码，提取高维特征得到H＝{h0,…,hM-1}。M为此编码器第二层网络对应的输出长度。

注意力机制模块部分：同时接收混合音频信号编码器和音素信息编码器的输出G和H，通过内部的打分机制对所有的hm和gn进行计算，得到公式3：

这样注意力权重α_n，m就可以通过一个softmax算符得到公式4：

综合解码器部分：将混合音频信号编码器的输出与注意力机制模块的加权输出相乘后的结果c_n输入到解码器中，即公式5：

然后通过网络的解卷积层解码即可得到对应的多通道语音分离信号。

第三部分中的语音测试操作为：将待测试语音样本输入到训练后的网络模型中，经计算可得到每路语音对应的估计信号，即每一个说话人的语音分离结果。

通过分离网络的音素附加输入和注意力机制可增加网络对语音信号分离的依据，相比原有方法可有效提高语音输出的准确性，降低语音的失真率，提高可懂度。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图4所示，本发明提供了一种音素时域卷积语音分离算法，这里以两个说话人的语音分离为例。主要包括以下内容：

第一部分：对训练语音样本进行预处理，并输入到网络输入端；

第二部分：使用损失函数对深度神经网络进行训练，以获得深度神经网络模型；

第三部分：将待测试语音样本输入到训好的网络模型中进行语音分离，得到测试结果。

以下将对每个部分做详细说明。

其中第一部分具体包括：

1-1、对数据库样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合得到y，同时保存每个混合音频对应的目标说话人干净音频xi(i＝1,2,…,N)和语音音素pi。每个样本的长度为4s。

1-2、将混合音频信号y作为输入到混合音频信号编码器的输入端，将每个目标语音对应音素串联为p输入到音素编码器的输入端，对应说话人的干净语音音频xi作为神经网络的训练目标。

第二部分具体包括：

(1)对深度神经网络参数进行随机初始化；

(2)根据(1)初始化后的参数，对深度神经网络进行有监督的训练，即使用损失函数通过梯度下降法来反向传播更新权重和偏置，以获得深度神经网络模型。

上述(2)中包括前向传播阶段和反向传播阶段。

前向传播阶段包括：对网络神经元节点之间的权重和偏置进行初始化；深度神经网络进行前向传播。

神经网络在前向传播过程中，可使用激活函数来增加网络之间的非线性关系，最后能够生成输入与输出结果间的非线性映射。

反向传播阶段包括：

<1>计算深度神经网络的损失函数；

<2>通过梯度下降法更新深度神经网络的参数。

整个网络的损失函数为公式6：

其中，s_target是语音提取的目标；e_noise是估计的噪音，由估计的语音和混合语音的差值求得。

网络将使用梯度下降法对其中的参数进行交替更新：

a、构建语音分离网络。它是一个多输出的网络，输出的通道数与混合音频中的说话人数目有关。整个网络由四个模块组成(图4)包括：混合音频信号编码器101(图5a)、音素信息编码器201(图5b)、综合解码器401(图7)和注意力机制模块301(图6)。网络除了输入层、输出层外，混合音频信号编码器和音素信息编码器分别含有两个隐藏层，综合解码器含有2个隐藏层。注意力机制含有一个隐藏层。综合解码器401输出第一分离的语音分离信号、第二分离的语音分离信号，......。

b、计算网络输出层损失函数的梯度；

c、计算网络层数l＝L-1,L-2,…,2时每一层所对应的梯度；

d、更新整个网络的权重和偏置。

混合音频信号编码器部分：将混合音频y输入到网络输入端，然后经两层延时卷积网络对信号进行编码，得到G＝{g0,…,gN-1}。N为此编码器第二层网络对应的输出长度。

音素信息编码器部分：将每个混合音频的目标语音对应的音素串联为p输入到此模块的输入端，然后经两层延时卷积网络编码，提取高维特征得到H＝{h0,…,hM-1}。M为此编码器第二层网络对应的输出长度。

注意力机制模块部分：同时接收混合音频信号编码器和音素信息编码器的输出G和H，通过内部的打分机制对所有的hm和gn进行计算，得到公式7：

这样注意力权重α_n，m就可以通过一个softmax算符得到公式8：

综合解码器部分：将混合音频信号编码器的输出与注意力机制模块的加权输出相乘后的结果c_n输入到解码器中，即公式9：

然后通过网络的解卷积层进行解码即可得到对应的多个通道语音分离信号。

第三部分中的语音测试操作为：将待测试语音样本输入到训练后的网络模型中，经计算可得到每路语音对应的估计信号，即每一个说话人的语音分离结果。

应当理解，虽然本说明书是按照各个实施方式中描述的，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种针对多说话人的单通道语音分离方法，其特征在于，其包括：

步骤S101，构建语音分离深度神经网络；所述语音分离深度神经网络包括：输入层、输出层及多个输出通道；所述输出通道数量对应混合音频中的说话人数；所述语音分离网络包括：混合音频信号编码器、音素信息编码器、注意力机制模块和综合解码器；

步骤S102，将混合音频样本信号输入到混合音频信号编码器的输入端，经两层延时卷积网络编码所述混合音频样本信号，获取第一编码；

将每个目标说话人语音音素串联输入到音素编码器的输入端，经两层延时卷积网络编码所述每个目标说话人语音音素，提取高维特征获取第二编码；

所述注意力机制模块通过内部的打分机制获取所述第一编码和所述第二编码的评分，通过所述第一编码和所述第二编码的评分获取注意力权重值；通过所述注意力权重值获取加权后的所述第一编码；通过所述加权后的所述第一编码和所述第二编码获取第三编码；

所述综合解码器，通过解卷积层解码所述第一编码及所述第三编码获取所述多个输出通道的语音分离信号；

步骤S103，每个目标说话人干净音频作为所述语音分离深度神经网络的训练目标；训练所述语音分离深度神经网络；使用损失函数通过梯度下降法来反向传播更新权重和偏置，对所述语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络；

步骤S104，将待测试语音样本输入到所述训练后的语音分离深度神经网络中，经所述语音分离深度神经网络处理，从所述多个输出通道获取待测试语音样本中多个语音分离信号；将所述待测试语音样本中多个语音分离信号作为每个目标说话人的语音分离结果信号。

2.根据权利要求1所述的针对多说话人的单通道语音分离方法，其特征在于，所述混合音频信号编码器和所述音素信息编码器分别包括两个隐藏层；所述解码器包括2个隐藏层；所述注意力机制模块包括一个隐藏层。

3.根据权利要求1所述的针对多说话人的单通道语音分离方法，其特征在于，所述步骤S102中还包括：

对语音样本数据库中的语音样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合获取多个混合音频样本信号；每个混合音频样本信号的长度为4s；

获取每个混合音频样本信号对应的目标说话人干净音频和语音音素。

4.根据权利要求1所述的针对多说话人的单通道语音分离方法，其特征在于，所述步骤S103中还包括，随机初始化所述语音分离深度神经网络的参数。

5.根据权利要求1或4所述的针对多说话人的单通道语音分离方法，其特征在于，所述使用损失函数通过梯度下降法来反向传播更新权重和偏置，对所述语音分离深度神经网络有监督的训练的步骤还包括：前向传播阶段；

所述前向传播阶段包括：对语音分离深度神经网络中神经元节点之间的权重和偏置进行初始化；前向传播所述语音分离深度神经网络；在所述语音分离深度神经网络的前向传播过程中，通过激活函数来增加各层之间的非线性关系，以能够生成输入与输出结果间的非线性映射。

6.根据权利要求1或4所述的针对多说话人的单通道语音分离方法，其特征在于，所述步骤S103中，所述使用损失函数通过梯度下降法来反向传播更新权重和偏置，对所述语音分离深度神经网络有监督的训练的步骤包括：

步骤S1031，计算所述语音分离深度神经网络的输出层损失函数的梯度；所述损失函数为公式1：

其中，s_target是语音提取的目标；e_noise是估计的噪音，由估计的语音和混合语音的差值求得；

步骤S1032，获取所述语音分离深度神经网络中网络层数l＝L-1,L-2,…,2时每一层所对应的梯度；

步骤S1033，根据所述输出层损失函数的梯度及所述每一层所对应的梯度更新整个网络的权重和偏置。

7.一种针对多说话人的单通道语音分离***，其特征在于，其包括：

构建网络单元，其配置为构建语音分离深度神经网络；所述语音分离深度神经网络包括：输入层、输出层及多个输出通道；所述输出通道数量对应混合音频中的说话人数；所述语音分离网络包括：混合音频信号编码器、音素信息编码器、注意力机制模块和综合解码器；网络配置单元，其配置为将混合音频样本信号输入到混合音频信号编码器的输入端，经两层延时卷积网络编码所述混合音频样本信号，获取第一编码；

将每个目标说话人语音音素串联输入到音素编码器的输入端，经两层延时卷积网络编码所述每个目标说话人语音音素，提取高维特征获取第二编码；

所述注意力机制模块通过内部的打分机制获取所述第一编码和所述第二编码的评分，通过所述第一编码和所述第二编码的评分获取注意力权重值；通过所述注意力权重值获取加权后的所述第一编码；通过所述加权后的所述第一编码和所述第二编码获取第三编码；

所述综合解码器，通过解卷积层解码所述第一编码及所述第三编码获取所述多个输出通道的语音分离信号；

训练单元，其配置为每个目标说话人干净音频作为所述语音分离深度神经网络的训练目标；训练所述语音分离深度神经网络；使用损失函数通过梯度下降法来反向传播更新权重和偏置，对所述语音分离深度神经网络有监督的训练，以获得训练后的语音分离深度神经网络；和

分离单元，其配置为将待测试语音样本输入到所述训练后的语音分离深度神经网络中，经所述语音分离深度神经网络处理，从所述多个输出通道获取待测试语音样本中多个语音分离信号；将所述待测试语音样本中多个语音分离信号作为每个目标说话人的语音分离结果信号。

8.根据权利要求7所述的针对多说话人的单通道语音分离***，其特征在于，所述网络配置单元还配置为：

对语音样本数据库中的语音样本信号在8kHz下重采样，并对多个目标说话人与噪声及混响数据在信噪比-2.5dB到2.5dB之间做随机的音频混合获取多个混合音频样本信号；每个混合音频样本信号的长度为4s；

获取每个混合音频样本信号对应的目标说话人干净音频和语音音素。

9.根据权利要求7所述的针对多说话人的单通道语音分离***，其特征在于，所述训练单元还配置为随机初始化所述语音分离深度神经网络的参数。

10.根据权利要求7或9所述的针对多说话人的单通道语音分离***，其特征在于，所述训练单元中使用损失函数通过梯度下降法来反向传播更新权重和偏置，对所述语音分离深度神经网络有监督的训练的步骤还包括：前向传播阶段；

所述前向传播阶段包括：对语音分离深度神经网络中神经元节点之间的权重和偏置进行初始化；前向传播所述语音分离深度神经网络；在所述语音分离深度神经网络的前向传播过程中，通过激活函数来增加各层之间的非线性关系，以能够生成输入与输出结果间的非线性映射。

Images