CN114566152B - 一种基于深度学习的语音端点检测方法 - Google Patents
一种基于深度学习的语音端点检测方法 Download PDFInfo
- Publication number
- CN114566152B CN114566152B CN202210449438.2A CN202210449438A CN114566152B CN 114566152 B CN114566152 B CN 114566152B CN 202210449438 A CN202210449438 A CN 202210449438A CN 114566152 B CN114566152 B CN 114566152B
- Authority
- CN
- China
- Prior art keywords
- state
- voice
- frame
- cur
- gain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000001228 spectrum Methods 0.000 claims abstract description 30
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012805 post-processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
- G10L15/05—Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种基于深度学习的语音端点检测方法,包括如下步骤:S1.采集高信噪比的目标人声作为原始数据集,构建训练集;S2.对训练集和原始数据集计算幅度谱;S3.构建初始深度学习训练网络进行训练,以训练集每一帧的幅度谱作为训练输入特征,以原始数据集的幅度谱作为训练目标;训练完成后,得到最终深度学习训练网络;S4.求取增益值和时域信号;S5.通过模型输出的增益值和制定的状态机机制对时域信号进行语音端点检测。本发明通过模型输出的增益值来间接进行端点检测有利于应对不同的环境,可以对增益值进行不同的后处理方式增强适应性。
Description
技术领域
本发明属于语音技术领域,涉及语音识别,具体涉及一种基于深度学习的语音端点检测方法。
背景技术
语音增强技术和语音端点检测技术可有效提升语音识别、语音通话任务的用户体验,语音增强技术可对复杂环境中噪音进行降噪处理,提高目标语音的清晰度,然而对于低信噪比和复杂噪音环境,传统的基于噪声估计的方法存在局限,无法有效滤除非稳态噪音。
语音端点检测技术可以有效的区分出语音片段和非语音片段,可以有效的降低需要处理的数据量,可有效减轻语音识别、语音通话任务的负荷,提升用户体验。传统的语音端点检测技术依赖于时域幅值、频域能量、过零率等语音特性,转换成不同的特征计算语音存在概率,进而判区分语音段和非语音段,通常在外界环境噪声较小的情况下,传统方法往往能取得较理想的结果,但当应用环境过于复杂时,其效果很难满足实际应用需求。
近年来,深度学习方法已成功应用于语音增强技术和语音端点检测任务,该方法表现出对复杂环境更好的建模能力。
发明内容
为克服现有技术存在的缺陷,提高在复杂环境下,提高***的抗噪性以及提高语音端点检测的适用性,本发明公开了一种基于深度学习的语音端点检测方法。
本发明所述基于深度学习的语音端点检测方法,其特征在于,包括如下步骤:
S1.采集高信噪比的目标人声作为原始数据集,通过对原始数据集进行数据增广,构建训练集;高信噪比是指目标语音高于背景噪声分贝值10dB以上;
S2.对训练集和原始数据集语料进行短时傅里叶变换,计算幅度谱;
S3.构建初始深度学习训练网络进行训练,以训练集每一帧的幅度谱作为训练输入特征,以原始数据集的幅度谱作为训练目标;
所述深度学习训练网络包括编码器和解码器,二者之间连接有两层GRU层;训练完成后,得到最终深度学习训练网络模型;
利用所述最终深度学习训练网络模型对待识别语料音频进行语音状态识别的具体方式为:
S4.利用最终深度学习训练网络模型求取待识别语料音频的增益值和语音增强后的时域信号;
S5.通过模型输出的增益值和制定的状态机机制对语音增强后的时域信号进行语音端点检测。
优选的,S4步骤具体为:
S41.对待识别语料音频进行短时傅里叶变换,获得变换后的实部A、虚部B和幅度谱;
S42.将待识别语料音频幅度谱作为最终深度学习训练网络的输入,通过最终深度学习训练网络输出增益值gain;
S43.将输出的增益值gain分别与实部A和虚部B相乘得到语音增强后的频谱,通过短时傅立叶逆变换,得到增强后输出的时域信号。
优选的,步骤S42中,通过增益值gain求取增益平均值,以增益平均值代替增益值代入后续步骤进行处理;
具体为,首先对增益值进行平滑处理,频点f 的增益值AsmoothGainf平滑后的增益值smoothGainf=α* AsmoothGainf+(1-α) gainf
下标f表示频点,α为平滑因子;
设置频段,频段起始频点为frebin_start,截止频点为frebin_end;
求取增益平均值
优选的,所述编码器部分采用三个卷积层,解码器采用三个反卷积层。
优选的,步骤S5具体为:
定义四个状态,其中START代表语音开始状态, ON代表语音持续状态, END代表语音结束状态, IDEL代表非语音状态;
定义两个判断条件,条件一为EG%的增益值都大于语音增益高门限thr_high;条件二为EG%的增益值小于语音增益低门限thr_low;
EG表示设定的增益值百分比,语音增益高门限和语音增益低门限为设定的门限值;
端点检测过程如下:
从起始帧开始逐帧检测,设置帧语音端点检测当前状态cur_state的初始状态为IDEL状态,采用条件一进行判断,若不满足,则cur_state保持为IDEL状态,若满足,则cur_state切换为START状态;
当上一帧的帧语音端点检测当前状态cur_state为START状态,切换判断条件为条件二,若不满足条件二, 则切换状态cur_state为ON状态,若满足条件二, cur_state切换为END状态;
则语音段的起点为语音端点检测当前状态为START的帧,终点为语音端点检测当前状态为END的帧;
当上一帧的帧语音端点检测当前状态cur_state为END状态时,切换判断条件成条件一,若不满足条件一,cur_state保持为IDEL状态,若满足条件一,那cur_state为START状态。
优选的,设置一个循环缓存区缓存多帧的语音增益值,检测过程中,第K个增益值依次覆盖第K-1个增益值,第M帧缓存的值由当前帧的语音增益值覆盖,K是2到M的整数,M为缓存区长度。
优选的,设置状态机机制对步骤S5的端点检测过程进行具体实现。
采用本发明所述基于深度学习的语音端点检测方法,利用编解码结构的深度学习训练网络增强对***的建模能力,相比于直接输出端点检测结果,通过模型输出的增益值来间接进行端点检测有利于应对不同的环境,可以对增益值进行不同的后处理方式来增强其适应性;利用状态机原理划分四个状态通过条件判断是否为语音以加强***的稳定性,保持语音段的持续性,同时利用输出增益值对输入信号的实部虚部相乘得到增强后的信号,可用于后续需要进行识别、通信等人机交互设备及应用中。
附图说明
图1为本发明所述语音端点检测方法的一个具体步骤流程示意图;
图2为本发明所述语音端点检测方法的一个具体实施方式示意图。
具体实施方式
下面对本发明的具体实施方式作进一步的详细说明。
本发明所述基于深度学习的语音端点检测方法,如图1所示,包括如下步骤:
S1. 采集高信噪比的目标人声作为原始数据集,通过对原始数据集进行数据增广,构建训练集;
所谓高信噪比,即本领域中目标语音显著高于背景噪声分贝值,例如可以是目标语音相对背景噪声大于15dB。
S2.对训练集和原始数据集语料进行短时傅里叶变换,计算幅度谱;
S3.构建初始深度学习训练网络进行训练,以训练集每一帧的幅度谱作为训练输入特征,以原始数据集的幅度谱作为训练目标;
所述深度学习训练网络包括编码器和解码器,二者之间连接有两层GRU层;
一个具体实施方式中,编码器部分采用三个卷积层,其通道数分别为[32,32,64],核大小和步长分别为[(3,2),(3,2),(3,2)]和([(2,1),(2,1),(2,1)],解码器采用三个反卷积层,其通道数分别为[64,32,32];
训练完成后,得到最终深度学习训练网络。
利用所述最终深度学习训练网络对待识别语料音频进行语音状态识别的具体方式为:
S4.求取增益值和时域信号;
S41.对待识别语料音频进行短时傅里叶变换,获得变换后的实部A、虚部B和幅度谱;
S42.将待识别语料音频幅度谱作为最终深度学习训练网络的输入,通过最终深度学习训练网络输出增益值gain,
一个优选实施方式为,步骤S42中,通过增益值gain求取增益平均值,以增益平均值代入后续步骤进行处理;
具体为,首先对增益值进行平滑处理,频点f 的增益值AsmoothGainf平滑后的增益值
smoothGainf=α* AsmoothGainf+(1-α) gainf
下表f表示频点,α为平滑因子,取α=0.92;
设置频段,频段起始频点为frebin_start,截止频点为frebin_end;
求取增益平均值
S43将输出的增益值gain分别与实部A和虚部B相乘得到语音增强后的频谱,通过短时傅立叶逆变换,得到时域信号;
S5.通过模型输出的增益值gain和制定的状态机机制对语音增强后的时域信号进行语音端点检测;
定义四个状态,其中START代表语音开始状态, ON代表语音持续状态, END代表语音结束状态, IDEL代表非语音状态,这四个状态可以涵盖语音端点检测过程中不同帧的全部状态;
定义两个判断条件,条件一为EG%的增益值都大于语音增益高门限thr_high;条件二为EG%的增益值小于语音增益低门限thr_low;
EG表示设定的增益值百分比,语音增益高门限和语音增益低门限为设定的门限值,一个典型设置方式为EG=80, thr_high=0.65, thr_low=0.1;
端点检测过程如下
从起始帧开始逐帧检测,设置帧语音端点检测当前状态cur_state的初始状态为IDEL状态,采用条件一进行判断,若不满足,则cur_state保持为IDEL状态,若满足,则cur_state切换为START状态;
当上一帧的帧语音端点检测当前状态cur_state为START状态,切换判断条件为条件二,若不满足条件二, 则切换状态cur_state为ON状态,若满足条件二, cur_state切换为END状态;
当上一帧的帧语音端点检测当前状态cur_state为END状态时,切换判断条件成条件一,若不满足条件一,cur_state保持为IDEL状态,若满足条件一,那cur_state为START状态。
可以设置状态机机制对上述端点检测过程进行具体实现,状态机机制运行过程如下:
对循环缓存区的值通过不同的判断条件进行统计判断,本实施例中设置两个条件进行语音帧和非语音帧的判断。
设置当前帧语音端点检测状态cur_state初始状态为IDEL状态,采用条件一进行判断,若不满足cur_state保持为IDEL状态,若满足,则cur_state切换为START状态;
当上一帧cur_state为START,表示此时处于语音段,后续需要语音判断何时结束,判断语音段和非语音段的条件不同,因此切换判断条件为条件二,若不满足条件二, 则切换状态cur_state为ON状态,若满足条件二, cur_state切换为END状态;
则语音段的起点为语音端点检测当前状态为START的帧,终点为语音端点检测当前状态为END的帧。
当上一帧cur_state为END时,此时处于非语音段,后续需要判断语音何时开始,因此切换判断条件成条件一,若不满足条件一, cur_state保持为IDEL状态,若满足条件一,那cur_state为START状态。
可通过一个循环缓存区statics_buf用来缓存M=20帧的语音增益值,实时运行过程中,缓存区中由新的第K个增益值覆盖已有的第K-1个增益值,K的范围是2到M,最后第M帧缓存的值由当前帧的语音增益值覆盖。
具体实施例:
S1.将高信噪比的目标人声作为原始数据集,通过对原始数据集进行数据增广,构建训练集,
本实施例中采用的数据增广方式为加噪加混响,加噪信噪比范围为[-10dB,-5dB,0dB,5dB],混响时间RT60范围为0.1s-0.7s。
S2.对训练集和原始数据集语料进行短时傅里叶变换,设定帧长为32ms,帧移为16ms,傅里叶变换点数为512,
计算训练集和原始数据集的幅度谱,其中每一帧的幅度谱的维度为1*257。
S3. 以训练集每一帧的幅度谱,作为训练输入特征,以原始数据集的幅度谱作为训练目标,构建深度学习训练网络CED进行训练。
传统的CED是5层卷积层,同时网络的节点数比较大,与传统的CED网络不同,本发明对深度学习训练网络CED中的编码器和解码器进行了裁剪,编码器部分采用三个卷积层,其通道数分别为[32,32,64],核大小和步长分别为[(3,2),(3,2),(3,2)]和([(2,1),(2,1),(2,1)],解码器采用三个反卷积层,其通道数分别为[64,32,32],核大小和步长分别为[(3,2),(3,2),(3,2)]和([(2,1),(2,1),(2,1)];层数和节点数进行了裁剪,减轻网络模型复杂度,利于实时处理。
同时为了确保语音的实时性,避免延迟现象,该实施例中***当前的输出不会利用未来信息数据作为输入,若实际应用对实时性要求并不严苛,可以将未来信息数据作为输入。该网络模型结构上还加入扩展卷积用以增加感受野(Receptive Field),为了得到更快的收敛速度和更好的泛化能力,网络输出层采用指数线性单元(ELU)。在卷积神经网络中,感受野的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小,即特征图上的一个点对应输入图上的区域,
对于语音信息而言,上下文的关联性很重要,单独采用CED的网络结构无法有效利用上下文信息,而RNN(Recurrent Neural Network)网络内部的门控单元可以有效利用历史信息进行建模,GRU(Gated Recurrent Unit)作为一种特殊的RNN,可有效减少过拟合的风险,同时其参数量相比较于LSTM更少,
因此本文在编-解码器中加入两层GRU层,GRU层的节点数均为256,最后解码器的第三层反卷积层输出输出张量进行维度变换得到增益值gain,其维度为1*257,Adam优化器实现简单、适用性强,因此训练过程中采用Adam优化器,损失函数采用均方误差MSE(MeanSquared Error),学习率为0.0003,一般当损失函数越小训练的模型性能也会相对更好,但考虑训练周期,往往当损失函数值稳定在多个训练周期下都不再下降时结束训练,以收敛作为训练结束的目标;训练结束后得到的模型用于语音增强和端点检测。整体网络结构如图2所示。
S4.对待识别语料音频进行短时傅里叶变换,获得变换后的实部A、虚部B和幅度谱,
将时域信号转换成频域信号后,待识别语料音频频域信号的实部和虚部用于计算频域信号的幅度谱。
将待识别语料音频幅度谱作为网络模型的输入,通过模型输出增益值gain,将模型输出的增益值gain分别与实部A和虚部B相乘可得到语音增强后的频谱,通过短时傅立叶逆变换,得到时域信号。
一个优选实施方式为,通过增益值gain求取增益平均值,以增益平均值代替增益值代入后续步骤进行处理;
其中通过增益值gain求取增益平均值,
在国际制定的数字电话机的通信标准中,人声频率范围集中在300-3400Hz,但在采用模拟或数字麦克风的应用中,人声频率范围表现的要更宽泛,因此本实施例选取200-4000Hz频段的增益值进行计算,对应增益值频段的起始频点为frebin_start=6,截止频点为frebin_end=128。
为加强***的稳定性,对增益值进行平滑处理,平滑后的增益值为
smoothGainf=α* smoothGainf+(1-α) gainf
其中下表f表示频点,α为平滑因子,取α=0.92;
求取增益平均值
以求得的增益平均值替换增益值进行步骤S5;
S5.通过模型输出的增益值gain和制定的状态机机制进行语音端点检测。
上述具体实施例的流程如图2所示。
在复杂的环境中,***判别过程中的误判决以及目标语音中的轻音,是影响***稳定性的主要因素,因此为了增强***的稳定性,可通过制定状态机机制进行状态判断。
将语音端点检测过程中不同帧划分成4个状态, 定义START为语音开始状态, ON代表处于语音持续状态, END代表语音结束状态, IDEL为非语音状态。
通过一个循环缓存区statics_buf用来缓存M=20帧的语音增益值,实时运行过程中,第K个增益值依次覆盖第K-1个增益值,K的范围是2到M,最后第M帧缓存的值由当前帧的语音增益值覆盖。
状态机机制运行过程如下:
对循环缓存区的值通过不同的判断条件进行统计判断,本实施例中设置两个条件进行语音帧和非语音帧的判断,条件一为80%的增益值都大于语音增益门限thr_high=0.65;条件二为80%的增益值小于语音增益门限thr_low=0.1。
设置帧语音端点检测当前状态cur_state初始状态为IDEL状态,采用条件一进行判断,若不满足cur_state保持为IDEL状态,若满足,则cur_state切换为START状态;
当上一帧cur_state为START,表示此时处于语音段,后续需要语音判断何时结束,判断语音段和非语音段的条件不同,因此切换判断条件为条件二,若不满足条件二, 则切换状态cur_state为ON状态,若满足条件二, cur_state切换为END状态;
语音段的起点为语音端点检测当前状态为START的帧,终点为语音端点检测当前状态为END的帧,是否包含起点和终点,可根据检测需要决定。
当上一帧cur_state为NNVAD_END时,此时处于非语音段,后续需要判断语音何时开始,因此切换判断条件成条件一,若不满足条件一, cur_state保持为IDEL状态,若满足条件一,那cur_state为START状态。
通过实部虚部相乘增强频谱和端点检测持续进行,此时当获知语音的检测状态时,就可以判断当前语音段是否为语音,以方便语音识别等模块的有效运行,这里需要指出的是,状态机机制的方法理论上会存在M帧的延迟,因此在实际用于语音识别处理时,需对语音进行回退M帧处理。
前文所述的为本发明的各个优选实施例,各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提,各个优选实施方式都可以任意叠加组合使用,所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程,并非用以限制本发明的专利保护范围,本发明的专利保护范围仍然以其权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
Claims (2)
1.一种基于深度学习的语音端点检测方法,其特征在于,包括如下步骤:
S1.采集高信噪比的目标人声作为原始数据集,通过对原始数据集进行数据增广,构建训练集;高信噪比是指目标语音高于背景噪声分贝值10dB以上;
S2.对训练集和原始数据集语料进行短时傅里叶变换,计算幅度谱;
S3.构建初始深度学习训练网络进行训练,以训练集每一帧的幅度谱作为训练输入特征,以原始数据集的幅度谱作为训练目标;
所述深度学习训练网络包括编码器和解码器,二者之间连接有两层GRU层;训练完成后,得到最终深度学习训练网络模型;
利用所述最终深度学习训练网络模型对待识别语料音频进行语音状态识别的具体方式为:
S4.利用最终深度学习训练网络模型求取待识别语料音频的增益值和语音增强后的时域信号;
S5.通过模型输出的增益值和制定的状态机机制对语音增强后的时域信号进行语音端点检测;
所述编码器部分采用三个卷积层,解码器采用三个反卷积层;
步骤S5具体为:
定义四个状态,其中START代表语音开始状态, ON代表语音持续状态, END代表语音结束状态, IDEL代表非语音状态;
定义两个判断条件,条件一为EG%的增益值都大于语音增益高门限thr_high;条件二为EG%的增益值小于语音增益低门限thr_low;
EG表示设定的增益值百分比,语音增益高门限和语音增益低门限为设定的门限值;
端点检测过程如下:
从起始帧开始逐帧检测,设置帧语音端点检测当前状态cur_state的初始状态为IDEL状态,采用条件一进行判断,若不满足,则cur_state保持为IDEL状态,若满足,则cur_state切换为START状态;
当上一帧的帧语音端点检测当前状态cur_state为START状态,切换判断条件为条件二,若不满足条件二, 则切换状态cur_state为ON状态,若满足条件二, cur_state切换为END状态;
则语音段的起点为语音端点检测当前状态为START的帧,终点为语音端点检测当前状态为END的帧;
当上一帧的帧语音端点检测当前状态cur_state为END状态时,切换判断条件成条件一,若不满足条件一,cur_state保持为IDEL状态,若满足条件一,那cur_state为START状态,
设置一个循环缓存区缓存多帧的语音增益值,检测过程中,第K个增益值依次覆盖第K-1个增益值,第M帧缓存的值由当前帧的语音增益值覆盖,K是2到M的整数,M为缓存区长度。
2.如权利要求1所述的语音端点检测方法,其特征在于,S4步骤具体为:
S41.对待识别语料音频进行短时傅里叶变换,获得变换后的实部A、虚部B和幅度谱;
S42.将待识别语料音频幅度谱作为最终深度学习训练网络的输入,通过最终深度学习训练网络输出增益值gain;
S43.将输出的增益值gain分别与实部A和虚部B相乘得到语音增强后的频谱,通过短时傅立叶逆变换,得到增强后输出的时域信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210449438.2A CN114566152B (zh) | 2022-04-27 | 2022-04-27 | 一种基于深度学习的语音端点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210449438.2A CN114566152B (zh) | 2022-04-27 | 2022-04-27 | 一种基于深度学习的语音端点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114566152A CN114566152A (zh) | 2022-05-31 |
CN114566152B true CN114566152B (zh) | 2022-07-08 |
Family
ID=81720746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210449438.2A Active CN114566152B (zh) | 2022-04-27 | 2022-04-27 | 一种基于深度学习的语音端点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114566152B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115985347B (zh) * | 2023-02-22 | 2023-06-27 | 南方电网数字电网研究院有限公司 | 基于深度学习的语音端点检测方法、装置和计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102804261A (zh) * | 2009-10-19 | 2012-11-28 | 瑞典爱立信有限公司 | 用于语音编码器的方法和语音活动检测器 |
CN109065067A (zh) * | 2018-08-16 | 2018-12-21 | 福建星网智慧科技股份有限公司 | 一种基于神经网络模型的会议终端语音降噪方法 |
CN111028858A (zh) * | 2019-12-31 | 2020-04-17 | 云知声智能科技股份有限公司 | 一种人声起止时间检测方法及装置 |
CN111091833A (zh) * | 2019-12-09 | 2020-05-01 | 浙江工业大学 | 一种降低噪声影响的端点检测方法 |
CN112242147A (zh) * | 2020-10-14 | 2021-01-19 | 福建星网智慧科技有限公司 | 一种语音增益控制方法及计算机存储介质 |
CN114360561A (zh) * | 2021-12-07 | 2022-04-15 | 广东电力信息科技有限公司 | 一种基于深度神经网络技术的语音增强方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20045315A (fi) * | 2004-08-30 | 2006-03-01 | Nokia Corp | Ääniaktiivisuuden havaitseminen äänisignaalissa |
KR102460676B1 (ko) * | 2019-05-07 | 2022-10-31 | 한국전자통신연구원 | 밀집 연결된 하이브리드 뉴럴 네트워크를 이용한 음성 처리 장치 및 방법 |
-
2022
- 2022-04-27 CN CN202210449438.2A patent/CN114566152B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102804261A (zh) * | 2009-10-19 | 2012-11-28 | 瑞典爱立信有限公司 | 用于语音编码器的方法和语音活动检测器 |
CN109065067A (zh) * | 2018-08-16 | 2018-12-21 | 福建星网智慧科技股份有限公司 | 一种基于神经网络模型的会议终端语音降噪方法 |
CN111091833A (zh) * | 2019-12-09 | 2020-05-01 | 浙江工业大学 | 一种降低噪声影响的端点检测方法 |
CN111028858A (zh) * | 2019-12-31 | 2020-04-17 | 云知声智能科技股份有限公司 | 一种人声起止时间检测方法及装置 |
CN112242147A (zh) * | 2020-10-14 | 2021-01-19 | 福建星网智慧科技有限公司 | 一种语音增益控制方法及计算机存储介质 |
CN114360561A (zh) * | 2021-12-07 | 2022-04-15 | 广东电力信息科技有限公司 | 一种基于深度神经网络技术的语音增强方法 |
Non-Patent Citations (1)
Title |
---|
"On training targets for noise-robust voice activity detection";Sebastian Braun;《29th European Signal Processing Conference (EUSIPCO)》;20211231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114566152A (zh) | 2022-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8275609B2 (en) | Voice activity detection | |
CN107393550A (zh) | 语音处理方法及装置 | |
CN112735456B (zh) | 一种基于dnn-clstm网络的语音增强方法 | |
WO2016192410A1 (zh) | 一种音频信号增强方法和装置 | |
US9349384B2 (en) | Method and system for object-dependent adjustment of levels of audio objects | |
CN109147763B (zh) | 一种基于神经网络和逆熵加权的音视频关键词识别方法和装置 | |
CN103238183A (zh) | 噪音抑制装置 | |
CN112242147B (zh) | 一种语音增益控制方法及计算机存储介质 | |
CN110265065B (zh) | 一种构建语音端点检测模型的方法及语音端点检测*** | |
WO2004075167A2 (en) | Log-likelihood ratio method for detecting voice activity and apparatus | |
CN107331386B (zh) | 音频信号的端点检测方法、装置、处理***及计算机设备 | |
CN114566152B (zh) | 一种基于深度学习的语音端点检测方法 | |
CN112289337B (zh) | 一种滤除机器学习语音增强后的残留噪声的方法及装置 | |
CN110675888A (zh) | 一种基于RefineNet和评价损失的语音增强方法 | |
CN111341351B (zh) | 基于自注意力机制的语音活动检测方法、装置及存储介质 | |
CN111739562B (zh) | 一种基于数据选择性和高斯混合模型的语音活动检测方法 | |
EP2774147A1 (en) | Audio signal noise attenuation | |
CN112259117A (zh) | 一种目标声源锁定和提取的方法 | |
CN110600019A (zh) | 基于实时场景下语音信噪比预分级的卷积神经网络计算电路 | |
CN112102818B (zh) | 结合语音活性检测和滑动窗噪声估计的信噪比计算方法 | |
CN112614502B (zh) | 基于双lstm神经网络的回声消除方法 | |
CN107346658A (zh) | 混响抑制方法及装置 | |
CN113299308A (zh) | 一种语音增强方法、装置、电子设备及存储介质 | |
CN112151047B (zh) | 一种应用于语音数字信号的实时自动增益控制方法 | |
US20230402050A1 (en) | Speech Enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |