CN110648692B - 语音端点检测方法及*** - Google Patents
语音端点检测方法及*** Download PDFInfo
- Publication number
- CN110648692B CN110648692B CN201910918858.9A CN201910918858A CN110648692B CN 110648692 B CN110648692 B CN 110648692B CN 201910918858 A CN201910918858 A CN 201910918858A CN 110648692 B CN110648692 B CN 110648692B
- Authority
- CN
- China
- Prior art keywords
- voice
- arrival
- target
- audio signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 230000005236 sound signal Effects 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000001228 spectrum Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001755 vocal effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 6
- 230000002452 interceptive effect Effects 0.000 abstract description 4
- 230000001960 triggered effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 101100203822 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) msp-40 gene Proteins 0.000 description 8
- 101150010872 SPP2 gene Proteins 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 101100532584 Clostridium perfringens (strain 13 / Type A) sspC1 gene Proteins 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 101000730648 Homo sapiens Phospholipase A-2-activating protein Proteins 0.000 description 4
- 102100032572 Phospholipase A-2-activating protein Human genes 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 101100483416 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) UBC6 gene Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000037433 frameshift Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 101150063780 spp1 gene Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开一种语音端点检测方法及***，其中方法包括：对麦克风阵列所采集的音频信号进行语音增强；根据语音增强后的音频信号确定多个波达方向；判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。本申请实施例提供了一种新的VAD架构来解决干扰人声误触发VAD的问题，即考虑语音和噪声的分类，又考虑多通道语音信号在阵列上表现出来的方向信息，很好的区分目标人声和干扰人声以及环境噪声。
Description
技术领域
本申请涉及语音识别技术领域，尤其涉及一种语音端点检测方法及***。
背景技术
远场语音交互越来越普及，带有语音交互功能的设备快速占据市场，语音交互很大程度上方面了人们的生活。远场语音交互中非常重要的设备就是麦克风阵列，特别是在吵杂的环境中，麦克风阵列相对单个麦克具有较大的优势。业界大部分公司应用麦克风阵列去获得高信噪比的目标语音信号，然后送给语音识别引擎。现在业内主要使用的VAD包括两种架构，一种是开源工具kaidi中通过DNN训练模型来分类，判断语音和非语音帧的架构；另外一种开源工具webrtc中通过GMM计算每个频带噪声和语音的特征做VAD的判断。
在识别过程中需要通过语音活动端点检测(VAD)模块，业内所有的语音活动端点检测主要是采用神经网络训练的方法，从而区分语音和环境噪声，但是并不能够很好解决干扰人声的误判。由于麦克风阵列进行语音增强只是提升信干比和信噪比，而不是将环境噪声和干扰完全消除，主要考虑到语音失真和可懂度，业内不采用非线性算法去完全去除噪声和干扰，这就造成了现有的神经网络VAD在多人说话的嘈杂环境中性能较差。
发明内容
本申请实施例提供一种语音端点检测方法及***，用于至少解决上述技术问题之一。
第一方面，本申请实施例提供一种语音端点检测方法，包括：
对麦克风阵列所采集的音频信号进行语音增强；
根据语音增强后的音频信号确定多个波达方向；
判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；
将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；
根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。
第二方面，本申请实施例提供一种语音端点检测***，包括：
信号增强模块，用于对麦克风阵列所采集的音频信号进行语音增强；
波达方向确定模块，用于根据语音增强后的音频信号确定多个波达方向；
第一判断模块，用于判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；
第二判断模块，用于将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；
目标语音信号确定模块，用于根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。
第三方面，本申请实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本申请上述任一项语音端点检测方法。
第四方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述任一项语音端点检测方法。
第五方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项语音端点检测方法。
本申请实施例的有益效果在于：提供了一种新的VAD架构来解决干扰人声误触发VAD的问题，即考虑语音和噪声的分类，又考虑多通道语音信号在阵列上表现出来的方向信息，很好的区分目标人声和干扰人声以及环境噪声。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的语音端点检测方法的一实施例的流程图；
图2为本申请的语音端点检测方法的另一实施例的流程图；
图3为本申请的语音端点检测方法的又一实施例的流程图；
图4为本申请的语音端点检测***的一实施例的原理框图；
图5为本申请的语音端点检测***中的第二判断模块的一实施例的原理框图；
图6为本申请的语音端点检测***中的波达方向确定模块的一实施例的原理框图；
图7为本申请的语音端点检测***的另一实施例的原理框图；
图8为本申请的电子设备的一实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
发明人在实现本申请的过程中尝试进行语音增强来完全去除干扰人声，这种方案造成VAD性能大幅下降，如果采用数据适配的方法重新训练VAD，这种方案能够在一定程度上提升VAD的准确率，但是对识别性能影响较大，因为识别率对语音失真程度比较相关。
业内的VAD，主要采用麦克风阵列进行语音增强，消除干扰人声，假设VAD的输入是干净的目标语音信号，实际情况是高信干比的目标语音是很难获得的，特别在高混响高噪声的环境中。业内很多研究人员致力于语音增强的研究，但是并不去考虑研究具有空间区分性的VAD方法。
如图1所示，本申请的实施例提供一种语音端点检测方法，包括：
S10、对麦克风阵列所采集的音频信号进行语音增强；
S20、根据语音增强后的音频信号确定多个波达方向；
S30、判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；
S40、将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；
S50、根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。
本申请实施例提供了一种新的VAD架构来解决干扰人声误触发VAD的问题，VAD的最终状态由深度神经网络语音活动端点检测(DNN_VAD)和波束语音活动端点检测(BEAM_VAD)联合决定。即考虑语音和噪声的分类，又考虑多通道语音信号在阵列上表现出来的方向信息，很好的区分目标人声和干扰人声以及环境噪声。
DNN_VAD在近场语音交互中比较成熟，在远场语音交互中性能有待改善，本申请通过使用远场语音数据进行训练改善了DNN_VAD的性能。但是在远场声学环境比较恶劣的情况下，单一的DNN_VAD仍然难以获得满意性能。本申请通过DNN_VAD和BEAM_VAD结合的方法，改善上述性能。
如图2所示，为本申请的语音端点检测方法的另一实施例的流程图，在该实施例中，所述多个波达方向可分为多个方向组，每个方向组中包含多个波达方向。如图2所示，所述根据语音增强后的音频信号确定多个波达方向包括：
S21、确定对应于语音增强后的音频信号中的多帧音频信号的多个空间能量谱；
S22、选择每个所述空间能量谱中能量值从大到小排序在前的多个能量值所对应的多个波达方向，以确定所述多个方向组。
本申请实施例中BEAM_VAD主要考虑声源通过麦克阵列具有的方向性，判断目标方向上是否存在信号源，另外通过考虑语音信号的连续性，确保BEAM_VAD的状态连续稳定，有助于提升语音端点检测的准确性与可靠性。
在一些实施例中，所述判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果包括：
分别确定所述多个方向组中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
如图3所示，为本申请的语音端点检测方法的另一实施例的流程图，在该实施例中，所述将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果包括：
S41、从语音增强后的音频信号中选择一帧作为目标帧音频信号；
S42、选出所述目标帧音频信号的前面多帧音频信号和后面多帧音频信号；
S43、分别将所述目标帧音频信号、所述前面多帧音频信号和所述后面多帧音频信号输入至预先训练好的深度神经网络得到对应的多个语音存在概率值；
S44、判断所述多个语音存在概率值的均值是否大于设定门限阈值，并生成第二判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
本实施例中采用预先训练好的深度神经网络分别对多帧音频信号进行处理得到相应的多个语音存在概率值，并且对多个概率值取平均后与设定门限阈值进行比较以判断是否存在目标语音信号，从而避免了单独一帧信号处理存在的偶然性误差导致误判断，提升了判断的准确性与可靠性。
本申请专利采用DNN_VAD和BEAM_VAD联合的方法，即考虑语音和噪声的分类，又考虑多通道语音信号在阵列上表现出来的方向信息。具有步骤包括：
步骤1：麦克风阵列采集数据，对原始数据进行分帧加窗，帧长32ms，帧移16ms。
步骤2：对原始数据进行自适应滤波，获得增强之后的音频，比如在地铁购票设备中，针对线性麦克风阵列法线方向进行语音增强(方向的选择是因为地铁购票机等带屏设备，用户使用时主要位于麦克风阵列的法线方向)，业界主要采用GSC框架进行波束形成。
步骤3：采用语音增强后的数据使用GCC_path算法计算DOA(Direction ofArrival，到达方向)，一般选空间谱能量最大的两个值对应的位置作为DOA1、DOA2。
步骤4:如果DOA1、DOA2中至少一个数值包含在设定的目标人声方位区域内(目标人声方向区域可根据具体的产品和应用场景进行设定，例如，购票机设定为了90度方向)，则目标信号的存在概率判断spp1为1。
步骤5:为了增加算法的鲁棒性，连续判断8帧信号的ssp取值。如果有1帧信号的ssp＝1，判定BEAM_VAD最终输出状态为1，语音信号具有连续性，为确保语音信息不丢失，上述状态BEAM_VAD输出为1；如果连续8帧信号的ssp＝0，判定BEAM_VAD最终输出状态为0。
步骤6：采用单帧波束形成之后的音频信号，提取24维fbank特征。
步骤7：输入预先训练好的DNN网络，DNN网络作为分类器，计算当前帧属于语音的存在概率spp2。
步骤8：设置buffer_ssp2长度为7，buffer_spp2中第4个位置保存当前帧的语音存在概率，向前看3帧，向后看3帧。示例性地，DNN_VAD主要需要考虑延迟和语音的持续时间，buffer_ssp2长度过大所带来的延迟会影响用户的体验。另外过短，会很难表征语音信号的信息，影响判断的准确率。通过大量实验，语音信号帧长1024，选取buffer_ssp2的长度为7。
步骤9：DNN_VAD基于buffer_spp2进行决策，对buffer_spp2进行求平均，如果大于设定门限值，DNN_VAD的输出状态为1，如果小于设定门限值，DNN_VAD的输出状态为0。其中，设定门限阈值根据DNN网络训练之后，对正例和反例的统计，根据统计结果确定门限阈值0.35。
步骤10:DNN_VAD和BEAM_VAD结果融合，DNN_VAD和BEAM_VAD取逻辑与，输出最终的VAD状态。
本申请专利在语音交互中尤其重要，特别是远场嘈杂环境中的多轮交互，比如地铁售票机、商场电视等设备上表现出极大的优势。具有空间信息的VAD，确保语音交互不受外部人声干扰，专注于目标说话人的沟通，提升用户体验。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
如图4所示，本申请的实施例还提供一种语音端点检测***400，包括：
信号增强模块410，用于对麦克风阵列所采集的音频信号进行语音增强；
波达方向确定模块420，用于根据语音增强后的音频信号确定多个波达方向；
第一判断模块430，用于判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；
第二判断模块440，用于将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；
目标语音信号确定模块450，用于根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。
本申请实施例提供了一种新的VAD架构来解决干扰人声误触发VAD的问题，VAD的最终状态由深度神经网络语音活动端点检测(DNN_VAD)和波束语音活动端点检测(BEAM_VAD)联合决定。即考虑语音和噪声的分类，又考虑多通道语音信号在阵列上表现出来的方向信息，很好的区分目标人声和干扰人声以及环境噪声。
在一些实施例中，所述多个波达方向可分为多个方向组，每个方向组中包含多个波达方向；如图5所示，在该实施例中，所述波达方向确定模块420包括：
空间能量谱确定单元421，用于确定对应于语音增强后的音频信号中的多帧音频信号的多个空间能量谱；
波达方向确定单元422，用于选择每个所述空间能量谱中能量值从大到小排序在前的多个能量值所对应的多个波达方向，以确定所述多个方向组。
在一些实施例中，所述判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果包括：
分别确定所述多个方向组中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
如图6所示，在一些实施例中本申请的语音端点检测***中的第二判断模块440包括：
第一信号帧选择单元441，用于从语音增强后的音频信号中选择一帧作为目标帧音频信号；
第二信号帧选择单元442，用于选出所述目标帧音频信号的前面多帧音频信号和后面多帧音频信号；
概率值计算单元443，用于分别将所述目标帧音频信号、所述前面多帧音频信号和所述后面多帧音频信号输入至预先训练好的深度神经网络得到对应的多个语音存在概率值；
判断单元444，用于判断所述多个语音存在概率值的均值是否大于设定门限阈值，并生成第二判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
如图7所示，为本申请的语音端点检测***的另一实施例的原理框图，在该实施例中语音端点检测***包括：
数据采集预处理模块，用于对麦克风阵列所采集的音频数据进行分帧加窗处理，帧长32ms，帧移16ms。
波束形成模块，用于数据采集预处理模块的输出数据进行自适应滤波，获得增强之后的音频，例如，在地铁购票设备中，针对线性麦克风阵列法线方向进行语音增强。
DOA估计模块，用于采用GCC_path算法对增强后的数据处理以计算DOA，一般选空间谱能量最大的两个值对应的位置作为DOA1、DOA2。
目标信号判断模块，用于当DOA1、DOA2中至少一个数值包含在设定的目标人声方位区域内时，则判断目标信号存在概率spp1为1。
波束语音活动端点检测状态判断模块，用于判断语音端点是否存在，为了增加算法的鲁棒性，连续判断8帧信号的ssp取值。如果有1帧信号的ssp＝1，判定BEAM_VAD最终输出状态为1，语音信号具有连续性，为确保语音信息不丢失，上述状态BEAM_VAD输出为1；如果连续8帧信号的ssp＝0，判定BEAM_VAD最终输出状态为0。
特征提取模块，用于采用单帧波束形成之后的音频信号，提取24维fbank特征。
深度神经网络解码模块，用于将所提取的特征输入预先训练好的DNN网络，DNN网络作为分类器，计算当前帧属于语音的存在概率spp2。
状态缓存模块，用于设置buffer_ssp2长度为7，buffer_spp2中第4个位置保存当前帧的语音存在概率，向前看3帧，向后看3帧。示例性地，DNN_VAD主要需要考虑延迟和语音的持续时间，buffer_ssp2长度过大所带来的延迟会影响用户的体验。另外过短，会很难表征语音信号的信息，影响判断的准确率。通过大量实验，语音信号帧长1024，选取buffer_ssp2的长度为7。
深度神经网络语音活动端点检测状态判断模块，用于判断语音端点是否存在。DNN_VAD基于buffer_spp2进行决策，对buffer_spp2进行求平均，如果大于设定门限值，DNN_VAD的输出状态为1，如果小于设定门限值，DNN_VAD的输出状态为0。其中，设定门限阈值根据DNN网络训练之后，对正例和反例的统计，根据统计结果确定门限阈值0.35。
语音活动端点检测联合判断模块，用于融合DNN_VAD和BEAM_VAD的结果，DNN_VAD和BEAM_VAD取逻辑与，输出最终的VAD状态。
在一些实施例中，本申请实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本申请上述任一项语音端点检测方法。
在一些实施例中，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项语音端点检测方法。
在一些实施例中，本申请实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行语音端点检测方法。
在一些实施例中，本申请实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现语音端点检测方法。
上述本申请实施例的语音端点检测***可用于执行本申请实施例的语音端点检测方法，并相应的达到上述本申请实施例的实现语音端点检测方法所达到的技术效果，这里不再赘述。本申请实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
图8是本申请另一实施例提供的执行语音端点检测方法的电子设备的硬件结构示意图，如图8所示，该设备包括：一个或多个处理器810以及存储器820，图8中以一个处理器810为例。
执行语音端点检测方法的设备还可以包括：输入装置830和输出装置840。
处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器820作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的语音端点检测方法对应的程序指令/模块。处理器810通过运行存储在存储器820中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例语音端点检测方法。
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据语音端点检测装置的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至语音端点检测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可接收输入的数字或字符信息，以及产生与语音端点检测装置的用户设置以及功能控制有关的信号。输出装置840可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器820中，当被所述一个或者多个处理器810执行时，执行上述任意方法实施例中的语音端点检测方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种语音端点检测方法，包括：
对麦克风阵列所采集的音频信号进行语音增强；
根据语音增强后的音频信号确定多个波达方向；
判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；所述目标人声方位区域根据具体的产品和应用场景进行设定；
将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；
根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。
2.根据权利要求1所述的方法，其中，所述多个波达方向可分为多个方向组，每个方向组中包含多个波达方向；
所述根据语音增强后的音频信号确定多个波达方向包括：
确定对应于语音增强后的音频信号中的多帧音频信号的多个空间能量谱；
选择每个所述空间能量谱中能量值从大到小排序在前的多个能量值所对应的多个波达方向，以确定所述多个方向组。
3.根据权利要求2所述的方法，其中，所述判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果包括：
分别确定所述多个方向组中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
4.根据权利要求1所述的方法，其中，所述将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果包括：
从语音增强后的音频信号中选择一帧作为目标帧音频信号；
选出所述目标帧音频信号的前面多帧音频信号和后面多帧音频信号；
分别将所述目标帧音频信号、所述前面多帧音频信号和所述后面多帧音频信号输入至预先训练好的深度神经网络得到对应的多个语音存在概率值；
判断所述多个语音存在概率值的均值是否大于设定门限阈值，并生成第二判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
5.一种语音端点检测***，包括：
信号增强模块，用于对麦克风阵列所采集的音频信号进行语音增强；
波达方向确定模块，用于根据语音增强后的音频信号确定多个波达方向；
第一判断模块，用于判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果；所述目标人声方位区域根据具体的产品和应用场景进行设定；
第二判断模块，用于将语音增强后的音频信号输入至预先训练的深度神经网络以判断是否存在目标语音信号，并生成第二判断结果；
目标语音信号确定模块，用于根据所述第一判断结果和所述第二判断结果确定是否存在目标语音信号。
6.根据权利要求5所述的***，其中，所述多个波达方向可分为多个方向组，每个方向组中包含多个波达方向；
所述波达方向确定模块包括：
空间能量谱确定单元，用于确定对应于语音增强后的音频信号中的多帧音频信号的多个空间能量谱；
波达方向确定单元，用于选择每个所述空间能量谱中能量值从大到小排序在前的多个能量值所对应的多个波达方向，以确定所述多个方向组。
7.根据权利要求6所述的***，其中，所述判断所述多个波达方向中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果包括：
分别确定所述多个方向组中是否有存在于目标人声方位区域内的波达方向，并生成第一判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
8.根据权利要求5所述的***，其中，所述第二判断模块包括：
第一信号帧选择单元，用于从语音增强后的音频信号中选择一帧作为目标帧音频信号；
第二信号帧选择单元，用于选出所述目标帧音频信号的前面多帧音频信号和后面多帧音频信号；
概率值计算单元，用于分别将所述目标帧音频信号、所述前面多帧音频信号和所述后面多帧音频信号输入至预先训练好的深度神经网络得到对应的多个语音存在概率值；
判断单元，用于判断所述多个语音存在概率值的均值是否大于设定门限阈值，并生成第二判断结果，其中，如果是则判定目标语音信号存在，否则判定目标语音信号不存在。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910918858.9A CN110648692B (zh) | 2019-09-26 | 2019-09-26 | 语音端点检测方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910918858.9A CN110648692B (zh) | 2019-09-26 | 2019-09-26 | 语音端点检测方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110648692A CN110648692A (zh) | 2020-01-03 |
| CN110648692B true CN110648692B (zh) | 2022-04-12 |
Family
ID=68992902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910918858.9A Active CN110648692B (zh) | 2019-09-26 | 2019-09-26 | 语音端点检测方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110648692B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112750461B (zh) * | 2020-02-26 | 2023-08-01 | 腾讯科技（深圳）有限公司 | 语音通信优化方法、装置、电子设备及可读存储介质 |
| CN111653287A (zh) * | 2020-06-04 | 2020-09-11 | 重庆邮电大学 | 基于dnn和频带内互相关系数的单通道语音增强算法 |
| CN111863036B (zh) * | 2020-07-20 | 2022-03-01 | 北京百度网讯科技有限公司 | 语音检测的方法和装置 |
| CN111883160B (zh) * | 2020-08-07 | 2024-04-16 | 上海茂声智能科技有限公司 | 一种定向麦克风阵列拾音降噪方法及装置 |
| CN112489692A (zh) * | 2020-11-03 | 2021-03-12 | 北京捷通华声科技股份有限公司 | 语音端点检测方法和装置 |
| CN112735482B (zh) * | 2020-12-04 | 2024-02-13 | 珠海亿智电子科技有限公司 | 基于联合深度神经网络的端点检测方法及*** |
| CN113066500B (zh) * | 2021-03-30 | 2023-05-23 | 联想(北京)有限公司 | 声音采集方法、装置及设备和存储介质 |
| CN113113001A (zh) * | 2021-04-20 | 2021-07-13 | 深圳市友杰智新科技有限公司 | 人声激活检测方法、装置、计算机设备和存储介质 |
| CN113257269A (zh) * | 2021-04-21 | 2021-08-13 | 瑞芯微电子股份有限公司 | 一种基于深度学习的波束形成方法和存储设备 |
| US11805360B2 (en) * | 2021-07-21 | 2023-10-31 | Qualcomm Incorporated | Noise suppression using tandem networks |
| CN113628638B (zh) * | 2021-07-30 | 2024-05-28 | 深圳海翼智新科技有限公司 | 音频处理方法、装置、设备及存储介质 |
| CN114554353B (zh) * | 2022-02-24 | 2024-01-16 | 北京小米移动软件有限公司 | 音频处理方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103137139A (zh) * | 2008-06-30 | 2013-06-05 | 杜比实验室特许公司 | 多麦克风语音活动检测器 |
| CN103426440A (zh) * | 2013-08-22 | 2013-12-04 | 厦门大学 | 利用能量谱熵空间信息的语音端点检测装置及其检测方法 |
| CN105532017A (zh) * | 2013-03-12 | 2016-04-27 | 谷歌技术控股有限责任公司 | 用于波束形成以获得语音和噪声信号的装置和方法 |
| CN107527630A (zh) * | 2017-09-22 | 2017-12-29 | 百度在线网络技术（北京）有限公司 | 语音端点检测方法、装置和计算机设备 |
| US10134425B1 (en) * | 2015-06-29 | 2018-11-20 | Amazon Technologies, Inc. | Direction-based speech endpointing |
| CN108962226A (zh) * | 2018-07-18 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 用于检测语音的端点的方法和装置 |
| CN110047519A (zh) * | 2019-04-16 | 2019-07-23 | 广州大学 | 一种语音端点检测方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2379148A (en) * | 2001-08-21 | 2003-02-26 | Mitel Knowledge Corp | Voice activity detection |
-
2019
- 2019-09-26 CN CN201910918858.9A patent/CN110648692B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103137139A (zh) * | 2008-06-30 | 2013-06-05 | 杜比实验室特许公司 | 多麦克风语音活动检测器 |
| CN105532017A (zh) * | 2013-03-12 | 2016-04-27 | 谷歌技术控股有限责任公司 | 用于波束形成以获得语音和噪声信号的装置和方法 |
| CN103426440A (zh) * | 2013-08-22 | 2013-12-04 | 厦门大学 | 利用能量谱熵空间信息的语音端点检测装置及其检测方法 |
| US10134425B1 (en) * | 2015-06-29 | 2018-11-20 | Amazon Technologies, Inc. | Direction-based speech endpointing |
| CN107527630A (zh) * | 2017-09-22 | 2017-12-29 | 百度在线网络技术（北京）有限公司 | 语音端点检测方法、装置和计算机设备 |
| CN108962226A (zh) * | 2018-07-18 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 用于检测语音的端点的方法和装置 |
| CN110047519A (zh) * | 2019-04-16 | 2019-07-23 | 广州大学 | 一种语音端点检测方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110648692A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110648692B (zh) | 语音端点检测方法及*** | |
| CN110600017B (zh) | 语音处理模型的训练方法、语音识别方法、***及装置 | |
| CN108899044B (zh) | 语音信号处理方法及装置 | |
| CN110136749B (zh) | 说话人相关的端到端语音端点检测方法和装置 | |
| CN108922553B (zh) | 用于音箱设备的波达方向估计方法及*** | |
| CN110473539B (zh) | 提升语音唤醒性能的方法和装置 | |
| CN110956957B (zh) | 语音增强模型的训练方法及*** | |
| US9008329B1 (en) | Noise reduction using multi-feature cluster tracker | |
| US7383178B2 (en) | System and method for speech processing using independent component analysis under stability constraints | |
| CN109473118B (zh) | 双通道语音增强方法及装置 | |
| CN109346062B (zh) | 语音端点检测方法及装置 | |
| CN110400572B (zh) | 音频增强方法及*** | |
| CN103151039A (zh) | 一种基于向量机svm的说话者年龄段识别方法 | |
| WO2013040414A1 (en) | Mobile device context information using speech detection | |
| CN110827858B (zh) | 语音端点检测方法及*** | |
| CN110600059A (zh) | 声学事件检测方法、装置、电子设备及存储介质 | |
| CN112562742B (zh) | 语音处理方法和装置 | |
| CN112185408B (zh) | 音频降噪方法、装置、电子设备以及存储介质 | |
| CN113823323A (zh) | 一种基于卷积神经网络的音频处理方法、装置及相关设备 | |
| CN111816216A (zh) | 语音活性检测方法和装置 | |
| CN110890104B (zh) | 语音端点检测方法及*** | |
| CN114120984A (zh) | 语音交互方法、电子设备和存储介质 | |
| CN110197663B (zh) | 一种控制方法、装置及电子设备 | |
| CN112614506B (zh) | 语音激活检测方法和装置 | |
| CN114333912B (zh) | 语音激活检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant after: Sipic Technology Co.,Ltd. Address before: 215123 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou City, Jiangsu Province Applicant before: AI SPEECH Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |