CN1151490C - 用于语音识别的高精度高分辨率基频提取方法 - Google Patents

Abstract

用于语音识别的高精度高分辨率基频提取方法是一种将频域、时域分析以及动态规划(DP)相结合的基频提取方法。主要特点是：首先对语音信号在频域上进行FFT变换，再对其进行谐波分析，然后通过峰值检测，选若干个基频的候选，在时域上对这些候选基频用自相关系数评测，再用动态规划算法不定长回溯综合频域、时域的分析结果以及基频变化量确定一条最优的基频轮廓线。为保证基频提取的分辨率，采用了降采样率、插值等方法。

Description

用于语音识别的高精度高分辨率基频提取方法

技术领域

本发明提取了一种将频域、时域分析以及动态规划(DP)相结合的基频提取方法，属信号处理及语音识别领域。

背景技术

目前，在连续语音条件下，抽取可靠的基频变化曲线是汉语声调识别与建模的基础。但基频提取的困难主要在于，受声道共振峰和噪音等因素的影响，有时在正确基频的倍频和半频值有比基频更明显的特征(如相应峰值较大)。传统的方法一般单独利用时域或频域进行基频特征提取，而且在所有时间点只提取单一的一个基频值作为后续处理如中值平滑的基础。这样仅用频域或时域的一种方法，和仅仅从一个极端的标准(如仅取某一最大的峰值)来提取基频常常出现一些错误，造成得到的基频轨迹有明显不连续的变化，这显然是与事实不符的。如：J.Sundberg1979年发表在J.of Phonetics上的试验结果表明基频的变化率在大约1％/ms的范围内。对于基频的明显不连续的变化，可以用传统的DP(动态规划)方法加以一定的弥补，但传统的DP算法必须处理完一整段语音才能输出基频轨迹，这种延迟在实时的语音识别***中是很难被接受的，所有在其它一些DP算法的应用中，都采用定长回溯的方法解决这个问题。

基频提取的主要问题在于：

1.在频域上，语音信号经过FFT(快速傅利叶变换)得到的频谱，在F₀/2，F₀，2F₀，3F₀...处经常有较大的峰出现(F₀表示正确的基频)，如图2所示，一浊音帧经FFT运算后得到的谱，其在F₀，2F₀，3F₀处有明显的峰，但基频F₀处的峰值却显然没有2F₀处高。如有的算法仅仅把最大峰对应的频率作为基频；或者以某种方法提取出多个峰，并计算这些峰值之间的距离平均以估算基频。但有时某些峰值并不十分明显，甚至会出现“基音缺失”(missing fundamental)的现象，这给传统的用频谱分析做基频检测的方法造成了很大的困难。

2.在时域上，一种有代表性的基频提取方法是短时自相关函数法。短时自相关函数的计算公式为：

$R\left[m\right]=\frac{1}{N-m}\underset{i=0}{\overset{N-m-1}{\mathrm{\Σ}}}{x}_i{x}_i+m---\left(1\right)$

其中x_i表示一帧里第i个采样点值，N表示每帧总采样点个数，R[m]表示周期为m个采样点时的自相关值。根据自相关函数的性质，周期性信号的自相关函数也是周期性的，而且与语音信号的周期相同，一般来说，如果T₀代表音调周期(T₀＝1/F₀)，除了R[0]以外，T₀处的峰值最大。图4给出了一浊音帧的自相关曲线，可以看到，在T₀，2T₀，3T₀处有较大的峰值，但T₀处的峰值高度和2T₀，3T₀很接近。所以，检测自相关函数的最大峰可以作为估计基频的一种方法，但和上面的情况类似，在T₀/2，2T₀、3T₀......附近常常有较大的峰值，而且有时在这些峰中出现最大峰。这给该算法带来一定的局限性。

另外，分辨率和计算量也给基频的实时提取造成了一定的困难。

例如在采用FFT频谱分析的方法中，基频提取的分辨率与FFT计算的点数成正比，而其计算量是随之呈指数增长的，这就导致不可能用太多点数的FFT计算；在全部有效频域范围内(指人类语音的基频范围)计算自相关以搜索较大值需要大量的乘法运算，是十分耗时的，不太适合用于需要实时处理的语音识别***中；DP算法的候选值个数也影响DP的决策速度，如果将有效频域范围内的所有基频均作为候选，也势必大大加重决策的负担。

发明内容

本发明的目的在于：提出一种新的基频提取方法。该方法的基本思想应是：先对语音信号在频域上进行FFT变换，再对其进行谐波分析，然后通过峰值检测，选若干个基频的候选，在时域上对这些候选基频用自相关系数评测，再用动态规划算法确定一条最优的基频轨迹。

本发明的技术要点在于：一种语音识别用高精度高分辨率基频提取方法结合时域与频域的基频分析，抽取可能的几个基频候选，并采用一种自相关系数、频谱分析结果以及基频变化量相结合的目标函数用动态规划算法进行搜索，在进行自相关计算前，根据语音识别用的频谱分析结果，利用FFT谐波分析法，对语音的基频范围进行初步的估计，降低自相关计算的范围，并且对基频提取精度不产生影响；谐波分析法的特征包括降采样率、预加重和加窗、FFT计算及为了提高分辨率进行二次Spline插值等步骤。

1.FFT求得的频谱采用谐波分析的方法，首先对于有效的基频范围的每一个基频计算若干个谐波的累加和。如果用x_(i)表示一帧的语音信号，用X(f)表示其FFT变换，S(f)表示得到的功率谱，即：

        S(f)＝|X(f)|²                 (2)

那么谐波累加的结果为：

$H\left(f\right)=\underset{n=1}{\overset{\mathrm{HN}}{\mathrm{\Σ}}}{h}_{n}S\left(\mathrm{nf}\right)---\left(3\right)$

HN表示谐波的个数，h_n是第n个谐波的权。本方法中没有对功率谱进行对数Log运算，也没有将线性频域转化到对数频域，即求Log(F₀)，这在一定程度上减少了计算量。然后再从谐波分析的结果H(f)中通过线性搜索选出前几名最大的峰，(设P₁，P₂，...P_PN表示这几个峰值)，以相应的频率作为基频的候选值。同时计算每一峰值的相对最大峰P_max的大小作为后面DP算法的评分参数H_per，即：

$H_{\mathrm{per}}\left(i\right)=P_i/P_{\max },i=1..\mathrm{PN}---\left(4\right)$

谐波分析基频峰值检测的实例如图3，图3给出了一浊音帧的谐波累加图，经过谐波计算，在F₀处有明显的最大峰，连同另外还有其它的几个峰(用圆圈表示)，都作为基频的候选。

2.在时域上，对频域得到的基频候选计算自相关值{R[i]}，其结果用R[0]进行了归一化，即自相关系数：R_per(i)＝R[i]/R[0]。如上所述，浊音(voiced)帧的自相关系数的峰值比较大，与1比较接近，如图4所示，而没有基频的非浊音(unvoiced)帧自相关的峰值都很低如图5所示，所以自相关系数可以作为清浊音判别的依据，能过滤掉一些明显的非浊音帧。利用自相关系数，对频域得到的有限的基频候选进行打分和筛选，既降低了自相关的计算量和后续DP算法的计算量，同时也使得用DP算法选择基频时可以综合频域和时域的分析结果，更加合理。

3.动态规划算法是一种广泛使用的最优化算法。它把多阶段决策过程化为多个单阶段决策的子过程，使计算简化。每次决策对所有的可能路径依据得分函数分别打分，根据得分的大小对路径进行裁减，最后输出得分最优(最大或最小)的路径。本DP算法每次处理一帧的基频候选，对原有的的基频路径进行延拓，然后对每一条路径打分，保留若干得分最高的。得分公式是：

Score(i)＝max{Score(i-1)-D(i，j)}+aR_per(i)+bH_per(i)      (5)

其中Score(i)表示该基频路径在第i帧的得分，a，b为表示R_per(i)和H_per(i)权重的系数，D(i，j)表示第i帧的基频p_i与第i-1帧的第j个基频候选p_j的距离

D(i，j)＝2*|p_i-p_j|/(p_i+p_j)

本方法采用的得分函数考虑了三方面的因素：基频变化的连续性、自相关系数累加值∑R_per(i)最大、谐波累加相对峰值的累加值∑H_per(i)最大。

这三个方面都是基频判别的重要依据。后两个因素在前面已经提到过。

其中基频变化的连续性是考虑到人类发音的基频轨迹不可能产生突变的原理，对可能的基频路径打分。

本算法根据非浊音没有明显基频的特点，采用了不定长回溯方法。具体方法如下：该DP算法的以连续的浊音帧的第一帧开始，以连续浊音帧的最后一帧做结束，进行动态不定长的局部回溯。因为在非浊音帧提出的基频是没有意义的，基频的连续性在进入浊音帧后也无法体现。如果在全局内进行动态规划，则势必加入过多的干扰分数，使基频轨迹发生随机偏移，有时会严重影响DP算法的效果。本方法中连续浊音帧的判断依据过零率检测和自相关系数与谐波累加相对峰值，根据统计结果选取了有较好区分度的阈值，经过阈值过滤后不存在基频候选的帧被判断为非浊音，不参与DP算法求基频轨迹。这样裁减掉了大部分没有基频的非浊音帧，大大降低了它们对用DP算法提取基频的影响，减少了错误；同时既保证了基频轨迹的连续性，也大大减少了DP算法的延迟。被包括进来的少数非浊音帧不会对DP算法有大的影响；少数没有被包括进来的浊音帧可以在连线中得到很好的补偿。

4.其它的措施。

(a)过零率检测。如上所述，为了提高浊音和非浊音的区分率以及提高基频提取的速度，对语音信号首先进行了过零率检测。预先设定一个较大的阈值，过零率超过该值的被判定为非浊音，不进行基频提取。否则用下面提到的的FFT/DP算法提取基频。阈值设的较大的原因是可以保证浊音不被过滤掉。为了减少波形偏移的影响，过零率的参考值不是零，而是一帧数据的均值。

(b)降采样率和插值。为提高降低基频提取精度，对进行FFT变换之前的语音信号进行了降采样率处理，对由FFT得到的频率谱进行了插值。设原始采样率为SR，把采样率降低为原来的1/RDC后，进行FFTLen点的FFT变换，得到的功率谱再用Inpl_N点插值(即：每相邻量个FFT点间插Inpl_N-1个点)，那么得到的基频提取分辨率就是：

$\frac{\mathrm{SR}}{\mathrm{RDC}*\mathrm{FFTLen}*\mathrm{Inpl}\_N}---\left(7\right)$

在本实施例子中，原始信号采样率SR＝16000Hz，降低为1/4，即：RDC＝4，FFT变换点数为FFTLen＝512，插值Inpl_N＝20点。这样提取分辨率就是0.39Hz。而对于每帧384个采样点的自相关函数提取法，提取分辨率为16000/N²(N为信号周期对应的采样点)，即大约从15Hz到0.4Hz，显然其在基频范围内具有足够高的分辨率。

采用上述发明的优点在于：结合时域和频域基频提取这两种方法，能进行有效的互补：通过频域处理按照谐波和的大小确定基频候选，中间没有门限等人为设置，可以减少计算的不确定性量；在动态规划函数上，同时考虑了时域自相关和频域谐波和这两个与基频密切相关的重要指标，使之最大，保证了基频的连续性和可靠性；而不定长回溯则能减少语音识别***的理论延时，这对实时性要求比较强的如电话语音识别等非常重要。

为了比较本发明的有效性，从声道干扰较强、基频提取比较难的两句语音中抽取了725帧浊音，经人工判断，以明显的不连续基频作为识别错误。在没有采用本发明中的基频候选加DP算法之前，识别错误率为11.7％，采用之后为0.4％。识别的准确率大大提高。

结合上述描述，完整的基频提取的流程如图6所示：

(1)信号分割，输入的语音信号首先被分割为若干帧，相邻两帧有一定的重叠；然后分别对每帧进行如下处理；

(2)过零率检测，计算平均过零次数，进行清浊音的粗略估计；过零次数高于给定的阈值被判定为非浊音帧，不进行基频提取；

(3)降采样率，既提高了基频提取分辨率，又可以保证不损失1250Hz以上对基频提取有意义的频率成分；

(4)预加重和加窗，该部处理的目的是减少了频率混叠。采用的是hamming窗。公式为：

其中h(n)表示窗函数，N表示窗的长度；

(5)FFT计算及求功率谱，采用的是512点的FFT(快速傅利叶变换)。用公式(2)计算功率谱；

(6)插值，为了提高基频提取的精度，在频谱的每两个FFT点值之间插Inpl_N＝20个值，使用的是二次Spline插值方法；

(7)计算谐波累加和，谐波累加的公式为公式(3)：

(8)确定基频候选，从谐波累加谱中选若干个峰，求峰值点对应的基频，

以及该峰值与最大峰的相对高度，即：H_per；

(9)对多个基频的候选在时域上求相应的自相关系数，即：R_per；对于具有过低的H_per值或R_per值的基频候选被过滤掉，以减少DP的运算量；

(10)用DP算法求基频路径，用DP算法计算每条路径的得分，得分公式为公式(5)。；根据得分，取前几名的几条路径记录下来；

(11)如果处理完一段连续的浊音帧，则根据DP算法的得分以最优的基频路径作为提取的结果输出；否则返回第2步对下一帧做过零率检测；处理完全部的输入信号，进入归一化和连接，对一段处理完的语音，用平均基频进行归一化，这样可以消除说话人的差别；连接是把没有基频的辅音部分和具有基频的元音部分进行平滑的连接。

附图说明

图1.基频提取结果示例，左边为孤立语音中4中声调对应的基频轨迹示意图，右边为连续语音的波形、提取的基频轨迹和语音内容(从上到下)；

图2.一浊音帧经FFT结果得到的频谱图。在F₀，2F₀，3F₀处有明显的峰，但F₀处的峰没有2F₀明显；

图3.一浊音帧的谐波累加图，在F₀有明显的最大峰，连同另外还有其它几个峰(圆圈所示)，作为基频的候选；

图4.一浊音帧的自相关曲线图，在T₀，2T₀ 3T₀处有较大的峰值，但T₀处峰的高度和2T₀，3T₀很接近；

图5.一清音帧的自相关曲线图，除了R[0]以为的峰值都比较低，也没有明显的周期性；

图6.基频提取流程图。

具体实施方式

汉语语音的一个显著特点就是汉语的声调。汉语普通话声调一般分为一声、二声、三声、四声，亦即：阴平、阳平、上声、去声。另外还有轻声(零声调)。相同的声韵母组成的音节，很可能有完全不同的意义，对应不同的字或词。(例如：兴起、星期、刑期、行期、腥气。)因此，声调在汉语语言的识别中有很重要的意义。

声调体现在基频F₀轨迹的变化。图1左边表示的是孤立语音的声调与基频对照，右边是连续语音声调与基频的对照图。而本发明提出的基频提取方法可以为语音识别提供较为准确的基频轨迹，用于声调识别；特别是可以将提取的基频作为语音识别***的参数，或建立声调模型，以更全面反映语音特征，指导语言的处理，提高识别的准确度。

基频轨迹的准确提取还可作为连续语音中句法结构、词语重读、说话者意向等信息识别的重要依据；汉语的声调是汉语教学中的一难点，通过基频曲线的显示可以交互式地指导学生的发音，因而可用于汉语普通话的教学中。虽然声调会受到上下文的影响，但声调信息比较不受声学环境和通道的影响，因而从某一个角度，声调对于提高语音信息处理的可靠性具有重要意义。

Claims (1)

1.一种用于语音识别的高精度高分辨率基频提取方法，其特征在于，基频提取的步骤为：

(1)信号分割，输入的语音信号首先被分割为若干帧，相邻两帧有一定的重叠；对每一帧依次按以下步骤处理：

(2)过零率检测，计算平均过零次数，进行清浊音的粗略估计；过零次数高于给定的阈值被判定为非浊音帧，不进行基频提取；

(3)降采样率，在保证不损失1250Hz以下对基频提取有意义的频率成分的前提下适当降低采样率；

(4)预加重和加窗，采用的是hamming窗，公式为：

其中h(n)表示窗函数，N表示窗的长度；

(5)FFT计算及求功率谱，采用的是多点的FFT(快速傅利叶变换)，用公式计算功率谱：

         S(f)＝|X(f)|²

其中用X(f)表示信号的FFT变换，S(f)表示功率谱；

(6)插值，在频谱的每两个FFT点值之间插Inpl_N个值，使用的是二次Spline(样条)插值方法；

(7)计算谐波累加和，得到谐波累加谱，其计算公式为：

$H\left(f\right)=\underset{n=1}{\overset{\mathrm{HN}}{\mathrm{\Σ}}}{h}_{n}S\left(\mathrm{nf}\right)$

其中S(f)表示经过插值后的功率谱，HN表示谐波的最大个数，h_n是第n个谐波的权值，H(f)表示频率f对应的谐波累加谱；

(8)峰值检测，确定基频候选，从谐波累加谱中选若干个峰，求峰值点对应的基频作为基频候选，以及该峰值与最大峰的相对高度，即H_per；

(9)对多个基频的候选在时域上求相应的自相关系数，即R_per；对于具有过低的H_per值或R_per值的基频候选被过滤掉，以减少下一步动态规划(DP)的运算量；

(10)用动态规划(DP)算法求基频轨迹，用DP算法计算每条轨迹的得分；得分公式为Score(i)＝max{Score(i-1)-D(i，j)}+aR_per(i)+bH_per(i)。根据得分，取得分前几名的几条轨迹记录下来；得分公式中Score(i)表示该基频路径在第i帧的得分，a，b分别为表示R_per(i)和H_per(i)权重的系数，D(i，j)表示第i帧的基频p_i与第i-1帧的第j个基频候选p_i的距离，其计算公式为：D(i，j)＝2*|p_i-p_j|/(p_i+p_j)

(11)处理完一段连续的浊音帧，则根据DP算法的得分以最优的基频轨迹作为提取的结果输出；否则返回第(2)步对下一帧做过零率检测；处理完全部的输入信号，进入归一化和连线；对一段处理完的语音，用平均基频进行归一化；连接是把没有基频的非浊音部分和具有基频的浊音部分进行平滑的连接。

Images