CN103531196B - 一种波形拼接语音合成的选音方法 - Google Patents

Abstract

本发明公开了一种波形拼接语音合成的选音方法，该方法包括以下步骤：基于原始音频进行基于隐马尔可夫的模型训练，得到声学模型集及对应的特征决策树；输入若干训练文本，基于特征决策树搜索得到相关声学模型，进而得到对应的目标语音和目标音节；根据目标语音与其对应的候选基元的相似度，和候选基元的各声学参数在当前声学模型下的似然概率，训练得到相似度分类器；输入任意待合成文本，基于相似度分类器剔除不相似的候选基元，对于剩余的候选基元，利用拼接代价最小原则选择得到最佳基元，并拼接得到合成语音。采用本发明方法可以合成出较高音质的语音。

Description

一种波形拼接语音合成的选音方法

技术领域

本发明涉及智能信息处理领域，尤其涉及一种波形拼接语音合成的选音方法。

背景技术

语音作为人类交流信息的主要手段之一，语音合成技术主要是让计算机能够产生高清晰度、高自然度的连续语音。在语音合成技术的发展过程中，早期的研究主要是采用参数合成方法，后来随着计算机技术的发展又出现了波形拼接的合成方法。随着语料库的不断增大，候选基元的数量也在不断增长，如何根据输入文本，选择出最佳的基元进行拼接，越来越受到关注。

基于隐马尔可夫模型的参数语音合成***和基于基元选取的拼接***是近十几年最主流的语音合成技术，而混合语音合成***结合了二者的优势，采用了前者训练出的声学模型来指导基元选取，从而选出更加合适的基元进行拼接。这种混合语音合成***的选音方法比传统拼接方法更加的稳定，而且人工干预更少，但仍存在着很多的不足，主要表现在以下几点：

1、选音方法并没有体现人耳的感知作用，在现有选音方法中得一个高分，并不意味着选出了更适合人听觉的语音；

2、选音方法采用了因素加权叠加的方法进行选音，即将基元的各个特征分别计算子代价，然后分别给予权重，再叠加成为一个总的选音代价来选音，该方法假定所有因素对基元的接受度的影响是线性叠加的，这显然不符合事实。

发明内容

为解决上述的一个或多个问题，本发明提供了一种波形拼接语音合成的选音方法。该方法结合了人的主观听觉感受，能选出最适合人耳听感的基元，最终拼接出较好的语音。

本发明提供的波形拼接语音合成的选音方法包括以下步骤：

对原始音库进行参数提取，并结合相应文本标注信息，进行基于隐马尔可夫的模型训练；输入若干训练文本，进行文本分析，利用决策树搜索相关模型，并利用参数生成算法合成对应目标语音，并进行音节的切分，获取目标音节；人工评判合成音节语音与其候选基元语音的相似度来作为分类属性，同时计算候选基元各声学参数的在当前模型下的似然概率，作为输入的特征向量，从而训练出一个相似度分类器；给定任意待合成文本，使用分类器剔除不相似的候选基元，对剩余的候选基元，利用拼接代价最小原则选择最佳基元，最后拼接出合成语音。

从上述技术方案可以看出，本发明波形拼接语音合成的选音方法具有以下有益效果：

（1）与参数合成的音节相似的基元，有与之相同的重音和语调，采用这种标准选出的语音来进行拼接，可以得到兼备稳定性和一致性的语音；

（2）与参数合成的音节相似的基元，也更容易拼接，因为它们在边界处的特征更加趋于一致，不需要或仅需要很少的平滑，从而保证了原始语音的平滑和自然；

（3）在选音中引入了人的主观听感因素，使选音结果更适合人的主观喜好。

附图说明

图1为根据本发明一实施例的波形拼接语音合成的选音方法流程图；

图2为根据本发明一实施例的声学模型训练流程；

图3为根据本发明一实施例的隐马尔可夫训练流程图；

图4为根据本发明一实施例的目标音节的生成流程图；

图5为根据本发明一实施例的分类器训练流程图；

图6为根据本发明一实施例的根据分类器选音的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

图1为根据本发明一实施例的波形拼接语音合成的选音方法流程图，如图1所示，该选音方法包括以下步骤：

步骤S1，基于从音频数据库中提取得到的原始音频进行基于隐马尔可夫的模型训练，得到声学模型集以及对应的特征决策树；

如图2所示，所述步骤S1进一步包括以下步骤：

步骤S11，获取音频数据库中的原始音频；

步骤S12，对于所述原始音频按帧进行频谱参数和基频参数的提取；

所述步骤S12进一步包括以下步骤：

步骤S121，将所述原始音频进行分帧加窗处理；

分帧加窗为现有技术中常用的音频处理技术，在此不作赘述。

步骤S122，对处理得到的每帧音频比如用STRAIGHT算法提取其梅尔倒谱系数；

在本发明一实施例中，首先提取25阶静态梅尔倒谱系数，然后分别计算它们的一阶差分和二阶差分，最终得到的梅尔倒谱系数为75维。

步骤S123，计算每帧音频的基频参数；

在本发明一实施例中，首先计算每帧音频的基频参数，然后同样计算它的一阶差分和二阶差分，最终得到的基频参数为3维。

步骤S13，对于所述原始音频对应的文本进行同步的标注，标注出所述原始音频中对应音节的上下文特征信息，同时对所述原始音频进行音段切分标注；

在本发明一实施例中，以音节为单位进行上下文特征信息标注，共使用了66维的韵律结构特征和24维的发音特征，所述标注主要由人工进行。

所述音段切分中的切分信息并不重要，本发明采用自动切分的结果。

步骤S14，基于所述原始音频的频谱参数和基频参数，上下文特征信息标注，以及音段切分标注，进行传统的隐马尔可夫模型训练，获得包括时长、基频和频谱的模型集，以及各自的特征决策树。

该步骤中，采用多空间概率分布的方式来进行建模，在本发明一实施例中，对于给定的参数和特征序列进行10状态的隐马尔可夫模型训练。具体的训练流程如图3所示。

步骤S2，输入若干训练文本，基于所述特征决策树搜索得到相关声学模型，进而得到对应的目标语音和目标音节；

如图4所示，所述步骤S2进一步包括以下步骤：

步骤S21，输入多个音节平衡的训练文本，经过前端的文本分析，即通过最大熵等方法对文本中的特征进行提取，来获取对应的上下文特征序列；

基于最大熵的文本分析方法为现有技术中常用的文本分析技术，在此不作赘述。

汉语中共有1300多个常用的音节，因此，在本发明一实施例中，输入500句音节平衡的文本，并经过前端的文本分析，获取对应的上下文属性；

步骤S22，把所述上下文特征序列输入到所述特征决策树中，获取符合当前上下文的声学模型序列；

该步骤中，根据所述上下文特征序列中的上下文特征，分别对时长、基频和频谱参数的聚类树进行决策，得到相应的声学模型序列与时长模型；

步骤S23，基于所述声学模型序列，采用参数生成算法获取目标语音参数；

所述目标语音参数包括基频和频谱参数；

步骤S24，基于所述目标语音参数，用声码器合成出目标句子语音，并将所述目标句子语音切分成目标音节。

该步骤中，切分得到的目标音节用于相似度比较的目标语音。

步骤S3，根据所述目标语音与其对应的候选基元的相似度，和所述候选基元的各声学参数在当前声学模型下的似然概率，训练得到相似度分类器；

如图5所示，所述步骤S3进一步包括以下步骤：

步骤S31，将所述音频数据库中的句子按音节进行切分，切分得到的以音节为单位的音段，即为候选基元，把相同的音节归为一类，以此构建候选基元库，并将所述步骤S12中提取得到的频谱参数和基频参数按帧分配给候选基元库中的各个候选基元；

步骤S32，把每个所述目标音节对应的各个基元的声学参数依次带入所述步骤S22得到的上下文声学模型中，计算各个基元的时长、基频以及频谱在其相应声学模型下的概率，并把所有概率的集合作为特征集合；

步骤S33，召集若干汉语母语者对所述目标音节和候选基元的相似度进行二元标注，即相似或不相似，并把此结果作为分类属性；

每一类的音节数目各不相同，为了减少人工，在本发明一实施例中，每一类音节最多取30个音节用于相似度比较。

步骤S34，基于所述分类属性和特征集合，进行相似度分类器的训练。

在本发明一实施例中，所述相似度分类器可采用CART分类器或SVM分类器，实验表明采用二阶多项式内核的SVM有更好的分类效果。

步骤S4，输入任意待合成文本，基于所述相似度分类器剔除不相似的候选基元，即选音，对于剩余的候选基元，利用拼接代价最小原则选择得到最佳基元，并拼接得到合成语音。

如图6所示，所述步骤S4进一步包括以下步骤：

步骤S41，输入待合成文本，并根据所述步骤S22获取对应的声学模型；

步骤S42，根据所述步骤S32计算各基元的各声学参数在当前声学模型下的似然概率集合，并将其作为特征集合；

步骤S43，将所述特征集合输入至所述相似度分类器中，即可预测出各基元属于相似类别还是不相似类别；

步骤S44，去除不相似类别中的所有基元，对剩余的基元采用拼接代价最小原则进行选音；

步骤S45，对选择得到的基元进行加窗平滑，得到最终的合成语音。

综上所述，本发明提出了一种波形拼接语音合成的选音方法，该方法可以合成出较高音质的语音。

需要说明的是，上述对各部件的实现方式并不仅限于实施方式中提到的各种实现方式，本领域的普通技术人员可对其进行简单地熟知地替换，例如：

（1）训练中采用的谱参数是梅尔倒谱系数，可以用其它参数替代，如使用不同阶数的线谱对参数。

（2）对分类器训练中的输入语句数量，可根据自己的计算精度进行适当增减。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种波形拼接语音合成的选音方法，其特征在于，该方法包括以下步骤：

步骤S1，基于从音频数据库中提取得到的原始音频进行基于隐马尔可夫的模型训练，得到声学模型集以及对应的特征决策树；

步骤S2，输入若干训练文本，基于所述特征决策树搜索得到相关声学模型，进而得到对应的目标语音和目标音节；

步骤S3，根据所述目标语音与其对应的候选基元的相似度，和所述候选基元的各声学参数在当前声学模型下的似然概率，训练得到相似度分类器；

步骤S4，输入任意待合成文本，基于所述相似度分类器剔除不相似的候选基元，对于剩余的候选基元，利用拼接代价最小原则选择得到最佳基元，并拼接得到合成语音；

其中，所述步骤S2进一步包括以下步骤：

步骤S21，输入多个音节平衡的训练文本，经过文本分析来获取对应的上下文特征序列；

步骤S22，把所述上下文特征序列输入到所述特征决策树中，获取符合当前上下文的声学模型序列；

步骤S23，基于所述声学模型序列，采用参数生成算法获取目标语音参数；

步骤S24，基于所述目标语音参数，用声码器合成出目标句子语音，并将所述目标句子语音切分成目标音节；

所述步骤S3进一步包括以下步骤：

步骤S31，将所述音频数据库中的句子按音节进行切分，切分得到的以音节为单位的音段，即为候选基元，把相同的音节归为一类，以此构建候选基元库，并将所述步骤S12中提取得到的频谱参数和基频参数按帧分配给候选基元库中的各个候选基元；

步骤S32，把每个所述目标音节对应的各个基元的声学参数依次带入所述步骤S22得到的上下文声学模型中，计算各个基元的时长、基频以及频谱在其相应声学模型下的概率，并把所有概率的集合作为特征集合；

步骤S33，召集若干汉语母语者对所述目标音节和候选基元的相似度进行二元标注，即相似或不相似，并把此结果作为分类属性；

步骤S34，基于所述分类属性和特征集合，进行相似度分类器的训练。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1进一步包括以下步骤：

步骤S11，获取音频数据库中的原始音频；

步骤S12，对于所述原始音频按帧进行频谱参数和基频参数的提取；

步骤S13，对于所述原始音频对应的文本进行同步的标注，标注出所述原始音频中对应音节的上下文特征信息，同时对所述原始音频进行音段切分标注；

步骤S14，基于所述原始音频的频谱参数和基频参数，上下文特征信息标注，以及音段切分标注，进行传统的隐马尔可夫模型训练，获得包括时长、基频和频谱的模型集，以及各自的特征决策树。

3.根据权利要求2所述的方法，其特征在于，所述步骤S12进一步包括以下步骤：

步骤S121，将所述原始音频进行分帧加窗处理；

步骤S122，对处理得到的每帧音频提取其梅尔倒谱系数；

步骤S123，计算每帧音频的基频参数。

4.根据权利要求1所述的方法，其特征在于，所述文本分析为对文本中的特征进行提取。

5.根据权利要求1所述的方法，其特征在于，所述步骤S22中，根据所述上下文特征序列中的上下文特征，分别对时长、基频和频谱参数的聚类树进行决策，得到相应的声学模型序列与时长模型。

6.根据权利要求1所述的方法，其特征在于，所述目标语音参数包括基频和频谱参数。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4进一步包括以下步骤：

步骤S41，输入待合成文本，并根据所述步骤S22获取对应的声学模型；

步骤S42，根据所述步骤S32计算各基元的各声学参数在当前声学模型下的似然概率集合，并将其作为特征集合；

步骤S43，将所述特征集合输入至所述相似度分类器中，即可预测出各基元属于相似类别还是不相似类别；

步骤S44，去除不相似类别中的所有基元，对剩余的基元采用拼接代价最小原则进行选音；

步骤S45，对选择得到的基元进行加窗平滑，得到最终的合成语音。