CN101000766B - 基于语调模型的汉语语调基频轮廓生成方法 - Google Patents

基于语调模型的汉语语调基频轮廓生成方法 Download PDF

Info

Publication number
CN101000766B
CN101000766B CN2007100716149A CN200710071614A CN101000766B CN 101000766 B CN101000766 B CN 101000766B CN 2007100716149 A CN2007100716149 A CN 2007100716149A CN 200710071614 A CN200710071614 A CN 200710071614A CN 101000766 B CN101000766 B CN 101000766B
Authority
CN
China
Prior art keywords
syllable
phrase
intonation
pitch contour
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007100716149A
Other languages
English (en)
Other versions
CN101000766A (zh
Inventor
张鹏
王丽红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang University
Original Assignee
Heilongjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang University filed Critical Heilongjiang University
Priority to CN2007100716149A priority Critical patent/CN101000766B/zh
Publication of CN101000766A publication Critical patent/CN101000766A/zh
Application granted granted Critical
Publication of CN101000766B publication Critical patent/CN101000766B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

本发明提供了一种基于语调模型的汉语语调生成方法。它包括以下计算机可实现的步骤:短语单元的基频轮廓生成步骤,将输入的标注拼音码序列通过短语控制机构生成并输出短语单元的基频轮廓曲线;音节单元的基频轮廓生成步骤,将输入的标注拼音码序列通过音节控制机构生成并输出音节单元的基频轮廓曲线;语调基频轮廓叠加步骤,将短语控制机构输出的短语单元的基频轮廓、音节控制机构输出的音节单元的基频轮廓和最小基频值Fmin进行对数叠加,生成并输出语调基频轮廓曲线。本发明从汉语的语音特征、汉语的声调与特点和汉语的语调及模式出发,构筑了一套完整的基于语调模型的汉语语调基频轮廓生成方法。

Description

基于语调模型的汉语语调基频轮廓生成方法
(一)技术领域
本发明涉及语音信号处理技术领域,具体涉及语音合成技术中一种基于语调模型的汉语语调基频轮廓生成方法
(二)背景技术
目前,汉语语音合成方法通常采用基于大语料库的时域波形拼接语音合成技术。在这个方法中,合成语句的语音基元是从一个预先录下的、庞大的自然语音的语料库中挑选出来的,***根据某种规则、或代价函数、或统计方法等,直接从语料库中筛选合成单元或片段来加以拼接。可以想象只要这个语料库足够大,理论上讲有可能拼接出任何语句。由于合成的语音基元都来自于自然的原始发音,或是一个音节,或是一种不定长的语言片段,如多字词或韵律短语,因此,合成后语音的清晰度和自然度都非常高。这种方法避开了对语音基元作韵律调整,基本上不用对信号作时域或频域的变换处理。然而,汉语的韵律是复杂多变的,语调也是多样化的,因此采用上述方法得到的合成语音无法满足人们的要求。与自然语音相比,这些***合成的句子及篇章的语音自然度和可懂度相对较低,“机器味”较浓,人们听起来感觉并不是很舒服。其原因是:至今在语音合成的韵律控制方法上还没有取得令人满意的成果,从而制约了这项技术大规模地进入市场,而其中的重要问题就是语调的基频曲线无法调整,或是语调模型无法反映汉语的语调规律,等等。
(三)发明内容
本发明的目的在于提供一种从汉语的语音特征、汉语的声调与特点和汉语的语调及模式出发、进一步提高汉语语音合成自然度的基于语调模型的汉语语调基频轮廓生成方法。
本发明的目的是这样实现的:它包括以下计算机可实现的步骤:
输入标注拼音码序列;
短语单元的基频轮廓生成步骤,将输入的标注拼音码序列从头至尾依次提取韵律信息,判断是否为短语信息;如果是,则作为短语命令送入给短语控制机构,同时根据这个短语韵律信息,从韵律模板库中索引出相应的短语单元韵律模板,生成并输出短语单元的基频轮廓曲线,并保留在缓冲区中;否则继续查找短语信息;以此类推,直至将整个标注拼音码序列搜索完毕,输出短语单元的基频轮廓曲线;
音节单元的基频轮廓生成步骤,将输入的标注拼音码序列从头至尾依次提取韵律信息,判断是否为音节信息;如果是,则作为音节命令输入给音节控制机构,同时根据这个音节韵律信息,从韵律模板库中索引出相应的音节单元韵律模板,生成并输出音节单元的基频轮廓曲线,并保留在缓冲区中;否则继续查找音节信息;以此类推,直至将整个标注拼音码序列搜索完毕,输出音节单元的基频轮廓曲线;
语调基频轮廓叠加步骤,将短语控制机构送出的短语单元的基频轮廓、音节控制机构送出的音节单元的基频轮廓和基频最小值Fmin,依照汉语语调模型、按序位、幅度大小和时间长短进行对数叠加;如果判断标注拼音码序列没有处理完毕,则返回继续执行;否则,生成并输出语调基频轮廓曲线给后续的信号处理步骤。
本发明还有这样一些技术特征:
1、所述的基频轮廓曲线,其数学表达式如下:
ln F 0 ( t ) = ln F min + Σ i = 1 I A pi G pi ( t - T 0 i ) + Σ j = 1 J A aj [ G aj ( t - T 1 j ) - G aj ( t - T 2 j ) ]
G pi = R i 2 texp ( - R i t ) , t &GreaterEqual; 0 0 , t < 0
G pi ( m ) ( t ) = G pi ( 1 ) ( t ) , G pi ( 2 ) ( t ) &CenterDot; &CenterDot; &CenterDot; G pi ( M ) ( t ) , m = 1,2 , &CenterDot; &CenterDot; &CenterDot; M
G aj = Min [ 1 - ( 1 + B j t ) exp ( - B j t ) , &theta; j ] , t &GreaterEqual; 0 0 , t < 0
G aj ( n ) ( t ) = G aj ( 1 ) ( t ) , G aj ( 2 ) ( t ) &CenterDot; &CenterDot; &CenterDot; G aj ( N ) ( t ) , n = 1,2 , &CenterDot; &CenterDot; &CenterDot; N
其中:
Fmin:句子的基频最小值;
i:短语的数目;Rj:第i个短语衰减系数,经验值为3/s;T0i:第i个短语控制命令发生的时间;Api:第i个短语控制命令的幅度;Gpi (m):代表不同的短语调型;
j:音节或韵律词的数目;Aaj:第j个音节控制命令的幅度;T1j:第j个音节控制命令开始的时间;T2j:第j个音节控制命令结束的时间;Bj:第j个音节控制命令在音节控制机构下的固有角度值,经验值为20/s;θj:第j个音节控制命令的音节成分的最大允许值,经验值为0.9;Gaj (n):代表不同的音节调型;
2、所述的模型参数由计算机程序自动生成,算法的第一步的是确定短语命令参数和基频最小值Fmin,然后,由基频最小值Fmin和短语参数模拟出准确的F0曲线,短语单元的参数优化好后,再计算音节单元的参数;单独的韵律词从左到右处理,对每个韵律词都做局部的基频曲线模拟。
本发明的有益优点有:
(1)从输入文本的标注拼音码序列中得到短语和音节的韵律信息,来生成语调基频轮廓符合自然语音的韵律结构要求;
(2)将短语单元的基频轮廓和音节单元的基频轮廓分别处理可以准确地确定短语单元、音节单元的时间序位;
(3)采用短语单元韵律模板和音节单元韵律模板可以简化短语单元、音节单元的基频轮廓的生成过程。同时,可以更好地反映韵律变化复杂多变的要求;
(4)将短语控制机构和音节控制机构看作衰减的二阶振荡***,符合人发音器官的生理特性。
汉语不同于其它西方语系,表现在语法结构、语法规则、声学特性、韵律结构等多个方面。首先,汉语是一字一音,即单音节字;其次,汉语是声调语言,声调具有辨义作用,每个字都有固定的音调(基频形状)。而且,字与字之间的音调前后彼此互相影响会发生变异,甚至失去了原有的调型,即出现协同发音现象(音变现象)。同时,连续语句的发音中间还会有短暂的停顿。每个人说话都有一个基本频率,称作基频,它体现了说话人的音调高低,此外,人们说话还有声音大小的区别等等。在汉语的文语转换(TTS)***中,对语音基频、时长、幅度等韵律信息的预测、分析和控制称作韵律控制。
针对这种情况,发明人从汉语的语音特征,汉语的声调与特点、汉语的语调及模式出发,构筑一套完整的基于语调模型的汉语语调基频轮廓生成方法,提高了合成语音的自然度。本发明中的各步骤及模块、子模块均可由计算机程序实现,操作性、移植性强,适用范围广。
(四)附图说明
图1为汉语语调基频轮廓生成模型框图;
图2为汉语语调基频轮廓生成框图;
图3为汉语语调基频轮廓生成流程图;
图4为衰减特性的短语基频曲线;
图5为上扬特性的音节基频曲线;
图6为韵律特征控制流程图;
图7为本发明实施例的计算机硬件***框图。
(五)具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明:
结合图2,本发明包括以下计算机可实现的步骤:
输入标注拼音码序列;
短语单元的基频轮廓生成步骤,将输入的标注拼音码序列从头至尾依次提取韵律信息,判断是否为短语信息;如果是,则作为短语命令送入给短语控制机构,同时根据这个短语韵律信息,从韵律模板库中索引出相应的短语单元韵律模板,生成并输出短语单元的基频轮廓曲线,并保留在缓冲区中;否则继续查找短语信息;以此类推,直至将整个标注拼音码序列搜索完毕,输出短语单元的基频轮廓曲线;
音节单元的基频轮廓生成步骤,将输入的标注拼音码序列从头至尾依次提取韵律信息,判断是否为音节信息;如果是,则作为音节命令输入给音节控制机构,同时根据这个音节韵律信息,从韵律模板库中索引出相应的音节单元韵律模板,生成并输出音节单元的基频轮廓曲线,并保留在缓冲区中;否则继续查找音节信息;以此类推,直至将整个标注拼音码序列搜索完毕,输出音节单元的基频轮廓曲线;
语调基频轮廓叠加步骤,将短语控制机构送出的短语单元的基频轮廓、音节控制机构送出的音节单元的基频轮廓和基频最小值Fmin,依照汉语语调模型、按序位、幅度大小和时间长短进行对数叠加;如果判断标注拼音码序列没有处理完毕,则返回继续执行;否则,生成并输出语调基频轮廓曲线给后续的信号处理步骤。
其中各步骤均由计算机程序实现。
实施例:
1、韵律模板库的构建
韵律模板库的构建采用常规的方法即可,与一般建立数据库的方法相同,这里就不细举。本发明在综合考虑各种因素之后,选择汉语中的最小听辨单位——音节作为语音合成的基元,并将语音库中的一个音节存储多个样本,各个样本的轻重音及基频曲线也各不相同。
2、汉语的语调模型
一个发音自然、完整的语句主要表现在三个方面:一是句子的调型,主要体现在句子的基频上,即句子的音高曲线;二是韵律短语和韵律词在句子中的具***置,因为它们反映了整个句子的韵律特征属性变化;三是句子的重音和停顿位置,重音能凸显和强调整个句子的语义中心,停顿反映了句子的韵律节奏;在这三个方面中,句子的基频曲线尤为重要,它反映了整个句子韵律变化最显著的特征以及整个句子基频曲线轮廓的变化的趋势。
可以把一个句子的F0基频轮廓曲线看作是短语单元的基频轮廓曲线、音节单元的基频轮廓曲线和基频最小值Fmin的叠加,基频轮廓用对数坐标表示。其中短语单元的基频轮廓曲线反映了句子全局的基频轮廓变化,音节单元的基频轮廓曲线反映了音节或韵律词的局部基频轮廓变化,而基频最小值Fmin代表了使人声带振动发出声音的最低频率。短语单元和音节单元分别属于短语控制机构和音节控制机构,两个控制机构类似于衰减的二阶振荡***。短语控制机构的输入是短语命令,输出是短语单元的基频轮廓;而音节控制机构的输入是音节命令,输出是音节单元的基频轮廓。短语命令可以用一个冲击函数来描述,音节命令可以用一个阶跃函数来描述。这些函数分别有两组不同的控制命令和参数组成:
(1)短语命令的定时、幅度以及短语控制机构的阻尼系数;
(2)音节命令开始和结束的时刻、幅度以及音节控制机构的阻尼系数。
这些参数必须在一个设定的时间段内保持恒定,即短语单元的参数在一个韵律短语内部恒定,音节单元的参数在音节或韵律词中恒定,基频最小值Fmin在整个句子中恒定。汉语语调基频轮廓生成模型框图,如图1所示。
基于上述汉语语调基频轮廓生成模型,用两种命令即短语命令和音节命令,作为句子语调模型的输入,而模型的输出为句子的基频轮廓曲线,其数学表达式如下:
ln F 0 ( t ) = ln F min + &Sigma; i = 1 I A pi G pi ( t - T 0 i ) + &Sigma; j = 1 J A aj [ G aj ( t - T 1 j ) - G aj ( t - T 2 j ) ] - - - ( 1 )
G pi = R i 2 texp ( - R i t ) , t &GreaterEqual; 0 0 , t < 0 - - - ( 2 )
G pi ( m ) ( t ) = G pi ( 1 ) ( t ) , G pi ( 2 ) ( t ) &CenterDot; &CenterDot; &CenterDot; G pi ( M ) ( t ) , m = 1,2 , &CenterDot; &CenterDot; &CenterDot; M (短语单元调形函数)
G aj = Min [ 1 - ( 1 + B j t ) exp ( - B j t ) , &theta; j ] , t &GreaterEqual; 0 0 , t < 0 - - - ( 3 )
G aj ( n ) ( t ) = G aj ( 1 ) ( t ) , G aj ( 2 ) ( t ) &CenterDot; &CenterDot; &CenterDot; G aj ( N ) ( t ) , n = 1,2 , &CenterDot; &CenterDot; &CenterDot; N (音节单元调形函数)
其中:
Fmin:句子的基频最小值;
i:短语的数目;Ri:第i个短语衰减系数,经验值为3/s;T0i:第i个短语控制命令发生的时间;Api:第i个短语控制命令的幅度;Gpi (m):代表不同的短语调型。
j:音节或韵律词的数目;Aaj:第j个音节控制命令的幅度;T1j:第j个音节控制命令开始的时间;T2j:第j个音节控制命令结束的时间;Bj:第j个音节控制命令在音节控制机构下的固有角度值,经验值为20/s;θj:第j个音节控制命令的音节成分的最大允许值,经验值为0.9;Gaj (n):代表不同的音节调型。
式(1)的第1部分可以看作是使声带保持振动的基频最小值;第2部分代表短语单元的基频轮廓;第3部分代表音节单元的基频轮廓;三者成对数迭加形式。这里基频最小值Fmin是由句子的语态和调型所决定,贯穿于整个语句;其次在它的上面叠加短语的基频变化曲线,得到一个句子的基频中心轨迹的基本走向;然后在这个基频中心轨迹的基础上继续按序位叠加音节或韵律词的基频变化曲线。最后,这三个部分叠加的结果即为一个完整句子的基频变化曲线。
对短语的缓降趋势,可以通过调节Ri的大小来改变Gpi(t)的衰减特性,进而达到调整短语基频走向的目的。Ri值越大,则衰减程度越大,短语基频曲线下倾的越严重;同时,Ri的大小也间接地反映了语调短语的长短。同样,对音节的缓升趋势可以通过调节Bj的大小来实现,Bj值越大,音节的基频曲线上扬的越明显。图4和图5分别列出了短语衰减特性的基频曲线和音节上扬特性的基频曲线。
对于每个短语的具体调形,根据标注的拼音码序列中的短语信息确定短语调形,其短语调形函数可以采用“短语单元韵律模板”直接生成短语的基频轮廓曲线。
对于每个音节的具体调形,根据标注的拼音码序列中的音节信息确定音节调形,其音节调形函数可以采用“音节单元韵律模板”直接生成音节的韵律基频曲线,也可以利用曲线方程 G aj ( n ) ( t ) = a 0 + a 1 t + a 2 t 2 + a 3 t 3 + a 4 t 4 生成拟合效果较为理想的音节调形曲线。调长由对应的浊音段的定时起点和终点来确定;调域用与调长对应的阶梯式调域幅度来控制。
3、模型参数的设置
模型参数由计算机程序自动生成。基于重叠原则,算法的第一步的是确定短语命令参数和基频最小值Fmin,这一步可与音节命令参数的确定分开。然后,由基频最小值Fmin和短语参数模拟出准确的F0曲线。短语模型的参数优化好后,再计算音节单元的参数。
一个音节命令生成的基频曲线模拟一个音节或韵律词。单独的韵律词从左到右处理,整个音节单元没有进行全局优化,但是对每个韵律词都做局部的基频曲线模拟。对此F0基频曲线的处理从左到右应有两个限制条件:一个条件是防止后面的音节命令影响优化后的曲线;另一个条件是保证在前面命令参数不充分的情况下也能估计音节或韵律词。
4、基于语调模型的F0合成
(1)阻尼系数
短语单元和音节单元当作阻尼时间的常量来处理。对于短语单元,阻尼系数标准值为3.1Hz。所有说话人和所有音节或韵律词的阻尼系数均值为16Hz。
(2)基频最小值Fmin
基频最小值Fmin分布离散度较小,典型值的范围是男性为70-80Hz,女性为120-140Hz。
(3)短语命令的幅度和定时
短语单元代表了语句中F0曲线的全局下倾和缓慢变化,是语调基频曲线的基础。从基频幅度上看,短语命令的幅度是确定短语基频曲线的在频域上偏移量的乘积系数,是句子中F0下倾的直接尺度,并且在很大程度上与说话人相关。句子模式通过短语单元的基频曲线在全局上表现出来,例如,陈述句的基频曲线呈下倾态势,而一般疑问句和反意疑问句的基频曲线从头向尾先下倾、然后到尾部再上扬。从时间上看,短语的基频曲线相对较早地达到最大值,并且随着句子的主要部分单独下降。短语基频曲线的峰值与句子或韵律短语的头一致,因此短语命令的定时直接依据阻尼系数(3.1Hz)。句子开始前的第一个短语命令设置为323ms,这也证明了F0的生成和控制的研究结果,揭示了喉部肌肉发音前的活动。
(4)音节命令幅度
音节幅度是确定音节曲线的在频域上偏移量以及音节高峰值高度的乘积系数,并且幅度在很大程度上与音节的位置有关。句尾音节命令幅度远小于句子中其它位置的幅度,名词的幅度要高于其它词性,而短语边界前的音节命令幅度要比其它位置的幅度高大约10~20%。
(5)音节命令时长
音节命令的时长可以通过该音节所在的韵律词的时长预测出,二者的相关度(r=0.84),即音节命令时长大约70%以上的变化可从韵律词的时长来得到。
(6)音节命令位置
非句尾位置中音节(或韵律词)开始和命令开始之间的瞬时距离大约是音节(或韵律词)时长的10%,即在音节(或韵律词)命令开始和音节(或韵律词)发音开始之间要有一个静音段,这一距离在句子末尾韵律词中趋于零。
因此,根据上面的分析,可以建立一套规则来控制参数的调整,比如语句模式、语句重音、短语边界或词重音,以此为一个给定的句子生成人工语调曲线。而需要输入的信息包括词音节的位置、韵律词的时长及它们的词性。
这里所提出的规则是基于统计分析的结果为基础,提供的参数为平均值,所以产生的曲线不代表任何一个真实的说话人。但从另一个方面说明:如果能够准确的捕捉说话人的特征,那么由上述规则及模型所产生的语调模式和被建模的说话人发出的语调模式就会非常接近。语调模型参数见表1。
表1  语调模型参数表
    语调模型参数 参数说明
    阻尼系数 短语单元3.1Hz,音节单元16Hz。
    基频最小值Fmin 典型值的范围是男性为70-80Hz,女性为120-140Hz。
    短语命令幅度 短语命令的幅度是确定短语基频曲线的在频域上偏移量的乘积系数。是句子中F0下倾的直接尺度,并且在很大程度上与说话人相关。
音节命令幅度 音节幅度是确定音节曲线的在频域上偏移量以及音节高峰值高度的乘积系数,并且幅度在很大程度上与音节的位置有关。短语边界前的音节命令幅度要比其它位置的幅度高大约10~20%。
    短语命令时间设置 句子开始前的第一个短语命令设置为323ms。
音节命令时间设置 非句尾位置中音节(或韵律词)命令开始和音节发音开始之间的瞬时距离大约是音节(或韵律词)时长的10%,即在音节(或韵律词)命令开始和音节(或韵律词)发音开始之间要有一个静音段,这一距离在句子末尾韵律词中趋于零。
    短语命令时长 短语命令时长可以从韵律短语的时长来得到。
    音节命令时长 音节命令时长大约70%以上的变化可从韵律词的时长来得到。
图6是韵律特征控制流程图,结合图6,计算机对键入的文本信息进行分析并转换成含有韵律结构信息的拼音码序列,根据韵律结构信息,标注文本语句的短语位置和个数、各短语强度,音节个数、音节调形、音节长度、音节调域幅度和整句基调值等参数;用人工和参数优化算法调节并定量提取有关控制参量,按模型分层综合,计算出成句基频轮廓数据;然后,根据基频输出值和对应的时长参数,最后采用PSOLA方法对音库中各音节波形的韵律参数进行调整,拼接合成连续语音。
5、***环境
结合图7,为一个可以实施本发明的适合的计算***环境。该计算***环境只是可以实施本发明的计算***环境的一个实施例,而并非是对本发明的应用范围或功能进行任何限制。计算环境也不应被认为是对实例性操作环境中所示的任何一个部件或者部件的组合有任何依赖性或要求。
本发明可以用于众多的特定的或非特定的计算***环境或配置,如:个人计算机,小型计算机,中型计算机,大型计算机,网络计算机,服务器计算机,手持或膝上型装置,多处理器***,基于微处理器的***,机顶盒,可编程电子消费装置,包括任何上述的***或装置的分布式计算环境,等等。
本发明可以使用计算机可执行指令的一般模式来描述,例如计算机的程序模块。程序模块包括程序、子程序、对象、控件、组件、数据结构等,它们用来执行特定的任务或者实现特定的抽象数据类型。本发明也可以被应用于分布式计算环境,其中通过利用通信网络链接的远程处理装置来执行任务。在分布式计算环境中,程序模块可以同时存放在包括存储器存储装置在内的本地和远程计算机存储介质中。
图7所示的计算机装置的构成包括:  一个或多个中央处理单元、内部存储器、外部存储器、输入设备接口、输出设备接口以及连接上述各个单元或部件的***总线。***总线可以是包括如下几种类型的总线结构中的任何总线结构:一个存储总线或存储控制器、一个***总线和使用各种总线结构中总线的局部总线。这些总线结构:如工业标准结构(ISA)总线、微通道体系结构(MCA)总线、增强的ISA线、视频电子标准协会(VESA),局部总线以及外部设备互连(PCI)总线(也叫夹层总线Mezzanine bus),等等。
用户可以通过输入装置向计算机口输人命令和信息。这些输入装置可以是键盘、麦克风以及指点装置如鼠标、轨迹球或触摸板,还可以是其他的输入装置(图上未画出),例如操作杆、游戏垫、圆盘式***大线(satellite dish)、扫描仪等。上述输入装置通常是通过一个耦合到***总线的用户输入接口连接到处理单元的,但也可以通过别的的接口和总线结构连接,例如并行端口、游戏端口或者通用串行总线(USB)。监视器或者其他类型的显示装置通过一个接口,例如视频接口连接到***总线。除了该监视器外,计算机也可以包括其他的外部输出设备,例如扬声器以及打印机,它们通过一个外部输出接口连接。
计算机可以通过逻辑连接的方式连接到一台或更多远程计算机(例如远程计算机)从而在网络环境中进行操作。

Claims (3)

1.一种基于语调模型的汉语语调基频轮廓生成方法,其特征在于它包括以下计算机可实现的步骤:
输入标注拼音码序列步骤;
短语单元的基频轮廓生成步骤,将输入的标注拼音码序列从头至尾依次提取韵律信息,判断是否为短语信息;如果是,则作为短语命令送入给短语控制机构,同时根据这个短语韵律信息,从韵律模板库中索引出相应的短语单元韵律模板,生成并输出短语单元的基频轮廓曲线,并保留在缓冲区中;否则继续查找短语信息;以此类推,直至将整个标注拼音码序列搜索完毕,输出短语单元的基频轮廓曲线;
音节单元的基频轮廓生成步骤,将输入的标注拼音码序列从头至尾依次提取韵律信息,判断是否为音节信息;如果是,则作为音节命令输入给音节控制机构,同时根据这个音节韵律信息,从韵律模板库中索引出相应的音节单元韵律模板,生成并输出音节单元的基频轮廓曲线,并保留在缓冲区中;否则继续查找音节信息;以此类推,直至将整个标注拼音码序列搜索完毕,输出音节单元的基频轮廓曲线;
语调基频轮廓叠加步骤,将短语控制机构送出的短语单元的基频轮廓、音节控制机构送出的音节单元的基频轮廓和基频最小值Fmin,依照汉语语调模型、按序位、幅度大小和时间长短进行对数叠加;如果判断标注拼音码序列没有处理完毕,则继续执行;否则,生成并输出所输入的标注拼音码序列的语调基频轮廓曲线给后续的信号处理步骤。
2.根据权利要求1所述的基于语调模型的汉语语调基频轮廓生成方法,其特征在于所述的语调基频轮廓曲线,其数学表达式如下:
Figure FSB00000329590200011
Figure FSB00000329590200012
Figure FSB00000329590200013
其中:
Fmin:句子的基频最小值;
i:短语的数目;Ri:第i个短语衰减系数,经验值为3/s;T0i:第i个短语控制命令发生的时间;Api:第i个短语控制命令的幅度;Gpi(t):表示不同的短语调型; 
j:音节或韵律词的数目;Aaj:第j个音节控制命令的幅度;T1j:第j个音节控制命令开始的时间;T2j:第j个音节控制命令结束的时间;Bj:第j个音节控制命令在音节控制机构下的固有角度值,经验值为20/s;θj:第j个音节控制命令的音节成分的最大允许值,经验值为0.9;Gaj(t):表示不同的音节调型;
对于每个短语的具体调型Gpi(t),还可以根据标注的拼音码序列中的短语信息确定短语调型,其短语调型函数可以采用“短语单元韵律模板”直接生成短语的基频轮廓曲线;
对于每个音节的具体调型Gaj(t),还可以根据标注拼音码序列中的音节信息确定音节调型,其音节调型函数可以采用“音节单元韵律模板”直接生成音节的韵律基频曲线;也可以利用曲线方程Gaj(t)=a0+a1t+a2t2+a3t3+a4t4生成拟合效果较为理想的音节单元的基频轮廓曲线。
3.根据权利要求1所述的基于语调模型的汉语语调基频轮廓生成方法,其特征在于语调模型参数由计算机程序自动生成,算法的第一步是确定短语命令参数和基频最小值Fmin,然后,由基频最小值Fmin和短语命令参数模拟出准确的F0曲线,短语命令参数优化好后,再计算音节命令参数;单独的音节从左到右处理,对每个音节都做局部的基频曲线模拟。 
CN2007100716149A 2007-01-09 2007-01-09 基于语调模型的汉语语调基频轮廓生成方法 Expired - Fee Related CN101000766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2007100716149A CN101000766B (zh) 2007-01-09 2007-01-09 基于语调模型的汉语语调基频轮廓生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2007100716149A CN101000766B (zh) 2007-01-09 2007-01-09 基于语调模型的汉语语调基频轮廓生成方法

Publications (2)

Publication Number Publication Date
CN101000766A CN101000766A (zh) 2007-07-18
CN101000766B true CN101000766B (zh) 2011-02-02

Family

ID=38692705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100716149A Expired - Fee Related CN101000766B (zh) 2007-01-09 2007-01-09 基于语调模型的汉语语调基频轮廓生成方法

Country Status (1)

Country Link
CN (1) CN101000766B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103035252B (zh) * 2011-09-30 2015-04-29 西门子公司 中文语音信号处理方法、装置及助听设备
CN104347065A (zh) * 2013-07-26 2015-02-11 英业达科技有限公司 依据使用者语音产生合适语音信号的装置及其方法
CN104217722B (zh) * 2014-08-22 2017-07-11 哈尔滨工程大学 一种海豚哨声信号时频谱轮廓提取方法
CN110930975B (zh) * 2018-08-31 2023-08-04 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN109599090B (zh) * 2018-10-29 2020-10-30 创新先进技术有限公司 一种语音合成的方法、装置及设备
CN111402858B (zh) * 2020-02-27 2024-05-03 平安科技(深圳)有限公司 一种歌声合成方法、装置、计算机设备及存储介质
CN112767923B (zh) * 2021-01-05 2022-12-23 上海微盟企业发展有限公司 一种语音识别方法及装置
CN113421543B (zh) * 2021-06-30 2024-05-24 深圳追一科技有限公司 一种数据标注方法、装置、设备及可读存储介质
CN113851114B (zh) * 2021-11-26 2022-02-15 深圳市倍轻松科技股份有限公司 语音信号的基频确定方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1229194A (zh) * 1997-11-28 1999-09-22 松下电器产业株式会社 基频特性曲线产生方法,基频特性曲线产生器,和程序记录介质
CN1731509A (zh) * 2005-09-02 2006-02-08 清华大学 移动语音合成方法
CN1787072A (zh) * 2004-12-07 2006-06-14 北京捷通华声语音技术有限公司 基于韵律模型和参数选音的语音合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1229194A (zh) * 1997-11-28 1999-09-22 松下电器产业株式会社 基频特性曲线产生方法,基频特性曲线产生器,和程序记录介质
CN1787072A (zh) * 2004-12-07 2006-06-14 北京捷通华声语音技术有限公司 基于韵律模型和参数选音的语音合成方法
CN1731509A (zh) * 2005-09-02 2006-02-08 清华大学 移动语音合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hiroya Fujisaki,et al..Analysis and synthesis of fundamental frequency contoursofStandard Chinese using the conmmand-response model.Speech CommunicaitonVol.47 2005.2005,Vol.47(2005),59-70.
Hiroya Fujisaki,et al..Analysis and synthesis of fundamental frequency contoursofStandard Chinese using the conmmand-response model.Speech CommunicaitonVol.47 2005.2005,Vol.47(2005),59-70. *
张鹏.汉语语音合成韵律控制方法与实现的研究.哈尔滨工程大学硕士学位论文.2006,53-59. *

Also Published As

Publication number Publication date
CN101000766A (zh) 2007-07-18

Similar Documents

Publication Publication Date Title
CN101000766B (zh) 基于语调模型的汉语语调基频轮廓生成方法
CN101000765B (zh) 基于韵律特征的语音合成方法
Chen et al. Production of weak elements in speech–evidence from f₀ patterns of neutral tone in Standard Chinese
Story Phrase-level speech simulation with an airway modulation model of speech production
Lindblom The status of phonetic gestures
CN106128450A (zh) 一种汉藏双语跨语言语音转换的方法及其***
CN102426834B (zh) 测试英文口语韵律水平的方法
CN103165126A (zh) 一种手机文本短信的语音播放的方法
Li et al. Analysis and modeling of F0 contours for Cantonese text-to-speech
Sanchez et al. Hierarchical modeling of F0 contours for voice conversion
Přibil et al. GMM-based speaker gender and age classification after voice conversion
CN101887719A (zh) 语音合成方法、***及具有语音合成功能的移动终端设备
Rao et al. Selection of suitable features for modeling the durations of syllables
CN114169291B (zh) 基于卷积神经和生成对抗网络的文本转语音方法及装置
Chomphan et al. Tone correctness improvement in speaker dependent HMM-based Thai speech synthesis
Kröger et al. Articulatory synthesis of speech and singing: State of the art and suggestions for future research
TWI402824B (zh) 中文自發性語音合成中發音變異產生之方法
Lu et al. Automatic stress exaggeration by prosody modification to assist language learners perceive sentence stress
Jacewicz et al. Variability in within-category implementation of stop consonant voicing in American English-speaking children
Mertens et al. Comparing approaches to pitch contour stylization for speech synthesis
Li et al. A lyrics to singing voice synthesis system with variable timbre
Sulír et al. Development of the Slovak HMM-based tts system and evaluation of voices in respect to the used vocoding techniques
Dogil et al. Towards a model of target oriented production of prosody
Zhang et al. Emotional speech synthesis based on DNN and PAD emotional state model
KR102526338B1 (ko) 음성의 진폭스케일링을 이용하는 감정변환을 위한 음성 주파수 합성 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110202

Termination date: 20140109