CN105280177A - 语音合成字典创建装置、语音合成器、以及语音合成字典创建方法 - Google Patents
语音合成字典创建装置、语音合成器、以及语音合成字典创建方法 Download PDFInfo
- Publication number
- CN105280177A CN105280177A CN201510404746.3A CN201510404746A CN105280177A CN 105280177 A CN105280177 A CN 105280177A CN 201510404746 A CN201510404746 A CN 201510404746A CN 105280177 A CN105280177 A CN 105280177A
- Authority
- CN
- China
- Prior art keywords
- language
- phonetic synthesis
- synthesis dictionary
- speaker
- adopting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 218
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 218
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000009826 distribution Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 230000001419 dependent effect Effects 0.000 claims description 56
- 238000013507 mapping Methods 0.000 claims description 49
- 230000009466 transformation Effects 0.000 claims description 29
- 238000001228 spectrum Methods 0.000 claims description 17
- 230000006978 adaptation Effects 0.000 description 36
- 238000003066 decision tree Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明描述了语音合成字典创建装置、语音合成器、以及语音合成字典创建方法。根据实施例,语音合成字典创建装置包括表创建器、估计器、和字典创建器。表创建器被配置为基于采用相应的第一和第二语言的特定说话人的语音合成字典的节点分布之间的相似性来创建表。估计器被配置为基于采用第一语言的目标说话人的语音和所记录的文本、以及采用第一语言的特定说话人的语音合成字典来估计用于将采用第一语言的特定说话人的语音合成字典变换为采用第一语言的目标说话人的语音合成字典的矩阵。字典创建器被配置为基于表、矩阵、以及采用第二语言的特定说话人的语音合成字典来创建采用第二语言的目标说话人的语音合成字典。
Description
相关申请的交叉引用
本申请基于并要求于2014年7月14日提交的日本专利申请No.2014-144378的优先权的权益,通过引用将该日本专利申请的全部内容并入本文中。
技术领域
本文所描述的实施例总体上涉及语音合成字典创建装置、语音合成器、以及语音合成字典创建方法。
背景技术
用于将某一文本转换成合成波形的语音合成技术是已知的。为了通过使用语音合成技术来重现某一用户的声音的质量,需要根据用户的所记录的语音来创建语音合成字典。近年来,已经越来越多地开展对基于隐马尔可夫模型(HMM)的语音合成技术的研究与开发,并且该技术的质量也被提高。此外,已经对用于根据采用第一语言的某一说话人的语音来创建采用第二语言的某一说话人的语音合成字典的技术进行了研究。因此,典型的技术为跨语言说话人自适应。
然而,在相关技术领域中,需要为执行跨语言说话人自适应提供大量的数据。此外,不利的是,需要高质量的双语数据来提高合成语音的质量。
发明内容
实施例的目的在于:提供能够抑制所需语音数据、并且根据采用第一语言的目标说话人语音来容易地创建采用第二语言的目标说话人的语音合成字典的语音合成字典创建装置。
根据实施例,语音合成字典创建装置包括映射表创建器、估计器、以及字典创建器。映射表创建器被配置为基于采用第一语言的特定说话人的语音合成字典的节点分布与采用第二语言的特定说话人的语音合成字典的节点分布之间的相似性来创建映射表,在所述映射表中,采用第一语言的特定说话人的语音合成字典的节点分布与采用第二语言的特定说话人的语音合成字典的节点分布相关联。估计器被配置基于采用第一语言的目标说话人的语音和所记录的文本以及采用第一语言的特定说话人的语音合成字典来估计变换矩阵,以将采用第一语言的特定说话人的语音合成字典变换为采用第一语言的目标说话人的语音合成字典。字典创建器被配置为基于映射表、变换矩阵、以及采用第二语言的特定说话人的语音合成字典来创建采用第二语言的目标说话人的语音合成字典。
根据上述语音合成字典创建装置,可能抑制所需语音数据并且容易地根据采用第一语言的目标说话人语音来创建采用第二语言的目标说话人的语音合成字典。
附图说明
图1是示出根据第一实施例的语音合成字典创建装置的构造的框图;
图2是示出由语音合成字典创建装置执行的处理的流程图;
图3A和图3B是示出相互比较的使用语音合成字典的语音合成的操作和比较示例的操作的概念图;
图4是示出根据第二实施例的语音合成字典创建装置的构造的框图;
图5是示出根据实施例的语音合成器的构造的框图;以及
图6是示出根据实施例的语音合成字典创建装置的硬件构造的示图。
具体实施方式
首先,将对带来本发明的背景进行描述。上述HMM是源-滤波器语音合成***。该语音合成***接收声源信号(激励源)作为输入,声源信号由脉冲声源或噪声源等产生,其中脉冲声源表示由声带振动产生的声源分量,并且噪声源表示由空气湍流产生的声源,并且该语音合成***使用表示声道特性等的频谱包络的参数来执行过滤以产生语音波形。
使用频谱包络的参数的滤波器的示例包括全极点滤波器、用于PARCOR系数的网格滤波器、LSP合成滤波器、对数振幅近似滤波器、梅尔全极点滤波器、梅尔对数频谱近似滤波器、以及梅尔广义对数频谱近似滤波器。
此外,基于HMM的语音合成技术的一个特性是能够多方面地改变所产生的合成声音。根据基于HMM的语音合成技术,还可以容易地改变例如除了音高(基频;F0)和语音速率之外的声音的质量和声音的音调。
此外,基于HMM的语音合成技术能够通过使用说话人自适应技术来甚至从少量的语音产生听起来与某一说话人相似的合成语音。说话人自适应技术是用于执行以使某一语音合成字典被自适应为更接近某一说话人,从而产生再现某一说话人的说话人个人特征的语音合成字典的技术。
要按需要进行自适应的语音合成字典包含尽可能少的个体说话人***均声音”。
针对诸如F0、带非周期性、以及频谱等的特征,语音合成字典构成了基于决策树的状态聚类。频谱将语音的频谱信息表达为参数。带非周期性是表示在每一帧的频谱中的预定频率带中的噪声分量的强度与带的整个频谱之比的信息。另外,决策树的每个叶节点保持高斯分布。
为了执行语音合成,首先根据通过转换输入文本而获得的语境信息通过跟随决策树来创建分布序列,并且根据由此产生的分布序列来产生语音参数序列。然后由已产生的参数序列(带非周期性、F0、频谱)来产生语音波形。
此外,多语言化的技术开发作为语音合成的多样性的其中之一也正在进行中。其典型的技术是上面提到的跨语言说话人自适应技术,其是在保持其说话人个人特征的同时将单语说话人的语音合成字典转换成特定语言的语音字典的技术。例如,在双语说话人的语音合成字典中,表用于将输入文本的语言映射到输出语言中的最接近的节点。当输出语言的文本为输入时,从输出语言侧开始跟随节点,并且使用输入语言侧中的节点的分布来执行语音合成。
接下来,将对根据第一实施例的语音合成字典创建装置进行描述。图1是示出根据第一实施例的语音合成字典创建装置10的构造的框图。如图1中所示,语音合成字典创建装置10包括例如第一储存器101、第一适配器102、第二储存器103、映射表创建器104、第四储存器105、第二适配器106、第三储存器107、估计器108、字典创建器109、以及第五储存器110,并且语音合成字典创建装置10根据采用第一语言的目标说话人语音来创建采用第二语言的目标说话人的语音合成字典。例如,在本实施例中,目标说话人指的是能够说第一语言而不能说第二语言的说话人(例如,单语说话人),而特定说话人指的是说第一语言和第二语言的说话人(例如,双语说话人)。
例如,第一储存器101、第二储存器103、第三储存器107、第四储存器105、以及第五储存器110由单个或多个硬盘驱动器(HDD)等构成。第一适配器102、映射表创建器104、第二适配器106、估计器108、以及字典创建器109可以是硬件电路或由CPU执行的软件,CPU并未被示出。
第一储存器101对采用第一语言的平均声音的语音合成字典进行存储。第一适配器102通过使用输入语音(例如,采用第一语言的双语说话人语音)和存储在第一储存器101中的采用第一语言的平均声音的语音合成字典来执行说话人自适应,以产生采用第一语言的双语说话人(特定说话人)的语音合成字典。第二储存器103对作为由第一适配器102执行的说话人自适应的结果而产生的采用第一语言的双语说话人(特定说话人)的语音合成字典进行存储。
第三储存器107对采用第二语言的平均声音的语音合成字典进行存储。第二适配器106通过使用输入语音(例如,采用第二语言的双语说话人语音)和由第三储存器107存储的采用第二语言的平均声音的语音合成字典来执行说话人自适应,以产生采用第二语言的双语说话人(特定说话人)的语音合成字典。第四储存器105对作为由第二适配器106执行的说话人自适应的结果而产生的采用第二语言的双语说话人(特定说话人)的语音合成字典进行存储。
映射表创建器104通过使用存储在第二储存器103中的采用第一语言的双语说话人(特定说话人)的语音合成字典和存储在第四储存器105中的采用第二语言的双语说话人(特定说话人)的语音合成字典来创建映射表。更具体地,映射表创建器104基于采用第一语言与采用第二语言的特定说话人的相应语音合成字典的节点之间的相似性来创建将采用第二语言的特定说话人的语音合成字典的节点分布与采用第一语言的特定说话人的语音合成字典的节点分布相关联的映射表。
估计器108基于存储在第二储存器103中的采用第一语言的双语说话人的语音合成字典,使用作为输入的采用第一语言的目标说话人的语音及其所记录的文本来从语音和文本中提取声学特征和语境,并且对用于把要进行说话人自适应的采用第一语言的特定说话人的语音合成字典变换为采用第一语言的目标说话人的语音合成字典的变换矩阵进行估计。
字典创建器109通过使用由估计器108估计的变换矩阵、由映射表创建器104创建的映射表、以及存储在第四储存器105中的采用第二语言的双语说话人的语音合成字典来创建采用第二语言的目标说话人的语音合成字典。字典创建器109可以被配置为使用存储在第二储存器103中的采用第一语言的双语说话人的语音合成字典。
第五储存器110对由字典创建器109创建的采用第二语言的目标说话人的语音合成字典进行存储。
接下来,将对包括在语音合成字典创建装置中的相应部件的详细操作进行描述。存储在第一储存器101和第三储存器107中的采用相应语言的平均声音的语音合成字典是适于说话人自适应的语音合成字典并且是通过使用说话人自适应训练而从多个说话人的语音数据产生的。
第一适配器102从采用第一语言的输入语音数据(采用第一语言的双语说话人语音)提取声学特征和语境。第二适配器106从采用第二语言的输入语音数据(采用第二语言的双语说话人语音)提取声学特征和语境。
注意,输入至第一适配器102和第二适配器106的语音的说话人是同一双语说话人,其说第一语言和第二语言。声学特征的示例包括F0、频谱、音素持续时间、和带非周期性序列。频谱将语音的频谱信息表达为如上所述的参数。语境表示以音素为单位的语言属性信息。音素的单位可以是单音素、三音素、和五音素。属性信息的示例包括{先前的,当前的,随后的}音素、在一个词中的当前音素的音节位置、语音的{先前的,当前的,随后的}部分、在{先前的,当前的,随后的}的词中的音节数量、来自重读音节的音节数量、句子中的词的位置、存在或不存在先前或随后的姿态、在{先前的,当前的,随后的}换气单位(breathgroup)中的音节数量、当前换气单位的位置、以及句子中的音节数量。在下文中,这些条属性信息将被称为语境。
随后,第一适配器102和第二适配器106基于最大似然线性回归(MLLR)和最大后验(MAP)根据已提取的声学特征和语境来执行说话人自适应训练。将把使用最频繁的MLLR作为示例进行描述。
MLLR是用于通过将线性变换应用于高斯分布或协方差矩阵的平均向量来进行自适应的方法。在MLLR中,线性参数是由根据最大似然准则的EM算法导出的。EM算法的Q函数被表达为下面的等式(1)。
和表示通过将变换矩阵应用于分量m而得到的平均值和方差。
在表达式中,上标(m)表示模型参数的分量。M表示与变换有关的模型参数的总数。K表示与转移概率有关的常数。k(m)表示与高斯分布的分量m有关的归一化常数。此外,在下面的等式(2)中,qm(τ)表示高斯分布在时刻τ的分量。OT表示观测向量。
γm(τ)=p(qm(τ)|M,OT)(2)
线性变换在下文中被表达为等式(3)到等式(5)。此处,μ表示平均向量,A表示矩阵,b表示向量,并且W表示变换矩阵。估计器108对变换矩阵W进行估计。
ζ表示平均向量
ξ=[1μT]T(4)
W=[bTAT](5)
由于使用协方差矩阵的说话人自适应的效果小于使用平均向量的效果,因此通常执行使用协方差矩阵的说话人自适应。平均的变换由下面的等式(6)来表达。注意,kron()表示由()所包围的表达式的克罗内克积,并且vec()表示变换成具有被布置成行单元的矩阵的向量。
另外,V(m)、Z和D分别由下面的等式(7)到等式(9)来表达。
D(m)=ζ(m)ξ(m)τ(9)
Wi的逆矩阵由下面的等式(10)和等式(11)来表示。
此外,等式(1)关于wij进行偏微分产生下面的等式(12)。因此,wij由下面的等式(13)来表达。
第二储存器103对由第一适配器102产生的采用第一语言的说话人自适应语音合成字典进行存储。第四储存器105对由第二适配器106产生的采用第二语言的说话人自适应语音合成字典进行存储。
映射表创建器104对采用第一语言的说话人自适应语音合成字典与采用第二语言的说话人自适应语音合成字典的子节点的分布之间的相似性进行测量,并且将被确定为最接近的分布之间的关联转换成映射表(转换为表)。要注意,使用例如库尔贝克-莱布勒散度(KLD)、密度比、或L2范数来测量相似性。映射表创建器104例如使用由下面的表达式(14)到(16)所表达的KLD。
高斯分布
高斯分布
在指数k下的源语言的状态
在指数j下的目标语言的状态
在指数k下的源语言的平均值
在指数k下的源语言的子节点的方差
要注意,k表示子节点的指数,s表示源语言,并且t表示目标语言。此外,通过语境聚类对语音合成字典创建装置10处的语音合成字典的决策树进行训练。因此,期望的是通过从音素的语境中选择第一语言的每个子节点中的最具代表性的音素、并且通过使用国际音标(IPA)从具有与其相同的代表性音素或具有采用第二语言的相同类型的代表性音素的唯一分布中选择分布,来进一步减小由映射引起的失真。此处所提及的相同类型指的是音素类型相一致,例如元音/辅音、浊音/清音、以及***音/鼻音/颤音。
估计器108基于采用第一语言的目标说话人的语音和所记录的文本来估计用于从双语说话人(特定说话人)到采用第一语言的目标说话人的说话人自适应的变换矩阵。诸如MLLR、MAP、或受约束的MLLR(CMLLR)等的算法用于说话人自适应。
字典创建器109通过使用指示第二语言的说话人自适应字典的状态的映射表、并且将由估计器108所估计的变换矩阵应用到第二语言的双语说话人自适应字典来创建采用第二语言的目标说话人的语音合成字典,如下面的等式(17)所表达的,在所述映射表中,KLD最小。
要注意,变换矩阵wij由上述等式(13)来计算,但是因此需要等式(13)右侧的参数。这些取决于高斯分量μ和σ。当字典创建器109通过使用映射表来执行变换时,应用到第二语言的叶节点的变换矩阵可能在很大程度上发生变化,这可能导致语音质量下降。因此,字典创建器109可以被配置为通过使用要进行自适应的叶节点G和Z来重新产生用于较高级节点的变换矩阵。
第五储存器110对由字典创建器109创建的采用第二语言的目标说话人的语音合成字典进行存储。
图2是示出由语音字典创建装置10执行的处理的流程图。如图2中所示,在语音合成字典创建装置10中,第一适配器102和第二适配器106首先产生分别适于采用第一语言和第二语言的双语说话人的语音合成字典(步骤S101)。
随后,映射表创建器104通过使用分别由第一适配器102和第二适配器106产生的双语说话人的语音合成字典(说话人自适应字典)来在第二语言的叶节点处对第一语言的说话人自适应字典执行映射(步骤S102)。
估计器108从采用第一语言的目标说话人的语音数据和所记录的文本中提取语境和声学特征,并且基于由第二储存器103存储的采用第一语言的双语说话人的语音合成字典来对用于对采用第一语言的目标说话人的语音合成字典进行说话人自适应的变换矩阵进行估计(步骤S103)。
然后,字典创建器109通过将针对第一语言所估计的变换矩阵和映射表应用于采用第二语言的双语说话人自适应字典的叶节点来创建采用第二语言的目标语言的语音合成字典(字典创建)(步骤S104)。
随后,将与比较示例进行对比来描述使用语音合成字典创建装置10的语音合成的操作。图3A和3B是示出互相比较的使用语音合成字典创建装置10的语音合成的操作和比较示例的操作的概念图。图3A示出了比较示例的操作。图3B示出了使用语音合成字典创建装置10的操作。在图3A和3B中,S1表示双语说话人(多语说话人:特定说话人),S2表示单语说话人(目标说话人),L1表示本机语言(第一语言),并且L2表示目标语言(第二语言)。在图3A和3B中,决策树的结构相同。
如图3A中所示,在比较示例中,示出了S1L2的决策树502和S1L1的决策树501的状态的映射表。此外,在比较示例中,需要完整地包含单语说话人的相同语境的所记录的文本和语音。另外,在比较示例中,通过跟随双语说话人的第二语言的决策树504的节点、并且使用目的处的分布来产生合成音,同一双语说话人的第一语言的决策树503的节点映射到决策树504的节点。
如图3B中所示,语音合成字典创建装置10通过使用通过对采用第一语言的平均声音的语音合成字典的决策树61执行多语言说话人的说话人自适应所获得的语音合成字典的决策树601、以及通过对采用第二语言的平均声音的语音合成字典的决策树62执行多语言说话人的说话人自适应所获得的语音合成字典的决策树602来产生状态的映射表。由于使用了说话人自适应,语音合成字典创建装置10可以根据任何所记录的文本产生语音合成字典。此外,语音合成字典创建装置10通过在映射表中反射用于S2L1的决策树603的变换矩阵W来创建采用第二语言的语音合成字典的决策树604,并且根据所变换的语音合成字典来产生合成的语音。
以这种方式,由于语音合成字典创建装置10基于映射表、变换矩阵、以及采用第二语言的特定说话人的语音合成字典来创建采用第二语言的目标说话人的语音合成字典,所以语音合成字典创建装置10可以抑制所需的语音数据,并且容易根据采用第一语言的目标说话人语音来创建采用第二语言的目标说话人的语音合成字典。
接下来,将描述根据第二实施例的语音合成字典创建装置。图4是示出根据第二实施例的语音合成字典创建装置20的构造的框图。如图4中所示,语音合成字典创建装置20包括例如第一储存器201、第一适配器202、第二储存器203、说话人选择器204、映射表创建器104、第四储存器105、第二适配器206、第三储存器205、估计器108、字典创建器109、以及第五储存器110。要注意,由相同的附图标记来指定在图4中所示的语音合成字典创建装置20的与在语音合成字典创建装置10(图1)中所示的部件大体上相同的部件。
例如,第一储存器201、第二储存器203、第三储存器205、第四储存器105、以及第五储存器110由单个或多个硬盘驱动器(HDD)等构成。第一适配器202、说话人选择器204、以及第二适配器206可以是硬件电路或由CPU执行的软件,CPU并未被示出。
第一储存器201对采用第一语言的平均声音的语音合成字典进行存储。第一适配器202通过使用多个输入语音(采用第一语言的双语说话人语音)和由第一储存器201存储的采用第一语言的平均声音的语音合成字典来执行说话人自适应,以产生采用第一语言的多个双语说话人的语音合成字典。第一储存器201可以被配置为对采用第一语言的多个双语说话人语音进行存储。
第二储存器203对采用第一语言的双语说话人的语音合成字典进行存储,每个双语说话人的语音合成字典都是通过由第一适配器202执行说话人自适应而产生的。
说话人选择器204使用输入于其中的采用第一语言的目标说话人的语音和所记录的文本来选择采用第一语言的双语说话人的语音合字典,其与从由第二储存器203存储的多个语音合成字典中选择的目标说话人的声音质量最相似。因此,说话人选择器204选择双语说话人的其中之一。
例如,第三储存器205存储采用第二语言的平均声音的语音合成字典和采用第二语言的多个双语说话人语音。第三储存器205还响应于第二适配器206的接入而输出由说话人选择器204所选择的双语说话人的采用第二语言的双语说话人语音和采用第二语言的平均声音的语音合成字典。
第二适配器206通过使用从第三储存器205输入的采用第二语言的双语说话人语音和采用第二语言的平均声音的语音合成字典来执行说话人自适应,以产生由说话人选择器204选择的双语说话人的采用第二语言的语音合成字典。第四储存器105对通过由第二适配器206执行说话人自适应而产生的采用第二语言的双语说话人(特定说话人)的语音合成字典进行存储。
映射表创建器104基于由说话人选择器204选择的双语说话人(特定说话人)的采用第一语言的语音合成字典与由第四储存器105存储的双语说话人(同一特定说话人)的采用第二语言的语音合成字典的节点的分布之间的相似性来通过使用两个语音合成字典来创建映射表。
估计器108基于由第二储存器203存储的采用第一语言的双语说话人的语音合成字典,使用输入于其中的采用第一语言的目标说话人的语音和所记录的文本来从语音和文本中提取声学特征和语境,并且对用于采用第一语言的目标说话人的语音合成字典的说话人自适应的变换矩阵进行估计。要注意,第二储存器203可以被配置为将由说话人选择器204选择的双语说话人的语音合成字典至输出估计器108。
替代地,在语音合成字典创建装置20中,只要语音合成字典创建装置20被配置为通过使用由说话人选择器204选择的双语说话人的采用第二语言的双语说话人语音和采用第二语言的平均声音的语音合成字典来执行说话人自适应,则第二适配器206和第三储存器205可以具有与图4中所示出的构造不同的构造。
在图1中所示的语音合成字典创建装置10中,由于针对从适于双语说话人的语音合成字典到目标说话人语音的自适应执行了根据某一特定说话人的变换,因而根据平均声音的语音合成字典的变换的量可能很大,这可能增大失真。相比之下,在图4所示的语音合成字典创建装置20中,由于预先存储了适于一些类型的双语说话人的语音合成字典,所以可以通过从目标说话人中适当地选择语音合成字典来抑制失真。
说话人选择器204选择适当的语音合成字典所依据的标准的示例包括:由来自通过使用语音合成字典所得到的多个文本的合成所获得的合成语音的基频(F0)的均方根误差(RMSE)、梅尔倒谱的对数谱距离(LSD)、音素持续时间的RMSE、以及叶节点分布的KLD。说话人选择器204基于这些标准中的至少任何一个、或声音的声调、语音的速度、音素持续时间、以及频谱来选择具有最小变换失真的语音合成字典。
接下来,将描述创建语音合成字典并且根据目标语言的文本对采用目标语言的目标说话人的语音进行合成的语音合成器30。图5是示出根据实施例的语音合成器30的构造的框图。如图5中所示,语音合成器30包括图1中所示的语音合成字典创建装置10、分析器301、参数发生器302、以及波形发生器303。语音合成器30可以具有包括语音合成字典创建装置20而不是语音合成字典创建装置10的构造。
分析器301对输入文本进行分析并且请求语境信息。然后分析器301向参数发生器302输出语境信息。
参数发生器302根据基于输入语境信息的特征来跟随决策树、从节点请求分布、并且产生分布序列。然后参数发生器302根据已产生的分布序列来产生参数。
波形发生器303根据由参数发生器302产生的参数来产生语音波形,并且输出语音波形。例如,波形发生器303通过使用F0和带非周期性的参数序列来产生激励源信号,并且根据已产生的信号和频谱参数序列来产生语音。
接下来,将参考图6来描述语音合成字典创建装置10、语音合成字典创建装置20、和语音合成器30的硬件构造。图6是示出语音合成字典创建装置10的硬件构造的示图。语音合成字典创建装置20和语音合成器30也被配置为类似于语音合成字典创建装置10.
语音合成字典创建装置10包括控制装置,例如中央处理单元(CPU)400、诸如只读存储器(ROM)401和随机存取存储器(RAM)402等的存储装置、连接至网络以进行通信的通信接口(I/F)403、以及连接部件的总线404。
要由语音合成字典创建装置10执行的程序(例如语音合成字典创建程序)提前嵌入在ROM401等中并且从ROM401等被提供。
可以采用能够被安装或执行并且能够被提供作为计算机程序产品的文件的形式将要由语音合成字典创建装置10执行的程序记录在诸如光盘只读存储器(CD-ROM)、可刻录光盘(CD-R)、或数字多功能盘(DVD)等的计算机可读记录介质上。
此外,要由语音合成字典创建装置10执行的程序可以存储在连接至诸如因特网等的网络的计算机上,并且通过允许经由网络下载程序来提供。替代地,要由语音合成字典创建装置10执行的程序可以经由诸如因特网等的网络来提供或分布。
根据上述至少一个实施例的语音合成字典创建装置,语音合成字典创建装置包括映射表创建器、估计器、以及字典创建器。映射表创建器被配置为基于采用第一语言的特定说话人的语音合成字典的节点分布与采用第二语言的特定说话人的语音合成字典的节点分布之间的相似性来创建映射表,在映射表中,采用第一语言的特定说话人的语音合成字典的节点分布与采用第二语言的特定说话人的语音合成字典的节点分布相关联。估计器被配置为基于采用第一语言的目标说话人的语音和所记录的文本、以及采用第一语言的特定说话人的语音合成字典来对用于将采用第一语言的特定说话人的语音合成字典变换为采用第一语言的目标说话人的语音合成字典的变换矩阵进行估计。字典创建器被配置为基于映射表、变换矩阵、以及采用第二语言的特定说话人的语音合成字典来创建采用第二语言的目标说话人的语音合成字典。因此,可能抑制所需语音数据、并且容易根据采用第一语言的目标说话人语音来创建采用第二语言的目标说话人的语音合成字典。
尽管已经对某些实施例进行了描述,但是这些实施例仅是通过示例性的方式来呈现的,并且其并不是要限制本发明的范围。实际上,本文中所述的新颖实施例可以体现为各种其它形式;此外,可以在不脱离本发明的精神的情况下对本文中所述的实施例的形式做出各种省略、替换和改变。所附权利要求及其等同物旨在覆盖落入本发明的范围和精神内的这种形式或修改。
Claims (10)
1.一种语音合成字典创建装置,包括:
映射表创建器,其被配置为基于采用第一语言的特定说话人的语音合成字典的节点分布与采用第二语言的所述特定说话人的语音合成字典的节点分布之间的相似性来创建映射表,在所述映射表中,采用所述第一语言的所述特定说话人的所述语音合成字典的所述节点分布与采用所述第二语言的所述特定说话人的所述语音合成字典的所述节点分布相关联;
估计器,其被配置为基于采用所述第一语言的目标说话人的语音和所记录的文本、以及采用所述第一语言的所述特定说话人的所述语音合成字典来估计变换矩阵,所述变换矩阵用于将采用所述第一语言的所述特定说话人的所述语音合成字典变换为采用所述第一语言的所述目标说话人的语音合成字典;以及
字典创建器,其被配置为基于所述映射表、所述变换矩阵、以及采用所述第二语言的所述特定说话人的所述语音合成字典来创建采用所述第二语言的所述目标说话人的语音合成字典。
2.根据权利要求1所述的装置,其中:
所述目标说话人是说所述第一语言但不能说所述第二语言的说话人,并且
所述特定说话人是说所述第一语言和所述第二语言的说话人。
3.根据权利要求1所述的装置,还包括:
第一适配器,其被配置为使采用所述第一语言的所述特定说话人的语音适应采用所述第一语言的平均声音的语音合成字典,以产生采用所述第一语言的所述特定说话人的所述语音合成字典;以及
第二适配器,其被配置为使采用所述第二语言的所述特定说话人的语音适应采用所述第二语言的平均声音的语音合成字典,以产生采用所述第二语言的所述特定说话人的所述语音合成字典,其中:
所述映射表创建器被配置为通过使用由所述第一适配器产生的所述语音合成字典和由所述第二适配器产生的所述语音合成字典来创建所述映射表。
4.根据权利要求1所述的装置,其中,所述映射表创建器被配置为通过使用库尔贝克-莱布勒散度来测量所述相似性。
5.根据权利要求1所述的装置,还包括说话人选择器,其被配置为基于采用所述第一语言的所述目标说话人的所述语音和所记录的文本来从采用所述第一语言的多个说话人的语音合成字典中选择采用所述第一语言的所述特定说话人的所述语音合成字典,其中:
所述映射表创建器被配置为通过使用由所述说话人选择器所选择的采用所述第一语言的所述特定说话人的所述语音合成字典以及采用所述第二语言的所述特定说话人的所述语音合成字典来创建所述映射表。
6.根据权利要求5所述的装置,其中,所述说话人选择器被配置为选择在声音的声调、语音的速度、音素持续时间、以及频谱中的至少任一方面听起来最像所述目标说话人的所述语音的所述特定说话人的所述语音合成字典。
7.根据权利要求1所述的装置,其中,所述估计器被配置为从采用所述第一语言的所述目标说话人的所述语音和所记录的文本中提取声学特征和语境,以对所述变换矩阵进行估计。
8.根据权利要求1所述的装置,其中,所述字典创建器被配置为通过将所述变换矩阵和所述映射表应用到采用所述第二语言的所述特定说话人的所述语音合成字典的叶节点来创建采用所述第二语言的所述目标说话人的所述语音合成字典。
9.一种语音合成器,包括:
根据权利要求1所述的语音合成字典创建装置;以及
波形发生器,其被配置为通过使用由所述语音合成字典创建装置创建的采用第二语言的目标说话人的语音合成字典来产生语音波形。
10.一种语音合成字典创建方法,包括:
基于采用第一语言的特定说话人的语音合成字典的节点分布与采用第二语言的所述特定说话人的语音合成字典的节点分布之间的相似性来创建映射表,在所述映射表中,采用所述第一语言的所述特定说话人的所述语音合成字典的所述节点分布与采用所述第二语言的所述特定说话人的所述语音合成字典的所述节点分布相关联;
基于采用所述第一语言的目标说话人的语音和所记录的文本、以及采用所述第一语言的所述特定说话人的所述语音合成字典来估计变换矩阵,所述变换矩阵用于将采用所述第一语言的所述特定说话人的所述语音合成字典变换为采用所述第一语言的所述目标说话人的语音合成字典;以及
基于所述映射表、所述变换矩阵、以及采用所述第二语言的所述特定说话人的所述语音合成字典来创建采用所述第二语言的所述目标说话人的语音合成字典。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-144378 | 2014-07-14 | ||
JP2014144378A JP6392012B2 (ja) | 2014-07-14 | 2014-07-14 | 音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105280177A true CN105280177A (zh) | 2016-01-27 |
Family
ID=55067705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510404746.3A Pending CN105280177A (zh) | 2014-07-14 | 2015-07-10 | 语音合成字典创建装置、语音合成器、以及语音合成字典创建方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10347237B2 (zh) |
JP (1) | JP6392012B2 (zh) |
CN (1) | CN105280177A (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160058470A (ko) * | 2014-11-17 | 2016-05-25 | 삼성전자주식회사 | 음성 합성 장치 및 그 제어 방법 |
US10586527B2 (en) * | 2016-10-25 | 2020-03-10 | Third Pillar, Llc | Text-to-speech process capable of interspersing recorded words and phrases |
US10872598B2 (en) * | 2017-02-24 | 2020-12-22 | Baidu Usa Llc | Systems and methods for real-time neural text-to-speech |
US10896669B2 (en) | 2017-05-19 | 2021-01-19 | Baidu Usa Llc | Systems and methods for multi-speaker neural text-to-speech |
JP7013172B2 (ja) * | 2017-08-29 | 2022-01-31 | 株式会社東芝 | 音声合成辞書配信装置、音声合成配信システムおよびプログラム |
CN112334974B (zh) * | 2018-10-11 | 2024-07-05 | 谷歌有限责任公司 | 使用跨语言音素映射的语音生成 |
KR102622350B1 (ko) * | 2018-10-12 | 2024-01-09 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
JP6737320B2 (ja) | 2018-11-06 | 2020-08-05 | ヤマハ株式会社 | 音響処理方法、音響処理システムおよびプログラム |
JP6747489B2 (ja) | 2018-11-06 | 2020-08-26 | ヤマハ株式会社 | 情報処理方法、情報処理システムおよびプログラム |
US11580952B2 (en) * | 2019-05-31 | 2023-02-14 | Google Llc | Multilingual speech synthesis and cross-language voice cloning |
US11183168B2 (en) | 2020-02-13 | 2021-11-23 | Tencent America LLC | Singing voice conversion |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08248994A (ja) * | 1995-03-10 | 1996-09-27 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 声質変換音声合成装置 |
US20040172250A1 (en) * | 2002-10-17 | 2004-09-02 | Daben Liu | Systems and methods for providing online fast speaker adaptation in speech recognition |
CN1841497A (zh) * | 2005-03-29 | 2006-10-04 | 株式会社东芝 | 语音合成***和方法 |
CN101004910A (zh) * | 2006-01-19 | 2007-07-25 | 株式会社东芝 | 处理语音的装置和方法 |
CN101369423A (zh) * | 2007-08-17 | 2009-02-18 | 株式会社东芝 | 语音合成方法和装置 |
US20090055162A1 (en) * | 2007-08-20 | 2009-02-26 | Microsoft Corporation | Hmm-based bilingual (mandarin-english) tts techniques |
US20100070262A1 (en) * | 2008-09-10 | 2010-03-18 | Microsoft Corporation | Adapting cross-lingual information retrieval for a target collection |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5398909A (en) | 1977-02-04 | 1978-08-29 | Noguchi Kenkyusho | Selective hydrogenation method of polyenes and alkynes |
JP2002244689A (ja) * | 2001-02-22 | 2002-08-30 | Rikogaku Shinkokai | 平均声の合成方法及び平均声からの任意話者音声の合成方法 |
US8046211B2 (en) * | 2007-10-23 | 2011-10-25 | Microsoft Corporation | Technologies for statistical machine translation based on generated reordering knowledge |
JP5398909B2 (ja) | 2009-06-10 | 2014-01-29 | 株式会社東芝 | テキスト音声合成方法及びシステム |
-
2014
- 2014-07-14 JP JP2014144378A patent/JP6392012B2/ja active Active
-
2015
- 2015-07-09 US US14/795,080 patent/US10347237B2/en active Active
- 2015-07-10 CN CN201510404746.3A patent/CN105280177A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08248994A (ja) * | 1995-03-10 | 1996-09-27 | Atr Onsei Honyaku Tsushin Kenkyusho:Kk | 声質変換音声合成装置 |
US20040172250A1 (en) * | 2002-10-17 | 2004-09-02 | Daben Liu | Systems and methods for providing online fast speaker adaptation in speech recognition |
CN1841497A (zh) * | 2005-03-29 | 2006-10-04 | 株式会社东芝 | 语音合成***和方法 |
CN101004910A (zh) * | 2006-01-19 | 2007-07-25 | 株式会社东芝 | 处理语音的装置和方法 |
CN101369423A (zh) * | 2007-08-17 | 2009-02-18 | 株式会社东芝 | 语音合成方法和装置 |
US20090055162A1 (en) * | 2007-08-20 | 2009-02-26 | Microsoft Corporation | Hmm-based bilingual (mandarin-english) tts techniques |
CN101785048A (zh) * | 2007-08-20 | 2010-07-21 | 微软公司 | 基于hmm的双语(普通话-英语)tts技术 |
US20100070262A1 (en) * | 2008-09-10 | 2010-03-18 | Microsoft Corporation | Adapting cross-lingual information retrieval for a target collection |
Also Published As
Publication number | Publication date |
---|---|
US20160012035A1 (en) | 2016-01-14 |
US10347237B2 (en) | 2019-07-09 |
JP2016020972A (ja) | 2016-02-04 |
JP6392012B2 (ja) | 2018-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2019395322B2 (en) | Reconciliation between simulated data and speech recognition output using sequence-to-sequence mapping | |
CN105280177A (zh) | 语音合成字典创建装置、语音合成器、以及语音合成字典创建方法 | |
JP6523893B2 (ja) | 学習装置、音声合成装置、学習方法、音声合成方法、学習プログラム及び音声合成プログラム | |
KR20230003056A (ko) | 비음성 텍스트 및 스피치 합성을 사용한 스피치 인식 | |
JP6266372B2 (ja) | 音声合成辞書生成装置、音声合成辞書生成方法およびプログラム | |
US9798653B1 (en) | Methods, apparatus and data structure for cross-language speech adaptation | |
Inoue et al. | An investigation to transplant emotional expressions in DNN-based TTS synthesis | |
CN106057192A (zh) | 一种实时语音转换方法和装置 | |
WO2013018294A1 (ja) | 音声合成装置および音声合成方法 | |
Panda et al. | An efficient model for text-to-speech synthesis in Indian languages | |
US10157608B2 (en) | Device for predicting voice conversion model, method of predicting voice conversion model, and computer program product | |
JP6631883B2 (ja) | クロスリンガル音声合成用モデル学習装置、クロスリンガル音声合成用モデル学習方法、プログラム | |
CN116229932A (zh) | 一种基于跨域一致性损失的语音克隆方法及*** | |
Bettayeb et al. | Speech synthesis system for the holy quran recitation. | |
JP6330069B2 (ja) | 統計的パラメトリック音声合成のためのマルチストリームスペクトル表現 | |
Deka et al. | Development of assamese text-to-speech system using deep neural network | |
JP7357518B2 (ja) | 音声合成装置及びプログラム | |
Janyoi et al. | An Isarn dialect HMM-based text-to-speech system | |
Louw et al. | The Speect text-to-speech entry for the Blizzard Challenge 2016 | |
Jannati et al. | Part-syllable transformation-based voice conversion with very limited training data | |
Ekpenyong et al. | Tone modelling in Ibibio speech synthesis | |
Anh et al. | Development of a high quality text to speech system for lao | |
Yong et al. | Low footprint high intelligibility Malay speech synthesizer based on statistical data | |
Tsiakoulis et al. | Dialogue context sensitive speech synthesis using factorized decision trees. | |
Correa et al. | Accent-Preserving Voice Conversion between Native-Nonnative Speakers for Second Language Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160127 |
|
WD01 | Invention patent application deemed withdrawn after publication |