CN1379392A - 具有情感的语音-语音翻译***和方法 - Google Patents
具有情感的语音-语音翻译***和方法 Download PDFInfo
- Publication number
- CN1379392A CN1379392A CN01116524A CN01116524A CN1379392A CN 1379392 A CN1379392 A CN 1379392A CN 01116524 A CN01116524 A CN 01116524A CN 01116524 A CN01116524 A CN 01116524A CN 1379392 A CN1379392 A CN 1379392A
- Authority
- CN
- China
- Prior art keywords
- emotional expression
- expression parameter
- voice
- language
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims description 62
- 238000000034 method Methods 0.000 title claims description 51
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 230000002996 emotional effect Effects 0.000 claims description 143
- 230000008451 emotion Effects 0.000 claims description 61
- 238000004519 manufacturing process Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000004224 protection Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种具有情感的语音-语音翻译***和方法。本发明的***包括:语音识别装置、机器翻译装置、文本-语音生成装置、情感表述参数检测装置以及情感表述参数映射装置,其中,情感表述参数检测装置用于从原始语音信号中提取情感表述参数,而情感表述参数映射装置,用于将所述情感表述参数从一种语言(方言)映射到另一种语言(方言),并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
Description
本发明一般涉及机器翻译,具体地说涉及具有情感的语音-语音翻译***和方法。
机器翻译是利用计算机使一种语言的文字或语音翻译为另一种语言的文字或语音的技术。即在语言学的关于语言形式和结构分析的理论基础上,依靠数学方法建立词典、语法并利用计算机巨大的存储容量和数据处理能力,在没有人工干预的情况下实现从一种语言到另一种语言的自动翻译。
目前的机器翻译***通常是基于文本的翻译***,即用于将一种语言文字翻译为另一种语言文字。但随着社会发展,需要基于的语音翻译***,即能够进行语音-语音的翻译。可以利用现有的语音识别技术、基于文本的翻译技术以及TTS(文本-语音)技术实现语音-语音的翻译,即,首先利用语音识别技术对第一种语言的语音进行识别,形成第一种语言的文本表示;使用现有的翻译技术将第一种语言的文本表示翻译成第二种语言的文本表示;再利用成熟的TTS技术根据第二种语言的文本表示产生第二种语言的语音输出。
然而,现有的TTS(文本-语音)***通常产生缺乏情感的单调的语音。在现有的TTS***中,首先对所有字/词的标准发音按合成音记录并对此进行分析,然后在字/词级将用于标准“表述”的相关参数存储在字典中。通过字典中定义的标准控制参数和常用的平滑技术由各个合成分量产生合成的字/词。这种语音生成方式不能基于语句的含义和讲话者的情绪状态生成可以生动地表征情感的语音。
为此,本发明提出了一种具有情感的语音-语音翻译***和方法。
根据本发明的具有情感的语音-语音翻译***和方法,利用从原始语音信号中获得的情感表述参数驱动标准TTS***,产生可以带有情感的语音输出。
本发明的一个目标是提供一种具有情感的语音-语音翻译***,包括:语音识别装置,用于对语言A的语音表示进行识别,形成语言A的文本表示;机器翻译装置,用于将语言A的文本表示翻译成语言B的文本表示;文本-语音生成装置,用于根据语言B的文本表示生成语言B的语音表示,所述具有情感的语音-语音翻译***的特征在于还包括:情感表述参数检测装置,用于从语言A的语音表示中提取情感表述参数;以及情感表述参数映射装置,用于将情感表述参数检测装置提取的情感表述参数从语言A映射到语言B,并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
本发明的再一个目标是提供一种可以传达情感的语音-语音翻译方法,包括以下步骤:对语言A的语音表示进行识别,形成语言A的文本表示;将语言A的文本表示翻译成语言B的文本表示;根据语言B的文本表示生成语言B的语音表示,所述能够传达情感的语音-语音翻译方法的特征在于还包括以下步骤:从语言A的语音表示中提取情感表述参数;以及将在情感表述参数检测步骤提取的情感表述参数从语言A映射到语言B,并将映射结果作用于文本-语音生成步骤,从而产生可以传达情感的语音输出。
此外,本发明还提供了可以在同种语言的不同方言之间进行语音-语音翻译的方法和***。
所述具有情感的语音-语音翻译***包括:语音识别装置,用于对一种方言A的语音进行识别,形成其文本表示;文本-语音生成装置,根据所述文本表示生成另一种方言B的语音表示;所述具有情感的语音-语音翻译***的特征还在于包括:情感表述参数检测装置,用于从方言A的语音表示中提取情感表述参数;以及情感表述参数映射装置,用于将情感表述参数检测装置提取的情感表述参数从方言A映射到方言B并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
所述能够传达情感的语音-语音翻译方法包括以下步骤:对一种方言A的语音进行识别,形成其文本表示;根据所述文本表示生成另一种方言B的语音表示;所述能够传达情感的语音-语音翻译方法的特征还在于包括以下步骤:从方言A的语音表示中提取情感表述参数;以及将情感表述参数检测步骤提取的情感表述参数从方言A映射到方言B并将映射结果作用于文本-语音生成步骤,从而产生可以传达情感的语音输出。
本发明的具有情感的语音-语音翻译***和方法可以改善翻译***或TTS***的语音输出质量。
通过以下结合附图的说明,本发明的其它目标和优点将会更加清楚。详细的描述和具体的实施例只是为了进行说明而提供的,因为在本发明的精神范围内对于这些实施例的添加和改进对于本领域技术人员来说是显而易见的。
图1是根据本发明一优选实施例的具有情感的语音-语音翻译***的方框图;
图2是根据本发明一优选实施例的图1中的情感表述参数检测装置的方框图;
图3是根据本发明一优选实施例的图1中的情感表述参数映射装置的方框图;
图4是根据本发明另一优选实施例的具有情感的语音-语音翻译***的方框图;
图5是一流程图,描述了根据本发明一优选实施例的可以传达情感的语音-语音翻译过程;
图6是一流程图,描述了根据本发明一优选实施例的情感表述参数检测过程;
图7是一流程图,描述了根据本发明一优选实施例的情感表述参数映射以及调节TTS参数的形成过程;以及
图8是一流程图,描述了根据本发明另一优选实施例的可以传达情感的语音-语音翻译过程。
如图1所示,根据末发明一优选实施例的具有情感的语音-语音翻译***包括:语音识别装置101、机器翻译装置102、文本-语音生成装置103、情感表述参数检测装置104以及情感表述参数映射装置105。其中,语音识别装置101用于对语言A的语音表示进行识别,形成语言A的文本表示;机器翻译装置102用于将语言A的本文表示翻译成语言B的文本表示;文本-语音生成装置103用于根据语言B的文本表示生成语言B的语音表示;情感表示参数检测装置104用于从语言A的语音表示中提取情感表述参数;并且,情感表述参数映象装置105用于将情感表述参数检测装置提取的情感表述参数从语言A映射到语言B,并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
正如本领域技术人员所熟知的,语音识别装置、机器翻译装置以及TTS装置都是可以使用现有技术来实现的。因此,以下只结合图2和图3描述一下根据本发明优选实施例的情感表述参数检测装置和情感表述参数映射装置。
首先介绍一下可以反映语音情感的关键性参数。可以在不同层次上定义反映语音情感的关键性参数。
1.在字/词级,反映语音情感的关键性参数有:速度(持续时间)、响度(能量级)以及基频(包括范围和音调)。注意,由于一个词通常由几个语音合成单元(在汉语中大多数词由两个以上字/音节组成),所以还必须在语音合成单元级以向量或时间序列的形式定义语音的情感表述参数。例如,当人们很生气时,他/她所说的字/词的响度就非常高,字/词的基频也比通常高,并且其包络不平滑,而且许多基频消失,同时持续时间变短。另一例子是,当人们在正常情况下说话时,可能会强调语句中的一些字/词,这样这些字/词的基频、响度、持续时间就会发生变化。
2.在语句级,我们将焦点放在语调上。例如,疑问句的包络不同于陈述句。
以下就结合图2和图3描述一下根据本发明一优选实施例的情感表述参数检测装置以及情感表述参数映射装置是如何工作的。即如何提取情感表述参数以及如何利用提取的情感表述参数驱动现有的TTS装置产生能够传达情感的语音输出。
如图2所示,本发明情感表述参数检测装置包括以下模块:
模块A:分析说话者语音的基频、持续时间和响度。在模块A,我们利用语音识别的结果进行语音和字/词(或字符)之间的对准。并按如下结构记录对准结果:
句子内容
{
字/词编号
字/词内容
{ 文本;
文本的语音;
字/词位置;
字/词属性;
语音开始时间;
语音结束时间;
*语音的波形;
语音参数内容;
{*绝对参数;
*相对参数;
}
}
}
然后我们使用Short Time Analyze(短时分析)方法得到如下参数:
1.每个短时窗口的短时能量。
2.检测字/词的基频包络。
3.字/词的持续时间。
由以上参数进一步得出:
1.字/词中平均短时能量。
2.字/词中最大的N个短时能量。
3.基频范围、最大基频、最小基频以及一个字/词中的基频数。
4.字/词的持续时间。
模块B:该模块根据语音识别的结果(文本),使用标准语言A的TTS***产生不表征情感的语言A的语音。然后分析无情感TTS的参数。以此参数作为基准。
模块C:分析有情感语音和标准语音之间以上参数的变化。其原因是不同人讲话的响度、基频以及速度可能不同,即使相同的人,在不同时间说相同的语句其参数也可能不同,所以在根据基准语音分析字/词在语句中的作用时,我们使用相对参数。
我们使用对参数进行归一化的方法从绝对参数中得到相对参数:
1.字/词中相对平均短时能量。
2.字/词中最大的N个相对短时能量。
3.字/词中相对基频范围、相对最大基频、相对最小基频。
4.字/词的相对持续时间。
模块D:根据来自标准语音参数的基准,在字/词级和语句级分析表述情感的参数。
1.在字/词级,我们比较有情感语音和标准语音之间的相对参数,以检测出哪些字/词的参数发生了大的变化。
2.在语句级,根据变化的等级以及字/词的特性对字/词排序,找出语句中关键的带有情感表述的字/词。
模块E:根据参数比较的结果和有关什么样的情感将引起哪参数变化的知识,得出句子的表征情感的参数,即检测出情感表述参数,并按以下结构记录:
情感表述信息
{
语句的情感表述类型;
字/词内容
{ 文本;
情感表述类型;
情感表述级;
*情感表述参数;
};
}
例如,当用汉语生气地说“闭嘴!”时,很多基频消失,并且其绝对响度大于基准,同时相对响度非常尖锐,持续时间大大短于基准,于是可以在语句级得出该句子的情感为生气。情感表述关键词是“闭嘴”。
下面再结合图3A,3B描述一下根据本发明一优选实施例的情感表述参数映射装置是如何构成的。其包括:
模块A:用于根据机器翻译的结果把表征情感的参数结构从语言A映射到语言B。其关键是找出语言A中对于表述情感来说是关键的字/词对应于语言B中的哪些字/词。其映射结果如下:
语言B的语句内容
{
语句情感表述类型;
语言B的字/词内容;
{ 文本;
文本的语音;
在语句中的位置;
在语言A中的字/词情感表述信息;
在语言B中的字/词情感表述信息;
}
}
语言A的字/词情感表述
{ 文本;
情感表述类型;
情感表述级;
*情感表述参数;
}
语言B的字/词情感表述
{
情感表述类型;
情感表述级;
*情感表述参数;
}
模块B:根据映射结果产生可以驱动语言B的TTS的调节参数,在此,我们使用语言B的情感表述参数表,其根据情感表述参数给出字/词的合成参数。表中参数是一相对调节参数。
具体过程如图3B所示,语言B的情感表述参数经过两级变换表(字/词级变换表和语句级变换表)变换之后形成用于调节TTS的参数。
两级变换表分别是:
1.字/词级变换表,用于将情感表述参数变换成调节TTS的参数,表的结构如下:
字/词TTS调节参数的结构
{
情感表述参数类型;
情感表述参数;
TTS调节参数;
};
TTS调节参数的结构
{
float Fsen_P_rate;
float Fsen_am_rate;
float Fph_t_rate;
struct Equation Expressive_equat;(用于改变基频包络的曲线特性)
};
2.语句级变换表,用于根据语句的类型给出语句级上的韵律参数,该韵律参数可用于对上述字/词TTS调节参数做进一步调整。
语句级TTS调节参数的结构
{
情感类型;
字/词位置;
字/词属性;
TTS调节参数;
};
TTS调节参数的结构
{
float Fsen_P_rate;
float Fsen_am_rate;
float Fph_t_rate;
struct Equation Expressive_equat;(用于改变基频包络的曲线特性)
};
以上结合具体实施例描述了根据本发明的语音-语音翻译***。正如本领域一般技术人员所认识别的,本发明还可以用于在同一种语言的不同方言之间进行语音-语音的翻译。如图4所示,该***类似于图1所示的翻译***,区别仅在于,在同种语言不同方言之间进行语音翻译就不再需要机器翻译装置。具体地说,语音识别装置10l用于对一种方言A的语音进行识别,形成其文本表示;文本-语音生成装置103根据所述文本表示生成另一种方言B的语音表示;情感表述参数检测装置104用于从方言A的语音表示中提取情感表述参数;并且,情感表述参数映射装置105用于将情感表述参数检测装置104提取的情感表述参数从方言A映射到方言B,并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
以上结合图1-图4介绍了根据本发明的具有情感的语音-语音翻译***,其利用从原始语音信号等中获得的情感表述参数驱动标准TTS***,产生可以传达情感的语音输出。
本发明还提供了一种可以传达情感的语音-语音翻译方法。下面就结合图5-图8描述一下根据本发明一个具体实施例的可以传达情感的语音-语音翻译过程。
如图5所示,根据末发明一优选实施例的可以传达情感的语音-语音翻译方法包括以下步骤:对语言A的语音表示进行识别,形成语言A的文本表示(501);将语言A的本文表示翻译成语言B的文本表示(502);根据语言B的文本表示生成语言B的语音表示(503);从语言A的语音表示中提取情感表述参数(504);以及,将情感表述参数检测步骤提取的情感表述参数从语言A映射到语言B,并将映射结果作用于文本-语音生成步骤,从而产生可以传达情感的语音输出(505)。
以下就结合图6和图7描述一下根据本发明一优选实施例的情感表述参数检测过程以及情感表述参数映射过程。即如何提取情感表述参数以及如何利用提取的情感表述参数驱动现有的TTS过程产生可以传达情感的语音输出。
如图6所示,本发明情感表述参数检测过程包括以下步骤:
步骤601:分析说话者语音的基频、持续时间和响度。在步骤601,我们利用语音识别的结果进行语音和字/词(或字符)之间的对准。然后我们使用Short Time Analyze(短时分析)方法得到如下参数:
1.每个短时窗口的短时能量。
2.检测字/词的基基频的包络。
3.字/词的持续时间。
由以上参数进一步得出:
1.字/词中平均短时能量。
2.字/词中最大的N个短时能量。
3.基频范围、最大基频、最小基频以及一个字/词中的基频数。
4.字/词的持续时间。
步骤602:根据语音识别的结果(文本),使用标准语言A的TTS过程产生不表征情感的语言A的语音。然后分析无情感TTS的参数。以此参数作为基准。
步骤603:分析有情感语音和标准语音之间以上参数的变化。其原因是不同人讲话的响度、基频以及速度可能不同,即使相同的人,在不同时间说相同的语句其参数也可能不同,所以在根据基准语音分析字/词在语句中的作用时,我们使用相对参数。
我们使用对参数进行归一化的方法从绝对参数中得到相对参数:
1.字/词中相对平均短时能量。
2.字/词中最大的N个相对短时能量。
3.字/词中相对基频范围、相对最大基频、相对最小基频。
4.字/词的相对持续时间。
步骤604:根据来自标准语音参数的基准,在字/词级和语句级分析表述情感的参数。
1.在字/词级,我们比较有情感语音和标准语音之间的相对参数,以检测出哪些字/词的参数发生了大的变化。
2.在语句级,根据变化的等级以及字/词的特性对字/词排序,找出语句中关键的带有情感表述的字/词。
步骤605:根据参数比较的结果和有关什么样的情感将引起哪参数变化的知识,得出句子的表征情感的参数,即检测出情感表述参数。
下面再结合图7描述一下根据本发明一优选实施例的情感表述参数映射过程。其包括:
步骤701:用于根据机器翻译的结果把表征情感的参数结构从语言A映射到语言B。其关键是找出语言A中对于表述情感来说是重要的字/词对应于语言B中的哪些字/词。
步骤702:根据映射结果产生可以驱动语言B的TTS的参数,以产生表征情感的语音输出。在此,我们使用语言B的情感表述参数表,其根据情感表述参数给出字/词的合成参数。
以上结合具体实施例描述了根据本发明的语音-语音翻译方法。正如本领域一般技术人员所认识别的,本发明还可以用于在同一种语言的不同方言之间进行语音-语音的翻译。如图8所示,该过程类似于图5所示的翻译过程,区别仅在于,在同种语言不同方言之间进行语音翻译就不再需要文本翻译过程。具体地说包括以下步骤:对一种方言A的语音进行识别,形成其文本表示(801);根据所述文本表示生成另一种方言B的语音表示(802);从方言A的语音表示中提取情感表述参数(803);以及,将情感表述参数检测步骤提取的情感表述参数从方言A映射到方言B,并将映射结果作用于文本-语音生成过程,从而产生可以传达情感的语音输出(804)。
以上结合附图描述了根据本发明优选实施例的具有情感的语音-语音翻译***和方法。正如本领域技术人员所熟知的,在不背离本发明的精神实质和范围的情况下,本发明可以具有许多修改和变型,本发明将包括所有的这些修改和变型,本发明的保护范围应由所附 来限定。
Claims (20)
1.一种具有情感的语音-语音翻译***,包括:
语音识别装置,用于对语言A的语音表示进行识别,形成语言A的文本表示;
机器翻译装置,用于将语言A的文本表示翻译成语言B的文本表示;
文本-语音生成装置,用于根据语言B的文本表示生成语言B的语音表示,
所述具有情感的语音-语音翻译***的特征在于还包括:
情感表述参数检测装置,用于从语言A的语音表示中提取情感表述参数;以及
情感表述参数映射装置,用于将情感表述参数检测装置提取的情感表述参数从语言A映射到语言B,并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
2.根据权利要求1的***,其特征在于所述情感表述参数检测装置从不同层次提取情感表述参数。
3.根据权利要求2的***,其特征在于所述情感表述参数检测装置从字、词级提取情感表述参数。
4.根据权利要求2的***,其特征在于所述情感表述参数检测装置从语句级提取情感表述参数。
5.根据权利要求1的***,其特征在于所述情感表述参数映射装置把所述情感表述参数从语言A映射到语言B,然后再通过字词级变换映射和语句级变换映射将用于语言B的情感表述参数变换成用于调节文本-语音生成装置的参数。
6.一种具有情感的语音-语音翻译***,包括:
语音识别装置,用于对一种方言A的语音进行识别,形成其文本表示;
文本-语音生成装置,根据所述文本表示生成另一种方言B的语音表示;
所述具有情感的语音-语音翻译***的特征还在于包括:
情感表述参数检测装置,用于从方言A的语音表示中提取情感表述参数;以及
情感表述参数映射装置,用于将情感表述参数检测装置提取的情感表述参数从方言A映射到方言B并将映射结果作用于文本-语音生成装置,使其产生可以传达情感的语音输出。
7.根据权利要求6的***,其特征在于所述情感表述参数检测装置从不同层次提取情感表述参数。
8.根据权利要求7的***,其特征在于所述情感表述参数检测装置从字、词级提取情感表述参数。
9.根据权利要求7的***,其特征在于所述情感表述参数检测装置从语句级提取情感表述参数。
10.根据权利要求6的***,其特征在于所述情感表述参数映射装置把所述情感表述参数从方言A映射到方言B,然后再通过字词级变换映射和语句级变换映射将用于方言B的情感表述参数变换成用于调节TTS的参数。
11.一种能够传达情感的语音-语音翻译方法,包括以下步骤:
对语言A的语音表示进行识别,形成语言A的文本表示;
将语言A的文本表示翻译成语言B的文本表示;
根据语言B的文本表示生成语言B的语音表示,
所述能够传达情感的语音-语音翻译方法的特征在于还包括以下步骤:
从语言A的语音表示中提取情感表述参数;以及
将情感表述参数检测步骤提取的情感表述参数从语言A映射到语言B,并将映射结果作用于文本-语音生成步骤,从而产生可以传达情感的语音输出。
12.根据权利要求11的方法,其特征在于所述情感表述参数检测步骤从不同层次提取情感表述参数。
13.根据权利要求12的方法,其特征在于所述情感表述参数检测步骤从字、词级提取情感表述参数。
14.根据权利要求12的方法,其特征在于所述情感表述参数检测步骤从语句级提取情感表述参数。
15.根据权利要求11的方法,其特征在于所述情感表述参数映射步骤把所述情感表述参数从语言A映射到语言B,然后再通过字词级变换映射和语句级变换映射将用于语言B的情感表述参数变换成用于调节TTS的参数。
16.一种传达表征情感的语音-语音翻译方法,包括以下步骤:
对一种方言A的语音进行识别,形成其文本表示;
根据所述文本表示生成另一种方言B的语音表示;
所述能够传达情感的语音-语音翻译方法的特征还在于包括以下步骤:
从方言A的语音表示中提取情感表述参数;以及
将情感表述参数检测步骤提取的情感表述参数从方言A映射到方言B并将映射结果作用于文本-语音生成步骤,从而产生可以传达情感的语音输出。
17.根据权利要求16的方法,其特征在于所述情感表述参数检测步骤从不同层次提取情感表述参数。
18.根据权利要求17的方法,其特征在于所述情感表述参数检测步骤从字、词级提取情感表述参数。
19.根据权利要求17的方法,其特征在于所述情感表述参数检测步骤从语句级提取情感表述参数。
20.根据权利要求16的方法,其特征在于所述情感表述参数映射步骤把所述情感表述参数从方言A映射到方言B,然后再通过字词级变换映射和语句级变换映射将用于方言B的情感表述参数变换成用于调节TTS的参数。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB011165243A CN1159702C (zh) | 2001-04-11 | 2001-04-11 | 具有情感的语音-语音翻译***和方法 |
PCT/GB2002/001277 WO2002084643A1 (en) | 2001-04-11 | 2002-03-15 | Speech-to-speech generation system and method |
AT02708485T ATE345561T1 (de) | 2001-04-11 | 2002-03-15 | Sprache-zu-sprache erzeugungssystem und verfahren |
DE60216069T DE60216069T2 (de) | 2001-04-11 | 2002-03-15 | Sprache-zu-sprache erzeugungssystem und verfahren |
EP02708485A EP1377964B1 (en) | 2001-04-11 | 2002-03-15 | Speech-to-speech generation system and method |
KR10-2003-7012731A KR20030085075A (ko) | 2001-04-11 | 2002-03-15 | 음성-음성 변환 생성 시스템 및 방법 |
JP2002581513A JP4536323B2 (ja) | 2001-04-11 | 2002-03-15 | 音声−音声生成システムおよび方法 |
US10/683,335 US7461001B2 (en) | 2001-04-11 | 2003-10-10 | Speech-to-speech generation system and method |
US12/197,243 US7962345B2 (en) | 2001-04-11 | 2008-08-23 | Speech-to-speech generation system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB011165243A CN1159702C (zh) | 2001-04-11 | 2001-04-11 | 具有情感的语音-语音翻译***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1379392A true CN1379392A (zh) | 2002-11-13 |
CN1159702C CN1159702C (zh) | 2004-07-28 |
Family
ID=4662524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB011165243A Expired - Lifetime CN1159702C (zh) | 2001-04-11 | 2001-04-11 | 具有情感的语音-语音翻译***和方法 |
Country Status (8)
Country | Link |
---|---|
US (2) | US7461001B2 (zh) |
EP (1) | EP1377964B1 (zh) |
JP (1) | JP4536323B2 (zh) |
KR (1) | KR20030085075A (zh) |
CN (1) | CN1159702C (zh) |
AT (1) | ATE345561T1 (zh) |
DE (1) | DE60216069T2 (zh) |
WO (1) | WO2002084643A1 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226742B (zh) * | 2007-12-05 | 2011-01-26 | 浙江大学 | 基于情感补偿的声纹识别方法 |
CN101178897B (zh) * | 2007-12-05 | 2011-04-20 | 浙江大学 | 利用基频包络剔除情感语音的说话人识别方法 |
CN101346758B (zh) * | 2006-06-23 | 2011-07-27 | 松下电器产业株式会社 | 感情识别装置 |
CN1894740B (zh) * | 2003-12-12 | 2012-07-04 | 日本电气株式会社 | 信息处理***、信息处理方法以及信息处理用程序 |
CN101896803B (zh) * | 2007-12-12 | 2012-09-26 | 诺基亚公司 | 用于从源数据到音频/视频数据的语义媒体转换的方法、设备 |
CN101685634B (zh) * | 2008-09-27 | 2012-11-21 | 上海盛淘智能科技有限公司 | 一种儿童语音情感识别方法 |
CN102054116B (zh) * | 2009-10-30 | 2013-11-06 | 财团法人资讯工业策进会 | 情绪分析方法、情绪分析***及情绪分析装置 |
CN105139848A (zh) * | 2015-07-23 | 2015-12-09 | 小米科技有限责任公司 | 数据转换方法和装置 |
CN105208194A (zh) * | 2015-08-17 | 2015-12-30 | 努比亚技术有限公司 | 语音播报装置及方法 |
CN105551480A (zh) * | 2015-12-18 | 2016-05-04 | 百度在线网络技术(北京)有限公司 | 方言转换方法及装置 |
CN105931631A (zh) * | 2016-04-15 | 2016-09-07 | 北京地平线机器人技术研发有限公司 | 语音合成***和方法 |
CN106910514A (zh) * | 2017-04-30 | 2017-06-30 | 上海爱优威软件开发有限公司 | 语音处理方法及*** |
WO2017114048A1 (zh) * | 2015-12-28 | 2017-07-06 | 努比亚技术有限公司 | 移动终端及联系人标识方法 |
CN109949794A (zh) * | 2019-03-14 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种基于互联网技术的智能语音转换*** |
CN110956950A (zh) * | 2019-12-02 | 2020-04-03 | 联想(北京)有限公司 | 一种数据处理方法、装置和电子设备 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7805307B2 (en) | 2003-09-30 | 2010-09-28 | Sharp Laboratories Of America, Inc. | Text to speech conversion system |
US7865365B2 (en) * | 2004-08-05 | 2011-01-04 | Nuance Communications, Inc. | Personalized voice playback for screen reader |
US8024194B2 (en) * | 2004-12-08 | 2011-09-20 | Nuance Communications, Inc. | Dynamic switching between local and remote speech rendering |
TWI281145B (en) * | 2004-12-10 | 2007-05-11 | Delta Electronics Inc | System and method for transforming text to speech |
US20080249776A1 (en) * | 2005-03-07 | 2008-10-09 | Linguatec Sprachtechnologien Gmbh | Methods and Arrangements for Enhancing Machine Processable Text Information |
US8224647B2 (en) | 2005-10-03 | 2012-07-17 | Nuance Communications, Inc. | Text-to-speech user's voice cooperative server for instant messaging clients |
US20070174326A1 (en) * | 2006-01-24 | 2007-07-26 | Microsoft Corporation | Application of metadata to digital media |
US7983910B2 (en) * | 2006-03-03 | 2011-07-19 | International Business Machines Corporation | Communicating across voice and text channels with emotion preservation |
US20080003551A1 (en) * | 2006-05-16 | 2008-01-03 | University Of Southern California | Teaching Language Through Interactive Translation |
US8706471B2 (en) * | 2006-05-18 | 2014-04-22 | University Of Southern California | Communication system using mixed translating while in multilingual communication |
US8032355B2 (en) * | 2006-05-22 | 2011-10-04 | University Of Southern California | Socially cognizant translation by detecting and transforming elements of politeness and respect |
US8032356B2 (en) * | 2006-05-25 | 2011-10-04 | University Of Southern California | Spoken translation system using meta information strings |
US9685190B1 (en) * | 2006-06-15 | 2017-06-20 | Google Inc. | Content sharing |
US8510113B1 (en) * | 2006-08-31 | 2013-08-13 | At&T Intellectual Property Ii, L.P. | Method and system for enhancing a speech database |
US7860705B2 (en) * | 2006-09-01 | 2010-12-28 | International Business Machines Corporation | Methods and apparatus for context adaptation of speech-to-speech translation systems |
US20080147409A1 (en) * | 2006-12-18 | 2008-06-19 | Robert Taormina | System, apparatus and method for providing global communications |
JP4213755B2 (ja) * | 2007-03-28 | 2009-01-21 | 株式会社東芝 | 音声翻訳装置、方法およびプログラム |
US20080300855A1 (en) * | 2007-05-31 | 2008-12-04 | Alibaig Mohammad Munwar | Method for realtime spoken natural language translation and apparatus therefor |
JP2009048003A (ja) * | 2007-08-21 | 2009-03-05 | Toshiba Corp | 音声翻訳装置及び方法 |
JP2009186820A (ja) * | 2008-02-07 | 2009-08-20 | Hitachi Ltd | 音声処理システム、音声処理プログラム及び音声処理方法 |
JP2009189797A (ja) * | 2008-02-13 | 2009-08-27 | Aruze Gaming America Inc | ゲーミングマシン |
KR101589433B1 (ko) * | 2009-03-11 | 2016-01-28 | 삼성전자주식회사 | 동시 통역 시스템 |
US8515749B2 (en) * | 2009-05-20 | 2013-08-20 | Raytheon Bbn Technologies Corp. | Speech-to-speech translation |
US20100049497A1 (en) * | 2009-09-19 | 2010-02-25 | Manuel-Devadoss Smith Johnson | Phonetic natural language translation system |
US8566078B2 (en) * | 2010-01-29 | 2013-10-22 | International Business Machines Corporation | Game based method for translation data acquisition and evaluation |
US8412530B2 (en) * | 2010-02-21 | 2013-04-02 | Nice Systems Ltd. | Method and apparatus for detection of sentiment in automated transcriptions |
US20120330643A1 (en) * | 2010-06-04 | 2012-12-27 | John Frei | System and method for translation |
KR101101233B1 (ko) * | 2010-07-07 | 2012-01-05 | 선린전자 주식회사 | 교통카드 기능을 구비한 휴대폰 충전용 젠더 |
US8775156B2 (en) * | 2010-08-05 | 2014-07-08 | Google Inc. | Translating languages in response to device motion |
JP5066242B2 (ja) * | 2010-09-29 | 2012-11-07 | 株式会社東芝 | 音声翻訳装置、方法、及びプログラム |
JP2012075039A (ja) * | 2010-09-29 | 2012-04-12 | Sony Corp | 制御装置、および制御方法 |
US8566100B2 (en) | 2011-06-21 | 2013-10-22 | Verna Ip Holdings, Llc | Automated method and system for obtaining user-selected real-time information on a mobile communication device |
US9213695B2 (en) * | 2012-02-06 | 2015-12-15 | Language Line Services, Inc. | Bridge from machine language interpretation to human language interpretation |
US9390085B2 (en) | 2012-03-23 | 2016-07-12 | Tata Consultancy Sevices Limited | Speech processing system and method for recognizing speech samples from a speaker with an oriyan accent when speaking english |
CN103543979A (zh) * | 2012-07-17 | 2014-01-29 | 联想(北京)有限公司 | 一种输出语音的方法、语音交互的方法及电子设备 |
US20140058879A1 (en) * | 2012-08-23 | 2014-02-27 | Xerox Corporation | Online marketplace for translation services |
CN103714048B (zh) * | 2012-09-29 | 2017-07-21 | 国际商业机器公司 | 用于校正文本的方法和*** |
JP2015014665A (ja) * | 2013-07-04 | 2015-01-22 | セイコーエプソン株式会社 | 音声認識装置及び方法、並びに、半導体集積回路装置 |
JP6250013B2 (ja) | 2014-11-26 | 2017-12-20 | ネイバー コーポレーションNAVER Corporation | コンテンツ参加翻訳装置、及びそれを利用したコンテンツ参加翻訳方法 |
US9747282B1 (en) | 2016-09-27 | 2017-08-29 | Doppler Labs, Inc. | Translation with conversational overlap |
CN106782521A (zh) * | 2017-03-22 | 2017-05-31 | 海南职业技术学院 | 一种语音识别*** |
US11328130B2 (en) * | 2017-11-06 | 2022-05-10 | Orion Labs, Inc. | Translational bot for group communication |
US10565994B2 (en) * | 2017-11-30 | 2020-02-18 | General Electric Company | Intelligent human-machine conversation framework with speech-to-text and text-to-speech |
CN108363377A (zh) * | 2017-12-31 | 2018-08-03 | 广州展讯信息科技有限公司 | 一种应用于驾考***的数据采集装置及方法 |
EP3864575A4 (en) | 2018-10-09 | 2021-12-01 | Magic Leap, Inc. | VIRTUAL AND AUGMENTED REALITY SYSTEMS AND PROCESSES |
US11159597B2 (en) * | 2019-02-01 | 2021-10-26 | Vidubly Ltd | Systems and methods for artificial dubbing |
US11202131B2 (en) | 2019-03-10 | 2021-12-14 | Vidubly Ltd | Maintaining original volume changes of a character in revoiced media stream |
US11361780B2 (en) * | 2021-12-24 | 2022-06-14 | Sandeep Dhawan | Real-time speech-to-speech generation (RSSG) apparatus, method and a system therefore |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4352634A (en) | 1980-03-17 | 1982-10-05 | United Technologies Corporation | Wind turbine blade pitch control system |
JPS56164474A (en) | 1981-05-12 | 1981-12-17 | Noriko Ikegami | Electronic translating machine |
GB2165969B (en) | 1984-10-19 | 1988-07-06 | British Telecomm | Dialogue system |
JPH01206463A (ja) | 1988-02-14 | 1989-08-18 | Kenzo Ikegami | 電子翻訳装置 |
JPH02183371A (ja) | 1989-01-10 | 1990-07-17 | Nec Corp | 自動通訳装置 |
JPH04141172A (ja) | 1990-10-01 | 1992-05-14 | Toto Ltd | 蒸気及び冷気発生切換装置 |
JPH04355555A (ja) | 1991-05-31 | 1992-12-09 | Oki Electric Ind Co Ltd | 音声伝送方法 |
JPH0772840B2 (ja) | 1992-09-29 | 1995-08-02 | 日本アイ・ビー・エム株式会社 | 音声モデルの構成方法、音声認識方法、音声認識装置及び音声モデルの訓練方法 |
SE500277C2 (sv) | 1993-05-10 | 1994-05-24 | Televerket | Anordning för att öka talförståelsen vid översätttning av tal från ett första språk till ett andra språk |
SE516526C2 (sv) | 1993-11-03 | 2002-01-22 | Telia Ab | Metod och anordning vid automatisk extrahering av prosodisk information |
SE504177C2 (sv) | 1994-06-29 | 1996-12-02 | Telia Ab | Metod och anordning att adaptera en taligenkänningsutrustning för dialektala variationer i ett språk |
SE9600959L (sv) * | 1996-03-13 | 1997-09-14 | Telia Ab | Metod och anordning vid tal-till-talöversättning |
SE9601811L (sv) * | 1996-05-13 | 1997-11-03 | Telia Ab | Metod och system för tal-till-tal-omvandling med extrahering av prosodiinformation |
JPH10187178A (ja) | 1996-10-28 | 1998-07-14 | Omron Corp | 歌唱の感情分析装置並びに採点装置 |
US5933805A (en) * | 1996-12-13 | 1999-08-03 | Intel Corporation | Retaining prosody during speech analysis for later playback |
SE519679C2 (sv) | 1997-03-25 | 2003-03-25 | Telia Ab | Metod vid talsyntes |
SE520065C2 (sv) | 1997-03-25 | 2003-05-20 | Telia Ab | Anordning och metod för prosodigenerering vid visuell talsyntes |
JPH11265195A (ja) | 1998-01-14 | 1999-09-28 | Sony Corp | 情報配信システム、情報送信装置、情報受信装置、情報配信方法 |
JP3884851B2 (ja) | 1998-01-28 | 2007-02-21 | ユニデン株式会社 | 通信システムおよびこれに用いられる無線通信端末装置 |
-
2001
- 2001-04-11 CN CNB011165243A patent/CN1159702C/zh not_active Expired - Lifetime
-
2002
- 2002-03-15 AT AT02708485T patent/ATE345561T1/de not_active IP Right Cessation
- 2002-03-15 EP EP02708485A patent/EP1377964B1/en not_active Expired - Lifetime
- 2002-03-15 JP JP2002581513A patent/JP4536323B2/ja not_active Expired - Lifetime
- 2002-03-15 WO PCT/GB2002/001277 patent/WO2002084643A1/en active IP Right Grant
- 2002-03-15 DE DE60216069T patent/DE60216069T2/de not_active Expired - Lifetime
- 2002-03-15 KR KR10-2003-7012731A patent/KR20030085075A/ko not_active Application Discontinuation
-
2003
- 2003-10-10 US US10/683,335 patent/US7461001B2/en not_active Expired - Fee Related
-
2008
- 2008-08-23 US US12/197,243 patent/US7962345B2/en not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1894740B (zh) * | 2003-12-12 | 2012-07-04 | 日本电气株式会社 | 信息处理***、信息处理方法以及信息处理用程序 |
US8433580B2 (en) | 2003-12-12 | 2013-04-30 | Nec Corporation | Information processing system, which adds information to translation and converts it to voice signal, and method of processing information for the same |
US8473099B2 (en) | 2003-12-12 | 2013-06-25 | Nec Corporation | Information processing system, method of processing information, and program for processing information |
CN101346758B (zh) * | 2006-06-23 | 2011-07-27 | 松下电器产业株式会社 | 感情识别装置 |
CN101226742B (zh) * | 2007-12-05 | 2011-01-26 | 浙江大学 | 基于情感补偿的声纹识别方法 |
CN101178897B (zh) * | 2007-12-05 | 2011-04-20 | 浙江大学 | 利用基频包络剔除情感语音的说话人识别方法 |
CN101896803B (zh) * | 2007-12-12 | 2012-09-26 | 诺基亚公司 | 用于从源数据到音频/视频数据的语义媒体转换的方法、设备 |
CN101685634B (zh) * | 2008-09-27 | 2012-11-21 | 上海盛淘智能科技有限公司 | 一种儿童语音情感识别方法 |
CN102054116B (zh) * | 2009-10-30 | 2013-11-06 | 财团法人资讯工业策进会 | 情绪分析方法、情绪分析***及情绪分析装置 |
CN105139848B (zh) * | 2015-07-23 | 2019-01-04 | 小米科技有限责任公司 | 数据转换方法和装置 |
CN105139848A (zh) * | 2015-07-23 | 2015-12-09 | 小米科技有限责任公司 | 数据转换方法和装置 |
CN105208194A (zh) * | 2015-08-17 | 2015-12-30 | 努比亚技术有限公司 | 语音播报装置及方法 |
CN105551480A (zh) * | 2015-12-18 | 2016-05-04 | 百度在线网络技术(北京)有限公司 | 方言转换方法及装置 |
CN105551480B (zh) * | 2015-12-18 | 2019-10-15 | 百度在线网络技术(北京)有限公司 | 方言转换方法及装置 |
WO2017114048A1 (zh) * | 2015-12-28 | 2017-07-06 | 努比亚技术有限公司 | 移动终端及联系人标识方法 |
CN105931631A (zh) * | 2016-04-15 | 2016-09-07 | 北京地平线机器人技术研发有限公司 | 语音合成***和方法 |
CN106910514A (zh) * | 2017-04-30 | 2017-06-30 | 上海爱优威软件开发有限公司 | 语音处理方法及*** |
CN109949794A (zh) * | 2019-03-14 | 2019-06-28 | 合肥科塑信息科技有限公司 | 一种基于互联网技术的智能语音转换*** |
CN109949794B (zh) * | 2019-03-14 | 2021-04-16 | 山东远联信息科技有限公司 | 一种基于互联网技术的智能语音转换*** |
CN110956950A (zh) * | 2019-12-02 | 2020-04-03 | 联想(北京)有限公司 | 一种数据处理方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP2005502102A (ja) | 2005-01-20 |
KR20030085075A (ko) | 2003-11-01 |
US7461001B2 (en) | 2008-12-02 |
ATE345561T1 (de) | 2006-12-15 |
US7962345B2 (en) | 2011-06-14 |
US20080312920A1 (en) | 2008-12-18 |
EP1377964A1 (en) | 2004-01-07 |
US20040172257A1 (en) | 2004-09-02 |
JP4536323B2 (ja) | 2010-09-01 |
CN1159702C (zh) | 2004-07-28 |
WO2002084643A1 (en) | 2002-10-24 |
DE60216069D1 (de) | 2006-12-28 |
EP1377964B1 (en) | 2006-11-15 |
DE60216069T2 (de) | 2007-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1159702C (zh) | 具有情感的语音-语音翻译***和方法 | |
CN1168068C (zh) | 语音合成***与语音合成方法 | |
CN1183510C (zh) | 根据基音信息识别声调语言的方法与设备 | |
CN1057625C (zh) | 使用神经网络变换文本为声频信号的方法 | |
US8498857B2 (en) | System and method for rapid prototyping of existing speech recognition solutions in different languages | |
CN1160699C (zh) | 语音识别*** | |
CN100347741C (zh) | 移动语音合成方法 | |
CN101042867A (zh) | 语音识别设备和方法 | |
CN1622195A (zh) | 语音合成方法和语音合成*** | |
CN1681002A (zh) | 语音合成***及方法及程序产品 | |
CN1461463A (zh) | 语音合成设备 | |
JP2009048003A (ja) | 音声翻訳装置及び方法 | |
CN1141698C (zh) | 对输入语音进行语音识别的音程标准化装置 | |
CN1731510A (zh) | 混合语言文语转换 | |
CN101051458A (zh) | 基于组块分析的韵律短语预测方法 | |
CN1692405A (zh) | 语音处理设备、语言处理方法、存储介质及程序 | |
CN1956057A (zh) | 一种基于决策树的语音时长预测装置及方法 | |
CN1315722A (zh) | 用于汉语语音识别***的连续语音处理方法和装置 | |
CN1538384A (zh) | 有效地实施普通话汉语语音识别字典的***和方法 | |
Qian et al. | Tone recognition in continuous Cantonese speech using supratone models | |
CN1152336C (zh) | 汉语音位-视位参数的计算机转换方法和*** | |
Duan et al. | Comparison of syllable/phone hmm based mandarin tts | |
CN1236928A (zh) | 计算机辅助汉语智能教学***及其实现方法 | |
Mustafa et al. | A two-stage adaptation towards automatic speech recognition system for Malay-speaking children | |
Sherpa et al. | Pioneering Dzongkha text-to-speech synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20040728 |