CN110164413A - 语音合成方法、装置、计算机设备和存储介质 - Google Patents
语音合成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110164413A CN110164413A CN201910394665.8A CN201910394665A CN110164413A CN 110164413 A CN110164413 A CN 110164413A CN 201910394665 A CN201910394665 A CN 201910394665A CN 110164413 A CN110164413 A CN 110164413A
- Authority
- CN
- China
- Prior art keywords
- processed
- word
- text
- sound
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 28
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 39
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 16
- 230000033764 rhythmic process Effects 0.000 abstract description 16
- 230000007704 transition Effects 0.000 abstract description 16
- 238000006243 chemical reaction Methods 0.000 abstract description 7
- 238000001228 spectrum Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本申请提出一种语音合成方法、装置、计算机设备和存储介质，其中，方法包括：通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并一个句子内的子文本语音转换结果片段后，不影响整体效果，在提高语音合成效率的同时保证语音效果，解决了现有技术中的将一个句子拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差，或者是等待语音合成***生成完整的语音合成结果才能下发给相关设备进行播放导致时间延迟较大的技术问题。
Description
技术领域
本申请涉及语音处理技术领域，尤其涉及一种语音合成方法、装置、计算机设备和存储介质。
背景技术
通常，传统语音合成***中，只能针对一整句进行语音合成，无法接受一个词或者一个短语的语音合成，或者说拼接短语片段的合成结果形成的最终合成语音体验很差，容易产生顿挫的感觉，而且语音片段之间的衔接十分不自然。尤其在一些实时场景中，例如同声传译场景中，需要根据说话人的翻译结果，实时的生成语音信号，如果等待说话人讲完一句话或者拼接部分翻译结果，都会导致语音合成效果不是很理想。
相关技术中，根据需要一次生成若干词的文本语音转换结果，单独进行调用播放；或者是等待语音合成***生成完整的文本句子，统一生成一个文本语音转换结果，然而，一个句子如果拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差；以及等待语音合成***生成完整的句子时延较大，需要等待生成完整的语音合成结果才能下发给相关设备进行播放。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种语音合成方法、装置、计算机设备和存储介质，用于解决现有技术中的将一个句子拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差，或者是等待语音合成***生成完整的语音合成结果才能下发给相关设备进行播放导致时间延迟较大的技术问题，通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并一个句子内的子文本语音转换结果片段后，不影响整体效果，在提高语音合成效率的同时保证语音效果。
为达上述目的，本申请第一方面实施例提出了一种语音合成方法，包括：
获取待处理文本，并对所述待处理文本进行切词处理生成多个待处理词语；
对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数；
获取第N个待处理词语之前的已处理词语的N-1个声音特征；
根据所述第N个语义空间向量和所述已处理词语的N-1个声音特征进行解码处理生成与所述第N个待处理词语对应的目标声音特征；
根据所述目标声音特征生成与所述第N个待处理词语对应的第N个语音，并根据多个所述第N个语音合成与所述待处理文本对应的语音信息。
本实施例的语音合成方法，通过获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数，获取第N个待处理词语之前的已处理词语的N-1个声音特征，根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征，根据目标声音特征生成与第N个待处理词语对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息，解决了现有技术中的将一个句子拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差，或者是等待语音合成***生成完整的语音合成结果才能下发给相关设备进行播放导致时间延迟较大的技术问题，通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并一个句子内的子文本语音转换结果片段后，不影响整体效果，在提高语音合成效率的同时保证语音效果。
为达上述目的，本申请第二方面实施例提出了一种语音合成装置，包括：
第一获取模块，用于获取待处理文本，并对所述待处理文本进行切词处理生成多个待处理词语；
编码模块，用于对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数；
第二获取模块，用于获取第N个待处理词语之前的已处理词语的N-1个声音特征；
解码模块，用于根据所述第N个语义空间向量和所述已处理词语的N-1个声音特征进行解码处理生成与所述第N个待处理词语对应的目标声音特征；
处理模块，用于根据所述目标声音特征生成与所述第N个待处理词语对应的第N个语音，并根据多个所述第N个语音合成与所述待处理文本对应的语音信息。
本实施例的语音合成装置，通过获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数，获取第N个待处理词语之前的已处理词语的N-1个声音特征，根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征，根据目标声音特征生成与第N个待处理词语对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息，解决了现有技术中的将一个句子拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差，或者是等待语音合成***生成完整的语音合成结果才能下发给相关设备进行播放导致时间延迟较大的技术问题，通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并一个句子内的子文本语音转换结果片段后，不影响整体效果，在提高语音合成效率的同时保证语音效果。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的语音合成方法。
为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的语音合成方法。
为达上述目的，本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如第一方面实施例所述的语音合成方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种语音合成方法的流程示意图；
图2为本申请实施例所提供的另一种语音合成方法的流程示意图；
图3为本申请实施例所提供的一种语音合成方法的示例图；
图4为本申请实施例所提供的一种语音合成装置的结构示意图；以及
图5为本申请实施例所提供的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的语音合成方法、装置、计算机设备和存储介质。
图1为本申请实施例所提供的一种语音合成方法的流程示意图。
如图1所示，该语音合成方法可以包括以下步骤：
步骤101，获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语。
在实际应用中，有很多种场景需要实时生成语音信息并进行播放，现有技术中，一个句子如果拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差；或者等待生成完整的语音合成结果才下发给相关设备进行播放存在时间延迟比较大的问题。
因此，本申请提出一种语音合成方法，通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并成一个句子的语音转换结果，不影响整体效果，在提高语音合成效率的同时保证语音效果。
具体地，获取待处理文本，也就是需要进行语音合成处理的文本，可以理解的是，待处理文本可以根据不同用户不同场景等因素进行获取，比如同声传译场景中，翻译的文本结果可以作为待处理文本；再比如用户根据需要通过相关设备输入的文本作为待处理文本。
进一步地，在获取待处理文本后，对待处理文本进行切词处理生成多个待处理词语，可以采用很多中方式进行切词处理，比如对待处理文本进行分析，按照词性、词语之间的相关性进行切词处理；再比如根据用户习惯和待处理文本意图等特征对待处理文本进行切词处理。
步骤102，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数。
步骤103，获取第N个待处理词语之前的已处理词语的N-1个声音特征。
具体地，在本申请实施例中，语音合成模型可以采用端到端框架实现，分为编码器和解码器两个主要部分，其中，编码器主要针对待处理词语进行编码，映射成语义空间向量，解码器主要将语义空间向量解码为声音特征。其中，声音特征可以为梅尔频谱、线性预测编码等，为了保证合成声音效果优先选取梅尔频谱。
因此，在对第N个待处理词语进行处理时，首先对第N个待处理词语进行编码处理生成对应的第N个语义空间向量，比如对第1个待处理词语进行编码处理生成对应的第1个语义空间向量；再比如对第5个待处理词语进行编码处理生成对应的第5个语义空间向量。
进一步地，获取第N个待处理词语之前的已处理词语的N-1个声音特征，可以理解的是，第1个待处理词语之前是没有已处理词语的，也就是没有已处理词语的声音特征；比如第5个待处理词语，也就是之前已经有4个已处理词语。因此获取4个声音特征分别是第1声音特征、第2声音特征和第3声音特征和第四声音特征，当声音特征为梅尔频谱时也就是4个梅尔频谱。
需要说明的的是，可以采用很多中方式获取第N个待处理词语之前的已处理词语的N-1个声音特征，举例说明如下：
第一种示例，在预设数据库中搜索已处理词语对应的N-1个声音特征。
具体地，在处理完词语生成对应声音特征后可以将其存储在对应的数据库中，从而可以在预设数据库中直接搜索已处理词语对应的N-1个声音特征。
第二种示例，获取N-1个已处理词语，并实时分别对每一个已处理词语进行编码和解码生成N-1个声音特征。
具体地，还可以实时对对每一个已处理词语进行编码和解码生成N-1个声音特征。
步骤104，根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征。
具体地，比如上述例子中的第1个待处理词语之前是没有已处理词语的，也就是没有已处理词语的声音特征，直接根据第1个语义空间向量生成与第1个待处理词语对应的目标声音特征；再比如上述例子中，根据第5个语义空间向量和第1声音特征、第2声音特征和第3声音特征和第四声音特征生成与第5个待处理词语对应的目标声音特征。
可以理解的是，为了进一提高语音合成的效率和准确性，可以采用很多种方式根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征，举例说明如下：
第一种示例，对N-1个声音特征进行求和处理，根据求和处理结果和第N个语义空间向量进行解码处理生成与第N个待处理词语对应的目标声音特征。
第二种示例，对N-1个声音特征进行平均处理，根据平均处理结果和第N个语义空间向量进行解码处理生成与第N个待处理词语对应的目标声音特征。
步骤105，根据目标声音特征生成与第N个待处理词语对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息。
具体地，在获取目标声音特征后，可以根据目标声音特征，采用GriffinLim或者WavenetVocoder等方式合成对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息。作为一种场景举例，将多个第N个语音按照预设顺序进行拼接生成目标段语音，目标段语音作为待处理文本对应的语音信息。其中，预设顺序根据实际应用需要进行选择设置。
本实施例的语音合成方法，通过获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数，获取第N个待处理词语之前的已处理词语的N-1个声音特征，根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征，根据目标声音特征生成与第N个待处理词语对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息，解决了现有技术中的将一个句子拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差，或者是等待语音合成***生成完整的语音合成结果才能下发给相关设备进行播放导致时间延迟较大的技术问题，通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并一个句子内的子文本语音转换结果片段后，不影响整体效果，在提高语音合成效率的同时保证语音效果。
图2为本申请实施例所提供的另一种语音合成方法的流程示意图。
如图2所示，该语音合成方法可以包括以下步骤：
步骤201，获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语。
步骤202，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数。
需要说明的是，步骤201-步骤202与上述实施例的步骤101-步骤102相同，此处不再详述，具体参见步骤101-步骤102的描述。
步骤203，在预设数据库中搜索已处理词语对应的N-1个声音特征。
具体地，在对每一待处理词语进行编码生成语义空间向量后，并根据语义空间向量进行解码生成声音特征时，对该声音特征进行记录并存储在预设数据库中。
由此，可以直接在在预设数据库中搜索已处理词语对应的N-1个声音特征，进一步提高语音合成效率。
步骤204，对N-1个声音特征进行平均处理，根据平均处理结果和第N个语义空间向量进行解码处理生成与第N个待处理词语对应的目标声音特征。
具体地，同时将1+2+…N-1词的声音特征做平均处理操作，降低帧数，作为解码器额外的输入，和第N个语义空间向量一起解码生成第N个待处理词语对应的目标声音特征。
步骤205，根据目标声音特征生成与第N个待处理词语对应的第N个语音，将多个第N个语音按照预设顺序进行拼接生成目标段语音，目标段语音作为待处理文本对应的语音信息。
具体地，将生成的多个语音按照预设顺序进行拼接生成一段目标段语音，也就是待处理文本对应的语音信息，可以发送该相关设备进行播放。
为了本领域人员更加清楚上述过程，下面结合图3进行举例描述。
具体地，整个文本语音转换模型可以采用端到端框架实现，分为编码器和解码器两个主要部分，其中编码器主要针对待合成的词语序列进行编码，映射成语义空间，解码器主要将语义空间解码为梅尔频谱。
如果当前待处理的是第1个词语，则按照标准的文本语音转换模型生成第1个词语的梅尔频谱，根据第1个词语的梅尔频谱，采用wavenet合成声音。
如果当前待处理的是第2个词语，则编码器输入是1+2两个词语，在解码的时候，搜索出第1个词语的梅尔频谱，同时继续把第1个词语生成的梅尔频谱作为额外的解码器输入，生成第二个词语的梅尔频谱。
由此，考虑第N个词语，和第2个词语类似的操作，在编码器输入的是1+2+…N个词语，在解码的时候，先强制解码出1+2+…N-1个词语的梅尔频谱，同时将1+2+…N-1词语的梅尔频谱做求和或者平均操作，降低帧数，作为解码器额外的输入，生成第N个词语的梅尔频谱。
如图3所示，以第一个词语的内容W1作为inputtext，生成第1个词语的梅尔Mel1，以第2个词语的内容W2作为inputtext，同时利用第一个词产生的梅尔频谱Mel1作为DensePre-net的输入，以第3个词语的内容W3作为inputtext，同时利用第一个词语、第二个词语产生的梅尔频谱Mel1,Mel2作为Dense Pre-net的输入，这里可以对Mel1和Mel2进行求和平均操作，以此减少序列的长度，后续词语的文本语音转换可以采用类似的流程实现。
本实施例的语音合成方法，通过获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数，步骤203，在预设数据库中搜索已处理词语对应的N-1个声音特征，对N-1个声音特征进行平均处理，根据平均处理结果和第N个语义空间向量进行解码处理生成与第N个待处理词语对应的目标声音特征，根据目标声音特征生成与第N个待处理词语对应的第N个语音，将多个第N个语音按照预设顺序进行拼接生成目标段语音，目标段语音作为待处理文本对应的语音信息。由此，能够动态的实时的生成文本语音转换结果，即一句话可以拆分成多个词语进行合成后，产生的结果仍然不影响最后的用户体验。
为了实现上述实施例，本申请还提出一种语音合成装置。
图4为本申请实施例所提供的一种语音合成装置的结构示意图。
如图4所示，该语音合成装置可以包括：第一获取模块410、编码模块420、第二获取模块430、解码模块440和处理模块450。其中，
其中，第一获取模块410，用于获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语。
编码模块420，用于对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数。
第二获取模块430，用于获取第N个待处理词语之前的已处理词语的N-1个声音特征。
解码模块440，用于根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征。
处理模块450，用于根据目标声音特征生成与第N个待处理词语对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息。
在本申请实施例一种可能的实现方式中，第二获取模块430，具体用于：在预设数据库中搜索已处理词语对应的N-1个声音特征；或获取N-1个已处理词语，并实时分别对每一个已处理词语进行编码和解码生成N-1个声音特征。
在本申请实施例一种可能的实现方式中，解码模块440，具体用于：对N-1个声音特征进行平均处理；根据平均处理结果和第N个语义空间向量进行解码处理生成与第N个待处理词语对应的目标声音特征。
在本申请实施例一种可能的实现方式中，解码模块440，具体还用于：对N-1个声音特征进行求和处理；根据求和处理结果和第N个语义空间向量进行解码处理生成与第N个待处理词语对应的目标声音特征。
在本申请实施例一种可能的实现方式中，处理模块450，具体用于：将多个第N个语音按照预设顺序进行拼接生成目标段语音；目标段语音作为待处理文本对应的语音信息。
需要说明的是，前述对语音合成方法实施例的解释说明也适用于该实施例的语音合成装置，其实现原理类似，此处不再赘述。
本申请实施例的语音合成装置，通过获取待处理文本，并对待处理文本进行切词处理生成多个待处理词语，对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数，获取第N个待处理词语之前的已处理词语的N-1个声音特征，根据第N个语义空间向量和已处理词语的N-1个声音特征进行解码处理生成与第N个待处理词语对应的目标声音特征，根据目标声音特征生成与第N个待处理词语对应的第N个语音，并根据多个第N个语音合成与待处理文本对应的语音信息，解决了现有技术中的将一个句子拆分成多个文本语音转换结果，容易产生顿挫的语音信号，衔接性非常差，或者是等待语音合成***生成完整的语音合成结果才能下发给相关设备进行播放导致时间延迟较大的技术问题，通过一次只生成一个待处理词语的文本语音转换结果，同时能考已处理词语的声音特征，使得产生的文本语音转换结果能够很平滑，不会产生顿挫的感觉，也就是能够接收词语的文本语音转换结果，并且合并一个句子内的子文本语音转换结果片段后，不影响整体效果，在提高语音合成效率的同时保证语音效果。
通过为了实现上述实施例，本申请还提出一种计算机设备，包括：处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的语音合成方法。
图5为本申请实施例所提供的计算机设备的结构示意图，示出了适于用来实现本申请实施方式的示例性计算机设备90的框图。图5显示的计算机设备90仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备90以通用计算机设备的形式表现。计算机设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元906，***存储器910，连接不同***组件(包括***存储器910和处理单元906)的总线908。
总线908表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及***组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备90典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器910可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)911和/或高速缓存存储器912。计算机设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***913可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnly Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线908相连。***存储器910可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
具有一组(至少一个)程序模块9140的程序/实用工具914，可以存储在例如***存储器910中，这样的程序模块9140包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块9140通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备90也可以与一个或多个外部设备10(例如键盘、指向设备、显示器100等)通信，还可与一个或者多个使得用户能与该终端设备90交互的设备通信，和/或与使得该计算机设备90能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口902进行。并且，计算机设备90还可以通过网络适配器900与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器900通过总线908与计算机设备90的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元906通过运行存储在***存储器910中的程序，从而执行各种功能应用以及基于车载场景的语音合成，例如实现前述实施例中提及的语音合成方法。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如前述实施例所述的语音合成方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，实现如前述实施例所述的语音合成方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种语音合成方法，其特征在于，包括以下步骤：
获取待处理文本，并对所述待处理文本进行切词处理生成多个待处理词语；
对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数；
获取第N个待处理词语之前的已处理词语的N-1个声音特征；
根据所述第N个语义空间向量和所述已处理词语的N-1个声音特征进行解码处理生成与所述第N个待处理词语对应的目标声音特征；
根据所述目标声音特征生成与所述第N个待处理词语对应的第N个语音，并根据多个所述第N个语音合成与所述待处理文本对应的语音信息。
2.如权利要求1所述的方法，其特征在于，所述获取第N个待处理词语之前的已处理词语的N-1个声音特征，包括：
在预设数据库中搜索已处理词语对应的N-1个声音特征；或
获取N-1个已处理词语，并实时分别对每一个已处理词语进行编码和解码生成N-1个声音特征。
3.如权利要求1所述的方法，其特征在于，所述根据所述第N个语义空间向量和所述已处理词语的N-1个声音特征进行解码处理生成与所述第N个待处理词语对应的目标声音特征，包括：
对所述N-1个声音特征进行平均处理；
根据平均处理结果和所述第N个语义空间向量进行解码处理生成与所述第N个待处理词语对应的目标声音特征。
4.如权利要求1所述的方法，其特征在于，所述根据所述第N个语义空间向量和所述已处理词语的N-1个声音特征进行解码处理生成与所述第N个待处理词语对应的目标声音特征，包括：
对所述N-1个声音特征进行求和处理；
根据求和处理结果和所述第N个语义空间向量进行解码处理生成与所述第N个待处理词语对应的目标声音特征。
5.如权利要求1所述的方法，其特征在于，所述根据多个所述第N个语音合成与所述待处理文本对应的语音信息，包括：
将多个所述第N个语音按照预设顺序进行拼接生成目标段语音；
所述目标段语音作为所述待处理文本对应的语音信息。
6.一种语音合成装置，其特征在于，包括：
第一获取模块，用于获取待处理文本，并对所述待处理文本进行切词处理生成多个待处理词语；
编码模块，用于对第N个待处理词语进行编码处理生成第N个语义空间向量；其中，N为正整数；
第二获取模块，用于获取第N个待处理词语之前的已处理词语的N-1个声音特征；
解码模块，用于根据所述第N个语义空间向量和所述已处理词语的N-1个声音特征进行解码处理生成与所述第N个待处理词语对应的目标声音特征；
处理模块，用于根据所述目标声音特征生成与所述第N个待处理词语对应的第N个语音，并根据多个所述第N个语音合成与所述待处理文本对应的语音信息。
7.如权利要求6所述的装置，其特征在于，所述第二获取模块，具体用于：
在预设数据库中搜索已处理词语对应的N-1个声音特征；或
获取N-1个已处理词语，并实时分别对每一个已处理词语进行编码和解码生成N-1个声音特征。
8.如权利要求6所述的装置，其特征在于，所述解码模块，具体用于：
对所述N-1个声音特征进行平均处理；
根据平均处理结果和所述第N个语义空间向量进行解码处理生成与所述第N个待处理词语对应的目标声音特征。
9.如权利要求6所述的装置，其特征在于，所述解码模块，具体还用于：
对所述N-1个声音特征进行求和处理；
根据求和处理结果和所述第N个语义空间向量进行解码处理生成与所述第N个待处理词语对应的目标声音特征。
10.如权利要求6所述的装置，其特征在于，所述处理模块，具体用于：
将多个所述第N个语音按照预设顺序进行拼接生成目标段语音；
所述目标段语音作为所述待处理文本对应的语音信息。
11.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一项所述的语音合成方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的语音合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910394665.8A CN110164413B (zh) | 2019-05-13 | 2019-05-13 | 语音合成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910394665.8A CN110164413B (zh) | 2019-05-13 | 2019-05-13 | 语音合成方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110164413A true CN110164413A (zh) | 2019-08-23 |
| CN110164413B CN110164413B (zh) | 2021-06-04 |
Family
ID=67634315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910394665.8A Active CN110164413B (zh) | 2019-05-13 | 2019-05-13 | 语音合成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110164413B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473516A (zh) * | 2019-09-19 | 2019-11-19 | 百度在线网络技术（北京）有限公司 | 语音合成方法、装置以及电子设备 |
| CN111524500A (zh) * | 2020-04-17 | 2020-08-11 | 浙江同花顺智能科技有限公司 | 语音合成方法、装置、设备和存储介质 |
| CN111951781A (zh) * | 2020-08-20 | 2020-11-17 | 天津大学 | 一种基于图到序列的中文韵律边界预测的方法 |
| CN113595868A (zh) * | 2021-06-28 | 2021-11-02 | 深圳云之家网络有限公司 | 基于即时通讯的语音消息处理方法、装置和计算机设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104867491A (zh) * | 2015-06-17 | 2015-08-26 | 百度在线网络技术（北京）有限公司 | 用于语音合成的韵律模型训练方法和装置 |
| CN105185372A (zh) * | 2015-10-20 | 2015-12-23 | 百度在线网络技术（北京）有限公司 | 个性化多声学模型的训练方法、语音合成方法及装置 |
| CN105206257A (zh) * | 2015-10-14 | 2015-12-30 | 科大讯飞股份有限公司 | 一种声音转换方法及装置 |
| CN105355193A (zh) * | 2015-10-30 | 2016-02-24 | 百度在线网络技术（北京）有限公司 | 语音合成方法和装置 |
| US20160343366A1 (en) * | 2015-05-19 | 2016-11-24 | Google Inc. | Speech synthesis model selection |
| US9508338B1 (en) * | 2013-11-15 | 2016-11-29 | Amazon Technologies, Inc. | Inserting breath sounds into text-to-speech output |
| CN106297766A (zh) * | 2015-06-04 | 2017-01-04 | 科大讯飞股份有限公司 | 语音合成方法及*** |
| WO2017094500A1 (ja) * | 2015-12-02 | 2017-06-08 | 株式会社電通 | 判定装置及びこれを備えた音声提供システム |
| CN107564511A (zh) * | 2017-09-25 | 2018-01-09 | 平安科技（深圳）有限公司 | 电子装置、语音合成方法和计算机可读存储介质 |
| CN108364632A (zh) * | 2017-12-22 | 2018-08-03 | 东南大学 | 一种具备情感的中文文本人声合成方法 |
| CN108492818A (zh) * | 2018-03-22 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 文本到语音的转换方法、装置和计算机设备 |
| CN109036371A (zh) * | 2018-07-19 | 2018-12-18 | 北京光年无限科技有限公司 | 用于语音合成的音频数据生成方法及*** |
| CN109697973A (zh) * | 2019-01-22 | 2019-04-30 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
-
2019
- 2019-05-13 CN CN201910394665.8A patent/CN110164413B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9508338B1 (en) * | 2013-11-15 | 2016-11-29 | Amazon Technologies, Inc. | Inserting breath sounds into text-to-speech output |
| US20160343366A1 (en) * | 2015-05-19 | 2016-11-24 | Google Inc. | Speech synthesis model selection |
| CN106297766A (zh) * | 2015-06-04 | 2017-01-04 | 科大讯飞股份有限公司 | 语音合成方法及*** |
| CN104867491A (zh) * | 2015-06-17 | 2015-08-26 | 百度在线网络技术（北京）有限公司 | 用于语音合成的韵律模型训练方法和装置 |
| CN105206257A (zh) * | 2015-10-14 | 2015-12-30 | 科大讯飞股份有限公司 | 一种声音转换方法及装置 |
| CN105185372A (zh) * | 2015-10-20 | 2015-12-23 | 百度在线网络技术（北京）有限公司 | 个性化多声学模型的训练方法、语音合成方法及装置 |
| CN105355193A (zh) * | 2015-10-30 | 2016-02-24 | 百度在线网络技术（北京）有限公司 | 语音合成方法和装置 |
| WO2017094500A1 (ja) * | 2015-12-02 | 2017-06-08 | 株式会社電通 | 判定装置及びこれを備えた音声提供システム |
| CN107564511A (zh) * | 2017-09-25 | 2018-01-09 | 平安科技（深圳）有限公司 | 电子装置、语音合成方法和计算机可读存储介质 |
| CN108364632A (zh) * | 2017-12-22 | 2018-08-03 | 东南大学 | 一种具备情感的中文文本人声合成方法 |
| CN108492818A (zh) * | 2018-03-22 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 文本到语音的转换方法、装置和计算机设备 |
| CN109036371A (zh) * | 2018-07-19 | 2018-12-18 | 北京光年无限科技有限公司 | 用于语音合成的音频数据生成方法及*** |
| CN109697973A (zh) * | 2019-01-22 | 2019-04-30 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| WANG X, LORENZO-TRUEBA J, TAKAKI S, ET AL: "A comparison of recent waveform generation and acoustic modeling methods for neural-network-based speech synthesis", 《2018 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| 周志平: "基于深度学习的小尺度单元拼接语音合成方法研究", 《中国优秀硕士学位论文全文数据库》 * |
| 张斌,全昌勤,任福继: "语音合成方法和发展综述", 《小型微型计算机***》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473516A (zh) * | 2019-09-19 | 2019-11-19 | 百度在线网络技术（北京）有限公司 | 语音合成方法、装置以及电子设备 |
| CN110473516B (zh) * | 2019-09-19 | 2020-11-27 | 百度在线网络技术（北京）有限公司 | 语音合成方法、装置以及电子设备 |
| US11417314B2 (en) | 2019-09-19 | 2022-08-16 | Baidu Online Network Technology (Beijing) Co., Ltd. | Speech synthesis method, speech synthesis device, and electronic apparatus |
| CN111524500A (zh) * | 2020-04-17 | 2020-08-11 | 浙江同花顺智能科技有限公司 | 语音合成方法、装置、设备和存储介质 |
| CN111524500B (zh) * | 2020-04-17 | 2023-03-31 | 浙江同花顺智能科技有限公司 | 语音合成方法、装置、设备和存储介质 |
| CN111951781A (zh) * | 2020-08-20 | 2020-11-17 | 天津大学 | 一种基于图到序列的中文韵律边界预测的方法 |
| CN113595868A (zh) * | 2021-06-28 | 2021-11-02 | 深圳云之家网络有限公司 | 基于即时通讯的语音消息处理方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110164413B (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110164413A (zh) | 语音合成方法、装置、计算机设备和存储介质 | |
| US7831432B2 (en) | Audio menus describing media contents of media players | |
| CN109389968B (zh) | 基于双音节混搭的波形拼接方法、装置、设备及存储介质 | |
| US9761219B2 (en) | System and method for distributed text-to-speech synthesis and intelligibility | |
| CN1889170B (zh) | 基于录制的语音模板生成合成语音的方法和*** | |
| US7483832B2 (en) | Method and system for customizing voice translation of text to speech | |
| CN112334973B (zh) | 用于创建基于对象的音频内容的方法和*** | |
| JP2002530703A (ja) | 音声波形の連結を用いる音声合成 | |
| CN109147831A (zh) | 一种语音连接播放方法、终端设备及计算机可读存储介质 | |
| Steinmetz et al. | Multimedia fundamentals, Volume 1: Media coding and content processing | |
| US11908448B2 (en) | Parallel tacotron non-autoregressive and controllable TTS | |
| CN107766325A (zh) | 文本拼接方法及其装置 | |
| Campbell | Developments in corpus-based speech synthesis: Approaching natural conversational speech | |
| CN108492818A (zh) | 文本到语音的转换方法、装置和计算机设备 | |
| CN110059313A (zh) | 翻译处理方法和装置 | |
| CN112365878A (zh) | 语音合成方法、装置、设备及计算机可读存储介质 | |
| CN116312471A (zh) | 语音迁移、语音交互方法、装置、电子设备及存储介质 | |
| CN1945692A (zh) | 一种在语音合成***中提升提示音匹配效果的智能方法 | |
| US7089187B2 (en) | Voice synthesizing system, segment generation apparatus for generating segments for voice synthesis, voice synthesizing method and storage medium storing program therefor | |
| CN108597493A (zh) | 语言语义的音频交换方法和音频交换***、编码图形 | |
| CN113870833A (zh) | 语音合成相关***、方法、装置及设备 | |
| CN113314096A (zh) | 语音合成方法、装置、设备和存储介质 | |
| KR20050018883A (ko) | 음성합성기를 이용한 영상, 텍스트, 입술 모양의 자동동기 생성/재생 방법 및 그 장치 | |
| CN114911973A (zh) | 动作生成方法、装置、电子设备及存储介质 | |
| US20030216920A1 (en) | Method and apparatus for processing number in a text to speech (TTS) application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |