CN112712788A - 语音合成方法、语音合成模型的训练方法及装置 - Google Patents

语音合成方法、语音合成模型的训练方法及装置 Download PDF

Info

Publication number
CN112712788A
CN112712788A CN202011545256.2A CN202011545256A CN112712788A CN 112712788 A CN112712788 A CN 112712788A CN 202011545256 A CN202011545256 A CN 202011545256A CN 112712788 A CN112712788 A CN 112712788A
Authority
CN
China
Prior art keywords
speech
voice
sample
style
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011545256.2A
Other languages
English (en)
Inventor
王振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202011545256.2A priority Critical patent/CN112712788A/zh
Publication of CN112712788A publication Critical patent/CN112712788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G10L13/10—Prosody rules derived from text; Stress or intonation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开关于一种语音合成方法、语音合成模型的训练方法及装置，属于语音合成技术领域。所述方法包括：获取全局指示信息和参考语音，全局指示信息用于指示待合成的语音的整体的语调风格，参考语音用于指示待合成的语音的局部的语调风格；将文本信息、全局指示信息以及参考语音输入语音合成模型；通过语音合成模型，输出文本信息对应的语音特征；其中，语音合成模型基于样本文本信息、样本全局指示信息以及样本文本信息对应的样本参考语音进行训练得到。本公开通过语音合成模型，将全局指示信息和参考语音融合到将文本信息转换为语音特征的过程中，实现了对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，提高了语音合成的可用性。

Description

语音合成方法、语音合成模型的训练方法及装置
技术领域
本公开涉及语音合成技术领域，尤其涉及一种语音合成方法、语音合成模型的训练方法及装置。
背景技术
为了让机器学会“说话”，科研人员致力于研究语音合成技术，以使机器具有将文本转换为语音的能力。当前，语音合成技术已广泛应用在智能问答、语音播报、有声读物、虚拟主播等场景中。
随着深度学习的发展，语音合成技术也进入到了端到端的发展阶段。“端到端”是指基于输入端的数据直接得到输出端的结果，在语音合成领域，端到端的语音合成模型能够基于输入的文本，直接输出与该文本对应的语音特征。
虽然端到端的语音合成模型相较于语音拼接的合成方式，在提升合成效果、降低数据标注的工作量等方面都具有明显的优势，但是，端到端的语音合成模型是一种“黑盒”式的语音合成***，通过端到端的语音合成模型，无法像语音拼接的合成方式一样实现对语音的语速、音调等语调风格的灵活控制，端到端的语音合成模型所合成的语音的语调风格较为单一，语音合成的可用性不足。
发明内容
本公开实施例提供了一种语音合成方法、语音合成模型的训练方法及装置，以提高语音合成的可用性。本公开的技术方案如下：
一方面，提供了一种语音合成方法，所述方法包括：
获取全局指示信息和参考语音，所述全局指示信息用于指示待合成的语音的整体的语调风格，所述参考语音用于指示待合成的语音的局部的语调风格；
将文本信息、所述全局指示信息以及所述参考语音输入语音合成模型；
通过所述语音合成模型，输出所述文本信息对应的语音特征；
其中，所述语音合成模型基于样本文本信息、样本全局指示信息以及所述样本文本信息对应的样本参考语音进行训练得到。
本公开实施例提供的技术方案，以全局指示信息来指示语音整体的语调风格，以参考语音来指示语音局部的语调风格，通过语音合成模型，将全局指示信息和参考语音融合到将文本信息转换为语音特征的过程中，一方面，使得最终得到的语音特征符合全局指示信息所指示的整体的语调风格，另一方面，通过参考语音对语音特征的局部的语调风格进行更加细致的控制，实现了对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，从而提高了语音合成的可用性。
在一种可选的实现方式中，所述语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，所述语音编码网络与所述局部风格表示网络相连，所述文本编码网络分别与所述局部风格表示网络和所述注意力网络相连，所述全局风格表示网络以及所述局部风格表示网络分别与所述注意力网络相连，所述注意力网络与所述解码网络相连；
所述通过所述语音合成模型，输出所述文本信息对应的语音特征，包括：
通过所述文本编码网络确定所述文本信息对应的音素向量序列；通过所述语音编码网络确定所述参考语音对应的参考语音向量序列；
通过所述全局风格表示网络将所述全局指示信息转换为全局风格向量；
通过所述局部风格表示网络，基于所述参考语音向量序列和所述音素向量序列，确定局部调节向量序列，所述局部调节向量序列用于表示所述参考语音的每个语音帧的语调风格对所述文本信息的每个音素对应的语音特征的影响；
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述音素向量序列、所述全局风格向量以及所述局部调节向量序列，确定中间向量；通过所述解码网络，基于所述中间向量，确定一个音素对应的语音特征。
上述技术方案，将全局指示信息转换为全局风格向量，以全局风格向量来指示整体的语调风格，通过编码网络将文本信息和参考语音转换为音素向量序列和参考语音向量序列，将音素向量序列和参考语音向量序列作为局部风格表示网络的输入，确定局部调节向量序列，以局部调节向量序列来表示参考语音的每个语音帧的语调风格对文本信息的每个音素对应的语音特征的影响，进而通过注意力网络，基于音素向量序列、全局风格向量以及局部调节向量序列，确定中间向量，在实现对语音特征的整体的语调风格和局部的语调风格进行灵活控制的基础上，进一步减少信息丢失，提高中间向量表示的准确性，进而基于准确性更高的中间向量，得到准确性更高的语音特征，提高语音合成的准确性。
在另一种可选的实现方式中，所述全局指示信息包括对所述语音特征的音节的时长指示均值、对所述语音特征的基频指示均值以及对所述语音特征的基频指示方差中的至少一个。
上述技术方案，通过时长指示均值可对语音特征的音节的持续时长的均值进行控制，从而实现对句子整体的语速的控制；通过基频指示均值可对语音特征的基频的均值进行控制，从而实现对句子整体的音调高低的控制；通过基频指示方差可对语音特征的基频的方差进行控制，从而实现对句子整体的音调波动变化程度的控制。通过时长指示均值、基频指示均值和基频指示方差，从语速、音调以及音调波动等方面实现对句子整体的语调风格的控制，能够使得所合成的语音的语调风格更加多样化，从而提高语音合成的可用性。
一方面，提供了一种语音合成模型的训练方法，所述语音合成模型的训练方法包括：
在任一次迭代过程中，获取样本全局指示信息，所述样本全局指示信息用于指示待合成的语音的整体的语调风格；
将样本文本信息、样本参考语音以及所述样本全局指示信息输入语音合成模型，其中，所述样本参考语音是所述样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格；
通过所述语音合成模型，输出所述样本文本信息对应的语音特征；
基于所述语音合成模型输出的语音特征和所述样本参考语音的语音特征，更新所述语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的所述语音合成模型。
本公开实施例提供的技术方案，在语音合成模型的训练过程中，以全局指示信息来指示语音整体的语调风格，将文本信息的语音表示作为参考语音，来指示语音局部的语调风格，从而使语音合成模型参考全局指示信息和参考语音两者所指示的语调风格，将文本信息转换为对应的语音特征，进而基于语音合成模型输出的语音特征和参考语音的语音特征，来更新语音合成模型的模型参数，以使训练完成的语音合成模型能够输出符合全局指示信息所指示的整体的语调风格，并且符合参考语音所指示的局部的语调风格的语音特征，从而通过训练完成的语音合成模型能够实现对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，提高语音合成的可用性。
在一种可选的实现方式中，所述语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，所述语音编码网络分别与所述全局风格表示网络和所述局部风格表示网络相连，所述文本编码网络分别与所述局部风格表示网络和所述注意力网络相连，所述全局风格表示网络和所述局部风格表示网络分别与所述注意力网络相连，所述注意力网络与所述解码网络相连；
所述通过所述语音合成模型，输出所述样本文本信息对应的语音特征，包括：
通过所述文本编码网络确定所述样本文本信息对应的样本音素向量序列；通过所述语音编码网络确定所述样本参考语音对应的样本参考语音向量序列；
通过所述全局风格表示网络，基于所述样本全局指示信息和所述样本参考语音向量序列，确定全局风格嵌入向量；
通过所述局部风格表示网络，基于所述样本音素向量序列和所述样本参考语音向量序列，确定样本局部调节向量序列，所述样本局部调节向量序列用于表示所述样本参考语音的每个语音帧的语调风格对所述样本文本信息的每个音素对应的语音特征的影响；
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述样本音素向量序列、所述全局风格嵌入向量以及所述样本局部调节向量序列，确定样本中间向量；通过所述解码网络，基于所述样本中间向量，确定一个音素对应的语音特征。
上述技术方案，通过编码网络将文本信息和参考语音转换为音素向量序列和参考语音向量序列，将参考语音向量序列和全局指示信息作为全局风格表示网络的输入，确定全局风格嵌入向量，使得参考语音全局的语调风格对全局风格嵌入向量的取值产生影响，将参考语音全局的语调风格融合到全局风格嵌入向量中去，增强了用于指示整体的语调风格的全局风格嵌入向量的多样性，从而能够基于较少的训练样本，训练得到稳定的语音合成模型，降低模型的训练成本，将音素向量序列和参考语音向量序列作为局部风格表示网络的输入，确定局部调节向量序列，以局部调节向量序列来表示参考语音的每个语音帧的语调风格对文本信息的每个音素对应的语音特征的影响，进而通过注意力网络，基于音素向量序列、全局风格嵌入向量以及局部调节向量序列，确定中间向量，在实现对语音特征的整体的语调风格和局部的语调风格进行灵活控制的基础上，进一步减少信息丢失，提高中间向量表示的准确性，进而基于准确性更高的中间向量，得到准确性更高的语音特征，提高语音合成的准确性。
在另一种可选的实现方式中，所述通过所述语音编码网络确定所述样本参考语音对应的样本参考语音向量序列，包括：
在任一次编码得到所述样本参考语音的一个语音帧的向量的过程中，通过所述语音编码网络，基于上一次编码得到的语音帧的向量和本次待编码的语音帧的语音特征，进行编码，得到本次待编码的语音帧的向量；
所述通过所述全局风格表示网络，基于所述样本全局指示信息和所述样本参考语音向量序列，确定全局风格嵌入向量，包括：
通过所述全局风格表示网络，将所述样本全局指示信息转换为样本全局风格向量；
基于所述样本全局风格向量和所述样本参考语音向量序列中的最后一个语音帧的向量，确定所述全局风格嵌入向量，其中，所述最后一个语音帧的向量融合了所述样本参考语音的多个语音帧的语音特征。
上述技术方案，获取样本参考语音向量序列中最后一个语音帧的向量，基于该最后一个语音帧的向量和样本全局指示信息对应的样本全局风格向量，确定全局风格嵌入向量，使得样本参考语音全局的语调风格对全局风格嵌入向量的取值产生影响，将样本参考语音全局的语调风格融合到全局风格嵌入向量中去，增强了用于指示整体的语调风格的全局风格嵌入向量的多样性，从而能够基于较少的训练样本，训练得到稳定的语音合成模型，降低模型的训练成本。
在另一种可选的实现方式中，所述基于所述样本全局风格向量和所述样本参考语音向量序列中的最后一个语音帧的向量，确定所述全局风格嵌入向量，包括：
分别基于以所述样本全局风格向量中的每个值为均值，以所述最后一个语音帧的向量中的每个值为方差的高斯分布，进行重采样，得到所述全局风格嵌入向量中的每个值。
上述技术方案，以样本全局风格向量中的每个值为均值，以最后一个语音帧的向量中的每个值为方差，构建高斯分布，以该高斯分布为基础进行重采样，有一定概率采样到除样本全局风格向量中的值之外的其他数值，增加了全局风格嵌入向量取值的多样性，对待合成的语音的整体的语调风格的指示更加丰富，从而基于较少的训练样本，能够训练得到稳定的语音合成模型，降低模型的训练成本。
在另一种可选的实现方式中，所述通过所述局部风格表示网络，基于所述样本音素向量序列和所述样本参考语音向量序列，确定样本局部调节向量序列，包括：
通过所述局部风格表示网络，根据注意力机制，基于所述样本音素向量序列和所述样本参考语音向量序列，确定所述样本参考语音的多个语音帧中的每个语音帧分别对应所述样本文本信息的多个音素中的每个音素的概率；
基于所述每个语音帧分别对应所述每个音素的概率以及所述样本参考语音向量序列，确定所述样本局部调节向量序列，其中，所述样本局部调节向量序列的序列长度与所述样本音素向量序列的序列长度相等。
上述技术方案，根据注意力机制，确定参考语音的每个语音帧分别对应于文本信息的每个音素的概率，以得到的概率来指示参考语音的每个语音帧对文本信息的每个音素对应的语调风格的影响程度，任一语音帧对应于任一音素的概率越大，则该语音帧的语调风格对该音素的影响程度越大，从而基于所得到的概率和参考语音向量序列，确定局部调节向量序列，使得局部调节向量序列能够按照对应的影响程度，表示参考语音的语调风格对文本信息的各个音素对应的语音特征的影响，进而基于局部调节向量序列，能够将参考语音的局部的语调风格对应融合到文本信息对应的语音特征中去，实现对所合成的语音的语调风格的灵活控制，提高语音合成模型的可用性。
并且，上述技术方案，根据注意力机制，来表示参考语音的语调风格对文本信息的各个音素对应的语音特征的影响，在训练过程中也无需标注参考语音的语音帧与文本信息的音素的一一对应关系，在保证模型可用性的基础上，还不依赖于人工的数据标注，降低了人力标注成本，降低了训练所基于的语料库的制作难度，提高了语料库的制作效率。
在另一种可选的实现方式中，所述在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述样本音素向量序列、所述全局风格嵌入向量以及所述样本局部调节向量序列，确定样本中间向量，包括：
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述样本音素向量序列、所述全局风格嵌入向量和所述样本局部调节向量序列，确定所述样本文本信息的多个音素对应的注意力权重；
基于所述多个音素对应的注意力权重，对所述多个音素对应的向量进行加权求和，得到所述样本中间向量。
上述技术方案，根据注意力机制，确定文本信息的多个音素对应的注意力权重，再基于注意力权重，对多个音素对应的向量进行加权求和，得到中间向量，使得中间向量按照对不同音素的注意力程度，将多个音素对应的向量加权到一起，相较于直接将最后一个音素对应的向量作为中间向量，减少了信息丢失，增强了向量表达的准确性，进而基于准确性更高的中间向量，能够得到准确性更高的语音特征，提高语音合成的准确性。
一方面，提供了一种语音合成装置，所述语音合成装置包括：
第一信息获取模块，被配置为执行获取全局指示信息和参考语音，所述全局指示信息用于指示待合成的语音的整体的语调风格，所述参考语音用于指示待合成的语音的局部的语调风格；
第一信息输入模块，被配置为执行将文本信息、所述全局指示信息以及所述参考语音输入语音合成模型；
第一语音合成模块，被配置为执行通过所述语音合成模型，输出所述文本信息对应的语音特征；
其中，所述语音合成模型基于样本文本信息、样本全局指示信息以及所述样本文本信息对应的样本参考语音进行训练得到。
在一种可选的实现方式中，所述语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，所述语音编码网络与所述局部风格表示网络相连，所述文本编码网络分别与所述局部风格表示网络和所述注意力网络相连，所述全局风格表示网络以及所述局部风格表示网络分别与所述注意力网络相连，所述注意力网络与所述解码网络相连；
所述第一语音合成模块，被配置为执行：
通过所述文本编码网络确定所述文本信息对应的音素向量序列；通过所述语音编码网络确定所述参考语音对应的参考语音向量序列；
通过所述全局风格表示网络将所述全局指示信息转换为全局风格向量；
通过所述局部风格表示网络，基于所述参考语音向量序列和所述音素向量序列，确定局部调节向量序列，所述局部调节向量序列用于表示所述参考语音的每个语音帧的语调风格对所述文本信息的每个音素对应的语音特征的影响；
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述音素向量序列、所述全局风格向量以及所述局部调节向量序列，确定中间向量；通过所述解码网络，基于所述中间向量，确定一个音素对应的语音特征。
在另一种可选的实现方式中，所述全局指示信息包括对所述语音特征的音节的时长指示均值、对所述语音特征的基频指示均值以及对所述语音特征的基频指示方差中的至少一个。
一方面，提供了一种语音合成模型的训练装置，所述语音合成模型的训练装置包括：
第二信息获取模块，被配置为执行在任一次迭代过程中，获取样本全局指示信息，所述样本全局指示信息用于指示待合成的语音的整体的语调风格；
第二信息输入模块，被配置为执行将样本文本信息、样本参考语音以及所述样本全局指示信息输入语音合成模型，其中，所述样本参考语音是所述样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格；
第二语音合成模块，被配置为执行通过所述语音合成模型，输出所述样本文本信息对应的语音特征；
模型参数更新模块，被配置为执行基于所述语音合成模型输出的语音特征和所述样本参考语音的语音特征，更新所述语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的所述语音合成模型。
在一种可选的实现方式中，所述语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，所述语音编码网络分别与所述全局风格表示网络和所述局部风格表示网络相连，所述文本编码网络分别与所述局部风格表示网络和所述注意力网络相连，所述全局风格表示网络和所述局部风格表示网络分别与所述注意力网络相连，所述注意力网络与所述解码网络相连；
所述第二语音合成模块，包括：
文本编码单元，被配置为执行通过所述文本编码网络确定所述样本文本信息对应的样本音素向量序列；
语音编码单元，被配置为执行通过所述语音编码网络确定所述样本参考语音对应的样本参考语音向量序列；
全局风格表示单元，被配置为执行通过所述全局风格表示网络，基于所述样本全局指示信息和所述样本参考语音向量序列，确定全局风格嵌入向量；
局部风格表示单元，被配置为执行通过所述局部风格表示网络，基于所述样本音素向量序列和所述样本参考语音向量序列，确定样本局部调节向量序列，所述样本局部调节向量序列用于表示所述样本参考语音的每个语音帧的语调风格对所述样本文本信息的每个音素对应的语音特征的影响；
中间向量表示单元，被配置为执行在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述样本音素向量序列、所述全局风格嵌入向量以及所述样本局部调节向量序列，确定样本中间向量；
解码单元，被配置为执行通过所述解码网络，基于所述样本中间向量，确定一个音素对应的语音特征。
在另一种可选的实现方式中，所述语音编码单元，被配置为执行在任一次编码得到所述样本参考语音的一个语音帧的向量的过程中，通过所述语音编码网络，基于上一次编码得到的语音帧的向量和本次待编码的语音帧的语音特征，进行编码，得到本次待编码的语音帧的向量；
所述全局风格表示单元，包括：
全局风格向量确定子单元，被配置为执行通过所述全局风格表示网络，将所述样本全局指示信息转换为样本全局风格向量；
全局风格嵌入向量确定子单元，被配置为执行基于所述样本全局风格向量和所述样本参考语音向量序列中的最后一个语音帧的向量，确定所述全局风格嵌入向量，其中，所述最后一个语音帧的向量融合了所述样本参考语音的多个语音帧的语音特征。
在另一种可选的实现方式中，所述全局风格嵌入向量确定子单元，被配置为执行分别基于以所述样本全局风格向量中的每个值为均值，以所述最后一个语音帧的向量中的每个值为方差的高斯分布，进行重采样，得到所述全局风格嵌入向量中的每个值。
在另一种可选的实现方式中，所述局部风格表示单元，被配置为执行：
通过所述局部风格表示网络，根据注意力机制，基于所述样本音素向量序列和所述样本参考语音向量序列，确定所述样本参考语音的多个语音帧中的每个语音帧分别对应所述样本文本信息的多个音素中的每个音素的概率；
基于所述每个语音帧分别对应所述每个音素的概率以及所述样本参考语音向量序列，确定所述样本局部调节向量序列，其中，所述样本局部调节向量序列的序列长度与所述样本音素向量序列的序列长度相等。
在另一种可选的实现方式中，所述中间向量表示单元，被配置为执行：
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述样本音素向量序列、所述全局风格嵌入向量和所述样本局部调节向量序列，确定所述样本文本信息的多个音素对应的注意力权重；
基于所述多个音素对应的注意力权重，对所述多个音素对应的向量进行加权求和，得到所述样本中间向量。
一方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一种可选的实现方式中所述的语音合成方法。
一方面，提供了一种服务器，所述服务器包括：一个或多个处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一种可选的实现方式中所述的语音合成方法或者上述任一种可选的实现方式中所述的语音合成模型的训练方法。
一方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一种可选的实现方式中所述的语音合成方法。
一方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述任一种可选的实现方式中所述的语音合成方法或者上述任一种可选的实现方式中所述的语音合成模型的训练方法。
一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述任一种可选的实现方式中所述的语音合成方法。
一方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述任一种可选的实现方式中所述的语音合成模型的训练方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种实施环境的示意图；
图2是根据一示例性实施例示出的一种语音合成方法的流程图；
图3是根据一示例性实施例示出的一种语音合成模型的训练方法的流程图；
图4是根据一示例性实施例示出的一种语音合成模型的结构的示意图；
图5是根据一示例性实施例示出的一种语音合成模型的训练方法的流程图；
图6是根据一示例性实施例示出的一种语音合成模型的结构的示意图；
图7是根据一示例性实施例示出的一种语音合成方法的流程图；
图8是根据一示例性实施例示出的一种语音合成装置的框图；
图9是根据一示例性实施例示出的一种语音合成模型的训练装置的框图；
图10是根据一示例性实施例示出的一种电子设备的框图；
图11是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
图1是根据一示例性实施例示出的一种实施环境的示意图。参见图1，该实施环境包括服务器110和电子设备120。
服务器110可以为一台服务器、多台服务器、云服务器、云计算平台或者虚拟化中心等，但并不局限于此。服务器110至少用于训练语音合成模型。服务器110与电子设备120通过无线网络或者有线网络相连。在一种可选的实现方式中，服务器110将训练完成的语音合成模型发送至电子设备120，以使电子设备120将该语音合成模型部署在本地，从而电子设备120能够通过本地部署的语音合成模型将文本信息转换为语音，实现离线的语音合成。在另一种可选的实现方式中，服务器110还具有语音合成的功能。服务器110接收待合成语音的文本信息；通过训练完成的语音合成模型将该文本信息转换为语音；将该语音发送至电子设备120，以使电子设备120播放该语音。
上述服务器的数量可以更多或更少，本公开实施例对此不加以限定。当然，服务器110还可以具有例如语音识别、智能问答和机器翻译等功能中的至少一个，以便提供更全面且多样化的服务。
电子设备120可以为智能手机、平板电脑、笔记本电脑、台式电脑、智能音箱、智能手表、智能电视、智能机器人或者儿童故事机等，但并不局限于此。可选地，电子设备120上设有支持语音播报功能的客户端，例如，阅读类客户端、新闻类客户端、导航类客户端或者语音助手类客户端等，上述客户端的语音播报功能基于语音合成模型的支持实现。
电子设备120可以泛指多个电子设备中的一个，本实施例仅以电子设备120来举例说明。本领域技术人员可以知晓，上述电子设备的数量可以更多或更少。比如上述电子设备可以仅为几个，或者上述电子设备为几十个或几百个，或者更多数量，本公开实施例对电子设备的数量和设备类型均不加以限定。
图2是根据一示例性实施例示出的一种语音合成方法的流程图。该语音合成方法可应用于服务器或者电子设备，参见图2，在本公开实施例中，以服务器应用语音合成模型进行语音合成为例进行简要说明，该实施例包括以下步骤。
在步骤S201中，服务器获取全局指示信息和参考语音，其中，全局指示信息用于指示待合成的语音的整体的语调风格，参考语音用于指示待合成的语音的局部的语调风格。
需要说明的是，服务器结合全局指示信息和参考语音，将文本信息转换为语音，从而实现语音合成。其中，文本信息通常是一个句子，包括至少一个文字。每个文字对应有至少一个音素，任一文字对应的至少一个音素用于指示该文字的读音。
其中，语调风格是指语音表达的腔调，表现为语音的高低轻重变化。语调风格包括语速、音调、音量、停顿、重音和语气等至少一个方面的语音表现风格。全局指示信息也即是用于指示一个句子整体的语调风格。例如，整体的语调风格包括句子的语速、句子的音调以及句子的音调波动等至少一个方面的语音表现风格。
参考语音可划分为多个语音帧，通过各个语音帧的语音特征来更加细致地表现一种语调风格。服务器通过语音合成模型，能够将参考语音的各个语音帧的语调风格融合到文本信息的音素对应的语音特征中去，实现对所合成的语音的局部的语调风格的控制。其中，参考语音用于代表一种语调风格，在语音合成过程中，参考语音无需是文本信息的语音表示。另外，参考语音可按照帧长划分成多个语音帧，帧长可灵活配置，例如，帧长可配置为10毫秒、15毫秒或者30毫秒等，本公开实施例对此不加以限定。
在步骤S202中，服务器将文本信息、全局指示信息以及参考语音输入语音合成模型。
其中，语音合成模型是已训练完成的模型。该语音合成模型基于样本文本信息、样本全局指示信息以及样本文本信息对应的样本参考语音进行训练得到，具有输入文本信息、全局指示信息以及参考语音，输出文本信息对应的语音特征的功能。
在步骤S203中，服务器通过语音合成模型，输出文本信息对应的语音特征。
其中，语音特征用于反映语音的声学特性。可选地，语音特征由梅尔频谱或者线性谱等声学特征来进行表示，语音特征也可以由其他声学特征来进行表示，本公开实施例对此不加以限定。
服务器通过语音合成模型，结合全局指示信息和参考语音，将文本信息转换为符合全局指示信息所指示的整体的语调风格，并且符合参考语音所指示的局部的语调风格的语音特征。服务器得到语音合成模型输出的语音特征之后，还通过声码器将语音特征转换为可播放的语音，进而通过语音播放实现语音传播。其中，声码器可以为Griffin-Lim(一种基于频谱重建语音的算法)声码器或者WaveGlow(一种依靠流的合成高质量语音的网络)声码器等，本公开实施例对此不加以限定。
本公开实施例提供的技术方案，以全局指示信息来指示语音整体的语调风格，以参考语音来指示语音局部的语调风格，通过语音合成模型，将全局指示信息和参考语音融合到将文本信息转换为语音特征的过程中，一方面，使得最终得到的语音特征符合全局指示信息所指示的整体的语调风格，另一方面，通过参考语音对语音特征的局部的语调风格进行更加细致的控制，实现了对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，从而提高了语音合成的可用性。
图3是根据一示例性实施例示出的一种语音合成模型的训练方法的流程图。参见图3，该语音合成模型的训练方法应用于服务器。服务器通过多次迭代，对语音合成模型进行训练，其中，每次迭代的训练过程均同理，本公开实施例以其中一次迭代的训练过程为例进行简要说明，该实施例包括以下步骤。
在步骤S301中，服务器在任一次迭代过程中，获取样本全局指示信息，样本全局指示信息用于指示待合成的语音的整体的语调风格。
其中，样本全局指示信息是在本次迭代过程中作为训练样本的全局指示信息。
在步骤S302中，服务器将样本文本信息、样本参考语音以及样本全局指示信息输入语音合成模型，其中，样本参考语音是样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格。
其中，样本文本信息是在本次迭代过程中作为训练样本的文本信息。样本参考语音是在本次迭代过程中作为训练样本的语音，是样本文本信息的语音表示。样本参考语音既是用于指示待合成的语音的局部的语调风格的参考语音，也是对所合成的语音的准确性进行判定，更新语音合成模型的模型参数所参照的标准。
在步骤S303中，服务器通过语音合成模型，输出样本文本信息对应的语音特征。
其中，语音合成模型为正在训练的模型。服务器通过该语音合成模型，结合样本全局指示信息和样本参考语音，将样本文本信息转换为对应的语音特征。
在步骤S304中，服务器基于语音合成模型输出的语音特征和样本参考语音的语音特征，更新语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的语音合成模型。
服务器将样本文本信息的语音表示作为样本参考语音，来指示样本文本信息对应的待合成语音的局部的语调风格。语音合成模型以样本参考语音的语调风格作为参考，对样本文本信息进行语音合成，应输出与样本参考语音的语音特征尽可能相似的语音特征。服务器对语音合成模型输出的语音特征和样本参考语音的语音特征进行比较，基于比较结果，更新语音合成模型的模型参数，以使更新后的语音合成模型尽可能输出与样本参考语音的语音特征尽可能相似的语音特征。
可选地，停止训练条件为迭代次数达到目标次数；或者，停止训练条件为在连续n次迭代过程中，语音合成模型输出的语音特征与样本参考语音的语音特征的相似度均大于相似度阈值，本公开实施例对停止训练条件不加以限定。其中，目标次数可灵活配置，例如，目标次数为50次或者100次等。n为正整数，例如，n为3、5或者10等。相似度阈值可灵活配置，例如，相似度阈值为80％、90％或者95％等。
本公开实施例提供的技术方案，在语音合成模型的训练过程中，以全局指示信息来指示语音整体的语调风格，将文本信息的语音表示作为参考语音，来指示语音局部的语调风格，从而使语音合成模型参考全局指示信息和参考语音两者所指示的语调风格，将文本信息转换为对应的语音特征，进而基于语音合成模型输出的语音特征和参考语音的语音特征，来更新语音合成模型的模型参数，以使训练完成的语音合成模型能够输出符合全局指示信息所指示的整体的语调风格，并且符合参考语音所指示的局部的语调风格的语音特征，从而通过训练完成的语音合成模型能够实现对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，提高语音合成的可用性。
需要说明的是，本公开实施例中的语音合成模型是以encoder-decoder(编码器-解码器)框架为基础的端到端学习(end-to-end learning)模型。参见图4，语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络。其中，语音编码网络分别与全局风格表示网络和局部风格表示网络相连，文本编码网络分别与局部风格表示网络和注意力网络相连，全局风格表示网络和局部风格表示网络分别与注意力网络相连，注意力网络与解码网络相连。文本编码网络、语音编码网络、全局风格表示网络和局部风格表示网络共同构成语音合成模型的encoder部分，解码网络构成语音合成模型的decoder部分，encoder的输出经过注意力网络之后作为decoder的输入。
图5是根据一示例性实施例示出的一种语音合成模型的训练方法的流程图。下面结合图4和图5，基于语音合成模型内部的网络结构，对任一次迭代的训练过程进行详细说明，语音合成模型的训练方法包括以下步骤。
在步骤S501中，服务器在任一次迭代过程中，获取样本全局指示信息，样本全局指示信息用于指示待合成的语音的整体的语调风格。
可选地，样本全局指示信息包括时长指示均值、基频指示均值和基频指示方差中的至少一个。其中，时长指示均值用于指示语音合成模型输出的语音特征中的多个音节的持续时长的均值，基频指示均值用于指示语音合成模型输出的语音特征中的多个基频的均值，基频指示方差用于指示语音合成模型输出的语音特征中的多个基频的方差。
可选地，服务器分别将时长指示均值、基频指示均值和基频指示方差归一化为-1到1之间的数值。其中，时长指示均值越接近-1，则表示所指示的音节的持续时长的均值相较于音节初始的时长均值越大，整体语速越慢；时长指示均值越接近1，则表示音节的持续时长的均值相较于音节初始的时长均值越小，整体语速越快；时长指示均值为0，则表示音节的持续时长的均值相较于音节初始的时长均值无变化。基频指示均值越接近-1，则表示所指示的基频的均值相较于初始的基频均值越小，整体音调越低；基频指示均值越接近1，则表示所指示的基频的均值相较于初始的基频均值越大，整体音调越高；基频指示均值越接近0，则表示所指示的基频的均值相较于初始的基频均值无变化。基频指示方差越接近-1，则表示所指示的基频的方差相较于初始的基频方差越小，整体的音调波动变化越平缓；基频指示方差越接近1，则表示所指示的基频的方差相较于初始的基频方差越大，整体的音调波动变化越剧烈；基频指示方差越接近0，则表示所指示的基频的方差相较于初始的基频方差无变化。
在一种可选的实现方式中，服务器基于样本参考语音，确定样本全局指示信息。服务器确定样本参考语音中多个音节的持续时长的均值，作为时长指示均值；确定样本参考语音中多个基频的均值，作为基频指示均值；确定样本参考语音中多个基频的方差，作为基频指示方差。
在另一种可选的实现方式中，语音合成模型对应有时长均值范围，该时长均值范围是指一个音节的持续时长的合理调节范围，服务器随机获取该时长均值范围内的任一数值，作为时长指示均值。例如，一个汉字音节的持续时长通常在200毫秒到600毫秒之间，音节的持续时长过长或过短都会影响收听效果，因此，时长均值范围可设置为200毫秒到600毫秒。
语音合成模型对应有基频均值范围，该基频均值范围是指基频均值的合理调节范围，服务器随机获取该基频均值范围内的任一数值，作为基频指示均值。其中，基频影响语音的音调，音调过高或过低均会影响收听效果，因此，基频均值范围内的基频数值可设置在人的听觉舒适范围之内。
语音合成模型对应有基频方差范围，该基频方差范围是指基频方差的合理调节范围，服务器随机获取该基频方差范围内的任一数值，作为基频指示方差。其中，基频的方差影响语音的音调高低的波动变化，音调波动落差过大或过小均会影响收听效果，因此，基频方差范围内的数值可设置在人的听觉舒适范围之内。
在步骤S502中，服务器将样本文本信息、样本参考语音以及样本全局指示信息输入语音合成模型，其中，样本参考语音是样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格。
服务器将样本文本信息输入到语音合成模型的文本编码网络；将样本参考语音输入到语音合成模型的语音编码网络；将样本全局指示信息输入到语音合成模型的全局风格表示网络。
在步骤S503中，服务器通过语音合成模型的文本编码网络确定样本文本信息对应的样本音素向量序列。
可选地，文本信息包括多个音素。若语音合成模型用于对表音文字组成的文本进行语音合成，则文本信息包括对表音文字组成的文本进行划分得到的多个音素。若语音合成模型用于对表意文字组成的文本进行语音合成，则文本信息包括对表意文字组成的文本对应的注音字符进行划分得到的多个音素。其中，注音字符是按照语言学规则，对表意文字组成的文本进行转换得到的。可选地，若表意文字组成的文本为中文，注音字符还包括音调标记、儿化音标记和其他语言标记中的至少一种。其中，音调标记用于表示声音的高低升降，音调标记主要包括阴平、阳平、上声、去声和轻声。例如，若阴平表示为1，阳平表示为2，上声表示为3，去声表示为4，轻声表示为5，则文本“我们”对应的注音字符表示为“wo3men5”。
或者，为了便于模型理解和学习，文本信息也可以包括多个音素的初始向量。音素的初始向量是对单个音素的特征表示。例如，语音合成模型对应有音素表，该音素表包括语音合成所涉及的全部音素，音素的初始向量可以基于该音素在音素表中的位置来表示，假设音素表中共有118个音素，音素的初始向量可表示为118维的向量，若某一音素在音素表中的第20位，则该音素的初始向量的第20位为1，其他位均为0。
音素向量序列是通过文本编码网络对文本信息进行编码得到的。服务器通过文本编码网络依次对文本信息中的每个音素进行编码，得到每个音素的向量，由多个音素的向量组成音素向量序列。在任一次编码得到一个音素的向量的过程中，服务器通过文本编码网络，基于上一次编码得到的音素的向量和本次待编码的音素的向量，进行编码，得到本次待编码的音素的向量。通过上述编码方式，音素向量序列中每一个音素的向量均融合了该音素以及位于该音素之前的多个音素的语义信息，基于融合有语义信息的向量进行语音合成，能够提高语音合成的准确性。
可选地，文本编码网络为RNN(Recurrent Neural Network，循环神经网络)结构或者LSTM(长短期记忆网络，Long Short-Term Memory)结构等具有递归功能的网络结构，本公开对文本编码网络的网络结构，不加以限定。
在步骤S504中，服务器通过语音合成模型的语音编码网络确定样本参考语音对应的样本参考语音向量序列。
其中，参考语音包括多个语音帧，参考语音向量序列包括多个语音帧的向量。服务器通过语音编码网络依次对参考语音的多个语音帧进行编码，得到每个语音帧的向量，由上述多个语音帧的向量组成参考语音向量序列。在任一次编码得到一个参考语音的语音帧的向量的过程中，服务器通过语音编码网络，基于上一次编码得到的语音帧的向量和本次待编码的语音帧的语音特征，进行编码，得到本次待编码的语音帧的向量。通过上述编码方式，参考语音向量序列中每一个语音帧的向量均融合了该语音帧以及位于该语音帧之前的多个语音帧的语义信息，基于融合有语义信息的向量进行语音合成，能够提高语音合成的准确性。
可选地，语音编码网络为RNN(Recurrent Neural Network，循环神经网络)结构或者LSTM(长短期记忆网络，Long Short-Term Memory)结构等具有递归功能的网络结构，本公开对语音编码网络的网络结构，不加以限定。
需要说明的是，在本公开实施例中，对确定音素向量序列以及确定参考语音向量序列的先后顺序以先确定音素向量序列，再确定参考语音向量序列为例进行说明，而在一些可能的实施例中，上述确定音素向量序列的步骤以及确定参考语音向量序列的步骤还能够按照其他时序进行。例如，同时确定音素向量序列和参考语音向量序列；或者，先确定参考语音向量序列，再确定音素向量序列，本公开实施例对此不加以限定。
在步骤S505中，服务器通过语音合成模型的全局风格表示网络，基于样本全局指示信息和样本参考语音向量序列，确定全局风格嵌入向量。
在语音合成模型的训练过程中，将语音编码网络输出的样本参考语音向量序列作为全局风格表示网络的输入，以确定全局风格嵌入向量。服务器通过全局风格表示网络将样本全局指示信息转换为样本全局风格向量；基于样本全局风格向量和样本参考语音向量序列中的最后一个语音帧的向量，确定全局风格嵌入向量，以通过全局风格嵌入向量控制待合成的语音特征的整体的语调风格。其中，最后一个语音帧的向量融合了样本参考语音的多个语音帧的语音特征，是对样本参考语音全局的语调风格的一种表示。
上述技术方案，获取样本参考语音向量序列中最后一个语音帧的向量，基于该最后一个语音帧的向量和样本全局指示信息对应的样本全局风格向量，确定全局风格嵌入向量，使得样本参考语音全局的语调风格对全局风格嵌入向量的取值产生影响，将样本参考语音全局的语调风格融合到全局风格嵌入向量中去，增强了用于指示整体的语调风格的全局风格嵌入向量的多样性，从而能够基于较少的训练样本，训练得到稳定的语音合成模型，降低模型的训练成本。
其中，上述服务器基于样本全局风格向量和样本参考语音向量序列中的最后一个语音帧的向量，确定全局风格嵌入向量的步骤包括：服务器通过全局风格表示网络，分别基于以样本全局风格向量中的每个值为均值，以最后一个语音帧的向量中的每个值为方差的高斯分布，进行重采样，得到全局风格嵌入向量中的每个值。
上述技术方案，以样本全局风格向量中的每个值为均值，以最后一个语音帧的向量中的每个值为方差，构建高斯分布，以该高斯分布为基础进行重采样，有一定概率采样到除样本全局风格向量中的值之外的其他数值，增加了全局风格嵌入向量取值的多样性，对待合成的语音的整体的语调风格的指示更加丰富，从而基于较少的训练样本，能够训练得到稳定的语音合成模型，降低模型的训练成本。
在步骤S506中，服务器通过语音合成模型的局部风格表示网络，基于样本音素向量序列和样本参考语音向量序列，确定样本局部调节向量序列。
在语音合成模型的训练过程中，将文本编码网络输出的样本音素向量序列作为局部风格表示网络的输入，以及，将语音编码网络输出的样本参考语音向量序列作为局部风格表示网络的输入，以确定样本局部调节向量序列。
服务器通过局部风格表示网络，根据注意力机制，基于样本音素向量序列和样本参考语音向量序列，确定样本参考语音的多个语音帧中的每个语音帧分别对应样本文本信息的多个音素中的每个音素的概率；基于每个语音帧分别对应每个音素的概率以及样本参考语音向量序列，确定样本局部调节向量序列，其中，样本局部调节向量序列的序列长度与样本音素向量序列的序列长度相等，样本局部调节向量序列用于表示样本参考语音的每个语音帧的语调风格对样本文本信息的每个音素对应的语音特征的影响。
例如，样本音素向量序列的序列长度为m1，向量维数为n；样本参考语音向量序列的序列长度为m2，向量维数为n，服务器分别确定样本参考语音的多个语音帧中的每个语音帧分别对应样本文本信息的多个音素中的每个音素的概率，得到m1×m2个概率，可表示为m1行m2列的矩阵；服务器将样本参考语音向量序列表示为m2行n列的矩阵，将上述m1行m2列的矩阵与m2行n列的矩阵相乘，得到样本局部调节向量序列，该样本局部调节向量序列可表示为m1行n列的矩阵。
上述技术方案，根据注意力机制，确定参考语音的每个语音帧分别对应于文本信息的每个音素的概率，以得到的概率来指示参考语音的每个语音帧对文本信息的每个音素对应的语调风格的影响程度，任一语音帧对应于任一音素的概率越大，则该语音帧的语调风格对该音素的影响程度越大，从而基于所得到的概率和参考语音向量序列，确定局部调节向量序列，使得局部调节向量序列能够按照对应的影响程度，表示参考语音的语调风格对文本信息的各个音素对应的语音特征的影响，进而基于局部调节向量序列，能够将参考语音的局部的语调风格对应融合到文本信息对应的语音特征中去，实现对所合成的语音的语调风格的灵活控制，提高语音合成模型的可用性。
并且，上述技术方案，根据注意力机制，来表示参考语音的语调风格对文本信息的各个音素对应的语音特征的影响，在训练过程中也无需标注参考语音的语音帧与文本信息的音素的一一对应关系，在保证模型可用性的基础上，还不依赖于人工的数据标注，降低了人力标注成本，降低了训练所基于的语料库的制作难度，提高了语料库的制作效率。
需要说明的是，在本公开实施例中，对确定全局风格嵌入向量以及确定局部调节向量序列的先后顺序以先确定全局风格嵌入向量，再确定局部调节向量序列为例进行说明，而在一些可能的实施例中，上述确定全局风格嵌入向量的步骤以及确定局部调节向量序列的步骤还能够按照其他时序进行。例如，同时确定全局风格嵌入向量和局部调节向量序列；或者，先确定局部调节向量序列，再确定全局风格嵌入向量，本公开实施例对此不加以限定。
在步骤S507中，在任一次确定一个音素对应的语音特征的过程中，服务器通过语音合成模型的注意力网络，基于样本音素向量序列、全局风格嵌入向量以及样本局部调节向量序列，确定样本中间向量。
可选地，在语音合成模型的训练过程中，将文本编码网络输出的样本音素向量序列、全局风格表示网络输出的全局风格嵌入向量以及局部风格表示网络输出的样本局部调节向量序列作为注意力网络的输入；或者，将样本音素向量序列、全局风格嵌入向量以及样本局部调节向量序列进行拼接，将拼接后的向量作为注意力网络的输入，以确定样本中间向量。其中，样本音素向量序列与样本局部调节向量序列的序列长度相等，可选地，将样本音素向量序列中每个音素的向量拼接上与该音素所在的序列位置相同的局部调节向量序列中的向量，再拼接上全局风格嵌入向量，得到该音素对应的向量。
上述基于样本音素向量序列、全局风格嵌入向量以及样本局部调节向量序列，确定样本中间向量的步骤包括：基于样本音素向量序列、全局风格嵌入向量和样本局部调节向量序列，确定样本文本信息的多个音素对应的注意力权重；基于多个音素对应的注意力权重，对多个音素对应的向量进行加权求和，得到样本中间向量。
上述技术方案，根据注意力机制，确定文本信息的多个音素对应的注意力权重，再基于注意力权重，对多个音素对应的向量进行加权求和，得到中间向量，使得中间向量按照对不同音素的注意力程度，将多个音素对应的向量加权到一起，相较于直接将最后一个音素对应的向量作为中间向量，减少了信息丢失，增强了向量表达的准确性，进而基于准确性更高的中间向量，能够得到准确性更高的语音特征，提高语音合成的准确性。
在步骤S508中，在任一次确定一个音素对应的语音特征的过程中，服务器通过语音合成模型的解码网络，基于注意力网络输出的样本中间向量，确定一个音素对应的语音特征。
服务器通过解码网络，基于注意力网络每次输出的样本中间向量，确定一个音素对应的语音特征，直至得到文本信息的多个音素对应的语音特征，由多个音素对应的语音特征组成文本信息对应的语音特征。
上述技术方案，通过编码网络将文本信息和参考语音转换为音素向量序列和参考语音向量序列，将参考语音向量序列和全局指示信息作为全局风格表示网络的输入，确定全局风格嵌入向量，使得参考语音全局的语调风格对全局风格嵌入向量的取值产生影响，将参考语音全局的语调风格融合到全局风格嵌入向量中去，增强了用于指示整体的语调风格的全局风格嵌入向量的多样性，从而能够基于较少的训练样本，训练得到稳定的语音合成模型，降低模型的训练成本，将音素向量序列和参考语音向量序列作为局部风格表示网络的输入，确定局部调节向量序列，以局部调节向量序列来表示参考语音的每个语音帧的语调风格对文本信息的每个音素对应的语音特征的影响，进而通过注意力网络，基于音素向量序列、全局风格嵌入向量以及局部调节向量序列，确定中间向量，在实现对语音特征的整体的语调风格和局部的语调风格进行灵活控制的基础上，进一步减少信息丢失，提高中间向量表示的准确性，进而基于准确性更高的中间向量，得到准确性更高的语音特征，提高语音合成的准确性。
在步骤S509中，服务器基于解码网络输出的语音特征和样本参考语音的语音特征，更新语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的语音合成模型。
服务器对语音合成模型输出的语音特征和样本参考语音的语音特征进行比较，基于比较结果，对语音合成模型中各个网络的模型参数进行更新，若更新后的语音合成模型满足停止训练条件，则语音合成模型训练完成，输出训练完成的语音合成模型；若更新后的语音合成模型不满足停止训练条件，则继续进行下一次迭代过程，直至满足停止训练条件。
本公开实施例提供的技术方案，在语音合成模型的训练过程中，以全局指示信息来指示语音整体的语调风格，将文本信息的语音表示作为参考语音，来指示语音局部的语调风格，从而使语音合成模型参考全局指示信息和参考语音两者所指示的语调风格，将文本信息转换为对应的语音特征，进而基于语音合成模型输出的语音特征和参考语音的语音特征，来更新语音合成模型的模型参数，以使训练完成的语音合成模型能够输出符合全局指示信息所指示的整体的语调风格，并且符合参考语音所指示的局部的语调风格的语音特征，从而通过训练完成的语音合成模型能够实现对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，提高语音合成的可用性。
语音合成模型训练完成之后，服务器可应用训练完成的语音合成模型进行语音合成。图6示出了应用语音合成模型进行语音合成的过程中所涉及到的语音合成模型的内容结构，参见图6，语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络。其中，语音编码网络与局部风格表示网络相连，文本编码网络分别与局部风格表示网络和注意力网络相连，全局风格表示网络以及局部风格表示网络分别与注意力网络相连，注意力网络与解码网络相连。
图7是根据一示例性实施例示出的一种语音合成方法的流程图。下面结合图6和图7，基于语音合成模型内部的网络结构，以服务器通过语音合成模型进行语音合成为例进行详细说明，语音合成方法包括以下步骤。
在步骤S701中，服务器获取全局指示信息和参考语音，其中，全局指示信息用于指示待合成的语音的整体的语调风格，参考语音用于指示待合成的语音的局部的语调风格。
可选地，全局指示信息包括对文本信息对应的语音特征的音节的时长指示均值、对上述语音特征的基频指示均值以及对上述语音特征的基频指示方差中的至少一个。通过时长指示均值可对语音特征的音节的持续时长的均值进行控制，从而实现对句子整体的语速的控制；通过基频指示均值可对语音特征的基频的均值进行控制，从而实现对句子整体的音调高低的控制；通过基频指示方差可对语音特征的基频的方差进行控制，从而实现对句子整体的音调波动变化程度的控制。通过时长指示均值、基频指示均值和基频指示方差，从语速、音调以及音调波动等方面实现对句子整体的语调风格的控制，能够使得所合成的语音的语调风格更加多样化，从而提高语音合成的可用性。
在一种可选的实现方式中，服务器支持用户根据语音合成需求对全局指示信息和参考语音进行配置。用户可以通过配置终端配置全局指示信息和参考语音；配置终端将用户配置的全局指示信息和参考语音发送至服务器；服务器通过接收配置终端发送的全局指示信息和参考语音，获取到全局指示信息和参考语音。
在另一种可选的实现方式中，服务器存储有句子类型与全局指示信息和参考语音的对应关系，服务器基于文本信息所属的句子类型，获取句子类型对应的全局指示信息和参考语音。例如，句子类型包括陈述句、感叹句和疑问句等，服务器可根据文本信息包括的标点符号，确定文本信息所属的句子类型，获取句子类型对应的全局指示信息。
在另一种可选的实现方式中，服务器基于语音合成所面向用户的用户画像，获取与用户画像匹配的全局指示信息和参考语音。例如，用户画像指示用户的偏好为快速听取信息，则可通过对全局指示信息的调整来提高语速；再如，用户画像指示用户的偏好为快速听取重点信息，则可获取语调风格抑扬顿挫明显，突出重点的参考语音。
在另一种可选的实现方式中，服务器支持用户通过语音指令指示语调风格。用户对电子设备，如智能音箱或者机器人等发出语音指令；电子设备将语音指令发送至服务器；服务器对语音指令进行语音识别，确定指令文本；基于指令文本，获取全局指示信息和参考语音。例如，语音指令为提高语速，则服务器通过对全局指示信息进行调整来提高语速；再如，语音指令为平缓朗读，服务器可获取平缓朗读的语调风格的参考语音。
在步骤S702中，服务器通过文本编码网络确定文本信息对应的音素向量序列。
服务器在语音合成过程中确定音素向量序列的过程与在语音合成模型的训练过程中确定音素向量序列的过程同理，也即是步骤S702与步骤S503同理，在此不再赘述。
在步骤S703中，服务器通过语音编码网络确定参考语音对应的参考语音向量序列。
服务器在语音合成过程中确定参考语音向量序列的过程与在语音合成模型的训练过程中确定参考语音向量序列的过程同理，也即是步骤S703与步骤S504同理，在此不再赘述。
在步骤S704中，服务器通过全局风格表示网络将全局指示信息转换为全局风格向量。
服务器通过全局风格表示网络将全局指示信息转换为向量形式，以便于服务器基于全局风格向量，将全局指示信息所指示的整体的语调风格融合到所合成的语音特征中去。
在步骤S705中，服务器通过局部风格表示网络，基于参考语音向量序列和音素向量序列，确定局部调节向量序列，局部调节向量序列用于表示参考语音的每个语音帧的语调风格对文本信息的每个音素对应的语音特征的影响。
服务器在语音合成过程中确定局部调节向量序列的过程与在语音合成模型的训练过程中确定局部调节向量序列的过程同理，也即是步骤S705与步骤S506同理，在此不再赘述。
在步骤S706中，服务器在任一次确定一个音素对应的语音特征的过程中，通过注意力网络，基于音素向量序列、全局风格向量以及局部调节向量序列，确定中间向量。
服务器在语音合成过程中确定中间向量的过程与在语音合成模型的训练过程中确定中间向量的过程同理，也即是步骤S706与步骤S507同理，在此不再赘述。
在步骤S707中，服务器通过解码网络，基于中间向量，确定一个音素对应的语音特征。
服务器通过解码网络，基于注意力网络每次输出的中间向量，确定一个音素对应的语音特征，直至得到文本信息的多个音素对应的语音特征，由多个音素对应的语音特征组成文本信息对应的语音特征。
上述技术方案，将全局指示信息转换为全局风格向量，以全局风格向量来指示整体的语调风格，通过编码网络将文本信息和参考语音转换为音素向量序列和参考语音向量序列，将音素向量序列和参考语音向量序列作为局部风格表示网络的输入，确定局部调节向量序列，以局部调节向量序列来表示参考语音的每个语音帧的语调风格对文本信息的每个音素对应的语音特征的影响，进而通过注意力网络，基于音素向量序列、全局风格向量以及局部调节向量序列，确定中间向量，在实现对语音特征的整体的语调风格和局部的语调风格进行灵活控制的基础上，进一步减少信息丢失，提高中间向量表示的准确性，进而基于准确性更高的中间向量，得到准确性更高的语音特征，提高语音合成的准确性。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图8是根据一示例性实施例示出的一种语音合成装置的框图。参见图8，该装置包括第一信息获取模块801、第一信息输入模块802和第一语音合成模块803。
第一信息获取模块801，被配置为执行获取全局指示信息和参考语音，全局指示信息用于指示待合成的语音的整体的语调风格，参考语音用于指示待合成的语音的局部的语调风格；
第一信息输入模块802，被配置为执行将文本信息、全局指示信息以及参考语音输入语音合成模型；
第一语音合成模块803，被配置为执行通过语音合成模型，输出文本信息对应的语音特征；
其中，语音合成模型基于样本文本信息、样本全局指示信息以及样本文本信息对应的样本参考语音进行训练得到。
本公开实施例提供的技术方案，以全局指示信息来指示语音整体的语调风格，以参考语音来指示语音局部的语调风格，通过语音合成模型，将全局指示信息和参考语音融合到将文本信息转换为语音特征的过程中，一方面，使得最终得到的语音特征符合全局指示信息所指示的整体的语调风格，另一方面，通过参考语音对语音特征的局部的语调风格进行更加细致的控制，实现了对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，从而提高了语音合成的可用性。
在一种可选的实现方式中，语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，语音编码网络与局部风格表示网络相连，文本编码网络分别与局部风格表示网络和注意力网络相连，全局风格表示网络以及局部风格表示网络分别与注意力网络相连，注意力网络与解码网络相连；
第一语音合成模块803，被配置为执行：
通过文本编码网络确定文本信息对应的音素向量序列；通过语音编码网络确定参考语音对应的参考语音向量序列；
通过全局风格表示网络将全局指示信息转换为全局风格向量；
通过局部风格表示网络，基于参考语音向量序列和音素向量序列，确定局部调节向量序列，局部调节向量序列用于表示参考语音的每个语音帧的语调风格对文本信息的每个音素对应的语音特征的影响；
在任一次确定一个音素对应的语音特征的过程中，通过注意力网络，基于音素向量序列、全局风格向量以及局部调节向量序列，确定中间向量；通过解码网络，基于中间向量，确定一个音素对应的语音特征。
在另一种可选的实现方式中，全局指示信息包括对语音特征的音节的时长指示均值、对语音特征的基频指示均值以及对语音特征的基频指示方差中的至少一个。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种语音合成模型的训练装置的框图。参见图9，该装置包括第二信息获取模块901、第二信息输入模块902、第二语音合成模块903和模型参数更新模块904。
第二信息获取模块901，被配置为执行在任一次迭代过程中，获取样本全局指示信息，样本全局指示信息用于指示待合成的语音的整体的语调风格；
第二信息输入模块902，被配置为执行将样本文本信息、样本参考语音以及样本全局指示信息输入语音合成模型，其中，样本参考语音是样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格；
第二语音合成模块903，被配置为执行通过语音合成模型，输出样本文本信息对应的语音特征；
模型参数更新模块904，被配置为执行基于语音合成模型输出的语音特征和样本参考语音的语音特征，更新语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的语音合成模型。
本公开实施例提供的技术方案，在语音合成模型的训练过程中，以全局指示信息来指示语音整体的语调风格，将文本信息的语音表示作为参考语音，来指示语音局部的语调风格，从而使语音合成模型参考全局指示信息和参考语音两者所指示的语调风格，将文本信息转换为对应的语音特征，进而基于语音合成模型输出的语音特征和参考语音的语音特征，来更新语音合成模型的模型参数，以使训练完成的语音合成模型能够输出符合全局指示信息所指示的整体的语调风格，并且符合参考语音所指示的局部的语调风格的语音特征，从而通过训练完成的语音合成模型能够实现对语调风格的灵活控制，使得所合成的语音的语调风格更加多样化，提高语音合成的可用性。
在一种可选的实现方式中，语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，语音编码网络分别与全局风格表示网络和局部风格表示网络相连，文本编码网络分别与局部风格表示网络和注意力网络相连，全局风格表示网络和局部风格表示网络分别与注意力网络相连，注意力网络与解码网络相连；
第二语音合成模块903，包括：
文本编码单元，被配置为执行通过文本编码网络确定样本文本信息对应的样本音素向量序列；
语音编码单元，被配置为执行通过语音编码网络确定样本参考语音对应的样本参考语音向量序列；
全局风格表示单元，被配置为执行通过全局风格表示网络，基于样本全局指示信息和样本参考语音向量序列，确定全局风格嵌入向量；
局部风格表示单元，被配置为执行通过局部风格表示网络，基于样本音素向量序列和样本参考语音向量序列，确定样本局部调节向量序列，样本局部调节向量序列用于表示样本参考语音的每个语音帧的语调风格对样本文本信息的每个音素对应的语音特征的影响；
中间向量表示单元，被配置为执行在任一次确定一个音素对应的语音特征的过程中，通过注意力网络，基于样本音素向量序列、全局风格嵌入向量以及样本局部调节向量序列，确定样本中间向量；
解码单元，被配置为执行通过解码网络，基于样本中间向量，确定一个音素对应的语音特征。
在另一种可选的实现方式中，语音编码单元，被配置为执行在任一次编码得到样本参考语音的一个语音帧的向量的过程中，通过语音编码网络，基于上一次编码得到的语音帧的向量和本次待编码的语音帧的语音特征，进行编码，得到本次待编码的语音帧的向量；
全局风格表示单元，包括：
全局风格向量确定子单元，被配置为执行通过全局风格表示网络，将样本全局指示信息转换为样本全局风格向量；
全局风格嵌入向量确定子单元，被配置为执行基于样本全局风格向量和样本参考语音向量序列中的最后一个语音帧的向量，确定全局风格嵌入向量，其中，最后一个语音帧的向量融合了样本参考语音的多个语音帧的语音特征。
在另一种可选的实现方式中，全局风格嵌入向量确定子单元，被配置为执行分别基于以样本全局风格向量中的每个值为均值，以最后一个语音帧的向量中的每个值为方差的高斯分布，进行重采样，得到全局风格嵌入向量中的每个值。
在另一种可选的实现方式中，局部风格表示单元，被配置为执行：
通过局部风格表示网络，根据注意力机制，基于样本音素向量序列和样本参考语音向量序列，确定样本参考语音的多个语音帧中的每个语音帧分别对应样本文本信息的多个音素中的每个音素的概率；
基于每个语音帧分别对应每个音素的概率以及样本参考语音向量序列，确定样本局部调节向量序列，其中，样本局部调节向量序列的序列长度与样本音素向量序列的序列长度相等。
在另一种可选的实现方式中，中间向量表示单元，被配置为执行：
在任一次确定一个音素对应的语音特征的过程中，通过注意力网络，基于样本音素向量序列、全局风格嵌入向量和样本局部调节向量序列，确定样本文本信息的多个音素对应的注意力权重；
基于多个音素对应的注意力权重，对多个音素对应的向量进行加权求和，得到样本中间向量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种电子设备的框图。该电子设备1000可以是智能手机、平板电脑、笔记本电脑、台式电脑、智能音箱、智能手表、智能电视、智能机器人或者儿童故事机等。电子设备1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备1000包括有：处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一条指令，该至少一条指令用于被处理器1001所执行以实现本公开中方法实施例提供的语音合成方法。
在一些实施例中，电子设备1000还可选包括有：***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地，***设备包括：射频电路1004、显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置在电子设备1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在电子设备1000的不同表面或呈折叠设计；在另一些实施例中，显示屏1005可以是柔性显示屏，设置在电子设备1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备1000的前面板，后置摄像头设置在电子设备1000的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。
定位组件1008用于定位电子设备1000的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1008可以是基于美国的GPS(Global Positioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1009用于为电子设备1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
本领域技术人员可以理解，图10中示出的结构并不构成对电子设备1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图11是根据一示例性实施例示出的一种服务器的框图，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)1101和一个或一个以上的存储器1102，其中，存储器1102用于存储可执行指令，处理器1101被配置为执行上述可执行指令，以实现上述各个方法实施例提供的语音合成方法或者语音合成模型的训练方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1102，上述指令可由服务器1100的处理器1101执行以完成上述语音合成方法或者语音合成模型的训练方法。可选地，计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、CD-ROM(Compact DiscRead-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述各个方法实施例中的语音合成方法。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述各个方法实施例中的语音合成模型的训练方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种语音合成方法，其特征在于，所述语音合成方法包括：
获取全局指示信息和参考语音，所述全局指示信息用于指示待合成的语音的整体的语调风格，所述参考语音用于指示待合成的语音的局部的语调风格；
将文本信息、所述全局指示信息以及所述参考语音输入语音合成模型；
通过所述语音合成模型，输出所述文本信息对应的语音特征；
其中，所述语音合成模型基于样本文本信息、样本全局指示信息以及所述样本文本信息对应的样本参考语音进行训练得到。
2.根据权利要求1所述的语音合成方法，其特征在于，所述语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，所述语音编码网络与所述局部风格表示网络相连，所述文本编码网络分别与所述局部风格表示网络和所述注意力网络相连，所述全局风格表示网络以及所述局部风格表示网络分别与所述注意力网络相连，所述注意力网络与所述解码网络相连；
所述通过所述语音合成模型，输出所述文本信息对应的语音特征，包括：
通过所述文本编码网络确定所述文本信息对应的音素向量序列；通过所述语音编码网络确定所述参考语音对应的参考语音向量序列；
通过所述全局风格表示网络将所述全局指示信息转换为全局风格向量；
通过所述局部风格表示网络，基于所述参考语音向量序列和所述音素向量序列，确定局部调节向量序列，所述局部调节向量序列用于表示所述参考语音的每个语音帧的语调风格对所述文本信息的每个音素对应的语音特征的影响；
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述音素向量序列、所述全局风格向量以及所述局部调节向量序列，确定中间向量；通过所述解码网络，基于所述中间向量，确定一个音素对应的语音特征。
3.根据权利要求1所述的语音合成方法，其特征在于，所述全局指示信息包括对所述语音特征的音节的时长指示均值、对所述语音特征的基频指示均值以及对所述语音特征的基频指示方差中的至少一个。
4.一种语音合成模型的训练方法，其特征在于，所述语音合成模型的训练方法包括：
在任一次迭代过程中，获取样本全局指示信息，所述样本全局指示信息用于指示待合成的语音的整体的语调风格；
将样本文本信息、样本参考语音以及所述样本全局指示信息输入语音合成模型，其中，所述样本参考语音是所述样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格；
通过所述语音合成模型，输出所述样本文本信息对应的语音特征；
基于所述语音合成模型输出的语音特征和所述样本参考语音的语音特征，更新所述语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的所述语音合成模型。
5.根据权利要求4所述的语音合成模型的训练方法，其特征在于，所述语音合成模型包括文本编码网络、语音编码网络、全局风格表示网络、局部风格表示网络、注意力网络和解码网络，其中，所述语音编码网络分别与所述全局风格表示网络和所述局部风格表示网络相连，所述文本编码网络分别与所述局部风格表示网络和所述注意力网络相连，所述全局风格表示网络和所述局部风格表示网络分别与所述注意力网络相连，所述注意力网络与所述解码网络相连；
所述通过所述语音合成模型，输出所述样本文本信息对应的语音特征，包括：
通过所述文本编码网络确定所述样本文本信息对应的样本音素向量序列；通过所述语音编码网络确定所述样本参考语音对应的样本参考语音向量序列；
通过所述全局风格表示网络，基于所述样本全局指示信息和所述样本参考语音向量序列，确定全局风格嵌入向量；
通过所述局部风格表示网络，基于所述样本音素向量序列和所述样本参考语音向量序列，确定样本局部调节向量序列，所述样本局部调节向量序列用于表示所述样本参考语音的每个语音帧的语调风格对所述样本文本信息的每个音素对应的语音特征的影响；
在任一次确定一个音素对应的语音特征的过程中，通过所述注意力网络，基于所述样本音素向量序列、所述全局风格嵌入向量以及所述样本局部调节向量序列，确定样本中间向量；通过所述解码网络，基于所述样本中间向量，确定一个音素对应的语音特征。
6.根据权利要求5所述的语音合成模型的训练方法，其特征在于，所述通过所述语音编码网络确定所述样本参考语音对应的样本参考语音向量序列，包括：
在任一次编码得到所述样本参考语音的一个语音帧的向量的过程中，通过所述语音编码网络，基于上一次编码得到的语音帧的向量和本次待编码的语音帧的语音特征，进行编码，得到本次待编码的语音帧的向量；
所述通过所述全局风格表示网络，基于所述样本全局指示信息和所述样本参考语音向量序列，确定全局风格嵌入向量，包括：
通过所述全局风格表示网络，将所述样本全局指示信息转换为样本全局风格向量；
基于所述样本全局风格向量和所述样本参考语音向量序列中的最后一个语音帧的向量，确定所述全局风格嵌入向量，其中，所述最后一个语音帧的向量融合了所述样本参考语音的多个语音帧的语音特征。
7.一种语音合成装置，其特征在于，所述语音合成装置包括：
第一信息获取模块，被配置为执行获取全局指示信息和参考语音，所述全局指示信息用于指示待合成的语音的整体的语调风格，所述参考语音用于指示待合成的语音的局部的语调风格；
第一信息输入模块，被配置为执行将文本信息、所述全局指示信息以及所述参考语音输入语音合成模型；
第一语音合成模块，被配置为执行通过所述语音合成模型，输出所述文本信息对应的语音特征；
其中，所述语音合成模型基于样本文本信息、样本全局指示信息以及所述样本文本信息对应的样本参考语音进行训练得到。
8.一种语音合成模型的训练装置，其特征在于，所述语音合成模型的训练装置包括：
第二信息获取模块，被配置为执行在任一次迭代过程中，获取样本全局指示信息，所述样本全局指示信息用于指示待合成的语音的整体的语调风格；
第二信息输入模块，被配置为执行将样本文本信息、样本参考语音以及所述样本全局指示信息输入语音合成模型，其中，所述样本参考语音是所述样本文本信息的语音表示，用于指示待合成的语音的局部的语调风格；
第二语音合成模块，被配置为执行通过所述语音合成模型，输出所述样本文本信息对应的语音特征；
模型参数更新模块，被配置为执行基于所述语音合成模型输出的语音特征和所述样本参考语音的语音特征，更新所述语音合成模型的模型参数，直至满足停止训练条件，输出训练完成的所述语音合成模型。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至3中任一项所述的语音合成方法。
10.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至3中任一项所述的语音合成方法或者如权利要求4至6中任一项所述的语音合成模型的训练方法。
CN202011545256.2A 2020-12-24 2020-12-24 语音合成方法、语音合成模型的训练方法及装置 Pending CN112712788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011545256.2A CN112712788A (zh) 2020-12-24 2020-12-24 语音合成方法、语音合成模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011545256.2A CN112712788A (zh) 2020-12-24 2020-12-24 语音合成方法、语音合成模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN112712788A true CN112712788A (zh) 2021-04-27

Family

ID=75543995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011545256.2A Pending CN112712788A (zh) 2020-12-24 2020-12-24 语音合成方法、语音合成模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN112712788A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746834A (zh) * 2024-02-21 2024-03-22 青岛海尔科技有限公司 基于大模型的语音生成方法及装置、存储介质、电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109036375A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 语音合成方法、模型训练方法、装置和计算机设备
KR20200119217A (ko) * 2019-04-09 2020-10-19 네오사피엔스 주식회사 사용자 인터페이스를 통해 텍스트에 대한 합성 음성을 생성하는 방법 및 시스템
WO2020236990A1 (en) * 2019-05-23 2020-11-26 Google Llc Variational embedding capacity in expressive end-to-end speech synthesis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109036375A (zh) * 2018-07-25 2018-12-18 腾讯科技（深圳）有限公司 语音合成方法、模型训练方法、装置和计算机设备
KR20200119217A (ko) * 2019-04-09 2020-10-19 네오사피엔스 주식회사 사용자 인터페이스를 통해 텍스트에 대한 합성 음성을 생성하는 방법 및 시스템
WO2020236990A1 (en) * 2019-05-23 2020-11-26 Google Llc Variational embedding capacity in expressive end-to-end speech synthesis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OHSUNG KWON ET AL.: "An Effective Style Token Weight Control Technique for End-to-End Emotional Speech Synthesisto-End_Emotional_Speech_Synthesis", IEEE SIGNAL PROCESSING LETTERS, vol. 26, no. 9, 29 July 2019 (2019-07-29), pages 1383 - 1387, XP011739556, DOI: 10.1109/LSP.2019.2931673 *
OHSUNG KWON ET AL.: "Emotional Speech Synthesis Based on Style Embedded Tacotron2 Framework", 2019 34TH INTERNATIONAL TECHNICAL CONFERENCE ON CIRCUITS/SYSTEMS, COMPUTERS AND COMMUNICATIONS, 12 August 2019 (2019-08-12), pages 1 - 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746834A (zh) * 2024-02-21 2024-03-22 青岛海尔科技有限公司 基于大模型的语音生成方法及装置、存储介质、电子装置
CN117746834B (zh) * 2024-02-21 2024-05-24 青岛海尔科技有限公司 基于大模型的语音生成方法及装置、存储介质、电子装置

Similar Documents

Publication Publication Date Title
CN110288077B (zh) 一种基于人工智能的合成说话表情的方法和相关装置
US20200294488A1 (en) Method, device and storage medium for speech recognition
CN111048062B (zh) 语音合成方法及设备
CN108615526B (zh) 语音信号中关键词的检测方法、装置、终端及存储介质
CN111261144B (zh) 一种语音识别的方法、装置、终端以及存储介质
CN111369971B (zh) 语音合成方法、装置、存储介质和电子设备
EP3992965A1 (en) Voice signal processing method and speech separation method
CN112099628A (zh) 基于人工智能的vr互动方法、装置、计算机设备及介质
CN110164421B (zh) 语音解码方法、装置及存储介质
CN110931000B (zh) 语音识别的方法和装置
CN109801618B (zh) 一种音频信息的生成方法和装置
CN110992927B (zh) 音频生成方法、装置、计算机可读存储介质及计算设备
CN112840396A (zh) 用于处理用户话语的电子装置及其控制方法
CN112735429B (zh) 确定歌词时间戳信息的方法和声学模型的训练方法
CN112116904B (zh) 语音转换方法、装置、设备及存储介质
CN114882862A (zh) 一种语音处理方法及相关设备
CN111223475B (zh) 语音数据生成方法、装置、电子设备及存储介质
CN112712788A (zh) 语音合成方法、语音合成模型的训练方法及装置
CN113205797B (zh) 虚拟主播生成方法、装置、计算机设备及可读存储介质
CN116978359A (zh) 音素识别方法、装置、电子设备及存储介质
CN111028823B (zh) 音频生成方法、装置、计算机可读存储介质及计算设备
CN113903325B (zh) 文本转3d音频的方法及装置
US20240071363A1 (en) Electronic device and method of controlling text-to-speech (tts) rate
CN110288999B (zh) 语音识别方法、装置、计算机设备及存储介质
CN116778903A (zh) 一种语音合成方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination