CN107945786A - 语音合成方法和装置 - Google Patents

语音合成方法和装置 Download PDF

Info

Publication number
CN107945786A
CN107945786A CN201711205386.XA CN201711205386A CN107945786A CN 107945786 A CN107945786 A CN 107945786A CN 201711205386 A CN201711205386 A CN 201711205386A CN 107945786 A CN107945786 A CN 107945786A
Authority
CN
China
Prior art keywords
phoneme
speech
unit
speech waveform
aligned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711205386.XA
Other languages
English (en)
Other versions
CN107945786B (zh
Inventor
周志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201711205386.XA priority Critical patent/CN107945786B/zh
Publication of CN107945786A publication Critical patent/CN107945786A/zh
Priority to US16/134,893 priority patent/US10553201B2/en
Application granted granted Critical
Publication of CN107945786B publication Critical patent/CN107945786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了语音合成方法和装置。该方法的一具体实施方式包括：确定待处理文本的音素序列；将该音素序列输入至预先训练的语音模型，得到与该音素序列中的每一个音素相对应的声学特征，其中，该语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；对于该音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定该至少一个语音波形单元中的目标语音波形单元；将该音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。该实施方式提高了语音合成效果。

Description

语音合成方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及语音合成方法和装置。
背景技术
人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。语音合成是通过机械的、电子的方法产生人造语音的技术。文语转换技术(Text to Speech，TTS)技术隶属于语音合成，它是将计算机自己产生的、或外部输入的文字信息转变为可以听得懂的、流利的汉语口语输出的技术。
现有的语音合成方法通常采用基于隐马尔可夫模型(Hidden Markov Model，HMM)的语音模型输出文本对应的声学特征，之后通过声码器将参数转换为语音。
发明内容
本申请实施例提出了语音合成方法和装置。
第一方面，本申请实施例提供了一种语音合成方法，该方法包括：确定待处理文本的音素序列；将音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征，其中，语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定至少一个语音波形单元中的目标语音波形单元；将音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
在一些实施例中，语音模型为端对端神经网络，端对端神经网络包括第一神经网络、注意力模型和第二神经网络。
在一些实施例中，语音模型通过如下步骤训练得到：提取训练样本，其中，训练样本包括文本样本和与文本样本相对应的语音样本；确定文本样本的音素序列样本和构成语音样本的语音波形单元，从构成语音样本的语音波形单元中提取声学特征；利用机器学习方法，将音素序列样本作为输入，将所提取的声学特征作为输出，训练得到语音模型。
在一些实施例中，预置的、音素与语音波形单元的索引通过如下步骤得到：对于音素序列样本中的每一个音素，基于该音素对应的声学特征，确定该音素对应的语音波形单元；基于音素序列样本中的各个音素与语音波形单元的对应关系，建立音素与语音波形单元的索引。
在一些实施例中，代价函数包括目标代价函数和连接代价函数，目标代价函数用于表征语音波形单元与声学特征的匹配程度，连接代价函数用于表征相邻的语音波形单元的连续程度。
在一些实施例中，对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征、预设的代价函数，确定至少一个语音波形单元中的目标语音波形单元，包括：对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元；将该音素对应的声学特征作为目标声学特征，对于至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和目标声学特征，确定目标代价函数的值；将满足预设条件的目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元；基于所确定的各个候选语音波形单元所对应的声学特征和连接代价函数，利用维特比算法确定音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。
第二方面，本申请实施例提供了一种语音合成装置，该装置包括：第一确定单元，配置用于确定待处理文本的音素序列；输入单元，配置用于将音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征，其中，语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；第二确定单元，配置用于对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定至少一个语音波形单元中的目标语音波形单元；合成单元，配置用于将音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
在一些实施例中，语音模型为端对端神经网络，端对端神经网络包括第一神经网络、注意力模型和第二神经网络。
在一些实施例中，装置还包括：提取单元，配置用于提取训练样本，其中，训练样本包括文本样本和与文本样本相对应的语音样本；第三确定单元，配置用于确定文本样本的音素序列样本和构成语音样本的语音波形单元，从构成语音样本的语音波形单元中提取声学特征；训练单元，配置用于利用机器学习方法，将音素序列样本作为输入，将所提取的声学特征作为输出，训练得到语音模型。
在一些实施例中，装置还包括：第四确定单元，配置用于对于音素序列样本中的每一个音素，基于该音素对应的声学特征，确定该音素对应的语音波形单元；建立单元，配置用于基于音素序列样本中的各个音素与语音波形单元的对应关系，建立音素与语音波形单元的索引。
在一些实施例中，代价函数包括目标代价函数和连接代价函数，目标代价函数用于表征语音波形单元与声学特征的匹配程度，连接代价函数用于表征相邻的语音波形单元的连续程度。
在一些实施例中，第二确定单元包括：第一确定模块，配置用于对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元；将该音素对应的声学特征作为目标声学特征，对于至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和目标声学特征，确定目标代价函数的值；将满足预设条件的目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元；第二确定模块，配置用于基于所确定的各个候选语音波形单元所对应的声学特征和连接代价函数，利用维特比算法确定音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如语音合成方法中任一实施例的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如语音合成方法中任一实施例的方法。
本申请实施例提供的语音合成方法和装置，通过将待处理文本的音素序列输入至预先训练的语音模型，以便得到与音素序列中的每一个音素相对应的声学特征，而后基于预置的、音素与语音波形单元的索引确定与每一个音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定该音素对应的目标语音波形单元，最后将各个音素对应的目标语音波形单元进行合成，生成语音，从而不需要通过声码器将声学特征转换为语音，同时不需要人工进行音素与语音波形的对齐和切分处理，提高了语音合成效果和语音合成效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的语音合成方法的一个实施例的流程图；
图3是根据本申请的语音合成方法的又一个实施例的流程图；
图4是根据本申请的语音合成装置的一个实施例的结构示意图；
图5是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的语音合成方法或语音合成装置的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上发送的文本信息提供TTS服务的语音处理服务器。语音处理服务器可以对接收到的待处理文本等数据进行分析等处理，并将处理结果(例如合成后的语音)反馈给终端设备。
需要说明的是，本申请实施例所提供的语音合成方法一般由服务器105执行，相应地，语音合成装置一般设置于服务器105中。需要指出的是，本申请实施例所提供的语音合成方法也可以由终端设备101、102、103完成，此时，上述的示例性架构100中可以没有上述网络104和服务器105。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的语音合成方法的一个实施例的流程200。所述的语音合成方法，包括以下步骤：
步骤201，确定待处理文本的音素序列。
在本实施例中，语音合成方法运行于其上的电子设备(例如图1所示的服务器105)可以首先获取待处理文本，其中，上述待处理文本可以是由各种文字构成(例如中文和/或英文等)。上述待处理文本可以预先存储在上述电子设备的本地，此时，上述电子设备可以直接从本地提取上述待处理文本。此外，上述待处理文本还可以是客户端通过有线连接或者无线连接方式发送给上述电子设备的，需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
此处，上述电子设备中可以预先存储有与大量的文字与音素(phoneme)的对应关系。实践中，音素是根据语音的自然属性划分出来的最小语音单位。从声学性质来看，音素是从音质角度划分出来的最小语音单位。以汉语文字作为示例，汉语音节ā(啊)一个音素，ài(爱)有两个音素，dāi(呆)有三个音素等。在获取到上述待处理文本后，上述电子设备可以基于上述预先存储的文字与音素的对应关系，确定构成上述待处理文本的各个文字对应的音素，从而依次将这些文字对应的音素组成音素序列。
步骤202，将音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征。
在本实施例中，上述电子设备可以将上述音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征，其中，声学特征可以包括与声音相关的各种参数(例如基频、频谱等)。上述语音模型可以用于表征音素序列中的每一个音素与声学特征的对应关系。作为示例，上述语音模型可以是技术人员基于大量的数据统计而预先制定的音素与声学特征的对应关系表。作为又一示例，上述语音模型可以利用机器学习方法进行有监督训练得到。实践中，可以使用各种模型训练得到语音模型(例如隐马尔可夫模型或者深度神经网络等现有的模型结构)。
在本实施例的一些可选的实现方式中，上述语音模型可以通过如下步骤训练得到：
第一步，提取训练样本，其中，上述训练样本可以包括文本样本(可以由各种文字构成，例如中文、英文等)和与上述文本样本相对应的语音样本。
第二步，确定上述文本样本的音素序列样本和构成上述语音样本的语音波形单元，并从构成上述语音样本的语音波形单元中提取声学特征。具体地，上述电子设备可以首先按照与步骤201相同的方式确定上述文本样本对应的音素序列，将所确定的音素序列确定为音素序列样本。而后，上述电子设备可以利用各种现有的语音自动切分技术将构成上述语音样本的语音波形单元进行切分，音素序列样本中的每一个音素可以与切分后的一个语音波形单元相对应，音素序列样本中的音素的数量与切分后的语音波形单元的数量相同。之后，上述电子设备可以切分后的每一个语音波形单元中提取声学特征。
第三步，利用机器学习方法，将上述音素序列作为输入，将所提取的声学特征作为输出，训练上述各种模型训练得到语音模型。需要说明的是，上述机器学习方法和模型训练方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤203，对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定至少一个语音波形单元中的目标语音波形单元。
在本实施例中，上述电子设备中可以存储有预置的、音素与语音波形单元的索引。上述索引可以用于表征音素与音库中的语音波形单元所在位置的对应关系，因此，可以通过索引查找某一个音素在音库中对应的语音波形单元。同一个音素在音库中对应的语音波形单元的数量为至少一个，通常需要进行进一步筛选。对于上述音素序列中的每一个音素，上述电子设备可以首先基于上述音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元。而后，上述电子设备可以基于步骤202所获取的、该音素对应的声学特征和预设的代价函数，确定上述至少一个语音波形单元中的目标语音波形单元。其中，上述预设的代价函数可以用于表征声学特征之间的相似程度，代价函数越小，越相似。实践中，代价函数可以使用用于进行相似度计算的各种函数而预先建立，例如，可以基于欧氏距离函数建立代价函数。此时，可以按照如下步骤确定目标语音单元：对于上述音素序列中的每一个音素，上述电子可以将步骤202所获取的、该音素对应的声学特征作为目标声学特征，从与该音素相对应的各个语音波形单元中提取声学特征，逐一计算所提取的声学特征与上述目标声学特征的欧氏距离。而后，对于该音素，可以将相似度最大的语音波形单元作为该音素的目标语音波形单元。
步骤204，将音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
在本实施例中，上述电子设备可以将上述音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。具体地，上述电子设备可以利用进行波形拼接方法(例如基音同步叠加(Pitch Synchronous OverLap Add，PSOLA))对目标语音波形单元进行合成。需要说明的是，上述波形拼接方法是目前广泛研究和应用的公知技术，在此不再赘述。
本申请实施例提供的语音合成方法，通过将待处理文本的音素序列输入至预先训练的语音模型，以便得到与音素序列中的每一个音素相对应的声学特征，而后基于预置的、音素与语音波形单元的索引确定与每一个音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定该音素对应的目标语音波形单元，最后将各个音素对应的目标语音波形单元进行合成，生成语音，从而不需要通过声码器将声学特征转换为语音，同时不需要人工进行音素与语音波形的对齐和切分处理，提高了语音合成效果和语音合成效率。
进一步参考图3，其示出了语音合成方法的又一个实施例的流程300。该语音合成方法的流程300，包括以下步骤：
步骤301，确定待处理文本的音素序列。
在本实施例中，语音合成方法运行于其上的电子设备(例如图1所示的服务器105)可以预先存储有与大量的文字与音素的对应关系。上述电子设备可以首先获取待处理文本，之后，可以基于上述预先存储的文字与音素的对应关系，确定构成上述待处理文本的各个文字对应的音素，从而依次将这些文字对应的音素组成音素序列。
步骤302，将音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征。
在本实施例中，上述电子设备可以将上述音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征，其中，声学特征可以包括与声音相关的各种参数(例如基频、频谱等)。上述语音模型可以用于表征音素序列中的每一个音素与声学特征的对应关系。
此处，上述语音模型可以是端对端神经网络，上述端对端神经网络可以包括第一神经网络、注意力模型(Attention Model，AM)和第二神经网络。其中，上述第一神经网络可以作为编码器(Encoder)，用于将音素序列转换为向量序列，一个音素可以与一个向量相对应。上述第一神经网络可以使用多层的长短期记忆网络(Long Short-Term Memory，LSTM)、多层的双向长短期记忆网络(Bidirectional Long Short-Term Memory，BLSTM)、或者循环神经网络(Recurrent neural Network，RNN)等现有的神经网络结构。上述注意力模型可以用户对上述第一神经网络的输出赋予不同的权重，该权重可以是音素与声学特征对应的概率。上述第二神经网络可以作为解码器(Decoder)，用于输出音素序列中每一个音素对应的声学特征。上述第二神经网络也可以使用长短期记忆网络、双向长短期记忆网络、或者循环神经网络等现有的神经网络结构。
在本实施例中，上述语音模型可以通过如下步骤训练得到：
第一步，提取训练样本，其中，上述训练样本可以包括文本样本(可以由各种文字构成，例如中文、英文等)和与上述文本样本相对应的语音样本。
第二步，确定上述文本样本的音素序列样本和构成上述语音样本的语音波形单元，并从构成上述语音样本的语音波形单元中提取声学特征。具体地，上述电子设备可以首先按照与步骤201相同的方式确定上述文本样本对应的音素序列，将所确定的音素序列确定为音素序列样本。而后，上述电子设备可以利用各种现有的语音自动切分技术将构成上述语音样本的语音波形单元进行切分，音素序列样本中的每一个音素可以与切分后的一个语音波形单元相对应，音素序列样本中的音素的数量与切分后的语音波形单元的数量相同。之后，上述电子设备可以切分后的每一个语音波形单元中提取声学特征。
第三步，利用机器学习方法，将上述音素序列作为上述端对端神经网络的输入，将所提取的声学特征作为上述端对端神经网络的输出，训练得到语音模型。需要说明的是，上述机器学习方法和模型训练方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤303，对于音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元；将该音素对应的声学特征作为目标声学特征，对于至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和目标声学特征，确定目标代价函数的值；将满足预设条件的目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元。
在本实施例中，上述电子中可以存储有预置的、音素与语音波形单元的索引。上述索引可以是上述电子设备基于训练上述语音模型的过程中所得到的数据，通过如下步骤得到：第一步，对于上述音素序列样本中的每一个音素，可以基于该音素对应的声学特征，确定该音素对应的语音波形单元。此处，由于上述音素序列中的每一个音素均与一个语音波形单元的声学特征相对应，因此，可以基于音素与声学特征的对应关系确定音素与语音波形单元的对应关系。第二步，可以基于上述音素序列样本中的各个音素与语音波形单元的对应关系，建立音素与语音波形单元的索引。上述索引可以用于表征音素与音库中的语音波形单元或者语音波形单元所在位置的对应关系，因此，可以通过索引查找某一个音素在音库中对应的语音波形单元。
在本实施例中，上述电子设备中可以预先存储代价函数，其中，上述代价函数可以包括目标代价函数和连接代价函数，上述目标代价函数可以用于表征语音波形单元与上述声学特征的匹配程度，上述连接代价函数可以用于表征相邻的语音波形单元的连续程度。此处，上述目标代价函数和上述连接代价函数均可以基于欧式距离函数而建立。上述目标代价函数的值越小，语音波形单元与上述声学特征越匹配；上述连接代价函数的值越小，相邻的语音波形单元的连续程度越高。
在本实施例中，对于音素序列中的每一个音素，上述电子设备可以首先基于上述索引，确定与该音素相对应的至少一个语音波形单元；而后，可以将该音素对应的声学特征作为目标声学特征，对于上述至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和目标声学特征，确定目标代价函数的值；将满足预设条件的目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元。其中，上述预设条件可以是目标函数的值小于预设数值，也可以是目标函数的值为最小的5个(也可以是其他预先设置的数值)之内。
步骤304，基于所确定的各个候选语音波形单元所对应的声学特征和连接代价函数，利用维特比算法确定音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。
在本实施例中，上述电子设备可以基于所确定的各个候选语音波形单元所对应的声学特征和上述连接代价函数，利用维特比算法确定音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。具体地，对于音素序列中的每一个音素，上述电子设备可以确定该音素对应的各个候选语音波形单元所对应的连接代价函数的值，利用维特比算法，确定目标代价和连接代价的和的最小值该音素对应的候选语音波形单元，将该候选语音波形单元确定为该音素对应的目标语音波形单元。实践中，维特比算法是一种动态规划算法用于寻找最有可能产生观测事件序列的维特比路径。此处，通过维特比算法确定目标语音波形单元的方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤305，将音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
在本实施例中，上述电子设备可以将上述音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。具体地，上述电子设备可以利用进行波形拼接方法(例如基音同步叠加(Pitch Synchronous OverLap Add，PSOLA))对目标语音波形单元进行合成。需要说明的是，上述波形拼接方法是目前广泛研究和应用的公知技术，在此不再赘述。
从图3中可以看出，与图2对应的实施例相比，本实施例中的语音合成方法的流程300突出了通过目标代价函数和连接代价函数确定每一个音素对应的目标语音波形单元的步骤。由此，本实施例描述的方案可以进一步提高语音合成效果。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种语音合成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例上述的语音合成装置400包括：第一确定单元401，配置用于确定待处理文本的音素序列；输入单元402，配置用于将上述音素序列输入至预先训练的语音模型，得到与上述音素序列中的每一个音素相对应的声学特征，其中，上述语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；第二确定单元403，配置用于对于上述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定上述至少一个语音波形单元中的目标语音波形单元；合成单元404，配置用于将上述音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
在本实施例中，上述第一确定单元401可以预先存储有与大量的文字与音素的对应关系。上述第一确定单元401可以首先获取待处理文本，之后，可以基于上述预先存储的文字与音素的对应关系，确定构成上述待处理文本的各个文字对应的音素，从而依次将这些文字对应的音素组成音素序列。
在本实施例中，上述输入单元402可以将上述音素序列输入至预先训练的语音模型，得到与音素序列中的每一个音素相对应的声学特征，其中，上述语音模型可以用于表征音素序列中的每一个音素与声学特征的对应关系。
在本实施例中，上述第二确定单元403中可以存储有预置的、音素与语音波形单元的索引。上述索引可以用于表征音素与音库中的语音波形单元所在位置的对应关系，因此，可以通过索引查找某一个音素在音库中对应的语音波形单元。同一个音素在音库中对应的语音波形单元的数量为至少一个，通常需要进行进一步筛选。对于上述音素序列中的每一个音素，上述第二确定单元403可以首先基于上述音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元。而后，可以基于所获取的、该音素对应的声学特征和预设的代价函数，确定上述至少一个语音波形单元中的目标语音波形单元。
在本实施例中，上述合成单元404可以将上述音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
在本实施例的一些可选的实现方式中，上述语音模型可以是端对端神经网络，上述端对端神经网络可以包括第一神经网络、注意力模型和第二神经网络。
在本实施例的一些可选的实现方式中，上述装置还可以包括提取单元、第三确定单元和训练单元(图中未示出)。其中，上述提取单元可以配置用于提取训练样本，其中，上述训练样本包括文本样本和与上述文本样本相对应的语音样本。上述第三确定单元可以配置用于确定上述文本样本的音素序列样本和构成上述语音样本的语音波形单元，从构成上述语音样本的语音波形单元中提取声学特征。上述训练单元可以配置用于利用机器学习方法，将上述音素序列样本作为输入，将所提取的声学特征作为输出，训练得到语音模型。
在本实施例的一些可选的实现方式中，上述装置还可以包括第四确定单元和建立单元(图中未示出)。其中，上述第四确定单元可以配置用于对于上述音素序列样本中的每一个音素，基于该音素对应的声学特征，确定该音素对应的语音波形单元。上述建立单元可以配置用于基于上述音素序列样本中的各个音素与语音波形单元的对应关系，建立音素与语音波形单元的索引。
在本实施例的一些可选的实现方式中，上述代价函数可以包括目标代价函数和连接代价函数，上述目标代价函数用于表征语音波形单元与上述声学特征的匹配程度，上述连接代价函数用于表征相邻的语音波形单元的连续程度。
在本实施例的一些可选的实现方式中，上述第二确定单元403可以包括第一确定模块和第二确定模块(图中未示出)。其中，上述第一确定模块可以配置用于对于上述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元；将该音素对应的声学特征作为目标声学特征，对于上述至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和上述目标声学特征，确定上述目标代价函数的值；将满足预设条件的上述目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元。上述第二确定模块可以配置用于基于所确定的各个候选语音波形单元所对应的声学特征和上述连接代价函数，利用维特比算法确定上述音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。
本申请的上述实施例提供的装置，通过输入单元402将第一确定单元401所确定的待处理文本的音素序列输入至预先训练的语音模型，以便得到与音素序列中的每一个音素相对应的声学特征，而后第二确定单元403基于预置的、音素与语音波形单元的索引确定与每一个音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定该音素对应的目标语音波形单元，最后合成单元403将各个音素对应的目标语音波形单元进行合成，生成语音，从而不需要通过声码器将声学特征转换为语音，同时不需要人工进行音素与语音波形的对齐和切分处理，提高了语音合成效果和语音合成效率。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机***500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机***500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有***500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定单元、输入单元、第二确定单元和合成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一确定单元还可以被描述为“确定待处理文本的音素序列的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：确定待处理文本的音素序列；将该音素序列输入至预先训练的语音模型，得到与该音素序列中的每一个音素相对应的声学特征，其中，该语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；对于该音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定该至少一个语音波形单元中的目标语音波形单元；将该音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种语音合成方法，包括：
确定待处理文本的音素序列；
将所述音素序列输入至预先训练的语音模型，得到与所述音素序列中的每一个音素相对应的声学特征，其中，所述语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；
对于所述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定所述至少一个语音波形单元中的目标语音波形单元；
将所述音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
2.根据权利要求1所述的语音合成方法，其中，所述语音模型为端对端神经网络，所述端对端神经网络包括第一神经网络、注意力模型和第二神经网络。
3.根据权利要求1所述的语音合成方法，其中，所述语音模型通过如下步骤训练得到：
提取训练样本，其中，所述训练样本包括文本样本和与所述文本样本相对应的语音样本；
确定所述文本样本的音素序列样本和构成所述语音样本的语音波形单元，从构成所述语音样本的语音波形单元中提取声学特征；
利用机器学习方法，将所述音素序列样本作为输入，将所提取的声学特征作为输出，训练得到语音模型。
4.根据权利要求3所述的语音合成方法，其中，所述预置的、音素与语音波形单元的索引通过如下步骤得到：
对于所述音素序列样本中的每一个音素，基于该音素对应的声学特征，确定该音素对应的语音波形单元；
基于所述音素序列样本中的各个音素与语音波形单元的对应关系，建立音素与语音波形单元的索引。
5.根据权利要求1所述的语音合成方法，其中，所述代价函数包括目标代价函数和连接代价函数，所述目标代价函数用于表征语音波形单元与所述声学特征的匹配程度，所述连接代价函数用于表征相邻的语音波形单元的连续程度。
6.根据权利要求5所述的语音合成方法，其中，所述对于所述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征、预设的代价函数，确定所述至少一个语音波形单元中的目标语音波形单元，包括：
对于所述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元；将该音素对应的声学特征作为目标声学特征，对于所述至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和所述目标声学特征，确定所述目标代价函数的值；将满足预设条件的所述目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元；
基于所确定的各个候选语音波形单元所对应的声学特征和所述连接代价函数，利用维特比算法确定所述音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。
7.一种语音合成装置，包括：
第一确定单元，配置用于确定待处理文本的音素序列；
输入单元，配置用于将所述音素序列输入至预先训练的语音模型，得到与所述音素序列中的每一个音素相对应的声学特征，其中，所述语音模型用于表征音素序列中的每一个音素与声学特征的对应关系；
第二确定单元，配置用于对于所述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元，并基于该音素对应的声学特征和预设的代价函数，确定所述至少一个语音波形单元中的目标语音波形单元；
合成单元，配置用于将所述音素序列中的各个音素对应的目标语音波形单元进行合成，生成语音。
8.根据权利要求7所述的语音合成装置，其中，所述语音模型为端对端神经网络，所述端对端神经网络包括第一神经网络、注意力模型和第二神经网络。
9.根据权利要求7所述的语音合成装置，其中，所述装置还包括：
提取单元，配置用于提取训练样本，其中，所述训练样本包括文本样本和与所述文本样本相对应的语音样本；
第三确定单元，配置用于确定所述文本样本的音素序列样本和构成所述语音样本的语音波形单元，从构成所述语音样本的语音波形单元中提取声学特征；
训练单元，配置用于利用机器学习方法，将所述音素序列样本作为输入，将所提取的声学特征作为输出，训练得到语音模型。
10.根据权利要求9所述的语音合成装置，其中，所述装置还包括：
第四确定单元，配置用于对于所述音素序列样本中的每一个音素，基于该音素对应的声学特征，确定该音素对应的语音波形单元；
建立单元，配置用于基于所述音素序列样本中的各个音素与语音波形单元的对应关系，建立音素与语音波形单元的索引。
11.根据权利要求7所述的语音合成装置，其中，所述代价函数包括目标代价函数和连接代价函数，所述目标代价函数用于表征语音波形单元与所述声学特征的匹配程度，所述连接代价函数用于表征相邻的语音波形单元的连续程度。
12.根据权利要求11所述的语音合成装置，其中，所述第二确定单元包括：
第一确定模块，配置用于对于所述音素序列中的每一个音素，基于预置的、音素与语音波形单元的索引，确定与该音素相对应的至少一个语音波形单元；将该音素对应的声学特征作为目标声学特征，对于所述至少一个语音波形单元中的每一个语音波形单元，提取该语音波形单元的声学特征，基于所提取的声学特征和所述目标声学特征，确定所述目标代价函数的值；将满足预设条件的所述目标函数的值所对应的语音波形单元确定为该音素对应的候选语音波形单元；
第二确定模块，配置用于基于所确定的各个候选语音波形单元所对应的声学特征和所述连接代价函数，利用维特比算法确定所述音素序列中的每一个音素对应的候选语音波形单元中的目标语音波形单元。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201711205386.XA 2017-11-27 2017-11-27 语音合成方法和装置 Active CN107945786B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711205386.XA CN107945786B (zh) 2017-11-27 2017-11-27 语音合成方法和装置
US16/134,893 US10553201B2 (en) 2017-11-27 2018-09-18 Method and apparatus for speech synthesis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711205386.XA CN107945786B (zh) 2017-11-27 2017-11-27 语音合成方法和装置

Publications (2)

Publication Number Publication Date
CN107945786A true CN107945786A (zh) 2018-04-20
CN107945786B CN107945786B (zh) 2021-05-25

Family

ID=61950065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711205386.XA Active CN107945786B (zh) 2017-11-27 2017-11-27 语音合成方法和装置

Country Status (2)

Country Link
US (1) US10553201B2 (zh)
CN (1) CN107945786B (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597492A (zh) * 2018-05-02 2018-09-28 百度在线网络技术（北京）有限公司 语音合成方法和装置
CN109036377A (zh) * 2018-07-26 2018-12-18 ***股份有限公司 一种语音合成方法及装置
CN109036371A (zh) * 2018-07-19 2018-12-18 北京光年无限科技有限公司 用于语音合成的音频数据生成方法及***
CN109285537A (zh) * 2018-11-23 2019-01-29 北京羽扇智信息科技有限公司 声学模型建立、语音合成方法、装置、设备及存储介质
CN109346056A (zh) * 2018-09-20 2019-02-15 中国科学院自动化研究所 基于深度度量网络的语音合成方法及装置
CN109686361A (zh) * 2018-12-19 2019-04-26 深圳前海达闼云端智能科技有限公司 一种语音合成的方法、装置、计算设备及计算机存储介质
CN109859736A (zh) * 2019-01-23 2019-06-07 北京光年无限科技有限公司 语音合成方法及***
CN109979429A (zh) * 2019-05-29 2019-07-05 南京硅基智能科技有限公司 一种tts的方法及***
CN110335588A (zh) * 2019-06-26 2019-10-15 中国科学院自动化研究所 多发音人语音合成方法、***及装置
CN110473516A (zh) * 2019-09-19 2019-11-19 百度在线网络技术（北京）有限公司 语音合成方法、装置以及电子设备
CN110619867A (zh) * 2019-09-27 2019-12-27 百度在线网络技术（北京）有限公司 语音合成模型的训练方法、装置、电子设备及存储介质
CN110956948A (zh) * 2020-01-03 2020-04-03 北京海天瑞声科技股份有限公司 端到端的语音合成方法、装置及存储介质
CN111133506A (zh) * 2019-12-23 2020-05-08 深圳市优必选科技股份有限公司 语音合成模型的训练方法、装置、计算机设备及存储介质
CN111145723A (zh) * 2019-12-31 2020-05-12 广州酷狗计算机科技有限公司 转换音频的方法、装置、设备以及存储介质
CN111369968A (zh) * 2020-03-19 2020-07-03 北京字节跳动网络技术有限公司 声音复制方法、装置、可读介质及电子设备
CN111462727A (zh) * 2020-03-31 2020-07-28 北京字节跳动网络技术有限公司 用于生成语音的方法、装置、电子设备和计算机可读介质
CN111696519A (zh) * 2020-06-10 2020-09-22 苏州思必驰信息科技有限公司 藏语声学特征模型的构建方法及***
CN111754973A (zh) * 2019-09-23 2020-10-09 北京京东尚科信息技术有限公司 一种语音合成方法及装置、存储介质
WO2020215666A1 (zh) * 2019-04-23 2020-10-29 平安科技（深圳）有限公司 语音合成方法、装置、计算机设备及存储介质
CN112002305A (zh) * 2020-07-29 2020-11-27 北京大米科技有限公司 语音合成方法、装置、存储介质及电子设备
CN112071299A (zh) * 2020-09-09 2020-12-11 腾讯音乐娱乐科技（深圳）有限公司 神经网络模型训练方法、音频生成方法及装置和电子设备
CN112069816A (zh) * 2020-09-14 2020-12-11 深圳市北科瑞声科技股份有限公司 中文标点符号添加方法和***及设备
CN112331177A (zh) * 2020-11-05 2021-02-05 携程计算机技术（上海）有限公司 基于韵律的语音合成方法、模型训练方法及相关设备
CN112667865A (zh) * 2020-12-29 2021-04-16 西安掌上盛唐网络信息有限公司 中英混合语音合成技术在汉语言教学中的应用的方法及***
CN112767957A (zh) * 2020-12-31 2021-05-07 科大讯飞股份有限公司 获得预测模型的方法、语音波形的预测方法及相关装置
CN112908308A (zh) * 2021-02-02 2021-06-04 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法、装置、设备及介质
CN112927674A (zh) * 2021-01-20 2021-06-08 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
CN113223513A (zh) * 2020-02-05 2021-08-06 阿里巴巴集团控股有限公司 语音转换方法、装置、设备和存储介质
CN113314096A (zh) * 2020-02-25 2021-08-27 阿里巴巴集团控股有限公司 语音合成方法、装置、设备和存储介质
CN113450758A (zh) * 2021-08-27 2021-09-28 北京世纪好未来教育科技有限公司 语音合成方法、装置、设备及介质
CN113823256A (zh) * 2020-06-19 2021-12-21 微软技术许可有限责任公司 自发式文本到语音（tts）合成
EP3937165A1 (en) * 2019-04-03 2022-01-12 Beijing Jingdong Shangke Information Technology Co., Ltd. Speech synthesis method and apparatus, and computer-readable storage medium
US11545135B2 (en) * 2018-10-05 2023-01-03 Nippon Telegraph And Telephone Corporation Acoustic model learning device, voice synthesis device, and program
CN116798405A (zh) * 2023-08-28 2023-09-22 世优（北京）科技有限公司 语音合成方法、装置、存储介质和电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110970036B (zh) * 2019-12-24 2022-07-12 网易（杭州）网络有限公司 声纹识别方法及装置、计算机存储介质、电子设备
CN111192566B (zh) * 2020-03-03 2022-06-24 云知声智能科技股份有限公司 英文语音合成方法及装置
CN111583904B (zh) * 2020-05-13 2021-11-19 北京字节跳动网络技术有限公司 语音合成方法、装置、存储介质及电子设备
CN113327576B (zh) * 2021-06-03 2024-04-23 多益网络有限公司 语音合成方法、装置、设备及存储介质
CN113345442B (zh) * 2021-06-30 2024-06-04 西安乾阳电子科技有限公司 语音识别方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1213705A2 (en) * 2000-12-04 2002-06-12 Microsoft Corporation Method and apparatus for speech synthesis without prosody modification
CN1622195A (zh) * 2003-11-28 2005-06-01 株式会社东芝 语音合成方法和语音合成***
CN101075432A (zh) * 2006-05-18 2007-11-21 株式会社东芝 语音合成装置和方法
US20080091428A1 (en) * 2006-10-10 2008-04-17 Bellegarda Jerome R Methods and apparatus related to pruning for concatenative text-to-speech synthesis
CN101261831A (zh) * 2007-03-05 2008-09-10 凌阳科技股份有限公司 一种音标分解与合成方法
US20090048844A1 (en) * 2007-08-17 2009-02-19 Kabushiki Kaisha Toshiba Speech synthesis method and apparatus
CN102270449A (zh) * 2011-08-10 2011-12-07 歌尔声学股份有限公司 参数语音合成方法和***
WO2013008384A1 (ja) * 2011-07-11 2013-01-17 日本電気株式会社 音声合成装置、音声合成方法および音声合成プログラム
CN104200818A (zh) * 2014-08-06 2014-12-10 重庆邮电大学 一种音高检测方法
US20160140953A1 (en) * 2014-11-17 2016-05-19 Samsung Electronics Co., Ltd. Speech synthesis apparatus and control method thereof
CN106486121A (zh) * 2016-10-28 2017-03-08 北京光年无限科技有限公司 应用于智能机器人的语音优化方法及装置
CN106504741A (zh) * 2016-09-18 2017-03-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于深度神经网络音素信息的语音转换方法
CN107077638A (zh) * 2014-06-13 2017-08-18 微软技术许可有限责任公司 基于先进的递归神经网络的“字母到声音”

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924678B (zh) * 2015-09-16 2021-12-17 株式会社东芝 语音合成装置、语音合成方法及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1213705A2 (en) * 2000-12-04 2002-06-12 Microsoft Corporation Method and apparatus for speech synthesis without prosody modification
CN1622195A (zh) * 2003-11-28 2005-06-01 株式会社东芝 语音合成方法和语音合成***
CN101075432A (zh) * 2006-05-18 2007-11-21 株式会社东芝 语音合成装置和方法
US20080091428A1 (en) * 2006-10-10 2008-04-17 Bellegarda Jerome R Methods and apparatus related to pruning for concatenative text-to-speech synthesis
CN101261831A (zh) * 2007-03-05 2008-09-10 凌阳科技股份有限公司 一种音标分解与合成方法
US20090048844A1 (en) * 2007-08-17 2009-02-19 Kabushiki Kaisha Toshiba Speech synthesis method and apparatus
WO2013008384A1 (ja) * 2011-07-11 2013-01-17 日本電気株式会社 音声合成装置、音声合成方法および音声合成プログラム
CN102270449A (zh) * 2011-08-10 2011-12-07 歌尔声学股份有限公司 参数语音合成方法和***
CN107077638A (zh) * 2014-06-13 2017-08-18 微软技术许可有限责任公司 基于先进的递归神经网络的“字母到声音”
CN104200818A (zh) * 2014-08-06 2014-12-10 重庆邮电大学 一种音高检测方法
US20160140953A1 (en) * 2014-11-17 2016-05-19 Samsung Electronics Co., Ltd. Speech synthesis apparatus and control method thereof
CN106504741A (zh) * 2016-09-18 2017-03-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于深度神经网络音素信息的语音转换方法
CN106486121A (zh) * 2016-10-28 2017-03-08 北京光年无限科技有限公司 应用于智能机器人的语音优化方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SUYOUN KIM，TAKAAKI HORI: "JOINT CTC-ATTENTION BASED END-TO-END SPEECH RECOGNITION", 《ICASSP 2017》 *
张春云等: "基于卷积神经网络的自适应权重multi-gram语句建模*** ", 《计算机科学》 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108597492A (zh) * 2018-05-02 2018-09-28 百度在线网络技术（北京）有限公司 语音合成方法和装置
CN109036371B (zh) * 2018-07-19 2020-12-18 北京光年无限科技有限公司 用于语音合成的音频数据生成方法及***
CN109036371A (zh) * 2018-07-19 2018-12-18 北京光年无限科技有限公司 用于语音合成的音频数据生成方法及***
CN109036377A (zh) * 2018-07-26 2018-12-18 ***股份有限公司 一种语音合成方法及装置
CN109346056A (zh) * 2018-09-20 2019-02-15 中国科学院自动化研究所 基于深度度量网络的语音合成方法及装置
US11545135B2 (en) * 2018-10-05 2023-01-03 Nippon Telegraph And Telephone Corporation Acoustic model learning device, voice synthesis device, and program
CN109285537A (zh) * 2018-11-23 2019-01-29 北京羽扇智信息科技有限公司 声学模型建立、语音合成方法、装置、设备及存储介质
CN109686361B (zh) * 2018-12-19 2022-04-01 达闼机器人有限公司 一种语音合成的方法、装置、计算设备及计算机存储介质
CN109686361A (zh) * 2018-12-19 2019-04-26 深圳前海达闼云端智能科技有限公司 一种语音合成的方法、装置、计算设备及计算机存储介质
CN109859736A (zh) * 2019-01-23 2019-06-07 北京光年无限科技有限公司 语音合成方法及***
EP3937165A1 (en) * 2019-04-03 2022-01-12 Beijing Jingdong Shangke Information Technology Co., Ltd. Speech synthesis method and apparatus, and computer-readable storage medium
US11881205B2 (en) 2019-04-03 2024-01-23 Beijing Jingdong Shangke Information Technology Co, Ltd. Speech synthesis method, device and computer readable storage medium
EP3937165A4 (en) * 2019-04-03 2023-05-10 Beijing Jingdong Shangke Information Technology Co., Ltd. SPEECH SYNTHESIS METHOD AND APPARATUS, AND COMPUTER READABLE STORAGE MEDIUM
WO2020215666A1 (zh) * 2019-04-23 2020-10-29 平安科技（深圳）有限公司 语音合成方法、装置、计算机设备及存储介质
CN109979429A (zh) * 2019-05-29 2019-07-05 南京硅基智能科技有限公司 一种tts的方法及***
CN110335588A (zh) * 2019-06-26 2019-10-15 中国科学院自动化研究所 多发音人语音合成方法、***及装置
CN110473516B (zh) * 2019-09-19 2020-11-27 百度在线网络技术（北京）有限公司 语音合成方法、装置以及电子设备
US11417314B2 (en) 2019-09-19 2022-08-16 Baidu Online Network Technology (Beijing) Co., Ltd. Speech synthesis method, speech synthesis device, and electronic apparatus
CN110473516A (zh) * 2019-09-19 2019-11-19 百度在线网络技术（北京）有限公司 语音合成方法、装置以及电子设备
CN111754973B (zh) * 2019-09-23 2023-09-01 北京京东尚科信息技术有限公司 一种语音合成方法及装置、存储介质
CN111754973A (zh) * 2019-09-23 2020-10-09 北京京东尚科信息技术有限公司 一种语音合成方法及装置、存储介质
CN110619867A (zh) * 2019-09-27 2019-12-27 百度在线网络技术（北京）有限公司 语音合成模型的训练方法、装置、电子设备及存储介质
CN110619867B (zh) * 2019-09-27 2020-11-03 百度在线网络技术（北京）有限公司 语音合成模型的训练方法、装置、电子设备及存储介质
US11488577B2 (en) 2019-09-27 2022-11-01 Baidu Online Network Technology (Beijing) Co., Ltd. Training method and apparatus for a speech synthesis model, and storage medium
CN111133506A (zh) * 2019-12-23 2020-05-08 深圳市优必选科技股份有限公司 语音合成模型的训练方法、装置、计算机设备及存储介质
WO2021127821A1 (zh) * 2019-12-23 2021-07-01 深圳市优必选科技股份有限公司 语音合成模型的训练方法、装置、计算机设备及存储介质
CN111145723A (zh) * 2019-12-31 2020-05-12 广州酷狗计算机科技有限公司 转换音频的方法、装置、设备以及存储介质
CN111145723B (zh) * 2019-12-31 2023-11-17 广州酷狗计算机科技有限公司 转换音频的方法、装置、设备以及存储介质
CN110956948A (zh) * 2020-01-03 2020-04-03 北京海天瑞声科技股份有限公司 端到端的语音合成方法、装置及存储介质
CN113223513A (zh) * 2020-02-05 2021-08-06 阿里巴巴集团控股有限公司 语音转换方法、装置、设备和存储介质
CN113314096A (zh) * 2020-02-25 2021-08-27 阿里巴巴集团控股有限公司 语音合成方法、装置、设备和存储介质
CN111369968B (zh) * 2020-03-19 2023-10-13 北京字节跳动网络技术有限公司 语音合成方法、装置、可读介质及电子设备
CN111369968A (zh) * 2020-03-19 2020-07-03 北京字节跳动网络技术有限公司 声音复制方法、装置、可读介质及电子设备
CN111462727A (zh) * 2020-03-31 2020-07-28 北京字节跳动网络技术有限公司 用于生成语音的方法、装置、电子设备和计算机可读介质
CN111696519A (zh) * 2020-06-10 2020-09-22 苏州思必驰信息科技有限公司 藏语声学特征模型的构建方法及***
CN113823256A (zh) * 2020-06-19 2021-12-21 微软技术许可有限责任公司 自发式文本到语音（tts）合成
CN112002305A (zh) * 2020-07-29 2020-11-27 北京大米科技有限公司 语音合成方法、装置、存储介质及电子设备
CN112002305B (zh) * 2020-07-29 2024-06-18 北京大米科技有限公司 语音合成方法、装置、存储介质及电子设备
CN112071299A (zh) * 2020-09-09 2020-12-11 腾讯音乐娱乐科技（深圳）有限公司 神经网络模型训练方法、音频生成方法及装置和电子设备
CN112069816A (zh) * 2020-09-14 2020-12-11 深圳市北科瑞声科技股份有限公司 中文标点符号添加方法和***及设备
CN112331177A (zh) * 2020-11-05 2021-02-05 携程计算机技术（上海）有限公司 基于韵律的语音合成方法、模型训练方法及相关设备
CN112667865A (zh) * 2020-12-29 2021-04-16 西安掌上盛唐网络信息有限公司 中英混合语音合成技术在汉语言教学中的应用的方法及***
CN112767957B (zh) * 2020-12-31 2024-05-31 中国科学技术大学 获得预测模型的方法、语音波形的预测方法及相关装置
CN112767957A (zh) * 2020-12-31 2021-05-07 科大讯飞股份有限公司 获得预测模型的方法、语音波形的预测方法及相关装置
CN112927674A (zh) * 2021-01-20 2021-06-08 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
CN112927674B (zh) * 2021-01-20 2024-03-12 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
WO2022156413A1 (zh) * 2021-01-20 2022-07-28 北京有竹居网络技术有限公司 语音风格的迁移方法、装置、可读介质和电子设备
CN112908308B (zh) * 2021-02-02 2024-05-14 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法、装置、设备及介质
CN112908308A (zh) * 2021-02-02 2021-06-04 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法、装置、设备及介质
CN113450758A (zh) * 2021-08-27 2021-09-28 北京世纪好未来教育科技有限公司 语音合成方法、装置、设备及介质
CN113450758B (zh) * 2021-08-27 2021-11-16 北京世纪好未来教育科技有限公司 语音合成方法、装置、设备及介质
CN116798405B (zh) * 2023-08-28 2023-10-24 世优（北京）科技有限公司 语音合成方法、装置、存储介质和电子设备
CN116798405A (zh) * 2023-08-28 2023-09-22 世优（北京）科技有限公司 语音合成方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
US20190164535A1 (en) 2019-05-30
US10553201B2 (en) 2020-02-04
CN107945786B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN107945786A (zh) 语音合成方法和装置
CN108182936B (zh) 语音信号生成方法和装置
CN110211563B (zh) 面向情景及情感的中文语音合成方法、装置及存储介质
CN108806665A (zh) 语音合成方法和装置
CN112689871A (zh) 使用神经网络以目标讲话者的话音从文本合成语音
US20180197547A1 (en) Identity verification method and apparatus based on voiceprint
CN108428446A (zh) 语音识别方法和装置
CN108022586A (zh) 用于控制页面的方法和装置
CN108305626A (zh) 应用程序的语音控制方法和装置
CN110223705A (zh) 语音转换方法、装置、设备及可读存储介质
CN109545192A (zh) 用于生成模型的方法和装置
CN107657017A (zh) 用于提供语音服务的方法和装置
CN108877782A (zh) 语音识别方法和装置
CN107707745A (zh) 用于提取信息的方法和装置
CN107767869A (zh) 用于提供语音服务的方法和装置
CN110347867A (zh) 用于生成嘴唇动作视频的方法和装置
CN107452369A (zh) 语音合成模型生成方法和装置
CN107437417A (zh) 基于循环神经网络语音识别中语音数据增强方法及装置
CN109545193A (zh) 用于生成模型的方法和装置
CN109754783A (zh) 用于确定音频语句的边界的方法和装置
CN112466314A (zh) 情感语音数据转换方法、装置、计算机设备及存储介质
CN107481715A (zh) 用于生成信息的方法和装置
CN107104994A (zh) 语音识别方法、电子装置及语音识别***
CN109801618A (zh) 一种音频信息的生成方法和装置
CN107705782A (zh) 用于确定音素发音时长的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant