CN106601228A - 基于人工智能韵律预测的样本标注方法及装置 - Google Patents
基于人工智能韵律预测的样本标注方法及装置 Download PDFInfo
- Publication number
- CN106601228A CN106601228A CN201611135605.7A CN201611135605A CN106601228A CN 106601228 A CN106601228 A CN 106601228A CN 201611135605 A CN201611135605 A CN 201611135605A CN 106601228 A CN106601228 A CN 106601228A
- Authority
- CN
- China
- Prior art keywords
- word
- text
- text sequence
- sequence
- pronunciation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 47
- 230000033764 rhythmic process Effects 0.000 claims description 72
- 238000002372 labelling Methods 0.000 claims description 68
- 230000015654 memory Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000009432 framing Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 10
- 230000015572 biosynthetic process Effects 0.000 abstract description 9
- 238000003786 synthesis reaction Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006403 short-term memory Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001746 injection moulding Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000700 radioactive tracer Substances 0.000 description 2
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical group C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明提出一种基于人工智能韵律预测的样本标注方法及装置,其中,方法包括:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记;根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此,降低了文本的标注成本,提高了文本的标注效率和准确性,并能够提供更多的韵律层级标注所需的训练样本,提高韵律标注模型性能,使得语音合成效果更加自然。
Description
技术领域
本发明涉及语音合成技术领域,尤其涉及一种基于人工智能韵律预测的样本标注方法及装置。
背景技术
人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家***等。
目前,语音合成技术,即将文本转换为语音播放给用户在自然流畅度上与真人播报存在很大差距。韵律层级标注的准确性是影响自然流畅度的关键因素,决定最终的语音合成效果以及听者对合成语音的感知。
相关技术中,韵律层级标注通常是使用机器学习方法进行监督学习得到预测模型。监督学习,即通过已有的训练样本去训练得到一个最优模型,接着利用最优模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现韵律层级标注。
由此,上述韵律层级标注方式是通过监督学习方法进行训练的,模型训练需要大量的已标注的文本作为训练样本,目前获取标注文本的方法通常是由专业的文本标注人员通过听取由专业人员录制的音库中的音频文件,根据发音人在音频中的停顿情况,从而在对应的文本中标注上相应的韵律停顿等级。
然而,上述标注方式对于海量音频文件来说,文本的标注成本高、容易出错且效率低下,以及新录制的音频文件无法及时的应用在韵律标注模型训练中,从而不能够提供更多的训练样本,降低韵律标注模型性能,导致语音合成效果差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种基于人工智能韵律预测的样本标注方法,该方法降低了文本的标注成本,提高了文本的标注效率和准确性,并能够提供更多的韵律层级标注所需的训练样本,提高韵律标注模型性能,使得语音合成效果更加自然。
本发明的第二个目的在于提出一种基于人工智能韵律预测的样本标注方法装置。
本发明的第三个目的在于提出另一种基于人工智能韵律预测的样本标注方法装置。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种基于人工智能韵律预测的样本标注方法,包括:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取所述第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理,获取所述第一文本序列中每个字的输出标记;根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
本发明实施例的基于人工智能韵律预测的样本标注方法,通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长,然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记,最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此,降低了文本的标注成本,提高了文本的标注效率和准确性,并能够提供更多的韵律层级标注所需的训练样本,提高韵律标注模型性能,使得语音合成效果更加自然。
另外,根据本发明上述实施例的基于人工智能韵律预测的样本标注方法还可以具有如下附加的技术特征:
在本发明的一个实施例中,在所述应用预先训练的韵律标注模型对所述每个字的文本特征和发音时长特征进行处理之前,还包括:获取与第二样本音频文件对应的已标注韵律的第二文本序列;获取所述第二文本序列中每个字的文本特征和发音时长;将所述第二文本序列中每个字的文本特征和发音时长作为输入特征,将所述已标注韵律的第二文本序列的标注结果作为输出标记,通过误差最小化的策略训练所述韵律标注模型中的参数;根据所述韵律标注模型中的参数建立所述韵律标注模型。
在本发明的一个实施例中,所述韵律标注模型包括:深度神经网络和双向长短时记忆网络。
在本发明的一个实施例中,所述每个字的文本特征,包括:字向量编码、对应分词的词性、或者,对应分词的位置。
在本发明的一个实施例中,当所述文本特征为字向量编码,获取所述第一文本序列中每个字的字向量编码,包括:通过大数据语料库训练获取单字库,以及与所述单子库中的每个字对应的字向量表示;查询所述单字库获取与所述第一文本序列中每个字对应的匹配字,并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。
在本发明的一个实施例中,获取所述第一文本序列中每个字的发音时长,包括:将所述第一样本音频文件按照固定时长分帧,并获取每一帧对应的音子状态;将每一帧对应的音子状态对齐到音子,进而对所述第一样本音频文件进行解码,获取每个字及静音段在所述第一样本音频文件对应的发音帧数;根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。
为达上述目的,本发明第二方面实施例提出了一种基于人工智能韵律预测的样本标注装置,包括:第一获取模块,用于获取与第一样本音频文件对应的未标注韵律的第一文本序列;第二获取模块,用于获取所述第一文本序列中每个字的文本特征;第三获取模块,用于获取所述第一文本序列中每个字的发音时长;第一处理模块,用于应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理,获取所述第一文本序列中每个字的输出标记;标注模块,用于根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
本发明实施例的基于人工智能韵律预测的样本标注装置,通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长,然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记,最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此,降低了文本的标注成本,提高了文本的标注效率和准确性,并能够提供更多的韵律层级标注所需的训练样本,提高韵律标注模型性能,使得语音合成效果更加自然。
另外,根据本发明上述实施例的基于人工智能韵律预测的样本标注装置还可以具有如下附加的技术特征:
在本发明的一个实施例中,所述的装置,其特征在于,还包括:第四获取模块,用于获取与第二样本音频文件对应的已标注韵律的第二文本序列;第五获取模块,用于获取所述第二文本序列中每个字的文本特征和发音时长;第二处理模块,用于将所述第二文本序列中每个字的文本特征和发音时长作为输入特征,将所述已标注韵律的第二文本序列的标注结果作为输出标记,通过误差最小化的策略训练所述韵律标注模型中的参数;建立模块,用于根据所述韵律标注模型中的参数建立所述韵律标注模型。
在本发明的一个实施例中,所述韵律标注模型包括:深度神经网络和双向长短时记忆网络。
在本发明的一个实施例中,所述每个字的文本特征,包括:字向量编码、对应分词的词性、或者,对应分词的位置。
在本发明的一个实施例中,当所述文本特征为字向量编码,所述第二获取模块用于:通过大数据语料库训练获取单字库,以及与所述单子库中的每个字对应的字向量表示;查询所述单字库获取与所述第一文本序列中每个字对应的匹配字,并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。
在本发明的一个实施例中,所述第三获取模块用于:将所述第一样本音频文件按照固定时长分帧,并获取每一帧对应的音子状态;将每一帧对应的音子状态对齐到音子,进而对所述第一样本音频文件进行解码,获取每个字及静音段在所述第一样本音频文件对应的发音帧数;根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。
为达上述目的,本发明第三方面实施例提出了另一种基于人工智能韵律预测的样本标注装置,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取所述第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长,获取所述第一文本序列中每个字的输出标记;根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
为了实现上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器端的处理器被执行时,使得服务器端能够执行一种基于人工智能韵律预测的样本标注装置方法,所述方法包括:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取所述第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长,获取所述第一文本序列中每个字的输出标记;根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行一种基于人工智能韵律预测的样本标注装置方法,所述方法包括:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取所述第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长,获取所述第一文本序列中每个字的输出标记;根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例提供的韵律层级结构示意图;
图2为本发明实施例提供的一种基于人工智能韵律预测的样本标注方法的流程示意图;
图3为本发明实施例提供的训练韵律标注模型的流程示意图;
图4为本发明实施例提供的另一种基于人工智能韵律预测的样本标注方法的流程示意图;
图5为本发明实施例提供的基于深度神经网络和双向长短时记忆网络的韵律层级标注的结构示意图;
图6为本发明实施例提供的双向长短时记忆网络基本原理的结构示意图;
图7为本发明实施例提供的一种基于人工智能韵律预测的样本标注装置的结构示意图;
图8为本实施例提供的另一种基于人工智能韵律预测的样本标注装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于人工智能韵律预测的样本标注方法及装置。
通常,直接预测韵律停顿的时间长度非常困难。因此传统韵律预测方法利用人类发音停顿的特点,根据停顿的时间长度,将韵律分为不同的韵律层级,从而将韵律预测问题转换为分类问题。韵律层级结构通常包括韵律词、韵律短语、语调短语等。为了本领域人员更加清楚韵律等级结构,下面结合图1具体描述如下:
图1为本发明实施例提供的韵律层级结构示意图。
如图1所示,以文本序列为“那时新旧思想的碰撞可谓激烈”为例标出的韵律等级结构示意图。其中,PW、PPH和IPH分别表示韵律层级结构中的韵律词、韵律短语和语调短语。从图1可以看到,韵律层级结构具有一定的包含关系,即韵律词<韵律短语<语调短语。韵律层级标注则是对文本中各个单词的韵律层级进行分类。
本发明实施例提出一种基于人工智能韵律预测的样本标注方法,通过使用已有标注的文本来训练韵律标注模型,并对未标注文本进行标注,从而获得该文本对应的韵律层级标注结果,提高文本标注的效率,节省时间及人力成本。具体如下:
图2为本发明实施例提供的一种基于人工智能韵律预测的样本标注方法的流程示意图。
如图2所示,该基于人工智能韵律预测的样本标注方法包括以下步骤:
步骤110,获取与第一样本音频文件对应的未标注韵律的第一文本序列。
步骤120,获取第一文本序列中每个字的文本特征和发音时长。
具体地,每一音频文件都有其对应的文本序列,可以从音库中选取第一样本音频文件,或者是直接录制第一样本音频文件等,并获取第一样本音频文件对应的第一文本序列。
其中,第一文本序列是未标注韵律的,由此可以对第一文本序列进行韵律层级标注。
首先,获取第一文本序列中每个字的文本特征和发音时长。
其中,每个字的文本特征的类型有很多种,比如可以是字向量编码、对应分词的词性、或者,对应分词的位置中的一种或者多种。
步骤130,应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记。
步骤140,根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
具体地,首先需要训练韵律标注模型,其中,韵律标注模型的类型有很多种,可以是深度神经网络、卷积神经网络和双向长短时记忆网络等一种或者多种。
其中,训练韵律标注模型的方式有很多种,可以根据实际应用需要进行选择。比如通过已标注韵律的第二文本序列作为训练样本,具体训练过程结合图3描述如下:
图3为本发明实施例提供的训练韵律标注模型的流程示意图。
如图3所示,该训练韵律标注模型包括以下步骤:
步骤210,获取与第二样本音频文件对应的已标注韵律的第二文本序列。
步骤220,获取第二文本序列中每个字的文本特征和发音时长。
需要说明的是,第二样本音频文件及其对应的已标注韵律的第二文本序列。还有第二文本序列中每个字的文本特征和发音时长的具体描述可以参见步骤110-步骤120对于第一样本音频文件及其对应的已标注韵律的第一文本序列。还有第一文本序列中每个字的文本特征和发音时长的具体描述,此处不再详述。
步骤230,将第二文本序列中每个字的文本特征和发音时长作为输入特征,将已标注韵律的第二文本序列的标注结果作为输出标记,通过误差最小化的策略训练所述韵律标注模型中的参数。
步骤240,根据韵律标注模型中的参数建立韵律标注模型。
具体地,将第二文本序列中每个字的文本特征(比如是字向量编码、对应分词的词性和对应分词的位置三种)以及发音时长作为输入特征得到已标注韵律的第二文本序列的标注结果作为输出标记。
进一步地,为了提高韵律层级标注的准确性,通过误差最小化的策略训练韵律标注模型中的参数,以根据韵律标注模型中的参数建立韵律标注模型。
进一步地,应用上述预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长进行处理,获取第一文本序列中每个字的输出标记。
可以理解的是,输入不同的每个字的文本特征和发音时长获取到的每个字的输出标记不同。举例说明如下:
第一种示例,应用预先训练的韵律标注模型对每个字的对应分词的词性和发音时长进行处理,作为一个示例,韵律等级为三层,分别为韵律词、韵律短语和语调短语,得到输出标记包括四个维度,第一维度为韵律词,第二维度为韵律短语,第三维度为语调短语以及第四维度为不停顿。由此,输出标记为(A1,B1,C1,D1)。
第二种示例,应用预先训练的韵律标注模型对每个字的字向量编码、对应分词的词性、对应分词的位置和发音时长进行处理,作为一个示例,韵律等级为三层,分别为韵律词、韵律短语和语调短语,得到输出标记包括四个维度,第一维度为韵律词,第二维度为韵律短语,第三维度为语调短语以及第四维度为不停顿。由此,输出标记为(A2,B2,C2,D2)。
进一步地,根据输入标记对第一文本序列进行韵律层级标注。比如,第一文本序列中的一个字对应的输出标记(0.2,0.7,0.1,0),对这个字进行韵律词和韵律短语标注。
可以理解的是,根据图1中对于韵律层级结构的描述,在对于一个字进行韵律词标注时,其只有韵律词层级,当其输出标记概率最高为语调短语时,对一个字进行韵律词、韵律短语和语调短语标注。其中,韵律词<韵律短语<语调短语。
可以理解,通过上述方式可以将第一文本序列中的每个字进行韵律层级标注。
综上所述,本发明实施例的基于人工智能韵律预测的样本标注方法,通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长,然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记,最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此,降低了文本的标注成本,提高了文本的标注效率和准确性,并能够提供更多的韵律层级标注所需的训练样本,提高韵律标注模型性能,使得语音合成效果更加自然。
为了更加清楚说明上一实施例,本实施例以深度神经网络(DNN)和双向长短时记忆网络(Bi-LSTM)作为韵律标注模型为例进行说明。
图4为本发明实施例提供的另一种基于人工智能韵律预测的样本标注方法的流程示意图。
如图4所示,该基于人工智能韵律预测的样本标注方法包括以下步骤:
步骤310,获取与第一样本音频文件对应的未标注韵律的第一文本序列。
需要说明的是,步骤S310的描述与上述步骤S110相对应,因此对的步骤S310的描述参考上述步骤S110的描述,在此不再赘述。
步骤320,通过大数据语料库训练获取单字库,以及与单子库中的每个字对应的字向量表示。
步骤330,查询单字库获取与第一文本序列中每个字对应的匹配字,并将与匹配字对应的字向量表示作为第一文本序列中每个字的字向量编码。
具体地,为了增强字面的泛化能力,可以通过大数据语料库训练获取单字库以及与单子库中的每个字对应的字向量表示。即单子库中的每个字都有其对应的字向量A,通过字向量A可以知道这个字以及这个字与其它字的关系。
进一步地,在单字库中查询获取与第一文本序列中每个字对应的匹配字,将匹配字对应的字向量表示作为第一文本序列中每个字的字向量编码。
需要说明的是,预先训练的韵律标注模型过程中将字向量编码作为输入特征,能够进一步提升韵律标注模型的性能。
步骤340,将第一样本音频文件按照固定时长分帧,并获取每一帧对应的音子状态。
步骤350,将每一帧对应的音子状态对齐到音子,进而对第一样本音频文件进行解码,获取每个字及静音段在第一样本音频文件对应的发音帧数。
步骤360,根据发音帧数和固定时长获取第一文本序列中每个字的发音时长。
具体地,通过语音识别的声学对齐结果,以及通过语音识别模型获取发音时长。
首先,将第一样本音频文件按照固定时长分帧(比如10ms分为一帧),接着对每一帧抽取语音识别模型需要的特征,并通过已有的语音识别模型,获取每一帧对应的音子状态。需要说明的是,相邻的帧可能会对应到相同的音子状态。
进一步地,通过音字状态跳转的规则,将每一帧对应的音子状态对齐到音子(比如将三个连续不同状态对应的一个中文音字),进而对第一样本音频文件进行解码,可以得到每个字及静音段在第一样本音频文件对应的发音帧数。其中,如果字为汉字则是双音子。
进一步地,根据发音帧数和固定时长获取第一文本序列中每个字的发音时长。
可以理解的是,韵律停顿与发音时长有非常强的相关性,因此发音时长可以比较好的指导韵律层级标注,并且发音时长与发音人的停顿有良好的一致性。
步骤370,应用预先训练的深度神经网络和双向长短时记忆网络对第一文本序列中每个字的字向量编码和发音时长进行处理,获取第一文本序列中每个字的输出标记。
步骤380,根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
具体地,图5为本发明实施例提供的基于深度神经网络和双向长短时记忆网络的韵律层级标注的结构示意图。
如图5所示,应用预先训练的深度神经网络(DNN)和双向长短时记忆网络(Bi-LSTM)对第一文本序列中每个字的字向量编码和发音时长(输入特征)进行处理,可以获取第一文本序列中每个字的输出标记。
其中,还可以将第一文本序列中每个字的对应分词的词性和对应分词的位置添加到输入特征中。
具体地,Bi-LSTM韵律标注模型使用LSTM作为其核心建模单元,通过LSTM结构中的状态结构缓存历史的状态信息,并且通过输入门、遗忘门以及输出门对历史状态进行维护,从而实现了长距离历史信息的有效缓存。由于LSTM结构能够维护长距离的历史信息,因此特别适合韵律标注中的长距离韵律建模。为了同时引入标注文本的上下文信息,可以使用双向LSTM结构对韵律标注模型进行构建。
具体地,预先训练的深度神经网络和双向长短时记忆网络,以已标注韵律的第二文本序列作为训练样本,首先获取与第二样本音频文件对应的已标注韵律的第二文本序列以及获取第二文本序列中每个字的文本特征和发音时长,然后将第二文本序列中每个字的文本特征(比如是字向量编码、对应分词的词性和对应分词的位置三种)以及发音时长作为输入特征得到已标注韵律的第二文本序列的标注结果作为输出标记。
进一步地,为了提高韵律层级标注的准确性,通过误差最小化的策略训练深度神经网络和双向长短时记忆网络中的参数,以根据深度神经网络和双向长短时记忆网络中的参数建立韵律标注模型。
图6为本发明实施例提供的双向长短时记忆网络基本原理的结构示意图。
如图6所示,给定的输入序列x=(x1,…,xT),其中T表示文本序列的长度。对于任意时刻的输入xt,双向长短时记忆网络通过下列公式对结构中的各个单元进行计算:
it=σ(Wixxt+Wimmt-1+Wicct-1+bi) (1)
ft=σ(Wfxxt+Wfmmt-1+Wfcct-1+bf) (2)
ot=σ(Woxxt+Wommt-1+Wocct-1+bo) (4)
其中,W表示权重矩阵,b表示偏置向量。i、f、o、c、m分别表示输入门、遗忘门、输出门、状态单元以及LSTM结构的输出。表示向量按元素的乘积。σ为sigmoid函数,其计算公式如下:
g和h表示状态单元的输入和输出激活函数,一般为tanh函数:
具体地,第一文本序列x=(x1,…,xT),xt的字向量编码和发音时长作为输入特征,首先经过深度神经网络进行处理,接着经过双向长短时记忆网络中的各个单元进行计算输出标记。
进一步地,根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
综上所述,本发明实施例的基于人工智能韵律预测的样本标注方法,通过语音识别对音频文件解码得到的音频中每个字的发音时长,以及字向量编码,接着通过韵律标注模型模拟人工标注所关心的上下文特征,直接从音频文件中得到对应文本的韵律层级标注结果,大大节省了韵律标注的人工成本和时间,提高了文本标注的效率,为以后的韵律预测任务提供了大量准确的韵律标注数据,提高了后续韵律预测的模型性能。
为了实现上述实施例,本发明还提出一种基于人工智能韵律预测的样本标注装置。
图7为本发明实施例提供的一种人工智能基于韵律预测的样本标注装置的结构示意图。
如图7所示,该基于人工智能韵律预测的样本标注装置包括:第一获取模块71、第二获取模块72、第三获取模块73、第一处理模块74和标注模块75。
其中,第一获取模块71用于获取与第一样本音频文件对应的未标注韵律的第一文本序列。
第二获取模块72用于获取第一文本序列中每个字的文本特征。
第三获取模块73用于获取第一文本序列中每个字的发音时长。
第一处理模块74用于应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长进行处理,获取第一文本序列中每个字的输出标记。
标注模块75用于根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
需要说明的是,前述对基于人工智能韵律预测的样本标注方法实施例的解释说明也适用于本实施例的基于人工智能韵律预测的样本标注装置,此处不再赘述。
综上所述,本发明实施例的基于人工智能韵律预测的样本标注装置,通过获取与第一样本音频文件对应的未标注韵律的第一文本序列以及获取第一文本序列中每个字的文本特征和发音时长,然后应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记,最后根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。由此,降低了文本的标注成本,提高了文本的标注效率和准确性,并能够提供更多的韵律层级标注所需的训练样本,提高韵律标注模型性能,使得语音合成效果更加自然。
为了清楚说明上一实施例,本实施例提供了另一种基于人工智能韵律预测的样本标注装置。
图8为本实施例提供的另一种基于人工智能韵律预测的样本标注装置的结构示意图。
如图8所示,在上一实施例的基础上,该装置还包括:第四获取模块76、第五获取模块77、第二处理模块78和建立模块79。
其中,第四获取模块76用于获取与第二样本音频文件对应的已标注韵律的第二文本序列。
第五获取模块77用于获取第二文本序列中每个字的文本特征和发音时长。
第二处理模块78用于将第二文本序列中每个字的文本特征和发音时长作为输入特征,将已标注韵律的第二文本序列的标注结果作为输出标记,通过误差最小化的策略训练韵律标注模型中的参数。
建立模块79用于根据韵律标注模型中的参数建立韵律标注模型。
其中,在本发明实施例的一种可能的实现方式中,韵律标注模型包括:深度神经网络和双向长短时记忆网络。
其中,在本发明实施例的一种可能的实现方式中,每个字的文本特征,包括:字向量编码、对应分词的词性、或者,对应分词的位置。
其中,在本发明实施例的一种可能的实现方式中,当文本特征为字向量编码,第二获取模块72用于通过大数据语料库训练获取单字库,以及与单子库中的每个字对应的字向量表示;查询单字库获取与所述第一文本序列中每个字对应的匹配字,并将与匹配字对应的字向量表示作为第一文本序列中每个字的字向量编码。
其中,在本发明实施例的一种可能的实现方式中,第三获取模块73用于将第一样本音频文件按照固定时长分帧,并获取每一帧对应的音子状态;将每一帧对应的音子状态对齐到音子,进而对第一样本音频文件进行解码,获取每个字及静音段在第一样本音频文件对应的发音帧数;根据发音帧数和固定时长获取第一文本序列中每个字的发音时长。
需要说明的是,前述对基于人工智能韵律预测的样本标注方法实施例的解释说明也适用于本实施例的基于人工智能韵律预测的样本标注装置,此处不再赘述。
综上所述,本发明实施例的基于人工智能韵律预测的样本标注装置,通过语音识别对音频文件解码得到的音频中每个字的发音时长,以及字向量编码,接着通过韵律标注模型模拟人工标注所关心的上下文特征,直接从音频文件中得到对应文本的韵律层级标注结果,大大节省了韵律标注的人工成本和时间,提高了文本标注的效率,为以后的韵律预测任务提供了大量准确的韵律标注数据,提高了后续韵律预测的模型性能。
为了实现上述实施例,本发明还提出另一种基于人工智能韵律预测的样本标注装置,包括:处理器,以及用于存储所述处理器可执行指令的存储器。
其中,处理器被配置为:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记;根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器端的处理器被执行时,使得服务器端能够执行一种基于人工智能韵律预测的样本标注方法,所述方法包括:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记;根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
为了实现上述实施例,本发明还提出一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行一种基于人工智能韵律预测的样本标注,所述方法包括:获取与第一样本音频文件对应的未标注韵律的第一文本序列;获取第一文本序列中每个字的文本特征和发音时长;应用预先训练的韵律标注模型对第一文本序列中每个字的文本特征和发音时长,获取第一文本序列中每个字的输出标记;根据第一文本序列中每个字的输出标记对第一文本序列进行韵律层级标注。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种基于人工智能韵律预测的样本标注方法,其特征在于,包括以下步骤:
获取与第一样本音频文件对应的未标注韵律的第一文本序列;
获取所述第一文本序列中每个字的文本特征和发音时长;
应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理,获取所述第一文本序列中每个字的输出标记;
根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
2.如权利要求1所述的方法,其特征在于,在所述应用预先训练的韵律标注模型对所述每个字的文本特征和发音时长进行处理之前,还包括:
获取与第二样本音频文件对应的已标注韵律的第二文本序列;
获取所述第二文本序列中每个字的文本特征和发音时长;
将所述第二文本序列中每个字的文本特征和发音时长作为输入特征,将所述已标注韵律的第二文本序列的标注结果作为输出标记,通过误差最小化的策略训练所述韵律标注模型中的参数;
根据所述韵律标注模型中的参数建立所述韵律标注模型。
3.如权利要求1所述的方法,其特征在于,所述韵律标注模型包括:
深度神经网络和双向长短时记忆网络。
4.如权利要求1所述的方法,其特征在于,所述每个字的文本特征,包括:
字向量编码、对应分词的词性、或者,对应分词的位置。
5.如权利要求4所述的方法,其特征在于,当所述文本特征为字向量编码,获取所述第一文本序列中每个字的字向量编码,包括:
通过大数据语料库训练获取单字库,以及与所述单子库中的每个字对应的字向量表示;
查询所述单字库获取与所述第一文本序列中每个字对应的匹配字,并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。
6.如权利要求1-5任一所述的方法,其特征在于,获取所述第一文本序列中每个字的发音时长,包括:
将所述第一样本音频文件按照固定时长分帧,并获取每一帧对应的音子状态;
将每一帧对应的音子状态对齐到音子,进而对所述第一样本音频文件进行解码,获取每个字及静音段在所述第一样本音频文件对应的发音帧数;
根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。
7.一种基于人工智能韵律预测的样本标注装置,其特征在于,包括:
第一获取模块,用于获取与第一样本音频文件对应的未标注韵律的第一文本序列;
第二获取模块,用于获取所述第一文本序列中每个字的文本特征;
第三获取模块,用于获取所述第一文本序列中每个字的发音时长;
第一处理模块,用于应用预先训练的韵律标注模型对所述第一文本序列中每个字的文本特征和发音时长进行处理,获取所述第一文本序列中每个字的输出标记;
标注模块,用于根据所述第一文本序列中每个字的输出标记对所述第一文本序列进行韵律层级标注。
8.如权利要求7所述的装置,其特征在于,还包括:
第四获取模块,用于获取与第二样本音频文件对应的已标注韵律的第二文本序列;
第五获取模块,用于获取所述第二文本序列中每个字的文本特征和发音时长;
第二处理模块,用于将所述第二文本序列中每个字的文本特征和发音时长作为输入特征,将所述已标注韵律的第二文本序列的标注结果作为输出标记,通过误差最小化的策略训练所述韵律标注模型中的参数;
建立模块,用于根据所述韵律标注模型中的参数建立所述韵律标注模型。
9.如权利要求7所述的装置,其特征在于,所述韵律标注模型包括:
深度神经网络和双向长短时记忆网络。
10.如权利要求7所述的装置,其特征在于,所述每个字的文本特征,包括:
字向量编码、对应分词的词性、或者,对应分词的位置。
11.如权利要求10所述的装置,其特征在于,当所述文本特征为字向量编码,所述第二获取模块用于:
通过大数据语料库训练获取单字库,以及与所述单子库中的每个字对应的字向量表示;
查询所述单字库获取与所述第一文本序列中每个字对应的匹配字,并将与所述匹配字对应的字向量表示作为所述第一文本序列中每个字的字向量编码。
12.如权利要求7-11任一所述的装置,其特征在于,所述第三获取模块用于:
将所述第一样本音频文件按照固定时长分帧,并获取每一帧对应的音子状态;
将每一帧对应的音子状态对齐到音子,进而对所述第一样本音频文件进行解码,获取每个字及静音段在所述第一样本音频文件对应的发音帧数;
根据所述发音帧数和所述固定时长获取所述第一文本序列中每个字的发音时长。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611135605.7A CN106601228B (zh) | 2016-12-09 | 2016-12-09 | 基于人工智能韵律预测的样本标注方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611135605.7A CN106601228B (zh) | 2016-12-09 | 2016-12-09 | 基于人工智能韵律预测的样本标注方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106601228A true CN106601228A (zh) | 2017-04-26 |
CN106601228B CN106601228B (zh) | 2020-02-04 |
Family
ID=58599010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611135605.7A Active CN106601228B (zh) | 2016-12-09 | 2016-12-09 | 基于人工智能韵律预测的样本标注方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106601228B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107221330A (zh) * | 2017-05-26 | 2017-09-29 | 北京搜狗科技发展有限公司 | 标点添加方法和装置、用于标点添加的装置 |
CN107247700A (zh) * | 2017-04-27 | 2017-10-13 | 北京捷通华声科技股份有限公司 | 一种添加文本标注的方法及装置 |
CN107705782A (zh) * | 2017-09-29 | 2018-02-16 | 百度在线网络技术(北京)有限公司 | 用于确定音素发音时长的方法和装置 |
CN107729313A (zh) * | 2017-09-25 | 2018-02-23 | 百度在线网络技术(北京)有限公司 | 基于深度神经网络的多音字读音的判别方法和装置 |
CN108320740A (zh) * | 2017-12-29 | 2018-07-24 | 深圳和而泰数据资源与云技术有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
CN108564953A (zh) * | 2018-04-20 | 2018-09-21 | 科大讯飞股份有限公司 | 一种语音识别文本的标点处理方法及装置 |
CN109326281A (zh) * | 2018-08-28 | 2019-02-12 | 北京海天瑞声科技股份有限公司 | 韵律标注方法、装置和设备 |
CN109697973A (zh) * | 2019-01-22 | 2019-04-30 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
CN109697537A (zh) * | 2017-10-20 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 数据审核的方法和装置 |
CN110459202A (zh) * | 2019-09-23 | 2019-11-15 | 浙江同花顺智能科技有限公司 | 一种韵律标注方法、装置、设备、介质 |
CN110534087A (zh) * | 2019-09-04 | 2019-12-03 | 清华大学深圳研究生院 | 一种文本韵律层级结构预测方法、装置、设备及存储介质 |
CN110782870A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 语音合成方法、装置、电子设备及存储介质 |
CN110797005A (zh) * | 2019-11-05 | 2020-02-14 | 百度在线网络技术(北京)有限公司 | 韵律预测方法、装置、设备和介质 |
CN111126068A (zh) * | 2019-12-25 | 2020-05-08 | 中电云脑(天津)科技有限公司 | 一种中文命名实体识别方法和装置及电子设备 |
CN111199155A (zh) * | 2018-10-30 | 2020-05-26 | 飞狐信息技术(天津)有限公司 | 一种文本分类方法及装置 |
CN111261140A (zh) * | 2020-01-16 | 2020-06-09 | 云知声智能科技股份有限公司 | 韵律模型训练方法及装置 |
CN112102810A (zh) * | 2020-09-22 | 2020-12-18 | 深圳追一科技有限公司 | 一种语音合成方法、***及相关设备 |
CN112115714A (zh) * | 2020-09-25 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 深度学习序列标注方法、装置及计算机可读存储介质 |
CN112183086A (zh) * | 2020-09-23 | 2021-01-05 | 北京先声智能科技有限公司 | 基于意群标注的英语发音连读标记模型 |
CN112489620A (zh) * | 2020-11-20 | 2021-03-12 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、可读介质及电子设备 |
WO2021134591A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市优必选科技股份有限公司 | 语音合成方法、装置、终端及存储介质 |
CN113257221A (zh) * | 2021-07-06 | 2021-08-13 | 成都启英泰伦科技有限公司 | 一种基于前端设计的语音模型训练方法及语音合成方法 |
CN113593539A (zh) * | 2020-04-30 | 2021-11-02 | 阿里巴巴集团控股有限公司 | 流式端到端语音识别方法、装置及电子设备 |
CN114091444A (zh) * | 2021-11-15 | 2022-02-25 | 北京声智科技有限公司 | 文本处理方法、装置、计算机设备及存储介质 |
CN115116427A (zh) * | 2022-06-22 | 2022-09-27 | 马上消费金融股份有限公司 | 标注方法、语音合成方法、训练方法及装置 |
WO2023045433A1 (zh) * | 2021-09-24 | 2023-03-30 | 华为云计算技术有限公司 | 一种韵律信息标注方法以及相关设备 |
CN117012178A (zh) * | 2023-07-31 | 2023-11-07 | 支付宝(杭州)信息技术有限公司 | 韵律标注数据生成方法及装置 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060229874A1 (en) * | 2005-04-11 | 2006-10-12 | Oki Electric Industry Co., Ltd. | Speech synthesizer, speech synthesizing method, and computer program |
US20080288257A1 (en) * | 2002-11-29 | 2008-11-20 | International Business Machines Corporation | Application of emotion-based intonation and prosody to speech in text-to-speech systems |
CN101452699A (zh) * | 2007-12-04 | 2009-06-10 | 株式会社东芝 | 韵律自适应及语音合成的方法和装置 |
US20140019138A1 (en) * | 2008-08-12 | 2014-01-16 | Morphism Llc | Training and Applying Prosody Models |
CN104867491A (zh) * | 2015-06-17 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 用于语音合成的韵律模型训练方法和装置 |
CN104867490A (zh) * | 2015-06-12 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 韵律结构预测方法和装置 |
CN104916284A (zh) * | 2015-06-10 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 用于语音合成***的韵律与声学联合建模的方法及装置 |
CN104934028A (zh) * | 2015-06-17 | 2015-09-23 | 百度在线网络技术(北京)有限公司 | 用于语音合成的深度神经网络模型的训练方法及装置 |
CN105118499A (zh) * | 2015-07-06 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 韵律停顿预测方法和装置 |
CN105118498A (zh) * | 2015-09-06 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 语音合成模型的训练方法及装置 |
CN105185373A (zh) * | 2015-08-06 | 2015-12-23 | 百度在线网络技术(北京)有限公司 | 韵律层级预测模型的生成及韵律层级预测方法和装置 |
CN105225658A (zh) * | 2015-10-21 | 2016-01-06 | 百度在线网络技术(北京)有限公司 | 韵律停顿信息的确定方法和装置 |
CN105244020A (zh) * | 2015-09-24 | 2016-01-13 | 百度在线网络技术(北京)有限公司 | 韵律层级模型训练方法、语音合成方法及装置 |
CN105374350A (zh) * | 2015-09-29 | 2016-03-02 | 百度在线网络技术(北京)有限公司 | 语音标注方法及装置 |
CN105427855A (zh) * | 2015-11-09 | 2016-03-23 | 上海语知义信息技术有限公司 | 一种智能软件的语音播报***及语音播报方法 |
CN105427869A (zh) * | 2015-11-02 | 2016-03-23 | 北京大学 | 一种基于深度学习的会话情感自动分析方法 |
CN105529023A (zh) * | 2016-01-25 | 2016-04-27 | 百度在线网络技术(北京)有限公司 | 语音合成方法和装置 |
CN105551481A (zh) * | 2015-12-21 | 2016-05-04 | 百度在线网络技术(北京)有限公司 | 语音数据的韵律标注方法及装置 |
-
2016
- 2016-12-09 CN CN201611135605.7A patent/CN106601228B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080288257A1 (en) * | 2002-11-29 | 2008-11-20 | International Business Machines Corporation | Application of emotion-based intonation and prosody to speech in text-to-speech systems |
US20060229874A1 (en) * | 2005-04-11 | 2006-10-12 | Oki Electric Industry Co., Ltd. | Speech synthesizer, speech synthesizing method, and computer program |
CN101452699A (zh) * | 2007-12-04 | 2009-06-10 | 株式会社东芝 | 韵律自适应及语音合成的方法和装置 |
US20140019138A1 (en) * | 2008-08-12 | 2014-01-16 | Morphism Llc | Training and Applying Prosody Models |
US20150012277A1 (en) * | 2008-08-12 | 2015-01-08 | Morphism Llc | Training and Applying Prosody Models |
CN104916284A (zh) * | 2015-06-10 | 2015-09-16 | 百度在线网络技术(北京)有限公司 | 用于语音合成***的韵律与声学联合建模的方法及装置 |
CN104867490A (zh) * | 2015-06-12 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 韵律结构预测方法和装置 |
CN104934028A (zh) * | 2015-06-17 | 2015-09-23 | 百度在线网络技术(北京)有限公司 | 用于语音合成的深度神经网络模型的训练方法及装置 |
CN104867491A (zh) * | 2015-06-17 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 用于语音合成的韵律模型训练方法和装置 |
CN105118499A (zh) * | 2015-07-06 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 韵律停顿预测方法和装置 |
CN105185373A (zh) * | 2015-08-06 | 2015-12-23 | 百度在线网络技术(北京)有限公司 | 韵律层级预测模型的生成及韵律层级预测方法和装置 |
CN105118498A (zh) * | 2015-09-06 | 2015-12-02 | 百度在线网络技术(北京)有限公司 | 语音合成模型的训练方法及装置 |
CN105244020A (zh) * | 2015-09-24 | 2016-01-13 | 百度在线网络技术(北京)有限公司 | 韵律层级模型训练方法、语音合成方法及装置 |
CN105374350A (zh) * | 2015-09-29 | 2016-03-02 | 百度在线网络技术(北京)有限公司 | 语音标注方法及装置 |
CN105225658A (zh) * | 2015-10-21 | 2016-01-06 | 百度在线网络技术(北京)有限公司 | 韵律停顿信息的确定方法和装置 |
CN105427869A (zh) * | 2015-11-02 | 2016-03-23 | 北京大学 | 一种基于深度学习的会话情感自动分析方法 |
CN105427855A (zh) * | 2015-11-09 | 2016-03-23 | 上海语知义信息技术有限公司 | 一种智能软件的语音播报***及语音播报方法 |
CN105551481A (zh) * | 2015-12-21 | 2016-05-04 | 百度在线网络技术(北京)有限公司 | 语音数据的韵律标注方法及装置 |
CN105529023A (zh) * | 2016-01-25 | 2016-04-27 | 百度在线网络技术(北京)有限公司 | 语音合成方法和装置 |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247700A (zh) * | 2017-04-27 | 2017-10-13 | 北京捷通华声科技股份有限公司 | 一种添加文本标注的方法及装置 |
CN107221330A (zh) * | 2017-05-26 | 2017-09-29 | 北京搜狗科技发展有限公司 | 标点添加方法和装置、用于标点添加的装置 |
CN107729313B (zh) * | 2017-09-25 | 2021-09-17 | 百度在线网络技术(北京)有限公司 | 基于深度神经网络的多音字读音的判别方法和装置 |
CN107729313A (zh) * | 2017-09-25 | 2018-02-23 | 百度在线网络技术(北京)有限公司 | 基于深度神经网络的多音字读音的判别方法和装置 |
CN107705782A (zh) * | 2017-09-29 | 2018-02-16 | 百度在线网络技术(北京)有限公司 | 用于确定音素发音时长的方法和装置 |
CN109697537A (zh) * | 2017-10-20 | 2019-04-30 | 北京京东尚科信息技术有限公司 | 数据审核的方法和装置 |
CN108320740A (zh) * | 2017-12-29 | 2018-07-24 | 深圳和而泰数据资源与云技术有限公司 | 一种语音识别方法、装置、电子设备及存储介质 |
CN108564953A (zh) * | 2018-04-20 | 2018-09-21 | 科大讯飞股份有限公司 | 一种语音识别文本的标点处理方法及装置 |
CN109326281A (zh) * | 2018-08-28 | 2019-02-12 | 北京海天瑞声科技股份有限公司 | 韵律标注方法、装置和设备 |
CN111199155A (zh) * | 2018-10-30 | 2020-05-26 | 飞狐信息技术(天津)有限公司 | 一种文本分类方法及装置 |
CN111199155B (zh) * | 2018-10-30 | 2023-09-15 | 飞狐信息技术(天津)有限公司 | 一种文本分类方法及装置 |
CN110444191B (zh) * | 2019-01-22 | 2021-11-26 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
CN110444191A (zh) * | 2019-01-22 | 2019-11-12 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
CN109697973B (zh) * | 2019-01-22 | 2024-07-19 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
CN109697973A (zh) * | 2019-01-22 | 2019-04-30 | 清华大学深圳研究生院 | 一种韵律层级标注的方法、模型训练的方法及装置 |
CN110534087B (zh) * | 2019-09-04 | 2022-02-15 | 清华大学深圳研究生院 | 一种文本韵律层级结构预测方法、装置、设备及存储介质 |
CN110534087A (zh) * | 2019-09-04 | 2019-12-03 | 清华大学深圳研究生院 | 一种文本韵律层级结构预测方法、装置、设备及存储介质 |
CN110782870A (zh) * | 2019-09-06 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 语音合成方法、装置、电子设备及存储介质 |
CN110782870B (zh) * | 2019-09-06 | 2023-06-16 | 腾讯科技(深圳)有限公司 | 语音合成方法、装置、电子设备及存储介质 |
CN110459202B (zh) * | 2019-09-23 | 2022-03-15 | 浙江同花顺智能科技有限公司 | 一种韵律标注方法、装置、设备、介质 |
CN110459202A (zh) * | 2019-09-23 | 2019-11-15 | 浙江同花顺智能科技有限公司 | 一种韵律标注方法、装置、设备、介质 |
CN110797005B (zh) * | 2019-11-05 | 2022-06-10 | 百度在线网络技术(北京)有限公司 | 韵律预测方法、装置、设备和介质 |
CN110797005A (zh) * | 2019-11-05 | 2020-02-14 | 百度在线网络技术(北京)有限公司 | 韵律预测方法、装置、设备和介质 |
CN111126068A (zh) * | 2019-12-25 | 2020-05-08 | 中电云脑(天津)科技有限公司 | 一种中文命名实体识别方法和装置及电子设备 |
WO2021134591A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市优必选科技股份有限公司 | 语音合成方法、装置、终端及存储介质 |
CN111261140A (zh) * | 2020-01-16 | 2020-06-09 | 云知声智能科技股份有限公司 | 韵律模型训练方法及装置 |
CN113593539A (zh) * | 2020-04-30 | 2021-11-02 | 阿里巴巴集团控股有限公司 | 流式端到端语音识别方法、装置及电子设备 |
CN112102810A (zh) * | 2020-09-22 | 2020-12-18 | 深圳追一科技有限公司 | 一种语音合成方法、***及相关设备 |
CN112183086A (zh) * | 2020-09-23 | 2021-01-05 | 北京先声智能科技有限公司 | 基于意群标注的英语发音连读标记模型 |
CN112115714A (zh) * | 2020-09-25 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 深度学习序列标注方法、装置及计算机可读存储介质 |
CN112115714B (zh) * | 2020-09-25 | 2023-08-18 | 深圳平安智慧医健科技有限公司 | 深度学习序列标注方法、装置及计算机可读存储介质 |
WO2022105545A1 (zh) * | 2020-11-20 | 2022-05-27 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、可读介质及电子设备 |
CN112489620A (zh) * | 2020-11-20 | 2021-03-12 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、可读介质及电子设备 |
CN113257221A (zh) * | 2021-07-06 | 2021-08-13 | 成都启英泰伦科技有限公司 | 一种基于前端设计的语音模型训练方法及语音合成方法 |
WO2023045433A1 (zh) * | 2021-09-24 | 2023-03-30 | 华为云计算技术有限公司 | 一种韵律信息标注方法以及相关设备 |
CN114091444A (zh) * | 2021-11-15 | 2022-02-25 | 北京声智科技有限公司 | 文本处理方法、装置、计算机设备及存储介质 |
CN115116427A (zh) * | 2022-06-22 | 2022-09-27 | 马上消费金融股份有限公司 | 标注方法、语音合成方法、训练方法及装置 |
CN115116427B (zh) * | 2022-06-22 | 2023-11-14 | 马上消费金融股份有限公司 | 标注方法、语音合成方法、训练方法及装置 |
CN117012178A (zh) * | 2023-07-31 | 2023-11-07 | 支付宝(杭州)信息技术有限公司 | 韵律标注数据生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106601228B (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106601228A (zh) | 基于人工智能韵律预测的样本标注方法及装置 | |
CN105244020B (zh) | 韵律层级模型训练方法、语音合成方法及装置 | |
CN110782870B (zh) | 语音合成方法、装置、电子设备及存储介质 | |
CN105551481B (zh) | 语音数据的韵律标注方法及装置 | |
CN112735373B (zh) | 语音合成方法、装置、设备及存储介质 | |
CN104916284B (zh) | 用于语音合成***的韵律与声学联合建模的方法及装置 | |
CN105118498B (zh) | 语音合成模型的训练方法及装置 | |
CN109785833A (zh) | 用于智能设备的人机交互语音识别方法及*** | |
CN106057192A (zh) | 一种实时语音转换方法和装置 | |
CN112037773B (zh) | 一种n最优口语语义识别方法、装置及电子设备 | |
CN112101044B (zh) | 一种意图识别方法、装置及电子设备 | |
CN110197279A (zh) | 变换模型训练方法、装置、设备和存储介质 | |
CN116778967B (zh) | 基于预训练模型的多模态情感识别方法及装置 | |
Reichel | Linking bottom-up intonation stylization to discourse structure | |
Zhang et al. | Automatic synthesis technology of music teaching melodies based on recurrent neural network | |
Dongmei | Design of English text-to-speech conversion algorithm based on machine learning | |
CN112115718B (zh) | 内容文本生成方法和装置、音乐评论文本生成方法 | |
Sethu et al. | On the use of speech parameter contours for emotion recognition | |
Sarma et al. | Children’s age and gender recognition from raw speech waveform using DNN | |
CN113823259A (zh) | 将文本数据转换为音素序列的方法及设备 | |
Mei et al. | A particular character speech synthesis system based on deep learning | |
Wang | [Retracted] Research on Open Oral English Scoring System Based on Neural Network | |
Wang et al. | Research on Mongolian speech recognition based on FSMN | |
Yang | [Retracted] Design of Service Robot Based on User Emotion Recognition and Environmental Monitoring | |
CN113257225B (zh) | 一种融合词汇及音素发音特征的情感语音合成方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |