CN113362836B - 训练声码器方法、终端及存储介质 - Google Patents
训练声码器方法、终端及存储介质 Download PDFInfo
- Publication number
- CN113362836B CN113362836B CN202110615714.3A CN202110615714A CN113362836B CN 113362836 B CN113362836 B CN 113362836B CN 202110615714 A CN202110615714 A CN 202110615714A CN 113362836 B CN113362836 B CN 113362836B
- Authority
- CN
- China
- Prior art keywords
- sample
- audio
- acoustic model
- vocoder
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000001228 spectrum Methods 0.000 claims abstract description 151
- 230000015654 memory Effects 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000003595 spectral effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 239000004576 sand Substances 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 23
- 206010071299 Slow speech Diseases 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请公开了一种训练声码器方法、终端及存储介质,属于互联网技术领域。该方法包括:获取样本音频的时域数据作为基准时域数据;确定所述基准时域数据对应的第一频谱数据,将所述第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据;将所述第二频谱数据输入声码器,得到预测时域数据;基于所述预测时域数据和所述基准时域数据,对所述声码器进行训练。基于上述方法得到的训练完成的声码器与训练完成的声学模型的匹配程度,要比现有技术中训练完成的声学模型和训练完成的声码器的匹配程度高,在一定程度上减少了合成声音中存在的“沙沙”的声音。
Description
技术领域
本申请涉及互联网技术领域,特别涉及一种训练声码器方法、终端及存储介质。
背景技术
随着互联网技术的不断发展,人们在阅读小说时,往往通过AI模型对小说内容进行朗读。
在相关技术中,AI模型实际是由音素转换模型、停顿预测模型、声学模型和声码器组成。应用这些模型得到目标文本的具体过程为:将目标文本分别输入音素转换模型和停顿预测模型,得到音素序列和停顿信息,该停顿信息中包括停顿位置和停顿时长。将音素序列和停顿信息输入训练完成的声学模型,得到频谱数据。将频谱数据输入训练完成的声码器,得到目标文本对应的目标时域数据,进而终端基于该目标时域数据进行播放。
由于声码器是基于真实声音得到的频谱数据训练完成的,而实际使用过程中输入训练完成的声码器的频谱数据只是声学模型基于音素序列和停顿信息得到的类似真实声音的频谱数据,并非是真实声音的频谱数据,这就造成训练完成的声学模型和训练完成的声码器不匹配,从而导致声码器可能对声学模型得到的频谱数据无法识别,使得合成声音中存在的“沙沙”的声音。
发明内容
本申请实施例提供了一种训练声码器方法、终端及存储介质,基于本申请提供的方法得到的训练完成的声码器与训练完成的声学模型的匹配程度,要比现有技术中训练完成的声学模型和训练完成的声码器的匹配程度高,在一定程度上减少了合成声音中存在的“沙沙”的声音。该技术方案如下:
一方面,提供了一种训练声码器方法,该方法包括:
获取样本音频的时域数据作为基准时域数据;
确定所述基准时域数据对应的第一频谱数据,将所述第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据;
将所述第二频谱数据输入声码器,得到预测时域数据;
基于所述预测时域数据和所述基准时域数据,对所述声码器进行训练。
可选的,所述方法还包括:
获取目标文本对应的音素序列和停顿信息,所述停顿信息包括停顿位置和停顿时长;
将所述音素序列和所述停顿信息输入训练完成的声学模型,得到第三频谱数据;
将所述第三频谱数据输入训练完成的声码器,得到所述目标文本对应的目标时域数据。
可选的,所述获取目标文本对应的音素序列和停顿信息,包括:
将所述目标文本输入音素转换模型,得到所述目标文本对应的音素序列;
将所述目标文本输入停顿预测模型,得到所述目标文本对应的停顿信息。
可选的,所述将所述音素序列和所述停顿信息输入训练完成的声学模型,得到第三频谱数据,包括:
将所述音素序列和所述停顿信息输入所述训练完成的声学模型中的频谱预测模块,得到第四频谱数据;
将所述第四频谱数据输入所述训练完成的声学模型中的自注意学习模块,得到所述第三频谱数据。
可选的,所述方法还包括:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本;
基于所述第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型。
可选的,所述基于所述第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型,包括:
获取所述第一样本音频对应的频谱数据,作为基准频谱数据;
确定所述第一样本文本对应的样本音素序列和样本停顿信息,所述样本停顿信息包括样本停顿位置和样本停顿时长;
将所述样本音素序列和所述样本停顿信息输入声学模型,得到预测频谱数据;
基于所述基准频谱数据和所述预测频谱数据,对所述声学模型进行训练,得到训练完成的声学模型。
可选的,所述方法还包括:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本,和语速在所述预设数值范围外的第二样本音频以及所述第二样本音频对应的第二样本文本;
基于所述第二样本文本以及对应的第二样本音频,对声学模型进行训练,得到初步训练的声学模型;
基于所述第一样本文本以及对应的第一样本音频,对所述初步训练的声学模型进行训练,得到训练完成的声学模型。
可选的,所述确定样本库中每个样本音频的语速,包括:
对于每个样本音频,确定所述样本音频对应的第一时长、所述样本音频中的噪声音频段对应的第二时长和所述样本音频中静音音频段的第三时长,确定所述第二时长与所述第三时长的和,得到所述和与所述第一时长的差值,作为所述样本音频对应的有效时长;确定所述样本音频对应的文本,并确定去除标点符号的文本所包括的字数,作为所述样本音频所包含的有效字数;确定所述音频对应的有效字数和对应的有效时长的比值,作为所述样本音频对应的语速。
一方面,提供了一种训练声码器装置,该装置包括:
获取模块,被配置为获取样本音频的时域数据作为基准时域数据;
第一输入模块,被配置为确定所述基准时域数据对应的第一频谱数据,将所述第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据;
第二输入模块,被配置为将所述第二频谱数据输入声码器,得到预测时域数据;
第一训练模块,被配置为基于所述预测时域数据和所述基准时域数据,对所述声码器进行训练。
可选的,所述装置还包括使用模块,所述使用模块被配置为:
获取目标文本对应的音素序列和停顿信息,所述停顿信息包括停顿位置和停顿时长;
将所述音素序列和所述停顿信息输入训练完成的声学模型,得到第三频谱数据;
将所述第三频谱数据输入训练完成的声码器,得到所述目标文本对应的目标时域数据。
可选的,所述使用模块,被配置为:
将所述目标文本输入音素转换模型,得到所述目标文本对应的音素序列;
将所述目标文本输入停顿预测模型,得到所述目标文本对应的停顿信息。
可选的,所述使用模块,被配置为:
将所述音素序列和所述停顿信息输入所述训练完成的声学模型中的频谱预测模块,得到第四频谱数据;
将所述第四频谱数据输入所述训练完成的声学模型中的自注意学习模块,得到所述第三频谱数据。
可选的,所述装置还包括第二训练模块,所述第二训练模块被配置为:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本;
基于所述第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型。
可选的,所述第二训练模块,被配置为:
获取所述第一样本音频对应的频谱数据,作为基准频谱数据;
确定所述第一样本文本对应的样本音素序列和样本停顿信息,所述样本停顿信息包括样本停顿位置和样本停顿时长;
将所述样本音素序列和所述样本停顿信息输入声学模型,得到预测频谱数据;
基于所述基准频谱数据和所述预测频谱数据,对所述声学模型进行训练,得到训练完成的声学模型。
可选的,第二训练模块还被配置为:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本,和语速在所述预设数值范围外的第二样本音频以及所述第二样本音频对应的第二样本文本;
基于所述第二样本文本以及对应的第二样本音频,对声学模型进行训练,得到初步训练的声学模型;
基于所述第一样本文本以及对应的第一样本音频,对所述初步训练的声学模型进行训练,得到训练完成的声学模型。
可选的,所述第二训练模块,被配置为:
对于每个样本音频,确定所述样本音频对应的第一时长、所述样本音频中的噪声音频段对应的第二时长和所述样本音频中静音音频段的第三时长,确定所述第二时长与所述第三时长的和,得到所述和与所述第一时长的差值,作为所述样本音频对应的有效时长;确定所述样本音频对应的文本,并确定去除标点符号的文本所包括的字数,作为所述样本音频所包含的有效字数;确定所述音频对应的有效字数和对应的有效时长的比值,作为所述样本音频对应的语速。
一方面,提供了一种终端,该终端包括处理器和存储器,该存储器中存储有至少一条程序代码,该至少一条程序代码由该处理器加载并执行以实现上述的训练声码器方法。
一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现上述的训练声码器方法。
一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述训练声码器方法。
在对声码器进行训练的过程中,先将真实声音的频谱数据输入训练完成的声学模型的自注意学习模块中,得到第二频谱数据,再基于第二频谱数据对声码器进行训练,得到训练完成的声码器。由于第二频谱数据是基于训练完成的声学模型中的自注意学习模块生成的,这样缓解了真实声音的频谱数据输入和声学模型预测的频谱数据之间的差异,这样基于本申请实施例的训练方法获得的声码器与训练完成的声学模型的匹配程度更高,提升了声码器输出的合成声音的音质,减少了合成声音中存在的“沙沙”的声音,提高了合成声音的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种训练声码器方法的实施环境的示意图;
图2是本申请实施例提供的一种训练声码器方法的流程图;
图3是本申请实施例提供的一种训练声码器方法的流程图;
图4是本申请实施例提供的一种训练声码器方法的流程图;
图5是本申请实施例提供的一种训练声码器方法的流程图;
图6是本申请实施例提供的一种训练声码器装置的结构示意图;
图7是本申请实施例提供的一种终端的结构示意图;
图8是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种训练声码器方法的实施环境的示意图。如图1所示,该方法可以由终端101或服务器102实现。
终端101可以包括处理器、存储器等部件。处理器,可以为CPU(CentralProcessing Unit,中央处理单元)等,可以用于获取样本音频的时域数据、确定基准时域数据对应的第一频谱数据、将第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据、将第二频谱数据输入声码器,得到预测时域数据、基于预测时域数据和基准时域数据,对声码器进行训练等处理。存储器,可以为RAM(Random Access Memory,随机存取存储器),Flash(闪存)等,可以用于存储样本音频等。终端101还可以包括收发器、图像检测部件、屏幕、音频输出部件和音频输入部件等。其中,音频输出部件可以是音箱、耳机等。音频输入部件可以是麦克风等。
服务器102可以包括处理器、存储器等部件。处理器,可以为CPU(CentralProcessing Unit,中央处理单元)等,可以用于获取样本音频的时域数据、确定基准时域数据对应的第一频谱数据,将第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据、将第二频谱数据输入声码器,得到预测时域数据、基于预测时域数据和基准时域数据,对声码器进行训练等处理。存储器,可以为RAM(Random Access Memory,随机存取存储器),Flash(闪存)等,可以用于样本音频等。
图2是本申请实施例提供的一种训练声码器方法的流程图。参见图2,该实施例包括:
步骤201、获取样本音频的时域数据作为基准时域数据。
其中,样本音频为包含人声的音频。样本音频的时域数据可以为样本音频对应的时域波形数据。
在样本库中,随机选取出样本音频对应的时域数据,并将其作为基准时域数据。
步骤202、确定基准时域数据对应的第一频谱数据,将第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据。
其中,频谱数据可以为梅尔频谱。
在实施中,基于相关技术中获得梅尔频谱的方法,获取基准时域数据对应的第一梅尔频谱,并将第一梅尔频谱输入训练完成的声学模型中的自注意学习模块,得到第二梅尔频谱。
需要说明的是,本申请实施例中的自注意学习模块的作用是基于第一梅尔频谱去预测出第二梅尔频谱,其中,第一梅尔频谱和第二梅尔频谱均由多个音频帧的梅尔频谱组成。其预测第二梅尔频谱的原理为:第二梅尔频谱的第1音频帧的梅尔频谱为第一梅尔频谱的第1音频帧的梅尔频谱,第二梅尔频谱的第2音频帧的梅尔频谱是基于第一梅尔频谱的第1音频帧的梅尔频谱预测得到的……第二梅尔频谱的第n音频帧的梅尔频是基于第一梅尔频谱的第n-1音频帧的梅尔频预测得到的,其中,n表示第二梅尔频谱所包含的帧数。
步骤203、将第二频谱数据输入声码器,得到预测时域数据。
在实施中,将第二梅尔频谱输入声码器中,得到预测时域数据。
需要说明的是,本申请实施例中的声码器可以为未经过任何训练的声码器,即初始声码器,也可以为已经经过前期训练得到的声码器,即初步训练的声码器。其中,得到初步训练的声码器的具体步骤为:获取样本音频对应的时域数据和样本音频对应的频谱数据,并将样本音频对应的时域数据作为基准时域数据。将样本音频的频谱数据输入初始声码器,得到预测时域数据。将预测时域数据和基准时域数据输入第一损失函数,得到第一损失信息,并基于该第一损失信息对初始声码器进行训练。获取其他样本音频对应的时域数据和频域数据,对上次训练得到的声码器进行训练,直至完成预设次训练过程,得到初步训练的声码器。或者直至第一损失函数得到的第一损失信息满足第一预设条件,得到初步训练的声码器。第一预设条件为第一损失信息趋于平稳,或者说当前的第一损失信息和上次获得的第一损失信息之差小于第一预设数值。
本申请实施例中的声码器可以为神经网络声码器,可以包括但不限于基于自回归的神经网络声码器(如waveRNN声码器)、基于Gan网络的神经网络声码器(如melGan声码器、hifiGan声码器)。
步骤204、基于预测时域数据和基准时域数据,对声码器进行训练。
在实施中,将步骤201获取的预测时域数据和步骤203获取的基准时域数据输入第二损失函数,得到第二损失信息。基于第二损失信息对声码器中待调整参数进行调整,进而完成一次训练。再获取其他样本音频的时域数据,并基于该时域数据对上次训练得到的声码器进行训练,直至完成预设次训练过程,得到训练完成的声码器。或者直至第二损失函数得到的第二损失信息满足第二预设条件,得到训练完成的声码器。其中,第二预设条件为第二损失信息趋于平稳,或者说当前的第二损失信息和上次获得的第二损失信息之差小于第二预设数值。
需要说明的是,第一损失函数和第二损失函数可以是相同的损失函数,也可以是不同的损失函数。第一预设数值和第二预设数值可以是相同的数值,也可以为不同的数值。
在对声码器进行训练的过程中,先将真实声音的频谱数据输入训练完成的声学模型的自注意学习模块中,得到第二频谱数据,再基于第二频谱数据对声码器进行训练,得到训练完成的声码器。由于第二频谱数据是基于训练完成的声学模型中的自注意学习模块生成的,这样减小了真实声音的频谱数据和声学模型预测的频谱数据之间的差异,使得基于本申请实施例的训练方法获得的声码器与训练完成的声学模型的匹配程度更高,使用该声码器对声学模型输出的频谱数据进行识别,可以提升声码器输出的合成声音的音质,减少合成声音中存在的“沙沙”的声音,进而提高合成声音的质量。
当样本库中的正常语速的样本音频足够多时,可以直接基于正常语速的样本音频对声学模型进行训练,得到训练完成的声学模型。图3是本申请实施例提供的一种训练声学模型方法的流程图。参见图3,该实施例包括:
步骤301、确定样本库中每个样本音频的语速。
其中,样本库中存储有多个样本音频以及多个样本音频分别对应的样本文本。
可选的,对于每个样本音频,确定样本音频对应的第一时长、样本音频中的噪声音频段对应的第二时长和样本音频中静音音频段的第三时长,确定第二时长与第三时长的和,进而将和值与第一时长的差值作为样本音频对应的有效时长。确定样本音频对应的文本,并确定去除标点符号的文本所包括的字数,作为样本音频所包含的有效字数。确定音频对应的有效字数和对应的有效时长的比值,作为样本音频对应的语速。
其中,噪声音频段为只包括噪声的音频段,静音音频段为没有声音的音频段。语速的定义为:语速S=有效文字个数N/有效发声时长T。
在实施中,对于样本库中的每个样本音频,获取样本音频的第一时长,确定该样本音频中的噪声音频段和静音音频段,进而得到噪声音频段对应的第二时长和静音音频段对应的第三时长。将第二时长和第三时长相加,确定出第二时长和第三时长的和,确定出该和与第一时长之间的差值,作为该样本音频对应的有效时长。将该样本音频转换为文本,将该文本与标点符号库中的每个标点符号进行比对,确定出该文本中的标点符号。将该文本中的标点符号去除,得到去除标点符号的文本,进而确定去除标点符号的文本所包含的字数,作为样本音频所包含的有效字数。确定音频对应的有效字数和对应的有效时长的比值,作为样本音频对应的语速。
需要说明的是,本申请实施例中确定噪声音频段和静音音频段的方法为:确定样本音频中非人声音频帧,进而确定出样本音频中的非人声音频段,将包含声音的非人声音频段作为噪声音频段,将不包含声音的非人声音频段作为静音音频段。其中,可以采用相关技术中确定非人声音频帧的方法来确定样本音频中的非人声音频帧。可以通过检测非人声音频段中的每个音频帧是否包括频谱数据来确定非人声音频段中的包含声音的音频段和不包含声音的音频段。
需要说明的是,样本音频“今天,气温为37℃”,该音频对应的文本为“今天,气温为三十七摄氏度”,去除标点符号的文本为“今天气温为三十七摄氏度”,去除符号的文本的有效字数为11个字。
步骤302、确定语速在预设数值范围内的第一样本音频以及第一样本音频对应的第一样本文本。
其中,预设数值范围可以为第一速度阈值与第二速度阈值组成的范围,如3.3字/秒至4.3字/秒。语速小于3.3字/秒的音频认为是慢语速音频,语速大于4.3字/秒的音频认为是快语速音频,语速在3.3字/秒与4.3字/秒之间的音频认为是正常语速的音频。这里的3.3字/秒和4.3字/秒只是为了衡量语速定的一个界限,也可以为其它值。
在实施中,确定语速在3.3字/秒和4.3字/秒之间的第一样本音频,并确定出每个第一样本音频对应的第一样本文本。
步骤303、基于第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型。
可选的,获取第一样本音频对应的频谱数据,作为基准频谱数据。确定第一样本文本对应的样本音素序列和样本停顿信息,样本停顿信息包括样本停顿位置和样本停顿时长。将样本音素序列和样本停顿信息输入声学模型,得到预测频谱数据。基于基准频谱数据和预测频谱数据,对声学模型进行训练,得到训练完成的声学模型。
在实施中,根据第一样本音频,确定第一样本音频对应的梅尔频谱,将其作为第一基准梅尔频谱。将第一样本文本输入音素转换模型,得到第一样本文本对应的第一样本音素序列。将第一样本文本输入分词模型,得到第一样本分词结果,将第一样本分词结果与第一样本文本进行对比,确定第一样本文本中的第一样本停顿位置。将第一样本音素序列、第一样本停顿位置以及预先设置的停顿时长输入声学模型中的频谱预测模块,得到第一预测梅尔频谱。将第一预测梅尔频谱输入声学模型中的自注意学***稳,或者说当前的第三损失信息和上次获得的第三损失信息之差小于第三预设数值。
需要说明的是,本申请实施例中的声学模型是基于正常语速的音频训练得到的。因此,训练完成的声学模型输出的音频的语速也是正常的,这样避免了现有技术中的训练完成的声学模型输出的音频的语速忽快忽慢的问题。
可选,如果需要的训练完成的声学模型为快语速的声学模型,则可以基于以下步骤得到快语速的声学模型:确定语速大于第二速度阈值如4.3字/秒的样本音频,并确定这些样本音频对应的样本文本。基于这些样本文本和对应的样本音频对声学模型进行训练,得到快语速的声学模型。
可选,如果需要的训练完成的声学模型为慢语速的声学模型,则可以基于以下步骤得到慢语速的声学模型:确定语速小于第一速度阈值如3.3字/秒的样本音频,并确定这些样本音频对应的样本文本。基于这些样本文本和对应的样本音频对声学模型进行训练,得到慢语速的声学模型。
通过上述方法得到的训练完成的声学模型的语速比较平稳,不会出现现有技术中的训练完成的声学模型得到的音频的语速忽快忽慢的问题。
当样本库中正常语速的样本音频的数量不足时,只基于这些正常语速的样本音频得到训练完成的声学模型无法收敛。因此,本申请实施例可以先基于非正常语速的样本音频对声学模型进行训练,得到初次训练的声学模型。再基于正常语速的样本音频对初次训练的声学模型进行训练,得到训练完成的声学模型。图4是本申请实施例提供的另一种训练声学模型方法的流程图,参见图4,该实施例包括:
步骤401、确定样本库中每个样本音频的语速。
其中,样本库中存储有多个样本音频以及多个样本音频分别对应的样本文本。
该步骤与步骤301的实施方法类似,此处不再赘述。
步骤402、确定语速在预设数值范围内的第一样本音频以及第一样本音频对应的第一样本文本,和语速在预设数值范围外的第二样本音频以及第二样本音频对应的第二样本文本。
其中,语速在预设数值范围内的样本音频认为是正常语速的音频,例如语速在3.3字/秒和4.3字/秒之间的样本音频。语速在预设数值范围外的样本音频认为是非正常语速的音频,其中,非正常语速的音频包括快语速音频和慢语速音频,快语速音频为语速大于4.3字/秒的音频,慢语速音频为语速小于3.3字/秒的音频。
步骤403、基于第二样本文本以及对应的第二样本音频,对声学模型进行训练,得到初步训练的声学模型。
在实施中,根据第二样本音频,确定第二样本音频对应的梅尔频谱,将其作为第二基准梅尔频谱。将第二样本文本输入音素转换模型,得到第二样本文本对应的第二样本音素序列。将第二样本文本输入分词模型,得到第二样本分词结果,将第二样本分词结果与第二样本文本进行对比,确定第二样本文本中的第二样本停顿位置。将第二样本音素序列、第二样本停顿位置以及预先设置的停顿时长输入声学模型中的频谱预测模块,得到第三预测梅尔频谱。将第三预测梅尔频谱输入声学模型中的自注意学***稳,或者说当前的第四损失信息和上次获得的第四损失信息之差小于第四预设数值。
需要说明的是,实施例1中的第一损失函数和第二损失函数、实施例2中的第三损失函数以及该实施例中的第四损失函数可以是同一损失函数,也可以是不同的损失函数。实施例1中的第一预设数值和第二预设数值、实施例2中的第三预设数值以及该实施例中的第四预设数值可以是同一数值,也可以是不同的数值。
在本申请实施例中,基于第二样本文本以及对应的第二样本音频对声学模型进行训练的方法存在三种,这三种方法具体如下所示:
1、不对第二样本音频中的快语速音频和慢语速音频进行区分,直接使用第二样本文本和对应的第二样本音频对声学模型进行训练调整,得到初步训练的声学模型。
2、对第二样本音频中的快语速音频和慢语速音频进行区分。先基于快语速音频以及快语速音频对应的样本文本对声学模型进行训练,得到第一声学模型。再基于慢语速音频以及慢语速音频对应的样本文本对第一声学模型进行训练,得到初步训练的声学模型。
3、对第二样本音频中的快语速音频和慢语速音频进行区分。先基于慢语速音频以及慢语速音频对应的样本文本对声学模型进行训练,得到第二声学模型。再基于快语速音频以及快语速音频对应的样本文本对第二声学模型进行训练,得到初步训练的声学模型。
步骤404、基于第一样本文本以及对应的第一样本音频,对初步训练的声学模型进行训练,得到训练完成的声学模型。
此处的训练方法和步骤403或者步骤303中提到的训练方法类似,此处不再赘述。
在本申请实施例中,由于需要得到训练完成的声学模型为正常语速的声学模型,因此,训练完成的声学模型输出的声音不会出现语速忽快忽慢的问题。由于事先使用了非正常语速的样本音频对声学模型训练,这在一定程度上避免了正常语速的样本音频数量不足而导致训练完成的声学模型的效果不好的问题。而如果需要得到的训练完成的声学模型为快语速或者慢语速的声学模型,可以最后采用快语速或者慢语速的样本音频和对应的样本文本对声学模型进行训练。
例如,获取快语速的声学模型的方法为:确定语速大于4.3字/秒的样本音频和对应的样本文本,和语速小于4.3字/秒的样本音频和对应的样本文本。先基于语速小于4.3字/秒的样本音频和对应的样本文本,对声学模型进行训练,得到第三声学模型。再基于语速大于4.3字/秒的样本音频和对应的样本文本,对第三声学模型进行训练,得到快语速的声学模型。
获取慢语速的声学模型的方法为:确定语速小于3.3字/秒的样本音频和对应的样本文本,和语速大于3.3字/秒的样本音频和对应的样本文本。先基于语速小于3.3字/秒的样本音频和对应的样本文本,对声学模型进行训练,得到第四声学模型。再基于语速大于3.3字/秒的样本音频和对应的样本文本,对第四声学模型进行训练,得到慢语速的声学模型。
图5是本申请实施例提供的一种使用训练完成的声学模型和训练完成的声码器合成声音的方法的流程图。参见图5,该实施例包括:
步骤501、获取目标文本对应的音素序列和停顿信息。
其中,停顿信息包括停顿位置和停顿时长。
可选的,将目标文本输入音素转换模型,得到目标文本对应的音素序列。将目标文本输入停顿预测模型,得到目标文本对应的停顿信息。
其中,本申请实施例中的音素转换模型和停顿预测模型可以为机器学习模型,也可以为非机器学习模型。具体的,停顿预测模型可以为分词模型。当音素转换模型和分词模型为非机器学习模型时,音素转换模型中存储有大量文字和音素之间的对应关系,分词模型中存储有大量的词汇。
在实施中,将目标文本输入音素转换模型,基于音素转换模型中的存储的文字和音素之间的对应关系,将目标文本转换为音素序列。将目标文本与分词模型中的每个词汇进行比对,得出分词结果。将分词结果与目标文本进行对比,确定目标文本中的停顿位置。根据停顿位置与预先设置的停顿时长,得到目标文本对应的停顿信息。
步骤502、将音素序列和停顿信息输入训练完成的声学模型,得到第三频谱数据。
需要说明的是,训练完成的声学模型是基于实施例2或者实施例3提供的方法训练得到的声学模型。
可选的,将音素序列和停顿信息输入训练完成的声学模型中的频谱预测模块,得到第四频谱数据。将第四频谱数据输入训练完成的声学模型中的自注意学习模块,得到第三频谱数据。
在实施中,将音素序列、停顿位置和停顿时长输入训练完成的声学模型中的频谱预测模块,得到第四频谱数据。将第四频谱数据输入训练完成的声学模型中的自注意学习模块,得到第三频谱数据。
步骤503、将第三频谱数据输入训练完成的声码器,得到目标文本对应的目标时域数据。
需要说明的是,训练完成的声码器是基于实施例1提供的方法训练得到的声码器。在本申请实施例中,为了使步骤502中训练完成的声学模型和训练完成的声码器更加匹配,训练完成的声学模型和训练完成的声码器可以是相同语速类型的声学模型和声码器。例如,步骤502中训练完成的声学模型为正常语速的声学模型,训练完成的声学模型为正常语速的声学模型。或者,步骤502中训练完成的声学模型为慢语速的声学模型,训练完成的声码器为慢语速的声码器。或者,步骤502中训练完成的声学模型为快语速的声学模型,训练完成的声码器为快语速的声码器。
其中,得到正常语速的声码器的步骤包括:第一步,按照步骤203中获取初步训练的声码器的步骤,基于正常语速的样本音频的时域数据和频域数据对初始声码器进行训练,得到初步训练且语速为正常语速的声码器。第二步,再按照实施例1提供的训练声码器的方法,基于正常语速的样本音频的时域数据对初步训练且语速为正常语速的声码器进行训练,得到正常语速的声码器。
第一步使用的正常语速的样本音频和第二步使用的正常语速的样本音频可以是相同的样本音频,也可以是不同的样本音频。
同理,得到慢语速的声码器或者快语速的声码器的方法与得到正常语速的声码器的方法类似,此处不再赘述。
可选的,训练完成的声学模型和训练完成的声码器设置在用户终端中。当用户终端需要播放目标文本的音频时,可以基于本申请实施例提供的方法获取目标文本对应的目标时域数据,并在获得目标文本的目标时域数据之后,基于目标时域数据,播放目标文本的音频。
需要说明的是,训练完成的声学模型和训练完成的声码器预先存储在服务器中,当服务器接收到终端的合成声音请求时,将训练完成的声学模型和训练完成的声码器发送给用户终端,进而在用户终端中合成目标文本对应的时域数据。
可选的,训练完成的声学模型和训练完成的声码器设置在服务器中。当用户终端需要播放目标文本的音频时,用户终端向服务器发送音频获取请求,该音频获取请求中携带有目标文本。服务器接收到用户终端发送的音频获取请求后,获取音频获取请求中的目标文本,并基于本申请实施例提供的方法获取目标文本对应的目标时域数据,并将目标时域数据发送给用户终端,进而在用户终端上播放目标文本对应的音频。
图6是本申请实施例提供的一种训练声码器装置的结构示意图,参见图6,该装置包括:
获取模块610,被配置为获取样本音频的时域数据作为基准时域数据;
第一输入模块620,被配置为确定所述基准时域数据对应的第一频谱数据,将所述第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据;
第二输入模块630,被配置为将所述第二频谱数据输入声码器,得到预测时域数据;
第一训练模块640,被配置为基于所述预测时域数据和所述基准时域数据,对所述声码器进行训练。
可选的,所述装置还包括使用模块,所述使用模块被配置为:
获取目标文本对应的音素序列和停顿信息,所述停顿信息包括停顿位置和停顿时长;
将所述音素序列和所述停顿信息输入训练完成的声学模型,得到第三频谱数据;
将所述第三频谱数据输入训练完成的声码器,得到所述目标文本对应的目标时域数据。
可选的,所述使用模块,被配置为:
将所述目标文本输入音素转换模型,得到所述目标文本对应的音素序列;
将所述目标文本输入停顿预测模型,得到所述目标文本对应的停顿信息。
可选的,所述使用模块,被配置为:
将所述音素序列和所述停顿信息输入所述训练完成的声学模型中的频谱预测模块,得到第四频谱数据;
将所述第四频谱数据输入所述训练完成的声学模型中的自注意学习模块,得到所述第三频谱数据。
可选的,所述装置还包括第二训练模块,所述第二训练模块被配置为:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本;
基于所述第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型。
可选的,所述第二训练模块,被配置为:
获取所述第一样本音频对应的频谱数据,作为基准频谱数据;
确定所述第一样本文本对应的样本音素序列和样本停顿信息,所述样本停顿信息包括样本停顿位置和样本停顿时长;
将所述样本音素序列和所述样本停顿信息输入声学模型,得到预测频谱数据;
基于所述基准频谱数据和所述预测频谱数据,对所述声学模型进行训练,得到训练完成的声学模型。
可选的,第二训练模块还被配置为:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本,和语速在所述预设数值范围外的第二样本音频以及所述第二样本音频对应的第二样本文本;
基于所述第二样本文本以及对应的第二样本音频,对声学模型进行训练,得到初步训练的声学模型;
基于所述第一样本文本以及对应的第一样本音频,对所述初步训练的声学模型进行训练,得到训练完成的声学模型。
可选的,所述第二训练模块,被配置为:
对于每个样本音频,确定所述样本音频对应的第一时长、所述样本音频中的噪声音频段对应的第二时长和所述样本音频中静音音频段的第三时长,确定所述第二时长与所述第三时长的和,得到所述和与所述第一时长的差值,作为所述样本音频对应的有效时长;确定所述样本音频对应的文本,并确定去除标点标点符号的文本所包括的字数,作为所述样本音频所包含的有效字数;确定所述音频对应的有效字数和对应的有效时长的比值,作为所述样本音频对应的语速。
需要说明的是:上述实施例提供的训练声码器装置在训练声码器时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的训练声码器装置与训练声码器方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图7示出了本申请一个示例性实施例提供的终端700的结构框图。该终端700可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端700包括有:处理器701和存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器701所执行以实现本申请中方法实施例提供的训练声码器方法。
在一些实施例中,终端700还可选包括有:***设备接口703和至少一个***设备。处理器701、存储器702和***设备接口703之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口703相连。具体地,***设备包括:射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
***设备接口703可被用于将I/O(Input/Output,输入/得到)相关的至少一个***设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和***设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和***设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置在终端700的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端700的不同表面或呈折叠设计;在另一些实施例中,显示屏705可以是柔性显示屏,设置在终端700的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时,可以检测用户对终端700的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时,由处理器701根据用户对显示屏705的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置在终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时,指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器715采集的环境光强度,控制显示屏705的显示亮度。具体地,当环境光强度较高时,调高显示屏705的显示亮度;当环境光强度较低时,调低显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。
接近传感器716,也称距离传感器,通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时,由处理器701控制显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时,由处理器701控制显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图7中示出的结构并不构成对终端700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例提供的计算机设备可提供为一种服务器。图8是本申请实施例提供的一种服务器的结构示意图,该服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)801和一个或一个以上的存储器802,其中,该存储器802中存储有至少一条程序代码,该至少一条程序代码由该处理器801加载并执行以实现上述各个方法实施例提供的训练声码器方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入得到接口等部件,以便进行输入得到,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由终端或服务器中的处理器执行以完成上述实施例中的训练声码器方法。例如,所述计算机可读存储介质可以是只读内存(read-only memory,ROM)、随机存取存储器(random access memory),RAM)、只读光盘(compact-disc read-only memory)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种训练声码器方法,其特征在于,所述方法包括:
获取样本音频的时域数据作为基准时域数据;
确定所述基准时域数据对应的第一频谱数据,将所述第一频谱数据输入训练完成的声学模型中的自注意学习模块,得到第二频谱数据;
将所述第二频谱数据输入声码器,得到预测时域数据;
基于所述预测时域数据和所述基准时域数据,对所述声码器进行训练。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本;
基于所述第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第一样本文本以及对应的第一样本音频,对声学模型进行训练,得到训练完成的声学模型,包括:
获取所述第一样本音频对应的频谱数据,作为基准频谱数据;
确定所述第一样本文本对应的样本音素序列和样本停顿信息,所述样本停顿信息包括样本停顿位置和样本停顿时长;
将所述样本音素序列和所述样本停顿信息输入声学模型,得到预测频谱数据;
基于所述基准频谱数据和所述预测频谱数据,对所述声学模型进行训练,得到训练完成的声学模型。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定样本库中每个样本音频的语速,其中,所述样本库中存储有多个样本音频以及所述多个样本音频分别对应的样本文本;
确定语速在预设数值范围内的第一样本音频以及所述第一样本音频对应的第一样本文本,和语速在所述预设数值范围外的第二样本音频以及所述第二样本音频对应的第二样本文本;
基于所述第二样本文本以及对应的第二样本音频,对声学模型进行训练,得到初步训练的声学模型;
基于所述第一样本文本以及对应的第一样本音频,对所述初步训练的声学模型进行训练,得到训练完成的声学模型。
5.根据权利要求2或4所述的方法,其特征在于,所述确定样本库中每个样本音频的语速,包括:
对于每个样本音频,确定所述样本音频对应的第一时长、所述样本音频中的噪声音频段对应的第二时长和所述样本音频中静音音频段的第三时长,确定所述第二时长与所述第三时长的和,得到所述和与所述第一时长的差值,作为所述样本音频对应的有效时长;确定所述样本音频对应的文本,并确定去除标点符号的文本所包括的字数,作为所述样本音频所包含的有效字数;确定所述音频对应的有效字数和对应的有效时长的比值,作为所述样本音频对应的语速。
6.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至权利要求5任一项所述的训练声码器方法所执行的操作。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的训练声码器方法所执行的操作。
8.一种合成声音的方法,其特征在于,所述方法还包括:
获取目标文本对应的音素序列和停顿信息,所述停顿信息包括停顿位置和停顿时长;
将所述音素序列和所述停顿信息输入训练完成的声学模型,得到第三频谱数据;
将所述第三频谱数据输入训练完成的声码器,得到所述目标文本对应的目标时域数据,其中,所述声码器使用如权利要求1-5任一项所述的训练声码器方法训练得到。
9.根据权利要求8所述的方法,其特征在于,所述获取目标文本对应的音素序列和停顿信息,包括:
将所述目标文本输入音素转换模型,得到所述目标文本对应的音素序列;
将所述目标文本输入停顿预测模型,得到所述目标文本对应的停顿信息。
10.根据权利要求8所述的方法,其特征在于,所述将所述音素序列和所述停顿信息输入训练完成的声学模型,得到第三频谱数据,包括:
将所述音素序列和所述停顿信息输入所述训练完成的声学模型中的频谱预测模块,得到第四频谱数据;
将所述第四频谱数据输入所述训练完成的声学模型中的自注意学习模块,得到所述第三频谱数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110615714.3A CN113362836B (zh) | 2021-06-02 | 2021-06-02 | 训练声码器方法、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110615714.3A CN113362836B (zh) | 2021-06-02 | 2021-06-02 | 训练声码器方法、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113362836A CN113362836A (zh) | 2021-09-07 |
CN113362836B true CN113362836B (zh) | 2024-06-11 |
Family
ID=77531652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110615714.3A Active CN113362836B (zh) | 2021-06-02 | 2021-06-02 | 训练声码器方法、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113362836B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115188365B (zh) * | 2022-09-09 | 2022-12-27 | 中邮消费金融有限公司 | 一种停顿预测方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111247585A (zh) * | 2019-12-27 | 2020-06-05 | 深圳市优必选科技股份有限公司 | 语音转换方法、装置、设备及存储介质 |
CN111489734A (zh) * | 2020-04-03 | 2020-08-04 | 支付宝(杭州)信息技术有限公司 | 基于多说话人的模型训练方法以及装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6733644B2 (ja) * | 2017-11-29 | 2020-08-05 | ヤマハ株式会社 | 音声合成方法、音声合成システムおよびプログラム |
CN108172224B (zh) * | 2017-12-19 | 2019-08-27 | 浙江大学 | 基于机器学习的防御无声指令控制语音助手的方法 |
CN111667816B (zh) * | 2020-06-15 | 2024-01-23 | 北京百度网讯科技有限公司 | 模型训练方法、语音合成方法、装置、设备和存储介质 |
CN112037760B (zh) * | 2020-08-24 | 2022-01-07 | 北京百度网讯科技有限公司 | 语音频谱生成模型的训练方法、装置及电子设备 |
CN112037757B (zh) * | 2020-09-04 | 2024-03-15 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种歌声合成方法、设备及计算机可读存储介质 |
CN112735389A (zh) * | 2020-12-29 | 2021-04-30 | 平安科技(深圳)有限公司 | 基于深度学习的语音训练方法、装置、设备以及存储介质 |
CN112802450B (zh) * | 2021-01-05 | 2022-11-18 | 杭州一知智能科技有限公司 | 一种韵律可控的中英文混合的语音合成方法及其*** |
-
2021
- 2021-06-02 CN CN202110615714.3A patent/CN113362836B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111247585A (zh) * | 2019-12-27 | 2020-06-05 | 深圳市优必选科技股份有限公司 | 语音转换方法、装置、设备及存储介质 |
CN111489734A (zh) * | 2020-04-03 | 2020-08-04 | 支付宝(杭州)信息技术有限公司 | 基于多说话人的模型训练方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113362836A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110933330A (zh) | 视频配音方法、装置、计算机设备及计算机可读存储介质 | |
CN111524501B (zh) | 语音播放方法、装置、计算机设备及计算机可读存储介质 | |
CN111696532B (zh) | 语音识别方法、装置、电子设备以及存储介质 | |
CN110956971B (zh) | 音频处理方法、装置、终端及存储介质 | |
CN110931048B (zh) | 语音端点检测方法、装置、计算机设备及存储介质 | |
CN111445901B (zh) | 音频数据获取方法、装置、电子设备及存储介质 | |
CN111105788B (zh) | 敏感词分数检测方法、装置、电子设备及存储介质 | |
CN112735429B (zh) | 确定歌词时间戳信息的方法和声学模型的训练方法 | |
CN111276122B (zh) | 音频生成方法及装置、存储介质 | |
CN111613213B (zh) | 音频分类的方法、装置、设备以及存储介质 | |
CN111081277B (zh) | 音频测评的方法、装置、设备及存储介质 | |
CN114299933A (zh) | 语音识别模型训练方法、装置、设备、存储介质及产品 | |
CN111428079B (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
CN111681655A (zh) | 语音控制方法、装置、电子设备及存储介质 | |
CN110600034B (zh) | 歌声生成方法、装置、设备及存储介质 | |
CN110867194B (zh) | 音频的评分方法、装置、设备及存储介质 | |
CN111223475B (zh) | 语音数据生成方法、装置、电子设备及存储介质 | |
CN112614507B (zh) | 检测噪声的方法和装置 | |
CN112086102B (zh) | 扩展音频频带的方法、装置、设备以及存储介质 | |
CN113362836B (zh) | 训练声码器方法、终端及存储介质 | |
CN110337030B (zh) | 视频播放方法、装置、终端和计算机可读存储介质 | |
CN108831423B (zh) | 提取音频数据中主旋律音轨的方法、装置、终端及存储介质 | |
CN113744736B (zh) | 命令词识别方法、装置、电子设备及存储介质 | |
CN113724739B (zh) | 检索音频和训练声学模型的方法、终端及存储介质 | |
CN114360494A (zh) | 韵律标注方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |