CN113744714B - 语音合成方法、装置、计算机设备及存储介质 - Google Patents

语音合成方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113744714B
CN113744714B CN202111136538.1A CN202111136538A CN113744714B CN 113744714 B CN113744714 B CN 113744714B CN 202111136538 A CN202111136538 A CN 202111136538A CN 113744714 B CN113744714 B CN 113744714B
Authority
CN
China
Prior art keywords
sample data
audio
mel
gan
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111136538.1A
Other languages
English (en)
Other versions
CN113744714A (zh
Inventor
黄元忠
魏静
卢庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Muyu Technology Co ltd
Original Assignee
Shenzhen Muyu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Muyu Technology Co ltd filed Critical Shenzhen Muyu Technology Co ltd
Priority to CN202111136538.1A priority Critical patent/CN113744714B/zh
Publication of CN113744714A publication Critical patent/CN113744714A/zh
Application granted granted Critical
Publication of CN113744714B publication Critical patent/CN113744714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了语音合成方法、装置、计算机设备及存储介质。所述方法包括：获取待合成文本文件；将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；将所述梅尔频谱输入至基于静态离散小波变换改进的Mel‑GAN声码器内进行语音合成，以得到语音音频。通过实施本发明实施例的方法可实现快速且有效地提高整个生成波形的最终表现，提升语音合成音频的音质。

Description

语音合成方法、装置、计算机设备及存储介质
技术领域
本发明涉及语音合成方法，更具体地说是指语音合成方法、装置、计算机设备及存储介质。
背景技术
目前，尽管近年来随着语音合成技术的高速发展，基于GAN(生成式对抗网络，Generative Adversarial Networks)的神经网络声码器研究得取得极大的进展，提升了合成音频的音质。基于神经网络的语音合成能够实时合成类似人类自然发音的音频。但是在频率空间中，生成音频和真实音频仍存在差距，从而导致合成音频出现噪声，降低合成音频的音质。
因此，有必要设计一种新的方法，实现快速且有效地提高整个生成波形的最终表现，提升语音合成音频的音质。
发明内容
本发明的目的在于克服现有技术的缺陷，提供语音合成方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：语音合成方法，包括：
获取待合成文本文件；
将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；
将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
其进一步技术方案为：所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的。
其进一步技术方案为：所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的；且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样。
其进一步技术方案为：所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的，包括：
获取文本样本数据以及对应的音频样本数据；
对所述文本样本数据进行正则化处理，以得到标准格式文本；
对所述音频样本数据进行去噪和降噪处理，以得到处理后的音频数据；
将标准格式文本以及处理后的音频数据对齐，以得到待训练数据；
构建深度学习网络；
利用待训练数据对所述深度学习网络进行训练，以确定声谱预测网络。
其进一步技术方案为：所述GAN模型采用多尺度鉴别器，多个鉴别器在不同的音频分辨率上运行。
其进一步技术方案为：所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的，包括：
带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
本发明还提供了语音合成装置，包括：
文件获取单元，用于获取待合成文本文件；
声学特征提取单元，用于将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；
语音合成单元，用于将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
其进一步技术方案为：还包括：
预测网络生成单元，用于通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到，以得到声谱预测网络。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取待合成文本文件，借助声谱预测网络提取声学特征，并将提取的内容输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，静态离散小波变换能够更加完整的提取信号在频域的信息，避免丢失高频细节部分，所有能够有效地提升生成音频的质量，实现快速且有效地提高整个生成波形的最终表现，提升语音合成音频的音质。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的语音合成方法的应用场景示意图；
图2为本发明实施例提供的语音合成方法的流程示意图；
图3为本发明实施例提供的语音合成方法的子流程示意图；
图4为本发明实施例提供的语音合成装置的示意性框图；
图5为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的语音合成方法的应用场景示意图。图2为本发明实施例提供的语音合成方法的示意性流程图。该语音合成方法应用于服务器中，通过服务器从终端获取待合成文本文件，对待合成文本文件输入至声谱预测网络进行梅尔频谱提取，并将提取的梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
图2是本发明实施例提供的语音合成方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。
S110、获取待合成文本文件。
在本实施例中，待合成文本文件是指待合成的文本字符。
S120、将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱。
在本实施例中，梅尔频谱是指待合成文本文件对应的声学特征。
具体地，所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S126。
S121、获取文本样本数据以及对应的音频样本数据。
在本实施例中，文本样本数据是指带有文本格式的数据，音频样本数据是指音频内容。
S122、对所述文本样本数据进行正则化处理，以得到标准格式文本。
在本实施例中，标准格式文本是指格式符合要求的文本内容。
将收集的文本样本数据经过多次正则化处理；具体地，在中文/英文文本中，将特殊的符号，例如书名号、罗马数字、美元符号$、英镑符号￡、人民币符号$等，替换成对应的汉字/单词形式；并将序号和***数字替换成对应的中文或者英文单词；去除无意义的特殊符号，最后，对于中文汉字文本，转成拼音形式文本，由此形成标准格式文本。
S123、对所述音频样本数据进行去噪和降噪处理，以得到处理后的音频数据。
在本实施例中，对音频样本数据进行去噪和降噪处理，去除无意义的音频；获得高音质、低噪声、清晰的音频数据用于声谱预测网络的训练。
S124、将标准格式文本以及处理后的音频数据对齐，以得到待训练数据。
在本实施例中，待训练数据是指标准格式文本以及处理后的音频数据对齐后形成的数据。
S125、构建深度学习网络；
S126、利用待训练数据对所述深度学习网络进行训练，以确定声谱预测网络。
具体地，将标准格式文本以及处理后的音频数据进行对齐，输入语音合成的声谱预测网络中，生成音频对应的梅尔频谱；将标准格式文本以及处理后的音频数据进行一一对应，每条音频对应唯一一条相应的文本。音频和文本数据输入到语音合成的声谱预测网络中，提取音频的声学特征，对文本进行编码，训练声谱预测网络，得到模型的权重参数，输出对应的声学特征，即梅尔频谱。
S130、将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
在本实施例中，语音音频是指由待合成文本文件形成的语音内容。
具体地，所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的；且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样。
具体地，所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的，包括：
带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
由于一维静态离散小波变换可以有效地将信号分解为低频和高频部分，信号的下采样过程中既保留信号的低频包络信息又保留高频细节信息，不同尺度上的多个鉴别器可以捕获音频在不同级别上具有细粒度结构，每个鉴别器学习不同音频频率范围的特征，多尺度鉴别器共享相同的网络结构，在频域中对不同的音频尺度进行操作。静态离散小波变换能够更加完整的提取信号在频域的信息，避免丢失高频细节部分，所有能够有效地提升生成音频的质量。
训练基于静态离散小波变换改进的Mel-GAN声码器，获取声码器模型的权重参数，以用于语音合成过程中利用梅尔频谱推理生成音频。
Mel-GAN声码器通过训练GAN模型以生成高质量相干波的声码器模型，在语音合成、音乐或翻译以及音乐合成等方面都能达到较好的效果。Mel-GAN声码器是非自回归模型，模型参数少，从频谱推理出波形的速度快。Mel-GAN的生成器是一种非自回归前馈卷积结构，包括生成器和判别器，以梅尔频谱未输入，输出音频的波形；采用多尺度鉴别器，多个鉴别器在不同的音频分辨率上运行，通过跨步平均池化对原始音频进行下采样。但是，平均池化下采样可以获取不同分辨率下的音频频域信息，但是忽略了奈奎斯特采样定理，即：采样频率fs要大于等于信号最高频率的2倍，采样后的信号能完整的保留原始信号的信息。平均池化下采样忽略采样定理导致采样后的信号高频内容被混叠，高频段频谱失真，变得无效，使得生成音频的频率与真实音频存在差异，这种差异会导致噪声，在音频中表现为嘶嘶的噪声或者混响。因此提出基于静态离散小波变换的Mel-GAN声码器，即利用一维静态离散小波变换替代平均池化操作进行下采样，因为一维静态离散小波变换可以有效地将信号分解为低频和高频部分，采样过程中既保留信号的低频包络信息又保留高频细节信息。
训练鉴别器损失定义为： 训练生成器损失定义为：/>其中，x代表输入信号，s代表梅尔频谱，z代表高斯噪声，k代表三个子鉴别器，E代表期望，Dk代表第k个子鉴别器，G代表生成器。
输入信号x通过一维静态离散小波变换得到低频部分和高频部分，主要是通过低通滤波器g和高通滤波器h： 其中，ylow[n]和yhigh[n]分别表示信号经过低通滤波器和高通滤波器后的输出，N代表信号x的长度，k代表静态小波变换的分解级数。由于静态离散小波变换具有双正交特性，可以安全的分解信号的低频和高频部分，在每一级的小波分解之后，所有频率的子带信号都可以通过通道连接传递到卷积层。
鉴别器损失定义为：其中，LD代表鉴别器损失，x和/>分别代表真实音频和生成的音频，/>代表第k级静态离散小波变换，k代表静态小波变换的分解级数，||.||2代表第二范式，Dk代表处于第k级分解级数的鉴别器。
静态离散小波变换能够更加完整的提取信号在频域的信息，避免丢失高频细节部分，所有能够有效地提升生成音频的质量。
整理训练数据，包括文本样本数据以及对应的音频样本数据。首先对音频样本数据进行去重、去噪和降噪，然后将音频剪辑成每条大约8秒左右的音频。将文本样本数据进行并整理和拆分，在中文/英文文本中，将特殊的符号，例如书名号、罗马数字、美元符号$、英镑符号￡、人民币符号$等，替换成对应的汉字/单词形式；并将序号和***数字替换成对应的中文或者英文单词；去除无意义的特殊符号，最后，对于中文汉字文本，转成拼音形式文本。
将剪辑后纯净的带有梅尔频谱的音频样本数据，输入到基于静态离散小波变换改进的Mel-GAN声码器模型进行训练，获取训练后的声码器模型权重参数，以用于语音合成过程中利用mel频谱推理生成音频，增加梅尔频谱损失以提高生成器的训练效率和生成音频的保真度，在不降低模型训练和推理速度的前提下，降低生成音频和真实音频之间的差距，保留更多的采样信息，极大提升语音生成的质量。
上述的语音合成方法，通过获取待合成文本文件，借助声谱预测网络提取声学特征，并将提取的内容输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，静态离散小波变换能够更加完整的提取信号在频域的信息，避免丢失高频细节部分，所有能够有效地提升生成音频的质量，实现快速且有效地提高整个生成波形的最终表现，提升语音合成音频的音质。
图4是本发明实施例提供的一种语音合成装置300的示意性框图。如图4所示，对应于以上语音合成方法，本发明还提供一种语音合成装置300。该语音合成装置300包括用于执行上述语音合成方法的单元，该装置可以被配置于服务器中。具体地，请参阅图4，该语音合成装置300包括文件获取单元301、声学特征提取单元302以及语音合成单元303。
文件获取单元301，用于获取待合成文本文件；声学特征提取单元302，用于将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；语音合成单元303，用于将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
在一实施例中，所述语音合成装置300还包括：预测网络生成单元，用于通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到，以得到声谱预测网络。
在一实施例中，所述语音合成装置300还包括声码器生成单元，用于通过带有梅尔频谱的音频样本数据训练所述GAN模型所得，以得到基于静态离散小波变换改进的Mel-GAN声码器，且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样。
在一实施例中，声码器生成单元，用于带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
在一实施例中，所述预测网络生成单元包括数据获取子单元、正则化子单元、降噪子单元、对齐子单元、构建子单元以及训练子单元。
数据获取子单元，用于获取文本样本数据以及对应的音频样本数据；正则化子单元，用于对所述文本样本数据进行正则化处理，以得到标准格式文本；降噪子单元，用于对所述音频样本数据进行去噪和降噪处理，以得到处理后的音频数据；对齐子单元，用于将标准格式文本以及处理后的音频数据对齐，以得到待训练数据；构建子单元，用于构建深度学习网络；训练子单元，用于利用待训练数据对所述深度学习网络进行训练，以确定声谱预测网络。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述语音合成装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述语音合成装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5，图5是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图5，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种语音合成方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种语音合成方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待合成文本文件；将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
其中，所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的。
所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的；且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样。
所述GAN模型采用多尺度鉴别器，多个鉴别器在不同的音频分辨率上运行。
在一实施例中，处理器502在实现所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的步骤时，具体实现如下步骤：
获取文本样本数据以及对应的音频样本数据；对所述文本样本数据进行正则化处理，以得到标准格式文本；对所述音频样本数据进行去噪和降噪处理，以得到处理后的音频数据；将标准格式文本以及处理后的音频数据对齐，以得到待训练数据；构建深度学习网络；利用待训练数据对所述深度学习网络进行训练，以确定声谱预测网络。
在一实施例中，处理器502在实现所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的步骤时，具体实现如下步骤：
带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待合成文本文件；将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频。
其中，所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的。
所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的；且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样。
所述GAN模型采用多尺度鉴别器，多个鉴别器在不同的音频分辨率上运行。
在一实施例中，所述处理器在执行所述计算机程序而实现所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的步骤时，具体实现如下步骤：
获取文本样本数据以及对应的音频样本数据；对所述文本样本数据进行正则化处理，以得到标准格式文本；对所述音频样本数据进行去噪和降噪处理，以得到处理后的音频数据；将标准格式文本以及处理后的音频数据对齐，以得到待训练数据；构建深度学习网络；利用待训练数据对所述深度学习网络进行训练，以确定声谱预测网络。
在一实施例中，所述处理器在执行所述计算机程序而实现所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的步骤时，具体实现如下步骤：
带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.语音合成方法，其特征在于，包括：
获取待合成文本文件；
将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；
将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频；
所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的；且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样；
所述基于静态离散小波变换改进的Mel-GAN声码器是通过带有梅尔频谱的音频样本数据训练GAN模型所得的，包括：
带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
2.根据权利要求1所述的语音合成方法，其特征在于，所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的。
3.根据权利要求2所述的语音合成方法，其特征在于，所述声谱预测网络是通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到的，包括：
获取文本样本数据以及对应的音频样本数据；
对所述文本样本数据进行正则化处理，以得到标准格式文本；
对所述音频样本数据进行去噪和降噪处理，以得到处理后的音频数据；
将标准格式文本以及处理后的音频数据对齐，以得到待训练数据；
构建深度学习网络；
利用待训练数据对所述深度学习网络进行训练，以确定声谱预测网络。
4.根据权利要求1所述的语音合成方法，其特征在于，所述GAN模型采用多尺度鉴别器，多个鉴别器在不同的音频分辨率上运行。
5.语音合成装置，其特征在于，包括：
文件获取单元，用于获取待合成文本文件；
声学特征提取单元，用于将所述待合成文本文件输入至声谱预测网络内进行提取声学特征，以得到梅尔频谱；
语音合成单元，用于将所述梅尔频谱输入至基于静态离散小波变换改进的Mel-GAN声码器内进行语音合成，以得到语音音频；
还包括声码器生成单元，用于通过带有梅尔频谱的音频样本数据训练GAN模型所得，以得到基于静态离散小波变换改进的Mel-GAN声码器，且所述GAN模型利用一维静态离散小波变换对带有梅尔频谱的音频样本数据进行下采样；
声码器生成单元，用于带有梅尔频谱的音频样本数据通过所述GAN模型的一维静态离散小波变换得到多个频率的子带信号，多个频率的子带信号通过所述GAN模型的卷积层进行卷积，以进行语音合成。
6.根据权利要求5所述的语音合成装置，其特征在于，还包括：
预测网络生成单元，用于通过对文本样本数据以及对应的音频样本数据进行预处理后训练深度学习网络得到，以得到声谱预测网络。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至4中任一项所述的方法。
CN202111136538.1A 2021-09-27 2021-09-27 语音合成方法、装置、计算机设备及存储介质 Active CN113744714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111136538.1A CN113744714B (zh) 2021-09-27 2021-09-27 语音合成方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111136538.1A CN113744714B (zh) 2021-09-27 2021-09-27 语音合成方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113744714A CN113744714A (zh) 2021-12-03
CN113744714B true CN113744714B (zh) 2024-04-05

Family

ID=78741401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111136538.1A Active CN113744714B (zh) 2021-09-27 2021-09-27 语音合成方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113744714B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744715A (zh) * 2021-09-27 2021-12-03 深圳市木愚科技有限公司 声码器语音合成方法、装置、计算机设备及存储介质
CN117676185A (zh) * 2023-12-05 2024-03-08 无锡中感微电子股份有限公司 一种音频数据的丢包补偿方法、装置及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5826232A (en) * 1991-06-18 1998-10-20 Sextant Avionique Method for voice analysis and synthesis using wavelets
CN107480471A (zh) * 2017-07-19 2017-12-15 福建师范大学 基于小波变换为特征的序列相似性分析的方法
CN108280416A (zh) * 2018-01-17 2018-07-13 国家***第三海洋研究所 一种小波跨尺度相关滤波的宽带水声信号处理方法
CN109255113A (zh) * 2018-09-04 2019-01-22 郑州信大壹密科技有限公司 智能校对***
CN111402855A (zh) * 2020-03-06 2020-07-10 北京字节跳动网络技术有限公司 语音合成方法、装置、存储介质和电子设备
CN111627418A (zh) * 2020-05-27 2020-09-04 携程计算机技术（上海）有限公司 语音合成模型的训练方法、合成方法、***、设备和介质
CN111968618A (zh) * 2020-08-27 2020-11-20 腾讯科技（深圳）有限公司 语音合成方法、装置
CN112652291A (zh) * 2020-12-15 2021-04-13 携程旅游网络技术（上海）有限公司 基于神经网络的语音合成方法、***、设备及存储介质
CN113053354A (zh) * 2021-03-12 2021-06-29 云知声智能科技股份有限公司 一种提高语音合成效果的方法和设备
CN113112995A (zh) * 2021-05-28 2021-07-13 思必驰科技股份有限公司 词声学特征***、词声学特征***的训练方法及***
CN113362801A (zh) * 2021-06-10 2021-09-07 携程旅游信息技术（上海）有限公司 基于梅尔谱对齐的音频合成方法、***、设备及存储介质
CN113409759A (zh) * 2021-07-07 2021-09-17 浙江工业大学 一种端到端实时语音合成方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5826232A (en) * 1991-06-18 1998-10-20 Sextant Avionique Method for voice analysis and synthesis using wavelets
CN107480471A (zh) * 2017-07-19 2017-12-15 福建师范大学 基于小波变换为特征的序列相似性分析的方法
CN108280416A (zh) * 2018-01-17 2018-07-13 国家***第三海洋研究所 一种小波跨尺度相关滤波的宽带水声信号处理方法
CN109255113A (zh) * 2018-09-04 2019-01-22 郑州信大壹密科技有限公司 智能校对***
CN111402855A (zh) * 2020-03-06 2020-07-10 北京字节跳动网络技术有限公司 语音合成方法、装置、存储介质和电子设备
CN111627418A (zh) * 2020-05-27 2020-09-04 携程计算机技术（上海）有限公司 语音合成模型的训练方法、合成方法、***、设备和介质
CN111968618A (zh) * 2020-08-27 2020-11-20 腾讯科技（深圳）有限公司 语音合成方法、装置
CN112652291A (zh) * 2020-12-15 2021-04-13 携程旅游网络技术（上海）有限公司 基于神经网络的语音合成方法、***、设备及存储介质
CN113053354A (zh) * 2021-03-12 2021-06-29 云知声智能科技股份有限公司 一种提高语音合成效果的方法和设备
CN113112995A (zh) * 2021-05-28 2021-07-13 思必驰科技股份有限公司 词声学特征***、词声学特征***的训练方法及***
CN113362801A (zh) * 2021-06-10 2021-09-07 携程旅游信息技术（上海）有限公司 基于梅尔谱对齐的音频合成方法、***、设备及存储介质
CN113409759A (zh) * 2021-07-07 2021-09-17 浙江工业大学 一种端到端实时语音合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小波变换在基于动物叫声的物种识别***中的应用;苏健民;《自动化技术与应用》;第27卷(第8期);第77-80页 *

Also Published As

Publication number Publication date
CN113744714A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US10580430B2 (en) Noise reduction using machine learning
CN113744714B (zh) 语音合成方法、装置、计算机设备及存储介质
CN110598166A (zh) 一种自适应确定小波分层级数的小波去噪方法
CN111508518B (zh) 一种基于联合字典学习和稀疏表示的单通道语音增强方法
CN113094993B (zh) 基于自编码神经网络的调制信号去噪方法
CN112735460B (zh) 基于时频掩蔽值估计的波束成形方法及***
Zhang et al. Birdsoundsdenoising: Deep visual audio denoising for bird sounds
CN113782044B (zh) 一种语音增强方法及装置
CN113744715A (zh) 声码器语音合成方法、装置、计算机设备及存储介质
Do et al. Speech Separation in the Frequency Domain with Autoencoder.
Bae et al. On enhancement signal using non-uniform sampling in clipped signals for LTE smart phones
Girirajan et al. Real-Time Speech Enhancement Based on Convolutional Recurrent Neural Network.
Li et al. Deeplabv3+ vision transformer for visual bird sound denoising
CN113593590A (zh) 一种语音中瞬态噪声的抑制方法
Krishnan et al. Features of wavelet packet decomposition and discrete wavelet transform for malayalam speech recognition
CN116705056A (zh) 音频生成方法、声码器、电子设备及存储介质
CN117037824A (zh) 一种声学场景分类的数据增强方法及***
CN115440240A (zh) 语音降噪的训练方法、语音降噪***及语音降噪方法
CN115762540A (zh) 多维度的rnn的语音降噪方法、装置、设备及介质
CN115691535A (zh) 基于rnn的高信噪比语音降噪方法、装置、设备及介质
Ullah et al. Semi-supervised transient noise suppression using OMLSA and SNMF algorithms
Yang et al. A speech enhancement algorithm combining spectral subtraction and wavelet transform
CN113948088A (zh) 基于波形模拟的语音识别方法及装置
CN110070874B (zh) 一种针对声纹识别的语音降噪方法及装置
Kar et al. Convolutional Neural Network for Removal of Environmental Noises from Acoustic Signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant