CN114842860A - 基于量化编码的语音转换方法、装置、设备及存储介质 - Google Patents

基于量化编码的语音转换方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114842860A
CN114842860A CN202210524679.9A CN202210524679A CN114842860A CN 114842860 A CN114842860 A CN 114842860A CN 202210524679 A CN202210524679 A CN 202210524679A CN 114842860 A CN114842860 A CN 114842860A
Authority
CN
China
Prior art keywords
feature
vector
conversion model
content
identity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210524679.9A
Other languages
English (en)
Inventor
孙奥兰
王健宗
程宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210524679.9A priority Critical patent/CN114842860A/zh
Publication of CN114842860A publication Critical patent/CN114842860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请公开了一种基于量化编码的语音转换方法、装置、设备及存储介质，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量和特征向量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请还涉及区块链技术领域，上述的语音数据可以存储在区块链网络中。本申请通过对内容特征向量进行矢量量化实现非并行的语音转换处理，提高了语音转换的准确度。

Description

基于量化编码的语音转换方法、装置、设备及存储介质
技术领域
本申请属于人工智能技术领域，具体涉及一种基于量化编码的语音转换方法、装置、设备及存储介质。
背景技术
语音转换(Voice conversion，VC)就是将源说话人的语音转变为目标说话人的语音，但是转换过程中，说话内容不能改变，为了模仿目标说话者，VC***通过修改源说话者的语气、口音和发声等信息来实现语音转换。
传统上，VC***侧重于使用并行数据进行一对一或多对一的语音转换，并将其视为统计问题，然而，上述方法需要用到大量的并行数据，即收集大量源说话人的语音数据和目标说话人的语音数据，且要求源说话人的语音数据和目标说话人的语音数据完全一致，而这样的并行数据难以收集有许多学者尝试在非并行数据的基础上实现VC任务，例如，目前比较热门的深度风格转移算法、生成对抗网络(GAN)和条件变分自动编码器(CVAE)等等，但目前非并行的VC任务处理方式也存在的一定的问题，即在训练阶段倾向于忽略不同语音表示之间的相关性，从而导致语音转换时出现跳字、漏字、重复等转换错误的情况，语音转换的准确度不高，因此会降低VC***性能。
发明内容
本申请实施例的目的在于提出一种基于量化编码的语音转换方法、装置、计算机设备及存储介质，以解决现有语音转换方案存在的容易出现跳字、漏字、重复等转换错误的情况，导致语音转换的准确度不高的技术问题。
为了解决上述技术问题，本申请实施例提供一种基于量化编码的语音转换方法，采用了如下所述的技术方案：
一种基于量化编码的语音转换方法，包括：
获取第一语音数据，并对第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征；
将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型，其中，语音转换模型包括编码器、特征映射器和解码器；
通过编码器分别对第一内容特征、第一身份特征和第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量；
对第一内容特征向量进行矢量量化，得到第一矢量向量；
在特征映射器中对第一矢量向量、第一身份特征向量和第一声学特征向量进行特征映射，生成第一梅尔谱图；
通过解码器对第一梅尔谱图进行解码，得到第二语音数据。
进一步地，对第一内容特征向量进行矢量量化，得到第一矢量向量的步骤，具体包括：
对第一内容特征向量进行划分，得到第一标量数据；
对第一标量数据进行组合，得到第一初始矢量向量；
将第一初始矢量向量映射到矢量空间，生成第一矢量向量。
进一步地，在将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型的步骤之前，还包括：
获取第三语音数据，并对第三语音数据进行特征提取，得到第三内容特征、第三身份特征和第三声学特征；
将第三内容特征、第三身份特征和第三声学特征分别导入初始转换模型，其中，初始转换模型包括编码层、特征映射层和解码层；
通过编码层分别对第三内容特征、第三身份特征和第三声学特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量；
对第三内容特征向量进行矢量量化，得到第二矢量向量；
在特征映射层中对第二矢量向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第二梅尔谱图；
基于第二梅尔谱图对初始转换模型进行迭代更新，得到训练好的语音转换模型。
进一步地，基于第二梅尔谱图对初始转换模型进行迭代更新，得到训练好的语音转换模型的步骤，具体包括：
搭建初始转换模型的损失函数；
基于损失函数和第二梅尔谱图计算初始转换模型的损失值；
基于损失值，利用反向传播算法对初始转换模型进行迭代更新，得到训练好的语音转换模型。
进一步地，基于损失函数和第二梅尔谱图计算初始转换模型的损失值的步骤，具体包括：
在特征映射层中对第三内容特征向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第三梅尔谱图；
基于损失函数计算第二梅尔谱图和第三梅尔谱图之间的损失误差，得到初始转换模型的损失值。
进一步地，基于损失值，利用反向传播算法对初始转换模型进行迭代更新，得到训练好的语音转换模型的步骤，具体包括：
比对损失值和预设损失阈值的大小；
当损失值大于预设损失阈值时，通过反向传播算法对初始转换模型进行迭代更新，直至损失值小于或等于预设损失阈值为止，得到训练好的语音转换模型。
进一步地，对第三内容特征向量进行矢量量化，得到第二矢量向量的步骤，具体包括：
对第二内容特征向量进行划分，得到第二标量数据；
对第二标量数据进行组合，得到第二初始矢量向量；
将第二初始矢量向量映射到矢量空间，生成第二矢量向量。
为了解决上述技术问题，本申请实施例还提供一种基于量化编码的语音转换装置，采用了如下所述的技术方案：
一种基于量化编码的语音转换装置，包括：
第一特征提取模块，用于获取第一语音数据，并对第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征；
第一特征导入模块，用于将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型，其中，语音转换模型包括编码器、特征映射器和解码器；
第一特征编码模块，用于通过编码器分别对第一内容特征、第一身份特征和第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量；
第一矢量量化模块，用于对第一内容特征向量进行矢量量化，得到第一矢量向量；
第一特征映射模块，用于在特征映射器中对第一矢量向量、第一身份特征向量和第一声学特征向量进行特征映射，生成第一梅尔谱图；
图谱解码模块，用于通过解码器对第一梅尔谱图进行解码，得到第二语音数据。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述任一项所述的基于量化编码的语音转换方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述中任一项所述的基于量化编码的语音转换方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请公开了一种基于量化编码的语音转换方法、装置、设备及存储介质，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量、第一身份特征向量和第一声学特征向量量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请通过对编码生成的内容特征向量进行矢量量化，实现非并行的语音转换处理，在保证了不同语音表示之间的相关性，减少语音转换时出现跳字、漏字、重复等情况，提高了语音转换的准确度。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请可以应用于其中的示例性***架构图；
图2示出了根据本申请的基于量化编码的语音转换方法的一个实施例的流程图；
图3示出了根据本申请的基于量化编码的语音转换装置的一个实施例的结构示意图；
图4示出了根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请实施例所提供的基于量化编码的语音转换方法一般由服务器执行，相应地，基于量化编码的语音转换装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于量化编码的语音转换方法的一个实施例的流程图。本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。所述的基于量化编码的语音转换方法，包括以下步骤：
S201，获取第一语音数据，并对第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征。
具体的，第一语音数据为源说话人的语音，服务器在接收到语音转化指令后，通过获取第一语音数据，并对第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征，其中，第一内容特征表示语音内容，第一身份特征表示源说话人的身份，第一声学特征表示语音中的声音参数，比如语调、语速等等。
在上述实施例中，通过对第一语音数据分别进行特征提取，得到第一语音数据中对的第一内容特征、第一身份特征和第一声学特征，方便后续针对不同的特征进行特定处理操作，例如，对第一内容特征进行矢量量化处理。
在本实施例中，基于量化编码的语音转换方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收到语音转化指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
S202，将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型，其中，语音转换模型包括编码器、特征映射器和解码器。
具体的，服务器将将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型，其中，语音转换模型包括编码器、特征映射器和解码器，编码器用于对输入特征进行编码，得到特征向量，在经过特征映射器将特征向量映射到特定空间，以形成梅尔谱图，截取梅尔谱图，并将梅尔谱图放入解码器进行声码转换，就可以将语音还原出来。
需要说明的是，编码器可以由LSTM网络堆叠而成或者LSTM层和全连接层组合而成，解码器与编码器的结构相反，特征映射器包括注意力层和映射层，特征映射器的注意力层用于对输入的特征向量进行归类，映射层将归类后的特征向量映射到特定空间。可以理解的是，编码器、解码器和特征映射器也可以由其他的卷积神经网络、循环卷积神经网络等组成，本实施例不做具体限定。
S203，通过编码器分别对第一内容特征、第一身份特征和第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量。
具体的，本申请具体实施例中的编码器至少包括三个组成部分，分别为内容编码单元、身份编码单元和声学编码单元，内容编码单元用于对内容特征进行编码，身份编码单元用于对身份特征进行编码，声学编码单元对声学特征进行编码。服务器通过内容编码单元对第一内容特征进行编码，得到第一内容特征向量，通过身份编码单元对第一身份特征进行编码，得到第一身份特征向量，通过声学编码单元对第一声学特征进行编码，得到第一声学特征向量。
S204，对第一内容特征向量进行矢量量化，得到第一矢量向量。
其中，矢量量化(Vector Quantization,VQ)一种数据压缩技术，其基本思想是将若干个标量数据组构成一个矢量，然后在矢量空间给以整体量化，从而压缩了数据而不损失多少信息。矢量量化从N维实空间RN到RN中L个离散矢量的映射，也可称为分组量化，标量量化是矢量量化在维数为1时的特例。矢量量化编码也是在图像、语音信号编码技术中研究得较多的新型量化编码方法，它的出现并不仅仅是作为量化器设计而提出的，更多的是将它作为压缩编码方法来研究的。在传统的预测和变换编码中，首先将信号经某种映射变换变成一个数的序列，然后对其一个一个地进行标量量化编码。而在矢量量化编码中，则是把输入数据几个一组地分成许多组，成组地量化编码，即将这些数看成一个k维矢量，然后以矢量为单位逐个矢量进行量化。
具体的，为了实现非并行的语音转换处理，需要对内容特征向量进行矢量量化。在本申请具体的实施例中，内容编码单元使用包含h-net和g-net两个网络的VQ矢量网络(VQCPC)，通过对内容特征进行编码后，在进行矢量量化操作，力求从语音数据中提取到语言底层的内容信息，提取跨越多个时间步长的局部特征(例如音素)被编码到用于准确重建语言内容的内容表示中，其中，内容编码单元输出为Ek，经过VQ矢量量化后输出为
Figure BDA0003643688800000091
进一步地，对第一内容特征向量进行矢量量化，得到第一矢量向量的步骤，具体包括：
对第一内容特征向量进行划分，得到第一标量数据；
对第一标量数据进行组合，得到第一初始矢量向量；
将第一初始矢量向量映射到矢量空间，生成第一矢量向量。
具体的，服务器基于预设的数据划分原则对第一内容特征向量进行数据划分，得到若干个第一标量数据，然后对第一标量数据进行组合，得到多个k维第一初始矢量向量，将多个k维第一初始矢量向量映射到同一个矢量空间，生成第一矢量向量。
在上述实施例中，通过若干个标量数据组构成k维第一初始矢量向量，然后在矢量空间给以k维第一初始矢量向量整体量化，从而压缩了数据而且不损失多少信息。
S205，在特征映射器中对第一矢量向量、第一身份特征向量和第一声学特征向量进行特征映射，生成第一梅尔谱图。
具体的，特征映射器将第一矢量向量、第一身份特征向量和第一声学特征向量映射到同一特征空间，生成第一梅尔谱图。需要说明的是，在特征空间中对上述特征向量进行特征重构，并在映射完成后形成一个新的梅尔谱图，通过解码梅尔谱图，可以将语音还原。
S206，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。
具体的，通过解码器对第一梅尔谱图进行解码，得到第二语音数据，第二语音数据即目标说话人的语音，至此服务器完成了第一语音数据到第二语音数据的语音转化，即将源说话人的语音转化成了目标说话人的语音。
在上述实施例中，本申请公开了一种基于量化编码的语音转换方法，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量、第一身份特征向量和第一声学特征向量量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请通过对编码生成的内容特征向量进行矢量量化，实现非并行的语音转换处理，在保证了不同语音表示之间的相关性，减少语音转换时出现跳字、漏字、重复等情况，提高了语音转换的准确度。
进一步地，在将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型以完成语音转换的步骤之前，还需要预先训练出语音转换模型，语音转换模型具体通过以下步骤进行训练：
获取第三语音数据，并对第三语音数据进行特征提取，得到第三内容特征、第三身份特征和第三声学特征；
将第三内容特征、第三身份特征和第三声学特征分别导入初始转换模型，其中，初始转换模型包括编码层、特征映射层和解码层；
通过编码层分别对第三内容特征、第三身份特征和第三声学特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量；
对第三内容特征向量进行矢量量化，得到第二矢量向量；
在特征映射层中对第二矢量向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第二梅尔谱图；
基于第二梅尔谱图对初始转换模型进行迭代更新，得到训练好的语音转换模型。
其中，第三语音数据为预先收集的历史语音数据，第三语音数据用于训练语音转换模型。服务器先构建初始转换模型，其中初始转换模可以由卷积神经网络、循环卷积神经网络或者其它机器学习模型组成，本实施例不做具体限定，初始转换模型包括编码层、特征映射层和解码层，它们分别对应语音转换模型的编码器、特征映射器和解码器，服务器通过编码层对第三语音数据的特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量，针对第三内容特征向量进一步进行矢量量化，得到第二矢量向量，通过特征映射层对第二矢量向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第二梅尔谱图，第二梅尔谱图用于判断初始转换模型是否拟合。
进一步地，基于第二梅尔谱图对初始转换模型进行迭代更新，得到训练好的语音转换模型的步骤，具体包括：
搭建初始转换模型的损失函数；
基于损失函数和第二梅尔谱图计算初始转换模型的损失值；
基于损失值，利用反向传播算法对初始转换模型进行迭代更新，得到训练好的语音转换模型。
在本申请具体的实施例中，可以通过余弦相似度来约束内容特征向量、身份特征向量和声学特征向量，以避免训练结果失真。服务器先进行初始转换模型损失函数的搭建，初始转换模型的损失函数包括余弦损失函数、重构损失函数和向量量化损失函数，具体表达式如下：
L＝LVQ+LREC+λLCOS
式中，L为初始转换模型的损失函数，LVQ为内容编码器的向量量化损失函数，LREC为重构损失函数，LCOS余弦损失函数，λ为控制LCOS在损失函数L中的占比权重，其中：
Figure BDA0003643688800000121
式中，K为用于模型训练的语音数据总量，T为任意一条语音数据的帧数，
Figure BDA0003643688800000122
为预测输出值，xt为真实输出值。
Figure BDA0003643688800000123
式中，Ek,t为帧数t的语音数据经过内容编码单元后的输出结果，
Figure BDA0003643688800000124
为Ek再经过VQ矢量量化后输出的输出结果，sg(*)为停止梯度计算符，来停止量化后的
Figure BDA0003643688800000125
的梯度计算。
Figure BDA0003643688800000126
式中，V为矢量向量
Figure BDA0003643688800000127
身份特征向量sk和声学特征向量pk构成的特征向量合集，即
Figure BDA0003643688800000128
a、b为V中任意两个特征向量。
进一步地，基于损失函数和第二梅尔谱图计算初始转换模型的损失值的步骤，具体包括：
在特征映射层中对第三内容特征向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第三梅尔谱图；
基于损失函数计算第二梅尔谱图和第三梅尔谱图之间的损失误差，得到初始转换模型的损失值。
具体的，服务器在进行损失计算前，先在特征映射层中对第三内容特征向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第三语音数据的梅尔谱图，即第三梅尔谱图，基于损失函数计算第二梅尔谱图和第三梅尔谱图之间的损失误差，得到初始转换模型的损失值。
在本申请一种具体的实施例中，假设有K个话语，我们使用梅尔谱图作为声学特征，并从每个话语中随机选择T帧进行模型训练，初始梅尔谱图表示为：
Xk＝Xk,1,Xk,2,...,Xk,T
经过矢量量化并进行特征重构后得到新的梅尔谱图表示为：
Figure BDA0003643688800000131
通过损失函数计算初始梅尔谱图和新的梅尔谱图之间的损失误差，得到初始转换模型的损失值，通过损失值对初始转换模型进行迭代，直至模型拟合，得到训练好的语音转换模型，训练好的语音转换模型可以直接用于语音转换任务。
进一步地，基于损失值，利用反向传播算法对初始转换模型进行迭代更新，得到训练好的语音转换模型的步骤，具体包括：
比对损失值和预设损失阈值的大小；
当损失值大于预设损失阈值时，通过反向传播算法对初始转换模型进行迭代更新，直至损失值小于或等于预设损失阈值为止，得到训练好的语音转换模型。
其中，BP算法(即误差反向传播算法)适合于多层神经元网络的一种学***方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成。误差达到所期望值时，网络学习结束。
具体的，服务器通过比对损失值和预设损失阈值的大小，当损失值大于预设损失阈值时，通过反向传播算法对初始转换模型进行迭代更新，不断调整初始转换模型的网络参数，直至损失值小于或等于预设损失阈值为止，此时初始转换模型趋近拟合，得到训练好的语音转换模型。
进一步地，对第三内容特征向量进行矢量量化，得到第二矢量向量的步骤，具体包括：
对第二内容特征向量进行划分，得到第二标量数据；
对第二标量数据进行组合，得到第二初始矢量向量；
将第二初始矢量向量映射到矢量空间，生成第二矢量向量。
需要说明的是，为了实现非并行的语音转换处理，在进行模型训练时，需要对训练样本的内容向量进行矢量量化。在本申请具体的实施例中，内容编码单元使用包含h-net和g-net两个网络的VQ矢量网络(VQCPC)，通过对内容特征进行编码后，在进行矢量量化操作，力求从语音数据中提取到语言底层的内容信息，提取跨越多个时间步长的局部特征(例如音素)被编码到用于准确重建语言内容的内容表示中，其中，内容编码单元输出为Ek，经过VQ矢量量化后输出为
Figure BDA0003643688800000141
具体的，服务器基于预设的数据划分原则对第二内容特征向量进行数据划分，得到若干个第二标量数据，然后对第二标量数据进行组合，得到多个k维第二初始矢量向量，将多个k维第二初始矢量向量映射到同二个矢量空间，生成第二矢量向量。
在上述实施例中，通过对训练样本的内容特征向量进行数据划分，得到标量数据，在通过标量数据组构成k维初始矢量向量，然后在矢量空间给以k维初始矢量向量整体量化，从而压缩了数据而且不损失多少信息。
在上述实施例中，在语音转换的步骤之前，还需要预先训练出语音转换模型，获取第三语音数据作为训练样本，并对第三语音数据进行特征提取，得到第三内容特征、第三身份特征和第三声学特征，将第三内容特征、第三身份特征和第三声学特征分别导入初始转换模型，其中，初始转换模型包括编码层、特征映射层和解码层，通过编码层分别对第三内容特征、第三身份特征和第三声学特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量，对第三内容特征向量进行矢量量化，得到第二矢量向量，在特征映射层中对第二矢量向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第二梅尔谱图，基于第二梅尔谱图对初始转换模型进行迭代更新，得到训练好的语音转换模型，训练好的语音转换模型可以直接用于非并行的语音转换任务，在保证了不同语音表示之间的相关性，减少语音转换时出现跳字、漏字、重复等情况，提高了语音转换的准确度。
需要强调的是，为进一步保证上述语音数据的私密和安全性，上述语音数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于量化编码的语音转换装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于量化编码的语音转换装置包括：
第一特征提取模块301，用于获取第一语音数据，并对第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征；
第一特征导入模块302，用于将第一内容特征、第一身份特征和第一声学特征分别导入预先训练好的语音转换模型，其中，语音转换模型包括编码器、特征映射器和解码器；
第一特征编码模块303，用于通过编码器分别对第一内容特征、第一身份特征和第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量；
第一矢量量化模块304，用于对第一内容特征向量进行矢量量化，得到第一矢量向量；
第一特征映射模块305，用于在特征映射器中对第一矢量向量、第一身份特征向量和第一声学特征向量进行特征映射，生成第一梅尔谱图；
图谱解码模块306，用于通过解码器对第一梅尔谱图进行解码，得到第二语音数据。
进一步地，第一矢量量化模块304具体包括：
第一向量划分单元，用于对第一内容特征向量进行划分，得到第一标量数据；
第一标量组合单元，用于对第一标量数据进行组合，得到第一初始矢量向量；
第一矢量映射单元，用于将第一初始矢量向量映射到矢量空间，生成第一矢量向量。
进一步地，该基于量化编码的语音转换装置还包括：
第二特征提取模块，用于获取第三语音数据，并对第三语音数据进行特征提取，得到第三内容特征、第三身份特征和第三声学特征；
第二特征导入模块，用于将第三内容特征、第三身份特征和第三声学特征分别导入初始转换模型，其中，初始转换模型包括编码层、特征映射层和解码层；
第二特征编码模块，用于通过编码层分别对第三内容特征、第三身份特征和第三声学特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量；
第二矢量量化模块，用于对第三内容特征向量进行矢量量化，得到第二矢量向量；
第二特征映射模块，用于在特征映射层中对第二矢量向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第二梅尔谱图；
模型迭代模块，用于基于第二梅尔谱图对初始转换模型进行迭代更新，得到训练好的语音转换模型。
进一步地，模型迭代模块具体包括：
损失函数搭建单元，用于搭建初始转换模型的损失函数；
损失计算单元，用于基于损失函数和第二梅尔谱图计算初始转换模型的损失值；
模型迭代单元，用于基于损失值，利用反向传播算法对初始转换模型进行迭代更新，得到训练好的语音转换模型。
进一步地，损失计算单元具体包括：
第三特征映射子单元，用于在特征映射层中对第三内容特征向量、第三身份特征向量和第三声学特征向量进行特征映射，生成第三梅尔谱图；
损失计算子单元，用于基于损失函数计算第二梅尔谱图和第三梅尔谱图之间的损失误差，得到初始转换模型的损失值。
进一步地，模型迭代单元具体包括：
损失比对子单元，用于比对损失值和预设损失阈值的大小；
模型迭代子单元，用于当损失值大于预设损失阈值时，通过反向传播算法对初始转换模型进行迭代更新，直至损失值小于或等于预设损失阈值为止，得到训练好的语音转换模型。
进一步地，第二矢量量化模块具体包括：
第二向量划分单元，用于对第二内容特征向量进行划分，得到第二标量数据；
第二标量组合单元，用于对第二标量数据进行组合，得到第二初始矢量向量；
第二矢量映射单元，用于将第二初始矢量向量映射到矢量空间，生成第二矢量向量。
本申请公开了一种基于量化编码的语音转换装置，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量、第一身份特征向量和第一声学特征向量量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请通过对编码生成的内容特征向量进行矢量量化，实现非并行的语音转换处理，在保证了不同语音表示之间的相关性，减少语音转换时出现跳字、漏字、重复等情况，提高了语音转换的准确度。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如基于量化编码的语音转换方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于量化编码的语音转换方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请公开了一种计算机设备，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量、第一身份特征向量和第一声学特征向量量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请通过对编码生成的内容特征向量进行矢量量化，实现非并行的语音转换处理，在保证了不同语音表示之间的相关性，减少语音转换时出现跳字、漏字、重复等情况，提高了语音转换的准确度。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于量化编码的语音转换方法的步骤。
本申请公开了一种存储介质，属于人工智能技术领域。本申请通过从第一语音数据中提取第一内容特征、第一身份特征和第一声学特征，然后将上述特征分别导入预先训练好的语音转换模型，通过语音转换模型的编码器对上述特征依次进行编码，得到特征向量，对其中的第一内容特征向量进行矢量量化，得到第一矢量向量，并对第一矢量向量、第一身份特征向量和第一声学特征向量量进行特征映射，生成第一梅尔谱图，通过解码器对第一梅尔谱图进行解码，得到第二语音数据。本申请通过对编码生成的内容特征向量进行矢量量化，实现非并行的语音转换处理，在保证了不同语音表示之间的相关性，减少语音转换时出现跳字、漏字、重复等情况，提高了语音转换的准确度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于量化编码的语音转换方法，其特征在于，包括：
获取第一语音数据，并对所述第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征；
将所述第一内容特征、所述第一身份特征和所述第一声学特征分别导入预先训练好的语音转换模型，其中，所述语音转换模型包括编码器、特征映射器和解码器；
通过所述编码器分别对所述第一内容特征、所述第一身份特征和所述第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量；
对所述第一内容特征向量进行矢量量化，得到第一矢量向量；
在所述特征映射器中对所述第一矢量向量、所述第一身份特征向量和所述第一声学特征向量进行特征映射，生成第一梅尔谱图；
通过所述解码器对所述第一梅尔谱图进行解码，得到第二语音数据。
2.如权利要求1所述的基于量化编码的语音转换方法，其特征在于，所述对所述第一内容特征向量进行矢量量化，得到第一矢量向量的步骤，具体包括：
对所述第一内容特征向量进行划分，得到第一标量数据；
对所述第一标量数据进行组合，得到第一初始矢量向量；
将所述第一初始矢量向量映射到矢量空间，生成所述第一矢量向量。
3.如权利要求1所述的基于量化编码的语音转换方法，其特征在于，在所述将所述第一内容特征、所述第一身份特征和所述第一声学特征分别导入预先训练好的语音转换模型的步骤之前，还包括：
获取第三语音数据，并对所述第三语音数据进行特征提取，得到第三内容特征、第三身份特征和第三声学特征；
将所述第三内容特征、所述第三身份特征和所述第三声学特征分别导入初始转换模型，其中，所述初始转换模型包括编码层、特征映射层和解码层；
通过所述编码层分别对所述第三内容特征、所述第三身份特征和所述第三声学特征进行编码，得到第三内容特征向量、第三身份特征向量和第三声学特征向量；
对所述第三内容特征向量进行矢量量化，得到第二矢量向量；
在所述特征映射层中对所述第二矢量向量、所述第三身份特征向量和所述第三声学特征向量进行特征映射，生成第二梅尔谱图；
基于所述第二梅尔谱图对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型。
4.如权利要求3所述的基于量化编码的语音转换方法，其特征在于，所述基于所述第二梅尔谱图对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型的步骤，具体包括：
搭建所述初始转换模型的损失函数；
基于所述损失函数和所述第二梅尔谱图计算所述初始转换模型的损失值；
基于所述损失值，利用反向传播算法对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型。
5.如权利要求4所述的基于量化编码的语音转换方法，其特征在于，基于所述损失函数和所述第二梅尔谱图计算所述初始转换模型的损失值的步骤，具体包括：
在所述特征映射层中对所述第三内容特征向量、所述第三身份特征向量和所述第三声学特征向量进行特征映射，生成第三梅尔谱图；
基于所述损失函数计算所述第二梅尔谱图和第三梅尔谱图之间的损失误差，得到所述初始转换模型的损失值。
6.如权利要求4所述的基于量化编码的语音转换方法，其特征在于，所述基于所述损失值，利用反向传播算法对所述初始转换模型进行迭代更新，得到所述训练好的语音转换模型的步骤，具体包括：
比对所述损失值和预设损失阈值的大小；
当所述损失值大于所述预设损失阈值时，通过所述反向传播算法对所述初始转换模型进行迭代更新，直至所述损失值小于或等于所述预设损失阈值为止，得到所述训练好的语音转换模型。
7.如权利要求3所述的基于量化编码的语音转换方法，其特征在于，所述对所述第三内容特征向量进行矢量量化，得到第二矢量向量的步骤，具体包括：
对所述第二内容特征向量进行划分，得到第二标量数据；
对所述第二标量数据进行组合，得到第二初始矢量向量；
将所述第二初始矢量向量映射到矢量空间，生成所述第二矢量向量。
8.一种基于量化编码的语音转换装置，其特征在于，包括：
第一特征提取模块，用于获取第一语音数据，并对所述第一语音数据进行特征提取，得到第一内容特征、第一身份特征和第一声学特征；
第一特征导入模块，用于将所述第一内容特征、所述第一身份特征和所述第一声学特征分别导入预先训练好的语音转换模型，其中，所述语音转换模型包括编码器、特征映射器和解码器；
第一特征编码模块，用于通过所述编码器分别对所述第一内容特征、所述第一身份特征和所述第一声学特征进行编码，得到第一内容特征向量、第一身份特征向量和第一声学特征向量；
第一矢量量化模块，用于对所述第一内容特征向量进行矢量量化，得到第一矢量向量；
第一特征映射模块，用于在所述特征映射器中对所述第一矢量向量、所述第一身份特征向量和所述第一声学特征向量进行特征映射，生成第一梅尔谱图；
图谱解码模块，用于通过所述解码器对所述第一梅尔谱图进行解码，得到第二语音数据。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于量化编码的语音转换方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于量化编码的语音转换方法的步骤。
CN202210524679.9A 2022-05-13 2022-05-13 基于量化编码的语音转换方法、装置、设备及存储介质 Pending CN114842860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210524679.9A CN114842860A (zh) 2022-05-13 2022-05-13 基于量化编码的语音转换方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210524679.9A CN114842860A (zh) 2022-05-13 2022-05-13 基于量化编码的语音转换方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114842860A true CN114842860A (zh) 2022-08-02

Family

ID=82569441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210524679.9A Pending CN114842860A (zh) 2022-05-13 2022-05-13 基于量化编码的语音转换方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114842860A (zh)

Similar Documents

Publication Publication Date Title
US11482207B2 (en) Waveform generation using end-to-end text-to-waveform system
WO2022007438A1 (zh) 情感语音数据转换方法、装置、计算机设备及存储介质
CN112712813B (zh) 语音处理方法、装置、设备及存储介质
CN112767917B (zh) 语音识别方法、装置及存储介质
CN112967725A (zh) 语音对话数据处理方法、装置、计算机设备及存储介质
WO2022252904A1 (zh) 基于人工智能的音频处理方法、装置、设备、存储介质及计算机程序产品
CN113450765B (zh) 语音合成方法、装置、设备及存储介质
CN111696520A (zh) 智能配音方法、装置、介质及电子设备
CN111767697B (zh) 文本处理方法、装置、计算机设备以及存储介质
CN113035228A (zh) 声学特征提取方法、装置、设备及存储介质
WO2023226260A1 (zh) 语音生成方法及装置、存储介质、电子设备
CN115329876A (zh) 一种设备故障处理方法、装置、计算机设备及存储介质
CN114360502A (zh) 语音识别模型的处理方法、语音识别方法及装置
CN112699213A (zh) 语音意图识别方法、装置、计算机设备及存储介质
CN116737895A (zh) 一种数据处理方法及相关设备
CN115171666A (zh) 语音转换模型训练方法、语音转换方法、装置及介质
CN113782042B (zh) 语音合成方法、声码器的训练方法、装置、设备及介质
CN114091452A (zh) 一种基于适配器的迁移学习方法、装置、设备及存储介质
CN114328898A (zh) 文本摘要生成方法及其装置、设备、介质、产品
CN114242093A (zh) 语音音色转换方法、装置、计算机设备和存储介质
CN113362804A (zh) 一种合成语音的方法、装置、终端及存储介质
CN116958343A (zh) 面部动画生成方法、装置、设备、介质及程序产品
CN113420869B (zh) 基于全方向注意力的翻译方法及其相关设备
CN114842860A (zh) 基于量化编码的语音转换方法、装置、设备及存储介质
CN114999442A (zh) 一种基于元学习的自适应文字转语音方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination