CN113793598B - 语音处理模型的训练方法和数据增强方法、装置及设备 - Google Patents

语音处理模型的训练方法和数据增强方法、装置及设备 Download PDF

Info

Publication number
CN113793598B
CN113793598B CN202111083473.9A CN202111083473A CN113793598B CN 113793598 B CN113793598 B CN 113793598B CN 202111083473 A CN202111083473 A CN 202111083473A CN 113793598 B CN113793598 B CN 113793598B
Authority
CN
China
Prior art keywords
feature
speech
data
network
phoneme
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083473.9A
Other languages
English (en)
Other versions
CN113793598A (zh
Inventor
赵情恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111083473.9A priority Critical patent/CN113793598B/zh
Publication of CN113793598A publication Critical patent/CN113793598A/zh
Application granted granted Critical
Publication of CN113793598B publication Critical patent/CN113793598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本公开提供了一种语音处理模型的训练方法和增强数据的方法、装置、设备和介质，涉及人工智能领域，具体涉及语音识别、语音合成和深度学习技术领域。语音处理模型的训练方法的具体实现方案为：基于第一语音数据的第一声学特征，确定音频样本的第一音素特征；基于第一语音数据的第一声学特征、第一语音识别特征和第一音素特征，采用语音处理模型的韵律编码网络得到第一语音数据的第一韵律特征；基于第一声学特征、第一语音识别特征和第一韵律特征，采用语音处理模型的解码网络得到预测声学特征；以及基于预测声学特征和第一声学特征之间的差异，对语音处理模型进行训练。

Description

语音处理模型的训练方法和数据增强方法、装置及设备
技术领域
本公开涉及人工智能技术领域，进一步涉及语音识别、语音合成和深度学习技术领域，具体涉及语音处理模型的训练方法和数据增强方法、装置及设备。
背景技术
随着人工智能的发展，语音识别技术已经成为智能搜索和智能语音助手等场景的重要技术支持。为了提高语音识别的精度，基于深度学习的语音识别技术得到快速发展。其中，提高基于深度学习的语音识别技术的精度需要依赖于大量的标注数据。
发明内容
基于此，本公开提供了一种便于对语音数据进行增强和提高语音录制趣味性的语音处理模型的训练方法、增强数据的方法、装置、设备和介质。
根据本公开的一个方面，提供了一种语音处理模型的训练方法，该语音处理模型包括韵律编码网络和解码网络；该方法包括：基于第一语音数据的第一声学特征，确定第一语音数据的第一音素特征；基于第一声学特征、第一语音数据的第一语音识别特征和第一音素特征，采用韵律编码网络得到第一语音数据的第一韵律特征；基于第一声学特征、第一语音识别特征和第一韵律特征，采用解码网络得到预测声学特征；以及基于预测声学特征和第一声学特征之间的差异，对语音处理模型进行训练。
根据本公开的另一个方面，提供了一种增强数据的方法，包括：基于第三语音数据的第二声学特征，确定第三语音数据的第二音素特征；基于第二声学特征、第三语音数据的第二语音识别特征和第二音素特征，采用语音处理模型的韵律编码网络得到第三语音数据的第二韵律特征；基于第二声学特征、目标语音识别特征和第二韵律特征，采用语音处理模型的解码网络得到目标声学特征；以及基于目标声学特征，得到具有目标语音识别特征的第四语音数据，其中，语音处理模型是采用上述的语音处理模型的训练方法训练得到的，目标语音识别特征为除第三语音数据所涉及对象外其他对象的语音识别特征。
根据本公开的另一方面，提供了一种语音处理模型的训练装置，其中，语音处理模型包括韵律编码网络和解码网络；该装置包括：第一音素特征确定模块，用于基于第一语音数据的第一声学特征，确定第一语音数据的第一音素特征；第一韵律特征获得模块，用于基于第一声学特征、第一语音数据的第一语音识别特征和第一音素特征，采用韵律编码网络得到第一语音数据的第一韵律特征；第一声学特征获得模块，用于基于第一声学特征、第一语音识别特征和第一韵律特征，采用解码网络得到预测声学特征；以及模型训练模块，用于基于预测声学特征和第一声学特征之间的差异，对语音处理模型进行训练。
根据本公开的另一方面，提供了一种增强数据的装置，包括：第二音素特征确定模块，用于基于第三语音数据的第二声学特征，确定第三语音数据的第二音素特征；第二韵律特征获得模块，用于基于第二声学特征、第三语音数据的第二语音识别特征和第二音素特征，采用语音处理模型的韵律编码网络得到第三语音数据的第二韵律特征；第二声学特征获得模块，用于基于第二声学特征、目标语音识别特征和第二韵律特征，采用语音处理模型的解码网络得到目标声学特征；以及语音数据获得模块，用于基于目标声学特征，得到具有目标语音识别特征的第四语音数据，其中，语音处理模型是采用前述语音处理模型的训练装置训练得到的，目标语音识别特征为除第三语音数据所涉及对象外其他对象的语音识别特征。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的语音处理模型的训练方法和/或增强数据的方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的语音处理模型的训练方法和/或增强数据的方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的语音处理模型的训练方法和/或增强数据的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的语音处理模型的训练方法和增强数据的方法、装置的应用场景示意图；
图2是根据本公开实施例的语音处理模型的训练方法的流程示意图；
图3是根据本公开实施例的语音处理模型的结构示意图；
图4是根据本公开实施例的韵律编码网络的结构示意图；
图5是根据本公开实施例的语音处理模型的训练方法的原理示意图；
图6是根据本公开实施例的增强数据的方法的流程示意图；
图7是根据本公开实施例的语音处理模型的训练装置的结构框图；
图8是根据本公开实施例的增强数据的装置的结构框图；以及
图9是用来实施本公开实施例的语音处理模型的训练方法和/或增强数据的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种语音处理模型的训练方法，其中，语音处理模型包括韵律编码网络和解码网络。该方法包括音素特征确定阶段、韵律特征获得阶段、声学特征获得阶段和模型训练阶段。在音素特征确定阶段中，基于第一语音数据的第一声学特征，确定第一语音数据的第一音素特征。在韵律特征获得阶段中，基于第一声学特征、第一语音数据的第一语音识别特征和第一音素特征，采用韵律编码网络得到第一语音数据的第一韵律特征。在声学特征获得阶段中，基于第一声学特征、第一语音识别特征和第一韵律特征，采用解码网络得到预测声学特征。在模型训练阶段中，基于预测声学特征和第一声学特征之间的差异，对语音处理模型进行训练。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的语音处理模型的训练方法和增强数据的方法、装置的应用场景示意图。
如图1所示，该实施例的场景100包括电子设备110和数据库120。
其中，电子设备110例如可以通过网络访问数据库120。数据库120中可以存储有多个音频数据，该多个音频数据可以包括采集对象语音得到的语音数据。在一实施例中，语音数据可以具有标签，该标签指示语音数据中的语音对应的文本信息，还可以指示语音数据中的语音对应的对象。
在一实施例中，电子设备110可以从数据库120中读取语音数据，并对语音数据进行对象转换，得到与语音数据中语音的内容相同、但对象不同的语音数据。该电子设备110例如还可以将转换得到的语音数据存入数据库，以提高数据库中存储的语音数据的多样性。例如，电子设备110可以采用语音处理模型来对语音数据进行对象转换。
例如，电子设备110还可以通过向读取的语音数据添加噪音、改变读取的语音数据的速率、对读取的语音数据进行频谱增强等方式来对语音数据进行处理，并将处理后的数据存入数据库。通过该方式，可以进一步提高数据库中存储的语音数据的多样性。
在一实施例中，该电子设备110还可以从数据库120中读取具有标签的语音数据，将读取的语音数据作为样本来对语音识别模型进行训练。语音识别模型用于对语音数据进行处理，以得到语音数据中的语音对应的文本。随后将该得到的文本与标签指示的文本进行比较，根据比较结果来训练语音识别模型。
在一实施例中，该应用场景100还可以包括终端设备130，该终端设备130通过网络与电子设备110通信连接。例如，该终端设备130可以从电子设备110处获取训练好的语音识别模型140，并基于获取的语音识别模型140对实时采集的语音数据150进行处理，以对对象发出的语音进行实时识别。该终端设备130例如还可以根据语音识别得到的识别结果160，向对象提供服务。
需要说明的是，本公开实施例所提供的语音处理模型的训练方法和/或增强数据的方法一般可以由电子设备110执行，或者可以由与电子设备110通信连接的服务器等执行。相应地，本公开实施例所提供的语音处理模型的训练装置和/或增强数据的装置一般可以设置于电子设备110中，或者也可以设置在与电子设备110通信连接的服务器等中。
应该理解，图1中的电子设备、数据库和终端设备的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备、数据库和终端设备。
以下将结合图1，通过以下图2～图5对本公开提供的语音处理模型的训练方法进行详细描述。
图2是根据本公开实施例的语音处理模型的训练方法的流程示意图。
如图2所示，该实施例的语音处理模型的训练方法200可以包括操作S210～操作S240。
在操作S210，基于第一语音数据的第一声学特征，确定第一语音数据的第一音素特征。
根据本公开的实施例，语音数据的声学特征例如可以为语音数据的Mel频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)特征、感知线性预测特征(PerceptualLinear Prediction，PLP)、滤波器组(FilterBank，Fbank)特征等。其中，对滤波器组数据做离散余弦变换可以得到MFCC特征。
例如，可以将第一声学特征作为音素识别模型的输入，经由音素识别模型处理后得到第一音素特征。其中，音素识别模型可以基于时延双向长短期记忆网络构建。
例如，可以从存储音频的数据库中随机抽取一部分语音数据。在抽取语音数据后，可以对抽取的语音数据进行预处理，例如去除语音数据中的噪声(包括环境噪声、忙音、彩铃声等)，采用已有的数据增强方法对语音数据进行增强。已有的数据增强方法可以包括改变语音速率的方法、混合回声的方法、时域弯折的方法和/或频域掩盖的方法等。将预处理后的语音数据作为第一语音数据。可以对第一语音数据进行分帧处理，然后对每帧语音数据进行特征提取，得到每帧语音数据的MFCC特征，分帧得到的多帧语音数据的MFCC特征以序列形式构成第一声学特征。其中，在分帧处理时，帧长例如可以为25ms，帧移例如可以10ms等，本公开对此不做限定。
在操作S220，基于第一声学特征、第一语音数据的第一语音识别特征和第一音素特征，采用韵律编码网络得到第一语音数据的第一韵律特征。
根据本公开的实施例，可以将第一声学特征输入对象识别模型中，经由对象识别模型处理后，将输入对象识别模型的全连接层的特征数据作为第一语音识别特征。其中，对象识别模型例如可以为基于池化向量的对象编码器。该对象编码器包括多层时延神经网络，且倒数第二层为全局池化层。该实施例可以将全局池化层输出的特征数据作为语音识别特征，以用于唯一表示该第一语音数据所涉及对象的特征。
根据本公开的实施例，语音处理模型包括韵律编码网络，该实施例可以将第一声学特征、第一语音识别特征和第一音素特征拼接后输入韵律编码网络，经由韵律编码网络处理后输出第一韵律特征。其中，该韵律编码网络例如可以基于长短期记忆网络架构或注意力网络(例如Transformer)架构等构成。韵律特征(Prosodic features)是对整个语音片段的表述，例如：音节重音、语调模式、说话速率和节奏等。
在操作S230，基于第一声学特征、第一语音识别特征和第一韵律特征，采用解码网络得到预测声学特征。
根据本公开的实施例，语音处理模型还可以包括解码网络。该实施例可以将第一声学特征、第一语音识别特征和第一韵律特征拼接后输入解码网络，经由解码网络处理后输出预测声学特征。其中，解码网络可以基于卷积神经网络(Convolutional NeuralNetwork，CNN)和双向门控循环单元(Bi-Gated Recurrent Unit，BGRU)构成。
在操作S240，基于预测声学特征和第一声学特征之间的差异，对语音处理模型进行训练。
根据本公开的实施例，可以根据预测声学特征和第一声学特征之间的差异，来确定语音处理模型的损失。通过反向传播算法来训练语音处理模型，以最小化语音处理模型的损失。
可以理解的是，前述操作S220和操作S230实质上为先将语音识别特征与韵律特征相分离，再将语音识别特征与韵律特征相融合的两个过程。通过比较融合得到的预测声学特征与第一语音数据的第一声学特征之间的差异，可以确定分离得到的韵律特征是否准确。若分离得到的韵律特征准确，则在将第一语音数据的第一语音识别特征与第一韵律特征同时输入解码网络后，由解码网络解码得到的预测声学特征应与第一声学特征的差异应较小。
综上所述，通过上述语音处理模型的训练方法，可以提高语音处理模型的准确性。如此若使用除第一语音识别特征外的其他语音识别特征来替代第一语音识别特征输入解码网络，即可精准地实现语音数据的对象变换。例如，采用该语音处理模型，可以对语音数据进行对象特性维度上的增强。采用该语音处理模型，可以对实时采集的语音数据进行对象变换，向用户提供变声功能，提高终端设备中语音录制功能的趣味性等。
图3是根据本公开实施例的语音处理模型的结构示意图。
根据本公开的实施例，在确定音素特征时，可以对音素与声学特征进行强制对齐，以此避免基于预测声学特征得到的语音数据缺音的情况。
示例性地，如图3所示，该实施例的语音处理模型300除了韵律编码网络310和解码网络320外，还可以包括音素对齐网络330和音素编码网络340。
其中，音素对齐网络330类似于语音识别网络，可以基于长短期记忆网络-连接时序分类(Long-Short Term Memory-Connectionist Temporal Classification，LSTM-CTC)架构、链模型(Chain Model)架构等构成。在得到第一声学特征后，可以先将第一声学特征301输入音素对齐网络330，得到针对第一语音数据的第一音素序列。例如，第一声学特征301为分帧得到的n个音频帧的MFCC特征构成的序列{M1，M2，...，Mn}。经由该音素对齐网络330处理，可以得到每个MFCC特征对应的音素。N个MFCC特征对应的n个音素构成第一音素序列。通过该音素对齐网络330，可以将MFCC特征与音素进行强制对齐，通过该强制对齐，可以使得得到的音素序列可以表征每个音素的持续帧数。
例如，若音素对齐网络330基于LSTM-CTC架构构成，则基于该LSTM-CTC架构输出的n个概率向量中各向量的最大元素对应的音素，得到第一音素序列。若音素对齐网络330基于Chain Model架构构成，则在基于Chain Model架构输出的概率向量得到对应的音素后，需要对音素进行后处理。例如，若Chain Model每间隔若干帧取一帧的MFCC特征进行解码，则需要根据跳帧数量对基于概率向量得到的对应的音素进行补充。若基于Chain Model输出的两个相邻的概率向量得到的两个对应的音素为“b”、“a”，且Chain Model每间隔两帧取一帧，则补充后得到的音素序列中应包括“bba”或者“baa”等。该补充音素的规则可以根据经验设定，本公开对此不做限定。
其中，音素编码网络340可以采用CNN和RNN的联合架构，以在对音素进行特征提取的同时综合考虑音素的上下文信息，提高得到的音素特征的准确性。
例如，在得到音素序列后，可以先将第一音素序列映射到音素特征空间，得到表征第一音素序列的特征矩阵302。例如可以采用全连接层来实现前述的映射过程。在得到特征矩阵后，可以直接将特征矩阵302输入音素编码网络，由音素编码网络编码得到第一音素特征。
例如，可以将该特征矩阵302和第一语音数据的第一语音识别特征303同时输入音素编码网络340，以使得编码得到的第一音素特征具有第一语音数据的对象特征。例如，可以将特征矩阵302与第一语音识别特征303拼接后输入音素编码网络340。如此，在基于第一音素特征来得到韵律特征时，可以为韵律编码网络提供对象特征，便于韵律编码网络更好的消除对象特征。
在一实施例中，该音素编码网络340可以由多层CNN、最大池化层(Maxpooling)、激活层及双向长短期记忆网络依次连接构成。其中，激活层可以基于激活函数ReLU构建。可以理解的是，该音素编码网络的结构仅作为示例以利于理解本公开，本公开对此不做限定。
在得到第一音素特征后，可以将该第一音素特征、第一语音识别特征303和第一声学特征301拼接后输入韵律编码网络310，由韵律编码网络310输出第一韵律特征。将该第一韵律特征、第一语音识别特征303和第一声学特征301拼接后输入解码网络320，由解码网络320输出预测声学特征{M1’，M2’，...，Mn’}304。
图4是根据本公开实施例的韵律编码网络的结构示意图。
根据本公开的实施例，可以经由多个通道来提取韵律特征，以提高提取得到的韵律特征的完整性。在从多个通道提取特征时，还可以对提取的多个特征进行规范化处理，以尽可能的消除提取的特征中对象的特征。
如图4所示，该实施例400中，韵律编码网络可以包括依次连接的特征提取子网络411、规范化子网络412和编码子网络413。
其中，特征提取子网络411例如可以由并行设置的多个卷积单元Conv1～Convp构成，其中，p为大于1的自然数。可以将第一声学特征401、第一语音识别特征402和第一音素特征403拼接后输入该特征提取子网络411，由该特征提取子网络411输出多个特征数据。例如，可以将三个特征拼接后分别输入多个卷积单元Conv1～Convp，由该多个卷积单元Conv1～Convp各自输出一个特征数据，总共得到多个特征数据。
其中，规范化子网络例如可以为Norm层，用于对多个特征数据进行规范化处理，以从多个特征数据中剔除对象特征。例如，可以将该多个特征数据输入该规范化子网络412，由该规范化子网络412从多个特征数据中剔除表征第一语音识别特征402的数据，得到目标特征数据。其中，对多个特征数据的规范化处理可以先对每个特征数据进行规整，得到针对每个特征数据的均值与方差。然后，基于每个特征数据的均值与方差，对每个特征数据进行正则化。例如，可以将每个特征数据中的各数据减去均值，随后除以方差，得到正则化后的特征数据，作为一个目标特征数据。通过该正则化处理，可以尽可能的消除对象特征，而保留韵律特征。
其中，编码子网络413可以采用循环神经网络或者注意力模型。在得到目标特征数据后，将多个目标特征数据依次输入编码子网络413，基于该编码子网络413的输出可以得到第一韵律特征。
例如，若编码子网络413采用双向长短期记忆网络或者Transformer网络，则可以将该编码子网络413的输出作为第一韵律特征。该编码子网络413例如还可以采用BGRU，以此提高得到的第一韵律特征的准确性。
例如，编码子网络413还可以包括有变分自编码器(Variational Autoencoder，VAE)，以通过该变分编码器得到韵律特征的分布。例如，在一实施例中，编码子网络413由BGRU和VAE构成。在得到目标特征数据后，可以将该目标特征数据先输入BGRU，由该BGRU输出中间特征。随后将该中间特征输入VAE，经由VAE处理后得到韵律特征分布的均值和方差。基于该均值和方差即可得到韵律特征分布404，对该韵律特征分布404随机采样可以得到第一韵律特征405。该实施例设置VAE来得到第一韵律特征，是因为根据先验经验可以将韵律特征分布近似为高斯分布。通过设置该VAE，可以使得韵律特征分布更好的逼近目标概率分布，从而增强特征空间的丰富性，避免出现因特征离散导致提取的韵律特征不准确的情况。并因此可以有效提高得到的第一韵律特征的精度。
根据本公开的实施例，在设置VAE的情况下，可以根据VAE得到的均值与方差确定的韵律分布与预定特征分布之间的差异，来对VAE及其之前的各网络进行训练，以此使得韵律分布能够更为靠近目标概率分布，并进一步提高得到的韵律特征的精度。其中，目标概率分布例如可以为正态分布N(0，1)。
如此，在对语音处理模型进行训练时，可以先基于韵律特征分布和预定特征分布，确定语音处理模型的第一损失。然后基于预测声学特征和第一声学特征之间的差异，确定语音处理模型的第二损失。最后基于第一损失和第二损失，对语音处理模型进行训练。其中，例如可以采用KL散度来表示第一损失，采用Smooth-L1损失来表示第二损失。可以理解的是，上述表示第一损失和第二损失的方法仅作为示例以利于理解本公开，本公开对此不做限定。
例如，可以基于第一损失和第二损失对整个语音处理模型进行训练。也可以基于第二损失对解码网络进行训练，基于第一损失和第二损失，对韵律编码网络进行训练。在训练过程中，可以采用反向传播算法来对解码网络和韵律编码网络进行训练。
图5是根据本公开实施例的语音处理模型的训练方法的原理示意图。
根据本公开的实施例，语音处理模型还可以包括对象识别网络，用于从第一声学特征中提取第一语音识别特征。具体地，可以将第一升学特征输入该对象识别网络中，由该对象识别网络的与输出层相邻的层输出第一语音识别特征。其中，对象识别网络可以基于前文描述的对象识别模型构建，本公开对此不做限定。
在得到第一语音识别特征后，可以采用前文描述的操作S210～操作S240来对整个语音处理模型进行训练。
在一实施例中，可以先基于预定音频集中的第二语音数据和针对该第二语音数据的第一标注信息，对对象识别网络进行预训练。随后基于预训练好的对象识别网络得到第一语音识别特征，并对整个语音处理模型进行训练。其中，预定音频集可以为任意的开源音频集，开源音频集例如可以为Aishell、LibriSpeech等。而第一语音数据所在的音频集为用于训练语音识别模型的数据集。如此，通过预先训练对象识别网络，可以使得语音处理模型具有较高的稳定性和泛化能力。
例如，第一标注信息可以为指示针对第二语音数据的对象概率信息的标签。例如，该第一标注信息可以包括第二语音数据中语音的实际对象信息，若实际对象为说话人A，则对象概率信息中针对该说话人A的概率为1，针对除该说话人A外其他说话人的概率为0。经由该对象识别模型输出第二语音数据中语音的对象为多个预定对象中各对象的概率。可以基于实际对象和对象识别模型输出的概率，采用交叉熵损失函数来确定对象识别模型的损失。通过多轮迭代后使得对象识别网络收敛。
根据本公开的实施例，如图5所示，在实施例500中，语音处理模型可以包括对象识别网络510、音素对齐网络520、音素编码网络530、韵律编码网络540和解码网络550。
其中，对象识别网络510可以包括依次连接的卷积层、门控循环单元、瓶颈(bottleneck)层和全连接层。该实施例可以将第一声学特征501输入对象识别网络510包括的卷积层，经由积层、门控循环单元、瓶颈层和全连接层依次处理后，由全连接层输出第一语音数据中语音的对象为多个预定对象中各对象的概率。其中，瓶颈层输出的数据即为第一语音数据的第一语音识别特征。
根据本公开的实施例，如图5所示，在语音处理模型还包括音素对齐网络520和音素编码网络530的情况下，将该第一声学特征501输入音素对齐网络520，可以得到第一音素序列。将该第一音素序列和瓶颈层输出的第一语音识别特征拼接后输入音素编码网络530，经由该音素编码网络530处理后，可以由该音素编码网络530输出第一音素特征。
示例性地，在语音处理模型包括音素对齐网络520的情况下，该实施例还可以基于预定音频集中的第二语音数据和针对第二语音数据的第二标注信息，对音素对齐网络进行预训练。在训练过程中，将第二语音数据的声学特征(即第二语音数据分帧得到的多个音频帧的MFCC特征)输入音素对齐网络520，得到预测音素序列。根据预测音素序列和第二音素序列之间的差异，采用交叉熵损失可以确定音素对齐网络520的损失。随后可以根据该损失，通过多轮迭代后使得音素对齐网络收敛。如此，通过预先训练音素对齐网络，可以使得语音处理模型具有较高的稳定性和泛化能力。
例如，第二标注信息指示了针对第二语音数据的第二音素序列。第二音素序列指示了第二语音数据包括对每个音素的持续时长。其中，预定音频集可以为前文描述的开源数据集。第二音素序列与前文描述的第一音素序列类似，该第二音素序列可以由对第二语音数据分帧得到的多个音频帧的MFCC特征实际对应的多个音素构成。
根据本公开的实施例，如图5所示，在韵律编码网络540包括依次连接的特征提取子网络、规范化子网络、BGRU和VAE的情况下，可以将第一声学特征501、第一音素特征和瓶颈层输出的第一语音识别特征拼接后输入特征提取子网络，经由特征提取子网络、规范化子网络、BGRU和VAE依次处理后，可以由VAE输出韵律特征分布的方差和均值。通过从基于该方差和均值确定的韵律特征分布中随机采样，可以得到第一韵律特征。
在得到第一韵律特征后，可以将该第一韵律特征、第一声学特征和第一语音识别特征拼接后输入解码网络550中，经由该解码网络550处理后可以输出预测声学特征502。
基于本公开提供的语音处理模型的训练方法训练得到的语音处理模型，本公开还提供了一种增强数据的方法，以下将结合图6对该方法进行详细描述。
图6是根据本公开实施例的增强数据的方法的流程示意图。
根据本公开的实施例，增强数据的方法600可以包括操作S610～操作S640。语音处理模型可以采用前文描述的训练方法训练得到。
在操作S610，基于第三语音数据的第二声学特征，确定第三语音数据的第二音素特征。
根据本公开的实施例，该第三语音数据与前文描述的第一语音数据类似，第二声学特征与前文描述的第一声学特征类似。得到第二音素特征的方法与前文得到第一音素特征的方法类似，在此不再赘述。
在操作S620，基于第二声学特征、第三语音数据的第二语音识别特征和第二音素特征，采用语音处理模型的韵律编码网络得到第三语音数据的第二韵律特征。
根据本公开的实施例，第二语音识别特征与前文描述的第一语音识别特征类似。得到第二韵律特征的方法与前文描述的得到第一韵律特征的方法类似，在此不再赘述。
在操作S630，基于第二声学特征、目标语音识别特征和第二韵律特征，采用语音处理模型的解码网络得到目标声学特征。
其中，目标语音识别特征为除第三语音数据所涉及对象外其他对象的语音识别特征。例如，若第三语音数据为通过录制说话人A的语音而得到，则目标语音识别特征可以通过对录制说话人B的语音得到的语音数据处理得到。处理得到目标语音识别特征的方法与对第三语音数据进行处理得到第二语音识别特征的方法类似，在此不再赘述。
在操作S640，基于目标声学特征，得到具有目标语音识别特征的第四语音数据。
根据本公开的实施例，可以使用声码器对目标声学特征进行升采样，从而合成具有目标语音识别特征对应的目标对象风格的语音数据。
例如，在第三语音数据为语音识别模型的训练样本时，通过采用该实施例的增强数据的方法，可以从对象特征维度增加训练样本的个数。如此，在基于训练样本训练语音识别模型时，可以提高训练得到的语音识别模型的精度和泛化能力。
根据本公开的实施例，在第三语音数据为语音识别模型的训练样本，且该第三语音数据具有指示语音对应的文本的第一标签和指示语音对应的对象的第二标签时，可以将第一标签赋予基于该第三语音数据得到的第四语音数据，并为该第四语音数据添加指示目标语音识别特征对应的对象的第三标签。如此，添加了标签的第四语音数据即可以作为语音识别模型的训练样本。
基于本公开提供的语音处理模型的训练方法，本公开还提供了一种语音处理模型的训练装置。以下将结合图7对该装置进行详细描述。
图7是根据本公开实施例的语音处理模型的训练装置的结构框图。
如图7所示，该实施例的语音处理模型的训练装置700可以包括第一音素特征确定模块710、第一韵律特征获得模块720、第一声学特征获得模块730和模型训练模块740。其中，语音处理模型包括韵律编码网络和解码网络。
第一音素特征确定模块710用于基于第一语音数据的第一声学特征，确定第一语音数据的第一音素特征。在一实施例中，第一音素特征确定模块710可以用于执行前文描述的操作S210，在此不再赘述。
第一韵律特征获得模块720用于基于第一声学特征、第一语音数据的第一语音识别特征和第一音素特征，采用韵律编码网络得到第一语音数据的第一韵律特征。在一实施例中，第一韵律特征获得模块720可以用于执行前文描述的操作S220，在此不再赘述。
第一声学特征获得模块730用于基于第一声学特征、第一语音识别特征和第一韵律特征，采用解码网络得到预测声学特征。在一实施例中，第一声学特征获得模块730可以用于执行前文描述的操作S230，在此不再赘述。
模型训练模块740用于基于预测声学特征和第一声学特征之间的差异，对语音处理模型进行训练。在一实施例中，模型训练模块740可以用于执行前文描述的操作S240，在此不再赘述。
根据本公开的实施例，上述语音处理模型还包括音素对齐网络和音素编码网络。上述第一音素特征确定模块710可以包括音素序列获得子模块和音素特征获得子模块。音素序列获得子模块用于将第一声学特征输入音素对齐网络，得到针对第一语音数据的第一音素序列。音素特征获得子模块用于将表征第一音素序列的特征矩阵和第一语音识别特征输入音素编码网络，得到所述第一音素特征。
根据本公开的实施例，韵律编码网络包括特征提取子网络、规范化子网络和编码子网络。上述第一韵律特征获得模块720可以包括特征数据获得子模块、目标数据获得子模块和韵律特征获得子模块。特征数据获得子模块用于将第一声学特征、第一语音识别特征和第一音素特征输入特征提取子网络，得到多个特征数据。目标数据获得子模块用于将多个特征数据输入规范化子网络，得到剔除了表征第一语音识别特征的数据的目标特征数据。韵律特征获得子模块用于将目标特征数据输入编码子网络，获得第一韵律特征。
根据本公开的实施例，编码子网络包括双向门控循环单元和变分自编码器。上述韵律特征获得子模块包括中间特征获得单元、分布确定单元和韵律特征获得单元。中间特征获得单元用于将目标特征数据输入双向门控循环单元，得到中间特征。分布确定单元用于将中间特征输入变分自编码器，得到韵律特征分布的均值和方差。韵律特征获得单元用于基于均值和方差对韵律特征分布随机采样，得到第一韵律特征。
根据本公开的实施例，上述模型训练模块740包括第一损失确定子模块、第二损失确定子模块和训练子模块。第一损失确定子模块用于基于韵律特征分布和预定特征分布，确定语音处理模型的第一损失。第二损失确定子模块用于基于预测声学特征和第一声学特征之间的差异，确定语音处理模型的第二损失。训练子模块用于基于第一损失和第二损失，对语音处理模型进行训练。
根据本公开的实施例，上述训练子模块包括第一训练单元和第二训练单元。第一训练单元用于基于第二损失对解码网络进行训练。第二训练单元用于基于第一损失和第二损失，对韵律编码网络进行训练。
根据本公开的实施例，上述语音处理模型还包括对象识别网络。上述语音处理模型的训练装置700还包括语音特征提取模块，用于通过以下方式从第一声学特征中提取第一语音识别特征：将第一声学特征输入对象识别网络，得到第一语音识别特征。
根据本公开的实施例，上述语音处理模型的训练装置700还包括第一预训练模块，用于基于预定音频集中的第二语音数据和针对第二语音数据的第一标注信息，对对象识别网络进行预训练，其中，第一标注信息用于指示针对第二语音数据的对象概率信息。
根据本公开的实施例，上述语音处理模型的训练装置700第二预训练模块，用于基于预定音频集中的第二语音数据和针对第二语音数据的第二标注信息，对音素对齐网络进行预训练，其中，第二标注信息指示了针对第二语音数据的第二音素序列，第二音素序列指示了第二语音数据包括对每个音素的持续时长。
基于本公开提供的增强数据的方法，本公开还提供了一种增强数据的装置。以下将结合图8对该装置进行详细描述。
图8是根据本公开实施例的增强数据的装置的结构框图。
如图8所示，该实施例的采增强数据的装置800可以包括第二音素特征确定模块810、第二韵律特征获得模块820、第二声学特征获得模块830和语音数据获得模块840。
第二音素特征确定模块810用于基于第三语音数据的第二声学特征，确定第三语音数据的第二音素特征。在一实施例中，第二音素特征确定模块810可以用于执行前文描述的操作S610，在此不再赘述。
第二韵律特征获得模块820用于基于第二声学特征、第三语音数据的第二语音识别特征和第二音素特征，采用语音处理模型的韵律编码网络得到第三语音数据的第二韵律特征。其中，语音处理模型可以是采用前文描述的语音处理模型的训练装置训练得到的。在一实施例中，第二韵律特征获得模块820可以用于执行前文描述的操作S620，在此不再赘述。
第二声学特征获得模块830用于基于第二声学特征、目标语音识别特征和第二韵律特征，采用语音处理模型的解码网络得到目标声学特征。其中，目标语音识别特征为除第三语音数据所涉及对象外其他对象的语音识别特征。在一实施例中，第二声学特征获得模块830可以用于执行前文描述的操作S630，在此不再赘述。
语音数据获得模块840用于基于目标声学特征，得到具有目标语音识别特征的第四语音数据。在一实施例中，语音数据获得模块840可以用于执行前文描述的操作S640，在此不再赘述。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开实施例的语音处理模型的训练方法和/或增强数据的方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如语音处理模型的训练方法和/或增强数据的方法。例如，在一些实施例中，语音处理模型的训练方法和/或增强数据的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的语音处理模型的训练方法和/或增强数据的方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行语音处理模型的训练方法和/或增强数据的方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (20)

1.一种语音处理模型的训练方法，其中，所述语音处理模型包括韵律编码网络和解码网络；所述方法包括：
基于第一语音数据的第一声学特征，确定所述第一语音数据的第一音素特征；
基于所述第一声学特征、所述第一语音数据的第一语音识别特征和所述第一音素特征，采用所述韵律编码网络得到所述第一语音数据的第一韵律特征，所述第一语音识别特征用于唯一表示所述第一语音数据所涉及对象的特征；
基于所述第一声学特征、所述第一语音识别特征和所述第一韵律特征，采用所述解码网络得到预测声学特征；以及
基于所述预测声学特征和所述第一声学特征之间的差异，对所述语音处理模型进行训练；
其中，所述语音处理模型还包括对象识别网络；所述方法还包括：将所述第一声学特征输入所述对象识别网络，得到所述第一语音识别特征；
其中，所述对象识别网络是基于对象识别模型构建的，所述对象识别模型包括基于池化向量的对象编码器。
2.根据权利要求1所述的方法，其中，所述语音处理模型还包括音素对齐网络和音素编码网络；所述基于第一语音数据的第一声学特征，确定所述第一语音数据的第一音素特征包括：
将所述第一声学特征输入所述音素对齐网络，得到针对所述第一语音数据的第一音素序列；以及
将表征所述第一音素序列的特征矩阵和所述第一语音识别特征输入所述音素编码网络，得到所述第一音素特征。
3.根据权利要求1所述的方法，其中，所述韵律编码网络包括特征提取子网络、规范化子网络和编码子网络；采用所述韵律编码网络得到所述第一语音数据的第一韵律特征包括：
将所述第一声学特征、所述第一语音识别特征和所述第一音素特征输入所述特征提取子网络，得到多个特征数据；
将所述多个特征数据输入所述规范化子网络，得到剔除了表征所述第一语音识别特征的特征数据的目标特征数据；以及
将所述目标特征数据输入所述编码子网络，获得所述第一韵律特征。
4.根据权利要求3所述的方法，其中，所述编码子网络包括双向门控循环单元和变分自编码器；所述将所述目标特征数据输入所述编码子网络，获得所述第一韵律特征包括：
将所述目标特征数据输入所述双向门控循环单元，得到中间特征；
将所述中间特征输入所述变分自编码器，得到韵律特征分布的均值和方差；以及
基于所述均值和方差对所述韵律特征分布随机采样，得到所述第一韵律特征。
5.根据权利要求4所述的方法，其中，对所述语音处理模型进行训练包括：
基于所述韵律特征分布和预定特征分布，确定所述语音处理模型的第一损失；
基于所述预测声学特征和所述第一声学特征之间的差异，确定所述语音处理模型的第二损失；以及
基于所述第一损失和所述第二损失，对所述语音处理模型进行训练。
6.根据权利要求5所述的方法，其中，基于所述第一损失和所述第二损失，对所述语音处理模型进行训练包括：
基于所述第二损失对所述解码网络进行训练；以及
基于所述第一损失和所述第二损失，对所述韵律编码网络进行训练。
7.根据权利要求1所述的方法，还包括：
基于预定音频集中的第二语音数据和针对所述第二语音数据的第一标注信息，对所述对象识别网络进行预训练，
其中，所述第一标注信息用于指示针对所述第二语音数据的对象概率信息。
8.根据权利要求2所述的方法，还包括：
基于预定音频集中的第二语音数据和针对所述第二语音数据的第二标注信息，对所述音素对齐网络进行预训练，
其中，所述第二标注信息用于指示针对所述第二语音数据的第二音素序列，所述第二音素序列用于指示所述第二语音数据包括的每个音素的持续时长。
9.一种增强数据的方法，包括：
基于第三语音数据的第二声学特征，确定所述第三语音数据的第二音素特征；
基于所述第二声学特征、所述第三语音数据的第二语音识别特征和所述第二音素特征，采用语音处理模型的韵律编码网络得到所述第三语音数据的第二韵律特征；
基于所述第二声学特征、目标语音识别特征和所述第二韵律特征，采用所述语音处理模型的解码网络得到目标声学特征；以及
基于所述目标声学特征，得到具有所述目标语音识别特征的第四语音数据，
其中，所述语音处理模型是采用权利要求1～8中任一项所述的方法训练得到的；所述目标语音识别特征为除所述第三语音数据所涉及对象外其他对象的语音识别特征。
10.一种语音处理模型的训练装置，其中，所述语音处理模型包括韵律编码网络和解码网络；所述装置包括：
第一音素特征确定模块，用于基于第一语音数据的第一声学特征，确定所述第一语音数据的第一音素特征；
第一韵律特征获得模块，用于基于所述第一声学特征、所述第一语音数据的第一语音识别特征和所述第一音素特征，采用所述韵律编码网络得到所述第一语音数据的第一韵律特征，所述第一语音识别特征用于唯一表示所述第一语音数据所涉及对象的特征；
第一声学特征获得模块，用于基于所述第一声学特征、所述第一语音识别特征和所述第一韵律特征，采用所述解码网络得到预测声学特征；以及
模型训练模块，用于基于所述预测声学特征和所述第一声学特征之间的差异，对所述语音处理模型进行训练；
其中，所述语音处理模型还包括对象识别网络；所述装置还包括语音特征提取模块，用于将所述第一声学特征输入所述对象识别网络，得到所述第一语音识别特征；
其中，所述对象识别网络是基于对象识别模型构建的，所述对象识别模型包括基于池化向量的对象编码器。
11.根据权利要求10所述的装置，其中，所述语音处理模型还包括音素对齐网络和音素编码网络；所述第一音素特征确定模块包括：
音素序列获得子模块，用于将所述第一声学特征输入所述音素对齐网络，得到针对所述第一语音数据的第一音素序列；以及
音素特征获得子模块，用于将表征所述第一音素序列的特征矩阵和所述第一语音识别特征输入所述音素编码网络，得到所述第一音素特征。
12.根据权利要求10所述的装置，其中，所述韵律编码网络包括特征提取子网络、规范化子网络和编码子网络；所述第一韵律特征获得模块包括：
特征数据获得子模块，用于将所述第一声学特征、所述第一语音识别特征和所述第一音素特征输入所述特征提取子网络，得到多个特征数据；
目标数据获得子模块，用于将所述多个特征数据输入所述规范化子网络，得到剔除了表征所述第一语音识别特征的特征数据的目标特征数据；以及
韵律特征获得子模块，用于将所述目标特征数据输入所述编码子网络，获得所述第一韵律特征。
13.根据权利要求12所述的装置，其中，所述编码子网络包括双向门控循环单元和变分自编码器；所述韵律特征获得子模块包括：
中间特征获得单元，用于将所述目标特征数据输入所述双向门控循环单元，得到中间特征；
分布确定单元，用于将所述中间特征输入所述变分自编码器，得到韵律特征分布的均值和方差；以及
韵律特征获得单元，用于基于所述均值和方差对所述韵律特征分布随机采样，得到所述第一韵律特征。
14.根据权利要求1 3所述的装置，其中，所述模型训练模块包括：
第一损失确定子模块，用于基于所述韵律特征分布和预定特征分布，确定所述语音处理模型的第一损失；
第二损失确定子模块，用于基于所述预测声学特征和所述第一声学特征之间的差异，确定所述语音处理模型的第二损失；以及
训练子模块，用于基于所述第一损失和所述第二损失，对所述语音处理模型进行训练。
15.根据权利要求14所述的装置，其中，所述训练子模块包括：
第一训练单元，用于基于所述第二损失对所述解码网络进行训练；以及
第二训练单元，用于基于所述第一损失和所述第二损失，对所述韵律编码网络进行训练。
16.根据权利要求10所述的装置，还包括：
第一预训练模块，用于基于预定音频集中的第二语音数据和针对所述第二语音数据的第一标注信息，对所述对象识别网络进行预训练，
其中，所述第一标注信息用于指示针对所述第二语音数据的对象概率信息。
17.根据权利要求11所述的装置，还包括：
第二预训练模块，用于基于预定音频集中的第二语音数据和针对所述第二语音数据的第二标注信息，对所述音素对齐网络进行预训练，
其中，所述第二标注信息指示了针对所述第二语音数据的第二音素序列，所述第二音素序列指示了所述第二语音数据包括的每个音素的持续时长。
18.一种增强数据的装置，包括：
第二音素特征确定模块，用于基于第三语音数据的第二声学特征，确定所述第三语音数据的第二音素特征；
第二韵律特征获得模块，用于基于所述第二声学特征、所述第三语音数据的第二语音识别特征和所述第二音素特征，采用语音处理模型的韵律编码网络得到所述第三语音数据的第二韵律特征；
第二声学特征获得模块，用于基于所述第二声学特征、目标语音识别特征和所述第二韵律特征，采用所述语音处理模型的解码网络得到目标声学特征；以及
语音数据获得模块，用于基于所述目标声学特征，得到具有所述目标语音识别特征的第四语音数据，
其中，所述语音处理模型是采用权利要求10～17中任一项所述的装置训练得到的；所述目标语音识别特征为除所述第三语音数据所涉及对象外其他对象的语音识别特征。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～9中任一项所述的方法。
CN202111083473.9A 2021-09-15 2021-09-15 语音处理模型的训练方法和数据增强方法、装置及设备 Active CN113793598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083473.9A CN113793598B (zh) 2021-09-15 2021-09-15 语音处理模型的训练方法和数据增强方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083473.9A CN113793598B (zh) 2021-09-15 2021-09-15 语音处理模型的训练方法和数据增强方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113793598A CN113793598A (zh) 2021-12-14
CN113793598B true CN113793598B (zh) 2023-10-27

Family

ID=79183718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083473.9A Active CN113793598B (zh) 2021-09-15 2021-09-15 语音处理模型的训练方法和数据增强方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113793598B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178686A (ja) * 2005-12-27 2007-07-12 Matsushita Electric Ind Co Ltd 音声変換装置
CN101606190A (zh) * 2007-02-19 2009-12-16 松下电器产业株式会社 用力声音转换装置、声音转换装置、声音合成装置、声音转换方法、声音合成方法及程序
US10008193B1 (en) * 2016-08-19 2018-06-26 Oben, Inc. Method and system for speech-to-singing voice conversion
CN110534089A (zh) * 2019-07-10 2019-12-03 西安交通大学 一种基于音素和韵律结构的中文语音合成方法
CN111754973A (zh) * 2019-09-23 2020-10-09 北京京东尚科信息技术有限公司 一种语音合成方法及装置、存储介质
CN111754976A (zh) * 2020-07-21 2020-10-09 中国科学院声学研究所 一种韵律控制语音合成方法、***及电子装置
CN112382271A (zh) * 2020-11-30 2021-02-19 北京百度网讯科技有限公司 语音处理方法、装置、电子设备和存储介质
CN112420016A (zh) * 2020-11-20 2021-02-26 四川长虹电器股份有限公司 一种合成语音与文本对齐的方法、装置及计算机储存介质
CN112466275A (zh) * 2020-11-30 2021-03-09 北京百度网讯科技有限公司 语音转换及相应的模型训练方法、装置、设备及存储介质
CN112786012A (zh) * 2020-12-31 2021-05-11 科大讯飞股份有限公司 一种语音合成方法、装置、电子设备和存储介质
CN112786018A (zh) * 2020-12-31 2021-05-11 科大讯飞股份有限公司 语音转换及相关模型的训练方法、电子设备和存储装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3602539A4 (en) * 2017-03-23 2021-08-11 D&M Holdings, Inc. SYSTEM FOR PROVIDING EXPRESSIVE AND EMOTIONAL TEXT-TO-LANGUAGE
CN111247584B (zh) * 2019-12-24 2023-05-23 深圳市优必选科技股份有限公司 语音转换方法、***、装置及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178686A (ja) * 2005-12-27 2007-07-12 Matsushita Electric Ind Co Ltd 音声変換装置
CN101606190A (zh) * 2007-02-19 2009-12-16 松下电器产业株式会社 用力声音转换装置、声音转换装置、声音合成装置、声音转换方法、声音合成方法及程序
US10008193B1 (en) * 2016-08-19 2018-06-26 Oben, Inc. Method and system for speech-to-singing voice conversion
CN110534089A (zh) * 2019-07-10 2019-12-03 西安交通大学 一种基于音素和韵律结构的中文语音合成方法
CN111754973A (zh) * 2019-09-23 2020-10-09 北京京东尚科信息技术有限公司 一种语音合成方法及装置、存储介质
CN111754976A (zh) * 2020-07-21 2020-10-09 中国科学院声学研究所 一种韵律控制语音合成方法、***及电子装置
CN112420016A (zh) * 2020-11-20 2021-02-26 四川长虹电器股份有限公司 一种合成语音与文本对齐的方法、装置及计算机储存介质
CN112382271A (zh) * 2020-11-30 2021-02-19 北京百度网讯科技有限公司 语音处理方法、装置、电子设备和存储介质
CN112466275A (zh) * 2020-11-30 2021-03-09 北京百度网讯科技有限公司 语音转换及相应的模型训练方法、装置、设备及存储介质
CN112786012A (zh) * 2020-12-31 2021-05-11 科大讯飞股份有限公司 一种语音合成方法、装置、电子设备和存储介质
CN112786018A (zh) * 2020-12-31 2021-05-11 科大讯飞股份有限公司 语音转换及相关模型的训练方法、电子设备和存储装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EXEMPLAR-BASED SPARSE REPRESENTATION OF TIMBRE AND PROSODY FOR VOICE CONVERSION;Huaiping Ming et al.;《ICASSP 2016》;全文 *
基于多谱特征生成对抗网络的语音转换算法;张筱;张巍;王文浩;万永菁;;计算机工程与科学(05);全文 *

Also Published As

Publication number Publication date
CN113793598A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
WO2021174757A1 (zh) 语音情绪识别方法、装置、电子设备及计算机可读存储介质
EP3680894B1 (en) Real-time speech recognition method and apparatus based on truncated attention, device and computer-readable storage medium
US10553201B2 (en) Method and apparatus for speech synthesis
US11062699B2 (en) Speech recognition with trained GMM-HMM and LSTM models
WO2021051544A1 (zh) 语音识别方法及其装置
CN111933129A (zh) 音频处理方法、语言模型的训练方法、装置及计算机设备
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
US11120802B2 (en) Diarization driven by the ASR based segmentation
CN114895817B (zh) 交互信息处理方法、网络模型的训练方法及装置
CN111402891A (zh) 语音识别方法、装置、设备和存储介质
CN109697978B (zh) 用于生成模型的方法和装置
CN114360557B (zh) 语音音色转换方法、模型训练方法、装置、设备和介质
CN108877779B (zh) 用于检测语音尾点的方法和装置
CN114495977B (zh) 语音翻译和模型训练方法、装置、电子设备以及存储介质
CN113793599B (zh) 语音识别模型的训练方法和语音识别方法及装置
WO2024055752A1 (zh) 语音合成模型的训练方法、语音合成方法和相关装置
US20190156835A1 (en) Diarization Driven by Meta-Information Identified in Discussion Content
CN113793598B (zh) 语音处理模型的训练方法和数据增强方法、装置及设备
CN113327596B (zh) 语音识别模型的训练方法、语音识别方法和装置
CN113689866B (zh) 一种语音转换模型的训练方法、装置、电子设备及介质
US20220277732A1 (en) Method and apparatus for training speech recognition model, electronic device and storage medium
CN112735432B (zh) 音频识别的方法、装置、电子设备及存储介质
CN114067793A (zh) 音频处理方法和装置、电子设备及可读存储介质
CN114512121A (zh) 语音合成方法、模型训练方法及装置
CN113920987A (zh) 一种语音识别的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant