CN112951274A - 语音相似度确定方法及设备、程序产品 - Google Patents

语音相似度确定方法及设备、程序产品 Download PDF

Info

Publication number
CN112951274A
CN112951274A CN202110179824.XA CN202110179824A CN112951274A CN 112951274 A CN112951274 A CN 112951274A CN 202110179824 A CN202110179824 A CN 202110179824A CN 112951274 A CN112951274 A CN 112951274A
Authority
CN
China
Prior art keywords
audio
evaluation
pronunciation
feature
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110179824.XA
Other languages
English (en)
Inventor
夏瑞
屠明
丁辰
郑炜明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lemon Inc Cayman Island
Original Assignee
Lemon Inc Cayman Island
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lemon Inc Cayman Island filed Critical Lemon Inc Cayman Island
Priority to CN202110179824.XA priority Critical patent/CN112951274A/zh
Publication of CN112951274A publication Critical patent/CN112951274A/zh
Priority to US18/264,531 priority patent/US20240096347A1/en
Priority to EP22750129.3A priority patent/EP4276827A4/en
Priority to JP2023547643A priority patent/JP2024507734A/ja
Priority to PCT/SG2022/050048 priority patent/WO2022169417A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本实施例提供的语音相似度确定方法及设备、程序产品，涉及语音技术，包括播放示范音频，并获取用户的评测音频；其中，示范音频是使用指定语言朗读指定内容的音频；获取与示范音频对应的标准发音特征，并提取评测音频中与标准发音特征相对应的评测发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音；确定标准发音特征与评测发音特征之间的特征差异，并根据特征差异确定评测音频与示范音频之间的相似度。本申请的方案中，能够在评测音频中提取与示范音频对应的标准发音特征相对应的评测发音特征，从而使用于实现跟读相似度分析功能的模块体量较小。

Description

语音相似度确定方法及设备、程序产品
技术领域
本公开实施例涉及语音技术，尤其涉及一种语音相似度确定方法及设备、程序产品。
背景技术
很多用户会选择在线的方式进行语言学习。比如，利用语言学习软件学习某种语言。
现有技术中的很多语言学习软件设置有用于实现跟读的相似度分析功能的分析模块，用户可以读出指定的内容，软件可以对用户阅读指定内容时生成的音频进行分析，确定该音频与指定内容对应的标准音频之间的相似度，从而使用户能够了解跟读效果。
但是，现有技术中提供的分析模块，一般只能针对一种语言进行分析，若增加其他种类语言跟读的相似度分析功能，会导致该分析模块体量较大，对运行该分析模块的硬件设备要求较高。
发明内容
本公开实施例提供一种语音相似度确定方法及设备、程序产品，以克服现有技术中实现跟读相似度分析功能的模块的体量大的问题。
第一方面，本公开实施例提供基于语音交互的语音相似度确定方法，包括：
播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
第二方面，本公开实施例提供了一种数据请求指令的处理方法，应用于服务器，所述方法包括：
接收数据请求指令；
根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
第三方面，本公开实施例提供了一种语音相似度确定装置，包括：
获取单元，用于播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
特征提取单元，用于获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
分析单元，用于确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
第四方面，本公开实施例提供了一种数据请求指令的处理装置，所述装置设置于服务器中，所述装置包括：
接收单元，用于接收数据请求指令；
发送单元，用于根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
第五方面，本公开实施例提供了一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如第一方面所述的基于语音交互的语音相似度确定方法，或者如第二方面所述的数据请求指令的处理方法。
第六方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的基于语音交互的语音相似度确定方法，或者如第二方面所述的数据请求指令的处理方法。
第七方面，本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的基于语音交互的语音相似度确定方法，或者如第二方面所述的数据请求指令的处理方法。
本实施例提供的语音相似度确定方法及设备、程序产品，包括播放示范音频，并获取用户的评测音频；其中，示范音频是使用指定语言朗读指定内容的音频；获取与示范音频对应的标准发音特征，并提取评测音频中与标准发音特征相对应的评测发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音；确定标准发音特征与评测发音特征之间的特征差异，并根据特征差异确定评测音频与示范音频之间的相似度。本申请的方案中，能够在评测音频中提取与示范音频对应的标准发音特征相对应的评测发音特征，从而使用于实现跟读相似度分析功能的模块体量较小。而且，示范音频的标准发音特征能够反映指定内容在指定语言下的特异性发音，使得本方案可以在计算体量小的情况下，提供多种语言类别的跟读相似度分析的功能。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一示例性实施例示出的应用场景图；
图2为本申请一示例性实施例示出的基于语音交互的语音相似度确定方法的流程图；
图3为本申请另一示例性实施例示出的基于语音交互的语音相似度确定方法的流程图；
图4为本申请一示例性实施例示出的用户终端的界面示意图；
图5为本申请一示例性实施例示出的数据请求指令的处理方法的流程图；
图6为本申请一示例性实施例示出的基于语音交互的语音相似度确定装置的结构图；
图7为本申请另一示例性实施例示出的基于语音交互的语音相似度确定装置的结构图；
图8为本申请一示例性实施例示出的基于语音交互的语音相似度确定装置的结构图；
图9为本公开实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1为一示例性实施例示出的应用场景图。
如图1所示，用户终端可以播放一条示范音频(图中用“XXX”表示示范音频的内容)，用户可以跟读该示范音频。
其中，用户可以点击按键11，控制用户终端录制跟读的音频12。用户终端可以分析录制的音频12，确定其与示范音频之间的相似程度，进而使用户能够了解跟读效果。
但是，现有技术中提供的对跟读时录制的音频进行分析，进而确定相似度的方案中，都只能够对一种语言的音频进行分析。比如，只能对用户使用普通话跟读时产生的音频进行相似度分析，再比如，只能对用户使用英语跟读时产生的音频进行相似度分析。
若在现有技术提供的方案基础上，直接增加其他类别语言跟读的相似度分析功能，会导致实现整个功能的分析模块体量较大，进而对运行该分析模块的硬件设备要求较高。
比如，若需要对使用不同方言跟读录制的音频进行分析，进而确定该音频与示范音频之间的相似度，就会导致分析模块的体量较大。
为了解决上述技术问题，本申请提供的方案在对录制的评测音频进行分析时，仅在评测音频中提取与示范音频对应的标准发音特征相对应的评测发音特征，从而能够使用于实现跟读相似度分析功能的模块体量较小。而且，示范音频是使用指定语言朗读指定内容的音频，标准发音特征用于反映指定内容在指定语言下的特异性发音，因此，本申请的方案可以根据该标准发音特征与提取的评测发音特征确定出评测音频与示范音频之间的相似度，而且这种实施方式可以应用于不同指定内容、不同指定语言的示范音频，从而可以提供多种语言类别的跟读相似度分析的功能。
图2为本申请一示例性实施例示出的基于语音交互的语音相似度确定方法的流程图。
如图2所示，本申请提供的基于语音交互的语音相似度确定方法，包括：
步骤201，播放示范音频，并获取用户的评测音频；其中，示范音频是使用指定语言朗读指定内容的音频。
其中，本申请提供的方法可以由具备计算能力的电子设备来执行，该电子设备例如可以是用户终端，该用户终端可以具有麦克风。该用户终端例如可以是手机、平板电脑等设备。
具体的，用户终端可以播放示范音频，该示范音频是使用指定语言朗读指定内容的音频。比如，可以预先设置一段文字内容，该文字内容可以根据需求设置，例如可以是“新年快乐”。可以预先录制使用指定语言朗读这一内容的音频，例如，可以预先录制使用粤语朗读这一内容的音频。具体使用的语言也可以根据需求设置。
进一步的，该示范音频是用于向用户提供参考的音频，因此，还可以预先录制多个使用指定语言朗读指定内容的参考音频，再在其中筛选出符合需求的示范音频。比如，可以使用不同设备、在不同环境下录制使用粤语朗读“新年快乐”的参考音频。
实际应用时，用户终端播放完示范音频后，还可以开启麦克风，进而获取用户的评测音频。
一种实施方式中，用户终端界面中可以设置用于触发获取评测音频的按键，用户可以点击该按键，进而触发用户终端开启麦克风，并获取评测音频。
另一种实施方式中，用户终端可以在示范音频播放完毕后，开启麦克风，并获取评测音频。
其中，用户可以在听完示范音频后进行跟读，具体可以使用指定语言朗读指定内容，从而使用户终端能够获取用户跟读示范音频时生成的评测音频。
在一种可选的实施方式中，用户还可以操作用户终端，向用户终端发送跟读完毕的指令。比如，可以在用户终端的界面中显示跟用于指示读完毕的按键，用户可以点击该按键，进而发送跟读完毕的指令。另一种实施方式中，用户在跟读时，可以长按一预设按键，并在跟读完毕后，释放该跟读按键，进而向用户终端发送跟读完毕的指令。
可选的，用户终端在获取评测音频时，还可以对其进行检测，从而确定用户是否跟读完毕。比如，可以根据音频的能量值确定用户是否还在继续跟读。
步骤202，获取与示范音频对应的标准发音特征，并提取评测音频中与标准发音特征相对应的评测发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音。
具体的，用户终端可以获取与示范音频对应的标准发音特征。
进一步的，可以由服务器向用户终端发送该标准发音特征，用户终端可以存储接收的标准发音特征，并在对评测音频进行分析时，可以获取该标准发音特征。比如，在用户操作用户终端，开启设置有本申请提供的方法的应用时，用户终端可以与服务器交互，请求服务器向用户终端发送示范音频及其对应的标准发音特征。
实际应用时，不同的示范音频对应的标准发音特征也不同，用户终端在获取标准发音特征时，可以根据播放的示范音频获取对应的标准发音特征。
其中，标准发音特征可以是根据指定内容、指定语言预先设置的，其能够反映指定内容在指定语言下的特异性发音。
具体的，可以预先录制多条使用指定语言朗读指定内容的参考音频，并将其中任一条参考音频作为示范音频。可以提取每条参考音频的参考特征，参考特征能够表征使用指定语言朗读指定内容的时的发音特征，再对这些参考特征进行融合，得到与示范音频对应的标准发音特征，该标准发音特征融合了多个参考特征，因此，标准发音特征能够表征出指定内容在指定语言下的特异性发音。
进一步的，用户终端还可以提取评测音频中与标准发音特征相对应的评测发音特征。这种实施方式中，可以在评测音频中，有针对性的提取与标准发音特征对应的评测发音特征，而无需提取评测音频的全部特征，进而能够降低需要处理的数据量，降低分析评测音频时所需的硬件要求。
一种实施方式中，在提取每条参考音频的参考特征时，可以采集各个参考音频中预设采样点的特征，进而使标准发音特征包括这些预设采样点的特征。可以根据使用指定语言朗读指定内容时具有该语言特色的发音位置，确定参考音频中的预设采样点。
这种实施方式中，可以根据与示范音频对应的预设采样点的位置，提取评测音频中与标准发音特征相对应的评测发音特征。
另一种实施方式中，在提取每条参考音频的参考特征时，可以采集各个参考音频中的预设类别的特征，进而使标准发音特征包括这些预设类别的特征。可以根据使用指定语言朗读指定内容时具有该语言特色的特征，确定参考音频中的预设类别的特征。比如可以是用于表征整体音调变化的特征，再比如可以是用于表征全部或部分文字读音的特征。
这种实施方式中，可以根据与示范音频对应的预设类别的特征，提取评测音频中与标准发音特征相对应的评测发音特征。
步骤203，确定标准发音特征与评测发音特征之间的特征差异，并根据特征差异确定评测音频与示范音频之间的相似度。
其中，用户终端还可以比对标准发音特征与评测发音特征，进而确定标准发音特征与评测发音特征之间的特征差异。比如，可以比对标准发音特征中的各个特征与评测发音特征中的各个特征，进而得到标准发音特征与评测发音特征之间的特征差异。
比如，可以对标准发音特征与评测发音特征进行对齐处理，可以比对每个对齐点包括的标准发音特征中的第一特征和评测发音特征中的第二特征，进而得到标准发音特征与评测发音特征之间的特征差异。
具体的，还可以根据特征差异确定评测音频与示范音频之间的相似度。比如，可以标准发音特征与评测发音特征之间的特征差异确定二者的特征距离，将该特征距离作为评测音频与示范音频之间的相似度。
一种可选的实施方式中，用户终端还可以将确定的相似度映射为分值或评价内容，并显示该分值，从而使用户能够了解跟读效果。比如，可以预先设置相似度与分值或者评价内容的映射关系，进而可以根据确定的相似度确定对应的分值或评价内容。
本申请提供的基于语音交互的语音相似度确定方法，包括播放示范音频，并获取用户的评测音频；其中，示范音频是使用指定语言朗读指定内容的音频；获取与示范音频对应的标准发音特征，并提取评测音频中与标准发音特征相对应的评测发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音；确定标准发音特征与评测发音特征之间的特征差异，并根据特征差异确定评测音频与示范音频之间的相似度。本申请的方案中，能够在评测音频中提取与示范音频对应的标准发音特征相对应的评测发音特征，从而使用于实现跟读相似度分析功能的模块体量较小。而且，示范音频的标准发音特征能够反映指定内容在指定语言下的特异性发音，使得本方案可以在计算体量小的情况下，提供多种语言类别的跟读相似度分析的功能。
图3为本申请另一示例性实施例示出的基于语音交互的语音相似度确定方法的流程图。
如图3所示，本申请提供的基于语音交互的语音相似度确定方法，包括：
步骤301，响应于启动指令，向服务器发送数据请求指令。
其中，本申请提供的方法可以由具备计算能力的电子设备来执行，该电子设备例如可以是用户终端，该用户终端可以具有麦克风。该用户终端例如可以是手机、平板电脑等设备。
具体的，用户可以操作用户终端，向用户终端发送启动指令，该启动指令用于启动跟读相似度分析功能。比如，该跟读相似度分析功能可以设置在应用中，作为应用中的一个道具，用户终端中可以设置该应用。则用户可以操作用户终端启动该应用，并选择该应用中具有跟读相似度分析功能的道具，从而向用户终端发送启动指令。
进一步的，用户终端可以响应该启动指令，并向服务器发送数据请求指令。该数据请求指令用于请求实现跟读相似度分析功能的数据。
步骤302，接收编码器、示范音频、与示范音频对应的标准发音特征。
实际应用时，服务器接收到用户终端发送的数据请求指令后，可以向该用户终端下发编码器、示范音频、与示范音频对应的标准发音特征。
其中，服务器中预先设置有编码器、示范音频、与示范音频对应的标准发音特征。
具体的，服务器向用户终端发送的编码器可以是预先训练得到的。
进一步的，可以采用语音识别数据对初始模型进行训练，得到语音识别模型。再使用多种语言类别的音频对语音识别模型中的编码器进行训练，得到用于提取发音特征的编码器。
实际应用时，语音识别数据可以是带有文本标签的音频数据，通过语音识别数据训练得到的语音识别模型，能够对一段音频数据进行处理，得到该音频数据对应的文本内容。
在语音识别模型中包括编码器(Encoder)，编码器可以有效提取文本和发音相关的信息，因此，本申请提供的方法中，利用多种语言类别的音频数据对语音识别模型中的编码器进行训练，得到能够提取发音特征的编码器。
其中，多种语言类别的音频数据包括多种语言类别的音频，各个音频还具有语言类别标签。比如，一段音频所使用的语言是四川方言，则该音频的语言类别标签为表征四川方言的标签。再比如，一段音频所使用的语言是粤语，则该音频的语言类别标签为表征粤语的标签。通过多种语言类别的音频数据训练编码器，能够提高该编码器对不同语言类别的发音特征的区分度。
为了进一步的降低本申请提供的方法所需的硬件资源，编码器可以采用三层的长短期记忆网络，每层网络可以设置512个节点。
具体的，服务器中可以设置若干条示范音频及其对应的标准特征信息，并向用户终端发送这些示范音频中的任一个或者多个，并下发与示范音频对应的标准特征信息。
进一步的，与示范音频对应的标准发音特征是对多个参考发音特征进行融合得到的，每一参考发音特征是利用编码器对每一参考音频进行特征提取所得到的，各参考音频是使用指定语言朗读指定内容的音频，示范音频是参考音频中的任一个音频。
这种实施方式中，可以预先录制多个使用指定语言朗读指定内容的参考音频。再使用编码器对每一参考音频进行特征提取，得到与每一参考音频对应的参考特征。再对各个参考特征进行融合，得到标准发音特征。
由于参考音频是用来生成标准发音特征的，因此，可以由使用指定语言昨日日常交流语言的用户录制参考音频。从而使标准发音特征能够准确的体现该指定语言的特点。
步骤303，播放示范音频，并获取用户的评测音频；其中，示范音频是使用指定语言朗读指定内容的音频。
具体的，用户终端接收到示范音频后，可以播放其中的任一示范音频。
步骤303与步骤201的实现方式和原理类似，不再赘述。
可选的，在用户终端的用户界面中还可以显示与示范音频对应的指定内容，用于提示用户需要跟读的内容。
用户终端在播放完示范音频后，还可以播放用于提示用户跟读的语音内容，比如“请跟读”。可选的，用户终端还可以在播放完提示内容后，开启麦克风，进而获取用户的评测音频。
可选的，用户终端还可以设置有摄像头，进而可以获取用户图像，并在用户终端中进行展示。一种可选的实施方式中，用户终端可以对用户图进行识别，从而确定用户是否跟读完毕。
步骤304，获取与示范音频对应的标准发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音。
步骤304与步骤202中获取标准发音特征的实现方式和原理类似，不再赘述。
步骤305，基于语音识别模型的编码器，提取评测音频中与标准发音特征相对应的评测发音特征。
进一步的，用户终端可以使用服务器发送的语音识别模型的编码器，提取评测音频中与标准发音特征相应的评测发音特征。
实际应用时，用户终端可以将评测音频输入编码器，得到与标准发音特征相应的评测发音特征。
其中，编码器能够对不同语言类别的发音特征进行区分，因此，编码器可以在评测音频中提取出与语言类别对应的评测发音特征。此外，与示范音频对应的标准发音特征也是利用编码器获取的，因此，使用相同的编码器对评测音频进行处理，能够得到与标准发音特征相应的评测发音特征。
具体的，通过编码器提取评测音频中与标准发音特征相对应的评测发音特征，可以在评测音频中，有针对性的提取与标准发音特征对应的评测发音特征，而无需提取评测音频的全部特征，进而能够降低需要处理的数据量，降低分析评测音频时所需的硬件要求。
步骤306，根据标准发音特征和评测发音特征，确定时间规整函数。
进一步的，由于音频是具有时序的数据，因此，与示范音频对应的标准发音特征也具有时间属性，从评测数据提取的评测发音特征也具有时间属性。因此，可以根据标准发音特征和评测发音特征，确定时间规整函数，该时间规整函数能够表征标准发音特征和评测发音特征之间的时间对应关系。
一种实施方式中，可以确定一时间规整函数，将评测发音特征的时间轴非线性的映射到标准发音特征的时间轴上，使得评测发音特征与标准发音特征在时间轴上对齐。对齐后的标准发音特征具有与对齐点对应的第一特征，对齐后的评测发音特征具有与对齐点对应的第二特征，每一对齐点对应的第一特征和第二特征之间具有一定的特征差异，该时间规整函数能够满足各个对齐点对应的特征差异的总和最小。
实际应用时，用户终端可以根据标准发音特征和评测发音特征确定出满足上述条件的时间规整函数。
步骤307，根据时间规整函数、标准发音特征、评测发音特征，确定多个对齐点组合，其中，每一对齐点组合中包括标准发音特征中的一个标准特征点和评测发音特征中的一个评测特征点。
其中，用户终端确定出时间规整函数后，可以基于当前的时间规整函数以及标准发音特征、评测发音特征，确定出多个对齐点组合。其中，每一对齐点组合中包括标准发音特征中的一个标准特征点和评测发音特征中的一个评测特征点，该对齐点组合中的标准特征点和评测特征点对应于同一时间点。
步骤308，根据每个对齐点组合中包括的标准特征点与评测特征点，确定与每个对齐点组合对应的特征差异。
具体的，针对每个对齐点组合，可以确定对齐点组合中标准特征点与评测特征点之间的特征差异。比如，可以计算标准特征点与评测特征点之间的距离，作为对齐点组合的特征差异。
步骤309，根据每个对齐点组合的特征差异，确定评测音频与示范音频之间的相似度。
进一步的，可以将各对齐点组合的特征差异的总和，作为评测音频与示范音频之间的相似度。通过先对齐特征点再比对特征的方式，能够准确的确定出评测音频与示范音频之间的特征差异，进而准确的确定出二者的相似度。
图4为本申请一示例性实施例示出的相似度的确定过程示意图。
如图4所示，用户终端可以获取评测音频41，还可以获取与示范音频对应的标准发音特征42。
用户终端将评测音频41输入编码器43中，编码器43可以输出该评测音频41中与标准发音特征42对应的评测发音特征44。一种实施方式中，可以直接将评测音频41输入编码器43中，另一种实施方式中，还可以先对评测音频41进行滤波处理，再将滤波后的音频输入编码器43中。比如，可以利用梅尔滤波器组对评测音频41进行处理。
用户终端还可以比对标准发音特征42和评测发音特征44，进而得到评测音频41与示范音频之间的相似度45。
步骤310，获取映射函数、与示范音频对应的配置信息；其中，配置信息用于指示评测音频的相似度与分值之间的映射关系。
步骤311，根据映射函数、与示范音频对应的配置信息，将评测音频与示范音频之间的相似度映射为分值。
实际应用时，用户终端还可以获取映射函数，以及与示范音频对应的配置信息。
一种可选的实施方式中，映射函数、与示范音频对应的配置信息可以是服务器下发的，以使用户终端能够获取这些信息。例如，服务器在向用户终端发送示范音频时，也可以同时下发与示范音频对应的配置信息，还可以同时下发映射函数。
用户终端可以存储接收的映射函数、与示范音频对应的配置信息，并在将相似度映射为分值时，获取这些信息。
其中，若服务器向用户终端发送了多个示范音频，则服务器还可以向用户终端发送与各个示范音频对应的配置信息。
具体的，配置信息用于指示评测音频的相似度与分值之间的映射关系。比如，配置信息中可以包括若干个分值，还可以包括与各个分值对应的映射关系。映射函数可以根据这些配置信息，将确定的相似度映射为分值。
进一步的，配置信息中还可以包括最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度。比如，最大分值可以是100，最小分值可以是0。
实际应用时，映射函数可以是线性函数，通过该线性函数，以及最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度，可以将确定的相似度映射为分值。通过线性函数将相似度映射为分值的方式，能够进一步的降低数据处理量，从而进一步的降低用于执行本申请提供的方法的用户终端的硬件要求。
其中，本申请提供的方法中设置有与不同示范音频对应的配置信息，且配置信息中包括最大分值、最小分值。可以将各个配置信息中的最大分值设置为相同值，比如均为100，还可以将各个配置信息中的最小分值设置为相同值，比如均为0，从而使得本申请提供的方案能够将相似度映射到同一尺度的分值范围内。
具体的，用户终端还可以显示确定的分值，进而使用户能够了解跟读效果。
进一步的，与最大分值对应的相似度是多个参考相似度的平均值，每一参考相似度是每一参考发音特征与标准发音特征之间的相似度。
实际应用时，针对每个参考音频都能够提取到对应的参考特征，可以利用编码器提取参考音频的参考特征。可以确定每个参考特征与标准发音特征之间的参考相似度，比如可以根据动态时间规整算法确定每个参考特征与标准发音特征之间的参考相似度。再确定这些参考特征之间的均值，将其作为与最大分值对应的相似度。
其中，与最小分值对应的相似度是多个白噪音相似度的平均值，每一白噪音相似度是每一白噪音特征与标准发音特征之间的相似度，每一白噪音特征是利用编码器对每一预设白噪音音频进行特征提取所得到的。
具体的，还可以预先准备若干条白噪音音频，并根据若干条白噪音音频确定与最小分值对应的相似度。可以利用编码器提取每条白噪音音频的白噪音特征，再确定每各白噪音特征与标准发音特征之间的白噪音相似度，再将多个白噪音相似度的平均值作为与最小值对应的相似度。
图5为本申请一示例性实施例示出的数据请求指令的处理方法的流程图。
如图5所示，本申请提供的数据请求指令的处理方法，包括：
步骤501，接收数据请求指令。
步骤502，根据数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与示范音频对应的标准发音特征。
其中，示范音频是使用指定语言朗读指定内容的音频，编码器用于提取评测音频中与标准发音特征相对应的评测发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音。
本申请提供的方法可以应用在服务器侧，该服务器可以向用户终端提供数据。
具体的，用户终端可以基于用户操作，向服务器发送数据请求指令。服务器中设置有图2或图3所示实施例中的编码器、示范音频、与示范音频对应的标准发音特征，并在接收到用户终端发送的数据请求指令后，向用户终端反馈编码器、示范音频、与示范音频对应的标准发音特征。
图6为本申请一示例性实施例示出的基于语音交互的语音相似度确定装置的结构图。
如图6所示，本申请提供的基于语音交互的语音相似度确定装置600，包括：
获取单元610，用于播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
特征提取单元620，用于获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
分析单元630，用于确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
本申请提供的基于语音交互的语音相似度确定装置与图2所示实施例类似，不再赘述。
图7为本申请另一示例性实施例示出的基于语音交互的语音相似度确定装置的结构图。
如图7所示，本申请提供的基于语音交互的语音相似度确定装置700中，所述特征提取单元620具体用于：
基于语音识别模型的编码器，提取所述评测音频中与所述标准发音特征相对应的评测发音特征。
可选的，与所述示范音频对应的标准发音特征是对多个参考发音特征进行融合得到的，每一参考发音特征是利用所述编码器对每一参考音频进行特征提取所得到的，各所述参考音频是使用所述指定语言朗读所述指定内容的音频，所述示范音频是所述参考音频中的任一个音频。
可选的，分析单元630，包括：
函数确定模块631，用于根据所述标准发音特征和所述评测发音特征，确定时间规整函数；
对齐模块632，用于根据所述时间规整函数、所述标准发音特征、所述评测发音特征，确定多个对齐点组合，其中，每一所述对齐点组合中包括所述标准发音特征中的一个标准特征点和所述评测发音特征中的一个评测特征点；
差异确定模块633，用于根据每个所述对齐点组合中包括的标准特征点与所述评测特征点，确定与每个所述对齐点组合对应的特征差异；
相似度确定模块634，用于根据每个所述对齐点组合的特征差异，确定所述评测音频与所述示范音频之间的相似度。
可选的，所述装置还包括映射单元640，用于：
获取映射函数、与所述示范音频对应的配置信息；其中，所述配置信息用于指示评测音频的相似度与分值之间的映射关系；
根据所述映射函数、与所述示范音频对应的配置信息，将所述评测音频与所述示范音频之间的相似度映射为分值。
可选的，所述配置信息包括最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度。
可选的，与所述最大分值对应的相似度是多个参考相似度的平均值，每一所述参考相似度是每一所述参考发音特征与所述标准发音特征之间的相似度。
可选的，与所述最小分值对应的相似度是多个白噪音相似度的平均值，每一所述白噪音相似度是每一白噪音特征与所述标准发音特征之间的相似度，每一所述白噪音特征是利用所述编码器对每一预设白噪音音频进行特征提取所得到的。
可选的，所述装置还包括收发单元650，用于在获取单元610播放示范音频之前：
响应于启动指令，向服务器发送数据请求指令；
接收所述编码器、所述示范音频、与所述示范音频对应的标准发音特征。
可选的，所述语音识别模型是采用语音识别数据对初始模型进行训练得到的；
用于提取发音特征的所述编码器，是利用多种语言类别的音频数据对所述语音识别模型中的编码器进行训练得到的。
可选的，所述编码器为三层的长短期记忆网络。
本申请提供的基于语音交互的语音相似度确定装置与图3所示实施例类似，不再赘述。
图8为本申请一示例性实施例示出的基于语音交互的语音相似度确定装置的结构图。
如图所示，本申请提供的数据请求指令的处理装置800，设置于服务器中，所述装置包括：
接收单元810，用于接收数据请求指令；
发送单元820，用于根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
本申请提供的数据请求指令的处理装置与图5所示实施例类似，不再赘述。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任一种方法实施例的技术方案。
本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
参考图9，其示出了适于用来实现本公开实施例的电子设备900的结构示意图，该电子设备900可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable MediaPlayer，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(Read Only Memory，简称ROM)902中的程序或者从存储装置908加载到随机访问存储器(Random Access Memory，简称RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种基于语音交互的语音相似度确定方法，包括：
播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
根据本公开的一个或多个实施例，所述提取所述评测音频中与所述标准发音特征相对应的评测发音特征，包括：
基于语音识别模型的编码器，提取所述评测音频中与所述标准发音特征相对应的评测发音特征。
根据本公开的一个或多个实施例，与所述示范音频对应的标准发音特征是对多个参考发音特征进行融合得到的，每一参考发音特征是利用所述编码器对每一参考音频进行特征提取所得到的，各所述参考音频是使用所述指定语言朗读所述指定内容的音频，所述示范音频是所述参考音频中的任一个音频。
根据本公开的一个或多个实施例，确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度，包括：
根据所述标准发音特征和所述评测发音特征，确定时间规整函数；
根据所述时间规整函数、所述标准发音特征、所述评测发音特征，确定多个对齐点组合，其中，每一所述对齐点组合中包括所述标准发音特征中的一个标准特征点和所述评测发音特征中的一个评测特征点；
根据每个所述对齐点组合中包括的标准特征点与所述评测特征点，确定与每个所述对齐点组合对应的特征差异；
根据每个所述对齐点组合的特征差异，确定所述评测音频与所述示范音频之间的相似度。
根据本公开的一个或多个实施例，所述方法还包括：
获取映射函数、与所述示范音频对应的配置信息；其中，所述配置信息用于指示评测音频的相似度与分值之间的映射关系；
根据所述映射函数、与所述示范音频对应的配置信息，将所述评测音频与所述示范音频之间的相似度映射为分值。
根据本公开的一个或多个实施例，所述配置信息包括最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度。
根据本公开的一个或多个实施例，与所述最大分值对应的相似度是多个参考相似度的平均值，每一所述参考相似度是每一所述参考发音特征与所述标准发音特征之间的相似度。
根据本公开的一个或多个实施例，与所述最小分值对应的相似度是多个白噪音相似度的平均值，每一所述白噪音相似度是每一白噪音特征与所述标准发音特征之间的相似度，每一所述白噪音特征是利用所述编码器对每一预设白噪音音频进行特征提取所得到的。
根据本公开的一个或多个实施例，在所述播放示范音频之前，还包括：
响应于启动指令，向服务器发送数据请求指令；
接收所述编码器、所述示范音频、与所述示范音频对应的标准发音特征。
根据本公开的一个或多个实施例，所述语音识别模型是采用语音识别数据对初始模型进行训练得到的；
用于提取发音特征的所述编码器，是利用多种语言类别的音频数据对所述语音识别模型中的编码器进行训练得到的。
根据本公开的一个或多个实施例，所述编码器为三层的长短期记忆网络。
第二方面，根据本公开的一个或多个实施例，提供了一种数据请求指令的处理方法，应用于服务器，所述方法包括：
接收数据请求指令；
根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
第三方面，根据本公开的一个或多个实施例，提供了一种语音相似度确定装置，包括：
获取单元，用于播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
特征提取单元，用于获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
分析单元，用于确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
根据本公开的一个或多个实施例，所述特征提取单元具体用于：
基于语音识别模型的编码器，提取所述评测音频中与所述标准发音特征相对应的评测发音特征。
根据本公开的一个或多个实施例，与所述示范音频对应的标准发音特征是对多个参考发音特征进行融合得到的，每一参考发音特征是利用所述编码器对每一参考音频进行特征提取所得到的，各所述参考音频是使用所述指定语言朗读所述指定内容的音频，所述示范音频是所述参考音频中的任一个音频。
根据本公开的一个或多个实施例，分析单元，包括：
函数确定模块，用于根据所述标准发音特征和所述评测发音特征，确定时间规整函数；
对齐模块，用于根据所述时间规整函数、所述标准发音特征、所述评测发音特征，确定多个对齐点组合，其中，每一所述对齐点组合中包括所述标准发音特征中的一个标准特征点和所述评测发音特征中的一个评测特征点；
差异确定模块，用于根据每个所述对齐点组合中包括的标准特征点与所述评测特征点，确定与每个所述对齐点组合对应的特征差异；
相似度确定模块，用于根据每个所述对齐点组合的特征差异，确定所述评测音频与所述示范音频之间的相似度。
根据本公开的一个或多个实施例，所述装置还包括映射单元，用于：
获取映射函数、与所述示范音频对应的配置信息；其中，所述配置信息用于指示评测音频的相似度与分值之间的映射关系；
根据所述映射函数、与所述示范音频对应的配置信息，将所述评测音频与所述示范音频之间的相似度映射为分值。
根据本公开的一个或多个实施例，所述配置信息包括最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度。
根据本公开的一个或多个实施例，与所述最大分值对应的相似度是多个参考相似度的平均值，每一所述参考相似度是每一所述参考发音特征与所述标准发音特征之间的相似度。
根据本公开的一个或多个实施例，与所述最小分值对应的相似度是多个白噪音相似度的平均值，每一所述白噪音相似度是每一白噪音特征与所述标准发音特征之间的相似度，每一所述白噪音特征是利用所述编码器对每一预设白噪音音频进行特征提取所得到的。
根据本公开的一个或多个实施例，所述装置还包括收发单元，用于在获取单元播放示范音频之前：
响应于启动指令，向服务器发送数据请求指令；
接收所述编码器、所述示范音频、与所述示范音频对应的标准发音特征。
所述语音识别模型是采用语音识别数据对初始模型进行训练得到的；
用于提取发音特征的所述编码器，是利用多种语言类别的音频数据对所述语音识别模型中的编码器进行训练得到的。
根据本公开的一个或多个实施例，所述编码器为三层的长短期记忆网络。
第四方面，根据本公开的一个或多个实施例，提供了一种数据请求指令的处理装置，所述装置设置于服务器中，所述装置包括：
接收单元，用于接收数据请求指令；
发送单元，用于根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
第五方面，根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的基于语音交互的语音相似度确定方法，或者如上第一方面以及第一方面各种可能的设计所述的数据请求指令的处理方法。
第六方面，根据本公开的一个或多个实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的基于语音交互的语音相似度确定方法，或者如上第一方面以及第一方面各种可能的设计所述的数据请求指令的处理方法。
第七方面，根据本公开的一个或多个实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上第一方面以及第一方面各种可能的设计所述的基于语音交互的语音相似度确定方法，或者如上第一方面以及第一方面各种可能的设计所述的数据请求指令的处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (17)

1.一种基于语音交互的语音相似度确定方法，其特征在于，包括：
播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
2.根据权利要求1所述的方法，其特征在于，所述提取所述评测音频中与所述标准发音特征相对应的评测发音特征，包括：
基于语音识别模型的编码器，提取所述评测音频中与所述标准发音特征相对应的评测发音特征。
3.根据权利要求2所述的方法，其特征在于，与所述示范音频对应的标准发音特征是对多个参考发音特征进行融合得到的，每一参考发音特征是利用所述编码器对每一参考音频进行特征提取所得到的，各所述参考音频是使用所述指定语言朗读所述指定内容的音频，所述示范音频是所述参考音频中的任一个音频。
4.根据权利要求1所述的方法，其特征在于，确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度，包括：
根据所述标准发音特征和所述评测发音特征，确定时间规整函数；
根据所述时间规整函数、所述标准发音特征、所述评测发音特征，确定多个对齐点组合，其中，每一所述对齐点组合中包括所述标准发音特征中的一个标准特征点和所述评测发音特征中的一个评测特征点；
根据每个所述对齐点组合中包括的标准特征点与所述评测特征点，确定与每个所述对齐点组合对应的特征差异；
根据每个所述对齐点组合的特征差异，确定所述评测音频与所述示范音频之间的相似度。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取映射函数、与所述示范音频对应的配置信息；其中，所述配置信息用于指示评测音频的相似度与分值之间的映射关系；
根据所述映射函数、与所述示范音频对应的配置信息，将所述评测音频与所述示范音频之间的相似度映射为分值。
6.根据权利要求5所述的方法，其特征在于，所述配置信息包括最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度。
7.根据权利要求6所述的方法，其特征在于，与所述最大分值对应的相似度是多个参考相似度的平均值，每一所述参考相似度是每一所述参考发音特征与所述标准发音特征之间的相似度。
8.根据权利要求6所述的方法，其特征在于，与所述最小分值对应的相似度是多个白噪音相似度的平均值，每一所述白噪音相似度是每一白噪音特征与所述标准发音特征之间的相似度，每一所述白噪音特征是利用所述编码器对每一预设白噪音音频进行特征提取所得到的。
9.根据权利要求2、3、5-8任一项所述的方法，其特征在于，在所述播放示范音频之前，还包括：
响应于启动指令，向服务器发送数据请求指令；
接收所述编码器、所述示范音频、与所述示范音频对应的标准发音特征。
10.根据权利要求2、3、5-8任一项所述的方法，其特征在于，所述语音识别模型是采用语音识别数据对初始模型进行训练得到的；
用于提取发音特征的所述编码器，是利用多种语言类别的音频数据对所述语音识别模型中的编码器进行训练得到的。
11.根据权利要求2、3、5-8任一项所述的方法，其特征在于，所述编码器为三层的长短期记忆网络。
12.一种数据请求指令的处理方法，其特征在于，应用于服务器，所述方法包括：
接收数据请求指令；
根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
13.一种语音相似度确定装置，其特征在于，包括：
获取单元，用于播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；
特征提取单元，用于获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；
分析单元，用于确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。
14.一种数据请求指令的处理装置，其特征在于，所述装置设置于服务器中，所述装置包括：
接收单元，用于接收数据请求指令；
发送单元，用于根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；
其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。
15.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-11或12任一种所述的方法。
16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，
所述计算机程序被处理器执行以实现如权利要求1-11或12任一种所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11或12中任一项所述的方法。
CN202110179824.XA 2021-02-07 2021-02-07 语音相似度确定方法及设备、程序产品 Pending CN112951274A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110179824.XA CN112951274A (zh) 2021-02-07 2021-02-07 语音相似度确定方法及设备、程序产品
US18/264,531 US20240096347A1 (en) 2021-02-07 2022-01-31 Method and apparatus for determining speech similarity, and program product
EP22750129.3A EP4276827A4 (en) 2021-02-07 2022-01-31 METHOD, DEVICE AND PROGRAM PRODUCT FOR DETERMINING LANGUAGE SIMILARITY
JP2023547643A JP2024507734A (ja) 2021-02-07 2022-01-31 音声類似度決定方法及び装置、プログラム製品
PCT/SG2022/050048 WO2022169417A1 (zh) 2021-02-07 2022-01-31 语音相似度确定方法及设备、程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110179824.XA CN112951274A (zh) 2021-02-07 2021-02-07 语音相似度确定方法及设备、程序产品

Publications (1)

Publication Number Publication Date
CN112951274A true CN112951274A (zh) 2021-06-11

Family

ID=76244962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110179824.XA Pending CN112951274A (zh) 2021-02-07 2021-02-07 语音相似度确定方法及设备、程序产品

Country Status (5)

Country Link
US (1) US20240096347A1 (zh)
EP (1) EP4276827A4 (zh)
JP (1) JP2024507734A (zh)
CN (1) CN112951274A (zh)
WO (1) WO2022169417A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571043A (zh) * 2021-07-27 2021-10-29 广州欢城文化传媒有限公司 一种方言模拟力测评方法、装置、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214462A (zh) * 2011-06-08 2011-10-12 北京爱说吧科技有限公司 用于发音评估的方法和***
CN103559894A (zh) * 2013-11-08 2014-02-05 安徽科大讯飞信息科技股份有限公司 口语评测方法及***
CN105578115A (zh) * 2015-12-22 2016-05-11 深圳市鹰硕音频科技有限公司 一种具有语音评估功能的网络教学方法及***
CN105609098A (zh) * 2015-12-18 2016-05-25 江苏易乐网络科技有限公司 一种基于互联网的在线学习***
CN106372653A (zh) * 2016-08-29 2017-02-01 中国传媒大学 一种基于堆栈式自动编码器的广告识别方法
CN106531185A (zh) * 2016-11-01 2017-03-22 上海语知义信息技术有限公司 基于语音相似度的语音评测方法及***
CN106558306A (zh) * 2015-09-28 2017-04-05 广东新信通信息***服务有限公司 用于语音识别的方法、装置和设备
CN108496219A (zh) * 2015-11-04 2018-09-04 剑桥大学的校长、教师和学者 语音处理***和方法
CN109461438A (zh) * 2018-12-19 2019-03-12 合肥讯飞数码科技有限公司 一种语音识别方法、装置、设备及存储介质
CN111368559A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 语音翻译方法、装置、电子设备及存储介质
CN111916108A (zh) * 2020-07-24 2020-11-10 北京声智科技有限公司 一种语音评测方法及装置
CN112242151A (zh) * 2019-07-17 2021-01-19 中兴网鲲信息科技（上海）有限公司 语音质量评估装置及方法、介质和mos打分装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989842B (zh) * 2015-01-30 2019-10-25 福建星网视易信息***有限公司 对比声纹相似度的方法、装置及其在数字娱乐点播***中的应用
CN104732977B (zh) * 2015-03-09 2018-05-11 广东外语外贸大学 一种在线口语发音质量评价方法和***
CN104882147A (zh) * 2015-06-05 2015-09-02 福建星网视易信息***有限公司 一种演唱评分显示方法、装置及***
CN106847260B (zh) * 2016-12-20 2020-02-21 山东山大鸥玛软件股份有限公司 一种基于特征融合的英语口语自动评分方法
CN106782609A (zh) * 2016-12-20 2017-05-31 杨白宇 一种口语比对方法
US11024327B2 (en) * 2019-03-12 2021-06-01 Cordio Medical Ltd. Diagnostic techniques based on speech models
CN110782918B (zh) * 2019-10-12 2024-02-20 腾讯科技（深圳）有限公司 一种基于人工智能的语音韵律评估方法及装置
WO2021128003A1 (zh) * 2019-12-24 2021-07-01 广州国音智能科技有限公司 一种声纹同一性鉴定方法和相关装置
CN112289309A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的机器人语音控制方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214462A (zh) * 2011-06-08 2011-10-12 北京爱说吧科技有限公司 用于发音评估的方法和***
CN103559894A (zh) * 2013-11-08 2014-02-05 安徽科大讯飞信息科技股份有限公司 口语评测方法及***
CN106558306A (zh) * 2015-09-28 2017-04-05 广东新信通信息***服务有限公司 用于语音识别的方法、装置和设备
CN108496219A (zh) * 2015-11-04 2018-09-04 剑桥大学的校长、教师和学者 语音处理***和方法
CN105609098A (zh) * 2015-12-18 2016-05-25 江苏易乐网络科技有限公司 一种基于互联网的在线学习***
CN105578115A (zh) * 2015-12-22 2016-05-11 深圳市鹰硕音频科技有限公司 一种具有语音评估功能的网络教学方法及***
CN106372653A (zh) * 2016-08-29 2017-02-01 中国传媒大学 一种基于堆栈式自动编码器的广告识别方法
CN106531185A (zh) * 2016-11-01 2017-03-22 上海语知义信息技术有限公司 基于语音相似度的语音评测方法及***
CN109461438A (zh) * 2018-12-19 2019-03-12 合肥讯飞数码科技有限公司 一种语音识别方法、装置、设备及存储介质
CN112242151A (zh) * 2019-07-17 2021-01-19 中兴网鲲信息科技（上海）有限公司 语音质量评估装置及方法、介质和mos打分装置
CN111368559A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 语音翻译方法、装置、电子设备及存储介质
CN111916108A (zh) * 2020-07-24 2020-11-10 北京声智科技有限公司 一种语音评测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571043A (zh) * 2021-07-27 2021-10-29 广州欢城文化传媒有限公司 一种方言模拟力测评方法、装置、电子设备及存储介质
CN113571043B (zh) * 2021-07-27 2024-06-04 广州欢城文化传媒有限公司 一种方言模拟力测评方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022169417A1 (zh) 2022-08-11
EP4276827A1 (en) 2023-11-15
JP2024507734A (ja) 2024-02-21
US20240096347A1 (en) 2024-03-21
EP4276827A4 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
US11062090B2 (en) Method and apparatus for mining general text content, server, and storage medium
CN109346059B (zh) 一种方言语音的识别方法及电子设备
CN110069608B (zh) 一种语音交互的方法、装置、设备和计算机存储介质
CN108985358B (zh) 情绪识别方法、装置、设备及存储介质
CN112115706B (zh) 文本处理方法、装置、电子设备及介质
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
US10529340B2 (en) Voiceprint registration method, server and storage medium
CN110415679B (zh) 语音纠错方法、装置、设备和存储介质
US20220092276A1 (en) Multimodal translation method, apparatus, electronic device and computer-readable storage medium
CN108305618B (zh) 语音获取及搜索方法、智能笔、搜索终端及存储介质
CN110910903B (zh) 语音情绪识别方法、装置、设备及计算机可读存储介质
CN109947971B (zh) 图像检索方法、装置、电子设备及存储介质
CN112927674B (zh) 语音风格的迁移方法、装置、可读介质和电子设备
CN112509562A (zh) 用于文本后处理的方法、装置、电子设备和介质
CN110647613A (zh) 一种课件构建方法、装置、服务器和存储介质
US20240079002A1 (en) Minutes of meeting processing method and apparatus, device, and medium
CN109408175B (zh) 通用高性能深度学习计算引擎中的实时交互方法及***
CN111414453A (zh) 结构化文本生成方法、装置、电子设备及计算机可读存储介质
CN110827799A (zh) 用于处理语音信号的方法、装置、设备和介质
US20240096347A1 (en) Method and apparatus for determining speech similarity, and program product
CN110874554A (zh) 动作识别方法、终端设备、服务器、***及存储介质
CN112818657B (zh) 多音字读音的确定方法、装置、电子设备及存储介质
CN112309389A (zh) 信息交互方法和装置
CN111815274A (zh) 信息处理方法、装置和电子设备
CN112069786A (zh) 文本信息处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination