CN113362813B - 一种语音识别方法、装置和电子设备 - Google Patents

一种语音识别方法、装置和电子设备 Download PDF

Info

Publication number
CN113362813B
CN113362813B CN202110745581.1A CN202110745581A CN113362813B CN 113362813 B CN113362813 B CN 113362813B CN 202110745581 A CN202110745581 A CN 202110745581A CN 113362813 B CN113362813 B CN 113362813B
Authority
CN
China
Prior art keywords
output
model
encoder
candidate
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110745581.1A
Other languages
English (en)
Other versions
CN113362813A (zh
Inventor
王智超
杨文文
周盼
陈伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN202110745581.1A priority Critical patent/CN113362813B/zh
Publication of CN113362813A publication Critical patent/CN113362813A/zh
Application granted granted Critical
Publication of CN113362813B publication Critical patent/CN113362813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering
    • G10L2015/0633—Creating reference templates; Clustering using lexical or orthographic knowledge sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请实施例提供了一种语音识别方法、装置和电子设备，其中，所述方法包括：获取待识别语音数据；将待识别语音数据的声学特征输入语音识别模型进行处理；语音识别模型包括编码器，编码器具有基于连接时序分类CTC准则训练的输出层；通过编码器提取声学特征的隐层特征，通过编码器的输出层对声学特征的隐层特征按照非自回归解码方式进行解码；根据编码器的输出层的输出结果，确定语音识别结果。本申请实施例通过基于CTC准则训练的输出层，对声学特征的隐层特征按照非自回归解码方式进行解码，可以大幅提升语音识别模型的解码速度。

Description

一种语音识别方法、装置和电子设备
技术领域
本申请涉及人工技术领域，特别是涉及一种语音识别方法、装置和电子设备。
背景技术
语音识别是指将接收到的语音信息转化为文本信息，传统的语音识别***包括声学模型，语言模型和词典模型。端到端语音识别***提供了一种方式将这三种模型融合到一个神经网络模型中共同建模，从而简化了语音识别***的构建流程，也提升了语音识别***的性能。
端到端识别主要包括：基于连接时序分类(CTC，Connectionist TemporalClassification)准则的端到端识别技术，基于注意力的编解码(AED，Attention-basedEncoder-Decoder)端到端语音识别技术。近年来有研究将基于CTC和基于AED的端到端语音识别技术融合到一起，得到AED-CTC/Attention端到端语音识别模型，在很多公开语音识别任务中取得了突破性的进展。
然而AED-CTC/Attention端到端语音识别模型在实际应用过程中，在解码阶段采用解码器分支通过自回归的方式进行解码，解码器需要依据声学特征和之前预测的文本来预测下一个文本，AED-CTC/Attention端到端语音识别模型每输出一个字，解码器部分都需要计算一遍，解码效率低下。
发明内容
本申请实施例提供一种语音识别方法，以提高语音识别的效率。
相应的，本申请实施例还提供了一种语音识别装置和一种电子设备，用以保证上述方法的实现及应用。
为了解决上述问题，本申请实施例公开了一种语音识别方法，具体包括：
获取待识别语音数据；
将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
根据所述编码器的输出层的输出结果，确定语音识别结果。
可选地，所述根据所述编码器的输出层的输出结果，确定语音识别结果，包括：
通过编码有词级别语言模型的加权有限状态转换器WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果；
根据所述候选识别结果确定语音识别结果。
可选地，所述通过编码有词级别语言模型的WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，所述候选识别结果包括多个候选语句和候选语句对应的评分；所述根据所述候选识别结果确定语音识别结果，包括：
分别根据所述候选语句对应的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；所述根据所述候选识别结果确定语音识别结果，包括：
将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，通过如下方式训练所述语音识别模型：
获取样本语音数据和所述样本语音数据对应的文本标注；
将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
本申请实施例还公开了一种语音识别装置，包括：
语音数据获取模块，用于获取待识别语音数据；
模型处理模块，用于将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
识别结果确定模块，用于根据所述编码器的输出层的输出结果，确定语音识别结果。
可选地，所述识别结果确定模块包括：
候选识别结果确定子模块，用于通过编码有词级别语言模型的加权有限状态转换器WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果；
语音识别结果确定子模块，用于根据所述候选识别结果确定语音识别结果。
可选地，所述候选识别结果确定子模块包括：
网络解码单元，用于将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
候选语句确定单元，用于获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，所述候选识别结果包括多个候选语句和候选语句对应的评分；所述语音识别结果确定子模块包括：
第一归一化单元，用于分别根据所述候选语句对应的评分，确定对应的归一化概率值；
第一识别结果确定单元，用于将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；所述语音识别结果确定子模块包括：
重评分单元，用于将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
第二归一化单元，用于根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
第二识别结果确定单元，用于将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，通过如下模块训练所述语音识别模型：
样本数据获取模块，用于获取样本语音数据和所述样本语音数据对应的文本标注；
编码器处理模块，用于将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
解码器处理模块，用于将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
模型训练模块，用于基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述模型训练模块包括：
目标误差确定子模块，用于根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
模型参数调整子模块，用于根据所述目标误差调整语音识别模型的参数。
本申请实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的语音识别方法的步骤。
本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的语音识别方法的步骤。
本申请实施例包括以下优点：
本申请实施例中，服务器可以获取语音数据；将待识别语音数据的声学特征输入语音识别模型进行处理；语音识别模型包括编码器；通过编码器可以提取声学特征的隐层特征，通过基于CTC准则训练的输出层可以对声学特征的隐层特征按照非自回归解码方式进行解码；最后可以根据输出层的输出结果，确定语音识别结果。与采用自回归解码的方式相比，本申请实施例通过基于CTC准则训练的输出层，对声学特征的隐层特征按照非自回归解码方式进行解码，可以大幅提升语音识别模型的解码速度。
附图说明
图1是本申请实施例提供的一种语音识别方法的步骤流程图；
图2是本申请实施例提供的另一种语音识别方法的步骤流程图；
图3是本申请实施例中语音识别模型的示意图；
图4是本申请实施例中语音识别模型的训练方法的流程图；
图5是本申请实施例提供的一种语音识别装置的结构框图；
图6是本申请一种可选实施例中语音识别装置的结构框图；
图7根据一示例性实施例示出的一种用于语音识别的电子设备的结构框图；
图8是本申请根据另一示例性实施例示出的一种用于语音识别的电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
对于AED-CTC/Attention端到端语音识别模型，模型主要有两个模块：编码器(Encoder)、解码器(Decoder)。其中，编码器可以学习声学特征，解码器可以联合语言信息与声学信息进行解码；编码器具有基于CTC准则训练的输出层，可以自动学习字边界对齐。CTC输出层的自动对齐能力可以使得文本与声学特征上有更强单调对齐关系，解码器解码可以避免长句截断等问题；而解码器的联合建模能力也可以使得CTC输出层带有更丰富的文本上下文能力，拥有更强的识别能力。编码器和解码器可以采用RNN、LSTM、BLSTM、Transformer、Conformer等神经网络结构。
本申请实施例中，采用端到端语音识别模型的语音识别方法可以应用到多种业务场景。例如，在私人场景中，用户的移动终端可以安装有语音输入法，语音输入法可以获取用户的语音数据，语音输入法可以调用语音识别服务器进行非实时语音识别。语音识别服务器可以采用端到端语音识别模型对语音数据进行识别得到语音识别结果，并将语音识别结果返回至语音输入法。
又例如，在车载场景中，车载终端的语音助手可以获取用户的语音数据，语音助手可以调用语音识别服务器进行实时语音识别，语音识别服务器可以采用端到端语音识别模型对语音数据进行识别得到语音识别结果，进一步根据语音识别结果进行语义识别得到语义识别结果，从而使得语音助手可以响应语义识别结果完成交互。
参照图1，示出了本申请的一种语音识别方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，获取待识别语音数据。
在本申请实施例的方法可以应用到服务器，如语音识别服务器。服务器可以向客户端(如语音助手、即时通讯APP等)提供语音识别服务。
服务器部署有语音识别模型，示例性的，语音识别模型可以为AED-CTC/Attention端到端语音识别模型。语音识别模型可以根据调用请求，执行针对待识别语音数据的非实时语音识别任务或针对待识别语音数据的实时语音识别任务。
客户端可以将待识别语音数据发送至服务器，服务器在接收到待识别语音数据后，对语音数据进行声学特征提取。语音数据可以包括多帧声音信号，可以对每帧声音信号分别提取声学特征。常用的声学特征表现形式包括Fbank(也称为FilterBank)特征向量、MFCC(Mel-frequency cepstral coefficients，梅尔频率倒谱系数)特征向量。
步骤102，将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码。
语音识别模型可以包括编码器、和解码器。在编码器的末端可以设置有基于CTC准则训练的输出层。
基于CTC准则训练的输出层可以基于声学特征预测对齐的输出文本，帮助端到语音识别模型中的注意力机制在模型训练的过程中保持单调，从而使得模型的输出文本与输入声学特征之间保持隐性对齐。
基于CTC准则训练的输出层按照非自回归解码方式解码并输出，每个解码结果之间没有依赖关系，整个输出序列的每个解码结果被并行地同步预测。与非自回归解码方式相对的是自回归解码方式，自回归解码方式每次会使用已生成的解码结果作为已知信息预测下一个解码结果，最终再把每个时间步生成的解码结果拼成一个完整的序列输出。与自回归解码方式相比，按照非自回归解码方式解码可以大幅提升语音识别模型的解码速度。与采用自回归解码的方式相比，通过基于CTC准则训练的输出层按照非自回归解码方式解码，可以大幅提升语音识别模型的解码速度，提高语音识别速度。
步骤103，根据所述编码器的输出层的输出结果，确定语音识别结果。
基于CTC准则训练的输出层的输出结果可以为字序列，字序列中的每个字基于采用非自回归解码方式对声学特征进行解码得到。根据字序列可以进一步确定语音识别结果。
本申请实施例中，服务器可以获取语音数据；将待识别语音数据的声学特征输入语音识别模型进行处理；语音识别模型包括编码器；通过编码器可以提取声学特征的隐层特征，通过基于CTC准则训练的输出层可以对声学特征的隐层特征按照非自回归解码方式进行解码；最后可以根据输出层的输出结果，确定语音识别结果。与采用自回归解码的方式相比，本申请实施例通过基于CTC准则训练的输出层，对声学特征的隐层特征按照非自回归解码方式进行解码，可以大幅提升语音识别模型的解码速度。
参照图2，示出了本申请的一种语音识别方法可选实施例的步骤流程图，具体可以包括如下步骤：
步骤201，获取待识别语音数据。
步骤202，将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；其中，所述编码器的输出层采用CTC准则训练。
步骤203，通过编码有词级别语言模型的WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果。
加权有限状态转换器网络(WFST，Weighted Finite State Transducers)是一种有向图，可以用于表达任意语言，进行语言信息编码。
在本申请实施例中，由于基于CTC准则训练的输出层按照非自回归解码方式进行解码，使得每次解码只能输出一个字，导致在解码过程中只能融合字级别的语言模型，而字级别的语言模型建模能力远弱于词级别语言模型，尤其是在专有名词的热词优化上，这使得语言模型对于语音识别模型的识别性能提升不大，也使得语音识别模型在热词领域的识别上存在短板。
对此，可以将词级别语言模型信息编码到WFST网络中，进一步通过WFST网络对基于CTC准则训练的输出层输出的字序列进行解码。从而使语音识别的解码过程，可以融合词级别语言模型信息，一方面解决语音识别模型热词优化难的问题，另一方面提升了语音识别模型的性能。
在本申请一种可选实施例中，所述步骤203可以包括如下子步骤S11-S12：
子步骤S11，将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字。
子步骤S12，获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
在本申请中，WFST网络可以通过语言模型、词典模型、输出映射模型构建。示例性地，WFST网络可以通过如下公式表示：
其中/>表示复合计算。G为语言模型用于判断一个输入词序列是否符合语言的语法，以及该词序列出现的概率。L为词典模型用于将词序列映射为字序列。T为输出映射模型用于将所述输出层输出的字序列射到单字，其规则是将模型连续多个相同且中间无blank符号(空白建模单元)间隔的输出映射到一个单字，将中间有blank符号间隔的连续相同的输出映射到多个单字，将独立的输出映射到单字，如下所示：T(我我我/>有/>一个小/>小的/>梦想/>)＝我有一个小小的梦想，其中/>代表blank符号。
T，L，G通过复合计算得到最终的WFST网络，其输入为基于CTC准则训练的输出层输出的字序列，而输出为若干候选语句及其对应的评分。
步骤204，根据所述候选识别结果确定语音识别结果。
WFST网络可以根据字序列确定一个或多个候选识别结果。候选识别结果可以包括候选语句和候选语句对应的评分。
在本申请一种可选实施例中，所述步骤204可以包括如下子步骤S21-S22：
子步骤S21，分别根据所述候选语句对应的评分，确定对应的归一化概率值。
示例性地，可以通过softmax()归一化函数，对各个候选语句对应的评分进行归一化处理，得到各个候选语句对应的归一化概率值。
子步骤S22，将具有最大归一化概率值的候选语句作为语音识别结果。
候选语句的归一化概率值越大，表示该语句出现的可能性越大。因此将具有最大概率值的候选语句作为最终的语音识别结果。
在本申请另一种实施例中，所述步骤204可以包括如下子步骤S31-S32：
子步骤S31，将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分。
解码器可以具有基于注意力准则训练的输出层，通过基于注意力准则训练的输出层可以对候选语句的评分进行修正，得到新的评分。
子步骤S32，根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值。
示例性地，可以通过softmax()归一化函数，对各个候选语句对应的新的评分进行归一化处理，得到各个候选语句对应的归一化概率值。
子步骤S33，将具有最大归一化概率值的候选语句作为语音识别结果。
将具有最大概率值的候选语句作为最终的语音识别结果。
本申请实施例中，服务器可以获取待识别语音数据；将待识别语音数据的声学特征输入语音识别模型进行处理；语音识别模型包括编码器；通过编码器提取声学特征的隐层特征，通过编码器的基于CTC准则训练的输出层对声学特征的隐层特征按照非自回归解码方式进行解码；通过编码有词级别语言模型的WFST网络，对编码器输出层输出的字序列进行解码得到候选识别结果；根据候选识别结果确定语音识别结果。与采用自回归解码的方式相比，本申请实施例通过基于CTC准则训练的输出层，对声学特征的隐层特征按照非自回归解码方式进行解码，可以大幅提升语音识别模型的解码速度。
进一步地，通过编码有词级别语言模型的WFST网络对字序列进行解码得到候选识别结果，可以使得解决语音识别模型热词优化难的问题，提升语音识别模型的性能。
参照图3所示为本申请实施例中语音识别模型的示意图。语音识别模型包括编码器、解码器，编码器的输入为声学特征，其负责对声学特征进行建模。解码器的输入为语音的文本标注和编码器的输出，其一方面负责对语言信息进行建模，另一方面同时结合声学特征和语言信息对模型的下一步输出进行预测。编码器和解码器都通过内部的注意力机制来增强其建模能力。
编码器具有基于CTC准则训练的输出层。解码器具有基于注意力准则训练的输出层。可以采用CTC准则和注意力准则作为联合训练准则，对语音识别模型进行优化。在编码器的输出层之后可以连接有WFST网络，WFST网络基于语言模型、词典模型、输出映射模型构建。在语音识别模型的推理过程中，可以将待识别语音数据的声学特征输入编码器，通过编码器对声学特征进行解码输出字序列，通过WFST网络对字序列进一步解码，生成多个候选语句和对应的评分，根据候选语句和对应的评分确定语音识别结果。
参照图4所示为本申请实施例中语音识别模型的训练方法的流程图，语音识别模型的训练方法包括：
步骤401，获取样本语音数据和所述样本语音数据对应的文本标注。
样本语音数据的文本标注，可以是由人工听取样本语音数据后生成，文本标注可以用于辅助训练模型。
步骤402，将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差。
具体的，可以根据编码器的输出结果和文本标注，计算CTC准则损失函数作为误差。
步骤403，将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差。
解码器可以根据文本标注进行编码，以及根据编码器输出的隐层特征和文本标注进行预测，通过解码器的输出层预测输出结果解码器的输出层的输出结果可以包括：候选语句以及候选语句对应的概率。
具体的，可以根据解码器的输出结果和文本标注，计算注意力准则损失函数作为误差。示例性的，注意力准则损失函数可以使用交叉熵(CE，Cross-Entropy)损失函数。
步骤404，基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
当CTC准则损失函数与注意力准则损失函数，满足预设条件时，可以确定模型训练完成。例如，当CTC准则损失函数与注意力准则损失函数所对应的误差小于预设误差阈值时，可以确定模型训练完成。
在一种可选实施例中，所述步骤404可以包括：根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；根据所述目标误差调整语音识别模型的参数。
具体的，可以根据CTC准则损失函数与预设第一权重值的乘积，和注意力准则损失函数与预设第二权重值的乘积，确定目标损失函数。根据目标函数调整语音识别模型的参数。
示例性地，目标损失函数可以通过如下公式表示：
LCTC/Attention＝λLctc+(1-λ)LAttention,其中，λ为超参数，用于设置CTC准则与注意力准则的权重。λ的取值可以在0～1之间，可以根据进行多次试验计算得到。Lctc为CTC准则损失函数，LAttention为注意力准则损失函数。例如，若λ为0.4，则CTC准则损失函数的第一权重值为0.4，注意力准则损失函数的第二权重值为0.6。在计算得到目标损失函数后，可以目标损失函数调整语音识别模型的参数。通过将CTC准则与注意力准则联合训练，可以使得语音识别模型在模型训练的过程中保持单调，从而使得语音识别模型的输出文本与输入声学特征之间保持隐性对齐，让语音识别训练的更好，从而提升最终的识别准确率。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图5，示出了本申请的一种语音识别装置实施例的结构框图，具体可以包括如下模块：
语音数据获取模块501，用于获取待识别语音数据；
模型处理模块502，用于将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
识别结果确定模块503，用于根据所述编码器的输出层的输出结果，确定语音识别结果。
参照图6，示出了本申请的一种语音识别装置可选实施例的结构框图。
本申请一个可选的实施例中，所述识别结果确定模块503可以包括：
候选识别结果确定子模块5031，用于通过编码有词级别语言模型的加权有限状态转换器WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果；
语音识别结果确定子模块5032，用于根据所述候选识别结果确定语音识别结果。
本申请一个可选的实施例中，所述候选识别结果确定子模块5031可以包括：
网络解码单元50311，用于将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
候选语句确定单元50312，用于获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
本申请一个可选的实施例中，所述候选识别结果包括多个候选语句和候选语句对应的评分；所述语音识别结果确定子模块5032可以包括：
第一归一化单元50321，用于分别根据所述候选语句对应的评分，确定对应的归一化概率值；
第一识别结果确定单元50322，用于将具有最大归一化概率值的候选语句作为语音识别结果。
本申请一个可选的实施例中，所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；所述语音识别结果确定子模块5032可以包括：
重评分单元50323，用于将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
第二归一化单元50324，用于根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
第二识别结果确定单元50325，用于将具有最大归一化概率值的候选语句作为语音识别结果。
本申请一个可选的实施例中，通过如下模块训练所述语音识别模型：
样本数据获取模块504，用于获取样本语音数据和所述样本语音数据对应的文本标注；
编码器处理模块505，用于将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
解码器处理模块506，用于将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
模型训练模块507，用于基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
本申请一个可选的实施例中，所述模型训练模块507可以包括：
目标误差确定子模块5071，用于根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
模型参数调整子模块5072，用于根据所述目标误差调整语音识别模型的参数。
本申请实施例中，服务器可以获取语音数据；将待识别语音数据的声学特征输入语音识别模型进行处理；语音识别模型包括编码器；通过编码器可以提取声学特征的隐层特征，通过基于CTC准则训练的输出层可以对声学特征的隐层特征按照非自回归解码方式进行解码；最后可以根据输出层的输出结果，确定语音识别结果。与采用自回归解码的方式相比，本申请实施例通过基于CTC准则训练的输出层，对声学特征的隐层特征按照非自回归解码方式进行解码，可以大幅提升语音识别模型的解码速度。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图7是根据一示例性实施例示出的一种用于语音识别的电子设备700的结构框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，智能穿戴设备等。
参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理部件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件706为电子设备700的各种组件提供电力。电力组件706可以包括电源管理***，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件714经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件714还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种语音识别方法，所述方法包括：
获取待识别语音数据；
将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
根据所述编码器的输出层的输出结果，确定语音识别结果。
可选地，所述根据所述编码器的输出层的输出结果，确定语音识别结果，包括：
通过编码有词级别语言模型的加权有限状态转换器WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果；
根据所述候选识别结果确定语音识别结果。
可选地，所述通过编码有词级别语言模型的WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，所述候选识别结果包括多个候选语句和候选语句对应的评分；所述根据所述候选识别结果确定语音识别结果，包括：
分别根据所述候选语句对应的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；所述根据所述候选识别结果确定语音识别结果，包括：
将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，通过如下方式训练所述语音识别模型：
获取样本语音数据和所述样本语音数据对应的文本标注；
将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
图8是本申请根据另一示例性实施例示出的一种用于语音识别的电子设备800的结构示意图。该电子设备800可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(central processing units，CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器上执行存储介质830中的一系列指令操作。
服务器还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，一个或一个以上键盘856，和/或，一个或一个以上操作***841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
在示例性实施例中，服务器经配置以由一个或者一个以***处理器822执行一个或者一个以上程序包含用于进行以下操作的指令：
获取待识别语音数据；
将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
根据所述编码器的输出层的输出结果，确定语音识别结果。
可选地，所述根据所述编码器的输出层的输出结果，确定语音识别结果，包括：
通过编码有词级别语言模型的加权有限状态转换器WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果；
根据所述候选识别结果确定语音识别结果。
可选地，所述通过编码有词级别语言模型的WFST网络，对所述编码器的输出层输出的字序列进行解码得到候选识别结果，包括：
将所述字序列输入所述WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列射到单字；
获得所述WFST网络输出的多个候选语句和所述多个候选语句对应的评分。
可选地，所述候选识别结果包括多个候选语句和候选语句对应的评分；所述根据所述候选识别结果确定语音识别结果，包括：
分别根据所述候选语句对应的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；所述根据所述候选识别结果确定语音识别结果，包括：
将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
可选地，还包含用于进行以下训练所述语音识别模型的指令：
获取样本语音数据和所述样本语音数据对应的文本标注；
将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
可选地，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与所述预设第一权重值的乘积，和所述按照注意力准则计算的误差与所述预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程语音识别终端设备的处理器以产生一个机器，使得通过计算机或其他可编程语音识别终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程语音识别终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程语音识别终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种语音识别方法、一种语音识别装置和一种电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种语音识别方法，其特征在于，包括：
获取待识别语音数据；
将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
根据所述编码器的输出层的输出结果，确定语音识别结果；
其中，所述根据所述编码器的输出层的输出结果，确定语音识别结果，包括：
将所述编码器的输出层输出的字序列输入加权有限状态转换器WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述WFST其中表示复合计算；G为语言模型；L为词典模型；T为输出映射模型；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列映射到单字，字序列映射到单字的规则是将模型连续多个相同且中间无blank符号间隔的输出映射到一个单字，将中间有blank符号间隔的连续相同的输出映射到多个单字；
获得所述WFST网络输出的候选识别结果；所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；
根据所述候选识别结果确定语音识别结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述候选识别结果确定语音识别结果，包括：
分别根据所述候选语句对应的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述候选识别结果确定语音识别结果，包括：
将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
将具有最大归一化概率值的候选语句作为语音识别结果。
4.根据权利要求1所述的方法，其特征在于，通过如下方式训练所述语音识别模型：
获取样本语音数据和所述样本语音数据对应的文本标注；
将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
5.根据权利要求4所述的方法，其特征在于，所述基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练，包括：
根据所述按照CTC准则计算的误差与预设第一权重值的乘积，和所述按照注意力准则计算的误差与预设第二权重值的乘积，确定目标误差；
根据所述目标误差调整语音识别模型的参数。
6.一种语音识别装置，其特征在于，包括：
语音数据获取模块，用于获取待识别语音数据；
模型处理模块，用于将所述待识别语音数据的声学特征输入语音识别模型进行处理；所述语音识别模型包括编码器，所述编码器具有基于连接时序分类CTC准则训练的输出层；通过所述编码器提取所述声学特征的隐层特征，通过所述编码器的输出层对所述声学特征的隐层特征按照非自回归解码方式进行解码；
识别结果确定模块，用于根据所述编码器的输出层的输出结果，确定语音识别结果；
其中，所述模型处理模块包括：
网络解码单元，用于将所述编码器的输出层输出的字序列输入WFST网络进行解码；所述WFST网络基于语言模型、词典模型、输出映射模型构建；所述WFST其中表示复合计算；G为语言模型；L为词典模型；T为输出映射模型；所述语言模型用于判断词序列是否符合语法，以及该词序列出现的概率；所述词典模型，用于将词序列映射为字序列；所述输出映射模型用于将所述输出层输出的字序列映射到单字，字序列映射到单字的规则是将模型连续多个相同且中间无blank符号间隔的输出映射到一个单字，将中间有blank符号间隔的连续相同的输出映射到多个单字；
候选语句确定单元，用于获得所述WFST网络输出的候选识别结果；所述候选识别结果包括多个候选语句和所述多个候选语句对应的评分；
语音识别结果确定子模块，用于根据所述候选识别结果确定语音识别结果。
7.根据权利要求6所述的装置，其特征在于，所述语音识别结果确定子模块包括：
第一归一化单元，用于分别根据所述候选语句对应的评分，确定对应的归一化概率值；
第一识别结果确定单元，用于将具有最大归一化概率值的候选语句作为语音识别结果。
8.根据权利要求6所述的装置，其特征在于，所述语音识别结果确定子模块包括：
重评分单元，用于将所述候选识别结果输入所述语音识别模型的解码器；所述解码器具有基于注意力准则训练的输出层通过所述解码器的输出层对所述候选语句进行重新评分；
第二归一化单元，用于根据所述解码器的输出层输出的所述候选语句对应的新的评分，确定对应的归一化概率值；
第二识别结果确定单元，用于将具有最大归一化概率值的候选语句作为语音识别结果。
9.根据权利要求6所述的装置，其特征在于，通过如下模块训练所述语音识别模型：
样本数据获取模块，用于获取样本语音数据和所述样本语音数据对应的文本标注；
编码器处理模块，用于将所述样本语音数据的声学特征作为所述语音识别模型的编码器的输入，通过所述编码器提取所述声学特征的隐层特征，并通过所述编码器的输出层基于所述声学特征的隐层特征预测输出结果，以及根据所述编码器的输出结果和所述文本标注，按照CTC准则计算误差；
解码器处理模块，用于将所述编码器输出的隐层特征以及所述文本标注，作为所述语音识别模型的解码器的输入，通过所述解码器基于所述隐层特征和所述文本标注进行预测，并通过所述解码器的输出层预测输出结果，以及根据所述解码器的输出结果和所述文本标注，按照注意力准则计算误差；
模型训练模块，用于基于所述按照CTC准则计算的误差和所述按照注意力准则计算误差进行模型联合参数训练。
10.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5中任一项所述的语音识别方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的语音识别方法的步骤。
CN202110745581.1A 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备 Active CN113362813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110745581.1A CN113362813B (zh) 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110745581.1A CN113362813B (zh) 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN113362813A CN113362813A (zh) 2021-09-07
CN113362813B true CN113362813B (zh) 2024-05-28

Family

ID=77537940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110745581.1A Active CN113362813B (zh) 2021-06-30 2021-06-30 一种语音识别方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113362813B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516973B (zh) * 2021-09-13 2021-11-16 珠海亿智电子科技有限公司 基于双向上下文的非自回归语音识别网络、方法及设备
CN114564564A (zh) * 2022-02-25 2022-05-31 山东新一代信息产业技术研究院有限公司 一种用于语音识别的热词增强方法、设备及介质
CN115691476B (zh) * 2022-06-06 2023-07-04 腾讯科技（深圳）有限公司 语音识别模型的训练方法、语音识别方法、装置及设备
CN117116264B (zh) * 2023-02-20 2024-07-23 荣耀终端有限公司 一种语音识别方法、电子设备以及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502790A (en) * 1991-12-24 1996-03-26 Oki Electric Industry Co., Ltd. Speech recognition method and system using triphones, diphones, and phonemes
AU2001283180A1 (en) * 2000-08-14 2002-02-25 Transgenetics Incorporated Transcription factor target gene discovery
JP2015014774A (ja) * 2013-06-03 2015-01-22 日本電信電話株式会社 音声認識用ｗｆｓｔ作成装置、音声認識装置、音声認識用ｗｆｓｔ作成方法、音声認識方法及びプログラム
CN109036391A (zh) * 2018-06-26 2018-12-18 华为技术有限公司 语音识别方法、装置及***
WO2018232591A1 (en) * 2017-06-20 2018-12-27 Microsoft Technology Licensing, Llc. SEQUENCE RECOGNITION PROCESSING
CN111145733A (zh) * 2020-01-03 2020-05-12 深圳追一科技有限公司 语音识别方法、装置、计算机设备和计算机可读存储介质
CN112017648A (zh) * 2020-08-25 2020-12-01 北京声智科技有限公司 加权有限状态转换器构建方法、语音识别方法及装置
CN112037798A (zh) * 2020-09-18 2020-12-04 中科极限元(杭州)智能科技股份有限公司 基于触发式非自回归模型的语音识别方法及***
CN112133294A (zh) * 2020-11-02 2020-12-25 标贝（北京）科技有限公司 语音识别方法、装置和***及存储介质
CN112509564A (zh) * 2020-10-15 2021-03-16 江苏南大电子信息技术股份有限公司 基于连接时序分类和自注意力机制的端到端语音识别方法
CN112712804A (zh) * 2020-12-23 2021-04-27 哈尔滨工业大学（威海） 语音识别方法、***、介质、计算机设备、终端及应用

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7299173B2 (en) * 2002-01-30 2007-11-20 Motorola Inc. Method and apparatus for speech detection using time-frequency variance
CN107195295B (zh) * 2017-05-04 2020-06-23 百度在线网络技术（北京）有限公司 基于中英文混合词典的语音识别方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502790A (en) * 1991-12-24 1996-03-26 Oki Electric Industry Co., Ltd. Speech recognition method and system using triphones, diphones, and phonemes
AU2001283180A1 (en) * 2000-08-14 2002-02-25 Transgenetics Incorporated Transcription factor target gene discovery
JP2015014774A (ja) * 2013-06-03 2015-01-22 日本電信電話株式会社 音声認識用ｗｆｓｔ作成装置、音声認識装置、音声認識用ｗｆｓｔ作成方法、音声認識方法及びプログラム
WO2018232591A1 (en) * 2017-06-20 2018-12-27 Microsoft Technology Licensing, Llc. SEQUENCE RECOGNITION PROCESSING
CN109036391A (zh) * 2018-06-26 2018-12-18 华为技术有限公司 语音识别方法、装置及***
CN111145733A (zh) * 2020-01-03 2020-05-12 深圳追一科技有限公司 语音识别方法、装置、计算机设备和计算机可读存储介质
CN112017648A (zh) * 2020-08-25 2020-12-01 北京声智科技有限公司 加权有限状态转换器构建方法、语音识别方法及装置
CN112037798A (zh) * 2020-09-18 2020-12-04 中科极限元(杭州)智能科技股份有限公司 基于触发式非自回归模型的语音识别方法及***
CN112509564A (zh) * 2020-10-15 2021-03-16 江苏南大电子信息技术股份有限公司 基于连接时序分类和自注意力机制的端到端语音识别方法
CN112133294A (zh) * 2020-11-02 2020-12-25 标贝（北京）科技有限公司 语音识别方法、装置和***及存储介质
CN112712804A (zh) * 2020-12-23 2021-04-27 哈尔滨工业大学（威海） 语音识别方法、***、介质、计算机设备、终端及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xingchen Song等.NON-AUTOREGRESSIVE TRANSFORMER ASR WITH CTC-ENHANCED DECODER INPUT.《ICASSP 2021 - 2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》.2021,摘要、正文第1-4章. *

Also Published As

Publication number Publication date
CN113362813A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113362812B (zh) 一种语音识别方法、装置和电子设备
CN113362813B (zh) 一种语音识别方法、装置和电子设备
CN110634483B (zh) 人机交互方法、装置、电子设备及存储介质
CN107291690B (zh) 标点添加方法和装置、用于标点添加的装置
CN107221330B (zh) 标点添加方法和装置、用于标点添加的装置
CN108346425B (zh) 一种语音活动检测的方法和装置、语音识别的方法和装置
CN111583944A (zh) 变声方法及装置
CN110992942B (zh) 一种语音识别方法、装置和用于语音识别的装置
CN107274903B (zh) 文本处理方法和装置、用于文本处理的装置
CN111640424B (zh) 一种语音识别方法、装置和电子设备
CN108364635B (zh) 一种语音识别的方法和装置
CN113689879B (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
CN113223542B (zh) 音频的转换方法、装置、存储介质及电子设备
WO2022147692A1 (zh) 一种语音指令识别方法、电子设备以及非瞬态计算机可读存储介质
US11532310B2 (en) System and method for recognizing user's speech
CN115148185A (zh) 语音合成方法及装置、电子设备及存储介质
CN113889070A (zh) 一种语音合成方法、装置和用于语音合成的装置
CN110930977B (zh) 一种数据处理方法、装置和电子设备
CN113689880B (zh) 实时驱动虚拟人的方法、装置、电子设备及介质
CN113345452B (zh) 语音转换方法、语音转换模型的训练方法、装置和介质
CN113409765B (zh) 一种语音合成方法、装置和用于语音合成的装置
CN113539233B (zh) 一种语音处理方法、装置和电子设备
CN112668340B (zh) 一种信息处理方法及装置
CN113345451B (zh) 一种变声方法、装置及电子设备
CN113707130B (zh) 一种语音识别方法、装置和用于语音识别的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant