CN112599129B - 语音识别方法、装置、设备和存储介质 - Google Patents
语音识别方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112599129B CN112599129B CN202110222451.XA CN202110222451A CN112599129B CN 112599129 B CN112599129 B CN 112599129B CN 202110222451 A CN202110222451 A CN 202110222451A CN 112599129 B CN112599129 B CN 112599129B
- Authority
- CN
- China
- Prior art keywords
- word
- recognition text
- text
- recognition
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 114
- 238000012937 correction Methods 0.000 claims description 85
- 239000013598 vector Substances 0.000 claims description 78
- 238000012545 processing Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种语音识别方法、装置、电子设备和计算机存储介质。具体实现方案为包括：对目标语音进行识别，得到目标语音的识别文本；基于识别文本以及目标语音，确定识别文本中每个字的多个维度的特征；基于识别文本中每个字的多个维度的特征确定识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本，其中，第一识别文本中包含识别文本中每个字及其对应的标记。
Description
技术领域
本申请涉及语音处理技术领域，尤其涉及一种语音识别方法、装置、电子设备和计算机存储介质。
背景技术
随着自动语音识别（Automatic Speech Recognition，ASR）技术水平的提高，从ASR***输出得到的转录文本的处理研究也随之受到广泛的关注。以教育领域为例，分析教师讲课、学生听课等教学报告，学习情况报告均需要将上课过程中教师、学生的语音转为文字，从而进行后续自然语言的处理。当识别的文本中存在错误时，对于后续的自然语言处理任务影响很大，因此，进行语音识别结果的文本纠错是一项重要的语音识别后处理技术。语音识别后处理技术是指通过一定的算法将语音识别结果进行检错及纠正。然而，相关技术中，对语音识别结果进行检错及纠正的效率低。
发明内容
本申请实施例提供一种语音识别方法、装置、电子设备和计算机存储介质。
第一方面，本申请实施例提供一种语音识别方法，所述方法包括：
对目标语音进行识别，得到所述目标语音的识别文本；
基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征；
基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；
基于每个字的检测结果生成第一识别文本，其中，所述第一识别文本中包含所述识别文本中每个字及其对应的标记。
第二方面，本申请实施例提供一种语音识别装置，所述装置包括：
识别单元，用于对目标语音进行识别，得到所述目标语音的识别文本；
特征确定单元，用于基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征；
检错单元，用于基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本，其中，所述第一识别文本中包含所述识别文本中每个字及其对应的标记。
第三方面，本申请实施例提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意一项实施例所提供的方法。
第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意一项实施例所提供的方法。
上述申请中的实施例具有如下优点或有益效果：对目标语音进行识别，得到所述目标语音的识别文本；基于识别文本以及目标语音，确定识别文本中每个字的多个维度的特征；基于识别文本中每个字的多个维度的特征确定识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本；如此，结合识别文本维度以及音频维度对识别文本中每个字进行检错处理，能够准确地检测出识别文本中的错误部分，提升对识别文本的检错效果，且能够为后续纠正识别文本提供准确的数据基础，进而有助于通过对该错误部分进行纠正处理而得到更准确的识别文本，提升对识别文本的纠错效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的语音识别方法流程示意图一；
图2是根据本申请实施例的语音识别方法流程示意图二；
图3是根据本申请实施例的对第一识别文本进行纠正的示意图；
图4是根据本申请实施例的确定识别文本中每个字的多个维度的特征的示意图；
图5是根据本申请实施例的根据识别文本中每个字的多个维度的特征确定识别文本中每个字的检测结果的流程示意图；
图6是根据本申请实施例的语音识别的架构示意图；
图7是根据本申请实施例的语音检错模型的检错流程示意图；
图8是根据本申请实施例的语言识别装置结构示意图一；
图9是根据本申请实施例的语言识别装置结构示意图二；
图10是用来实现本申请实施例的语音识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语"和/或"，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语"至少一种"表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语"第一"、"第二"表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
相关技术中，针对语音识别后处理的文本纠错的研究，大致可分为两类：一类是基于词汇句法特征的检错纠错方法，另一类是基于序列到序列模型的检测纠错方法。基于词汇句法特征的检错纠错方法的缺点至少包括：首先，获得包含语法树标签结构的训练集数据是靠大量人力完成的，标注成本同样比较昂贵；其次，模型中对语法分析的性能也难以避免的限制了文本检错及纠错的性能。近年来，随着深度学习、神经网络等技术的发展，更加主流的方法是将语音识别结果的检错及纠错任务视为序列到序列的转换任务，采用机器翻译的思想，把一个错误的句子通过序列到序列模型转为正确的句子，该方法的优点主要是，序列到序列模型的训练数据相对容易获得，最主要的是，可以将语音识别结果后处理的问题利用序列到序列模型去构建，能提高模型的泛化能力。序列到序列模型，是由基于卷积神经网络（Convolutional Neural Networks，CNN）以及循环神经网络（Recurrent NeuralNetwork，RNN）的编码-解码（encoder-decoder）组成，对于所有的源序列均进行转换，通过一个模型完成语音识别结果的检错及纠错任务。该方法取得了比基于词汇句法特征的检错纠错方法更好的效果。但是，该方法至少存在以下缺点：第一，语音识别结果的纠错任务，仅考虑到文本特征，未考虑到语音的特征，纠错正确率低。第二，通过一个模型完成检错以及纠错任务，模型的结构更加的复杂，需要的训练模型的数据量也更加庞大，因此，一个好的检错及纠错模型不易训练。第三，目前的语音识别结果字准确率通常能够达到80%以上，因此，大部分的识别文本是不需要纠正的，如果完全基于序列到序列模型，则有可能造成本来识别正确的结果又纠错，造成最终准确率下降。
基于此，本申请给出了语音识别文本的检错及纠错的方法。首先，我们针对语音识别结果纠错这一任务除了考虑到文本特征之外，还应该考虑到语音的特征这一特点，加入语音的特征。第二，我们对检错和纠错模型进行了拆分，先对识别结果的文本进行检错处理，然后再进行纠错。第三，我们在纠错模块只针对检错模型确定为错误的部分进行纠正。
下面结合附图对本申请的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请。
第一方面，本申请实施例提供一种语言识别方法，如图1所示，包括：
步骤S101：对目标语音进行识别，得到所述目标语音的识别文本；
步骤S102：基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征；
步骤S103：基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；
步骤S104：基于每个字的检测结果生成第一识别文本，其中，所述第一识别文本中包含所述识别文本中每个字及其对应的标记。
本申请实施例可以应用于电子设备，具体来说可以是终端设备或服务器。
上述步骤S101中，所述目标语音可以为任意一段待识别的语音，比如，可以是电子设备获取到的任意一段待识别的语音；这里，所述电子设备获取任意一段待识别的语音的方式，可以是通过电子设备的声音采集器获取，又或者，可以从其他电子设备获取。
上述步骤S102中，多个维度包括识别文本维度和目标语音维度。识别文本维度的特征包括字特征；目标语音维度的特征包括声学特征。
上述步骤S103中，每个字的检测结果包括每个是否被判定为错误的结果。需要说明的是，被判定为错误的字是有待纠正的字。
示例性地，识别文本为“我喜欢妈妈，妈妈我爱我”，最后一个“我”字被判定为错误。
步骤S104中，并不对标记的方式进行限定。比如，仅对被判定为错误的字做标记，对被判定为正确的字不做标记。又比如，既对被判定为错误的字做第一种标记，也对被判定为正确的字做第二种标记，第一种标记与第二种标记不同。
本实施例的技术方案，对目标语音进行识别，得到所述目标语音的识别文本；基于识别文本以及目标语音，确定识别文本中每个字的多个维度的特征；基于识别文本中每个字的多个维度的特征确定识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本；如此，结合识别文本维度以及音频维度对识别文本中每个字进行检错处理，能够准确地检测出识别文本中的错误部分，提升对识别文本的检错效果，且能够为后续纠正识别文本提供准确的数据基础，进而有助于通过对该错误部分进行纠正处理而得到更准确的识别文本，提升对识别文本的纠错效果。
在本申请实施例中，在实现上述任一方法的基础上，如图2所示，该方法还可以包括：
步骤S105：在所述第一识别文本包含标记为错误的第一类字的情况下，对所述第一类字进行纠正处理得到纠正后的第一类字；基于所述纠正后的第一类字以及所述第一识别文本中标记为正确或未被标记错误的第二类字，生成第二识别文本。
示例性地，第一识别文本包括“我喜欢妈妈，妈妈我爱我”，且最后一个“我”字被标记为错误，那么，最后一个“我”字即为第一类字，针对该字进行纠正，得到关于该字的纠正结果“你”，得到第二识别文本“我喜欢妈妈，妈妈我爱你”。
如此，针对第一识别文本中的第一类字进行纠正，不仅能够缩短由识别文本得到第二识别文本的周期，还能有针对性地进行纠正，提高纠正效率。
在一些实施方式中，对所述第一类字进行纠正处理得到纠正后的第一类字，包括：将所述第一类字对应的字特征向量统一替换为预设字特征向量；对所述预设字特征向量对应的所述第一类字进行纠正处理。
需要说明的是，所述预设字特征向量是用于标识待纠正的第一类字的向量。
如此，将第一识别文本中所有待纠正的第一类字的字特征向量统一替换为预设字特征向量，便于快速识别出第一类字，从而提高纠错效率。
在一些实施方式中，对所述预设字特征向量对应的所述第一类字进行纠正处理，包括：
基于所述第一识别文本中标记为正确或未被标记错误的第二类字的字特征向量对所述预设字特征向量对应的第一类字进行预测，得到所述预设字特征向量对应的目标字特征向量；
将所述预设字特征向量替换为所述目标字特征向量。
图3示出了对第一识别文本进行纠正的示意图，如图3所示，第一识别文本为“我MASK北京”，MASK为预设字特征向量，被标识为MASK的位置处的字需要被纠正，基于“我MASK北京”预测得到“MASK”位置处的字为“爱”，得到第二识别文本为“我爱北京”。
如此，基于第一识别文本中第二类字的字特征向量对预设字特征向量对应的第一类字的目标字特征向量进行预测，有助于根据已知的正确的语义预测出第一类字本该对应的字，能够提高纠错效果。
在本申请实施例中，在实现上述任一方法的基础上，如图4所示，基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征，包括：
步骤S102a：对识别文本进行处理，得到所述识别文本中每个字的字特征；
步骤S102b：基于目标语音，确定所述目标语音的音频中每个字的声学特征。
需要说明的是，本申请实施例并不对S102a和S102b的执行顺序进行限定，二者可以同时执行，也可以依次执行，比如，先执行步骤S102a，再执行步骤S102b；又比如，先执行步骤S102b，再执行步骤S102a。
如此，便于根据识别文本中每个字的字特征和声学特征确定所述识别文本中每个字的检测结果，相对于根据单一特征检测而言，提升检错效果。
如图4所示，所述基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征，还可以包括：
步骤S102c：将识别文本输入预设语言模型，得到所述预设语言模型输出的所述识别文本中每个字的困惑度特征。
需要说明的是，本申请实施例并不对S102a、S102b和S102c的执行顺序进行限定。三者可以同时执行，或者某两种同时执行，也可以按照顺序依次执行，比如执行顺序为：S102a、S102b、S102c；又比如，执行顺序为S102b、S102a、S102c；再比如，执行顺序为S102c、S102a、S102b；再比如，执行顺序为S102c、S102b、S102a；再比如，执行顺序为S102b、S102a、S102c；再比如，执行顺序为S102b、S102c、S102a。
如此，便于根据识别文本中每个字的字特征、声学特征和困惑度特征确定所述识别文本中每个字的检测结果，能够进一步提升检错效果。
在本申请实施例中，在实现上述任一方法的基础上，如图5所示，基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果，包括：
步骤S103a：将识别文本中每个字分别对应的表征所述字特征的字特征向量和表征声学特征的声学特征向量逐点相加，得到所述识别文本中每个字的混合特征向量；根据所述识别文本中每个字的所述混合特征向量确定所述识别文本中每个字为错误的第一概率值；
步骤S103b：根据所述识别文本中每个字的表征困惑度特征的困惑度特征向量确定所述识别文本中每个字为错误的第二概率值；
步骤S103c：根据所述识别文本中每个字的所述第一概率值和所述第二概率值，确定所述识别文本中每个字为错误的目标概率值；
步骤S103d：根据所述识别文本中每个字为错误的所述目标概率值，确定所述识别文本中将被标记为错误的第一类字。
本申请实施例并不对S103a和S103b的执行顺序进行限定，二者可以同时执行，也可以依次执行，比如，先执行步骤S103a，再执行步骤S103b；又比如，先执行步骤S103b，再执行步骤S103a。
在一些实施方式中，根据所述识别文本中每个字的所述第一概率值和所述第二概率值，确定所述识别文本中每个字为错误的目标概率值，包括：
根据所述识别文本中每个字的所述第一概率值和所述第二概率值，以及预设平衡因子，确定所述识别文本中每个字为错误的目标概率值。
示例性地，Final_score=a*Score_ngram + (1-a)Score_dnn，其中，a是平衡因子，Final_score表示目标概率值，Score_ngram表示第二概率值，Score_dnn表示第一概率值。需要说明的是，第一概率值与第二概率值的取值量级是相同的，比如，第一概率值的取值在[0，1]，第二概率值的取值也为[0，1]。
在一些实施方式中，根据所述识别文本中每个字为错误的目标概率值，确定所述识别文本中将被标记为错误的第一类字，包括：将所述识别文本中的所述目标概率值大于所述预设概率阈值的字，确定为所述识别文本中将被标记为错误的第一类字。
本申请实施例中，所述预设概率阈值可根据需求进行设定或调整。比如，根据检测精度或检测速度对预设概率阈值进行设定或调整。
如此，能够提升检测出的识别文本中为错误的字的正确率，提升对识别文本的检错效果。且能够为后续纠正识别文本提供准确的数据基础，进而有助于通过对该错误部分进行纠正处理而得到更准确的识别文本，提升对识别文本的纠错效果。
在本申请实施例中，在实现上述任一方法的基础上，基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本，包括：将所述识别文本中每个字的多个维度的特征输入语音识别模型中的语音检错模型，得到由所述语音检错模型输出的第一识别文本。
如此，通过训练好的语音检错模型对识别文本进行检错处理，执行操作简单，实现检错的自动化。
其中，训练所述语音检错模型的过程，包括：
将样本语音的样本识别文本中每个字的多个维度的特征，输入语音识别模型中的语音检错模型，得到所述语音检错模型对所述样本识别文本进行检错处理后的第一样本识别文本，所述第一样本识别文本包含所述样本识别文本中每个字及其对应的标记；
根据所述第一样本识别文本以及所述样本语音的真实识别文本对所述语音检错模型进行优化，得到训练好的所述语音检错模型。
如此，由于基于字进行语音检错模型的训练，能够提升训练好的语音检错模型的检错效果。
在本申请实施例中，在实现上述任一方法的基础上，在所述第一识别文本包含标记为错误的第一类字的情况下，对所述第一类字进行纠正处理得到纠正后的第一类字，基于所述纠正后的第一类字以及所述第一识别文本中标记为正确或未被标记错误的第二类字，生成第二识别文本，包括：将所述第一识别文本输入语音识别模型中的语音纠错模型，得到由所述语音纠错模型输出的第二识别文本。
如此，通过训练好的语音纠错模型对识别文本进行纠错处理，执行操作简单，实现纠错的自动化。
其中，训练所述语音纠错模型的过程包括：
将样本语音的第一样本识别文本输入所述语音识别模型中的语音纠错模型，得到所述语音纠错模型对所述第一样本识别文本中被标记为错误的第一类字进行纠正处理后的第二样本识别文本；所述第一样本识别文本包含所述样本语音的样本识别文本中每个字及其对应的标记；
根据所述第二样本识别文本以及所述样本语音的真实识别文本对所述语音纠错模型进行优化，得到训练好的所述语音纠错模型。
文本纠错是基于上下文的语义进行的，因此对于文本向量的编码要求较高，可采用Bert作为语音纠错模型的编码器，在语音纠错模型训练时，对于Bert部分进行微调，对于语音纠错模型的线性分类器（Linear-class）部分进行重头（from scratch）训练，从而预测掩码部分的字，最终输出全部的文本识别结果。
如此，根据第一样本识别文本进行语音纠错模型的训练，能够提升训练好的语音纠错模型的纠错效果。
图6示出了语音识别的架构示意图，从图6可以看出，该架构主要包括检错处理和纠错处理两大部分。其中，检错处理由语言检错模型来实现，语言检错模型的输入包括三大类：第一类是根据目标语音的识别文本得到的字特征向量；第二类是根据目标语音的音频得到的声学特征向量；第三类是预设语言模型如n-gram语言模型根据识别文本得到的困惑度特征向量。语言检错模型输出第一语言识别文本。纠错处理由语言纠错模型来实现，在纠错处理之前，先由掩码模块对第一识别文本中的被标记为错误的第一类字进行掩码处理，将第一识别文本中的被标记为错误的第一类字的字特征向量统一替换为预设字特征向量。语言纠错模型的输入是经过掩码处理后的第一识别文本，语言纠错模型的输出是第二识别文本。
应理解，图6所示的架构图为一种可选的具体实现方式，本领域技术人员可以基于图6的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。
图7示出了语音检错模型检错的流程示意图，从图7可以看出，该流程包括以下六大部分。
1. 针对音频进行声学特征提取。
Fbank特征是声学信号处理的主流音频特征，依据人发音的口齿唇舌等相关发音器官的变化，对音频进行的数值化描述。Fbank特征的提取是基于信号处理相关的数学推导计算得到，有较为成熟的音频特征提取工具。在得到Fbank特征后，选择Transformer模块对Fbank特征进行非线性变换，主要目的是通过Transformer模块，将Fbank特征加工为更加适合语音识别任务的高层数值化特征表示。Tranformer模块由N=6个相同的层（Layer）组成，每个Layer由两个子层（即Sub-Layer）组成，分别是多头自注意力机制（multi-head self-attention mechanism）机制的子层和全连接反馈网络（fully connected feed-forwardnetwork）子层。其中每个Sub-Layer都加了残差连接(residual connection)和正则化(normalisation)，因此可以将Transformer模块的输出表示为：
其中，x表示输入。
上述公式LayerNorm表示层的归一化，MultiHead代表多头机制，Concat代表拼接操作，headi表示第i个head的计算方式，Self_attention代表自注意力机制，在自注意力机制中，Q与K都是对应的同一个单词或者同一个句子，因此有Q=K，Q与KT相乘的结果，经过缩放因子与softmax函数之后，对应的就是各个词之间的相互关联程度，最后再与自身V相乘，就是送入下一层的加权后的结果。在Tranformer模块计算之后，通过CNN模块对Tranformer模块的输出进行下采样处理。下采样的目的是将多帧的声学特征表示通过CNN模块的计算缩减帧数，降到同识别文本相同的长度。CNN模块的计算采用一维卷机，在长度方向进行操作。用公式表示C l 为卷积操作，CNN在第L层的输出为：
最后，将CNN模块的输出输入到深度神经网络（Deep neural network，DNN）模块。
2. 针对识别文本进行字特征提取。
将识别文本按照单个汉字进行字特征向量的文本嵌入，目的是将汉字表示为向量用于后续数学推导计算。
示例性地，选择双向LSTM（Bi-LSTM）模型提取字特征向量。双向的LSTM是指按照从右往左的顺序、从左往右的顺序进行LSTM的计算，并将每一时刻前向、后向计算的结果进行相加。LSTM的结构能够解决RNN训练过程中梯度弥撒和梯度***等问题。
3. 将CNN模块输出的声学特征和Bi-LSTM模块输出的字特征输入到DNN模块中，DNN是一种前向计算的全连接神经网络，在输入部分，将CNN 模型块的输出声学特征向量与Bi-LSTM模块的输出字特征向量进行逐点相加计算；DNN输出句子序列中每个字的为错误的概率。
4. 预设语言模型是用统计学的方法计算句子符合语言学逻辑的概率模型。
示例性地，预设语言模型采用N-gram语言模型。N元组语言模型依赖于马尔科夫假设，假设句子中下一个字的出现只依赖于它前面的有限个字。N元语言模型通常被构造成一个字序列的概率分布 
,其中Wi表示句子中的一个字。
体现的是由W1,…,Wn组成的序列作为写入长时信息一个句子出现的概率。比如，在教育场景的语音识别中一段音频被声学模型翻译得到的拼音串是“zhierjiukeyiqiuyi”，对应的文字序列可以是“之二就可以球衣”，也可以是“知二就可以求一”。通过语言模型可以判断在语音识别输出文本的过程中前者在教学场景出现的概率很小，后者出现的概率较大。利用预设语言模型，可以确定哪个字序列出现的可能性更大，或者给定若干个字，可以预测下一个最可能出现的字。本申请采用大语料将N-gram 语言模型训练好，再将识别待纠错的文本进行困惑度打分。困惑度在预设语言模型中的意义可以描述为对于任意给定单词序列，下一个候选字的可选范围大小。困惑度越小，说明给定的文本序列越符合人说话的逻辑。反之，如果困惑度越大，则说明文本序列出错的可能性越大。在本申请中，我们是基于字进行预设语言模型的训练，在进行错误检测时也是基于字进行的困惑度打分。
5.衡量两个概率分布之间的相近程度通常是采用相对熵(Relative entropy)来计算。熵、交叉熵以及相对熵的定义如下所示：
其中，
和
是对随机变量分布的建模。
假设
是数据的真实分布，
是对其建模的分布。因为真实数据分布的熵
值是确定的，因而优化相对熵
等价于优化交叉熵
。对于文本序列S=W1,W2,…,Wn，可以计算得到对每个字的平均交叉熵为：
通过公式可以看出，交叉熵越小，模型的概率分布越接近真实数据分布。交叉熵描述的是样本的平均编码长度。在此基础上，定义困惑度(perplexity, PPL)：
一般情况下，为了计算方便工业界经常采用指数幂的计算方式：
6.将预设语言模型输出的字的概率值和DNN模块输出的字的概率值输入打分模块，由打分模块进行加权计算最终的目标概率值。若目标概率值超过预设概率阈值，则判断该字为错误。
如此，能够根据识别文本的字特征、声学特征以及预设语言模型输出的识别文本的困惑度特征，检查出识别文本中发生错误的位置。
作为对上述各方法的实现，本申请还提供了一种语音识别装置，如图8所示，所述装置包括：
识别单元801，用于对目标语音进行识别，得到所述目标语音的识别文本；
特征确定单元802，用于基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征；
检错单元803，用于基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本，其中，所述第一识别文本中包含所述识别文本中每个字及其对应的标记。
在一些实施例中，所述检错单元803，还用于：
基于每个字的检测结果确定每个字的标记；
根据所述识别文本中每个字及其对应的标记生成第一识别文本。
在一些实施例中，如图9所示，所述装置还可以包括：
纠错单元804，用于：
在所述第一识别文本包含标记为错误的第一类字的情况下，对所述第一类字进行纠正处理得到纠正后的第一类字；
基于所述纠正后的第一类字以及所述第一识别文本中标记为正确或未被标记错误的第二类字，生成第二识别文本。
在一些实施方式中，所述纠错单元804，用于：
将所述第一类字对应的字特征向量统一替换为预设字特征向量；
对所述预设字特征向量对应的所述第一类字进行纠正处理。
在一些实施例中，所述纠错单元804，用于：
基于所述第一识别文本中标记为正确或未被标记错误的第二类字的字特征向量对所述预设字特征向量对应的第一类字进行预测，得到所述预设字特征向量对应的目标字特征向量；
将所述预设字特征向量替换为所述目标字特征向量。
在一些实施例中，所述特征确定单元802，用于：
对所述识别文本进行处理，得到所述识别文本中每个字的字特征；
基于所述目标语音，确定所述目标语音的音频中每个字的声学特征。
在一些实施例中，所述特征确定单元802，还用于：
将所述识别文本输入预设语言模型，得到所述预设语言模型输出的所述识别文本中每个字的困惑度特征。
在一些实施例中，所述检错单元803，用于：
将所述识别文本中每个字分别对应的表征所述字特征的字特征向量和表征所述声学特征的声学特征向量逐点相加，得到所述识别文本中每个字的混合特征向量；根据所述识别文本中每个字的所述混合特征向量确定所述识别文本中每个字为错误的第一概率值；
根据所述识别文本中每个字的表征所述困惑度特征的困惑度特征向量确定所述识别文本中每个字为错误的第二概率值；
根据所述识别文本中每个字的所述第一概率值和所述第二概率值，确定所述识别文本中每个字为错误的目标概率值；
根据所述识别文本中每个字为错误的所述目标概率值，确定所述识别文本中将被标记为错误的第一类字。
在一些实施例中，所述检错单元803，用于：
将所述识别文本中的所述目标概率值大于所述预设概率阈值的字，确定为所述识别文本中将被标记为错误的第一类字。
在一些实施例中，所述检错单元803，用于将所述识别文本中每个字的多个维度的特征输入语音识别模型中的语音检错模型，得到由所述语音检错模型输出的第一识别文本。
在一些实施例中，所述纠错单元803，用于将所述第一识别文本输入语音识别模型中的语音纠错模型，得到由所述语音纠错模型输出的第二识别文本。
在一些实施例中，图9所示，所述装置还可以包括：
第一训练单805，用于：将样本语音的样本识别文本中每个字的多个维度的特征，输入语音识别模型中的语音检错模型，得到所述语音检错模型对所述样本识别文本进行检错处理后的第一样本识别文本，所述第一样本识别文本包含所述样本识别文本中每个字及其对应的标记；根据所述第一样本识别文本以及所述样本语音的真实识别文本对所述语音检错模型进行优化，得到训练好的所述语音检错模型。
在一些实施例中，图9所示，所述装置还可以包括：
第二训练单元806，用于：将样本语音的第一样本识别文本输入所述语音识别模型中的语音纠错模型，得到所述语音纠错模型对所述第一样本识别文本中被标记为错误的第一类字进行纠正处理后的第二样本识别文本；所述第一样本识别文本包含所述样本语音的样本识别文本中每个字及其对应的标记；根据所述第二样本识别文本以及所述样本语音的真实识别文本对所述语音纠错模型进行优化，得到训练好的所述语音纠错模型。
本申请实施例各装置中的各模块的功能可以参见上述语音识别方法中的对应描述，在此不再赘述。
本申请所述的语音识别装置，能够提高对语音识别结果进行检查以及纠正的正确率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的电子设备的框图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器***）。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语言识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语言识别方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语言识别方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语言识别方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (22)
1.一种语音识别方法，其特征在于，所述方法包括：
对目标语音进行识别，得到所述目标语音的识别文本；
基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征；
基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；
基于每个字的检测结果生成第一识别文本，其中，所述第一识别文本中包含所述识别文本中每个字及其对应的标记。
2.根据权利要求1所述的方法，其特征在于，所述基于每个字的检测结果生成第一识别文本，包括：
基于每个字的检测结果确定每个字的标记；
根据所述识别文本中每个字及其对应的标记生成第一识别文本；
其中，所述方法还包括：
在所述第一识别文本包含标记为错误的第一类字的情况下，对所述第一类字进行纠正处理得到纠正后的第一类字；
基于所述纠正后的第一类字以及所述第一识别文本中标记为正确或未被标记错误的第二类字，生成第二识别文本。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一类字进行纠正处理得到纠正后的第一类字，包括：
将所述第一类字对应的字特征向量统一替换为预设字特征向量；
对所述预设字特征向量对应的所述第一类字进行纠正处理。
4.根据权利要求3所述的方法，其特征在于，所述对所述预设字特征向量对应的所述第一类字进行纠正处理，包括：
基于所述第一识别文本中标记为正确或未被标记为错误的第二类字的字特征向量对所述预设字特征向量对应的第一类字进行预测，得到所述预设字特征向量对应的目标字特征向量；
将所述预设字特征向量替换为所述目标字特征向量。
5.根据权利要求1所述的方法，其特征在于，所述基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征，包括：
对所述识别文本进行处理，得到所述识别文本中每个字的字特征；
基于所述目标语音，确定所述目标语音的音频中每个字的声学特征。
6.根据权利要求5所述的方法，其特征在于，所述基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征，还包括：
将所述识别文本输入预设语言模型，得到所述预设语言模型输出的所述识别文本中每个字的困惑度特征。
7.根据权利要求1所述的方法，其特征在于，所述基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果，包括：
根据所述识别文本中每个字的多个维度的特征，确定所述识别文本中每个字为错误的目标概率值；
根据所述识别文本中每个字为错误的所述目标概率值，确定所述识别文本中将被标记为错误的第一类字。
8.根据权利要求7所述的方法，其特征在于，所述根据所述识别文本中每个字的多个维度的特征，确定所述识别文本中每个字为错误的目标概率值，包括：将所述识别文本中每个字分别对应的表征字特征的字特征向量和表征声学特征的声学特征向量逐点相加，得到所述识别文本中每个字的混合特征向量；根据所述识别文本中每个字的所述混合特征向量确定所述识别文本中每个字为错误的第一概率值；
根据所述识别文本中每个字的表征困惑度特征的困惑度特征向量确定所述识别文本中每个字为错误的第二概率值；
根据所述识别文本中每个字的所述第一概率值和所述第二概率值，确定所述识别文本中每个字为错误的目标概率值。
9.根据权利要求1至8任一项所述的方法，其特征在于，基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本，包括：
将所述识别文本中每个字的多个维度的特征输入语音识别模型中的语音检错模型，得到由所述语音检错模型输出的第一识别文本；
其中，训练所述语音检错模型的过程，包括：
将样本语音的样本识别文本中每个字的多个维度的特征，输入语音识别模型中的语音检错模型，得到所述语音检错模型对所述样本识别文本进行检错处理后的第一样本识别文本，所述第一样本识别文本包含所述样本识别文本中每个字及其对应的标记；
根据所述第一样本识别文本以及所述样本语音的真实识别文本对所述语音检错模型进行优化，得到训练好的所述语音检错模型。
10.根据权利要求2至4任一项所述的方法，其特征在于，在所述第一识别文本包含标记为错误的第一类字的情况下，对所述第一类字进行纠正处理得到纠正后的第一类字，基于所述纠正后的第一类字以及所述第一识别文本中标记为正确或未被标记错误的第二类字，生成第二识别文本，包括：
将所述第一识别文本输入语音识别模型中的语音纠错模型，得到由所述语音纠错模型输出的第二识别文本；
训练所述语音纠错模型的过程包括：
将样本语音的第一样本识别文本输入所述语音识别模型中的语音纠错模型，得到所述语音纠错模型对所述第一样本识别文本中被标记为错误的第一类字进行纠正处理后的第二样本识别文本；所述第一样本识别文本包含所述样本语音的样本识别文本中每个字及其对应的标记；
根据所述第二样本识别文本以及所述样本语音的真实识别文本对所述语音纠错模型进行优化，得到训练好的所述语音纠错模型。
11.一种语音识别装置，其特征在于，所述装置包括：
识别单元，用于对目标语音进行识别，得到所述目标语音的识别文本；
特征确定单元，用于基于所述识别文本以及所述目标语音，确定所述识别文本中每个字的多个维度的特征；
检错单元，用于基于所述识别文本中每个字的多个维度的特征确定所述识别文本中每个字的检测结果；基于每个字的检测结果生成第一识别文本，其中，所述第一识别文本中包含所述识别文本中每个字及其对应的标记。
12.根据权利要求11所述的装置，其特征在于，所述检错单元，还用于：
基于每个字的检测结果确定每个字的标记；
根据所述识别文本中每个字及其对应的标记生成第一识别文本；
其中，所述装置还包括：
纠错单元，用于：
在所述第一识别文本包含标记为错误的第一类字的情况下，对所述第一类字进行纠正处理得到纠正后的第一类字；
基于所述纠正后的第一类字以及所述第一识别文本中标记为正确或未被标记错误的第二类字，生成第二识别文本。
13.根据权利要求12所述的装置，其特征在于，所述纠错单元，用于：
将所述第一类字对应的字特征向量统一替换为预设字特征向量；
对所述预设字特征向量对应的所述第一类字进行纠正处理。
14.根据权利要求13所述的装置，其特征在于，所述纠错单元，用于：
基于所述第一识别文本中标记为正确或未被标记为错误的第二类字的字特征向量对所述预设字特征向量对应的第一类字进行预测，得到所述预设字特征向量对应的目标字特征向量；
将所述预设字特征向量替换为所述目标字特征向量。
15.根据权利要求11所述的装置，其特征在于，所述特征确定单元，用于：
对所述识别文本进行处理，得到所述识别文本中每个字的字特征；
基于所述目标语音，确定所述目标语音的音频中每个字的声学特征。
16.根据权利要求15所述的装置，其特征在于，所述特征确定单元，还用于：
将所述识别文本输入预设语言模型，得到所述预设语言模型输出的所述识别文本中每个字的困惑度特征。
17.根据权利要求11所述的装置，其特征在于，所述检错单元，还用于：
根据所述识别文本中每个字的多个维度的特征，确定所述识别文本中每个字为错误的目标概率值；
根据所述识别文本中每个字为错误的所述目标概率值，确定所述识别文本中将被标记为错误的第一类字。
18.根据权利要求17所述的装置，其特征在于，所述检错单元，还用于：
将所述识别文本中每个字分别对应的表征字特征的字特征向量和表征声学特征的声学特征向量逐点相加，得到所述识别文本中每个字的混合特征向量；根据所述识别文本中每个字的所述混合特征向量确定所述识别文本中每个字为错误的第一概率值；
根据所述识别文本中每个字的表征困惑度特征的困惑度特征向量确定所述识别文本中每个字为错误的第二概率值；
根据所述识别文本中每个字的所述第一概率值和所述第二概率值，确定所述识别文本中每个字为错误的目标概率值。
19.根据权利要求11至18任一项所述的装置，其特征在于，所述检错单元，用于将所述识别文本中每个字的多个维度的特征输入语音识别模型中的语音检错模型，得到由所述语音检错模型输出的第一识别文本；
其中，所述装置还包括：
第一训练单元，用于：将样本语音的样本识别文本中每个字的多个维度的特征，输入语音识别模型中的语音检错模型，得到所述语音检错模型对所述样本识别文本进行检错处理后的第一样本识别文本，所述第一样本识别文本包含所述样本识别文本中每个字及其对应的标记；根据所述第一样本识别文本以及所述样本语音的真实识别文本对所述语音检错模型进行优化，得到训练好的所述语音检错模型。
20.根据权利要求12至14任一项所述的装置，其特征在于，所述纠错单元，用于将所述第一识别文本输入语音识别模型中的语音纠错模型，得到由所述语音纠错模型输出的第二识别文本；
其中，所述装置还包括：
第二训练单元，用于：
将样本语音的第一样本识别文本输入所述语音识别模型中的语音纠错模型，得到所述语音纠错模型对所述第一样本识别文本中被标记为错误的第一类字进行纠正处理后的第二样本识别文本；所述第一样本识别文本包含所述样本语音的样本识别文本中每个字及其对应的标记；根据所述第二样本识别文本以及所述样本语音的真实识别文本对所述语音纠错模型进行优化，得到训练好的所述语音纠错模型。
21.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110222451.XA CN112599129B (zh) | 2021-03-01 | 2021-03-01 | 语音识别方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110222451.XA CN112599129B (zh) | 2021-03-01 | 2021-03-01 | 语音识别方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112599129A CN112599129A (zh) | 2021-04-02 |
| CN112599129B true CN112599129B (zh) | 2021-05-28 |
Family
ID=75207819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110222451.XA Active CN112599129B (zh) | 2021-03-01 | 2021-03-01 | 语音识别方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112599129B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449090A (zh) * | 2021-06-23 | 2021-09-28 | 山东新一代信息产业技术研究院有限公司 | 一种用于智能问答的纠错方法、设备及介质 |
| CN113990302B (zh) * | 2021-09-14 | 2022-11-25 | 北京左医科技有限公司 | 电话随访语音识别方法、装置及*** |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6076056A (en) * | 1997-09-19 | 2000-06-13 | Microsoft Corporation | Speech recognition system for recognizing continuous and isolated speech |
| CN106815193A (zh) * | 2015-11-27 | 2017-06-09 | 北京国双科技有限公司 | 模型训练方法及装置和错别字识别方法及装置 |
| CN108615526B (zh) * | 2018-05-08 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 语音信号中关键词的检测方法、装置、终端及存储介质 |
| CN108831479A (zh) * | 2018-06-27 | 2018-11-16 | 努比亚技术有限公司 | 一种语音识别方法、终端及计算机可读存储介质 |
| CN112151014B (zh) * | 2020-11-04 | 2023-07-21 | 平安科技（深圳）有限公司 | 语音识别结果的测评方法、装置、设备及存储介质 |
-
2021
- 2021-03-01 CN CN202110222451.XA patent/CN112599129B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112599129A (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110704621B (zh) | 文本处理方法、装置及存储介质和电子设备 | |
| US11972365B2 (en) | Question responding apparatus, question responding method and program | |
| CN111144507B (zh) | 情感分析模型预训练方法、装置及电子设备 | |
| CN113836277A (zh) | 用于数字助理的机器学习*** | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| CN114722839B (zh) | 人机协同对话交互***及方法 | |
| Simonnet et al. | Simulating ASR errors for training SLU systems | |
| CN114092707A (zh) | 一种图像文本视觉问答方法、***及存储介质 | |
| CN112037773B (zh) | 一种n最优口语语义识别方法、装置及电子设备 | |
| CN111625634A (zh) | 词槽识别方法及装置、计算机可读存储介质、电子设备 | |
| CN112599129B (zh) | 语音识别方法、装置、设备和存储介质 | |
| CN114416943B (zh) | 对话模型的训练方法、装置、电子设备及存储介质 | |
| CN115357719B (zh) | 基于改进bert模型的电力审计文本分类方法及装置 | |
| CN111488455A (zh) | 模型训练的方法、文本分类的方法、***、设备及介质 | |
| CN114360504A (zh) | 音频处理方法、装置、设备、程序产品及存储介质 | |
| CN114707492A (zh) | 融合多粒度特征的越南语语法错误纠正方法及装置 | |
| CN113947072A (zh) | 一种文本纠错方法及文本纠错装置 | |
| CN117437916A (zh) | 巡检机器人导航***及方法 | |
| CN115240712A (zh) | 一种基于多模态的情感分类方法、装置、设备及存储介质 | |
| CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 | |
| CN114896966A (zh) | 一种中文文本语法错误定位方法、***、设备及介质 | |
| CN115630652A (zh) | 客服会话情感分析***、方法及计算机*** | |
| CN113012685B (zh) | 音频识别方法、装置、电子设备及存储介质 | |
| CN113990351A (zh) | 纠音方法、纠音装置及非瞬时性存储介质 | |
| CN110930979B (zh) | 一种语音识别模型训练方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |