CN113327586A - 一种语音识别方法、装置、电子设备以及存储介质 - Google Patents
一种语音识别方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113327586A CN113327586A CN202110610069.6A CN202110610069A CN113327586A CN 113327586 A CN113327586 A CN 113327586A CN 202110610069 A CN202110610069 A CN 202110610069A CN 113327586 A CN113327586 A CN 113327586A
- Authority
- CN
- China
- Prior art keywords
- audio
- audio signal
- phoneme sequence
- data
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000005236 sound signal Effects 0.000 claims abstract description 95
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000010183 spectrum analysis Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 79
- 238000001228 spectrum Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种语音识别方法，包括：获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的梅尔倒谱图；利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。此外，本申请还提供一种语音识别装置、电子设备以及计算机可读存储介质。本申请可以提高语音识别的准确率。
Description
技术领域
本申请涉及人工智能领域，尤其涉及一种语音识别方法、装置、电子设备以及计算机可读存储介质。
背景技术
近年来，机器学习发展迅猛，语音识别任务在深度学习的背景下发生巨大突破，虽然传统的语音识别框架，已经可以实现稳定的工业化识别，然而随着深度学习的引入，处于智能大数据时代的人们，已经不再满足于有限的模型精度，人们希望语音识别能够处理更加复杂的数据。
目前，通常采用基于注意力机制的语音识别模型实现语音识别，由于基于注意力机制的语音识别模型对待识别语音的数据质量要求极高，然而在实际业务场景中，会产生不同的噪音环境的待识别语音数据，比如口音方言、嘈杂、远场等场景的数据，这样会影响基于注意力机制的语音识别模型的语音识别能力，从而会影响语音识别的准确率。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种语音识别方法、装置、电子设备以及计算机可读存储介质，可以提高语音识别的准确率。
第一方面，本申请提供了一种语音识别方法，包括：
获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的所述音频数据的梅尔倒谱图；
利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
可以看出，本申请首先基于音频数据的频谱分析，可以提取出所述音频数据的特征数据，从而降低所述音频数据的复杂度，进而可以提高后续音频数据的分析准确率；其次，本申请通过预先训练好的音频识别模型执行音频数据的梅尔倒谱图的特征提取及音素识别，即采用端到端的音频数据的音素序列识别，可以增强所述音频识别模型对复杂的音频数据的抗干扰性，进一步提高音频数据的分析准确率。因此，与现有技术相比，本申请可以增强模型对音频数据的抗干扰性，提高语音识别的准确率。
在第一方面的一种可能实现方式中，所述对所述音频数据进行频谱分析，生成所述音频数据的梅尔倒谱图，包括：
对所述音频数据进行预处理，并将预处理后的音频数据进行短时傅里叶变换，得到所述音频数据的声谱图；
对所述声谱图进行梅尔谱滤波，并将梅尔谱滤波后的声谱图进行倒谱分析，得到所述音频数据的初始梅尔倒谱图；
对所述初始梅尔倒谱图进行离散变换，得到所述音频数据的梅尔倒谱图。
在第一方面的一种可能实现方式中，所述利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取之前，还包括：
获取训练倒谱图及对应的第一特征音频信号，从所述第一特征音频信号中提取音素序列，得到第一音素序列；
对所述训练倒谱图进行频谱增强，将频谱增强后的训练倒谱图和所述训练倒谱图作为模型训练数据；
将所述模型训练数据输入所述音频识别模型的卷积模块中，以输出所述模型训练数据的第二特征音频信号，并利用所述音频识别模型的音素识别模块识别所述第二特征音频信号的第二音素序列；
根据所述第一特征音频信号、第二特征音频信号、第一音素序列以及第二音素序列，计算所述音频识别模型的训练损失；
若所述训练损失不满足预设条件，调整所述音频识别模型的参数，并返回将所述模型训练数据输入所述音频识别模型的卷积模块中的步骤；
若所述训练损失满足预设条件，得到训练好的音频识别模型。
在第一方面的一种可能实现方式中，所述将所述模型训练数据输入所述音频识别模型的卷积模块中，以输出所述模型训练数据的第二特征音频信号，包括：
利用所述卷积模块中的卷积层对所述模型训练数据进行卷积操作，得到初始特征音频信号；
利用所述卷积模块中的线性整流层对所述初始特征音频信号进行线性调整；
利用卷积模块中的池化层对线性调整后的初始特征音频信号进行降维；
利用所述卷积模块中的全连接层输出降维后的初始特征音频信号，得到第一特征音频信号。
在第一方面的一种可能实现方式中所述利用所述音频识别模型的音素识别模块识别所述第二特征音频信号的第二音素序列，包括：
利用所述音素识别模块中的输入层接收所述第二特征音频信号，并设置所述第二特征音频信号的延时数据；
根据所述延时数据，利用所述音素识别模块中的隐藏层提取所述第二特征音频信号的音素序列；
利用所述音素识别模块中的输出层输出提取的音素序列，得到第二音素序列。
在第一方面的一种可能实现方式中，所述根据所述第一特征音频信号、第二特征音频信号、第一音素序列以及第二音素序列，计算所述音频识别模型的训练损失，包括：
根据所述第一特征音频信号及第二特征音频信号，计算所述音频识别模型的第一训练损失；
根据所述第一音素序列以及第二音素序列，计算所述音频识别模型的第二训练损失；
根据所述第一训练损失和第二训练损失，计算所述音频识别模型的训练损失。
在第一方面的一种可能实现方式中，所述对所述音素序列进行文字提取，包括：
计算从所述音素序列的文字生成概率；
根据所述文字生成概率，识别所述音素序列之间的文字信息关系，根据所述文字信息关系，生成对应的文字。
第二方面，本申请提供了一种语音识别装置，包括：
频谱分析模块，用于获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的所述音频数据的梅尔倒谱图；
音素序列识别模块，用于利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
文字提取模块，用于对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
第三方面，本申请提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，以使所述至少一个处理器能够执行如上述第一方面中任意一项所述的语音识别方法。
第四方面，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任意一项所述的语音识别方法。
上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的一种语音识别方法的详细流程示意图；
图2为本申请一实施例中图1提供的一种语音识别方法的其中一个步骤流程示意图；
图3为为本申请一实施例中图1提供的一种语音识别方法的另外一个步骤流程示意图；
图4为本申请一实施例中图1提供的一种语音识别方法的又一个步骤详细流程示意图；
图5为本申请一实施例提供的一种语音识别装置的模块示意图；
图6为本申请一实施例提供的实现语音识别方法的电子设备的内部结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1所示的流程图描述了本申请一实施例提供的语音识别方法。
其中，图1中描述的方法包括：
S1、获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的梅尔倒谱图。
本申请实施例中，所述音频数据是指数字化的声音数据，包括：语音、声乐以及其它声音，如用户发出的语音、钢琴演奏的声乐及物体碰撞发出的其它声音。
作为本申请的其中一个实施例，参阅图2所示，所述对所述音频数据进行频谱分析，生成所述音频数据的梅尔倒谱图，包括：
S20、对所述音频数据进行预处理，并将预处理后的音频数据进行短时傅里叶变换，得到所述音频数据的声谱图；
S21、对所述声谱图进行梅尔谱滤波，并将梅尔谱滤波后的声谱图进行倒谱分析，得到所述音频数据的初始梅尔倒谱图；
S22、对所述初始梅尔倒谱图进行离散变换，得到所述音频数据的梅尔倒谱图。
本申请的其中一个实施例，所述对所述音频数据进行预处理，包括：对所述音频数据进行分帧，将分帧后的音频数据进行加窗。其中，所述分帧是指将所述音频数据的信号分割成一帧一帧的音频信号的过程，用于将长音频信号分割成短音频信号，通常取10-30ms为一帧，所述加窗用于消除分帧后的信号两端不连续现象。
本申请的其中一个实施例，所述短时傅里叶变换是指对短时的信号做傅里叶变化的过程，用于将音频数据的信号从时域转变为频域，从而分析出音频数据的信号变化情况，可选的，利用下述公式将预处理后的音频数据进行短时傅里叶变换：
其中，F(ω)表示声谱图，f(t)表示预处理后的音频数据数，e表示无线不循环小数。
本申请的其中一个实施例，所述梅尔谱滤波用于屏蔽声音图中不符合预设频率范围的声音信号，以得到符合人耳听觉习惯的声谱图，所述倒谱分析是指对音频数据的声谱图进行再次频谱分析，以抽取声谱图的轮廓信息，得到所述音频数据的特征数据。可选的，本申请通过Mel滤波器组执行所述声谱图的梅尔谱滤波，所述预设频率范围为200HZ-500HZ，所述倒谱分析通过对梅尔谱滤波后的声谱图取对数实现。
本申请的其中一个实施例，所述离散变换用于对初始梅尔倒谱图进行图像压缩，以实现初始梅尔倒谱图的降维，从而提高后续图像的处理速度。
S2、利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列。
本申请实施例中，所述音频识别模型包括卷积模块和音素识别模块，所述卷积模块用于提取所述梅尔倒谱图中的特征音频信号，所述音素识别模块用于识别提取的特征音频信号的音素序列。
本申请的其中一个实施例，所述卷积模块通过卷积神经网络构建，包括卷积层、线性整流层、池化层以及全连接层，所述卷积层用于提取输入的梅尔倒谱图的不同特征音频信号，如边缘、线角等层级音频信号，所述线性整流层通过线性整流作为激活函数，可以增强判定函数和整个神经网络的非线性特性，从而提高神经网络的训练速度，所述池化层用于对卷积层提取的特征音频信号进行降维，将卷积层提取的特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征音频信号，所述全连接层把所有局部特征结合变成全局特征，从而输出特征音频信号。
本申请的其中一个实施例，所述音素识别模块通过时间延迟神经网络构建，包括输入层、隐藏层以及输出层，所述输入层用于接收卷积模块传输的特征音频信号，所述隐藏层通过设置延时，识别输入的特征音频信号之间的权值，以抽取特征音频信号符合条件的音素序列，所述输出层用于输出隐藏层抽取的音素序列。
进一步地，本申请实施例中，在所述利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取之前，还包括：对音频识别模型的训练。
具体的，参阅图3所示，所述对音频识别模型的训练，包括：
S30、获取训练倒谱图及对应的第一特征音频信号，从所述第一特征音频信号中提取音素序列，得到第一音素序列；
S31、对所述训练倒谱图进行频谱增强，将频谱增强后的训练倒谱图和所述训练倒谱图作为模型训练数据；
S32、将所述模型训练数据输入所述音频识别模型的卷积模块中，以输出所述模型训练数据的第二特征音频信号，并利用所述音频识别模型的音素识别模块识别所述第二特征音频信号的第二音素序列；
S33、根据所述第一特征音频信号、第二特征音频信号、第一音素序列以及第二音素序列，计算所述音频识别模型的训练损失；
S34、若所述训练损失不满足预设条件，调整所述音频识别模型的参数，并返回将所述模型训练数据输入所述音频识别模型的卷积模块中的步骤；
S35、若所述训练损失满足预设条件，得到训练好的音频识别模型。
一个可选实施例中，所述第一特征音频信号用于作为后续模型训练得到的特征音频信号的真实标签，所述第一音素序列用于作为后续模型训练得到的音素序列的真实标签，基于所述第一特征音频信号和所述第一音素序列可以监督后续模型的学习效果，提高模型整体的识别能力。
一个可选实施例中，所述频谱增强用于提高训练倒谱图的数量，以增加后续模型训练的训练数据，从而提高模型整体的鲁棒性，本申请实施例通过改变训练倒谱图的时域信号、频域通道以及时域通道，以实现训练倒谱图的频谱增强，需要说明的是，在对所述训练倒谱图进行增强后，其对应的特征音频信号保持不变。
一个可选实施例中，所述将所述模型训练数据输入所述音频识别模型的卷积模块中，以输出所述模型训练数据的第二特征音频信号，包括：利用所述卷积模块中的卷积层对所述模型训练数据进行卷积操作，得到初始特征音频信号，利用所述卷积模块中的线性整流层对所述初始特征音频信号进行线性调整，并利用卷积模块中的池化层对线性调整后的初始特征音频信号进行降维，通过所述卷积模块中的全连接层输出降维后的初始特征音频信号，得到第一特征音频信号。
一个可选实施例中，所述利用所述音频识别模型的音素识别模块识别所述第二特征音频信号的第二音素序列，包括：利用所述音素识别模块中的输入层接收所述第二特征音频信号，并设置所述第二特征音频信号的延时数据，根据所述延时数据，利用所述音素识别模块中的隐藏层提取所述第二特征音频信号的音素序列，利用所述音素识别模块中的输出层输出提取的音素序列，得到第二音素序列。
一个可选实施例中，参阅图4所示，所述S33包括：
S40、根据所述第一特征音频信号及第二特征音频信号，计算所述音频识别模型的第一训练损失；
S41、根据所述第一音素序列以及第二音素序列，计算所述音频识别模型的第二训练损失；
S42、根据所述第一训练损失和第二训练损失，计算所述音频识别模型的训练损失。
在本申请的一个可选实施例中，根据下述公式计算所述第一训练损失：
LC＝mglogmp+(1-mg)log(1-mp)
其中，LC表示第一训练损失，mg表示第一特征音频信号，mp表示第二特征音频信号。
在本申请的一个可选实施例中，根据下述公式计算所述第二训练损失：
L1＝|αp-αg|
其中，L1表示第二训练损失，αg表示第一音素序列，αp表示第二音素序列。
在本申请的一个可选实施例中，将所述第一训练损失和所述第二训练损失进行相加，得到所述音频识别模型的训练损失即L＝L1+LC。
在本申请的一个可选实施例中，所述预设条件包括所述训练损失小于损失阈值。即当所述训练损失小于所述损失阈值时，则表示所述训练损失满足所述预设条件时，当所述训练损失大于或者等于所述损失阈值时，则表示所述训练损失不满足所述预设条件时。其中，所述损失阈值可以设置为0.1，也可以根据实际场景设置。进一步地，所述音频识别模型的参数调整可以通过梯度下降算法实现，如随机下降算法。
S3、对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
本申请实施例通过对所述音素序列进行文字提取，以识别出所述音频数据的音频识别结果。在本身的其中一个实施例，采用语言模型对所述音素序列进行文字提取，所述语言模型是根据语言客观事实而进行的语言抽象数学建模，用于识别音素序列对应的文字信息关系。
详细地，所述采用语言模型对所述音素序列进行文字提取，包括：利用所述语言模型计算从所述音素序列的文字生成概率，根据所述文字生成概率，识别所述音素序列之间的文字信息关系，根据所述文字信息关系，生成对应的文字。其中，所述文字生成概率是指所述音素序列生成文字的分布概率，所述文字信息关系是指任意两个或两个以上音素序列可以组成文字的关系。
本申请首先基于音频数据的频谱分析，可以提取出所述音频数据的特征数据，从而降低所述音频数据的复杂度，进而可以提高后续音频数据的分析准确率；其次，本申请通过预先训练好的音频识别模型执行音频数据的梅尔倒谱图的特征提取及音素识别，即采用端到端的音频数据的音素序列识别，可以增强所述音频识别模型对复杂的音频数据的抗干扰性，进一步提高音频数据的分析准确率。
如图5所示，是本申请语音识别装置的功能模块图。
本申请所述语音识别装置500可以安装于电子设备中。根据实现的功能，所述语音识别装置可以包括频谱分析模块501、音素序列识别模块502以及文字提取模块503。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述频谱分析模块501，用于获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的所述音频数据的梅尔倒谱图；
所述音素序列识别模块502，用于利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
所述文字提取模块503，用于对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
详细地，本申请实施例中所述语音识别装置500中的所述各模块在使用时采用与上述的图1至图4中所述的语音识别方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图6所示，是本申请实现语音识别方法的电子设备的结构示意图。
所述电子设备6可以包括处理器60、存储器61和总线，还可以包括存储在所述存储器61中并可在所述处理器60上运行的计算机程序，如语音识别程序62。
其中，所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器61在一些实施例中可以是电子设备6的内部存储单元，例如该电子设备6的移动硬盘。所述存储器61在另一些实施例中也可以是电子设备6的外部存储设备，例如电子设备6上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括电子设备6的内部存储单元也包括外部存储设备。所述存储器61不仅可以用于存储安装于电子设备6的应用软件及各类数据，例如语音识别程序62的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器60在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器60是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器61内的程序或者模块(例如执行语音识别程序62等)，以及调用存储在所述存储器61内的数据，以执行电子设备6的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器61以及至少一个处理器60等之间的连接通信。
图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并不构成对所述电子设备6的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备6还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器60逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备6还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备6还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备6与其他电子设备之间建立通信连接。
可选地，该电子设备6还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备6中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备6中的所述存储器61存储的语音识别62是多个计算机程序的组合，在所述处理器60中运行时，可以实现：
获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的所述音频数据的梅尔倒谱图；
利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
具体地，所述处理器60对上述计算机程序的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备6集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本申请还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的所述音频数据的梅尔倒谱图；
利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种语音识别方法，其特征在于，所述方法包括：
获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的梅尔倒谱图；
利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
2.如权利要求1所述的语音识别方法，其特征在于，所述对所述音频数据进行频谱分析，生成所述音频数据的梅尔倒谱图，包括：
对所述音频数据进行预处理，并将预处理后的音频数据进行短时傅里叶变换，得到所述音频数据的声谱图；
对所述声谱图进行梅尔谱滤波，并将梅尔谱滤波后的声谱图进行倒谱分析，得到所述音频数据的初始梅尔倒谱图；
对所述初始梅尔倒谱图进行离散变换，得到所述音频数据的梅尔倒谱图。
3.如权利要求1所述的语音识别方法，其特征在于，所述利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取之前，还包括：
获取训练倒谱图及对应的第一特征音频信号，从所述第一特征音频信号中提取音素序列，得到第一音素序列；
对所述训练倒谱图进行频谱增强，将频谱增强后的训练倒谱图和所述训练倒谱图作为模型训练数据；
将所述模型训练数据输入所述音频识别模型的卷积模块中，以输出所述模型训练数据的第二特征音频信号，并利用所述音频识别模型的音素识别模块识别所述第二特征音频信号的第二音素序列；
根据所述第一特征音频信号、第二特征音频信号、第一音素序列以及第二音素序列，计算所述音频识别模型的训练损失；
若所述训练损失不满足预设条件，调整所述音频识别模型的参数，并返回将所述模型训练数据输入所述音频识别模型的卷积模块中的步骤；
若所述训练损失满足预设条件，得到训练好的音频识别模型。
4.如权利要求3所述的语音识别方法，其特征在于，所述将所述模型训练数据输入所述音频识别模型的卷积模块中，以输出所述模型训练数据的第二特征音频信号，包括：
利用所述卷积模块中的卷积层对所述模型训练数据进行卷积操作，得到初始特征音频信号；
利用所述卷积模块中的线性整流层对所述初始特征音频信号进行线性调整；
利用卷积模块中的池化层对线性调整后的初始特征音频信号进行降维；
利用所述卷积模块中的全连接层输出降维后的初始特征音频信号，得到第一特征音频信号。
5.如权利要求3所述的语音识别方法，其特征在于，所述利用所述音频识别模型的音素识别模块识别所述第二特征音频信号的第二音素序列，包括：
利用所述音素识别模块中的输入层接收所述第二特征音频信号，并设置所述第二特征音频信号的延时数据；
根据所述延时数据，利用所述音素识别模块中的隐藏层提取所述第二特征音频信号的音素序列；
利用所述音素识别模块中的输出层输出提取的音素序列，得到第二音素序列。
6.如权利要求3所述的语音识别方法，其特征在于，所述根据所述第一特征音频信号、第二特征音频信号、第一音素序列以及第二音素序列，计算所述音频识别模型的训练损失，包括：
根据所述第一特征音频信号及第二特征音频信号，计算所述音频识别模型的第一训练损失；
根据所述第一音素序列以及第二音素序列，计算所述音频识别模型的第二训练损失；
根据所述第一训练损失和第二训练损失，计算所述音频识别模型的训练损失。
7.如权利要求1至6中任意一项所述的语音识别方法，其特征在于，所述对所述音素序列进行文字提取，包括：
计算从所述音素序列的文字生成概率；
根据所述文字生成概率，识别所述音素序列之间的文字信息关系，根据所述文字信息关系，生成对应的文字。
8.一种语音识别装置，其特征在于，包括：
频谱分析模块，用于获取音频数据，对所述音频数据进行频谱分析，生成所述音频数据的所述音频数据的梅尔倒谱图；
音素序列识别模块，用于利用预先训练好的音频识别模型对所述梅尔倒谱图进行特征提取，得到特征音频信号，并识别所述特征音频信号的音素序列；
文字提取模块，用于对所述音素序列进行文字提取，将文字提取的结果作为所述音频数据的识别结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的语音识别方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的语音识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110610069.6A CN113327586B (zh) | 2021-06-01 | 2021-06-01 | 一种语音识别方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110610069.6A CN113327586B (zh) | 2021-06-01 | 2021-06-01 | 一种语音识别方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327586A true CN113327586A (zh) | 2021-08-31 |
| CN113327586B CN113327586B (zh) | 2023-11-28 |
Family
ID=77423260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110610069.6A Active CN113327586B (zh) | 2021-06-01 | 2021-06-01 | 一种语音识别方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327586B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763952A (zh) * | 2021-09-03 | 2021-12-07 | 深圳市北科瑞声科技股份有限公司 | 一种动态语音识别方法、装置、电子设备以及存储介质 |
| CN113808577A (zh) * | 2021-09-18 | 2021-12-17 | 平安银行股份有限公司 | 语音摘要的智能提取方法、装置、电子设备及存储介质 |
| CN114743554A (zh) * | 2022-06-09 | 2022-07-12 | 武汉工商学院 | 基于物联网的智能家居交互方法及装置 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050014183A (ko) * | 2003-07-30 | 2005-02-07 | 주식회사 팬택 | 상태 확률 보정 방법 |
| CN101447185A (zh) * | 2008-12-08 | 2009-06-03 | 深圳市北科瑞声科技有限公司 | 一种基于内容的音频快速分类方法 |
| US20110224979A1 (en) * | 2010-03-09 | 2011-09-15 | Honda Motor Co., Ltd. | Enhancing Speech Recognition Using Visual Information |
| CN106486119A (zh) * | 2016-10-20 | 2017-03-08 | 海信集团有限公司 | 一种识别语音信息的方法和装置 |
| JP2019020598A (ja) * | 2017-07-18 | 2019-02-07 | 国立研究開発法人情報通信研究機構 | ニューラルネットワークの学習方法 |
| US20190130896A1 (en) * | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
| KR20190110939A (ko) * | 2018-03-21 | 2019-10-01 | 한국과학기술원 | 합성곱 신경망 기반 환경음 인식 방법 및 시스템 |
| US20200043483A1 (en) * | 2018-08-01 | 2020-02-06 | Google Llc | Minimum word error rate training for attention-based sequence-to-sequence models |
| CN110827801A (zh) * | 2020-01-09 | 2020-02-21 | 成都无糖信息技术有限公司 | 一种基于人工智能的自动语音识别方法及*** |
| US20200175961A1 (en) * | 2018-12-04 | 2020-06-04 | Sorenson Ip Holdings, Llc | Training of speech recognition systems |
| CN111261146A (zh) * | 2020-01-16 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 语音识别及模型训练方法、装置和计算机可读存储介质 |
| CN111489745A (zh) * | 2019-01-28 | 2020-08-04 | 上海菲碧文化传媒有限公司 | 一种应用于人工智能的汉语语音识别*** |
| CN111681637A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技（深圳）有限公司 | 歌曲合成方法、装置、设备及存储介质 |
| CN111862962A (zh) * | 2020-07-20 | 2020-10-30 | 汪秀英 | 一种语音识别方法及*** |
| CN112116903A (zh) * | 2020-08-17 | 2020-12-22 | 北京大米科技有限公司 | 语音合成模型的生成方法、装置、存储介质及电子设备 |
| CN112133289A (zh) * | 2020-11-24 | 2020-12-25 | 北京远鉴信息技术有限公司 | 声纹鉴定模型训练、声纹鉴定方法、装置、设备及介质 |
| CN112466279A (zh) * | 2021-02-02 | 2021-03-09 | 深圳市阿卡索资讯股份有限公司 | 一种英语口语发音自动纠正方法和装置 |
| CN112735371A (zh) * | 2020-12-28 | 2021-04-30 | 出门问问(苏州)信息科技有限公司 | 一种基于文本信息生成说话人视频的方法及装置 |
| CN112767958A (zh) * | 2021-02-26 | 2021-05-07 | 华南理工大学 | 一种基于零次学习的跨语种音色转换***及方法 |
-
2021
- 2021-06-01 CN CN202110610069.6A patent/CN113327586B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050014183A (ko) * | 2003-07-30 | 2005-02-07 | 주식회사 팬택 | 상태 확률 보정 방법 |
| CN101447185A (zh) * | 2008-12-08 | 2009-06-03 | 深圳市北科瑞声科技有限公司 | 一种基于内容的音频快速分类方法 |
| US20110224979A1 (en) * | 2010-03-09 | 2011-09-15 | Honda Motor Co., Ltd. | Enhancing Speech Recognition Using Visual Information |
| CN106486119A (zh) * | 2016-10-20 | 2017-03-08 | 海信集团有限公司 | 一种识别语音信息的方法和装置 |
| JP2019020598A (ja) * | 2017-07-18 | 2019-02-07 | 国立研究開発法人情報通信研究機構 | ニューラルネットワークの学習方法 |
| US20190130896A1 (en) * | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
| KR20190110939A (ko) * | 2018-03-21 | 2019-10-01 | 한국과학기술원 | 합성곱 신경망 기반 환경음 인식 방법 및 시스템 |
| US20200043483A1 (en) * | 2018-08-01 | 2020-02-06 | Google Llc | Minimum word error rate training for attention-based sequence-to-sequence models |
| US20200175961A1 (en) * | 2018-12-04 | 2020-06-04 | Sorenson Ip Holdings, Llc | Training of speech recognition systems |
| CN111489745A (zh) * | 2019-01-28 | 2020-08-04 | 上海菲碧文化传媒有限公司 | 一种应用于人工智能的汉语语音识别*** |
| CN110827801A (zh) * | 2020-01-09 | 2020-02-21 | 成都无糖信息技术有限公司 | 一种基于人工智能的自动语音识别方法及*** |
| CN111261146A (zh) * | 2020-01-16 | 2020-06-09 | 腾讯科技（深圳）有限公司 | 语音识别及模型训练方法、装置和计算机可读存储介质 |
| CN111681637A (zh) * | 2020-04-28 | 2020-09-18 | 平安科技（深圳）有限公司 | 歌曲合成方法、装置、设备及存储介质 |
| CN111862962A (zh) * | 2020-07-20 | 2020-10-30 | 汪秀英 | 一种语音识别方法及*** |
| CN112116903A (zh) * | 2020-08-17 | 2020-12-22 | 北京大米科技有限公司 | 语音合成模型的生成方法、装置、存储介质及电子设备 |
| CN112133289A (zh) * | 2020-11-24 | 2020-12-25 | 北京远鉴信息技术有限公司 | 声纹鉴定模型训练、声纹鉴定方法、装置、设备及介质 |
| CN112735371A (zh) * | 2020-12-28 | 2021-04-30 | 出门问问(苏州)信息科技有限公司 | 一种基于文本信息生成说话人视频的方法及装置 |
| CN112466279A (zh) * | 2021-02-02 | 2021-03-09 | 深圳市阿卡索资讯股份有限公司 | 一种英语口语发音自动纠正方法和装置 |
| CN112767958A (zh) * | 2021-02-26 | 2021-05-07 | 华南理工大学 | 一种基于零次学习的跨语种音色转换***及方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763952A (zh) * | 2021-09-03 | 2021-12-07 | 深圳市北科瑞声科技股份有限公司 | 一种动态语音识别方法、装置、电子设备以及存储介质 |
| CN113763952B (zh) * | 2021-09-03 | 2022-07-26 | 深圳市北科瑞声科技股份有限公司 | 一种动态语音识别方法、装置、电子设备以及存储介质 |
| CN113808577A (zh) * | 2021-09-18 | 2021-12-17 | 平安银行股份有限公司 | 语音摘要的智能提取方法、装置、电子设备及存储介质 |
| CN114743554A (zh) * | 2022-06-09 | 2022-07-12 | 武汉工商学院 | 基于物联网的智能家居交互方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327586B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021208287A1 (zh) | 用于情绪识别的语音端点检测方法、装置、电子设备及存储介质 | |
| CN107578775B (zh) | 一种基于深度神经网络的多分类语音方法 | |
| CN105976812B (zh) | 一种语音识别方法及其设备 | |
| CN113327586B (zh) | 一种语音识别方法、装置、电子设备以及存储介质 | |
| CN110265040A (zh) | 声纹模型的训练方法、装置、存储介质及电子设备 | |
| CN109785820A (zh) | 一种处理方法、装置及设备 | |
| CN112086086A (zh) | 语音合成方法、装置、设备及计算机可读存储介质 | |
| CN112309365B (zh) | 语音合成模型的训练方法、装置、存储介质以及电子设备 | |
| KR20130133858A (ko) | 청각 주의 큐를 사용하여 스피치 음절/모음/음의 경계 검출 | |
| CN111243569B (zh) | 基于生成式对抗网络的情感语音自动生成方法及装置 | |
| CN113420556B (zh) | 基于多模态信号的情感识别方法、装置、设备及存储介质 | |
| CN110264993A (zh) | 语音合成方法、装置、设备及计算机可读存储介质 | |
| CN113823323B (zh) | 一种基于卷积神经网络的音频处理方法、装置及相关设备 | |
| CN116665669A (zh) | 一种基于人工智能的语音交互方法及*** | |
| CN112735371A (zh) | 一种基于文本信息生成说话人视频的方法及装置 | |
| CN113345431A (zh) | 跨语言语音转换方法、装置、设备及介质 | |
| CN111429914B (zh) | 麦克风控制方法、电子装置及计算机可读存储介质 | |
| CN113807103A (zh) | 基于人工智能的招聘方法、装置、设备及存储介质 | |
| CN114999533A (zh) | 基于情绪识别的智能问答方法、装置、设备及存储介质 | |
| CN114333881A (zh) | 基于环境自适应的音频传输降噪方法、装置、设备及介质 | |
| CN114155832A (zh) | 基于深度学习的语音识别方法、装置、设备及介质 | |
| CN116543797A (zh) | 基于语音的情感识别方法和装置、电子设备及存储介质 | |
| CN113555003B (zh) | 语音合成方法、装置、电子设备及存储介质 | |
| CN111985231B (zh) | 无监督角色识别方法、装置、电子设备及存储介质 | |
| CN113053409B (zh) | 音频测评方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |