CN112581942A - 一种基于语音识别目标对象的方法、***、设备及介质 - Google Patents

一种基于语音识别目标对象的方法、***、设备及介质 Download PDF

Info

Publication number
CN112581942A
CN112581942A CN202011596083.7A CN202011596083A CN112581942A CN 112581942 A CN112581942 A CN 112581942A CN 202011596083 A CN202011596083 A CN 202011596083A CN 112581942 A CN112581942 A CN 112581942A
Authority
CN
China
Prior art keywords
training
voice
age
audios
gender
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011596083.7A
Other languages
English (en)
Inventor
杨学锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuncong Technology Group Co Ltd
Original Assignee
Yuncong Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuncong Technology Group Co Ltd filed Critical Yuncong Technology Group Co Ltd
Priority to CN202011596083.7A priority Critical patent/CN112581942A/zh
Publication of CN112581942A publication Critical patent/CN112581942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0631—Creating reference templates; Clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于语音识别目标对象的方法、***、设备及介质，获取作为训练的一个或多个语音音频；将作为训练的一个或多个语音音频的波形转换为特征向量序列；利用特征向量序列训练分类算法，生成分类模型；通过分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。本发明基于音频信息进行处理，在识别目标对象的年龄和/或性别时，避免了图像信息可能带来的各种遮挡问题。同时，本发明通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别年龄和/或性别的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的年龄和/或性别。

Description

一种基于语音识别目标对象的方法、***、设备及介质
技术领域
本发明涉及音频处理技术领域，特别是涉及一种基于语音识别目标对象的方法、***、设备及介质。
背景技术
在人机交互中，往往会根据用户的年龄和/或性别来判断交互回答内容。一般可以通过视觉或者声音的信息来判断用户的年龄和/或性别。然后由于拍摄设备、拍摄环境、拍摄参数、拍摄技术等因素的影响，导致人脸图片的图片清晰度、画面背景、人脸光照、人脸尺寸等都各不相同。此外，由于说话人脸上常常有各种遮挡，包括口罩或者墨镜等等。更多的场景中，无法安装摄像头，因此无法通过视觉信息来判断用户的年龄和/或性别。而基于音频的和/或性别识别由于采集设备或者采集环境的影响，往往不能达到比较好的效果。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于语音识别目标对象的方法、***、设备及介质，用于解决现有技术中存在的技术问题。
为实现上述目的及其他相关目的，本发明提供一种基于语音识别年龄和/或性别的方法，包括以下步骤：
获取作为训练的一个或多个语音音频；
对所述作为训练的一个或多个语音音频进行特征信号处理，将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
利用所述特征向量序列训练分类算法，生成分类模型；
通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
可选地，所述分类算法包括一个或多个深度学习神经网络；所述深度学习神经网络包括以下至少之一：时延神经网络、因子化时延神经网络、前向序列记忆网络。
可选地，所述前向序列记忆网络包括有多层深度前向序列记忆网络，每两层深度前向序列记忆网络之间设置有跳跃连接；其中，不同层中深度前向序列记忆网络的记忆模块的大小不同，且依据层级从小到大，对应的记忆模块也从小到大。
可选地，在深度前向序列记忆网络中的上下文关系和步幅发生变化后进行跳跃连接，将当前次跳跃连接的梯度分别传输至下一次跳跃连接和间隔两层后的深度前向序列记忆网络。
可选地，利用所述特征向量序列训练所述分类算法时，若所述分类算法中连续2个epoch的训练损失不再降低时，则将该次训练后生成的分类模型作为最终的分类模型。
可选地，通过特征提取方法将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；所述特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。
可选地，还包括改变所述梅尔滤波器中的滤波器个数，并通过改变个数后的梅尔滤波器将所述作为训练的一个或多个语音音频的波形转换为特征向量序列。
可选地，在将所述作为训练的一个或多个语音音频的波形转换为特征向量序列前，还包括利用降采样和/或升采样将所述作为训练的一个或多个语音音频的格式进行统一转换；转换后的音频格式至少包括：wav格式和/或pcm格式。
本发明还提供一种基于语音识别年龄和/或性别的***，包括有：
采集模块，用于获取作为训练的一个或多个语音音频；
特征提取模块，用于将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
训练模块，用于根据所述特征向量序列训练分类算法，生成分类模型；
识别模块，用于通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
可选地，所述分类算法包括一个或多个深度学习神经网络；所述深度学习神经网络包括以下至少之一：时延神经网络、因子化时延神经网络、前向序列记忆网络。
可选地，所述前向序列记忆网络包括有多层深度前向序列记忆网络，每两层深度前向序列记忆网络之间设置有跳跃连接，且在深度前向序列记忆网络中上下文关系和步幅发生变化后进行跳跃连接；其中，不同层中深度前向序列记忆网络的记忆模块的大小不同，且依据层级从小到大，对应的记忆模块也从小到大。
可选地，利用所述特征向量序列训练所述分类算法时，若所述分类算法中连续2个epoch的训练损失不再降低时，则将该次训练后生成的分类模型作为最终的分类模型。
可选地，所述特征提取模块通过特征提取方法将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；所述特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。
可选地，还包括改变所述梅尔滤波器中的滤波器个数，并通过改变个数后的梅尔滤波器将所述作为训练的一个或多个语音音频的波形转换为特征向量序列。
可选地，还包括有预处理模块，用于在将所述作为训练的一个或多个语音音频的波形转换为特征向量序列前，利用降采样和/或升采样将所述作为训练的一个或多个语音音频的格式进行统一转换；转换后的音频格式至少包括：wav格式和/或pcm格式。
本发明还提供一种基于语音识别年龄和/或性别的设备，包括：
获取作为训练的一个或多个语音音频；
将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
利用所述特征向量序列训练分类算法，生成分类模型；
通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
本发明还提供一种设备，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如上述中任意一项所述的方法。
本发明还提供一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如上述中任意一项所述的方法。
如上所述，本发明提供一种基于语音识别目标对象的方法、***、设备及介质，具有以下有益效果：获取作为训练的一个或多个语音音频；将作为训练的一个或多个语音音频的波形转换为特征向量序列；利用特征向量序列训练分类算法，生成分类模型；通过分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。本发明基于音频信息进行处理，在识别目标对象的年龄和/或性别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本发明通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别年龄和/或性别的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的年龄和/或性别。
附图说明
图1为一实施例提供的基于语音识别目标对象的方法流程示意图；
图2为一实施例提供的基于语音识别目标对象的年龄的流程示意图；
图3为一实施例提供的基于语音识别目标对象的性别的流程示意图；
图4为一实施例提供的前向序列记忆网络的结构示意图；
图5为一实施例提供的基于语音识别目标对象的***结构示意图；
图6为一实施例提供的终端设备的硬件结构示意图；
图7为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 采集模块
M20 特征提取模块
M30 训练模块
M40 识别模块
M50 预处理模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 音频组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1至图4所示，本发明提供一种基于语音识别目标对象的年龄和/或性别的方法，包括以下步骤：
S100，获取作为训练的一个或多个语音音频；
S200，将作为训练的一个或多个语音音频的波形转换为特征向量序列；
S300，利用特征向量序列训练分类算法，生成分类模型；
S400，通过分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
本方法基于音频信息进行处理，在识别目标对象的年龄和/或性别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本方法通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别年龄和/或性别的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的年龄和/或性别。
如图2和图4所示，本申请实施例提供一种基于语音识别目标对象的年龄的方法，包括有以下步骤：
音频输入阶段。通过麦克风或者麦克风阵列采集一个或多个说话人的语音音频。其中，本申请实施例中的采集语音音频的时间可以在1秒以上或2秒以上；采集的语音音频至少包括不同年龄段的说话人的语音音频。作为示例，本申请实施例中的年龄段的划分可以是：(1)婴儿，0～3岁；(2)儿童，3～12岁；(3)青少年，12～18岁；(4)中年人，18～45岁；(5)中老年：45岁以上。
音频预处理阶段。本申请实施例一般要求输入的语音音频为16KHz采样率wav格式和/或pcm格式的音频。因此，需要用音频处理方法将其他格式音频进行统一转换。作为示例，例如利用降采样和/或升采样将作为训练的一个或多个语音音频的格式进行统一转换。其中，采样率，也称为采样速度或者采样频率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹(Hz)来表示。采样频率的倒数是采样周期或者采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。常见的音频格式包括但不限于：wav、pcm、mp3、ape、wma等音频格式。
特征提取阶段。本申请实施例为了能让分类模型能够正常读取输入音频信号，可以先对音频信号做特征提取处理。例如，可以通过特征提取方法对作为训练的一个或多个语音音频进行特征信号处理，将作为训练的一个或多个语音音频的波形转换为特征向量序列。其中，特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。本申请实施例还可以改变所述梅尔滤波器中的滤波器个数，并通过改变个数后的梅尔滤波器将作为训练的一个或多个语音音频的波形转换为特征向量序列。作为示例，若语音音频为16KHz采样率wav格式和/或pcm格式的音频，则本申请实施例可以将梅尔滤波器中的滤波器个数由40个改变为80个；通过由80个滤波器组成的梅尔滤波器将训练的一个或多个语音音频的波形转换为特征向量序列，不仅对16kHz频谱的细节提取效果更好，而且还能够让分类模型能更好地学到音频特征中蕴含的信息，实现识别率的提升。
年龄识别阶段。本申请实施例利用得到的特征向量序列训练分类算法，可以生成年龄分类模型。再通过年龄分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄。其中，本申请实施例中作为训练的每个语音音频中至少包含了一句人声，对每个语音音频进行年龄标注，使该训练音频具有对应的年龄标签；且在分类模型训练过程中，可以筛选出不同年龄段的音频样本，平衡各个年龄段的比例。本申请实施例中的分类算法包括一个或多个深度学习神经网络；深度学习神经网络包括以下至少之一：时延神经网络TDNN、因子化时延神经网络TDNNF、前向序列记忆网络FSMN。如图4所示，前向序列记忆网络FSMN的结构示意图；此结构中包含了10层深度前向序列记忆网络DFSMN，每两层深度前向序列记忆网络DFSMN之间有跳跃连接shortcut。通过设置跳跃连接shortcut，可以优化深度前向序列记忆网络DFSMN的梯度传递，使深度前向序列记忆网络DFSMN的梯度实现更好的传递，从而让模型训练效果更加优异。本申请实施例中，在深度前向序列记忆网络中上下文关系和步幅发生变化后进行跳跃连接shortcut，即在每层深度前向序列记忆网络中a*b发生变化后进行跳跃连接shortcut。且在进行跳跃连接shortcut时，将当前次跳跃连接shortcut的梯度发送至下一次跳跃连接shortcut，以及发送给间隔两层后的深度前向序列记忆网络DSFSMN。其中，每层深度前向序列记忆网络中a*b的意思是上下文关系为a，步幅为b；例如4×1DFSMN表示上下文关系为4，步幅为1；8×1DFSMN表示上下文关系为8，步幅为1；6×2DFSMN表示上下文关系为6，步幅为2；10×2DFSMN表示上下文关系为10，步幅为2。当4×1DFSMN变化为8×1DFSMN后，8×1DFSMN对应的深度前向序列记忆网络DFSMN开始进行跳跃连接shortcut，向6×2DFSMN所对应的深度前向序列记忆网络DFSMN传递梯度，以及向下一次跳跃连接shortcut传递梯度。不同层中深度前向序列记忆网络的记忆模块Memory Block的大小不同，且依据层级从小到大，对应的记忆模块Memory Block也从小到大。对应于图4中，4×1DFSMN所在层的层级小于8×1DFSMN所在层的层级，8×1DFSMN所在层的层级小于6×2DFSMN所在层的层级，依次类推。在训练前向序列记忆网络FSMN时，采用的损失函数是交叉熵cross entropy，判断分类结果与标签的KL散度，当交叉熵逐步下降到随着训练继续进行都基本不改变的情况下，即当连续2个epoch的训练损失loss不再降低时，则认为神经网络训练达到可用效果；将该神经网络训练后生成的分类模型作为最终的分类模型。同时，本申请实施例还可以在前向序列记忆网络FSMN结构后面加入两层time-restricted self attention网络，加入两层time-restricted selfattention网络后，与普通的self-attention网络相比，本申请实施例可以提取一个语音音频内的部分时间段的音频上下文信息，而不需要每次都提取真个语音音频的上下文信息，从而有利于模型推理速度的提升。
结果输出阶段。在确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄后，还可以以文字的形式输出这一个或多个目标对象的年龄。
本实施例基于音频信息进行处理，在对图像进行年龄识别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本实施例通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别年龄的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的年龄。其中，本申请实施例中的目标对象可以是根据实际情况要进行年龄识别的人。
如图3和图4所示，本申请实施例提供一种基于语音识别目标对象的性别的方法，包括有以下步骤：
音频输入阶段。通过麦克风或者麦克风阵列采集一个或多个说话人的语音音频。其中，本申请实施例中的采集语音音频的时间可以在1秒以上或2秒以上；采集的语音音频至少包括不同性别的说话人的语音音频。作为示例，本申请实施例中的性别的划分可以是：男性、女性和第三性别。
音频预处理阶段。本申请实施例一般要求输入的语音音频为16KHz采样率wav格式和/或pcm格式的音频。因此，需要用音频处理方法将其他格式音频进行统一转换。作为示例，例如利用降采样和/或升采样将作为训练的一个或多个语音音频的格式进行统一转换。其中，采样率，也称为采样速度或者采样频率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹(Hz)来表示。采样频率的倒数是采样周期或者采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。常见的音频格式包括但不限于：wav、pcm、mp3、ape、wma等音频格式。
特征提取阶段。本申请实施例为了能让分类模型能够正常读取输入音频信号，可以先对音频信号做特征提取处理。例如，可以通过特征提取方法对作为训练的一个或多个语音音频进行特征信号处理，将作为训练的一个或多个语音音频的波形转换为特征向量序列。其中，特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。本申请实施例还可以改变所述梅尔滤波器中的滤波器个数，并通过改变个数后的梅尔滤波器将作为训练的一个或多个语音音频的波形转换为特征向量序列。作为示例，若语音音频为16KHz采样率wav格式和/或pcm格式的音频，则本申请实施例可以将梅尔滤波器中的滤波器个数由40个改变为80个；通过由80个滤波器组成的梅尔滤波器将训练的一个或多个语音音频的波形转换为特征向量序列，不仅对16kHz频谱的细节提取效果更好，而且还能够让分类模型能更好地学到音频特征中蕴含的信息，实现识别率的提升。
性别识别阶段。本申请实施例利用得到的特征向量序列训练分类算法，可以生成性别分类模型。再通过性别分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的性别。其中，本申请实施例中作为训练的每个语音音频中至少包含了一句人声，对每个语音音频进行性别标注，使该训练音频具有对应的性别标签；且在分类模型训练过程中，可以筛选出不同性别的音频样本，平衡各性别的比例。本申请实施例中的分类算法包括一个或多个深度学习神经网络；深度学习神经网络包括以下至少之一：时延神经网络TDNN、因子化时延神经网络TDNNF、前向序列记忆网络FSMN。如图4所示，前向序列记忆网络FSMN的结构示意图；此结构中包含了10层深度前向序列记忆网络DFSMN，每两层深度前向序列记忆网络DFSMN之间有跳跃连接shortcut。通过设置跳跃连接shortcut，可以优化深度前向序列记忆网络DFSMN的梯度传递，使深度前向序列记忆网络DFSMN的梯度实现更好的传递，从而让模型训练效果更加优异。本申请实施例中，在深度前向序列记忆网络中上下文关系和步幅发生变化后进行跳跃连接shortcut，即在每层深度前向序列记忆网络中a*b发生变化后进行跳跃连接shortcut。且在进行跳跃连接shortcut时，将当前次跳跃连接shortcut的梯度发送至下一次跳跃连接shortcut，以及发送给间隔两层后的深度前向序列记忆网络DSFSMN。其中，每层深度前向序列记忆网络中a*b的意思是上下文关系为a，步幅为b；例如4×1DFSMN表示上下文关系为4，步幅为1；8×1DFSMN表示上下文关系为8，步幅为1；6×2DFSMN表示上下文关系为6，步幅为2；10×2DFSMN表示上下文关系为10，步幅为2。当8×1DFSMN变化为6×2DFSMN后，6×2DFSMN对应的深度前向序列记忆网络DFSMN开始进行跳跃连接shortcut，向10×2DFSMN所对应的深度前向序列记忆网络DFSMN传递梯度，以及向下一次跳跃连接shortcut传递梯度。不同层中深度前向序列记忆网络的记忆模块Memory Block的大小不同，且依据层级从小到大，对应的记忆模块Memory Block也从小到大。对应于图4中，4×1DFSMN所在层的层级小于8×1DFSMN所在层的层级，8×1DFSMN所在层的层级小于6×2DFSMN所在层的层级，依次类推。在训练前向序列记忆网络FSMN时，采用的损失函数是交叉熵cross entropy，判断分类结果与标签的KL散度，当交叉熵逐步下降到随着训练继续进行都基本不改变的情况下，即当连续2个epoch的训练损失loss不再降低时，则认为神经网络训练达到可用效果；将该神经网络训练后生成的分类模型作为最终的分类模型。同时，本申请实施例还可以在前向序列记忆网络FSMN结构后面加入两层time-restricted self attention网络，加入两层time-restricted selfattention网络后，与普通的self-attention网络相比，本申请实施例可以提取一个语音音频内的部分时间段的音频上下文信息，而不需要每次都提取真个语音音频的上下文信息，从而有利于模型推理速度的提升。
结果输出阶段。在确定待处理的一个或多个语音音频中的一个或多个目标对象的性别后，还可以以文字的形式输出这一个或多个目标对象的性别。
本实施例基于音频信息进行处理，在对图像进行性别识别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本实施例通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别性别的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的性别。其中，本申请实施例中的目标对象可以是根据实际情况要进行性别识别的人。
如图5所示，本发明还提供一种基于语音识别目标对象的年龄和/或性别的***，包括有：
采集模块M10，用于获取作为训练的一个或多个语音音频；
特征提取模块M20，用于将作为训练的一个或多个语音音频的波形转换为特征向量序列；
训练模块M30，用于根据特征向量序列训练分类算法，生成分类模型；
识别模块M40，用于通过分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
本***基于音频信息进行处理，在识别目标对象的年龄和/或性别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本***通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别年龄和/或性别的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的年龄和/或性别。
在一示例性实施例中，还包括有预处理模块M50，用于在将作为训练的一个或多个语音音频的波形转换为特征向量序列前，利用降采样和/或升采样将作为训练的一个或多个语音音频的格式进行统一转换；转换后的音频格式至少包括：wav格式和/或pcm格式。
如图4和图5所示，本申请实施例提供一种基于语音识别目标对象的年龄的***，包括有：
音频输入阶段。通过麦克风或者麦克风阵列采集一个或多个说话人的语音音频。其中，本申请实施例中的采集语音音频的时间可以在1秒以上或2秒以上；采集的语音音频至少包括不同年龄段的说话人的语音音频。作为示例，本申请实施例中的年龄段的划分可以是：(1)婴儿，0～3岁；(2)儿童，3～12岁；(3)青少年，12～18岁；(4)中年人，18～45岁；(5)中老年：45岁以上。
音频预处理阶段。本申请实施例一般要求输入的语音音频为16KHz采样率wav格式和/或pcm格式的音频。因此，需要用音频处理方法将其他格式音频进行统一转换。作为示例，例如利用降采样和/或升采样将作为训练的一个或多个语音音频的格式进行统一转换。其中，采样率，也称为采样速度或者采样频率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹(Hz)来表示。采样频率的倒数是采样周期或者采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。常见的音频格式包括但不限于：wav、pcm、mp3、ape、wma等音频格式。
特征提取阶段。本申请实施例为了能让分类模型能够正常读取输入音频信号，可以先对音频信号做特征提取处理。例如，可以通过特征提取方法对作为训练的一个或多个语音音频进行特征信号处理，将作为训练的一个或多个语音音频的波形转换为特征向量序列。其中，特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。本申请实施例还可以改变所述梅尔滤波器中的滤波器个数，并通过改变个数后的梅尔滤波器将作为训练的一个或多个语音音频的波形转换为特征向量序列。作为示例，若语音音频为16KHz采样率wav格式和/或pcm格式的音频，则本申请实施例可以将梅尔滤波器中的滤波器个数由40个改变为80个；通过由80个滤波器组成的梅尔滤波器将训练的一个或多个语音音频的波形转换为特征向量序列，不仅对16kHz频谱的细节提取效果更好，而且还能够让分类模型能更好地学到音频特征中蕴含的信息，实现识别率的提升。
年龄识别阶段。本申请实施例利用得到的特征向量序列训练分类算法，可以生成年龄分类模型。再通过年龄分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄。其中，本申请实施例中作为训练的每个语音音频中至少包含了一句人声，对每个语音音频进行年龄标注，使该训练音频具有对应的年龄标签；且在分类模型训练过程中，可以筛选出不同年龄段的音频样本，平衡各个年龄段的比例。本申请实施例中的分类算法包括一个或多个深度学习神经网络；深度学习神经网络包括以下至少之一：时延神经网络TDNN、因子化时延神经网络TDNNF、前向序列记忆网络FSMN。如图4所示，前向序列记忆网络FSMN的结构示意图；此结构中包含了10层深度前向序列记忆网络DFSMN，每两层深度前向序列记忆网络DFSMN之间有跳跃连接shortcut。通过设置跳跃连接shortcut，可以优化深度前向序列记忆网络DFSMN的梯度传递，使深度前向序列记忆网络DFSMN的梯度实现更好的传递，从而让模型训练效果更加优异。本申请实施例中，在深度前向序列记忆网络中上下文关系和步幅发生变化后进行跳跃连接shortcut，即在每层深度前向序列记忆网络中a*b发生变化后进行跳跃连接shortcut。且在进行跳跃连接shortcut时，将当前次跳跃连接shortcut的梯度发送至下一次跳跃连接shortcut，以及发送给间隔两层后的深度前向序列记忆网络DSFSMN。其中，每层深度前向序列记忆网络中a*b的意思是上下文关系为a，步幅为b；例如4×1DFSMN表示上下文关系为4，步幅为1；8×1DFSMN表示上下文关系为8，步幅为1；6×2DFSMN表示上下文关系为6，步幅为2；10×2DFSMN表示上下文关系为10，步幅为2。当4×1DFSMN变化为8×1DFSMN后，8×1DFSMN对应的深度前向序列记忆网络DFSMN开始进行跳跃连接shortcut，向6×2DFSMN所对应的深度前向序列记忆网络DFSMN传递梯度，以及向下一次跳跃连接shortcut传递梯度。不同层中深度前向序列记忆网络的记忆模块Memory Block的大小不同，且依据层级从小到大，对应的记忆模块Memory Block也从小到大。对应于图4中，4×1DFSMN所在层的层级小于8×1DFSMN所在层的层级，8×1DFSMN所在层的层级小于6×2DFSMN所在层的层级，依次类推。在训练前向序列记忆网络FSMN时，采用的损失函数是交叉熵cross entropy，判断分类结果与标签的KL散度，当交叉熵逐步下降到随着训练继续进行都基本不改变的情况下，即当连续2个epoch的训练损失loss不再降低时，则认为神经网络训练达到可用效果；将该神经网络训练后生成的分类模型作为最终的分类模型。同时，本申请实施例还可以在前向序列记忆网络FSMN结构后面加入两层time-restricted self attention网络，加入两层time-restricted selfattention网络后，与普通的self-attention网络相比，本申请实施例可以提取一个语音音频内的部分时间段的音频上下文信息，而不需要每次都提取真个语音音频的上下文信息，从而有利于模型推理速度的提升。
结果输出阶段。在确定待处理的一个或多个语音音频中的一个或多个目标对象的年龄后，还可以以文字的形式输出这一个或多个目标对象的年龄。
本实施例基于音频信息进行处理，在对图像进行年龄识别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本实施例通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别年龄的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的年龄。其中，本申请实施例中的目标对象可以是根据实际情况要进行年龄识别的人。
如图4和图5所示，本申请实施例提供一种基于语音识别目标对象的性别的***，包括有：
音频输入阶段。通过麦克风或者麦克风阵列采集一个或多个说话人的语音音频。其中，本申请实施例中的采集语音音频的时间可以在1秒以上或2秒以上；采集的语音音频至少包括不同性别的说话人的语音音频。作为示例，本申请实施例中的性别的划分可以是：男性、女性和第三性别。
音频预处理阶段。本申请实施例一般要求输入的语音音频为16KHz采样率wav格式和/或pcm格式的音频。因此，需要用音频处理方法将其他格式音频进行统一转换。作为示例，例如利用降采样和/或升采样将作为训练的一个或多个语音音频的格式进行统一转换。其中，采样率，也称为采样速度或者采样频率，定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹(Hz)来表示。采样频率的倒数是采样周期或者采样时间，它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。常见的音频格式包括但不限于：wav、pcm、mp3、ape、wma等音频格式。
特征提取阶段。本申请实施例为了能让分类模型能够正常读取输入音频信号，可以先对音频信号做特征提取处理。例如，可以通过特征提取方法对作为训练的一个或多个语音音频进行特征信号处理，将作为训练的一个或多个语音音频的波形转换为特征向量序列。其中，特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。本申请实施例还可以改变所述梅尔滤波器中的滤波器个数，并通过改变个数后的梅尔滤波器将作为训练的一个或多个语音音频的波形转换为特征向量序列。作为示例，若语音音频为16KHz采样率wav格式和/或pcm格式的音频，则本申请实施例可以将梅尔滤波器中的滤波器个数由40个改变为80个；通过由80个滤波器组成的梅尔滤波器将训练的一个或多个语音音频的波形转换为特征向量序列，不仅对16kHz频谱的细节提取效果更好，而且还能够让分类模型能更好地学到音频特征中蕴含的信息，实现识别率的提升。
性别识别阶段。本申请实施例利用得到的特征向量序列训练分类算法，可以生成性别分类模型。再通过性别分类模型识别待处理的一个或多个语音音频，确定待处理的一个或多个语音音频中的一个或多个目标对象的性别。其中，本申请实施例中作为训练的每个语音音频中至少包含了一句人声，对每个语音音频进行性别标注，使该训练音频具有对应的性别标签；且在分类模型训练过程中，可以筛选出不同性别的音频样本，平衡各性别的比例。本申请实施例中的分类算法包括一个或多个深度学习神经网络；深度学习神经网络包括以下至少之一：时延神经网络TDNN、因子化时延神经网络TDNNF、前向序列记忆网络FSMN。如图4所示，前向序列记忆网络FSMN的结构示意图；此结构中包含了10层深度前向序列记忆网络DFSMN，每两层深度前向序列记忆网络DFSMN之间有跳跃连接shortcut。通过设置跳跃连接shortcut，可以优化深度前向序列记忆网络DFSMN的梯度传递，使深度前向序列记忆网络DFSMN的梯度实现更好的传递，从而让模型训练效果更加优异。本申请实施例中，在深度前向序列记忆网络中上下文关系和步幅发生变化后进行跳跃连接shortcut，即在每层深度前向序列记忆网络中a*b发生变化后进行跳跃连接shortcut。且在进行跳跃连接shortcut时，将当前次跳跃连接shortcut的梯度发送至下一次跳跃连接shortcut，以及发送给间隔两层后的深度前向序列记忆网络DSFSMN。其中，每层深度前向序列记忆网络中a*b的意思是上下文关系为a，步幅为b；例如4×1DFSMN表示上下文关系为4，步幅为1；8×1DFSMN表示上下文关系为8，步幅为1；6×2DFSMN表示上下文关系为6，步幅为2；10×2DFSMN表示上下文关系为10，步幅为2。当8×1DFSMN变化为6×2DFSMN后，6×2DFSMN对应的深度前向序列记忆网络DFSMN开始进行跳跃连接shortcut，向10×2DFSMN所对应的深度前向序列记忆网络DFSMN传递梯度，以及向下一次跳跃连接shortcut传递梯度。不同层中深度前向序列记忆网络的记忆模块Memory Block的大小不同，且依据层级从小到大，对应的记忆模块Memory Block也从小到大。对应于图4中，4×1DFSMN所在层的层级小于8×1DFSMN所在层的层级，8×1DFSMN所在层的层级小于6×2DFSMN所在层的层级，依次类推。在训练前向序列记忆网络FSMN时，采用的损失函数是交叉熵cross entropy，判断分类结果与标签的KL散度，当交叉熵逐步下降到随着训练继续进行都基本不改变的情况下，即当连续2个epoch的训练损失loss不再降低时，则认为神经网络训练达到可用效果；将该神经网络训练后生成的分类模型作为最终的分类模型。同时，本申请实施例还可以在前向序列记忆网络FSMN结构后面加入两层time-restricted self attention网络，加入两层time-restricted selfattention网络后，与普通的self-attention网络相比，本申请实施例可以提取一个语音音频内的部分时间段的音频上下文信息，而不需要每次都提取真个语音音频的上下文信息，从而有利于模型推理速度的提升。
结果输出阶段。在确定待处理的一个或多个语音音频中的一个或多个目标对象的性别后，还可以以文字的形式输出这一个或多个目标对象的性别。
本实施例基于音频信息进行处理，在对图像进行性别识别时，避免了图像信息可能带来的图片清晰度、画面背景、人脸光照、人脸尺寸不一或者各种遮挡问题。同时，本实施例通过训练深度学习神经网络来生成分类模型，在基于音频信息上识别性别的鲁棒性更强；能够在噪声和复杂环境中高效率、高准确率地识别目标对象的性别。其中，本申请实施例中的目标对象可以是根据实际情况要进行性别识别的人。
本申请实施例还提供一种基于语音识别年龄和/或性别的设备，包括有：
获取作为训练的一个或多个语音音频；
将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
利用所述特征向量序列训练分类算法，生成分类模型；
通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
在本实施例中，该设备执行上述***或方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中数据处理方法所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件***接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图7为本申请的另一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，音频组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述图1所示方法的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理***，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件1206被配置为输出和/或输入语音信号。例如，音频组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，音频组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和***接口模块之间提供接口，上述***接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于***SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图7实施例中所涉及的通信组件1203、音频组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种基于语音识别年龄和/或性别的方法，其特征在于，包括以下步骤：
获取作为训练的一个或多个语音音频；
将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
利用所述特征向量序列训练分类算法，生成分类模型；
通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
2.根据权利要求1所述的基于语音识别年龄和/或性别的方法，其特征在于，所述分类算法包括一个或多个深度学习神经网络；所述深度学习神经网络包括以下至少之一：时延神经网络、因子化时延神经网络、前向序列记忆网络。
3.根据权利要求2所述的基于语音识别年龄和/或性别的方法，其特征在于，所述前向序列记忆网络包括有多层深度前向序列记忆网络，每两层深度前向序列记忆网络之间设置有跳跃连接；其中，不同层中深度前向序列记忆网络的记忆模块的大小不同，且依据层级从小到大，对应的记忆模块也从小到大。
4.根据权利要求3所述的基于语音识别年龄和/或性别的方法，其特征在于，在深度前向序列记忆网络中的上下文关系和步幅发生变化后进行跳跃连接，将当前次跳跃连接的梯度分别传输至下一次跳跃连接和间隔两层后的深度前向序列记忆网络。
5.根据权利要求1所述的基于语音识别年龄和/或性别的方法，其特征在于，通过特征提取方法将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；所述特征提取方法包括以下至少之一：快速傅里叶变换、短时傅里叶变换、分帧、加窗、预加重、梅尔滤波器、离散余弦变换。
6.根据权利要求1至5中任一所述的基于语音识别年龄和/或性别的方法，其特征在于，在将所述作为训练的一个或多个语音音频的波形转换为特征向量序列前，还包括利用降采样和/或升采样将所述作为训练的一个或多个语音音频的格式进行统一转换；转换后的音频格式至少包括：wav格式和/或pcm格式。
7.一种基于语音识别年龄和/或性别的***，其特征在于，包括有：
采集模块，用于获取作为训练的一个或多个语音音频；
特征提取模块，用于将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
训练模块，用于根据所述特征向量序列训练分类算法，生成分类模型；
识别模块，用于通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
8.根据权利要求7所述的基于语音识别年龄和/或性别的***，其特征在于，所述分类算法包括一个或多个深度学习神经网络；所述深度学习神经网络包括以下至少之一：时延神经网络、因子化时延神经网络、前向序列记忆网络。
9.根据权利要求8所述的基于语音识别年龄和/或性别的***，其特征在于，所述前向序列记忆网络包括有多层深度前向序列记忆网络，每两层深度前向序列记忆网络之间设置有跳跃连接，且在深度前向序列记忆网络中上下文关系和步幅发生变化后进行跳跃连接；其中，不同层中深度前向序列记忆网络的记忆模块的大小不同，且依据层级从小到大，对应的记忆模块也从小到大。
10.根据权利要求7所述的基于语音识别年龄和/或性别的***，其特征在于，利用所述特征向量序列训练所述分类算法时，若所述分类算法中连续2个epoch的训练损失不再降低，则将该次训练后生成的分类模型作为最终的分类模型。
11.一种基于语音识别年龄和/或性别的设备，其特征在于，包括：
获取作为训练的一个或多个语音音频；
将所述作为训练的一个或多个语音音频的波形转换为特征向量序列；
利用所述特征向量序列训练分类算法，生成分类模型；
通过所述分类模型识别待处理的一个或多个语音音频，确定所述待处理的一个或多个语音音频中的一个或多个目标对象的年龄和/或性别。
12.一种基于语音识别年龄和/或性别的设备，其特征在于，包括：
一个或多个处理器；和
存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行所述指令时，使得所述设备执行如权利要求1-6中任意一项所述的方法。
13.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行所述指令时，使得设备执行如权利要求1-6中任意一项所述的方法。
CN202011596083.7A 2020-12-29 2020-12-29 一种基于语音识别目标对象的方法、***、设备及介质 Pending CN112581942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011596083.7A CN112581942A (zh) 2020-12-29 2020-12-29 一种基于语音识别目标对象的方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011596083.7A CN112581942A (zh) 2020-12-29 2020-12-29 一种基于语音识别目标对象的方法、***、设备及介质

Publications (1)

Publication Number Publication Date
CN112581942A true CN112581942A (zh) 2021-03-30

Family

ID=75143997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011596083.7A Pending CN112581942A (zh) 2020-12-29 2020-12-29 一种基于语音识别目标对象的方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN112581942A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694954A (zh) * 2018-06-13 2018-10-23 广州势必可赢网络科技有限公司 一种性别年龄识别方法、装置、设备及可读存储介质
CN110136726A (zh) * 2019-06-20 2019-08-16 厦门市美亚柏科信息股份有限公司 一种语音性别的估计方法、装置、***及存储介质
CN110335591A (zh) * 2019-07-04 2019-10-15 广州云从信息科技有限公司 一种参数管理方法、装置、机器可读介质及设备
CN110619889A (zh) * 2019-09-19 2019-12-27 Oppo广东移动通信有限公司 体征数据识别方法、装置、电子设备和存储介质
CN111091840A (zh) * 2019-12-19 2020-05-01 浙江百应科技有限公司 一种建立性别识别模型的方法及性别识别方法
CN111179915A (zh) * 2019-12-30 2020-05-19 苏州思必驰信息科技有限公司 基于语音的年龄识别方法及装置
CN111785262A (zh) * 2020-06-23 2020-10-16 电子科技大学 一种基于残差网络及融合特征的说话人年龄性别分类方法
CN111933148A (zh) * 2020-06-29 2020-11-13 厦门快商通科技股份有限公司 基于卷神经网络的年龄识别方法、装置及终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694954A (zh) * 2018-06-13 2018-10-23 广州势必可赢网络科技有限公司 一种性别年龄识别方法、装置、设备及可读存储介质
CN110136726A (zh) * 2019-06-20 2019-08-16 厦门市美亚柏科信息股份有限公司 一种语音性别的估计方法、装置、***及存储介质
CN110335591A (zh) * 2019-07-04 2019-10-15 广州云从信息科技有限公司 一种参数管理方法、装置、机器可读介质及设备
CN110619889A (zh) * 2019-09-19 2019-12-27 Oppo广东移动通信有限公司 体征数据识别方法、装置、电子设备和存储介质
CN111091840A (zh) * 2019-12-19 2020-05-01 浙江百应科技有限公司 一种建立性别识别模型的方法及性别识别方法
CN111179915A (zh) * 2019-12-30 2020-05-19 苏州思必驰信息科技有限公司 基于语音的年龄识别方法及装置
CN111785262A (zh) * 2020-06-23 2020-10-16 电子科技大学 一种基于残差网络及融合特征的说话人年龄性别分类方法
CN111933148A (zh) * 2020-06-29 2020-11-13 厦门快商通科技股份有限公司 基于卷神经网络的年龄识别方法、装置及终端

Similar Documents

Publication Publication Date Title
WO2021135577A1 (zh) 音频信号处理方法、装置、电子设备及存储介质
CN112200062B (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN110136744B (zh) 一种音频指纹生成方法、设备及存储介质
US11436863B2 (en) Method and apparatus for outputting data
CN110519636B (zh) 语音信息播放方法、装置、计算机设备及存储介质
CN112949708B (zh) 情绪识别方法、装置、计算机设备和存储介质
CN112052792B (zh) 一种跨模型人脸识别方法、装置、设备及介质
CN112420069A (zh) 一种语音处理方法、装置、机器可读介质及设备
CN109063624A (zh) 信息处理方法、***、电子设备和计算机可读存储介质
CN112071322A (zh) 一种端到端的声纹识别方法、装置、存储介质及设备
CN111091845A (zh) 音频处理方法、装置、终端设备及计算机存储介质
CN112200318A (zh) 一种目标检测方法、装置、机器可读介质及设备
WO2013097429A1 (en) Method and apparatus for recognizing video captions
CN109032345A (zh) 设备控制方法、装置、设备、服务端和存储介质
CN111310725A (zh) 一种对象识别方法、***、机器可读介质及设备
CN104361896A (zh) 语音质量评价设备、方法和***
CN108322770B (zh) 视频节目识别方法、相关装置、设备和***
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN111629156A (zh) 图像特效的触发方法、装置和硬件装置
CN114495916B (zh) 背景音乐的***时间点确定方法、装置、设备和存储介质
CN112767960A (zh) 一种音频降噪方法、***、设备及介质
CN113053361B (zh) 语音识别方法、模型训练方法、装置、设备及介质
WO2023222071A1 (zh) 语音信号的处理方法、装置、设备及介质
WO2023208134A1 (zh) 图像处理方法及模型生成方法、装置、车辆、存储介质及计算机程序产品
CN115798459B (zh) 音频处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication