CN111105803A - 快速识别性别的方法及装置、用于识别性别的算法模型的生成方法 - Google Patents

Abstract

本发明公开一种快速识别性别的方法，其包括获取实时音频数据，通过训练好的用于性别识别的神经网络模型对实时音频数据进行识别，确定发音人的性别。本发明还公开了快速识别性别的装置及模型训练方法。本发明公开的方案采用短时音频进行模型训练，并且在模型训练过程中采用了音素对齐和定点化处理，因而在实际应用阶段，对获取的实时音频，需要首先进行音素对齐处理，以有效去除静音干扰，之后可以对实时音频进行跳帧处理，以大幅提高性别识别的速率，因而整个识别方法在准确率和速率上均得到保障。

Description

快速识别性别的方法及装置、用于识别性别的算法模型的生 成方法

技术领域

本发明涉及智能语音技术领域，特别是一种快速识别性别的方法及装置以及一种用于识别性别的算法模型的生成方法。

背景技术

近年来，随着智能语音技术的发展，基于智能语音的产品层出不穷。有些产品场景下需要对用户的性别进行区分，以做出符合用户需求的响应。基于此，如何在用户对话中准确识别对象的性别，就显得至关重要。目前已经市面上较成熟的性别识别技术都是基于人脸识别的，基于语音的性别识别技术，业内也提出了一些实现方案，比如基于SVM算法或神经网络进行性别识别，但这些现有方案普遍要求测试人说话时长很长，而且不间断，而且预测时长很长。这对用户来说是有很大难度的，不利于产品的落地，更不利用用户获得很好的产品体验。

发明内容

为了克服现有方案的上述缺陷，发明人在算法训练方面做了大量尝试和研究，最终提出了能够利用短时音频对用户性别进行更快速的识别的解决方案。

根据本发明的一个方面，提供了一种用于识别性别的算法模型的生成方法，其包括

获取短时音频进行预处理，确定训练数据集；

利用所述训练数据集对选用的神经网络模型进行训练；

对训练所得的神经网络模型进行定点化处理，生成用于进行性别识别的算法模型；其中，

获取短时音频进行预处理，确定训练数据集实现为包括：

使用语音识别模型对短时音频进行音素对齐处理；

对音素对齐处理后的短时音频数据进行特征值提取；

对提取出的特征值设置性别标签，形成训练数据集。

根据本发明的第二个方面，提供了一种快速识别性别的方法，其包括

获取实时音频数据，通过训练好的用于性别识别的神经网络模型对所述实时音频数据进行识别，确定发音人的性别，其实现为包括

使用语音识别模型对获取的实时音频数据进行音素对齐处理；

对音素对齐处理后的实时音频数据进行特征值提取；

对提取出的特征值进行跳帧处理；

将跳帧处理后的特征值输入所述神经网络模型，根据所述神经网络模型输出的性别预测概率，确定发音人的性别；

其中，所述神经网络模型为利用上述的方法训练生成的用于性别识别的算法模型。

根据本发明的第三个方面，提供了一种快速识别性别的装置，其包括

用于性别识别的算法模型，其中，所述算法模型通过上述的用于识别性别的算法模型的生成方法训练生成；和

识别模块，用于在获取到实时音频数据时，通过所述算法模型对所述音频数据进行识别处理，确定发音者的性别，其实现为包括

对齐处理单元，用于使用语音识别模型对获取的实时音频数据进行音素对齐处理；

特征提取单元，用于对音素对齐处理后的实时音频数据进行特征值提取；

跳帧处理单元，用于对提取出的特征值进行跳帧处理；

性别确定单元，用于将跳帧处理后的特征值输入所述算法模型，根据所述算法模型输出的性别预测概率，确定发音人的性别。

根据本发明的第四个方面，提供了一种电子设备，其包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述方法的步骤。

根据本发明的第五个方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明实施例的方案，由于是采用短时音频进行模型训练，并且在模型训练过程中采用了音素对齐和定点处理，因而在实际应用阶段，对获取的实时音频，需要首先进行音素对齐处理，以有效去除静音干扰，之后可以对实时音频进行跳帧处理，以大幅提高性别识别的速率，因而整个识别方法在准确率和速率上均得到保障。

附图说明

图1为本发明一实施方式的快速识别性别的方法的方法流程图；

图2为图1所示实施方式中的模型训练过程的方法示意图；

图3为本发明一实施方式的快速识别性别的装置的框架结构图；

图4为本发明一实施方式的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“***”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，组件可以、但不限于是运行于处理器的过程、处理器、对象、可执行组件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线程中，并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。组件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地***、分布式***中另一组件交互的，和/或在因特网的网络通过信号与其它***交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由于本发明实施例涉及的涉及的识别说话人性别的方案可以应用于任何具有智能语音交互功能的智能设备上，使得智能设备上承载的语音产品具有性别识别的功能，例如手机、手表、耳机、个人PC电脑等，但是本发明的适用范围并不局限于此。通过本发明实施例提供的方案，能够对短时音频进行识别，并能准确确定说话者的性别，提高识别的准确率，同时还能快速识别出说话人的性别，大幅提高识别速率，提高交互时的用户体验。

下面结合附图对本发明作进一步详细的说明。

图1和图2示意性地显示了根据本发明的一种实施方式的快速识别性别的方法的方法流程，其中，图1为快速识别性别的方法流程，图2为训练用于快速识别性别的算法模型的方法流程。如图所示，本实施例的方法包括如下步骤：

步骤S101：构建用于性别识别的神经网络模型，并对构建的神经网络模型进行训练，确定用于性别识别的算法模型。本发明实施例选用神经网络模型进行性别识别。图2显示了对选用的神经网络模型进行训练的方法过程，如图2所示，其包括：

步骤S201：获取短时音频进行预处理，确定训练数据集。本发明实施例采用短时音频作为训练音频数据，示例性地为0.2s-1s长度的音频。

其中，短时音频优选采用唤醒词，且可以包含中文、英文以及中英文的混合等。其中，选用的短时音频还可以是从线上音频获取而来，示例性地，从后台下载用户缓存的音频，而选用的短时音频例如可以为共9000小时。

优选地，选取的短时音频可以是从多个场景下分别进行近场和远场拾音获取到，例如在家居，车载，商场，路边，办公室等多个场景下分别近场和远场拾音，以得到训练用的短时音频数据。通过多场景模拟和近场远场分别拾音，可以保证训练出的算法模型的真实性。

在获取了短时音频后，本发明实施例首先使用语音识别模型对短时音频进行音素对齐(即alignment)处理，即通过alignment技术对短时音频进行端点检测处理。其中，alignment是基于文本对齐的一种端点检测方法，使用语音识别模型对训练音频做音素对齐处理，可以防止静音的混入，提高性别识别的准确率。在具体实现中，优选采用中英文混合语音识别模型进行音素对齐处理。

接着，对音素对齐处理后的短时音频数据进行特征值提取。最后，对提取出的特征值设置性别标签，形成训练数据集，即形成的训练数据集为短时音频的特征值与对应的性别标签的数据对集合。

其中，本发明实施例提取的特征值为fbank特征，通过语音识别模型进行音素对齐处理、以及特征值提取均可以选用现有技术来实现。

步骤S202：利用训练数据集对选用的神经网络模型进行训练。

具体地，对神经网络模型进行一次训练的完整过程一般是包括前向传播、反向传播和权重更新三个步骤。在训练时，从训练数据集中获取训练数据，将训练数据中的特征值作为神经网络模型的输入，将各训练数据对应的性别标签作为神经网络模型的输出匹配目标，从而对模型的权重系数进行训练，以得到训练好的神经网络模型。

示例性地，选取的神经网络模型为卷积神经网络。对卷积神经网络进行训练的过程包括：随机从训练数据集中获取批量的训练数据，将训练数据中的特征值作为卷积神经网络的输入，将各训练数据对应的性别标签作为卷积神经网络的输出匹配目标，依次通过前向传播、反向传播和权重更新对卷积神经网络进行反复训练，直至卷积神经网络的权重收敛到预设范围，例如趋近于1的范围(0.99.9～1)。在具体实践过程中可以进行多次上述训练，以最终确定出更贴合实际情况的卷积神经网络权重系数，训练过程为了减小内存会使用mini-batch的方式，每次随机取出小批量的训练数据进行训练。其中，首先在前向传播过程中，特征值会输入卷积神经网络的主干部分(4个CNN层构成主干)，提取出embeddings，分别输入分类层中，计算出各个标签类别的预测概率，损失函数会使用预测概率和目标性别标签计算损失。接着在反向传播过程中，会使用反向传播算法计算出损失函数对于卷积神经网络权重的梯度值。最后采用随机梯度下降法，使用卷积神经网络权重的梯度值对网络权重进行更新。在训练出卷积神经网络的权重后，就可以利用最新的卷积神经网络权重和网络结构作为算法模型，对说话人的性别进行识别。

本发明实施例中选用的神经网络模型为卷积神经网络，构建的卷积神经网络的网络结构为：8通道卷积层-selu()-8通道卷积层-selu()-maxpooling层-16通道卷积层-selu()-16通道卷积层-selu()-maxpooling层-线性层-线性层-线性层，softmax loss。该神经网络结构能够有效提高识别的准确率。

步骤S203：对训练所得的神经网络模型进行定点化处理，生成用于进行性别识别的算法模型。为了减小模型的大小,在一定程度上减小内存,提高性别识别的速率，本发明实施例在对神经网络模型进行训练后，还对模型进行定点化处理，将定点化处理后的算法模型作为用于进行性别识别的模型。优选地，定点化处理为8bit定点化处理。其中，8bit定点化处理可以采用现有技术来实现，例如选用腾讯的NCNN、Tensorflow、Nvidia的TensorRT来实现，本发明实施例对此不进行限制。

步骤S102：获取实时音频数据，通过训练好的用于性别识别的算法模型对实时音频数据进行识别，确定发音人的性别。在具体应用中，可以利用步骤S101训练得到的算法模型来进行性别识别。其实现可以为：首先，使用语音识别模型对获取的实时音频数据进行音素对齐处理；接着，对音素对齐处理后的实时音频数据进行特征值提取；之后，对提取出的特征值进行跳帧处理；最后，将跳帧处理后的特征值输入算法模型，根据模型输出的性别预测概率，确定发音人的性别。

在本发明实施例的方案中，由于是采用短时音频进行模型训练，并且在模型训练过程中采用了音素对齐和定点处理，因而在实际应用阶段，对获取的实时音频，需要首先进行音素对齐处理，以有效去除静音干扰，之后可以对实时音频进行跳帧处理，以大幅提高性别识别的速率，因而整个识别方法在准确率和速率上均得到保障。其中，本发明实施例训练出的模型可以支持3帧以上的跳帧，示例性地，对提取出的特征值进行跳帧处理的跳帧幅度为6帧，在该跳帧幅度下性别识别的处理速度可以控制在20ms左右。这样，通过上述算法模型进行性别识别的准确率得到了保证，而且识别速率能大幅提升。

在其他具体实现例中，上述卷积神经网络结构中可以使用relu()激活，relu()激活是大多数神经网络都会使用的激活函数，但经大量实践表明，relu()激活的识别率比selu()低了0.3个点。

在另一实施例中，特征使用上还可以选择mfcc特征，或msdc特征，或fbank和pitch特征的融合。fbank和pitch特征融合，识别率降低了一个点，且fbank+pitch特征维度43dim、fbank特征40dim、pitch特征3dim，这样由于特征维度增多，导致相同音频提取特征后的数据量增大，依然影响了性别识别速度。而使用msdc特征，msdc特征是39dimMFCC加上其一阶差分，二阶差分所形成的39×3dim特征，使用msdc特征做性别识别的性能为99.8％比fbank特征好了0.1个点,但是由于其特征维度太多，需要计算时长太长等劣势，导致提取mfcc特征用时比fbank特征略长，并不能很好的为客户服务。

图3示意性显示了本发明一种实施方式的快速识别性别的装置，其包括

预先存储的训练好的用于性别识别的算法模型30，其中，该算法模型通过上述的方法训练生成；和

识别模块31，用于在获取到实时音频数据时，通过所述算法模型对获取的实时音频数据进行识别处理，确定发音者的性别.

其中，如图3所示，识别模块31实现为包括

对齐处理单元31A，用于使用语音识别模型对获取的实时音频数据进行音素对齐处理；

特征提取单元31B，用于对音素对齐处理后的实时音频数据进行特征值提取；

跳帧处理单元31C，用于对提取出的特征值进行跳帧处理；和

性别确定单元31D，用于将跳帧处理后的特征值输入所述算法模型，根据所述算法模型输出的性别预测概率，确定发音人的性别。

具体地，跳帧处理单元31C能处理的跳帧幅度为3帧以上，示例性地为6帧。

其中，装置实施例中的各模块和单元的具体实现方式可以参照方法部分叙述，且方法部分提及的其他实现方式也可以应用在装置实施例中，故这里不再赘述。

通过本发明实施例的方法和装置，由于能够识别短音频,在一定程度上减少了特征提取和音频识别的时间，提高了识别速率。而且，由于在对算法模型做了定点处理，因而在实际应用时可以对识别音频进一步做跳帧处理，如跳5帧后，大大降低了性别识别的时间，这为性别识别技术在工业上落地提供了有力保障。

在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述快速识别性别的方法。

在一些实施例中，本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当所程序指令被计算机执行时，使计算机执行上述快速识别性别的方法。

在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使至少一个处理器能够执行上述快速识别性别的方法。

在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时能够执行上述快速识别性别的方法。

上述本发明实施例的快速识别性别的装置可用于执行本发明实施例的快速识别性别的方法，并相应的达到上述本发明实施例的快速识别性别的方法所达到的技术效果，这里不再赘述。本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

图4是本申请另一实施例提供的执行快速识别性别的方法的电子设备的硬件结构示意图，如图4所示，该设备包括：

一个或多个处理器510以及存储器520，图4中以一个处理器510为例。

执行快速识别性别的方法的设备还可以包括：输入装置530和输出装置540。

处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的快速识别性别的方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的快速识别性别的方法。

存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据快速识别性别的装置的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至快速识别性别的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可接收输入的数字或字符信息，以及产生与快速识别性别的方法的用户设置以及功能控制有关的信号。输出装置540可包括显示屏等显示设备。

上述一个或者多个模块存储在所述存储器520中，当被所述一个或者多个处理器510执行时，执行上述任意方法实施例中的快速识别性别的方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁盘、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.用于识别性别的算法模型的生成方法，其特征在于，包括

获取短时音频进行预处理，确定训练数据集；

利用所述训练数据集对选用的神经网络模型进行训练；

对训练所得的神经网络模型进行定点化处理，生成用于进行性别识别的算法模型；其中，

获取短时音频进行预处理，确定训练数据集实现为包括：

使用语音识别模型对短时音频进行音素对齐处理；

对音素对齐处理后的短时音频数据进行特征值提取；

对提取出的特征值设置性别标签，形成训练数据集。

2.根据权利要求1所述的方法，其特征在于，所述定点化处理为8bit定点化处理。

3.根据权利要求2所述的识别方法，其特征在于，所述短时音频均为0.2s-1s长度的音频，其包括多个场景下的近场和远场拾音音频。

4.根据权利要求1至3任一项所述的方法，其特征在于，进行音素对齐处理所使用的语音识别模型为中英文混合语音识别模型。

5.根据权利要求4所述的方法，其特征在于，所述选用的神经网络模型为卷积神经网络，所述特征值为fbank特征，所述卷积神经网络的网络结构为：8通道卷积层-selu()-8通道卷积层-selu()-maxpooling层-16通道卷积层-selu()-16通道卷积层-selu()-maxpooling层-线性层-线性层-线性层，softmax loss。

6.快速识别性别的方法，其特征在于，包括

获取实时音频数据，通过训练好的用于性别识别的神经网络模型对所述实时音频数据进行识别，确定发音人的性别，其实现为包括

使用语音识别模型对获取的实时音频数据进行音素对齐处理；

对音素对齐处理后的实时音频数据进行特征值提取；

对提取出的特征值进行跳帧处理；

将跳帧处理后的特征值输入所述神经网络模型，根据所述神经网络模型输出的性别预测概率，确定发音人的性别；

其中，所述神经网络模型为利用权利要求1至5任一项所述的方法训练生成的用于性别识别的算法模型。

7.根据权利要求6所述的方法，其中，所述对提取出的特征值进行跳帧处理的跳帧幅度为6帧。

8.快速识别性别的装置，其特征在于，包括

用于性别识别的算法模型，其中，所述算法模型通过权利要求1至5任一项所述的方法训练生成；和

识别模块，用于在获取到实时音频数据时，通过所述算法模型对所述音频数据进行识别处理，确定发音者的性别，其实现为包括

对齐处理单元，用于使用语音识别模型对获取的实时音频数据进行音素对齐处理；

特征提取单元，用于对音素对齐处理后的实时音频数据进行特征值提取；

跳帧处理单元，用于对提取出的特征值进行跳帧处理；

性别确定单元，用于将跳帧处理后的特征值输入所述算法模型，根据所述算法模型输出的性别预测概率，确定发音人的性别。

9.根据权利要求8所述的装置，其特征在于，所述跳帧处理单元中设置的跳帧幅度为6帧。

10.存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求6或7所述方法的步骤。

Images