CN111081280B - 与文本无关的语音情感识别方法及装置、用于识别情感的算法模型的生成方法 - Google Patents

Abstract

本发明公开一种与文本无关的语音情感识别方法，其包括获取实时音频数据，通过训练好的用于语音情感识别的算法模型对实时音频数据进行识别，确定发音人的情感状态，其实现为包括使用音素对齐处理方式对获取的实时音频数据进行端点检测；对端点检测后的实时音频数据进行特征值提取；将提取出的特征值输入算法模型，根据算法模型输出的情感状态预测概率，确定发音人的情感状态。本发明还公开了与文本无关的语音情感识别装置及模型训练方法。本发明公开的方案采用可以有效保障识别的准确率。

Description

与文本无关的语音情感识别方法及装置、用于识别情感的算 法模型的生成方法

技术领域

本发明涉及智能语音技术领域，特别是一种与文本无关的语音情感识别方法及装置以及一种用于识别情感的算法模型的生成方法。

背景技术

近年来，随着智能语音技术的发展，基于情绪的语音识别也日渐成为研究的新方向新热点。目前，市面上大部分的情感识别都是文本相关的，例如华为、科大讯飞、以及百度的情感识别都是基于文本的，而文本无关的语音情感识别方案尚在研究阶段，还未提出行之有效、且能保证较高识别率的方案。

发明内容

为了克服现有方案的上述缺陷，发明人在算法选用和模型训练方面做了大量尝试和研究，最终提出了能够高效识别用户情绪的与文本无关的语音情感识别解决方案。

根据本发明的一个方面，提供了一种用于语音情感识别的算法模型的生成方法，其包括

录制情感识别语音数据进行预处理，确定训练数据集；

利用所述训练数据集对选用的神经网络模型进行训练，确定用于语音情感识别的算法模型；

其中，录制情感识别语音数据进行预处理，确定训练数据集实现为包括：

对录制的情感识别语音数据提取特征值；

对提取的特征值设置情感标签，形成训练数据集。

根据本发明的第二个方面，提供了一种与文本无关的语音情感识别方法，其包括

获取实时音频数据，通过训练好的用于语音情感识别的算法模型对所述实时音频数据进行识别，确定发音人的情感状态，其实现为包括

使用音素对齐处理方式对获取的实时音频数据进行端点检测；

对端点检测后的实时音频数据进行特征值提取；

将提取出的特征值输入所述算法模型，根据所述算法模型输出的情感状态预测概率，确定发音人的情感状态；

其中，所述网络模型为利用上述的方法训练生成的用于语音情感识别的算法模型。

根据本发明的第三个方面，提供了一种与文本无关的语音情感识别装置，其包括

用于语音情感识别的算法模型，其中，所述算法模型通过上述的方法训练生成；和

识别模块，用于在获取到实时音频数据时，通过所述算法模型对所述实时音频数据进行识别处理，确定发音者的情感状态，其实现为包括

静音处理单元，用于使用音素对齐处理方式对获取的实时音频数据进行端点检测；

特征提取单元，用于对端点检测处理后的实时音频数据进行特征值提取；

情感确定单元，用于将提取出的特征值输入所述算法模型，根据所述算法模型输出的情感状态预测概率，确定发音人的情感状态。

根据本发明的第四个方面，提供了一种电子设备，其包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述方法的步骤。

根据本发明的第五个方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

本发明实施例的方案，选用神经网络模型进行训练，训练过程中采用录制的专用语音情感数据库的音频数据作为原始音频，保证了语料的丰富性，在训练模型的时候保证了模型的通用性，从而保证了情感识别的准确。并且，在实际应用中，本发明实施例的识别方法通过音素对齐进行端点检测，有效的去除静音，保证训练和测试的音频都是有语音信息的，从而进一步保证了情感识别的准确率。

附图说明

图1为本发明一实施方式的与文本无关的语音情感识别方法的方法流程图；

图2为图1所示实施方式中的模型训练过程的方法示意图；

图3为本发明一实施方式的与文本无关的语音情感识别装置的框架结构图；

图4为本发明一实施方式的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“***”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，组件可以、但不限于是运行于处理器的过程、处理器、对象、可执行组件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是组件。一个或多个组件可在执行的过程和/或线程中，并且组件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。组件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地***、分布式***中另一组件交互的，和/或在因特网的网络通过信号与其它***交互的数据的信号通过本地和/或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由于本发明实施例涉及的与文本无关的语音情感识别的方案可以应用于任何具有智能语音交互功能的智能设备上，使得智能设备上承载的语音产品具有情感识别的功能，例如手机、手表、耳机、个人PC电脑等，但是本发明的适用范围并不局限于此。通过本发明实施例提供的方案，能够准确、高效地确定说话者的情感状态，识别速率和准确率都大幅提高，保证交互时的用户体验。

下面结合附图对本发明作进一步详细的说明。

图1和图2示意性地显示了根据本发明的一种实施方式的与文本无关的语音情感识别方法的方法流程，其中，图1为与文本无关的语音情感识别方法的流程，图2为训练用于语音情感识别的算法模型的方法流程。如图所示，本实施例的方法包括如下步骤：

步骤S101：构建用于语音情感识别的神经网络模型，并对构建的神经网络模型进行训练，确定用于语音情感识别的算法模型。本发明实施例选用神经网络模型进行与文本无关的语音情感识别。图2显示了对选用的神经网络模型进行训练的方法过程，如图2所示，其包括：

步骤S201：录制情感识别语音数据进行预处理，确定训练数据集。本发明实施例采用录制的情感识别语音数据作为原始音频。示例性地，录制一个专用的情感识别语音库，用400个说话人(200男200女)，让每个说话人用生气(angry)、开心(happy)、悲伤(sad)、平常心(neutral)四种情感分别录制700句音频存储起来。其中，录音所用的设备还可以设置为各不相同。这样就可以保证语料的丰富性，从而能够在训练模型的时候，保证模型的通用性。之后，对录制的情感识别语音数据进行预处理，以确定训练数据集。具体地，预处理可以实现为仅包括特征值提取和设置情感标签。作为一种优选实现例，本发明实施例对录制的情感识别语音数据进行预处理包括了：数据增强处理、端点检测处理、提取特征值和对提取的特征值设置情感标签四个处理过程。其中，数据增强处理可以通过多场景模拟和近场远场分别拾音实现，例如在家居，车载，商场，路边，办公室等多个场景下分别近场和远场拾音。端点检测处理可以实现为基于音素对齐方式对数据增强处理后的音频数据进行端点检测，即通过alignment技术对增强后的音频数据进行端点检测处理，其中，alignment是基于文本对齐的一种端点检测方法，其相对其他端点检测技术如vad技术具有更优的对齐效果，有助于提高识别准确率。特征值提取可以实现为：分别提取端点检测后的音频数据的fbank特征和pitch特征，并对提取的fbank特征和pitch特征进行特征融合处理，之后对融合后的特征提取一阶二阶差分，将提取出的特征值作为训练数据的输入部分。最后，为提取出的特征值设置对应的情感标签(示例性地如上所述的四种情感标签)，从而形成训练数据集。在该最优实施例种，提取的fbank特征为40dim(40维)的fbank特征，提取的pitch特征为3dim(三维)的fbank特征。通过两者特征的融合得到43维的fbank+pitch特征，再通过对其提取一阶二阶差分，共得到129维特征值作为训练数据的输入部分。

通过多场景语音数据增强处理，可以保证训练出的算法模型的真实性。而pitch特征跟声音的基频(fundamental frequency，F0)有关，反应的是音高的信息，即声调，而情感和音高而具有一定的联系，因而使用43维fbank+pitch特征，和其一阶二阶差分，共129维，可以很好的提升模型的性能。

其中，本发明实施例涉及的基于音素对齐的端点检测处理、特征值提取、特征值融合和提取一阶二阶差分均可以选用现有技术来实现。

步骤S202：利用训练数据集对选用的神经网络模型进行训练。

具体地，对神经网络模型进行一次训练的完整过程一般是包括前向传播、反向传播和权重更新三个步骤。在训练时，从训练数据集中获取训练数据，将训练数据中的特征值作为神经网络模型的输入，将各训练数据对应的情感标签作为神经网络模型的输出匹配目标，从而对模型的权重系数进行训练，以得到训练好的神经网络模型。本发明实施例对增强后的音频分别提取40dim fbank特征和3dim pitch特征，并对fbank和pitch特征做融特征融合，最后对融合后的特征提取一阶二阶差分，把提取后的特征值作为输入值送入神经网络模型进行训练，也就是说步骤S201形成的训练数据集是这些特征值与情绪标签的数据对的集合。

示例性地，选取的神经网络模型为结构为7*(conv+relu6+batchnorm)，loss为softmax()的tdnn(time delay neural network，时延神经网络)模型。延时神经网络tdnn模型相当于对滤波器做了延时，具有以下优势：1.网络是多层的，每层对特征有较强的抽象能力；2.有能力表达语音特征在时间上的关系；3.具有时间不变性；4.学习过程中不要求对所学的标记进行精确的时间定位；5.通过共享权值，方便学习。因而选取时延神经网络模型能够进一步提高识别率。

对tdnn模型进行训练的过程包括：随机从训练数据集中获取批量的训练数据，将训练数据中的特征值作为tdnn模型的输入，将各训练数据对应的情感标签作为tdnn模型的输出匹配目标，依次通过前向传播、反向传播和权重更新对tdnn模型进行反复训练，直至tdnn模型的权重收敛到预设范围，例如趋近于1的范围(0.999～1)。在具体实践过程中可以进行多次上述训练，以最终确定出更贴合实际情况的tdnn模型权重系数，训练过程为了减小内存会使用mini-batch的方式，每次随机取出小批量的训练数据进行训练。其中，首先在前向传播过程中，特征值会输入tdnn模型的主干部分(7个CNN层构成主干)，提取出embeddings，分别输入分类层中，计算出各个标签类别的预测概率，损失函数会使用预测概率和目标情感标签计算损失。接着在反向传播过程中，会使用反向传播算法计算出损失函数对于tdnn模型权重的梯度值。最后采用随机梯度下降法，使用tdnn模型权重的梯度值对网络权重进行更新。在训练出tdnn模型的权重后，就可以利用最新的tdnn模型权重和网络结构作为算法模型，对说话人的情感状态进行识别。

步骤S203：对训练所得的神经网络模型进行定点化处理，确定用于语音情感识别的算法模型。为了减小模型的大小,在一定程度上减小内存,提高性别识别的速率，本发明实施例在对神经网络模型进行训练后，还对模型进行定点化处理，将定点化处理后的算法模型作为用于进行语音情感状态识别的模型。优选地，定点化处理为8bit定点化处理。其中，8bit定点化处理可以采用现有技术来实现，例如选用腾讯的NCNN、Tensorflow、Nvidia的TensorRT来实现，本发明实施例对此不进行限制。

步骤S102：获取实时音频数据，通过训练好的用于语音情感识别的算法模型对所述实时音频数据进行识别，确定发音人的情感状态。在具体应用中，可以利用步骤S101训练得到的算法模型来进行与文本无关的语音情感识别。其实现可以为：使用音素对齐处理方式对获取的实时音频数据进行端点检测；对端点检测后的实时音频数据进行特征值提取；将提取出的特征值输入上述训练好的算法模型，根据算法模型输出的情感状态预测概率，确定发音人的情感状态。其中，在本发明实施例中，使用43维fbank+pitch特征，和其一阶二阶差分，共129维的特征值作为输入特征。

上述实施例方案选用时延神经网络模型进行训练，训练过程中采用录制的专用语音情感数据库的音频数据作为原始音频，并通过音素对齐进行端点检测，有效的去除静音，保证训练和测试的音频都是有语音信息的，从而保证了情感识别的准确。并且，本发明实施例的方案使用fbank+pitch和其一阶二阶差分作为特征值，进一步提升了情感识别的准确率。更优的是，上述实施例使用batchnorm和8bit定点化相结合的方案，减小了训练出的模型的大小，在一定程度上减小了内存，同时也提高了情感识别的速度率，可以快速识别出包括生气、开心、悲伤和正常等情感状态。

在其他实施例中，选用的神经网络模型可以为结构为7*(conv+relu())，loss为softmax()左右扩展5帧的tdnn模型。tdnn网络结构使用7*(conv+relu())训练后的模型与上述实施例相比，区别在于训练后不需要做8bit定点化，这样识别率94％，比上述实施例所提出的方法高0.6％，但识别速度上慢了4倍，因而为了保证最优识别效率(即同时保证识别率和识别速率)，上述实施例采用加入batch norm的网络结构，以方便做8bit定点化处理，提高识别速率。

其中，在实际应用阶段，对获取的实时音频提取的特征值与训练阶段所使用的特征值保持一致。

在其他具体实现例中，上述tdnn网络结构可以使用relu()激活，relu()激活是大多数神经网络都会使用的激活函数，relu()激活的性别识别率是93.4％，比relu6()高了0.2个点，但并不利于做定点化。

在另一实施例中，特征使用上还可以选择fbank特征，或fbank和pitch特征的融合。但实验结果表明,无论是fbank还是fbank+pitch,都没有fbank+pitch和其一阶二阶差分的识别效果好。

图3示意性显示了本发明一种实施方式的与文本无关的语音情感识别装置，其包括

用于语音情感识别的算法模型30，其中，该算法模型通过上述的方法训练生成；和

识别模块31，用于在获取到实时音频数据时，通过算法模型对实时音频数据进行识别处理，确定发音者的情感状态.

其中，如图3所示，识别模块31实现为包括

静音处理单元31A，用于使用音素对齐处理方式对获取的实时音频数据进行端点检测；

特征提取单元31B，用于对端点检测处理后的实时音频数据进行特征值提取；

情感确定单元31C，用于将提取出的特征值输入算法模型，根据算法模型输出的情感状态预测概率，确定发音人的情感状态。

优选地，特征提取单元31B提取出的特征值为129维特征值，包括43维fbank+pitch特征，和其一阶二阶差分。

其中，装置实施例中的各模块和单元的具体实现方式可以参照方法部分叙述，且方法部分提及的其他实现方式也可以应用在装置实施例中，故这里不再赘述。

通过本发明实施例的方法和装置，由于能够准确、快速地对说话者的情感状态进行识别，且由于采用不同的设备、通过上百个不同的男女进行语音录制，语料丰富，能够很好地保证模型的通用性，使得在多种场景下均能保证较高的识别率。而使用43维fbank+pitch特征，和其一阶二阶差分，共129维的特征值，可以很好的提升模型的性能。

在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述与文本无关的语音情感识别方法。

在一些实施例中，本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当所程序指令被计算机执行时，使计算机执行上述与文本无关的语音情感识别方法。

在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使至少一个处理器能够执行上述与文本无关的语音情感识别方法。

在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时能够执行上述与文本无关的语音情感识别方法。

上述本发明实施例的与文本无关的语音情感识别装置可用于执行本发明实施例的与文本无关的语音情感识别方法，并相应的达到上述本发明实施例的与文本无关的语音情感识别方法所达到的技术效果，这里不再赘述。本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

图4是本申请另一实施例提供的执行与文本无关的语音情感识别方法的电子设备的硬件结构示意图，如图4所示，该设备包括：

一个或多个处理器510以及存储器520，图4中以一个处理器510为例。

执行与文本无关的语音情感识别方法的设备还可以包括：输入装置530和输出装置540。

处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的与文本无关的语音情感识别方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的与文本无关的语音情感识别方法。

存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据与文本无关的语音情感识别装置的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至与文本无关的语音情感识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可接收输入的数字或字符信息，以及产生与与文本无关的语音情感识别方法的用户设置以及功能控制有关的信号。输出装置540可包括显示屏等显示设备。

上述一个或者多个模块存储在所述存储器520中，当被所述一个或者多个处理器510执行时，执行上述任意方法实施例中的与文本无关的语音情感识别方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁盘、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.用于语音情感识别的算法模型的生成方法，其特征在于，包括

录制情感识别语音数据进行预处理，确定训练数据集；

利用所述训练数据集对选用的神经网络模型进行训练，确定用于语音情感识别的算法模型，所述选用的神经网络模型为结构为7*(conv+relu())，loss为softmax()左右扩展5帧的tdnn模型，或为结构为7*(conv+relu6+batchnorm)，loss为softmax()的tdnn模型；

其中，录制情感识别语音数据进行预处理，确定训练数据集的具体步骤包括：

对录制的情感识别语音数据提取特征值，所述特征值为129维特征值，其包括基于语音数据的fbank特征和pitch特征融合得到的43维fbank+pitch特征，和其一阶二阶差分；

对提取的特征值设置情感标签，形成训练数据集。

2.根据权利要求1所述的方法，其特征在于，所述对录制的情感识别语音数据提取特征值包括：

分别提取语音数据的fbank特征和pitch特征；

对提取的fbank特征和pitch特征进行特征融合处理；

对融合后的特征提取一阶二阶差分。

3.根据权利要求1或2所述的方法，其特征在于，在选用的神经网络模型为结构为7*(conv+relu6+batchnorm)，loss为softmax()的tdnn模型时，在对神经网络模型进行训练之后，还对训练所得的神经网络模型进行定点化处理以生成用于进行语音情感识别的算法模型。

4.根据权利要求3所述的方法，其特征在于，所述情感识别语音数据包括生气、开心、悲伤和正常四种情感的语音数据。

5.与文本无关的语音情感识别方法，其特征在于，包括

获取实时音频数据，通过训练好的用于语音情感识别的算法模型对所述实时音频数据进行识别，确定发音人的情感状态，其具体步骤包括

使用音素对齐处理方式对获取的实时音频数据进行端点检测；

对端点检测后的实时音频数据进行特征值提取；

将提取出的特征值输入所述算法模型，根据所述算法模型输出的情感状态预测概率，确定发音人的情感状态；

其中，所述算法模型为利用权利要求1至4任一项所述的方法训练生成的用于语音情感识别的算法模型。

6.与文本无关的语音情感识别装置，其特征在于，包括

用于语音情感识别的算法模型，其中，所述算法模型通过权利要求1至4任一项所述的方法训练生成；和

识别模块，用于在获取到实时音频数据时，通过所述算法模型对所述实时音频数据进行识别处理，确定发音者的情感状态，其具体包括

静音处理单元，用于使用音素对齐处理方式对获取的实时音频数据进行端点检测；

特征提取单元，用于对端点检测处理后的实时音频数据进行特征值提取；

情感确定单元，用于将提取出的特征值输入所述算法模型，根据所述算法模型输出的情感状态预测概率，确定发音人的情感状态。

7.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。

Images