CN104036776A - 一种应用于移动终端的语音情感识别方法 - Google Patents

Abstract

本发明为一种用以提取语音情感信息的方法，其特征在于通过数据采集或通信过程，由移动电话、计算机、录音笔等设备采集或传输语音数据，并由说话人无关及说话人相关两种方法识别说话人情感。本发明中采用的说话人无关情感信息提取方法由语音数据库录制以及语音情感建模两部分构成。其中语音数据库部分作为训练情感识别器的基准，包含至少一个情感语音数据库；语音情感建模部分用以建立作为情感识别器的语音情感模型。本发明中采用的说话人相关情感信息提取方法准确率可达80％，其通过统计学方式调整内部参数从而识别语音信号中的情感。该方法能够以描述基本情感的一组特殊参数来识别其他复杂情感。

Description

一种应用于移动终端的语音情感识别方法

技术领域

本发明涉及一种人类情感识别方法，主要涉及信号处理、模式识别和情感计算领域。

背景技术

随着计算机运算能力不断提高，人工智能及模式识别算法不断发展，让计算机拥有与人交流的能力已不再遥不可及。在人与人的日常交流中，语音作为一种主要信息载体，承载着大量说话人所表达的信息。传统的语音识别算法仅关注语音的文字内容及其含义，而忽略了语音中包含的情感。

情感计算是研究计算机对人类情感的感知和表达等方式方法的研究领域。情感在人际交流中起着弥足轻重的作用，通过情感交流，交谈双方可以加深彼此了解及信任，以及创造更和谐的交流环境等。情感计算赋予计算机以感受人类情感的能力。由于说话人语音特征会随着其情绪状态而产生不同变化，其中包含大量情感信息，因此借助模式识别等技术，通过分析语音信号，发掘与情感相关的信息并判断说话人的情感状态的语音情感识别技术在情感计算和人机交互中均具有重要意义。

目前针对语音情感识别技术的研究多停留在理论阶段，实际应用尚少。此外，由于识别精度和普适程度往往难以平衡，现有的理论研究多偏重其中一点，即采用说话人相关的识别方法提高识别率，以及说话人无关的识别方法提高普适性。而在实际应用中针对这一问题仍缺乏行之有效的解决方法。

将情感识别方法应用于如智能手机、平板电脑等移动终端，可以令使用者与设备之间的交互更加自然和谐，使屏幕两端的用户以直观的方式表达和感受对方的情感；同时也能够提供基于移动设备的用户情感监测平台，以用户负面情感为触发信息实时监测危险事件，保障人身安全。

发明内容

本发明为一种用于移动计算平台的语音情感识别的方法，通过处理语音数据，识别用户当前通过语音表达的主要情感。通过结合说话人无关和说话人相关两种语音情感识别方式，极大提高了本方法在应用过程中的识别精度和普适能力。

语音情感识别方法包括如下步骤，如图1所示：

a)通过输入预定的录音脚本，记录环境信息，获取语音数据，对语音数据作可用性判别及情感类别划分等步骤，录制情感语音数据库，作为情感识别器的基准；

b)通过提取情感语音数据库中语音数据的特征信息，选取特定的特征组合，经特征降维构成训练集；建立多层结构的情感识别器，以训练集训练情感识别器等步骤建立和训练说话人无关识别器；

c)通过获取数据库中的语音数据对应的个人信息，构建个性化情感模型，建立情感识别器，然后根据数据库中的语音数据校准情感识别器内部参数，训练情感识别器，从而获得说话人相关识别器。

d)通过语音采集设备获取用户语音数据；

e)对该用户的语音数据进行分析，判断该语音数据是否能被说话人相关识别器处理，若是，则使用说话人相关识别器进行情感识别，并进行步骤g)；若否，则进行步骤f)；

f)使用说话人无关识别器进行情感识别；

g)得到情感识别结果。

本发明的特点在于其所使用的情感识别方法具有较高的识别准确率，一般情况下不低于80％。该方法所建立的模型通过采用一定数量的特殊参数(特征)将数据库中的条目同某种特定情绪相关联的方式识别情感。为了追求更高的可信度及精度，所用的特征以统计形式表示。本***由录音设备、处理器、传输***及具备情感识别能力的电子接收设备等构成。该***可以以图像、文字等数据形式传输识别结果。在开始使用前，本***需要采集说话人的情感语音进行简短的校准。

附图说明

图1为本语音情感识别方法流程图

图2为本方法所提取的特征之一，逐帧自相关密度；

图3为多层识别器结构示意图；

图4为由支持向量机获得的特征在高维空间中的可分性表达；

图5为多层人工神经网络拓扑图；

图6为多层识别器各层识别率结果；

图7为一种典型应用场景；

图8为用以表达正向情感的图像序列；

图9为用以表达说话人情感状态的花瓣图，图中每一片“花瓣”的长度代表一种情感的强度；从左至右依次表示“较强的情绪平衡状态”，“较弱的情绪平衡状态”及“情绪失衡状态”；

图10为各种情感在AV情感空间中的表示；

图11情感识别算法的核心分类决策***模型示意图；

具体实施方式

本发明的所采用的情感识别方法分为三个阶段：情感的识别，情感的解析，情感的传输。采用激活度-优势度(Arousal-Valence,AV)情感空间所定义的规则作为识别标准。AV情感空间由两个坐标轴所构成的平面表示，其中A为激活度(包含正向和反向)，V为优势度(包含正向和反向)，如图10所示。本发明中所采用的情感识别方法具备新颖性，其不针对大量说话人做统计分析，不通过确定与情感相关的参数的平均值识别情感。在传统的基于统计分析的情感识别方法中，同一情感可能会有多种表示方式，其会受到语音的声调、说话人的个性、声道特性、发音时间等诸多因素的影响，并且难以给出确切的客观描述。本发明具有两种不同的情感识别方法：说话人不相关的识别方法，其具有不依赖个性化信息且易于使用的优点；说话人相关的识别方法，其与说话人的身份密切相关，并且可以应用于复杂场景。两种方法相互补偿，因此显著提高了情感识别结果的准确性和普适程度。

本发明所包含的情感语音数据库录制过程，需要考虑到语音数据的自然度、情感极性、情感强度等多种特征。为了尽量提高语音数据的自然度，减小控制条件对于被试者的影响，在获取数据之前需要对实验环境进行简要处理，如调整环境温湿度、灯光亮度、噪声程度等，使其接近于日常生活环境。另外，对如生气、惊讶等高强度情感进行采集时，需要进行合理的诱导，使被试者进入适当的情感状态。在采集过程中，应严格遵循数据库采集规范，对于采集***的操作应由专人负责。对于获取的语音数据，应逐条作可用性判别及情感类别划分，将所得结果同语音数据一起录入数据库中。

本发明所包含的两种情感识别方法如下所述：

方法一为说话人无关情感识别方法，其包含数据库建立，特征提取，特征维数约减，多层识别器的构造与分类器选择等步骤。数据库(或称作语料库)中包含由多位年龄、背景不同的说话人所录制的、表达不同情感的语音条目组成。语音条目，并作为特征提取的原始材料。特征提取过程为从语音信号中提取与情感相关的多种参数，即特征。为了达到更好的鲁棒性和精度，本方法中采用多种特征，其中一种特征(自相关密度)如图2所示。提取后的特征由循环特征选取算法及Fisher比率作为依据，组合成不同的特征集。Fisher比率由如下公式计算：

F＝diag(S_a./S_b)

其中 $S_b=\frac{1}{n}{\mathrm{\Σ}}_{j=1}^c{\mathrm{\Σ}}_{i=1}^{n_j}{\left|\right|x_{\mathrm{ij}}-m_j\left|\right|}^2,$ $S_a=\frac{1}{n}{\mathrm{\Σ}}_{j=1}^c{n_j\left|\right|m_j-m\left|\right|}^2.$ 给定n个d维的样本特征向量，共有c类，表示第j类样本集合，x_ij表示类别j中的第i个样本，为x_j中样本的数量，定义m_j为第j类样本的均值,m为m_j的均值。

特征集经过特征降维过程进一步处理，去除冗余维度并保留特征中约占95％的关键信息，所使用的特征维度约减算法包括主特征分析、独立特征分析、随机邻域嵌入等。经降维后的特征传输至多层识别器。识别器采用语音数据库中条目作为训练基准来调整其内部分类器的参数。多层识别器的结构如图3所示，其由多个层级构成，情感的识别由各层协同完成，第一层将输入语音分为两个子类，之后各层逐渐细分，最终得到精确的识别结果。分层模型的建立由如下公式定义：

其中c种情感分为两组，共有M种方法，表示从c类中任选i类的组合数。

每一层均包含一个或多个分类器。单一的分类器的训练过程需迭代并选择最适合的特征集来得到最优结果并输出。本方法所使用的分类器类别可以为支持向量机(图4)及多层人工神经网络(图5)。支持向量机的参数选择由如下公式定义：

$D=\exp (K\×\frac{1}{N_f}\underset{i=1}{\overset{N_f}{\mathrm{\Σ}}}{F}_i)$

其中D为惩罚因子，K为常数，N_f为该分类器所采用的特征数量，F_i为各输入特征的Fisher比率。惩罚因子的取值与具体应用有关：当情感特征的区分性能较好时，可以适当提高惩罚因子，以提高支持向量机的分类能力；当情感特征的区分性能较差时，必须适当减小惩罚因子，以保证分类器有较好的泛化性能。

完整的多层识别器可以针对说话人不相关情况提供约80％的情感识别率，如图6所示。本方法所采用的特征提取，特征维度约减以及训练完成的多层分类器构成一个完整的***，用以识别任意语音中包含的情感信息并将其输出。

方法二为说话人相关情感识别方法，其将特定一位说话人作为***的控制主体。该方法的情感识别率不低于80％，因此可以应用于语音识别领域中，尤其是仅识别几种基本情感时，识别过程非常可靠。该方法的应用过程分为下列几个环节：说话人个人信息采集(如性别，年龄等)及隐私保护；***初始化，包含说话人以清晰明确的发音表达一种特定情感及内部参数校准，根据说话人的特征产生个性化情感信息；个性化信息的记录与存储；调用情感识别方法识别说话人情感；根据程序逻辑周期性触发情感识别；根据识别结果做出判断与选择等。***初始化仅需很短时间(数秒)，之后***便可以正常运行。与本方法相反，其他***需要较长的处理时间(数分钟)及较多的说话人用以初始化。本方法的识别结果可以由文字、图片或其他数据形式表达及传输，并应用于移动终端，电视，平板电脑等电子设备。

截至本发明申请为止，还不存在以移动终端等电子设备及机器人为应用平台的语音情感交互方式。目前的***需要借助生理信号传感器监测使用者的身体状况来推断其心理状态，但并不一定与情感密切相关，因此本发明具备创新性。

将上述两种情感识别方法相组合，可以构成一个能够接受任意说话人语音指令的识别方法，而无需确定其是否已经在本***注册。对于未注册说话人，可采用方法一作普适性识别；对于已注册的用户则可采用识别准确率更高且更简便的方法二作专一性识别。

本发明的典型应用过程如下描述：

如图7所示，使用者1通过语音信号4准确表达由大脑2产生的情感。该语音信号由接收***5接收并转换。接收***5可以是移动终端(如移动电话、平板电脑等)或其他具有接收及处理语音信号能力的设备。通过采用本发明所提出的情感识别方法，分析语音信号的参数，该设备识别出使用者1的情感，将识别结果通过图像等方式直接在设备上显示或通过发射信号6等方式传输至信号接收设备7，并转发至服务器8以及互联网9。上述描述仅为一种可能的应用场景，其并不唯一，且可应用于任何具备数据采集及传输能力的通信***。信号6可以通过卫星信号10的方式传输至使用者12的移动终端11(或具备同等能力的接收***，如电视、计算机等)。使用者12接收到表示情感的信号13的信息，能立即理解使用者1当前的情感，并不需要任何手动操作或与使用者1进行语音交谈。这里，传输信号6的典型形式可以为彩色图片，如图8和图9所示。本***根据使用者的不同身份及受不同环境影响，其平均情感识别率不小于80％，一般约为90％。

图8为表达情感的图片序列，一朵正在绽放的鲜花可以表达使用者的正向情感。

图9为本发明所提出的一种用以表达使用者情感的方法，为图像方式，称作花瓣图。每幅图像由6个成角度的瓣状形状(以下称为花瓣)构成，花瓣的大小可以表达使用者某种情感的强度，故图像整体能够体现使用者当前情感状态。图9a中每一枚花瓣的长度相等，因此表示一种情绪平衡状态，其中不同颜色的花瓣用以表示不同情感。图9b表示的也是一种情绪平衡状态，但其程度更弱，更趋向于没有情感的中性状态。图9c表示其中两种情感占主导地位且十分强烈，使用者处于一种情绪失衡状态。本方法具有灵活性，其不限于对情感的单纯划分，其应用了本发明所提出的数学模型，“情感百分率识别”以及“识别象限”。

该模型如下所述：

AV情感空间的二维坐标***存在四个象限，如图10所示。每个象限以逆时针方向按1至4编号，分别表示不同的情感状态组合。图中用点表示了用以理解人类情感的基本情感类别。每种情感与一个点一一对应，而每个点又与语音信号经情感识别等数学过程产生的一组参数或特征相对应。在实际应用中，兴奋且正向的情感处在右上(第一)象限；悲观且负向的情绪情感处在左下(第三)象限。每个点均表示一种观测到的说话人情感。说话人间存在个体差异，其映射具有独一性，但本方法通过情感组合的形式可以识别任意情感。此外，由于在识别过程中采用了其他的冗余性保障及补充算法，本方法能够感知使用者在测试中的激活度及优势度。借助大量特征，本方法的可信度不小于83％，高于其他现有***。

图11为情感识别算法的核心分类决策***模型示意图。如图11所示，一个分类器对输入事件中的语音作出响应并分类，简化了处理***的决策逻辑结构，省去了创建具有繁琐条件的处理机制，如决策树的必要。该模型通过设置语汇长度等方式扫描被处理的语音分帧，并且对其进行特征提取，归一化，特征维度约减及情感类型识别等操作，得出语音中的情感组合。该模型提供了在测试后定义情感类别的能力，因此本方法可以从情感组合中得出情感的分类，即组合中占有百分率最高的情感。用于获得情感百分比组合及AV情感空间识别的模型是相互独立且可以并行操作的，最终输出三个结果：情感组合，主要情感及情感所处象限。

本发明还可以应用于医疗事业中，如医院门诊中医生与患者的诊疗过程中，监测双方情绪；或用于心理疾病患者的长期监测与治疗过程中。也可用于即时通信领域，提供实时在线无需等待的情感交互方式；或为身处他乡无法见面的家人和朋友间创造简单易用的情感交流平台。对于目前数量急剧增多的空巢老人，本发明可以用以传达和排解其独居产生的烦闷及抑郁等情绪。本发明可以记录使用者情绪的历史状态，方便与其他数据库相连接和整合。

本发明可以借助但不仅限于当前的智能移动终端，如苹果iOS，谷歌Android及微软Windows等操作***平台，或其他通信***，通过移动应用(也称App)的方式实现。本发明所提出的具有创新性的概念和***有助于推动情感表达在移动计算领域的应用。

Claims (9)

1.一种用于移动计算平台的语音情感识别的方法；以说话人无关和说话人相关两种方式处

理语音信息，识别说话人当前通过语音表达的主要情感，包括以下步骤：

a)录制情感语音数据库，作为情感识别器的基准；

b)建立和训练说话人无关识别器，并构建多层识别器模型；

c)建立和训练说话人相关识别器，以情感语音数据库或用户个性化信息作为基准，校正识别器内部参数；

d)获取用户语音数据；

e)对该用户的语音数据进行分析，判断该语音数据是否能被说话人相关识别器处理，若是，则使用说话人相关识别器进行情感识别，并进行步骤g)；若否，则进行步骤f)；

f)使用说话人无关识别器进行情感识别；

g)得到情感识别结果。

2.如权利要求1所述的方法，录制情感语音数据库的步骤包括：

1)输入预定的录音脚本；

2)记录录音环境的信息；

3)根据录音脚本的要求，获取语音数据；

4)对语音数据作可用性判别，将适用数据收录进数据库；

5)对每条数据作情感类别划分，并进行标定；

6)重复步骤3)至5)，直至获取情感语音数据库的全部语音数据。

3.如权利要求1所述的方法，说话人无关识别器的建立和训练过程如下：

1)提取情感语音数据库中语音数据的特征信息；

2)选取特定的特征组合，构成特征集；

3)对特征集进行特征降维，得到训练集；

4)由多个情感分类器建立说话人无关情感识别器，该情感识别器为多层结构，每一层将语音信号的情感类别进行逐层细分；

5)使用上述训练集训练情感识别器。

4.如权利要求1所述的方法，说话人相关识别器的建立和训练过程如下：

1)获取数据库中的语音数据对应的个人信息；

2)根据该个人信息，构建个性化情感模型，建立情感识别器；

3)根据数据库中的语音数据校准情感识别器内部参数，训练情感识别器。

5.如权利要求1所述的方法，在步骤d)与步骤e)之间，包括如下步骤：

1)获取用户周围的环境信息，自动调整情感识别器的参数；

2)对所获取的语音数据进行降噪处理及针对所述环境信息的优化处理。

6.如权利要求2所述的方法，记录录音环境的信息包括环境温度，湿度，噪声水平，亮度。

7.如权利要求3所述的方法，特征信息包括：能量，过零率，基频，共振峰，频谱质心，截断频率，自相关密度，分形维数，Mel倒谱系数。

8.如权利要求4所述的方法，个人信息包括：性别，年龄，职业，国籍。

9.如权利要求1-8任意之一所述的方法，可用于：

智能设备，该设备可感知用户以语音所表达的情感，进而改变该智能设备的行为逻辑，

使用户通过语音情感控制该智能设备；或

自动报警设备，该设备可感知语音中危险情感，并实时传输至监控中心；或

医疗设备，协同医用电子***监控患者的情绪状态，并实时显示、监控、处理并存储患者的情感数据。