CN113853651A - 用量化的情感状态进行语音-情感识别的装置和方法 - Google Patents
用量化的情感状态进行语音-情感识别的装置和方法 Download PDFInfo
- Publication number
- CN113853651A CN113853651A CN202180002508.3A CN202180002508A CN113853651A CN 113853651 A CN113853651 A CN 113853651A CN 202180002508 A CN202180002508 A CN 202180002508A CN 113853651 A CN113853651 A CN 113853651A
- Authority
- CN
- China
- Prior art keywords
- emotion
- speech
- audio signal
- feature
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000002996 emotional effect Effects 0.000 title claims description 28
- 230000008451 emotion Effects 0.000 claims abstract description 106
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 39
- 241000282414 Homo sapiens Species 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000005236 sound signal Effects 0.000 claims description 48
- 238000009826 distribution Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000009795 derivation Methods 0.000 claims description 5
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000011002 quantification Methods 0.000 claims description 4
- 230000033764 rhythmic process Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims 1
- 230000001960 triggered effect Effects 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000013139 quantization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008909 emotion recognition Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种在持续自我更新和可重训练的ASER机器学习模型下训练语音‑情感识别分类器的方法,其中训练数据通过以下方式产生:获取人类语音源的话语;在情感评估和评级过程中对话语进行归一化处理;提取话语特征;通过对特征属性进行标记、标签和加权,来量化提取特征的特征属性,其值在可测量的尺度下分配;在特征属性散列过程中对量化的特征属性进行散列,得到用于创建特征向量空间的散列值。运行时语音‑情感识别包括:提取话语特征;训练识别分类器识别话语单元的情感和强度等级;并通过将识别的情感和强度等级、以及量化的提取特征属性按各自权重进行融合,计算出话语的量化情感状态。
Description
技术领域
本发明涉及自动语音情感识别技术,特别涉及用于量化、预测、识别和区分语音(speech)中的情感状态的装置和方法。本发明还涉及自动语音情感识别(AutomaticSpeech Emotion Recognition,ASER)机器学习模型、分类器、训练技术、自我更新和再训练。
背景技术
近年来,自动语音情感识别(ASER)在客户服务、心理健康诊断、咨询和各种人机交互界面等领域显示出很好的应用前景。在人类语音(speech)的情感识别***和模型方面有大量学术研究,但现实世界的应用仍然具有挑战性,因为人类情感极难定义,在如何测量、量化和分类方面缺乏共同的共识。
迄今为止,大多数研究都是基于现有的人类语音录音数据库,着重于分析人类语音中的各种参数或特征中提取的特征,尤其是声学差异。其中许多研究还局限于对情感的定性描述,如积极、消极、高、低、中等分配。此外,大多数现有的人类语音记录数据库包含人工表演和静态语音(static speech),而不是取自在日常正常社交的自然和动态环境下的自发语音。然而,言语情感与说话者的人口、性别、年龄、文化背景以及口语时空变化的影响高度相关。因此,这些数据库很难提供涵盖人类各种情感的数据。如此,即使可以成功开发情感识别模型,也很少有这些模型的更新。
此外,这些记录人类的数据库在数据模式设计、来源和收集方面的数据质量在语音情感识别中起着至关重要的作用,因为分类过程通常依赖于标记数据;因此,数据的质量极大地影响了模型的建立和识别过程的性能。
此外,现有***和模型在情感分类方面差别很大。情感最常被分类为愤怒、悲伤、喜悦等不同的类别。然而,目前还没有***和有效的方法来区分情感状态的数量级(例如等级、水平、程度等)和每个识别的情感类别的强度或力度的尺度;也没有相对客观的方法将这些数量级分配给识别的各种语音情感。
因此,期望有一种支持模型自动更新、识别和定量测量语音情感的高效的***或有效的方法,本领域的这种需求尚未得到满足。这样的***或方法不仅在一般应用上有需求,而且在具体标定的目的上也有需要,例如个性化、驾驶员的安全、心理健康诊断等。
发明内容
本发明提供了一种用于语音-情感识别的装置和方法,其可以将语音情感量化为可测量的尺度和数值。本发明的另一个目的是提供这种基于连续自我更新和可重新训练的ASER机器学习模型的语音-情感识别装置和方法。
根据本发明的一方面,使用通过处理一个或多个人类语音源输入数据流的一个或多个音频信号及其相关文本而获得的训练数据,来训练语音-情感识别分类器或混合分类器,该训练数据经过情感评估和评级过程、情感状态评级归一化过程、特征提取过程、特征属性量化过程、以及可选的特征属性散列过程。其中,人类语音输入源数据流可以是但不限于现实生活中人与人之间的正常对话和争吵、日常用语、新闻报道、辩论和正式演讲的音轨或音频记录。
在一个实施例中,语音-情感识别分类器是基于支持向量机(Support VectorMachine,SVM)实施的,混合分类器是基于具有局部敏感散列(locality-sensitivehashing,LSH)的SVM实施的。
在一个实施例中,情感评估和评级过程包括:通过一个人口样本组,来感知人类语音输入源数据流的每个音频信号(话语)及其相关文本,人口样本组是基于具有相似文化背景的个人对话语语言的掌握和理解来选择的,具有相似文化背景的个人的选取标准包括但不限于性别、年龄范围、职业、家庭背景和教育水平在内的一个或多个标准;通过该人口样本组,将话语中每个话语单元(例如,字符、单词或短语)的情感分配到其中一个情感类别中(例如,爱、喜悦、惊讶、愤怒、悲伤、恐惧、中性等);并通过该人口样本组,从话语的声学(包括音调)、词汇、语言特征和语义内容方面,对每个单独的话语单元的情感强度等级进行评级,以确定其情感状态(例如,…,-3,-2,-1,0,+1,+2,+3,…等)。
在一个实施例中,情感状态评级归一化过程包括:获取每个话语的情感分配分布和评级分布;剔除情感分配分布中的奇异和极端情感分配以及评级分布中的奇异和极端评级值;以及确定剔除后的话语归一化情感分配和话语情感强度等级的归一化评级值。
在一个实施例中,特征提取过程从每个音频信号(话语)中提取一个或多个具有特征属性的特征,特征属性包括但不限于话语中每个单独话语单元(例如,字符、单词或短语)的音高(pitch)、音调(tone)、声音长度(length of sound)、响度(loudness)、基本频率(fundamental frequency)和语义串(semantic string)中的一个或多个、频率-时间表示(frequency-time representation)、语音振幅方差(variance of speech byamplitude)、话语单元节奏的语音方差(variance of speech by pacing of utteranceunits)、过零率(zero crossing rate)、基本估算及其推导(fundamental estimation andits derivation)、音频信号的频谱分布(spectral distribution of the audiosignal)、语音中浊音与清音信号的比率(ratio of voiced vs.unvoiced signal inspeech)、以及话语的语音韵律(prosody of speech of the utterance)。
特征提取过程之后是特征量化过程,其中提取的特征属性通过标签、标记和加权进行量化,它们的值在可测量的尺度下分配。
然后在特征属性散列过程中对提取的特征及其量化属性进行散列。之后,将量化的提取特征属性的散列值用于形成代表相应提取特征的特征向量,且话语的提取特征的特征向量形成话语的特征向量空间。
归一化的分配情感、情感强度等级、和提取特征及其各自音频信号的量化属性,构成训练数据,用于训练和测试语音-情感识别分类器或混合分类器和识别模型。
根据本发明的另一方面,训练数据和散列值存储在训练数据储存库中,以便在其他语音-情感识别***中重复使用。
在运行时,语音-情感识别装置被配置为执行根据本发明实施例的运行方法,以识别具有一个或多个音频信号(话语)的实时语音的语音情感。
根据本发明的另一方面,运行时语音-情感识别方法包括:接收实时语音的音频信号;从每个话语中提取一个或多个特征;由训练分类器或混合分类器对话语进行分类,包括:对提取的特征属性进行量化;在训练分类器或混合分类器形成的特征向量空间中搜索并匹配量化的提取特征属性,以获得识别的话语情感和每个话语单元(例如,字符、单词或短语)的情感强度等级。对于识别出其话语单元的情感和情感强度等级的话语,计算该话语的量化情感状态(例如,有点生气、非常生气或极度生气),并由具有显示器的电子设备(例如智能手机、平板电脑、个人电脑、电子信息亭等)以文本、图形(例如,图形均衡器)和/或其他数字格式进行可视化。
随着时间的推移和使用,经过训练的语音-情感识别分类器或混合分类器可能会遇到无法识别的情感话语,例如,由于语言变化产生了新词和短语。一个无法识别情感的话语要么是具有无法提取和/或量化的特征和特征属性的话语(未标记数据),要么是具有无法匹配的量化的提取特征属性的话语。在连续的自我更新和可重新训练的ASER机器学习模型下,未识别的情感话语以及量化的提取特征属性(如果有的话)被输入到更新模型中。
在更新模型中,带有未标记数据的未识别情感的话语首先通过上述特征提取过程和特征属性量化过程进行处理,以得到其量化的提取特征属性。在另一个实施例中,带有未标记数据的未识别情感的话语首先由人类智能进行标记(例如,手动标记未标记数据),然后由上述特征提取过程和特征属性量化过程进行处理。未识别情感的话语的量化的提取特征属性用于创建话语特征向量空间。然后,将特征向量空间被输入到执行一个或多个深度学习算法的深度学习机中,该算法被配置为从输入特征向量空间中确定话语中每个话语单元的预测情感和情感强度等级。预测的情感和情感强度等级由人类智能验证(例如,由操作人员手动验证)。
未识别情感的话语、其量化的提取特征属性、以及验证的预测情感和情感强度等级被反馈到语音-情感识别分类器或混合分类器,以重新训练其识别模型,并更新训练数据存储库。
附图说明
下面参照附图更详细地描述本发明的实施例,其中:
图1显示根据本发明各个实施例的用于语音-情感识别的方法的逻辑结构图和数据流图。
图2显示根据本发明一个实施例的用于训练语音-情感识别分类器的方法的流程图;
图3显示用于训练语音-情感识别分类器的方法的情感评估和评级过程的流程图。
图4显示用于训练语音-情感识别分类器的方法的情感状态评级归一化过程流程图。
图5显示具有量化属性的提取特征及其相应散列值的一个示例;
图6显示根据本发明一个实施例的用于识别运行时语音中的语音情感的方法的流程图。
具体实施方式
在以下描述中,作为优选的例子阐述了用于语音-情感识别和量化的装置和方法。对本领域技术人员来说,显然可以在不偏离本发明的范围和精神的情况下进行修改,包括添加和/或替换。具体细节可以省略,以便不模糊本发明;然而,本公开内容是为了使本领域技术人员能够在不进行过度实验的情况下实践这里的教导。
根据本发明的各种实施例,提供了一种基于连续的自我更新和可重新训练的ASER机器学习模式的语音-情感识别和量化装置和方法。下面参照图1对本发明作进一步说明。语音-情感识别装置的逻辑执行模块包括:语音接收器(101)、语音-情感识别训练器(102)、训练数据存储库(103)、特征提取器(104)、语音-情感识别分类器(105)、更新模型(106)、识别的语音-情感量化器(107)、以及可选的量化语音-情感可视化器(108)。
根据实施例的一种实现方式,所有逻辑执行模块都在单一计算设备中实施,例如智能手机、平板电脑或笔记本计算机、电子信息亭、个人计算机或服务器计算机,这些设备具有:内置或连接的***麦克风,其为语音接收器(101)提供音频信号接收功能;输入用户界面,例如键盘、指针设备和/或触摸屏,其提供接收用户输入的功能;一个或多个处理器,其被配置为执行语音-情感识别训练器(102)、训练数据存储库(103)、特征提取器(104)、语音-情感识别分类器(105)和更新模型(106)的过程;内置或连接的计算机可读存储介质,其用于训练数据存储库(103)的数据存储功能;以及内置或连接的***电子显示器,和/或电子视觉指示器如LED,为语音-情感可视化器(108)提供输出用户界面、信息显示和用户警报/通知功能。
在一个实施例中,用户警报/通知功能的作用是提醒/通知用户检测到某种量化的情感状态(例如,非常生气)的语音-情感,这是预先定义的,作为早期警告。
逻辑执行模块还可以使用多个互连的计算设备来实施,例如具有麦克风、输入用户界面和显示器的智能手机,其连接到提供语音-情感识别训练器(102)、训练数据存储库(103)、特征提取器(104)、语音-情感识别分类器(105)和更新模型(106)的一个或多个功能的一个或多个云服务器。
训练数据储存库(103)可以被实施为关系数据库(例如,MySQL)或平面文件数据库。
下面参考图1和2进一步描述本发明。根据本发明的一个方面,使用通过训练数据生成获得的训练数据来训练语音-情感识别分类器(105),包括:由语音接收器(101)获得一个或多个人类语音源输入数据流(201)的一个或多个音频信号及其相关文本;由语音-情感识别训练器(102)在情感评估和评级过程(202)中处理音频信号及其相关文本;由语音-情感识别训练器(102)在情感状态评级归一化过程(203)中对情感评估和评级过程(202)的结果进行归一化处理;由特征提取器(104)在特征提取过程(204)中提取音频信号的特征;由特征提取器(104)在特征属性量化过程(205)中对特征属性进行量化;由特征提取器(104)在特征属性散列过程(206)中对量化的特征属性进行散列;其中,人类语音输入源数据流可以是但不限于现实生活中人与人之间的正常对话和争吵、日常用语、新闻报道、辩论和正式演讲的音轨或音频记录。
在一个实施例中,语音-情感识别分类器(105)是基于一个或多个支持向量机(SVM)来实施的。在另一实施例中,语音-情感识别分类器是基于具有局部敏感散列(LSH)的一个或多个SVM实施的混合分类器。本领域技术人员可能在语音-情感识别分类器和/或混合分类器的实施中采用其他机器学习算法和技术,而无需过度实验或偏离本发明的精神。
下面参考图2和图3进一步描述本发明。在一个实施例中,情感评估和评级过程(202)包括:通过一个人口样本组来感知人类语音输入源数据流(301)中的每个音频信号(话语)及其相关文本,该人口样本组是根据具有相似文化背景的个人对话语(utterance)的掌握和理解来选择的,该具有相似文化背景的个人的选取标准包括但不限于性别、年龄范围、职业和教育水平的一项或多项标准;通过该人口样本组,将话语中每个话语单元(例如,字符、单词或短语)的情感分配到其中一个情感类别中(例如,爱、喜悦、惊讶、愤怒、悲伤、恐惧、中性等)(302);通过该人口样本组,根据话语的声学(包括音调)、词汇、语言特征和语义内容,对每个话语单元的情感强度等级进行评级,以确定其情感状态(例如…、-3、-2、-1、0、+1、+2、+3、…等)(303)。情感评估和评级过程背后的基本原理是,语音-情感是由一群人拥有和共享的集体认知,本发明通过确保训练数据由自然和自发的语音(speech)产生,解决现有数据库包含人工表演和静态语音的缺点。
下面参考图2和图4进一步描述本发明。在一个实施例中,情感状态评级归一化过程(203)包括:获取每个话语的情感分配分布和评级分布(401);剔除情感分配分布中的奇异(singular)和极端情感分配以及评级分布中的奇异和极端评级值(402);根据小组的大多数情感分配,确定每个话语单元的归一化情感分配,并根据剔除后的小组的分布密度或平均评级值,确定每个话语单元的情感强度等级的归一化评级值(403)。
在一个实施例中,特征提取过程(204)从每个音频信号(话语)中提取一个或多个特征,其特征属性包括但不限于话语中每个单独话语单元(例如,字符、单词或短语)的音高、音调、声音长度、响度、基本频率和语义串中的一个或多个、频率-时间表示、语音振幅方差、话语单元节奏的语音方差、过零率、基本估算及其推导、音频信号的频谱分布、语音中浊音与清音信号的比率、以及话语的语音韵律。上述特征属性列表并非详尽无遗。本领域技术人员将理解,其他实施例可以包括对其他特征和特征属性的提取和处理,而无需过多的实验和偏离本发明的精神。此外,对ASER机器学习模型的个性化,例如不同的语言和文化、不同的社会环境、不同的设备实施(例如,具有有限计算资源的独立的移动计算设备、高性能服务器等),可以通过调整被提取和处理的特征和特征属性、调整情感评估和评级、和/或使用自己的语音作为训练语音-情感识别分类器的源输入,使之成为可能。
然后特征提取过程之后是特征量化过程(205),其中所提取的特征属性用标签、标记和加权进行量化,其值在可测量的尺度下分配。图5显示了一个带有量化属性(501)的提取特征的例子,其中“狗”代表提取的特征之一(话语中的一个词),“音高”、“音调”、“频率”等是其中一些量化的属性。
然后在特征属性散列过程(206)中对提取的特征及其量化属性进行散列(hash)。图5显示了一个具有量化属性(501)及其对应散列值(502)的提取特征的例子。在使用带有LSH混合分类器的SVM的语音-情感识别的实施例中,提取的特征及其量化属性通过使用LSH算法的特征属性散列过程(206)进行散列,以获得每个量化提取特征属性的散列值(hashvalue)。然后,量化提取特征属性的散列值用于形成代表相应提取特征的特征向量,提取的话语特征的特征向量形成话语的特征向量空间。
归一化的分配的情感和情感强度等级,以及具有各自音频信号的量化属性的提取特征,构成用于训练和测试识别模型(105a)和语音-情感识别分类器(105)的训练数据。在语音-情感识别使用一个具有LSH的SVM作为混合分类器的实施例中,识别模型和混合分类器的训练还包括在混合分类器中形成一个LSH协同模型,其特征向量的特征向量空间是从提取的特征的散列值以及每个音频信号的特征向量的一个或多个搜索索引中获得的。
根据本发明的另一方面,分配的情感和情感强度等级、具有量化属性的提取特征、以及各个音频信号的提取特征的散列值,被存储在训练数据存储库(103)中,以在其他语音-情感识别***中重复使用。
在运行时,语音-情感识别装置被配置为执行根据本发明实施例的运行方法,以识别具有一个或多个音频信号(话语)的实时语音的语音情感。
下面参照图6对本发明作进一步说明。根据本发明的另一方面,该运行时语音-情感识别方法包括:由语音接收器(101)接收实时语音的音频信号(话语)(601);由特征提取器(104)从每个话语中提取一个或多个具有特征属性的特征,包括话语中每个单独话语单元(例如,字符、单词或短语)的音高、音调、声音长度、响度、基本频率和语义串中的一个或多个、频率-时间表示、语音振幅方差、话语单元节奏的语音方差、过零率、基本估算及其推导、音频信号的频谱分布、语音中浊音与清音信号的比率、以及话语的语音韵律(602);由经过训练的分类器(105)对话语进行分类(603),包括:对提取的特征属性进行量化(603a);在训练分类器(105)的特征向量空间中搜索和匹配量化的提取特征属性,以获得每个话语单元的识别情感和情感强度等级(603b);对于已识别出其话语单元的情感和情感强度等级的话语,由识别语音-情感量化器(107),从识别的话语单元的情感和情感强度等级、以及量化的提取特征属性,计算话语的量化情感状态(例如,有点生气、非常生气、或超级生气)(604);对于已识别出其情感的话语,由语音-情感可视化器(108)以文本、图形(例如,图形均衡器)和/或其他数字格式将话语的量化情感状态进行可视化(605);以及在无法识别话语的情感的情况下,触发更新模型(106)(606)。
随着时间的推移和使用,经过训练的语音-情感识别分类器(105)可能会遇到由于例如语言变化产生新词和短语而无法识别的具有情感的话语。无法识别的情感话语要么是具有无法提取和/或量化的特征和特征属性的话语(未标记数据),要么是具有无法匹配的量化提取的特征属性的话语。在持续的自我更新和可重新训练的ASER机器学习模型下,未识别的情感话语以及量化的提取特征属性(如果有的话),被输入到更新模型(106)。
在更新模型(106)中,带有未标记数据的未识别的情感话语首先通过上述特征提取过程和特征属性量化过程进行处理,以获得其量化的提取特征属性。在另一个实施例中,带有未标记数据的未识别的情感话语首先由人类智能进行标记(例如,手动标记未标记数据),然后由上述特征提取过程和特征属性量化过程进行处理。未识别的情感话语的提取特征和它们各自的量化提取特征属性,用于创建该话语的特征向量空间。然后将特征向量空间输入到更新模型(106)的深度学习机(106a),执行一个或多个深度学习算法,该算法被配置为从输入的特征向量空间确定每个话语单元的预测情感和情感强度等级。预测的情感和情感强度等级由人类智能验证(例如,由操作人员手动验证)。
深度学习机(106a)可以由卷积神经网络(CNN)和循环神经网络(RNN)中的一个或多个来实现。本领域技术人员可以采用其他深度学习机器实现方式,而无需过度实验或偏离本发明的精神。
提取的特征及其各自量化的提取特征属性、经验证的话语单元的预测的情感和情感强度等级被反馈给语音-情感识别分类器(105),以重新训练其识别模型(105a),并更新识别模型数据库和训练数据存储库(103)。
根据一个实施例,话语的量化情感状态的计算(604)包括:将识别的话语单元的情感和情感强度等级,以及量化的提取特征属性按各自的权重进行融合。
本公开的全部或部分实施例可以使用一个或多个特别配置的计算设备、计算机处理器或电子电路来实现,包括但不限于图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及根据本公开的教导配置或编程的其他可编程逻辑器件。基于本公开的教导,软件或电子领域的技术人员可以容易地准备在计算设备、计算机处理器或可编程逻辑设备中运行的计算机指令或代码。上述一个或多个计算设备可以包括服务器计算机、个人计算机、笔记本电脑、移动计算设备如智能手机和平板电脑中的一个或多个。
电子实施例包括其中存储有计算机指令或代码的计算机可读存储介质,其可用于配置或编程计算设备、计算机处理器或电子电路以执行本发明的任何过程;以及存储由本发明的任何过程产生的数据。计算机可读存储介质包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM、磁光盘、固态盘、ROM、RAM、SRAM、DRAM、闪存存储设备、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或适合存储指令、代码和/或数据的任何类型的介质或设备。
本发明的各种实施例还可以在分布式计算环境和/或云计算环境中实施,其中计算机指令或代码的全部或部分由通过通信网络互连的一个或多个处理设备以分布式方式执行,通信网络包括例如内部网、广域网(WAN)、局域网(LAN)、互联网和其他形式的数据传输介质。
本发明的上述描述是为了说明和描述的目的而提供的。并不打算详尽无遗或将本发明限制在所公开的精确形式上。许多修改和变化对于本领域技术人员来说都是显而易见的。
选择的和描述的实施例是为了最好地解释本发明的原理及其实际应用,从而使本领域的其他技术人员能够理解本发明的各种实施例和适合于所设想的特定用途的各种修改。
Claims (10)
1.一种用于训练语音-情感识别分类器的计算机实施方法,包括:
生成用于训练语音-情感识别分类器的训练数据;
用所述训练数据训练所述语音-情感识别分类器;
其中所述训练数据的生成包括:
通过语音接收器获得人类语音源输入数据流的音频信号;
在情感评估和评级过程中,由语音-情感识别训练器处理所述音频信号及其相关文本;
在情感状态评级归一化过程中,由所述语音-情感识别训练器对所述情感评估和评级过程的结果进行归一化;
在特征提取过程中,由特征提取器提取所述音频信号的特征;
在特征属性量化过程中,由所述特征提取器对所述提取的特征的一个或多个特征属性,通过标记、标签和加权所述特征属性来进行量化,并在可测量的尺度下分配其值;以及
在特征属性散列过程中,由所述特征提取器对所述量化的特征属性进行散列处理,得到所述量化的特征属性的散列值;
其中,所述训练数据包括所述情感评估和评级过程的归一化结果、所述提取的特征、所述量化的特征属性、和所述量化的特征属性的散列值。
2.根据权利要求1所述的计算机实施方法,所述情感评估和评级过程包括:
通过一个人口样本组,来感知所述人类语音输入源数据流的音频信号,所述人口样本组是根据具有相似文化背景的个人对所述音频信号及其相关文本的语言的掌握和理解来选择的,该具有相似文化背景的个人的选取标准包括性别、年龄范围、职业、家庭背景和教育程度在内的一个或多个标准;
通过所述人口样本组,将所述音频信号中每个话语单元的情感分配到其中一个情感类别中;
通过所述人口样本组,根据所述音频信号的声学、词汇、语言特征和语义内容,对所述音频信号中每个话语单元的情感强度等级进行评级。
3.根据权利要求1所述的计算机实施方法,其中所述情感状态评级归一化过程包括:
获取所述音频信号中每个话语单元的情感分配分布和情感强度等级分布;
剔除所述情感分配分布中的极端情感分配和所述情感强度等级分布中的极端情感强度等级值;
基于大多数未剔除的情感分配,确定所述音频信号及其相关文本的归一化情感分配,并基于未剔除的情感强度等级值的分布密度或平均值,确定所述音频信号及其相关文本的归一化情感强度等级值。
4.根据权利要求1所述的计算机实施方法,其中所述特征提取过程包括:
从所述音频信号中提取一个或多个特征,其特征属性包括:所述音频信号中每个单独话语单元的音高、音调、声音长度、响度、基本频率和语义串中的一个或多个、频率-时间表示、语音振幅方差、话语单元节奏的语音方差、过零率、基本估算及其推导、音频信号的频谱分布、语音中浊音与清音信号的比率、以及音频信号的语音韵律。
5.根据权利要求1所述的计算机实施方法,所述人类语音输入源数据流包括现实生活中人与人之间正常对话和争吵、日常用语、新闻报道、辩论和正式演讲中的一种或多种的音轨或音频记录。
6.一种用于识别语音中的语音情感的计算机实施方法,包括:
由语音接收器接收实时语音的一个或多个音频信号;
由特征提取器从每个音频信号中提取一个或多个具有特征属性的特征,所述特征属性包括:所述音频信号中每个单独话语单元的音高、音调、声音长度、响度、基本频率和语义串中的一个或多个、频率-时间表示、语音振幅方差、话语单元节奏的语音方差、过零率、基本估算及其推导、音频信号的频谱分布、语音中浊音与清音信号的比率、以及音频信号的语音韵律;
由语音-情感识别分类器对所述音频信号进行分类,包括:
对每个提取的特征的一个或多个特征属性进行量化;和
在所述语音-情感识别分类器的特征向量空间中,搜索并匹配所述量化的提取特征属性,以识别所述音频信号中每个话语单元的情感和情感强度等级;
如果所述话语单元的情感和情感强度等级被识别出,那么:
由识别语音-情感量化器,通过所述识别出的话语单元的情感与情感强度等级、所述量化的提取特征属性按各自权重进行融合,计算出所述音频信号的量化情感状态;和
由语音情感可视化器,将所述音频信号的所述量化情感状态进行可视化;
否则,如果所述音频信号的情感未被识别,则触发更新模型。
7.根据权利要求6所述的计算机实施方法,其中所述更新模型包括:
从所述音频信号中提取一个或多个特征;
对每个提取特征的一个或多个特征属性进行量化;
从所述提取的特征及其各自的量化的特征属性,创建特征向量空间;
由深度学习机从所述特征向量空间中确定所述音频信号中每个话语单元的预测的情感和情感强度等级;
由人类智能验证所述预测的情感和情感强度等级;
将所述提取的特征与各自的量化的提取特征属性、以及验证的预测情感和情感强度等级反馈给所述语音-情感识别分类器,以重新训练其识别模型。
8.根据权利要求6所述的计算机实施方法,其中所述语音-情感识别分类器通过如权利要求1所述的方法来训练。
9.根据权利要求1所述的计算机实施方法,其中所述语音-情感识别分类器是基于一个或多个支持向量机(SVM)实施的。
10.根据权利要求1所述的计算机实施方法,其中所述语音-情感识别分类器是基于具有局部敏感散列(LSH)的一个或多个SVM实施的混合分类器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/402,643 US11810596B2 (en) | 2021-08-16 | 2021-08-16 | Apparatus and method for speech-emotion recognition with quantified emotional states |
US17/402,643 | 2021-08-16 | ||
PCT/CN2021/114427 WO2023019612A1 (en) | 2021-08-16 | 2021-08-25 | Apparatus and method for speech-emotion recognition with quantified emotional states |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113853651A true CN113853651A (zh) | 2021-12-28 |
CN113853651B CN113853651B (zh) | 2024-06-28 |
Family
ID=78982715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180002508.3A Active CN113853651B (zh) | 2021-08-16 | 2021-08-25 | 用量化的情感状态进行语音-情感识别的装置和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113853651B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456114A (zh) * | 2022-11-04 | 2022-12-09 | 之江实验室 | 一种模型训练和业务执行的方法、装置、介质及设备 |
CN116758947A (zh) * | 2023-08-14 | 2023-09-15 | 北京分音塔科技有限公司 | 基于音频情感的辅助审判方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101261832A (zh) * | 2008-04-21 | 2008-09-10 | 北京航空航天大学 | 汉语语音情感信息的提取及建模方法 |
CN102723078A (zh) * | 2012-07-03 | 2012-10-10 | 武汉科技大学 | 基于自然言语理解的语音情感识别方法 |
CN105609117A (zh) * | 2016-02-19 | 2016-05-25 | 郑洪亮 | 一种识别语音情感的装置和方法 |
US20160162807A1 (en) * | 2014-12-04 | 2016-06-09 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | Emotion Recognition System and Method for Modulating the Behavior of Intelligent Systems |
US20180308487A1 (en) * | 2017-04-21 | 2018-10-25 | Go-Vivace Inc. | Dialogue System Incorporating Unique Speech to Text Conversion Method for Meaningful Dialogue Response |
CN110364186A (zh) * | 2019-08-08 | 2019-10-22 | 清华大学深圳研究生院 | 一种基于对抗学习的端到端的跨语言语音情感识别方法 |
-
2021
- 2021-08-25 CN CN202180002508.3A patent/CN113853651B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101261832A (zh) * | 2008-04-21 | 2008-09-10 | 北京航空航天大学 | 汉语语音情感信息的提取及建模方法 |
CN102723078A (zh) * | 2012-07-03 | 2012-10-10 | 武汉科技大学 | 基于自然言语理解的语音情感识别方法 |
US20160162807A1 (en) * | 2014-12-04 | 2016-06-09 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | Emotion Recognition System and Method for Modulating the Behavior of Intelligent Systems |
CN105609117A (zh) * | 2016-02-19 | 2016-05-25 | 郑洪亮 | 一种识别语音情感的装置和方法 |
US20180308487A1 (en) * | 2017-04-21 | 2018-10-25 | Go-Vivace Inc. | Dialogue System Incorporating Unique Speech to Text Conversion Method for Meaningful Dialogue Response |
CN110364186A (zh) * | 2019-08-08 | 2019-10-22 | 清华大学深圳研究生院 | 一种基于对抗学习的端到端的跨语言语音情感识别方法 |
Non-Patent Citations (1)
Title |
---|
高庆吉;赵志华;徐达;邢志伟;: "语音情感识别研究综述", 智能***学报, no. 01, 31 December 2020 (2020-12-31) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115456114A (zh) * | 2022-11-04 | 2022-12-09 | 之江实验室 | 一种模型训练和业务执行的方法、装置、介质及设备 |
CN116758947A (zh) * | 2023-08-14 | 2023-09-15 | 北京分音塔科技有限公司 | 基于音频情感的辅助审判方法、装置、设备及存储介质 |
CN116758947B (zh) * | 2023-08-14 | 2023-10-20 | 北京分音塔科技有限公司 | 基于音频情感的辅助审判方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113853651B (zh) | 2024-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11810596B2 (en) | Apparatus and method for speech-emotion recognition with quantified emotional states | |
KR20190125153A (ko) | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 | |
Guha et al. | Hybrid feature selection method based on harmony search and naked mole-rat algorithms for spoken language identification from audio signals | |
CN113853651B (zh) | 用量化的情感状态进行语音-情感识别的装置和方法 | |
Das et al. | A CNN-BiLSTM based hybrid model for Indian language identification | |
Yasmin et al. | Graph based feature selection investigating boundary region of rough set for language identification | |
KR20220071059A (ko) | 감정 분석 모델에 기초한 감정 평가 방법 및 이를 이용한 디바이스 | |
Yasmin et al. | A rough set theory and deep learning-based predictive system for gender recognition using audio speech | |
Rangra et al. | Emotional speech-based personality prediction using NPSO architecture in deep learning | |
Kumar et al. | An Analysis of the Impact of Spectral Contrast Feature in Speech Emotion Recognition. | |
Agrima et al. | Emotion recognition from syllabic units using k-nearest-neighbor classification and energy distribution | |
Noroozi et al. | A study of language and classifier-independent feature analysis for vocal emotion recognition | |
Deshpande et al. | Emotion and depression detection from speech | |
Juyal et al. | Emotion recognition from speech using deep neural network | |
Swain et al. | Performance Comparison of LSTM Models for SER | |
Ahmed | Speech emotion recognition | |
Biswas et al. | Speech Emotion Recognition Using Deep CNNs Trained on Log-Frequency Spectrograms | |
Vijayalakshmi et al. | Real-time Speech Emotion Recognition Using Support Vector Machine | |
Kondhalkar et al. | Speech recognition using novel diatonic frequency cepstral coefficients and hybrid neuro fuzzy classifier | |
Tyagi et al. | A Review And Analysis of Emotion Based Harmful Speech Detection Using Machine And Deep Learning And Future Direction | |
Schirru et al. | Linguistic analysis for emotion recognition: a case of Chinese speakers | |
Wusu-Ansah | Emotion recognition from speech: An implementation in MATLAB | |
Ykhlef et al. | Investigations of the potential of acoustic speech regions for detecting hostile talking in Algerian Dialect and German language | |
Singh | SPEECH EMOTION RECOGNITION USING DEEP LEARNING | |
Geethu et al. | Speech Emotion Recognition, Datasets, Features and Models: A Review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40079113 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |