CN108831450A - 一种基于用户情绪识别的虚拟机器人人机交互方法 - Google Patents

一种基于用户情绪识别的虚拟机器人人机交互方法 Download PDF

Info

Publication number
CN108831450A
CN108831450A CN201810286725.XA CN201810286725A CN108831450A CN 108831450 A CN108831450 A CN 108831450A CN 201810286725 A CN201810286725 A CN 201810286725A CN 108831450 A CN108831450 A CN 108831450A
Authority
CN
China
Prior art keywords
user
sensing device
mood
emotion
virtual robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810286725.XA
Other languages
English (en)
Inventor
袁兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU MJOYS BIG DATA TECHNOLOGY Co.,Ltd.
Original Assignee
A Bird's Eye View Of Intelligent Polytron Technologies Inc In Hangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A Bird's Eye View Of Intelligent Polytron Technologies Inc In Hangzhou filed Critical A Bird's Eye View Of Intelligent Polytron Technologies Inc In Hangzhou
Priority to CN201810286725.XA priority Critical patent/CN108831450A/zh
Publication of CN108831450A publication Critical patent/CN108831450A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/086—Recognition of spelled words
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于用户情绪识别的虚拟机器人人机交互方法，包括：采集用户的每一条语音数据，构建情感数据集，并对采集到的用户语音数据进行情绪类型划分；根据划分后的情绪类型，搭建情绪感知器；将情感数据集划分为训练数据集和测试数据集，利用训练数据集对情绪感知器进行训练；训练完成后，将测试数据集导入情绪感知器，并根据情绪感知器的测试结果，通过情绪引导算法对虚拟机器人的回复话语进行引导和调整。本发明在大数据的支撑下，其情绪识别的准确率大幅提高；能够有效地检测用户情绪并调整虚拟机器人人机交互方式，提升人机交互的积极性和趣味性，从而大幅提升人机交互体验。

Description

一种基于用户情绪识别的虚拟机器人人机交互方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于用户情绪识别的虚拟机器人人机交互方法。
背景技术
传统的人机交互方法，仅仅是机器人针对用户问话的表面意思进行回答，并没有对用户问话中包含的情感信息进行分析，由于无法对用户的情感信息及时进行捕捉从而大大降低了人机交互的积极性。
高兴、伤心、悲观、乐观、厌恶等情绪是用户日常所表现出的最常见的几类情感信息，也是用来评估用户心理活动水平的重要因素。认知心理学研究表明，负面情绪对人的行为动作有消极影响。一个自动识别用户情感的***会在很多领域发挥重大的作用，例如人机交互***通过对用户的负面情绪进行疏导可以让用户的心里恢复平静，避免用户可能产生的过激行为等。
语音数据是一种反映和体现用户情绪的重要方式，通过对语音数据进行分析，可以有效地检测出用户的情绪信息。目前，用于情绪信息检测的语音情感识别方法大多是对音频信息进行简单处理之后，通过高斯混合模型(GMM)分类器对每一类情感数据进行训练和识别，但是这类训练器的准确率往往较低且能表达出的情绪信息量较贫乏，人机交互体验感较差。因此，如何利用深度学习的方法来进行用户智能情绪识别并调整人机交互方式是目前急需解决的技术难题。
发明内容
本发明所要解决的技术问题是现有的情感分类器准确率较低，识别出来的用户情绪信息量有限，人机交互体验感较差。
为了解决上述技术问题，本发明所采用的技术方案是提供一种基于用户情绪识别的虚拟机器人人机交互方法，包括以下步骤：
采集用户的每一条语音数据，构建情感数据集，并对采集到的用户语音数据进行情绪类型划分；
根据划分后的情绪类型，搭建情绪感知器；
将情感数据集划分为训练数据集和测试数据集，利用训练数据集对情绪感知器进行训练；
训练完成后，将测试数据集导入情绪感知器，并根据情绪感知器的测试结果，通过情绪引导算法对虚拟机器人的回复话语进行引导和调整。
优选地，采用TensorFlow搭建情绪感知器，情绪感知器包括输入层和输出层，其中，输入层分为五层，每层均包括多个LSTM单元；输出层采用softmax分类器，用于对用户情绪信息进行分类识别。
优选地，情绪感知器的输出参数为：
Ei＝{Hi,Si,Pi,Oi,Di,Ni}
其中，Ei表示情感数据向量；i表示情绪类型识别的样本序列；H,S,P,O,D,N分别表示高兴、伤心、悲观、乐观、厌恶、中性六类情绪类型；
softmax分类器表示为：
其中，i表示情绪类型识别的样本序列；j＝1,…,i；n表示样本大小；
样本特征向量x属于第j个情绪类型的概率为：
优选地，通过编码器将情感数据向量Ei＝{Hi,Si,Pi,Oi,Di,Ni}编码为隐向量，通过注意力机制结合情绪感知器模型，引导生成不同的会话，其引导框架具体为：
其中，eij＝η(si-1,hj)；η为采用双曲正切函数tanh做激活单元的多层感知器；
情绪感知器输入层的数据集为：
其中，Xi为用户的问话，Yi为用户的回复，Ei为用户的问话Xi所表述的情绪；
将解码过程信息向量以及用户的问话Xi所表述的情绪Ei嵌入到情绪感知器模型中，其组合权重如下：
定义生成概率：
p(yi)＝pV(yi)+pE(yi)
其中，Si＝f(yi-1,si-1,Ci,oi)，v为用户响应的词汇，f为LSTM单元，
优选地，在情绪类型划分前，首先对采集到的每条语音数据分别进行语音识别，并转化成文本向量。
优选地，采用word2vec的方式进行文本转向量。
优选地，情感数据集中的数据结构包括：语言识别后的文本转向量、音频数据、音频的频带能量、短时能量、基音及基音的一阶差分。
优选地，情绪类型划分为高兴、伤心、悲观、乐观、厌恶和中性六种类型。
本发明提出的一种基于用户情绪识别的虚拟机器人人机交互方法，采用基于多层LSTM搭建情绪感知器的深度学习方法对用户情绪进行识别，获得用户语音的基本情绪，最后引导虚拟机器人根据识别出的用户情绪生成回复话语，从而实现虚拟机器人与用户在当前情绪下进行积极对话。本发明在大数据的支撑下，其情绪识别的准确率大幅提高；能够有效地检测用户情绪并调整虚拟机器人人机交互方式，提升人机交互的积极性和趣味性，从而大幅提升人机交互体验。
附图说明
图1为本发明中一种基于用户情绪识别的虚拟机器人人机交互方法流程图；
图2为本发明中基于多层LSTM搭建情绪感知器的深度学习结构。
具体实施方式
为了解决现有的情感分类器准确率较低，识别出来的用户情绪信息量有限，人机交互体验感较差的问题。本发明提出了一种基于用户情绪识别的虚拟机器人人机交互方法，采用基于多层LSTM搭建情绪感知器的深度学习方法对用户情绪进行识别，获得用户语音的基本情绪，最后引导虚拟机器人根据识别出的用户情绪生成回复话语，从而实现虚拟机器人与用户在当前情绪下进行积极对话。本发明在大数据的支撑下，其情绪识别的准确率大幅提高；能够有效地检测用户情绪并调整虚拟机器人人机交互方式，提升人机交互的积极性和趣味性，从而大幅提升人机交互体验。
下面结合说明书附图和具体实施方式对本发明做出详细的说明。
本发明实施例提供了一种基于用户情绪识别的虚拟机器人人机交互方法，如图1所示，包括以下步骤：
S1、采集用户的每一条语音数据，构建情感数据集，并对采集到的用户语音数据进行情绪类型划分,情绪类型具体划分为高兴、伤心、悲观、乐观、厌恶和中性等。
采集日常生活工作中人们在不同场景不同情绪类型下的语音数据，在情绪类型划分前，首先对采集到的每条语音数据分别进行语音识别，并转化成文本向量，其中，文本转向量采用word2vec的方式。
情感数据集中的数据结构包括：语言识别后的文本转向量、音频数据、音频的频带能量、短时能量、基音及基音的一阶差分。
S2、根据划分后的情绪类型，搭建情绪感知器。
具体地，采用TensorFlow(谷歌基于DistBelief进行研发的第二代人工智能学习***)搭建情绪感知器，如图2所示，情绪感知器包括输入层和输出层，其中，输入层总共分为五层，每层均包括512个LSTM单元；输出层采用softmax分类器，用于对用户情绪信息进行分类识别。
情绪感知器的输出参数为：
Ei＝{Hi,Si,Pi,Oi,Di,Ni}
其中，Ei表示情感数据向量；i表示情绪类型识别的样本序列；H,S,P,O,D,N分别表示高兴、伤心、悲观、乐观、厌恶、中性六类情绪类型。
softmax分类器可表示为：
其中，i表示情绪类型识别的样本序列；j＝1,…,i；n表示样本大小；
则样本特征向量x属于第j个情绪类型的概率为：
S3、将情感数据集划分为训练数据集和测试数据集，利用训练数据集对情绪感知器进行训练。
S4、训练完成后，当情绪感知器的识别准确率达到预设阈值时，将测试数据集导入情绪感知器，观察情绪感知器的测试结果。
将采集到的情感数据集以7：3的比例划分为训练数据集和测试数据集，利用训练数据集对情绪感知器进行训练，检测其性能，其识别准确率具体如表一所示，其测试结果具体如表二所示。
表一、情绪感知器的识别准确率。
测试样本 高兴(％) 伤心(％) 悲观(％) 乐观(％) 厌恶(％) 中性(％)
高兴 80 1 2 5 2 10
伤心 2 78 12 2 3 3
悲观 1 3 79 1 2 14
乐观 8 2 2 83 3 2
厌恶 9 1 1 3 75 11
中性 10 2 3 3 4 78
表二、情绪感知器的测试结果。
由表一分析可知80％左右的情绪能被情绪感知器模型准确分类，而错误分类的样本主要集中在中性情绪类别。上述试验结果表明情绪感知器模型的识别结果是有效、可靠的。
S5、根据情绪感知器的测试结果，通过情绪引导算法对虚拟机器人的回复话语进行调整，引导虚拟机器人回复相应的话语。
具体地，通过编码器将情感数据向量Ei＝{Hi,Si,Pi,Oi,Di,Ni}编码为隐向量，通过注意力机制结合情绪感知器模型，引导生成不同的会话，其引导框架具体为：
其中，eij＝η(si-1,hj)；η为采用双曲正切函数tanh做激活单元的多层感知器。
情绪感知器输入层的数据集为：
其中，Xi为用户的问话，Yi为用户的回复，Ei为用户的问话Xi所表述的情绪。
将解码过程信息向量以及用户的问话Xi所表述的情绪Ei嵌入到情绪感知器模型中，其组合权重如下：
定义生成概率：
p(yi)＝pV(yi)+pE(yi)
其中，Si＝f(yi-1,si-1,Ci,oi)，v为用户响应的词汇，f为LSTM单元，
本发明不局限于上述最佳实施方式，任何人在本发明的启示下作出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

Claims (8)

1.一种基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，包括以下步骤：
采集用户的每一条语音数据，构建情感数据集，并对采集到的用户语音数据进行情绪类型划分；
根据划分后的情绪类型，搭建情绪感知器；
将情感数据集划分为训练数据集和测试数据集，利用训练数据集对情绪感知器进行训练；
训练完成后，将测试数据集导入情绪感知器，并根据情绪感知器的测试结果，通过情绪引导算法对虚拟机器人的回复话语进行引导和调整。
2.如权利要求1所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，采用TensorFlow搭建情绪感知器，情绪感知器包括输入层和输出层，其中，输入层分为五层，每层均包括多个LSTM单元；输出层采用softmax分类器，用于对用户情绪信息进行分类识别。
3.如权利要求2所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，情绪感知器的输出参数为：
Ei＝{Hi,Si,Pi,Oi,Di,Ni}
其中，Ei表示情感数据向量；i表示情绪类型识别的样本序列；H,S,P,O,D,N分别表示高兴、伤心、悲观、乐观、厌恶、中性六类情绪类型；
softmax分类器表示为：
其中，i表示情绪类型识别的样本序列；j＝1,…,i；n表示样本大小；
样本特征向量x属于第j个情绪类型的概率为：
4.如权利要求3所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，通过编码器将情感数据向量Ei＝{Hi,Si,Pi,Oi,Di,Ni}编码为隐向量，通过注意力机制结合情绪感知器模型，引导生成不同的会话，其引导框架具体为：
其中，η为采用双曲正切函数tanh做激活单元的多层感知器；
情绪感知器输入层的数据集为：
其中，Xi为用户的问话，Yi为用户的回复，Ei为用户的问话Xi所表述的情绪；
将解码过程信息向量以及用户的问话Xi所表述的情绪Ei嵌入到情绪感知器模型中，其组合权重如下：
定义生成概率：
p(yi)＝pV(yi)+pE(yi)
其中，Si＝f(yi-1,si-1,Ci,oi)，v为用户响应的词汇，f为LSTM单元，
5.如权利要求1所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，在情绪类型划分前，首先对采集到的每条语音数据分别进行语音识别，并转化成文本向量。
6.如权利要求5所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，采用word2vec的方式进行文本转向量。
7.如权利要求1所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，情感数据集中的数据结构包括：语言识别后的文本转向量、音频数据、音频的频带能量、短时能量、基音及基音的一阶差分。
8.如权利要求1所述的基于用户情绪识别的虚拟机器人人机交互方法，其特征在于，情绪类型划分为高兴、伤心、悲观、乐观、厌恶和中性六种类型。
CN201810286725.XA 2018-03-30 2018-03-30 一种基于用户情绪识别的虚拟机器人人机交互方法 Pending CN108831450A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810286725.XA CN108831450A (zh) 2018-03-30 2018-03-30 一种基于用户情绪识别的虚拟机器人人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810286725.XA CN108831450A (zh) 2018-03-30 2018-03-30 一种基于用户情绪识别的虚拟机器人人机交互方法

Publications (1)

Publication Number Publication Date
CN108831450A true CN108831450A (zh) 2018-11-16

Family

ID=64155112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810286725.XA Pending CN108831450A (zh) 2018-03-30 2018-03-30 一种基于用户情绪识别的虚拟机器人人机交互方法

Country Status (1)

Country Link
CN (1) CN108831450A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918650A (zh) * 2019-02-03 2019-06-21 北京大学 自动生成采访稿的采访智能机器人装置及智能采访方法
CN109961152A (zh) * 2019-03-14 2019-07-02 广州多益网络股份有限公司 虚拟偶像的个性化互动方法、***、终端设备及存储介质
CN110299149A (zh) * 2019-06-18 2019-10-01 电子科技大学 一种基于注意力机制的语音增强算法
CN110400579A (zh) * 2019-06-25 2019-11-01 华东理工大学 基于方向自注意力机制和双向长短时网络的语音情感识别
CN110689177A (zh) * 2019-09-17 2020-01-14 北京三快在线科技有限公司 订单准备时间的预测方法和装置，电子设备及存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887721A (zh) * 2010-07-19 2010-11-17 东南大学 一种基于心电信号与语音信号的双模态情感识别方法
CN101894550A (zh) * 2010-07-19 2010-11-24 东南大学 基于情感对特征优化的语音情感分类方法
CN103021406A (zh) * 2012-12-18 2013-04-03 台州学院 基于压缩感知的鲁棒性语音情感识别方法
CN103258532A (zh) * 2012-11-28 2013-08-21 河海大学常州校区 一种基于模糊支持向量机的汉语语音情感识别方法
CN103531198A (zh) * 2013-11-01 2014-01-22 东南大学 一种基于伪说话人聚类的语音情感特征规整化方法
CN104538028A (zh) * 2014-12-25 2015-04-22 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN104598644A (zh) * 2015-02-12 2015-05-06 腾讯科技（深圳）有限公司 用户喜好标签挖掘方法和装置
CN104867489A (zh) * 2015-04-27 2015-08-26 苏州大学张家港工业技术研究院 一种模拟真人朗读发音的方法及***
CN105427869A (zh) * 2015-11-02 2016-03-23 北京大学 一种基于深度学习的会话情感自动分析方法
CN105719664A (zh) * 2016-01-14 2016-06-29 盐城工学院 基于似然概率模糊熵的紧张状态下语音情绪自动识别方法
CN105929964A (zh) * 2016-05-10 2016-09-07 海信集团有限公司 人机交互方法及装置
CN106504772A (zh) * 2016-11-04 2017-03-15 东南大学 基于重要性权重支持向量机分类器的语音情感识别方法
CN106782602A (zh) * 2016-12-01 2017-05-31 南京邮电大学 基于长短时间记忆网络和卷积神经网络的语音情感识别方法
CN106847309A (zh) * 2017-01-09 2017-06-13 华南理工大学 一种语音情感识别方法
CN106844750A (zh) * 2017-02-16 2017-06-13 深圳追科技有限公司 一种基于客服机器人中情感安抚的人机交互方法及***
CN106910497A (zh) * 2015-12-22 2017-06-30 阿里巴巴集团控股有限公司 一种中文词语发音预测方法及装置
CN107133224A (zh) * 2017-04-25 2017-09-05 中国人民大学 一种基于主题词的语言生成方法
CN107247700A (zh) * 2017-04-27 2017-10-13 北京捷通华声科技股份有限公司 一种添加文本标注的方法及装置
CN107562784A (zh) * 2017-07-25 2018-01-09 同济大学 基于ResLCNN模型的短文本分类方法
CN107645523A (zh) * 2016-07-21 2018-01-30 北京快乐智慧科技有限责任公司 一种情绪交互的方法和***
CN107731233A (zh) * 2017-11-03 2018-02-23 王华锋 一种基于rnn的声纹识别方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887721A (zh) * 2010-07-19 2010-11-17 东南大学 一种基于心电信号与语音信号的双模态情感识别方法
CN101894550A (zh) * 2010-07-19 2010-11-24 东南大学 基于情感对特征优化的语音情感分类方法
CN103258532A (zh) * 2012-11-28 2013-08-21 河海大学常州校区 一种基于模糊支持向量机的汉语语音情感识别方法
CN103021406A (zh) * 2012-12-18 2013-04-03 台州学院 基于压缩感知的鲁棒性语音情感识别方法
CN103531198A (zh) * 2013-11-01 2014-01-22 东南大学 一种基于伪说话人聚类的语音情感特征规整化方法
CN104538028A (zh) * 2014-12-25 2015-04-22 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN104598644A (zh) * 2015-02-12 2015-05-06 腾讯科技（深圳）有限公司 用户喜好标签挖掘方法和装置
CN104867489A (zh) * 2015-04-27 2015-08-26 苏州大学张家港工业技术研究院 一种模拟真人朗读发音的方法及***
CN105427869A (zh) * 2015-11-02 2016-03-23 北京大学 一种基于深度学习的会话情感自动分析方法
CN106910497A (zh) * 2015-12-22 2017-06-30 阿里巴巴集团控股有限公司 一种中文词语发音预测方法及装置
CN105719664A (zh) * 2016-01-14 2016-06-29 盐城工学院 基于似然概率模糊熵的紧张状态下语音情绪自动识别方法
CN105929964A (zh) * 2016-05-10 2016-09-07 海信集团有限公司 人机交互方法及装置
CN107645523A (zh) * 2016-07-21 2018-01-30 北京快乐智慧科技有限责任公司 一种情绪交互的方法和***
CN106504772A (zh) * 2016-11-04 2017-03-15 东南大学 基于重要性权重支持向量机分类器的语音情感识别方法
CN106782602A (zh) * 2016-12-01 2017-05-31 南京邮电大学 基于长短时间记忆网络和卷积神经网络的语音情感识别方法
CN106847309A (zh) * 2017-01-09 2017-06-13 华南理工大学 一种语音情感识别方法
CN106844750A (zh) * 2017-02-16 2017-06-13 深圳追科技有限公司 一种基于客服机器人中情感安抚的人机交互方法及***
CN107133224A (zh) * 2017-04-25 2017-09-05 中国人民大学 一种基于主题词的语言生成方法
CN107247700A (zh) * 2017-04-27 2017-10-13 北京捷通华声科技股份有限公司 一种添加文本标注的方法及装置
CN107562784A (zh) * 2017-07-25 2018-01-09 同济大学 基于ResLCNN模型的短文本分类方法
CN107731233A (zh) * 2017-11-03 2018-02-23 王华锋 一种基于rnn的声纹识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN XING，WEI WU，ET AL.: "Topic Aware Neural Response Generation", 《PROCEEDINGS OF THE THIRTY-FIRST AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
塞巴斯蒂安·拉施卡（SEBASTIAN RASCHKA）: "《PYTHON机器学习,外文题名 ：Python machine learning》", 31 May 2017, 中文版：机械工业出版社，外文版：PACKT PUBLISHING LTD *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918650A (zh) * 2019-02-03 2019-06-21 北京大学 自动生成采访稿的采访智能机器人装置及智能采访方法
CN109961152A (zh) * 2019-03-14 2019-07-02 广州多益网络股份有限公司 虚拟偶像的个性化互动方法、***、终端设备及存储介质
CN110299149A (zh) * 2019-06-18 2019-10-01 电子科技大学 一种基于注意力机制的语音增强算法
CN110400579A (zh) * 2019-06-25 2019-11-01 华东理工大学 基于方向自注意力机制和双向长短时网络的语音情感识别
CN110689177A (zh) * 2019-09-17 2020-01-14 北京三快在线科技有限公司 订单准备时间的预测方法和装置，电子设备及存储介质
CN110689177B (zh) * 2019-09-17 2020-11-20 北京三快在线科技有限公司 订单准备时间的预测方法和装置，电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108831450A (zh) 一种基于用户情绪识别的虚拟机器人人机交互方法
Chen et al. Two-layer fuzzy multiple random forest for speech emotion recognition in human-robot interaction
CN107578775B (zh) 一种基于深度神经网络的多分类语音方法
Bertero et al. A first look into a convolutional neural network for speech emotion detection
US10013977B2 (en) Smart home control method based on emotion recognition and the system thereof
Kamaruddin et al. Cultural dependency analysis for understanding speech emotion
Ramakrishnan et al. Speech emotion recognition approaches in human computer interaction
Schuller et al. Emotion recognition in the noise applying large acoustic feature sets
CN110097894A (zh) 一种端到端的语音情感识别的方法和***
CN109493874A (zh) 一种基于卷积神经网络的生猪咳嗽声音识别方法
CN102142253B (zh) 语音情感识别设备及方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互***
CN107256392A (zh) 一种联合图像、语音的全面情绪识别方法
CN106503805A (zh) 一种基于机器学习的双模态人人对话情感分析***及其方法
CN109394258A (zh) 一种肺部呼吸音的分类方法、装置及终端设备
Ghai et al. Emotion recognition on speech signals using machine learning
CN105609116B (zh) 一种语音情感维度区域的自动识别方法
CN102779510A (zh) 基于特征空间自适应投影的语音情感识别方法
Shahzadi et al. Speech emotion recognition using nonlinear dynamics features
CN103985381A (zh) 一种基于参数融合优化决策的音频索引方法
CN110917613A (zh) 一种基于振动触觉的游戏智能桌垫
CN111128240B (zh) 一种基于对抗语义擦除的语音情感识别方法
CN103578481A (zh) 一种跨语言的语音情感识别方法
Schuller et al. Multimodal emotion recognition in audiovisual communication
CN102592593A (zh) 一种考虑语音中多线性群组稀疏特性的情绪特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211129

Address after: 310000 201-1, unit 1, building 6, Haizhi center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: HANGZHOU MJOYS BIG DATA TECHNOLOGY Co.,Ltd.

Address before: 310000 room 1306, building 1, No. 998, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU BIRDDODO INTELLIGENT TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116