CN109308466A - 一种对交互语言进行情绪识别的方法 - Google Patents

一种对交互语言进行情绪识别的方法 Download PDF

Info

Publication number
CN109308466A
CN109308466A CN201811085339.0A CN201811085339A CN109308466A CN 109308466 A CN109308466 A CN 109308466A CN 201811085339 A CN201811085339 A CN 201811085339A CN 109308466 A CN109308466 A CN 109308466A
Authority
CN
China
Prior art keywords
user
information
carries out
interactive
corpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811085339.0A
Other languages
English (en)
Inventor
王友维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Zhongxin Network Technology Co Ltd
Original Assignee
Ningbo Zhongxin Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Zhongxin Network Technology Co Ltd filed Critical Ningbo Zhongxin Network Technology Co Ltd
Priority to CN201811085339.0A priority Critical patent/CN109308466A/zh
Publication of CN109308466A publication Critical patent/CN109308466A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种对交互语言进行情绪识别的方法。这种对交互语言进行情绪识别的方法功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。

Description

一种对交互语言进行情绪识别的方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种对交互语言进行情绪识别的方法。
背景技术
在现有的人工智能对话***中，利用语料库以及模板来判断用户讲话，对话***通常使用搜索的方式来寻找合适的回答。但是，并没有使用用户的情感当作线索来调整回答策略，除了考量用户情绪外，机器人也应该基于自身的情绪来选择回应的策略。在人与人的自然对话上，情感是一个重要因素，人类会根据对方所表达的情感和自身现有的情感来调整自己的回答策略，达到沟通的效果。
虽然人类在智能化领域已经获得了重大的突破，但是至今为止几乎所有的人工智能***都没有能够拥有识别人类情绪的能力从而使得自身变得更加人性化。比如现在各大手机厂商所宣传的手机语音交互功能，其实都只能做到以完成任务为目的的交流。用户在手机智能助手交流的过程中都仍然会保有一种和机器对话的感觉。
现有的人工智能情感识别技术多专注于图像识别，而图像识别由于硬件的要求较高以及人类面部表情本身的多变性和快速性，使得图像识别技术依旧很难在日常生活中被广泛的应用。而由于语言本身是具有一定的语法结构，并且语言情感识别对硬件要求相对较小，语言情感识别是更具有应用性的一种识别方式。
语言情感识别目前已知的技术多局限于单一维度的情感判断既正向情感和负向情感。对于人类复杂情绪的判断，比如愉快、紧张、害羞还缺乏有效的判断方式。
发明内容
本发明的目的是提供一种能够及时的更新交互功能，以增强与用户的交互体验，可以准确的识别用户的语音信息和表情信息，通过内在的语料库可以对用户进行反馈，从而达到情感陪护的目的的对交互语言进行情绪识别的方法。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种对交互语言进行情绪识别的方法，包括以下步骤：
步骤A，判断是否接收到来自用户的交互请求，若是则根据该交互请求启动摄像模块和音响模块从用户接收交互信息；
步骤B，将音响模块采集到的声音信息识别为文字信息，对文字信息进行关键字提取，并判断是否有关键字存在于语料库中，否则过程结束；
步骤C，若关键字存在于语料库中，则判断提取的关键字是否是采集交互信息的指令；
步骤D，获取用户的人脸图像，对采集的图像进行处理，以得到深度信息以及用户的彩色图像，对采集到的深度信息和彩色图像进行去冗余处理，以准确地识别出用户的面部状态，并将用户的面部状态与表情库进行匹配，以确定用户的表情信息；
步骤E，根据所述人脸图像和所述文字信息，对情绪进行判别，确定情绪向量；
步骤F，根据回话策略，分析所述情绪向量、所述表情信息和所述文字信息，控制显示模块和音响模块执行对应的操作。
上述的对交互语言进行情绪识别的方法，还包括：
步骤G，控制环境传感器模块采集用户所处的环境信息，将该环境信息传送到控制模块，同时显示来自云平台的推送信息；
步骤H，对接收到的环境信息进行结构化预处理，并将结构化预处理后的信息传送到云平台。
上述的对交互语言进行情绪识别的方法，所述步骤A包括步骤A1，若没有接收到来自用户的交互请求，则向控制模块发出采集环境信息请求，向云平台发送对该控制模块内表情库和语料库进行更新的请求，同时接收来自云平台的推送信息。
上述的对交互语言进行情绪识别的方法，所述步骤A中交互信息包括用户的头像信息和声音信息。
上述的对交互语言进行情绪识别的方法，所述步骤B包括：
步骤B1，构建语料库，依据现有的情绪分类语料库，将其分为积极、消极和客观三组样本，同时，通过不断地与客户进行自然语言交互，收集文本内容信息，不断地丰富语料库；
步骤B2，特征词选择，采用CHI算法从构建的语料库中选择能够区分情绪类别的特征词；
步骤B3，权重计算，根据提供的语料库和特征词，采用改进的TF-IDF算法进行特征词统计和权重计算；
步骤B4，采用SVM进行样本训练和测试，语料库中分为积极、消极和客观三类，采用SVM算法进行三分类的训练学习，训练结束后，输入由语音信息转换成的文本内容，即可输出各个类别的置信度。
上述的对交互语言进行情绪识别的方法，所述步骤C包括步骤C1，显示与该关键字对应的提示信息，以告知用户使用传感器模块执行相应的采集交互信息操作，并在采集结束后显示采集到的结果。
上述的对交互语言进行情绪识别的方法，所述步骤F具体包括根据所述人脸图像、所述声音信息和所述文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量。
上述的对交互语言进行情绪识别的方法，所述步骤F包括：
步骤F1，搜索所述用户的用户体验数据；
步骤F2，根据回话策略，分析所述情绪向量、所述人脸属性特征、所述文字信息和所述用户体验数据，从语料库中匹配目标语料数据，作为回馈文字，进行输出。
综上所述，本发明具有以下有益效果：这种对交互语言进行情绪识别的方法功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。
具体实施方式
以下对本发明作进一步详细说明。
一种对交互语言进行情绪识别的方法，包括以下步骤：
步骤A，判断是否接收到来自用户的交互请求，若是则根据该交互请求启动摄像模块和音响模块从用户接收交互信息；
步骤B，将音响模块采集到的声音信息识别为文字信息，对文字信息进行关键字提取，并判断是否有关键字存在于语料库中，否则过程结束；
步骤C，若关键字存在于语料库中，则判断提取的关键字是否是采集交互信息的指令，具体而言，采集健康信息的指令是诸如“量血压”、“测心跳”等；
步骤D，获取用户的人脸图像，对采集的图像进行处理，以得到深度信息以及用户的彩色图像，对采集到的深度信息和彩色图像进行去冗余处理，以准确地识别出用户的面部状态，并将用户的面部状态与表情库进行匹配，以确定用户的表情信息；
步骤E，根据所述人脸图像和所述文字信息，对情绪进行判别，确定情绪向量；
步骤F，根据回话策略，分析所述情绪向量、所述表情信息和所述文字信息，控制显示模块和音响模块执行对应的操作。
其中步骤D具体为：如果表情信息是笑，则向用户显示大笑表情，并播放欢快的音乐；如果是忧伤，则向用户显示微笑表情，并播放舒缓的音乐，同时会控制操作臂张开，尝试拥抱用户；如果是愤怒，则向用户显示微笑表情，并对用户说话，以平息用户；如果是吃惊，则向用户显示微笑表情，并对用户说话，同时控制操作臂做平复的动作，具体而言可以是双手在胸前向下运动，以抚慰用户，如果用户无表情则不进行反馈。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，还包括：
步骤G，控制环境传感器模块采集用户所处的环境信息，将该环境信息传送到控制模块，同时显示来自云平台的推送信息；
步骤H，对接收到的环境信息进行结构化预处理，并将结构化预处理后的信息传送到云平台。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，所述步骤A包括步骤A1，若没有接收到来自用户的交互请求，则向控制模块发出采集环境信息请求，向云平台发送对该控制模块内表情库和语料库进行更新的请求，同时接收来自云平台的推送信息。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，所述步骤A中交互信息包括用户的头像信息和声音信息。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，所述步骤B包括：
步骤B1，构建语料库，依据现有的情绪分类语料库，将其分为积极、消极和客观三组样本，同时，通过不断地与客户进行自然语言交互，收集文本内容信息，不断地丰富语料库；
步骤B2，特征词选择，采用CHI算法从构建的语料库中选择能够区分情绪类别的特征词；
步骤B3，权重计算，根据提供的语料库和特征词，采用改进的TF-IDF算法进行特征词统计和权重计算；
步骤B4，采用SVM进行样本训练和测试，语料库中分为积极、消极和客观三类，采用SVM算法进行三分类的训练学习，训练结束后，输入由语音信息转换成的文本内容，即可输出各个类别的置信度。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，所述步骤C包括步骤C1，显示与该关键字对应的提示信息，以告知用户使用传感器模块执行相应的采集交互信息操作，并在采集结束后显示采集到的结果。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，所述步骤F具体包括根据所述人脸图像、所述声音信息和所述文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量。
进一步地，本发明一种对交互语言进行情绪识别的方法的较佳的实施例中，所述步骤F包括：
步骤F1，搜索所述用户的用户体验数据；
步骤F2，根据回话策略，分析所述情绪向量、所述人脸属性特征、所述文字信息和所述用户体验数据，从语料库中匹配目标语料数据，作为回馈文字，进行输出。
为了进一步提高本实施例基于多模态情绪与脸部属性识别的人机交互方法的准确性，在确定情绪向量时，根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量，具体采用的算法为机器/深度学习算法，即根据人脸图像、声音信息和文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量，其中，情绪向量为四个。
本发明实施例基于多模态情绪与脸部属性识别的人机交互方法提供九种情绪的机率预测向量输出，但情绪识别种类不限于本发明实施例基于多模态情绪与脸部属性识别的人机交互方法所提的九种。另外，亦根据三个模态的模型输出的向量特征做融合，以达到综合多模态情感的预测。因此在本发明实施例基于多模态情绪与脸部属性识别的人机交互方法中，我们一共有四个输出的情绪向量。
具体地，本发明实施例基于多模态情绪与脸部属性识别的人机交互方法还具备错字校正检验的功能，将声音信息转换为文字信息之后，根据人脸图像、声音信息和文字信息，对情绪进行判别之前，该方法还能够校正检验文字信息，维持输出信号的准确性，以提高情绪判断和对话回馈的预测效果。
根据人脸图像、声音信息和文字信息，对情绪进行判别，确定情绪向量时，具体实现过程为：根据人脸图像、声音信息和校正检验后的文字信息，对情绪进行判别，确定情绪向量。
根据回话策略，分析情绪向量、人脸属性特征和文字信息，输出回馈文字时，具体实现过程为：根据回话策略，分析情绪向量、人脸属性特征和校正检验后的文字信息，输出回馈文字。
具体地，本发明实施例基于多模态情绪与脸部属性识别的人机交互方法能够结合用户体验数据，输出回馈文字，例如，根据情绪向量、人脸属性特征与文字信息，并根据特定场景下预先搜集的用户体验数据与统计，归纳分析选择语料库中适切的回话内容输出，具体实现过程如下：
输出回馈文字之前，该方法还包括：搜索用户的用户体验数据。
根据回话策略，分析情绪向量、人脸属性特征和文字信息，输出回馈文字时，具体实现过程如下：根据回话策略，分析情绪向量、人脸属性特征、文字信息和用户体验数据，从语料库中匹配目标语料数据，作为回馈文字，进行输出。
综上所述，这种对交互语言进行情绪识别的方法功可以在识别出用户的命令后从云平台获取相应的内容呈现给用户；可以捕捉到用户的头像和声音信息，对其进一步分析可以得到用户的表情以及用户的语音命令，可以很好的对用户的表情和语音命令进行反馈，方便用户的使用；提高多模态人脸情绪识别的准确性，将多模态情绪、脸部属性与自然语言交互信息相结合，针对人脸多模态情感、人脸属性识别与人机交互应对规则的逻辑判断输出适切的回话内容，在多轮对话当中，提供使用者良好的体验功能。
本实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (8)

1.一种对交互语言进行情绪识别的方法，其特征是：包括以下步骤：
步骤A，判断是否接收到来自用户的交互请求，若是则根据该交互请求启动摄像模块和音响模块从用户接收交互信息；
步骤B，将音响模块采集到的声音信息识别为文字信息，对文字信息进行关键字提取，并判断是否有关键字存在于语料库中，否则过程结束；
步骤C，若关键字存在于语料库中，则判断提取的关键字是否是采集交互信息的指令；
步骤D，获取用户的人脸图像，对采集的图像进行处理，以得到深度信息以及用户的彩色图像，对采集到的深度信息和彩色图像进行去冗余处理，以准确地识别出用户的面部状态，并将用户的面部状态与表情库进行匹配，以确定用户的表情信息；
步骤E，根据所述人脸图像和所述文字信息，对情绪进行判别，确定情绪向量；
步骤F，根据回话策略，分析所述情绪向量、所述表情信息和所述文字信息，控制显示模块和音响模块执行对应的操作。
2.根据权利要求1所述的一种对交互语言进行情绪识别的方法，其特征是：还包括：
步骤G，控制环境传感器模块采集用户所处的环境信息，将该环境信息传送到控制模块，同时显示来自云平台的推送信息；
步骤H，对接收到的环境信息进行结构化预处理，并将结构化预处理后的信息传送到云平台。
3.根据权利要求1所述的一种对交互语言进行情绪识别的方法，其特征是：所述步骤A包括步骤A1，若没有接收到来自用户的交互请求，则向控制模块发出采集环境信息请求，向云平台发送对该控制模块内表情库和语料库进行更新的请求，同时接收来自云平台的推送信息。
4.根据权利要求3所述的一种对交互语言进行情绪识别的方法，其特征是：所述步骤A中交互信息包括用户的头像信息和声音信息。
5.根据权利要求3所述的一种对交互语言进行情绪识别的方法，其特征是：所述步骤B包括：
步骤B1，构建语料库，依据现有的情绪分类语料库，将其分为积极、消极和客观三组样本，同时，通过不断地与客户进行自然语言交互，收集文本内容信息，不断地丰富语料库；
步骤B2，特征词选择，采用CHI算法从构建的语料库中选择能够区分情绪类别的特征词；
步骤B3，权重计算，根据提供的语料库和特征词，采用改进的TF-IDF算法进行特征词统计和权重计算；
步骤B4，采用SVM进行样本训练和测试，语料库中分为积极、消极和客观三类，采用SVM算法进行三分类的训练学习，训练结束后，输入由语音信息转换成的文本内容，即可输出各个类别的置信度。
6.根据权利要求1所述的一种对交互语言进行情绪识别的方法，其特征是：所述步骤C包括步骤C1，显示与该关键字对应的提示信息，以告知用户使用传感器模块执行相应的采集交互信息操作，并在采集结束后显示采集到的结果。
7.根据权利要求1所述的一种对交互语言进行情绪识别的方法，其特征是：所述步骤F具体包括根据所述人脸图像、所述声音信息和所述文字信息，采用机器/深度学习算法，对情绪进行判别，确定情绪向量。
8.根据权利要求7所述的一种对交互语言进行情绪识别的方法，其特征是：所述步骤F包括：
步骤F1，搜索所述用户的用户体验数据；
步骤F2，根据回话策略，分析所述情绪向量、所述人脸属性特征、所述文字信息和所述用户体验数据，从语料库中匹配目标语料数据，作为回馈文字，进行输出。
CN201811085339.0A 2018-09-18 2018-09-18 一种对交互语言进行情绪识别的方法 Pending CN109308466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811085339.0A CN109308466A (zh) 2018-09-18 2018-09-18 一种对交互语言进行情绪识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811085339.0A CN109308466A (zh) 2018-09-18 2018-09-18 一种对交互语言进行情绪识别的方法

Publications (1)

Publication Number Publication Date
CN109308466A true CN109308466A (zh) 2019-02-05

Family

ID=65225064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811085339.0A Pending CN109308466A (zh) 2018-09-18 2018-09-18 一种对交互语言进行情绪识别的方法

Country Status (1)

Country Link
CN (1) CN109308466A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119715A (zh) * 2019-05-14 2019-08-13 东北师范大学 一种陪伴机器人及情绪识别方法
CN111309862A (zh) * 2020-02-10 2020-06-19 贝壳技术有限公司 具有情感的用户交互方法和装置、存储介质、设备
CN111339913A (zh) * 2020-02-24 2020-06-26 湖南快乐阳光互动娱乐传媒有限公司 一种视频中的人物情绪识别方法及装置
CN111741225A (zh) * 2020-08-07 2020-10-02 成都极米科技股份有限公司 人机交互设备、方法及计算机可读存储介质
CN112223308A (zh) * 2020-09-30 2021-01-15 江苏迪迪隆机器人科技发展有限公司 一种仿生机器人运动控制方法及***
CN112633067A (zh) * 2020-11-24 2021-04-09 薛廷兰 一种采集家用信息和用户情感的智能***及识别方法
CN112667762A (zh) * 2020-12-25 2021-04-16 贵州北斗空间信息技术有限公司 一种零编程快速构建gis***的方法
CN112906399A (zh) * 2021-02-20 2021-06-04 北京百度网讯科技有限公司 确定情绪状态的方法、装置、设备和存储介质
CN113434647A (zh) * 2021-06-18 2021-09-24 竹间智能科技（上海）有限公司 一种人机交互方法、***及存储介质
WO2023035870A1 (zh) * 2021-09-13 2023-03-16 地平线(上海)人工智能技术有限公司 在人机交互中对语音对话标注的方法和装置、设备和介质
CN116935480A (zh) * 2023-09-18 2023-10-24 四川天地宏华导航设备有限公司 一种情绪识别方法及装置
CN117672180A (zh) * 2023-12-08 2024-03-08 广州凯迪云信息科技有限公司 一种数字机器人语音交流控制方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249761A1 (en) * 2011-04-02 2012-10-04 Joonbum Byun Motion Picture Personalization by Face and Voice Image Replacement
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107272607A (zh) * 2017-05-11 2017-10-20 上海斐讯数据通信技术有限公司 一种智能家居控制***及方法
CN107301168A (zh) * 2017-06-01 2017-10-27 深圳市朗空亿科科技有限公司 智能机器人及其情绪交互方法、***
CN107944008A (zh) * 2017-12-08 2018-04-20 神思电子技术股份有限公司 一种针对自然语言进行情绪识别的方法
CN108133708A (zh) * 2017-12-04 2018-06-08 维沃移动通信有限公司 一种语音助手的控制方法、装置及移动终端
CN108255307A (zh) * 2018-02-08 2018-07-06 竹间智能科技（上海）有限公司 基于多模态情绪与脸部属性识别的人机交互方法、***
CN108326855A (zh) * 2018-01-26 2018-07-27 上海器魂智能科技有限公司 一种机器人的交互方法、装置、设备以及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249761A1 (en) * 2011-04-02 2012-10-04 Joonbum Byun Motion Picture Personalization by Face and Voice Image Replacement
CN104102346A (zh) * 2014-07-01 2014-10-15 华中科技大学 一种家用信息采集和用户情感识别设备及其工作方法
CN106919251A (zh) * 2017-01-09 2017-07-04 重庆邮电大学 一种基于多模态情感识别的虚拟学习环境自然交互方法
CN107272607A (zh) * 2017-05-11 2017-10-20 上海斐讯数据通信技术有限公司 一种智能家居控制***及方法
CN107301168A (zh) * 2017-06-01 2017-10-27 深圳市朗空亿科科技有限公司 智能机器人及其情绪交互方法、***
CN108133708A (zh) * 2017-12-04 2018-06-08 维沃移动通信有限公司 一种语音助手的控制方法、装置及移动终端
CN107944008A (zh) * 2017-12-08 2018-04-20 神思电子技术股份有限公司 一种针对自然语言进行情绪识别的方法
CN108326855A (zh) * 2018-01-26 2018-07-27 上海器魂智能科技有限公司 一种机器人的交互方法、装置、设备以及存储介质
CN108255307A (zh) * 2018-02-08 2018-07-06 竹间智能科技（上海）有限公司 基于多模态情绪与脸部属性识别的人机交互方法、***

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119715A (zh) * 2019-05-14 2019-08-13 东北师范大学 一种陪伴机器人及情绪识别方法
CN111309862A (zh) * 2020-02-10 2020-06-19 贝壳技术有限公司 具有情感的用户交互方法和装置、存储介质、设备
CN111339913A (zh) * 2020-02-24 2020-06-26 湖南快乐阳光互动娱乐传媒有限公司 一种视频中的人物情绪识别方法及装置
CN111741225A (zh) * 2020-08-07 2020-10-02 成都极米科技股份有限公司 人机交互设备、方法及计算机可读存储介质
CN112223308A (zh) * 2020-09-30 2021-01-15 江苏迪迪隆机器人科技发展有限公司 一种仿生机器人运动控制方法及***
CN112633067A (zh) * 2020-11-24 2021-04-09 薛廷兰 一种采集家用信息和用户情感的智能***及识别方法
CN112667762B (zh) * 2020-12-25 2023-04-25 贵州北斗空间信息技术有限公司 一种零编程快速构建gis***的方法
CN112667762A (zh) * 2020-12-25 2021-04-16 贵州北斗空间信息技术有限公司 一种零编程快速构建gis***的方法
CN112906399B (zh) * 2021-02-20 2023-11-10 北京百度网讯科技有限公司 确定情绪状态的方法、装置、设备和存储介质
CN112906399A (zh) * 2021-02-20 2021-06-04 北京百度网讯科技有限公司 确定情绪状态的方法、装置、设备和存储介质
CN113434647A (zh) * 2021-06-18 2021-09-24 竹间智能科技（上海）有限公司 一种人机交互方法、***及存储介质
CN113434647B (zh) * 2021-06-18 2024-01-12 竹间智能科技（上海）有限公司 一种人机交互方法、***及存储介质
WO2023035870A1 (zh) * 2021-09-13 2023-03-16 地平线(上海)人工智能技术有限公司 在人机交互中对语音对话标注的方法和装置、设备和介质
CN116935480A (zh) * 2023-09-18 2023-10-24 四川天地宏华导航设备有限公司 一种情绪识别方法及装置
CN116935480B (zh) * 2023-09-18 2023-12-29 四川天地宏华导航设备有限公司 一种情绪识别方法及装置
CN117672180A (zh) * 2023-12-08 2024-03-08 广州凯迪云信息科技有限公司 一种数字机器人语音交流控制方法及***

Similar Documents

Publication Publication Date Title
CN109308466A (zh) 一种对交互语言进行情绪识别的方法
CN111368609B (zh) 基于情绪引擎技术的语音交互方法、智能终端及存储介质
AU2018204246B2 (en) Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
CN110838286B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN105843381B (zh) 用于实现多模态交互的数据处理方法及多模态交互***
Wöllmer et al. LSTM-modeling of continuous emotions in an audiovisual affect recognition framework
CN106985137B (zh) 用于智能机器人的多模态交互方法及***
CN108227932A (zh) 交互意图确定方法及装置、计算机设备及存储介质
CN108334583A (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
CN110110169A (zh) 人机交互方法及人机交互装置
CN109101663A (zh) 一种基于互联网的机器人对话***
US11492741B2 (en) Electronic device
Kim et al. Integrating information from speech and physiological signals to achieve emotional sensitivity
CN109241924A (zh) 基于互联网的多平台信息交互***
CN113822192A (zh) 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质
US11568853B2 (en) Voice recognition method using artificial intelligence and apparatus thereof
CN106782606A (zh) 用于导讲机器人的语言交流与互动***及其工作方法
US20210110815A1 (en) Method and apparatus for determining semantic meaning of pronoun
CN114995657B (zh) 一种智能机器人的多模态融合自然交互方法、***及介质
CN110134863A (zh) 应用程序推荐的方法及装置
CN115063709A (zh) 基于跨模态注意与分层融合的多模态情感分析方法及***
Zhao et al. Transferring age and gender attributes for dimensional emotion prediction from big speech data using hierarchical deep learning
Truong et al. Unobtrusive multimodal emotion detection in adaptive interfaces: speech and facial expressions
CN107123420A (zh) 一种语音识别***及其交互方法
Pérez-Espinosa et al. Emotion recognition: from speech and facial expressions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190205

RJ01 Rejection of invention patent application after publication