CN111368609A - 基于情绪引擎技术的语音交互方法、智能终端及存储介质 - Google Patents
基于情绪引擎技术的语音交互方法、智能终端及存储介质 Download PDFInfo
- Publication number
- CN111368609A CN111368609A CN201811605103.5A CN201811605103A CN111368609A CN 111368609 A CN111368609 A CN 111368609A CN 201811605103 A CN201811605103 A CN 201811605103A CN 111368609 A CN111368609 A CN 111368609A
- Authority
- CN
- China
- Prior art keywords
- emotion
- user
- information
- voice
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 189
- 230000003993 interaction Effects 0.000 title claims abstract description 102
- 238000005516 engineering process Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008909 emotion recognition Effects 0.000 claims abstract description 50
- 230000002996 emotional effect Effects 0.000 claims description 50
- 230000014509 gene expression Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006397 emotional response Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于情绪引擎技术的语音交互方法、存储介质及智能终端，方法包括：获取用户输入的语音信息，并获取用户的人脸图像信息；从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。本发明通过对用户情感的分析，并在语音交互中加入情感，从而塑造出有情感的智能语音交互方式，摆脱传统语音交互***机械化、被动式的交流模式，给用户的使用提供了方便。
Description
技术领域
本发明涉及互联网交互技术领域，具体涉及一种基于情绪引擎技术的语音交互方法、智能终端及存储介质。
背景技术
随着人机交互技术的持续创新，人们的交互方式在不断改变，从鼠标、键盘、遥控器再到触屏，交互方式越来越简单。计算机的第一平台时代，人和机器的交互只能通过键盘和鼠标，这个时期的技术只能存在于机房，操作十分繁琐；到了第二平台时代，计算机增加了一些相对友好的交互界面设计，人们无需在DOS界面输入命令，通过简单的界面操作即可与计算机交互，交互体验得到了很大提升；到了第三平台时代，触屏技术兴起，人们直接动动手指即可完成交互操作，摆脱了键盘鼠标等辅助交互设备的束缚，交互方式更加便捷，同时也为移动设备的改革提供了可能，使得技术能够存在于人人的口袋里。而人工智能技术的兴起，为更加自然的交互方式提供了可能——自然语言会话，使用者可通过自然语言的方式与机器交互、获取信息，并以对话式交互为核心，将语音技术、图像技术、人脸识别技术、增强显示技术相结合，使技术存在于无处不在的设备中。
会话式人工智能是AI技术的一个主要应用，主要是指利用语音识别、语义理解、多轮对话和自然语言理解等技术，让用户以自然语言的方式与机器人沟通。但是，目前用户与机器人之间语音交互的主要停留在被动任务式的对话，通过固化的对话管理机制对用户进行反问或应答，这种方式虽然能够完成用户基本的对话需求，但是并不能依据用户的当前情绪来进行更为智能的应答，使用不便。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于情绪引擎技术的语音交互方法、智能终端及存储介质，旨在解决现有技术中的用户在与智能机器人之间的对话采用的固化的应答模式，智能机器人并不能依据用户当前的情绪来做出更为智能的应答等问题。
本发明解决技术问题所采用的技术方案如下：
一种基于情绪引擎技术的语音交互方法，其中，所述方法包括：
获取用户输入的语音信息，并获取用户的人脸图像信息；
从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；
通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。
所述的基于情绪引擎技术的语音交互方法，其中，所述获取用户输入的语音信息，并获取用户的人脸图像信息的步骤，具体包括：
通过预设的远程设备或者遥控器拾音设备获取用户输入的语音信息；
通过预设的摄像头设备获取用户的人脸图像信息。
所述的基于情绪引擎技术的语音交互方法，其中，所述从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型的步骤，具体包括：
将获取到的语音信息中的一路语音信号通过ASR语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；
将获取到的语音信息中的另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态；
将获取到的人脸图像信息通过预设的表情识别***提取出用户的表情状态；
将所述文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模型。
所述的基于情绪引擎技术的语音交互方法，其中，所述从所述文本信息中提取用户的文本情绪状态的步骤，具体包括：
对所述文本信息进行特征提取，提取出语句信息，并根据所述语句信息从预设的记忆图谱中获取到用户的个人信息；
将所述语句信息与用户的个人信息输入到预设的情绪状态识别模型，识别出用户的文本情绪状态。
所述的基于情绪引擎技术的语音交互方法，其中，所述将所述语句信息与用户的个人信息输入到预设的情绪识别模型，识别出用户的文本情绪状态的步骤，具体包括：
从所述语句信息中提取出关键词，并根据所述关键词得到用户的第一情绪状态和第一信心分值；
将所述语句信息和用户的个人信息输入至深度学习模型中，得到用户的第二情绪状态和第二信心分值；
将所述第一信心分值与预设的阈值进行比较；
若所述第一信心分值大于阈值，将所述第一情绪状态作为用户的文本情绪状态；若所述第一信心分值小于阈值，将第一情绪状态和所述第二情绪状态进行动态排序，并根据动态排序的结果决定出用户的文本情绪状态。
所述的基于情绪引擎技术的语音交互方法，其中，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，具体包括：
所述情绪识别模型对输入的文本情绪状态、音频情绪状态以及表情状态进行加权计算，得出用户的情绪；
将得出的情绪与预设的情绪数据库进行对比匹配，得出对应的情绪特征信息；
基于得到的情绪特征信息，进行情绪意图决策和用户画像填充；
根据得到的情绪意图决策结果和用户画像信息，通过对话生成模型来生成带有情绪的语音交互信息，并输出。
所述的基于情绪引擎技术的语音交互方法，其中，所述通过对话生成模型来生成带有情绪的语音交互信息的步骤，具体包括：
对话生成模型接收用户输入的问题信息，并记录用户的历史对话信息、位置变换信息以及情绪变化信息；
分析出用户的个人信息和活动状态，得到用户画像信息；
根据问题信息和用户画像信息，生成语音交互信息；所述语音交互信息还用于对所述对话生成模型进行更新。
所述的基于情绪引擎技术的语音交互方法，其中，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，还包括：
将用户的情绪以及得到的情绪意图决策结果作为网络模型的第一输入；
将自定义的场景结构化数据作为网络模型的第二输入；
通过网络模型的学习与训练，得到在特定场景下输出拟人化语音交互策略的情绪引擎模型。
一种智能终端，其中，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的基于情绪引擎技术的语音交互方法的步骤。
一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的基于情绪引擎技术的语音交互方法的步骤。
本发明的有益效果：本发明通过对用户情感的分析，并在语音交互中加入情感，从而塑造出有情感的智能语音交互方式，使得用户与智能终端之间实现更为趣味性的语音交互，摆脱传统语音交互***机械化、被动式的交流模式，给用户的使用提供了方便。
附图说明
图1是本发明的基于情绪引擎技术的语音交互方法的较佳实施例的流程图。
图2是本发明的基于情绪引擎技术的语音交互方法的总体控制流程图。
图3是本发明的基于情绪引擎技术的语音交互方法的情感识别***逻辑流程图。
图4是本发明的智能终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的基于情绪引擎技术的语音交互方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器（CentralProcessing Unit，CPU），图形处理器（Graphics Processing Unit，GPU）、视频处理单元（Video Processing Unit，VPU）等中的至少一种。
本发明提供一种基于情绪引擎技术的语音交互方法，具体如图1所示，所述方法包括：
步骤S100、获取用户输入的语音信息，并获取用户的人脸图像信息。
步骤S200、从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型。
步骤S300、通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。
由于目前的语音交互方式还停留在被动任务式的对话，通过固化的对话管理机制对用户进行反问或应答，这种方式通常枯燥无趣。为了解决上述问题，本实施例提供一种基于情绪引擎技术的语音交互方法，主要是通过对用户情感的分析，并在语音交互中加入情感，从而塑造出有情感的智能语音交互方式，摆脱传统语音交互***机械化、被动式的交流模式，给用户的使用提供了方便。
具体地，本实施例中会实时监测用户是否进行语音交互，当监测到用户进行语音交互时，通过预先设置远程设备或遥控拾音设备获取用户自身输入的语音信息；考虑到用户在不同情绪状态下的面部表情也会有所变化，而面部表情的变化也同样代表着用户的情绪状态，因此本实施例预先设置摄像头设备，当用户进行语音交互时通过预设的摄像头设备实时获取用户的人脸图像信息，结合语音信息和用户的人脸图像信息能够更加准确的判断出用户当前的情绪。
进一步地，由于获取到的语音信息包括用户说话时的语言文字信息和用户说话时的语调语速信息等，如用户的语言表达中出现了高兴的表达语句说明用户当前可能处在相对高兴的状态，用户语速较快，声音较大则说明用户处于较激动状态。此外，用户的语音信息中的某一些字眼也是可以表示出用户当前的情绪状态的，例如，用户的语音信息中包含了“很烦”的字眼，这说明用户比较焦虑。因此，为了更好地对用于的语音信息进行分析，如图2中所示，本实施例中将获取到的语音信息分为两路语音信号，一路语音信号通过预设的ASR(Automatic Speech Recognition)语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态。而由于用户在不同情绪状态下的面部表情会有所变化，因此将获取到的人脸图像信息通过预设的表情识别***就可以提取出用户的表情状态；最后将提取出的文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模块进行情绪识别，能够更加精确的识别到用户情绪。
具体地，如图3所示，本实施例中从所述文本信息中提取用户的文本情绪状态具体包括如下步骤：
步骤301、根据用户输入提取语句信息。
步骤302、从记忆图谱中获取用户个人信息。
步骤303、将语句信息输入规则模型，提取关键词，并根据关键词得到用户的第一情感状态和第一信心分值。
步骤304、将语句信息和用户信息输入深度学习模型得到用户的第二情感状态和第二信心分值。
步骤305、判断第一信心分值是否大于预设阈值，若否，则执行步骤307，若是，则执行步骤306。
步骤306、将第一情感状态作为用户的文本情感状态。
步骤307、将第一情感状态和第二情感状态进行动态排序，根据动态排序的结果决策。
优选地，上述步骤中的语句信息包括：语句的中文分词信息，语句分词后的词性标注信息，语句的句式信息，语句的sentence2vector信息等；用户的个人信息包括：姓名、性别、生日、年龄、星座、用户的心理状态和生理状态等。动态排序涉及的参数包括：文本长度、提取的关键词、用户输入的文本、第一/第二情感状态的信心分值等。当上述第一信心分值小于预设的阈值时，本实施例这些参数作为输入进入动态排序模型，通过赋予不同权重影响排序结果，最后根据排序结果来判断出用户的文本情感状态。动态排序的参数选择和权重调整会根据整体模型的表现进行调整。语句信息的提取方式包括现有的中文分词信息和词性标注信息技术，在此不作赘述。
进一步地，本实施例中预先统计多个用户的情绪数据生成情绪数据库，优选地，该情绪数据库中包含有人类情感的喜怒哀乐等22种情绪，并且还包括每一种情绪所对应的情绪特征信息，例如在该情绪数据库中愉快的情绪特征信息包含了对应的表情图像数据（如嘴角上扬）、对应的高频文字（例如开心，快乐等字眼），对应的语气及语调信息（如：欢快的语调）等。因此当在该情绪库中找到愉快的情绪，即可得到对应的情绪特征信息，同样，通过情绪特征信息也可以在情绪数据库中找到对应的情绪状态。
具体实施时，考虑到在不同的应用场景下用户语音信息以及面部图像信息对最终的情绪状态判断的影响权重可能不同，因此本实施例通过将获取到的文本情绪状态、音频情绪状态以及表情状态输入到情绪识别模型，通过情绪识别模型对输入的文本情绪状态、音频情绪状态以及表情状态进行加权计算，将计算结果与预设的情绪数据库进行对比匹配，可以得出用户的情绪。具体地，所述情绪识别模型是预先通过将采集到的各种文本情绪状态、音频情绪状态以及表情状态输入至网络模型中进行深度学习与训练而成。本实施例中可以预先对文本情绪状态、音频情绪状态以及表情状态这三者设置不用的权重，如，设置文本情绪状态的权重为20%，音频情绪状态的权重为50%，表情状态的权重为30%，根据设置的权重进行计算，就可以得出与用户当前情绪状态最为接近的情绪。然后根据得到的用户情绪在情绪数据库中进行对比匹配，得出该情绪对应的情绪特征信息，该情绪特征信息用于进行情绪意图决策和用户画像填充，以便生成带有情绪的语音交互信息。例如，当计算得到用户的情绪为愉快，因此愉快对应的情绪特征信息就包括：频繁出现的“开心”、“快乐”等字眼、嘴角上扬的表情图像以及欢快的语调，根据这些情绪特征信息就可以确定出用户画像以及用户当前具体的情绪，智能终端就可以做出相应的情绪意图决策（即智能终端根据用户情绪所要作出的情绪反馈），并做出带有相应情绪的应答信息，即同样输出带有愉快情绪的应答信息，实现更加人性化的语音交互。
进一步地，本实施例中在进行语音信息交互时，采用的是对话生成模块来实现应答，具体地，对话生成模块接收用户输入的问题信息，记录用户的历史对话信息、位置变换信息以及情绪变化信息，然后根据上述信息分析出用户的个人信息和活动状态，得到用户画像信息；根据问题信息和用户画像信息（此时的用户画像信息就是基于用户的情绪所对应的情绪特征信息分析出来的），生成语音交互信息。可见，本实施例中不但可以根据用户的情绪状态做出带有情绪应答信息，而且还可以根据用户的情绪变化，实时做出不同的语音交互策略，语音交互策略中所带有的情绪也会实时变化。优选地，本实施例中的对话生成模块通过三层循环神经网络RNN架构实现，采用反向传播算法(backpropagation ，bp)算法为基础。优选地，对话生成模型中的用户信息越完善，语音交互信息的准确率越高，因此，本实施例提供的方法还包括：将语音交互信息添加到对话生成模型中，可以混合使用规则、机器学习、深度学习的技术来从语音交互信息中将语音交互信息保存并对对话生成模型进行学习与训练，从而更新对话生成模型，以使对话生成模型更好的生成带有情绪的语音应答信息。
进一步地，本实施例中，考虑到在不同的场景下，交互方的人物特征属性会有所不同，根据不同的场景所对应的人物特征属性，设置对应的场景结构化数据。在获取到用户的情绪后，将用户的情绪以及得到的情绪意图决策结果（即智能终端根据用户的情绪所作出的情绪反馈）作为网络模型的第一输入；将自定义的场景结构化数据作为网络模型的第二输入；通过网络模型的学习与训练，得到在特定场景下输出拟人化语音交互策略的情绪引擎模型，该情绪引擎模型可以使得智能终端根据特定的场景自动输出拟人化的语音交互策略，实现更加智能且人性化的语音交互。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图4所示。该智能终端包括通过***总线连接的处理器、存储器、网络接口、显示屏和温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于情绪引擎技术的语音交互方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
获取用户输入的语音信息，并获取用户的人脸图像信息；
从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；
通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：启动预设的监听程序监听用户是否进行语音交互；当监听到用户进行语音交互时，启动预设的远程设备或遥控拾音设备获取用户自身输入的语音信息，启动预设的摄像头获取用户的人脸信息。将获取到的语音信息分为两路语音信号，一路语音信息通过预设的ASR语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态；将获取到的人脸图像信息通过预设的表情识别***就可以提取出用户的表情状态；将提取出的文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模块进行情绪识别。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：获取用户语音交互的文本信息后，根据用户输入的语音信息提取语句信息，从记忆图谱中获取用户个人信息；将将语句信息输入规则模型，提取关键词，并根据关键词得到用户的第一情感状态和第一信心分值；将语句信息和用户信息输入深度学习模型得到用户的第二情感状态和第二信心分值；判断第一信心分值与预设阈值的大小，当第一信心分值大于预设阈值时，将第一情感状态作为用户的情感状态；当第一信心分值小于预设阈值时，将第一情感状态和第二情感状态进行动态排序，根据动态排序的结果决策。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：预先统计多个用户的情绪数据生成情绪数据库，将获取到的文本情绪状态、音频情绪状态以及表情状态输入到情绪识别模型后进行加权计算，得到用户的情绪，将用户的情绪与预设的情绪数据库进行对比匹配，得到对应的情绪特征信息。基于得到的情绪特征信息，进行情绪意图决策和用户画像填充；根据得到的情绪意图决策结果和用户画像信息，通过对话生成模型来生成带有情绪的语音交互信息。在具体的语音交互过程中，对话生成模型接收用户输入的问题信息，记录用户的历史对话信息、位置变换信息以及情绪变化信息，分析出用户的个人信息和活动状态，得到用户画像信息；根据问题信息和用户画像信息，生成语音交互信息，该语音交互信息还可以用来更新对话生成模型。本实施例中不但可以根据用户的情绪状态做出带有情绪应答信息，而且还可以根据用户的情绪变化，实时做出不同的语音交互策略，语音交互策略中所带有的情绪也会实时变化。
在其中的一个实施例中，该处理器执行计算机程序时还可以实现：将用户的情绪以及得到的情绪意图决策结果作为网络模型的第一输入；将自定义的场景结构化数据作为网络模型的第二输入；通过网络模型的学习与训练，得到在特定场景下输出拟人化语音交互策略的情绪引擎模型，该情绪引擎模型可以使得智能终端根据特定的场景自动输出拟人化的语音交互策略，实现更加智能且人性化的语音交互。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
综上所述，本发明提供了一种基于情绪引擎技术的语音交互方法，方法包括：获取用户输入的语音信息，并获取用户的人脸图像信息；从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。本发明通过对用户情感的分析，并在语音交互中加入情感，从而塑造出有情感的智能语音交互方式，摆脱传统语音交互***机械化、被动式的交流模式，给用户的使用提供了方便。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于情绪引擎技术的语音交互方法，其特征在于，所述方法包括：
获取用户输入的语音信息，并获取用户的人脸图像信息；
从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型；
通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出。
2.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述获取用户输入的语音信息，并获取用户的人脸图像信息的步骤，具体包括：
通过预设的远程设备或者遥控器拾音设备获取用户输入的语音信息；
通过预设的摄像头设备获取用户的人脸图像信息。
3.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述从所述语音信息与人脸图像信息中提取情绪识别特征，并将提取的情绪识别特征输入至预设的情绪识别模型的步骤，具体包括：
将获取到的语音信息中的一路语音信号通过ASR语音识别模块转换成文本信息，并从所述文本信息中提取用户的文本情绪状态；
将获取到的语音信息中的另一路语音信号通过预设的语音情绪感知器提取出用户的音频情绪状态；
将获取到的人脸图像信息通过预设的表情识别***提取出用户的表情状态；
将所述文本情绪状态、音频情绪状态以及表情状态输入至预设的情绪识别模型。
4.根据权利要求3所述的基于情绪引擎技术的语音交互方法，其特征在于，所述从所述文本信息中提取用户的文本情绪状态的步骤，具体包括：
对所述文本信息进行特征提取，提取出语句信息，并根据所述语句信息从预设的记忆图谱中获取到用户的个人信息；
将所述语句信息与用户的个人信息输入到预设的情绪状态识别模型，识别出用户的文本情绪状态。
5.根据权利要求4所述的基于情绪引擎技术的语音交互方法，其特征在于，所述将所述语句信息与用户的个人信息输入到预设的情绪识别模型，识别出用户的文本情绪状态的步骤，具体包括：
从所述语句信息中提取出关键词，并根据所述关键词得到用户的第一情绪状态和第一信心分值；
将所述语句信息和用户的个人信息输入至深度学习模型中，得到用户的第二情绪状态和第二信心分值；
将所述第一信心分值与预设的阈值进行比较；
若所述第一信心分值大于阈值，将所述第一情绪状态作为用户的文本情绪状态；若所述第一信心分值小于阈值，将第一情绪状态和所述第二情绪状态进行动态排序，并根据动态排序的结果决定出用户的文本情绪状态。
6.根据权利要求1所述的基于情绪引擎技术的语音交互方法，其特征在于，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，具体包括：
所述情绪识别模型对输入的文本情绪状态、音频情绪状态以及表情状态进行加权计算，得出用户的情绪；
将得出的情绪与预设的情绪数据库进行对比匹配，得出对应的情绪特征信息；
基于得到的情绪特征信息，进行情绪意图决策和用户画像填充；
根据得到的情绪意图决策结果和用户画像信息，通过对话生成模型来生成带有情绪的语音交互信息，并输出。
7.根据权利要求6所述的基于情绪引擎技术的语音交互方法，其特征在于，所述通过对话生成模型来生成带有情绪的语音交互信息的步骤，具体包括：
对话生成模型接收用户输入的问题信息，并记录用户的历史对话信息、位置变换信息以及情绪变化信息；
分析出用户的个人信息和活动状态，得到用户画像信息；
根据问题信息和用户画像信息，生成语音交互信息；所述语音交互信息还用于对所述对话生成模型进行更新。
8.根据权利要求6所述的基于情绪引擎技术的语音交互方法，其特征在于，所述通过所述情绪识别模型计算出用户的情绪，并基于用户的情绪生成拟人化的语音交互策略，并输出的步骤，还包括：
将用户的情绪以及得到的情绪意图决策结果作为网络模型的第一输入；
将自定义的场景结构化数据作为网络模型的第二输入；
通过网络模型的学习与训练，得到在特定场景下输出拟人化语音交互策略的情绪引擎模型。
9.一种智能终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-8任一项所述的基于情绪引擎技术的语音交互方法的步骤。
10.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-8任一项所述的基于情绪引擎技术的语音交互方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811605103.5A CN111368609B (zh) | 2018-12-26 | 2018-12-26 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| PCT/CN2019/126443 WO2020135194A1 (zh) | 2018-12-26 | 2019-12-19 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811605103.5A CN111368609B (zh) | 2018-12-26 | 2018-12-26 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111368609A true CN111368609A (zh) | 2020-07-03 |
| CN111368609B CN111368609B (zh) | 2023-10-17 |
Family
ID=71128377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811605103.5A Active CN111368609B (zh) | 2018-12-26 | 2018-12-26 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111368609B (zh) |
| WO (1) | WO2020135194A1 (zh) |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881348A (zh) * | 2020-07-20 | 2020-11-03 | 百度在线网络技术（北京）有限公司 | 信息处理方法、装置、设备以及存储介质 |
| CN111897434A (zh) * | 2020-08-05 | 2020-11-06 | 上海永骁智能技术有限公司 | 信号控制虚拟人像的***、方法及介质 |
| CN112002329A (zh) * | 2020-09-03 | 2020-11-27 | 深圳Tcl新技术有限公司 | 身心健康监测方法、设备及计算机可读存储介质 |
| CN112034989A (zh) * | 2020-09-04 | 2020-12-04 | 华人运通(上海)云计算科技有限公司 | 一种智能交互*** |
| CN112083806A (zh) * | 2020-09-16 | 2020-12-15 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
| CN112148850A (zh) * | 2020-09-08 | 2020-12-29 | 北京百度网讯科技有限公司 | 动态交互方法、服务器、电子设备及存储介质 |
| CN112185422A (zh) * | 2020-09-14 | 2021-01-05 | 五邑大学 | 提示信息生成方法及其语音机器人 |
| CN112183197A (zh) * | 2020-08-21 | 2021-01-05 | 深圳追一科技有限公司 | 基于数字人的工作状态确定方法、装置和存储介质 |
| CN112232276A (zh) * | 2020-11-04 | 2021-01-15 | 赵珍 | 一种基于语音识别和图像识别的情绪检测方法和装置 |
| CN112297023A (zh) * | 2020-10-22 | 2021-02-02 | 新华网股份有限公司 | 智能陪护机器人*** |
| CN112379780A (zh) * | 2020-12-01 | 2021-02-19 | 宁波大学 | 多模态情感交互方法、智能设备、***、电子设备及介质 |
| CN112455370A (zh) * | 2020-11-24 | 2021-03-09 | 一汽奔腾轿车有限公司 | 基于多维度数据仲裁机制的情绪管理与交互***及方法 |
| CN112633172A (zh) * | 2020-12-23 | 2021-04-09 | 平安银行股份有限公司 | 通讯优化方法、装置、设备及介质 |
| CN112735440A (zh) * | 2020-12-30 | 2021-04-30 | 北京瞰瞰科技有限公司 | 车载智能机器人交互方法、机器人及车辆 |
| CN112967725A (zh) * | 2021-02-26 | 2021-06-15 | 平安科技（深圳）有限公司 | 语音对话数据处理方法、装置、计算机设备及存储介质 |
| CN112990301A (zh) * | 2021-03-10 | 2021-06-18 | 深圳市声扬科技有限公司 | 情绪数据标注方法、装置、计算机设备和存储介质 |
| CN113270087A (zh) * | 2021-05-26 | 2021-08-17 | 深圳传音控股股份有限公司 | 处理方法、移动终端及存储介质 |
| CN113380271A (zh) * | 2021-08-12 | 2021-09-10 | 明品云(北京)数据科技有限公司 | 情绪识别方法、***、设备及介质 |
| CN113434647A (zh) * | 2021-06-18 | 2021-09-24 | 竹间智能科技（上海）有限公司 | 一种人机交互方法、***及存储介质 |
| CN113580166A (zh) * | 2021-08-20 | 2021-11-02 | 安徽淘云科技股份有限公司 | 一种拟人化机器人的交互方法、装置、设备及存储介质 |
| CN113687744A (zh) * | 2021-08-19 | 2021-11-23 | 北京智精灵科技有限公司 | 一种用于情绪调节的人机交互方法及设备 |
| CN113707185A (zh) * | 2021-09-17 | 2021-11-26 | 卓尔智联(武汉)研究院有限公司 | 一种情绪识别方法、装置和电子设备 |
| CN113822967A (zh) * | 2021-02-09 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 人机交互方法、装置、***、电子设备以及计算机介质 |
| CN113852524A (zh) * | 2021-07-16 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 基于情感特征融合的智能家居设备控制***和方法 |
| CN114115533A (zh) * | 2021-11-11 | 2022-03-01 | 北京萌特博智能机器人科技有限公司 | 智能交互方法和装置 |
| WO2022041177A1 (zh) * | 2020-08-29 | 2022-03-03 | 深圳市永兴元科技股份有限公司 | 通信消息处理方法、设备及即时通信客户端 |
| CN114237395A (zh) * | 2021-12-14 | 2022-03-25 | 北京百度网讯科技有限公司 | 信息处理方法、装置、电子设备及存储介质 |
| CN114516341A (zh) * | 2022-04-13 | 2022-05-20 | 北京智科车联科技有限公司 | 用户交互方法、***及车辆 |
| CN114595314A (zh) * | 2020-12-07 | 2022-06-07 | 山东新松工业软件研究院股份有限公司 | 融合情绪的对话应答方法、装置、终端及存储装置 |
| CN114745349A (zh) * | 2021-01-08 | 2022-07-12 | 上海博泰悦臻网络技术服务有限公司 | 一种点评方法、电子设备及计算机可读存储介质 |
| CN114999534A (zh) * | 2022-06-10 | 2022-09-02 | 中国第一汽车股份有限公司 | 一种车载音乐的播放控制方法、装置、设备和存储介质 |
| CN115204127A (zh) * | 2022-09-19 | 2022-10-18 | 深圳市北科瑞声科技股份有限公司 | 基于远程流调的表单填写方法、装置、设备及介质 |
| CN115238111A (zh) * | 2022-06-15 | 2022-10-25 | 荣耀终端有限公司 | 一种图片显示方法及电子设备 |
| CN115334205A (zh) * | 2022-10-11 | 2022-11-11 | 北京资采信息技术有限公司 | 一种采用深度学习的语音外呼***和方法 |
| CN115431288A (zh) * | 2022-11-10 | 2022-12-06 | 深圳市神州云海智能科技有限公司 | 基于多元融合信息进行情感反馈及信息交互的导诊机器人 |
| CN116820250A (zh) * | 2023-08-29 | 2023-09-29 | 小舟科技有限公司 | 基于元宇宙的用户互动方法、装置、终端及可读存储介质 |
| CN117808011A (zh) * | 2024-03-01 | 2024-04-02 | 青岛网信信息科技有限公司 | 一种带有模拟情绪的聊天机器人的方法、介质及*** |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696556B (zh) * | 2020-07-13 | 2023-05-16 | 上海茂声智能科技有限公司 | 一种分析用户对话情绪方法、***、设备和存储介质 |
| CN111858892B (zh) * | 2020-07-24 | 2023-09-29 | 中国平安人寿保险股份有限公司 | 基于知识图谱的语音交互方法、装置、设备及介质 |
| CN111897933B (zh) * | 2020-07-27 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN111883127A (zh) * | 2020-07-29 | 2020-11-03 | 百度在线网络技术（北京）有限公司 | 用于处理语音的方法和装置 |
| CN112151027B (zh) * | 2020-08-21 | 2024-05-03 | 深圳追一科技有限公司 | 基于数字人的特定人询问方法、装置和存储介质 |
| CN112185389B (zh) * | 2020-09-22 | 2024-06-18 | 北京小米松果电子有限公司 | 语音生成方法、装置、存储介质和电子设备 |
| CN112100337B (zh) * | 2020-10-15 | 2024-03-05 | 平安科技（深圳）有限公司 | 交互对话中的情绪识别方法及装置 |
| CN112418034A (zh) * | 2020-11-12 | 2021-02-26 | 元梦人文智能国际有限公司 | 多模态情感识别方法、装置、电子设备和存储介质 |
| CN112687260A (zh) * | 2020-11-17 | 2021-04-20 | 珠海格力电器股份有限公司 | 基于人脸识别的表情判断语音识别方法、服务器及空调 |
| CN112650399B (zh) * | 2020-12-22 | 2023-12-01 | 科大讯飞股份有限公司 | 表情推荐方法及装置 |
| CN112785667A (zh) * | 2021-01-25 | 2021-05-11 | 北京有竹居网络技术有限公司 | 视频生成方法、装置、介质及电子设备 |
| CN113269406A (zh) * | 2021-05-06 | 2021-08-17 | 京东数字科技控股股份有限公司 | 线上服务的评价方法、装置、计算机设备及存储介质 |
| CN113488024B (zh) * | 2021-05-31 | 2023-06-23 | 杭州摸象大数据科技有限公司 | 一种基于语义识别的电话打断识别方法和*** |
| CN113645364B (zh) * | 2021-06-21 | 2023-08-22 | 国网浙江省电力有限公司金华供电公司 | 面向电力调度的智能语音外呼方法 |
| CN113392981A (zh) * | 2021-06-23 | 2021-09-14 | 安徽淘云科技股份有限公司 | 一种人机交互控制方法及其相关设备 |
| CN113609851B (zh) * | 2021-07-09 | 2024-07-02 | 浙江连信科技有限公司 | 心理学上想法认知偏差的识别方法、装置及电子设备 |
| CN114416934B (zh) * | 2021-12-24 | 2023-02-07 | 北京百度网讯科技有限公司 | 多模态的对话生成模型的训练方法、装置及电子设备 |
| CN114533063B (zh) * | 2022-02-23 | 2023-10-27 | 金华高等研究院(金华理工学院筹建工作领导小组办公室) | 一种多源监测结合的情感计算***及方法 |
| CN116630455A (zh) * | 2023-02-17 | 2023-08-22 | 深圳前海深蕾半导体有限公司 | 基于人工智能绘画的图像生成方法、显示设备及存储介质 |
| CN116030811B (zh) * | 2023-03-22 | 2023-06-30 | 广州小鹏汽车科技有限公司 | 语音交互方法、车辆及计算机可读存储介质 |
| CN116643675B (zh) * | 2023-07-27 | 2023-10-03 | 苏州创捷传媒展览股份有限公司 | 基于ai虚拟人物的智能交互*** |
| CN116821287B (zh) * | 2023-08-28 | 2023-11-17 | 湖南创星科技股份有限公司 | 基于知识图谱和大语言模型的用户心理画像***及方法 |
| CN116935480B (zh) * | 2023-09-18 | 2023-12-29 | 四川天地宏华导航设备有限公司 | 一种情绪识别方法及装置 |
| CN117153151B (zh) * | 2023-10-09 | 2024-05-07 | 广州易风健康科技股份有限公司 | 基于用户语调的情绪识别方法 |
| CN117376854B (zh) * | 2023-10-30 | 2024-07-09 | 深圳中网讯通技术有限公司 | 多媒体短信内容的生成方法、装置、设备及存储介质 |
| CN117371338B (zh) * | 2023-12-07 | 2024-03-22 | 浙江宇宙奇点科技有限公司 | 一种基于用户画像的ai数字人建模方法及*** |
| CN117725553A (zh) * | 2023-12-28 | 2024-03-19 | 江苏芯灵智能科技有限公司 | 一种ai情绪可视化识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570496A (zh) * | 2016-11-22 | 2017-04-19 | 上海智臻智能网络科技股份有限公司 | 情绪识别方法和装置以及智能交互方法和设备 |
| CN106773923A (zh) * | 2016-11-30 | 2017-05-31 | 北京光年无限科技有限公司 | 面向机器人的多模态情感数据交互方法及装置 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知*** |
| CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应*** |
| CN107301168A (zh) * | 2017-06-01 | 2017-10-27 | 深圳市朗空亿科科技有限公司 | 智能机器人及其情绪交互方法、*** |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106203344A (zh) * | 2016-07-12 | 2016-12-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的情绪识别方法及*** |
| CN107944008A (zh) * | 2017-12-08 | 2018-04-20 | 神思电子技术股份有限公司 | 一种针对自然语言进行情绪识别的方法 |
| CN109036405A (zh) * | 2018-07-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 语音交互方法、装置、设备及存储介质 |
-
2018
- 2018-12-26 CN CN201811605103.5A patent/CN111368609B/zh active Active
-
2019
- 2019-12-19 WO PCT/CN2019/126443 patent/WO2020135194A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106570496A (zh) * | 2016-11-22 | 2017-04-19 | 上海智臻智能网络科技股份有限公司 | 情绪识别方法和装置以及智能交互方法和设备 |
| CN106773923A (zh) * | 2016-11-30 | 2017-05-31 | 北京光年无限科技有限公司 | 面向机器人的多模态情感数据交互方法及装置 |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知*** |
| CN107301168A (zh) * | 2017-06-01 | 2017-10-27 | 深圳市朗空亿科科技有限公司 | 智能机器人及其情绪交互方法、*** |
| CN107243905A (zh) * | 2017-06-28 | 2017-10-13 | 重庆柚瓣科技有限公司 | 基于养老机器人的情绪自适应*** |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881348A (zh) * | 2020-07-20 | 2020-11-03 | 百度在线网络技术（北京）有限公司 | 信息处理方法、装置、设备以及存储介质 |
| CN111897434A (zh) * | 2020-08-05 | 2020-11-06 | 上海永骁智能技术有限公司 | 信号控制虚拟人像的***、方法及介质 |
| CN112183197A (zh) * | 2020-08-21 | 2021-01-05 | 深圳追一科技有限公司 | 基于数字人的工作状态确定方法、装置和存储介质 |
| WO2022041177A1 (zh) * | 2020-08-29 | 2022-03-03 | 深圳市永兴元科技股份有限公司 | 通信消息处理方法、设备及即时通信客户端 |
| CN112002329A (zh) * | 2020-09-03 | 2020-11-27 | 深圳Tcl新技术有限公司 | 身心健康监测方法、设备及计算机可读存储介质 |
| CN112002329B (zh) * | 2020-09-03 | 2024-04-02 | 深圳Tcl新技术有限公司 | 身心健康监测方法、设备及计算机可读存储介质 |
| CN112034989A (zh) * | 2020-09-04 | 2020-12-04 | 华人运通(上海)云计算科技有限公司 | 一种智能交互*** |
| CN112148850A (zh) * | 2020-09-08 | 2020-12-29 | 北京百度网讯科技有限公司 | 动态交互方法、服务器、电子设备及存储介质 |
| CN112185422A (zh) * | 2020-09-14 | 2021-01-05 | 五邑大学 | 提示信息生成方法及其语音机器人 |
| CN112083806A (zh) * | 2020-09-16 | 2020-12-15 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
| CN112083806B (zh) * | 2020-09-16 | 2021-10-26 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
| CN112297023A (zh) * | 2020-10-22 | 2021-02-02 | 新华网股份有限公司 | 智能陪护机器人*** |
| CN112232276B (zh) * | 2020-11-04 | 2023-10-13 | 上海企创信息科技有限公司 | 一种基于语音识别和图像识别的情绪检测方法和装置 |
| CN112232276A (zh) * | 2020-11-04 | 2021-01-15 | 赵珍 | 一种基于语音识别和图像识别的情绪检测方法和装置 |
| CN112455370A (zh) * | 2020-11-24 | 2021-03-09 | 一汽奔腾轿车有限公司 | 基于多维度数据仲裁机制的情绪管理与交互***及方法 |
| CN112379780A (zh) * | 2020-12-01 | 2021-02-19 | 宁波大学 | 多模态情感交互方法、智能设备、***、电子设备及介质 |
| CN114595314A (zh) * | 2020-12-07 | 2022-06-07 | 山东新松工业软件研究院股份有限公司 | 融合情绪的对话应答方法、装置、终端及存储装置 |
| CN112633172A (zh) * | 2020-12-23 | 2021-04-09 | 平安银行股份有限公司 | 通讯优化方法、装置、设备及介质 |
| CN112633172B (zh) * | 2020-12-23 | 2023-11-14 | 平安银行股份有限公司 | 通讯优化方法、装置、设备及介质 |
| CN112735440A (zh) * | 2020-12-30 | 2021-04-30 | 北京瞰瞰科技有限公司 | 车载智能机器人交互方法、机器人及车辆 |
| CN114745349B (zh) * | 2021-01-08 | 2023-12-26 | 上海博泰悦臻网络技术服务有限公司 | 一种点评方法、电子设备及计算机可读存储介质 |
| CN114745349A (zh) * | 2021-01-08 | 2022-07-12 | 上海博泰悦臻网络技术服务有限公司 | 一种点评方法、电子设备及计算机可读存储介质 |
| CN113822967A (zh) * | 2021-02-09 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 人机交互方法、装置、***、电子设备以及计算机介质 |
| CN112967725A (zh) * | 2021-02-26 | 2021-06-15 | 平安科技（深圳）有限公司 | 语音对话数据处理方法、装置、计算机设备及存储介质 |
| CN112990301A (zh) * | 2021-03-10 | 2021-06-18 | 深圳市声扬科技有限公司 | 情绪数据标注方法、装置、计算机设备和存储介质 |
| CN113270087A (zh) * | 2021-05-26 | 2021-08-17 | 深圳传音控股股份有限公司 | 处理方法、移动终端及存储介质 |
| CN113434647B (zh) * | 2021-06-18 | 2024-01-12 | 竹间智能科技（上海）有限公司 | 一种人机交互方法、***及存储介质 |
| CN113434647A (zh) * | 2021-06-18 | 2021-09-24 | 竹间智能科技（上海）有限公司 | 一种人机交互方法、***及存储介质 |
| CN113852524A (zh) * | 2021-07-16 | 2021-12-28 | 天翼智慧家庭科技有限公司 | 基于情感特征融合的智能家居设备控制***和方法 |
| CN113380271A (zh) * | 2021-08-12 | 2021-09-10 | 明品云(北京)数据科技有限公司 | 情绪识别方法、***、设备及介质 |
| CN113687744A (zh) * | 2021-08-19 | 2021-11-23 | 北京智精灵科技有限公司 | 一种用于情绪调节的人机交互方法及设备 |
| CN113580166A (zh) * | 2021-08-20 | 2021-11-02 | 安徽淘云科技股份有限公司 | 一种拟人化机器人的交互方法、装置、设备及存储介质 |
| CN113580166B (zh) * | 2021-08-20 | 2023-11-28 | 安徽淘云科技股份有限公司 | 一种拟人化机器人的交互方法、装置、设备及存储介质 |
| CN113707185A (zh) * | 2021-09-17 | 2021-11-26 | 卓尔智联(武汉)研究院有限公司 | 一种情绪识别方法、装置和电子设备 |
| CN114115533A (zh) * | 2021-11-11 | 2022-03-01 | 北京萌特博智能机器人科技有限公司 | 智能交互方法和装置 |
| CN114237395A (zh) * | 2021-12-14 | 2022-03-25 | 北京百度网讯科技有限公司 | 信息处理方法、装置、电子设备及存储介质 |
| CN114516341A (zh) * | 2022-04-13 | 2022-05-20 | 北京智科车联科技有限公司 | 用户交互方法、***及车辆 |
| CN114999534A (zh) * | 2022-06-10 | 2022-09-02 | 中国第一汽车股份有限公司 | 一种车载音乐的播放控制方法、装置、设备和存储介质 |
| CN115238111A (zh) * | 2022-06-15 | 2022-10-25 | 荣耀终端有限公司 | 一种图片显示方法及电子设备 |
| CN115238111B (zh) * | 2022-06-15 | 2023-11-14 | 荣耀终端有限公司 | 一种图片显示方法及电子设备 |
| CN115204127B (zh) * | 2022-09-19 | 2023-01-06 | 深圳市北科瑞声科技股份有限公司 | 基于远程流调的表单填写方法、装置、设备及介质 |
| CN115204127A (zh) * | 2022-09-19 | 2022-10-18 | 深圳市北科瑞声科技股份有限公司 | 基于远程流调的表单填写方法、装置、设备及介质 |
| CN115334205A (zh) * | 2022-10-11 | 2022-11-11 | 北京资采信息技术有限公司 | 一种采用深度学习的语音外呼***和方法 |
| CN115334205B (zh) * | 2022-10-11 | 2022-12-27 | 北京资采信息技术有限公司 | 一种采用深度学习的语音外呼***和方法 |
| CN115431288A (zh) * | 2022-11-10 | 2022-12-06 | 深圳市神州云海智能科技有限公司 | 基于多元融合信息进行情感反馈及信息交互的导诊机器人 |
| CN116820250B (zh) * | 2023-08-29 | 2023-11-17 | 小舟科技有限公司 | 基于元宇宙的用户互动方法、装置、终端及可读存储介质 |
| CN116820250A (zh) * | 2023-08-29 | 2023-09-29 | 小舟科技有限公司 | 基于元宇宙的用户互动方法、装置、终端及可读存储介质 |
| CN117808011A (zh) * | 2024-03-01 | 2024-04-02 | 青岛网信信息科技有限公司 | 一种带有模拟情绪的聊天机器人的方法、介质及*** |
| CN117808011B (zh) * | 2024-03-01 | 2024-06-04 | 青岛网信信息科技有限公司 | 一种带有模拟情绪的聊天机器人的方法、介质及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111368609B (zh) | 2023-10-17 |
| WO2020135194A1 (zh) | 2020-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368609B (zh) | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 | |
| JP7022062B2 (ja) | 統合化された物体認識および顔表情認識を伴うｖｐａ | |
| CN108227932B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
| CN108334583B (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
| US10977452B2 (en) | Multi-lingual virtual personal assistant | |
| CN105843381B (zh) | 用于实现多模态交互的数据处理方法及多模态交互*** | |
| US9501743B2 (en) | Method and apparatus for tailoring the output of an intelligent automated assistant to a user | |
| KR20210070213A (ko) | 음성 사용자 인터페이스 | |
| KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
| CN110110169A (zh) | 人机交互方法及人机交互装置 | |
| CN107972028A (zh) | 人机交互方法、装置及电子设备 | |
| CN110399837A (zh) | 用户情绪识别方法、装置以及计算机可读存储介质 | |
| US20180129647A1 (en) | Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics | |
| WO2020211820A1 (zh) | 语音情感识别方法和装置 | |
| CN106502382B (zh) | 用于智能机器人的主动交互方法和*** | |
| CN113160819B (zh) | 用于输出动画的方法、装置、设备、介质和产品 | |
| Verkholyak et al. | Modeling short-term and long-term dependencies of the speech signal for paralinguistic emotion classification | |
| JP6201212B2 (ja) | キャラクタ生成装置およびプログラム | |
| WO2023226239A1 (zh) | 对象情绪的分析方法、装置和电子设备 | |
| CN111557001B (zh) | 提供自然语言对话的方法、计算机装置及计算机可读存储介质 | |
| CN113539261A (zh) | 人机语音交互方法、装置、计算机设备和存储介质 | |
| CN110931002B (zh) | 人机交互方法、装置、计算机设备和存储介质 | |
| KR102576788B1 (ko) | 로봇 인터랙션 행위 생성 장치 및 방법 | |
| US11748558B2 (en) | Multi-persona social agent | |
| KR102120936B1 (ko) | 스마트 단말의 기능을 탑재한 캐릭터 인형 제작 서비스 제공 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |