CN104091153A - 应用于聊天机器人的情绪判断方法 - Google Patents
应用于聊天机器人的情绪判断方法 Download PDFInfo
- Publication number
- CN104091153A CN104091153A CN201410312835.0A CN201410312835A CN104091153A CN 104091153 A CN104091153 A CN 104091153A CN 201410312835 A CN201410312835 A CN 201410312835A CN 104091153 A CN104091153 A CN 104091153A
- Authority
- CN
- China
- Prior art keywords
- chat
- person
- chatting
- face
- judgment method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
Abstract
本发明提供一种应用于聊天机器人的情绪判断方法,其包括采集人脸数字图像的图像采集装置,其特征在于:其包括以下步骤:1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;2)通过所述图像采集装置定期收集聊天者的数字图像;3)从所述数字图像中识别聊天者的五官,统计聊天者面部特征;4)根据聊天者面部特征,从所述人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。本发明提供一种应用于聊天机器人的情绪判断方法,其充分运用人脸识别技术、心理学知识,通过判断聊天者的真实含义,从而调整聊天内容,使得聊天者获得接近真实的聊天感受,从而极大提高聊天机器人的真实感、准确性。
Description
技术领域
本发明涉及一种信息技术,尤其是应用于聊天机器人的识别谈话对象情绪的方法。
背景技术
聊天机器人是一种通过人工智能技术识别文字语意,并合理选择答案,到达于模拟真人聊天目的的机器人(软件),如最近网络爆炒的微信平台的“微软小冰”。目前,聊天机器人的开发都集中在提高识别对方的语意,选择合理的答案的阶段,相关的研究很多,其还仅限于双方的文字沟通。然而实际上的语言沟通,绝非局限于语言,还包括表情、肢体动作等。相同的语言,配以不同的表情和语气,其可能表达完全相反的含义。比如,某人说“你请我吃饭?”,配以一个不屑一顾的表情,可能表明的是拒绝,而配以惊喜的表情,这显然是接受。聊天机器人的发展趋势应当是综合这些相关内容,到达一个尽可能真实、可信的沟通过程,使得聊天者产生和真人聊天的“错觉”。
发明内容
针对上述问题,本发明提供一种真实感强、判断准确的应用于聊天机器人的情绪判断方法。
本发明提供一种应用于聊天机器人的情绪判断方法,其包括采集人脸数字图像的图像采集装置,其特征在于:其包括以下步骤:
1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;
2)通过所述图像采集装置定期收集聊天者的数字图像;
3)从所述数字图像中识别聊天者的五官,统计聊天者面部特征;
4)根据聊天者面部特征,从所述人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。
优选的,所述步骤1)中存储人脸以下表情中的面部特征:无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑。
优选的,所述步骤1)中按以下栏位存储人脸不同表情中的面部特征:人种、性别、年龄。
优选的,所述面部特征包括:眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。
优选的,所述步骤3)中,还包括从所述数字图像中识别获取聊天者头部动作、双肩动作和手部动作。
优选的,还包括以下步骤:
5)根据聊天内容获得聊天主题,并以当前聊天者的语言和表情为依据,判断聊天者对当前聊天主题的真实态度。
优选的,还包括以下步骤:
6)根据步骤5)中得到的聊天者对当前聊天主题的真实态度调整聊天的策略:改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格。
本发明针对现有技术中的不足,提供一种真实感强、判断准确的应用于聊天机器人的情绪判断方法。其充分运用目前业已成熟的人脸识别技术、心理学常识等,通过不断判断聊天者的真实含义,从而调整聊天内容,使得聊天者获得接近真实的聊天感受,从而极大提高聊天机器人的真实感、准确性。本发明不仅可以用于聊天机器人,同样也可以应用于机器人、安全监控设备等。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,并使本发明的上述目的、特征和优点能够更加明显易懂,下面结合实施例及实施例附图对本发明作进一步详细的说明。
如图1所示,本发明的一种应用于聊天机器人的情绪判断方法,包括以下步骤:
1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;主要包括:无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑等常见表情。各种表情都会有对应的面部特征,例如:· 伤心。面部特征包括眯眼,眉毛收紧,嘴角下拉,下巴抬起或收紧。害怕。害怕时,嘴巴和眼睛张开,眉毛上扬,鼻孔张大。愤怒。这时眉毛下垂,前额紧皱,眼睑和嘴唇紧张。 厌恶。厌恶的表情包括嗤鼻,上嘴唇上抬,眉毛下垂,眯眼。 惊讶。惊讶时,下颚下垂,嘴唇和嘴巴放松,眼睛张大,眼睑和眉毛微抬。 轻蔑。轻蔑的著名特征就是嘴角一侧抬起,作讥笑或得意笑状。只要捕获聊天者这些面部特征的变化,即可判断出聊天者的当前心情。并且根据:人种、性别、年龄进行分类,因为,不同人种、性别和年龄的人,表达表情时的面部特征肯定不同。例如,很多白种人在表达相同情感时,面部表情比黄种人要更为夸张,动作幅度大。此外,还可以进行表情丰富和不丰富进行区分,有人表情丰富,就像人们常说的“高兴不高兴都挂在脸上”,而有的人则相对表情单一,仅能通过局部细微的变化,才能扑捉到他真实的心理。根据聊天者的历史聊天记录,机器人可以给聊天者进行一定的分类:表情丰富或表情不丰富。从而采用不同的判断策略,以提高判断的准确性。
2)通过图像采集装置定期收集聊天者的数字图像;此即通过摄像头等设备,在聊天的同时,实时采集聊天者的图像,主要包括面部表情,肩部动作、头部动作和手部动作。肩部动作包括耸肩等常见动作;头部动作包括点头、摇头等常见动作;手部动作包括摆手、挥手、下压、抬手等常见动作。
3)从数字图像中识别聊天者的五官,统计聊天者面部特征,面部特征包括:眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径;
4)根据聊天者面部特征,从人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。
5)根据聊天内容获得聊天主题,并以当前聊天者的语言和表情为依据,判断聊天者对当前聊天主题的真实态度。例如,聊天机器人在陈述某件事实时,聊天者回复“不可能吧?”,聊天机器人则可以通过其表情来加以佐证,聊天者表情惊讶,表明其可能已经接受这个事实;如果聊天者表情轻蔑,显示他并不认可这个事实。
6)根据步骤5)中得到的聊天者对当前聊天主题的真实态度调整聊天的策略:改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格,以适应聊天者,使得聊天者获得相对较为愉悦的聊天体验。毕竟,聊天机器人只是一个陪人聊天的工具,而非真实的人,没有必要和聊天者进行争辩等聊天内容,一个相对倾向于聊天者的观点和主张,更容易让聊天者获得愉悦的聊天感受。其中,步骤2-6)是聊天机器人在聊天过程中,随聊天的进度而反复使用的过程。
以上所述,仅为本发明的具体实施方式。本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。
Claims (7)
1.一种应用于聊天机器人的情绪判断方法,其包括采集人脸数字图像的图像采集装置,其特征在于:其包括以下步骤:
1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;
2)通过所述图像采集装置定期收集聊天者的数字图像;
3)从所述数字图像中识别聊天者的五官,统计聊天者面部特征;
4)根据聊天者面部特征,从所述人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。
2.根据权利要求1所述的应用于聊天机器人的情绪判断方法,其特征在于:所述步骤1)中存储人脸以下表情中的面部特征:无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑。
3.根据权利要求2所述的应用于聊天机器人的情绪判断方法,其特征在于:所述步骤1)中按以下栏位存储人脸不同表情中的面部特征:人种、性别、年龄。
4.根据权利要求3所述的应用于聊天机器人的情绪判断方法,其特征在于:所述面部特征包括:眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。
5.根据权利要求4所述的应用于聊天机器人的情绪判断方法,其特征在于:所述步骤3)中,还包括从所述数字图像中识别获取聊天者头部动作、双肩动作和手部动作。
6.根据权利要求5所述的应用于聊天机器人的情绪判断方法,其特征在于:还包括以下步骤:
5)根据聊天内容获得聊天主题,并以当前聊天者的语言和表情为依据,判断聊天者对当前聊天主题的真实态度。
7.根据权利要求6所述的应用于聊天机器人的情绪判断方法,其特征在于:还包括以下步骤:
6)根据步骤5)中得到的聊天者对当前聊天主题的真实态度调整聊天的策略:改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410312835.0A CN104091153A (zh) | 2014-07-03 | 2014-07-03 | 应用于聊天机器人的情绪判断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410312835.0A CN104091153A (zh) | 2014-07-03 | 2014-07-03 | 应用于聊天机器人的情绪判断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104091153A true CN104091153A (zh) | 2014-10-08 |
Family
ID=51638868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410312835.0A Pending CN104091153A (zh) | 2014-07-03 | 2014-07-03 | 应用于聊天机器人的情绪判断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104091153A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104644189A (zh) * | 2015-03-04 | 2015-05-27 | 刘镇江 | 一种心理活动的分析方法 |
CN104700094A (zh) * | 2015-03-31 | 2015-06-10 | 江苏久祥汽车电器集团有限公司 | 一种用于智能机器人的人脸识别方法及*** |
CN105049249A (zh) * | 2015-07-09 | 2015-11-11 | 中山大学 | 一种远程可视会话服务的评分方法及*** |
CN105184058A (zh) * | 2015-08-17 | 2015-12-23 | 李泉生 | 一种悄悄话机器人 |
CN105893771A (zh) * | 2016-04-15 | 2016-08-24 | 北京搜狗科技发展有限公司 | 一种信息服务方法和装置、一种用于信息服务的装置 |
CN106372604A (zh) * | 2016-08-31 | 2017-02-01 | 北京光年无限科技有限公司 | 智能机器人检测负面情绪的方法及*** |
CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及*** |
CN106695843A (zh) * | 2017-03-22 | 2017-05-24 | 海南职业技术学院 | 一种互动的仿人面部表情的机器人 |
CN106909896A (zh) * | 2017-02-17 | 2017-06-30 | 竹间智能科技(上海)有限公司 | 基于人物性格与人际关系识别的人机交互***及工作方法 |
CN106985137A (zh) * | 2017-03-09 | 2017-07-28 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及*** |
CN107437052A (zh) * | 2016-05-27 | 2017-12-05 | 深圳市珍爱网信息技术有限公司 | 基于微表情识别的相亲满意度计算方法和*** |
WO2017219450A1 (zh) * | 2016-06-21 | 2017-12-28 | 中兴通讯股份有限公司 | 一种信息处理方法、装置及移动终端 |
CN107924482A (zh) * | 2015-06-17 | 2018-04-17 | 情感爱思比株式会社 | 情感控制***、***及程序 |
CN107943974A (zh) * | 2017-11-28 | 2018-04-20 | 合肥工业大学 | 考虑情感的自动会话方法和*** |
CN108009490A (zh) * | 2017-11-29 | 2018-05-08 | 宁波高新区锦众信息科技有限公司 | 一种基于识别情绪的聊天机器人***及该***的判断方法 |
CN108153169A (zh) * | 2017-12-07 | 2018-06-12 | 北京康力优蓝机器人科技有限公司 | 导览模式切换方法、***和导览机器人 |
CN109598217A (zh) * | 2018-11-23 | 2019-04-09 | 南京亨视通信息技术有限公司 | 一种人体面部微表情分析研判的*** |
CN110046580A (zh) * | 2019-04-16 | 2019-07-23 | 广州大学 | 一种基于情绪识别的人机交互方法及*** |
CN110121026A (zh) * | 2019-04-24 | 2019-08-13 | 深圳传音控股股份有限公司 | 智能拍摄设备及其基于生物特征识别的场景生成方法 |
WO2020087534A1 (en) * | 2018-11-02 | 2020-05-07 | Microsoft Technology Licensing, Llc | Generating response in conversation |
CN111327772A (zh) * | 2020-02-25 | 2020-06-23 | 广州腾讯科技有限公司 | 进行自动语音应答处理的方法、装置、设备及存储介质 |
CN111696537A (zh) * | 2020-06-05 | 2020-09-22 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
CN111696536A (zh) * | 2020-06-05 | 2020-09-22 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
CN111696538A (zh) * | 2020-06-05 | 2020-09-22 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
US10832002B2 (en) | 2018-05-08 | 2020-11-10 | International Business Machines Corporation | System and method for scoring performance of chatbots |
US10838967B2 (en) | 2017-06-08 | 2020-11-17 | Microsoft Technology Licensing, Llc | Emotional intelligence for a conversational chatbot |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100189358A1 (en) * | 2007-06-18 | 2010-07-29 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的***及方法 |
CN103246879A (zh) * | 2013-05-13 | 2013-08-14 | 苏州福丰科技有限公司 | 一种基于表情识别的智能机器人*** |
-
2014
- 2014-07-03 CN CN201410312835.0A patent/CN104091153A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100189358A1 (en) * | 2007-06-18 | 2010-07-29 | Canon Kabushiki Kaisha | Facial expression recognition apparatus and method, and image capturing apparatus |
CN102117117A (zh) * | 2010-01-06 | 2011-07-06 | 致伸科技股份有限公司 | 利用图像提取装置辨识使用者姿势进行控制的***及方法 |
CN103246879A (zh) * | 2013-05-13 | 2013-08-14 | 苏州福丰科技有限公司 | 一种基于表情识别的智能机器人*** |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104644189A (zh) * | 2015-03-04 | 2015-05-27 | 刘镇江 | 一种心理活动的分析方法 |
CN104700094A (zh) * | 2015-03-31 | 2015-06-10 | 江苏久祥汽车电器集团有限公司 | 一种用于智能机器人的人脸识别方法及*** |
CN107924482A (zh) * | 2015-06-17 | 2018-04-17 | 情感爱思比株式会社 | 情感控制***、***及程序 |
CN105049249A (zh) * | 2015-07-09 | 2015-11-11 | 中山大学 | 一种远程可视会话服务的评分方法及*** |
CN105184058B (zh) * | 2015-08-17 | 2018-01-09 | 安溪县凤城建金产品外观设计服务中心 | 一种悄悄话机器人 |
CN105184058A (zh) * | 2015-08-17 | 2015-12-23 | 李泉生 | 一种悄悄话机器人 |
CN105893771A (zh) * | 2016-04-15 | 2016-08-24 | 北京搜狗科技发展有限公司 | 一种信息服务方法和装置、一种用于信息服务的装置 |
CN107437052A (zh) * | 2016-05-27 | 2017-12-05 | 深圳市珍爱网信息技术有限公司 | 基于微表情识别的相亲满意度计算方法和*** |
WO2017219450A1 (zh) * | 2016-06-21 | 2017-12-28 | 中兴通讯股份有限公司 | 一种信息处理方法、装置及移动终端 |
CN106372604A (zh) * | 2016-08-31 | 2017-02-01 | 北京光年无限科技有限公司 | 智能机器人检测负面情绪的方法及*** |
CN106650621A (zh) * | 2016-11-18 | 2017-05-10 | 广东技术师范学院 | 一种基于深度学习的情绪识别方法及*** |
CN106909896A (zh) * | 2017-02-17 | 2017-06-30 | 竹间智能科技(上海)有限公司 | 基于人物性格与人际关系识别的人机交互***及工作方法 |
CN106909896B (zh) * | 2017-02-17 | 2020-06-30 | 竹间智能科技(上海)有限公司 | 基于人物性格与人际关系识别的人机交互***及工作方法 |
CN106985137A (zh) * | 2017-03-09 | 2017-07-28 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及*** |
CN106695843A (zh) * | 2017-03-22 | 2017-05-24 | 海南职业技术学院 | 一种互动的仿人面部表情的机器人 |
US10838967B2 (en) | 2017-06-08 | 2020-11-17 | Microsoft Technology Licensing, Llc | Emotional intelligence for a conversational chatbot |
CN107943974A (zh) * | 2017-11-28 | 2018-04-20 | 合肥工业大学 | 考虑情感的自动会话方法和*** |
CN108009490A (zh) * | 2017-11-29 | 2018-05-08 | 宁波高新区锦众信息科技有限公司 | 一种基于识别情绪的聊天机器人***及该***的判断方法 |
CN108153169A (zh) * | 2017-12-07 | 2018-06-12 | 北京康力优蓝机器人科技有限公司 | 导览模式切换方法、***和导览机器人 |
US10832002B2 (en) | 2018-05-08 | 2020-11-10 | International Business Machines Corporation | System and method for scoring performance of chatbots |
WO2020087534A1 (en) * | 2018-11-02 | 2020-05-07 | Microsoft Technology Licensing, Llc | Generating response in conversation |
CN109598217A (zh) * | 2018-11-23 | 2019-04-09 | 南京亨视通信息技术有限公司 | 一种人体面部微表情分析研判的*** |
CN110046580A (zh) * | 2019-04-16 | 2019-07-23 | 广州大学 | 一种基于情绪识别的人机交互方法及*** |
CN110121026A (zh) * | 2019-04-24 | 2019-08-13 | 深圳传音控股股份有限公司 | 智能拍摄设备及其基于生物特征识别的场景生成方法 |
CN111327772B (zh) * | 2020-02-25 | 2021-09-17 | 广州腾讯科技有限公司 | 进行自动语音应答处理的方法、装置、设备及存储介质 |
CN111327772A (zh) * | 2020-02-25 | 2020-06-23 | 广州腾讯科技有限公司 | 进行自动语音应答处理的方法、装置、设备及存储介质 |
CN111696538A (zh) * | 2020-06-05 | 2020-09-22 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
CN111696536A (zh) * | 2020-06-05 | 2020-09-22 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
CN111696537A (zh) * | 2020-06-05 | 2020-09-22 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
CN111696536B (zh) * | 2020-06-05 | 2023-10-27 | 北京搜狗智能科技有限公司 | 语音处理方法、装置和介质 |
CN111696537B (zh) * | 2020-06-05 | 2023-10-31 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
CN111696538B (zh) * | 2020-06-05 | 2023-10-31 | 北京搜狗科技发展有限公司 | 语音处理方法、装置和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104091153A (zh) | 应用于聊天机器人的情绪判断方法 | |
CN108009490A (zh) | 一种基于识别情绪的聊天机器人***及该***的判断方法 | |
CN107480622A (zh) | 微表情识别方法、装置及存储介质 | |
CN107894833A (zh) | 基于虚拟人的多模态交互处理方法及*** | |
CN106909896A (zh) | 基于人物性格与人际关系识别的人机交互***及工作方法 | |
CN108062546A (zh) | 一种计算机人脸情绪识别*** | |
CN107437052A (zh) | 基于微表情识别的相亲满意度计算方法和*** | |
CN107169455A (zh) | 基于深度局部特征的人脸属性识别方法 | |
CN108803874A (zh) | 一种基于机器视觉的人机行为交互方法 | |
CN105049249A (zh) | 一种远程可视会话服务的评分方法及*** | |
EP4073682B1 (en) | Generating videos, which include modified facial images | |
KR100988323B1 (ko) | 표정 증폭을 이용한 미세 표정인식 방법 및 장치 | |
Lutzenberger | Manual and nonmanual features of name signs in Kata Kolok and Sign Language of the Netherlands | |
CN105797374A (zh) | 一种配合脸部表情跟随发出相应语音的方法和终端 | |
Savadi et al. | Face based automatic human emotion recognition | |
CN116935480B (zh) | 一种情绪识别方法及装置 | |
Suja et al. | Pose invariant method for emotion recognition from 3D images | |
KR100515798B1 (ko) | 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법 | |
KR102229056B1 (ko) | 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체 | |
CN105797375A (zh) | 一种跟随用户脸部表情改变角色模型表情的方法和终端 | |
Lee | Detection and recognition of facial emotion using bezier curves | |
CN116503841A (zh) | 一种心理健康智能情绪识别方法 | |
CN108958488A (zh) | 一种人脸指令识别方法 | |
Wei et al. | 3D facial expression recognition based on Kinect | |
CN108399358A (zh) | 一种在视频聊天的表情显示方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141008 |
|
RJ01 | Rejection of invention patent application after publication |