CN104091153A - 应用于聊天机器人的情绪判断方法 - Google Patents

应用于聊天机器人的情绪判断方法 Download PDF

Info

Publication number
CN104091153A
CN104091153A CN201410312835.0A CN201410312835A CN104091153A CN 104091153 A CN104091153 A CN 104091153A CN 201410312835 A CN201410312835 A CN 201410312835A CN 104091153 A CN104091153 A CN 104091153A
Authority
CN
China
Prior art keywords
chat
person
chatting
face
judgment method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410312835.0A
Other languages
English (en)
Inventor
赵展
魏雯
王勤
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Vocational Institute of Industrial Technology
Original Assignee
Suzhou Vocational Institute of Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vocational Institute of Industrial Technology filed Critical Suzhou Vocational Institute of Industrial Technology
Priority to CN201410312835.0A priority Critical patent/CN104091153A/zh
Publication of CN104091153A publication Critical patent/CN104091153A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明提供一种应用于聊天机器人的情绪判断方法,其包括采集人脸数字图像的图像采集装置,其特征在于:其包括以下步骤:1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;2)通过所述图像采集装置定期收集聊天者的数字图像;3)从所述数字图像中识别聊天者的五官,统计聊天者面部特征;4)根据聊天者面部特征,从所述人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。本发明提供一种应用于聊天机器人的情绪判断方法,其充分运用人脸识别技术、心理学知识,通过判断聊天者的真实含义,从而调整聊天内容,使得聊天者获得接近真实的聊天感受,从而极大提高聊天机器人的真实感、准确性。

Description

应用于聊天机器人的情绪判断方法
技术领域
本发明涉及一种信息技术,尤其是应用于聊天机器人的识别谈话对象情绪的方法。
背景技术
聊天机器人是一种通过人工智能技术识别文字语意,并合理选择答案,到达于模拟真人聊天目的的机器人(软件),如最近网络爆炒的微信平台的“微软小冰”。目前,聊天机器人的开发都集中在提高识别对方的语意,选择合理的答案的阶段,相关的研究很多,其还仅限于双方的文字沟通。然而实际上的语言沟通,绝非局限于语言,还包括表情、肢体动作等。相同的语言,配以不同的表情和语气,其可能表达完全相反的含义。比如,某人说“你请我吃饭?”,配以一个不屑一顾的表情,可能表明的是拒绝,而配以惊喜的表情,这显然是接受。聊天机器人的发展趋势应当是综合这些相关内容,到达一个尽可能真实、可信的沟通过程,使得聊天者产生和真人聊天的“错觉”。
 
发明内容
针对上述问题,本发明提供一种真实感强、判断准确的应用于聊天机器人的情绪判断方法。
本发明提供一种应用于聊天机器人的情绪判断方法,其包括采集人脸数字图像的图像采集装置,其特征在于:其包括以下步骤:
1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;
2)通过所述图像采集装置定期收集聊天者的数字图像;
3)从所述数字图像中识别聊天者的五官,统计聊天者面部特征;
4)根据聊天者面部特征,从所述人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。
优选的,所述步骤1)中存储人脸以下表情中的面部特征:无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑。
优选的,所述步骤1)中按以下栏位存储人脸不同表情中的面部特征:人种、性别、年龄。
优选的,所述面部特征包括:眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。
优选的,所述步骤3)中,还包括从所述数字图像中识别获取聊天者头部动作、双肩动作和手部动作。
优选的,还包括以下步骤:
5)根据聊天内容获得聊天主题,并以当前聊天者的语言和表情为依据,判断聊天者对当前聊天主题的真实态度。
优选的,还包括以下步骤:
6)根据步骤5)中得到的聊天者对当前聊天主题的真实态度调整聊天的策略:改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格。
本发明针对现有技术中的不足,提供一种真实感强、判断准确的应用于聊天机器人的情绪判断方法。其充分运用目前业已成熟的人脸识别技术、心理学常识等,通过不断判断聊天者的真实含义,从而调整聊天内容,使得聊天者获得接近真实的聊天感受,从而极大提高聊天机器人的真实感、准确性。本发明不仅可以用于聊天机器人,同样也可以应用于机器人、安全监控设备等。
 
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,并使本发明的上述目的、特征和优点能够更加明显易懂,下面结合实施例及实施例附图对本发明作进一步详细的说明。
如图1所示,本发明的一种应用于聊天机器人的情绪判断方法,包括以下步骤:
1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;主要包括:无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑等常见表情。各种表情都会有对应的面部特征,例如:· 伤心。面部特征包括眯眼,眉毛收紧,嘴角下拉,下巴抬起或收紧。害怕。害怕时,嘴巴和眼睛张开,眉毛上扬,鼻孔张大。愤怒。这时眉毛下垂,前额紧皱,眼睑和嘴唇紧张。 厌恶。厌恶的表情包括嗤鼻,上嘴唇上抬,眉毛下垂,眯眼。 惊讶。惊讶时,下颚下垂,嘴唇和嘴巴放松,眼睛张大,眼睑和眉毛微抬。 轻蔑。轻蔑的著名特征就是嘴角一侧抬起,作讥笑或得意笑状。只要捕获聊天者这些面部特征的变化,即可判断出聊天者的当前心情。并且根据:人种、性别、年龄进行分类,因为,不同人种、性别和年龄的人,表达表情时的面部特征肯定不同。例如,很多白种人在表达相同情感时,面部表情比黄种人要更为夸张,动作幅度大。此外,还可以进行表情丰富和不丰富进行区分,有人表情丰富,就像人们常说的“高兴不高兴都挂在脸上”,而有的人则相对表情单一,仅能通过局部细微的变化,才能扑捉到他真实的心理。根据聊天者的历史聊天记录,机器人可以给聊天者进行一定的分类:表情丰富或表情不丰富。从而采用不同的判断策略,以提高判断的准确性。
2)通过图像采集装置定期收集聊天者的数字图像;此即通过摄像头等设备,在聊天的同时,实时采集聊天者的图像,主要包括面部表情,肩部动作、头部动作和手部动作。肩部动作包括耸肩等常见动作;头部动作包括点头、摇头等常见动作;手部动作包括摆手、挥手、下压、抬手等常见动作。
3)从数字图像中识别聊天者的五官,统计聊天者面部特征,面部特征包括:眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径;
4)根据聊天者面部特征,从人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。
5)根据聊天内容获得聊天主题,并以当前聊天者的语言和表情为依据,判断聊天者对当前聊天主题的真实态度。例如,聊天机器人在陈述某件事实时,聊天者回复“不可能吧?”,聊天机器人则可以通过其表情来加以佐证,聊天者表情惊讶,表明其可能已经接受这个事实;如果聊天者表情轻蔑,显示他并不认可这个事实。
6)根据步骤5)中得到的聊天者对当前聊天主题的真实态度调整聊天的策略:改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格,以适应聊天者,使得聊天者获得相对较为愉悦的聊天体验。毕竟,聊天机器人只是一个陪人聊天的工具,而非真实的人,没有必要和聊天者进行争辩等聊天内容,一个相对倾向于聊天者的观点和主张,更容易让聊天者获得愉悦的聊天感受。其中,步骤2-6)是聊天机器人在聊天过程中,随聊天的进度而反复使用的过程。
以上所述,仅为本发明的具体实施方式。本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求所界定的保护范围为准。

Claims (7)

1.一种应用于聊天机器人的情绪判断方法,其包括采集人脸数字图像的图像采集装置,其特征在于:其包括以下步骤:
1)建立人脸表情数据库,存储人脸在不同表情下的面部特征;
2)通过所述图像采集装置定期收集聊天者的数字图像;
3)从所述数字图像中识别聊天者的五官,统计聊天者面部特征;
4)根据聊天者面部特征,从所述人脸表情数据库中获得和上述位置关系对应的表情,作为聊天者的表情。
2.根据权利要求1所述的应用于聊天机器人的情绪判断方法,其特征在于:所述步骤1)中存储人脸以下表情中的面部特征:无表情、快乐、哀伤、焦虑、愤怒、忧愁、厌恶、惊讶、轻蔑。
3.根据权利要求2所述的应用于聊天机器人的情绪判断方法,其特征在于:所述步骤1)中按以下栏位存储人脸不同表情中的面部特征:人种、性别、年龄。
4.根据权利要求3所述的应用于聊天机器人的情绪判断方法,其特征在于:所述面部特征包括:眉毛方向、两个眉毛之间的距离、眼睛大小、瞳孔大小、两嘴角角度、嘴巴大小、上下嘴唇形状、鼻孔直径。
5.根据权利要求4所述的应用于聊天机器人的情绪判断方法,其特征在于:所述步骤3)中,还包括从所述数字图像中识别获取聊天者头部动作、双肩动作和手部动作。
6.根据权利要求5所述的应用于聊天机器人的情绪判断方法,其特征在于:还包括以下步骤:
5)根据聊天内容获得聊天主题,并以当前聊天者的语言和表情为依据,判断聊天者对当前聊天主题的真实态度。
7.根据权利要求6所述的应用于聊天机器人的情绪判断方法,其特征在于:还包括以下步骤:
6)根据步骤5)中得到的聊天者对当前聊天主题的真实态度调整聊天的策略:改变聊天主题、修正机器人对聊天主题的观点、调整机器人的语言风格。
CN201410312835.0A 2014-07-03 2014-07-03 应用于聊天机器人的情绪判断方法 Pending CN104091153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410312835.0A CN104091153A (zh) 2014-07-03 2014-07-03 应用于聊天机器人的情绪判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410312835.0A CN104091153A (zh) 2014-07-03 2014-07-03 应用于聊天机器人的情绪判断方法

Publications (1)

Publication Number Publication Date
CN104091153A true CN104091153A (zh) 2014-10-08

Family

ID=51638868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410312835.0A Pending CN104091153A (zh) 2014-07-03 2014-07-03 应用于聊天机器人的情绪判断方法

Country Status (1)

Country Link
CN (1) CN104091153A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104644189A (zh) * 2015-03-04 2015-05-27 刘镇江 一种心理活动的分析方法
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及***
CN105049249A (zh) * 2015-07-09 2015-11-11 中山大学 一种远程可视会话服务的评分方法及***
CN105184058A (zh) * 2015-08-17 2015-12-23 李泉生 一种悄悄话机器人
CN105893771A (zh) * 2016-04-15 2016-08-24 北京搜狗科技发展有限公司 一种信息服务方法和装置、一种用于信息服务的装置
CN106372604A (zh) * 2016-08-31 2017-02-01 北京光年无限科技有限公司 智能机器人检测负面情绪的方法及***
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及***
CN106695843A (zh) * 2017-03-22 2017-05-24 海南职业技术学院 一种互动的仿人面部表情的机器人
CN106909896A (zh) * 2017-02-17 2017-06-30 竹间智能科技(上海)有限公司 基于人物性格与人际关系识别的人机交互***及工作方法
CN106985137A (zh) * 2017-03-09 2017-07-28 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及***
CN107437052A (zh) * 2016-05-27 2017-12-05 深圳市珍爱网信息技术有限公司 基于微表情识别的相亲满意度计算方法和***
WO2017219450A1 (zh) * 2016-06-21 2017-12-28 中兴通讯股份有限公司 一种信息处理方法、装置及移动终端
CN107924482A (zh) * 2015-06-17 2018-04-17 情感爱思比株式会社 情感控制***、***及程序
CN107943974A (zh) * 2017-11-28 2018-04-20 合肥工业大学 考虑情感的自动会话方法和***
CN108009490A (zh) * 2017-11-29 2018-05-08 宁波高新区锦众信息科技有限公司 一种基于识别情绪的聊天机器人***及该***的判断方法
CN108153169A (zh) * 2017-12-07 2018-06-12 北京康力优蓝机器人科技有限公司 导览模式切换方法、***和导览机器人
CN109598217A (zh) * 2018-11-23 2019-04-09 南京亨视通信息技术有限公司 一种人体面部微表情分析研判的***
CN110046580A (zh) * 2019-04-16 2019-07-23 广州大学 一种基于情绪识别的人机交互方法及***
CN110121026A (zh) * 2019-04-24 2019-08-13 深圳传音控股股份有限公司 智能拍摄设备及其基于生物特征识别的场景生成方法
WO2020087534A1 (en) * 2018-11-02 2020-05-07 Microsoft Technology Licensing, Llc Generating response in conversation
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111696537A (zh) * 2020-06-05 2020-09-22 北京搜狗科技发展有限公司 语音处理方法、装置和介质
CN111696536A (zh) * 2020-06-05 2020-09-22 北京搜狗科技发展有限公司 语音处理方法、装置和介质
CN111696538A (zh) * 2020-06-05 2020-09-22 北京搜狗科技发展有限公司 语音处理方法、装置和介质
US10832002B2 (en) 2018-05-08 2020-11-10 International Business Machines Corporation System and method for scoring performance of chatbots
US10838967B2 (en) 2017-06-08 2020-11-17 Microsoft Technology Licensing, Llc Emotional intelligence for a conversational chatbot

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189358A1 (en) * 2007-06-18 2010-07-29 Canon Kabushiki Kaisha Facial expression recognition apparatus and method, and image capturing apparatus
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的***及方法
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100189358A1 (en) * 2007-06-18 2010-07-29 Canon Kabushiki Kaisha Facial expression recognition apparatus and method, and image capturing apparatus
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的***及方法
CN103246879A (zh) * 2013-05-13 2013-08-14 苏州福丰科技有限公司 一种基于表情识别的智能机器人***

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104644189A (zh) * 2015-03-04 2015-05-27 刘镇江 一种心理活动的分析方法
CN104700094A (zh) * 2015-03-31 2015-06-10 江苏久祥汽车电器集团有限公司 一种用于智能机器人的人脸识别方法及***
CN107924482A (zh) * 2015-06-17 2018-04-17 情感爱思比株式会社 情感控制***、***及程序
CN105049249A (zh) * 2015-07-09 2015-11-11 中山大学 一种远程可视会话服务的评分方法及***
CN105184058B (zh) * 2015-08-17 2018-01-09 安溪县凤城建金产品外观设计服务中心 一种悄悄话机器人
CN105184058A (zh) * 2015-08-17 2015-12-23 李泉生 一种悄悄话机器人
CN105893771A (zh) * 2016-04-15 2016-08-24 北京搜狗科技发展有限公司 一种信息服务方法和装置、一种用于信息服务的装置
CN107437052A (zh) * 2016-05-27 2017-12-05 深圳市珍爱网信息技术有限公司 基于微表情识别的相亲满意度计算方法和***
WO2017219450A1 (zh) * 2016-06-21 2017-12-28 中兴通讯股份有限公司 一种信息处理方法、装置及移动终端
CN106372604A (zh) * 2016-08-31 2017-02-01 北京光年无限科技有限公司 智能机器人检测负面情绪的方法及***
CN106650621A (zh) * 2016-11-18 2017-05-10 广东技术师范学院 一种基于深度学习的情绪识别方法及***
CN106909896A (zh) * 2017-02-17 2017-06-30 竹间智能科技(上海)有限公司 基于人物性格与人际关系识别的人机交互***及工作方法
CN106909896B (zh) * 2017-02-17 2020-06-30 竹间智能科技(上海)有限公司 基于人物性格与人际关系识别的人机交互***及工作方法
CN106985137A (zh) * 2017-03-09 2017-07-28 北京光年无限科技有限公司 用于智能机器人的多模态交互方法及***
CN106695843A (zh) * 2017-03-22 2017-05-24 海南职业技术学院 一种互动的仿人面部表情的机器人
US10838967B2 (en) 2017-06-08 2020-11-17 Microsoft Technology Licensing, Llc Emotional intelligence for a conversational chatbot
CN107943974A (zh) * 2017-11-28 2018-04-20 合肥工业大学 考虑情感的自动会话方法和***
CN108009490A (zh) * 2017-11-29 2018-05-08 宁波高新区锦众信息科技有限公司 一种基于识别情绪的聊天机器人***及该***的判断方法
CN108153169A (zh) * 2017-12-07 2018-06-12 北京康力优蓝机器人科技有限公司 导览模式切换方法、***和导览机器人
US10832002B2 (en) 2018-05-08 2020-11-10 International Business Machines Corporation System and method for scoring performance of chatbots
WO2020087534A1 (en) * 2018-11-02 2020-05-07 Microsoft Technology Licensing, Llc Generating response in conversation
CN109598217A (zh) * 2018-11-23 2019-04-09 南京亨视通信息技术有限公司 一种人体面部微表情分析研判的***
CN110046580A (zh) * 2019-04-16 2019-07-23 广州大学 一种基于情绪识别的人机交互方法及***
CN110121026A (zh) * 2019-04-24 2019-08-13 深圳传音控股股份有限公司 智能拍摄设备及其基于生物特征识别的场景生成方法
CN111327772B (zh) * 2020-02-25 2021-09-17 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111327772A (zh) * 2020-02-25 2020-06-23 广州腾讯科技有限公司 进行自动语音应答处理的方法、装置、设备及存储介质
CN111696538A (zh) * 2020-06-05 2020-09-22 北京搜狗科技发展有限公司 语音处理方法、装置和介质
CN111696536A (zh) * 2020-06-05 2020-09-22 北京搜狗科技发展有限公司 语音处理方法、装置和介质
CN111696537A (zh) * 2020-06-05 2020-09-22 北京搜狗科技发展有限公司 语音处理方法、装置和介质
CN111696536B (zh) * 2020-06-05 2023-10-27 北京搜狗智能科技有限公司 语音处理方法、装置和介质
CN111696537B (zh) * 2020-06-05 2023-10-31 北京搜狗科技发展有限公司 语音处理方法、装置和介质
CN111696538B (zh) * 2020-06-05 2023-10-31 北京搜狗科技发展有限公司 语音处理方法、装置和介质

Similar Documents

Publication Publication Date Title
CN104091153A (zh) 应用于聊天机器人的情绪判断方法
CN108009490A (zh) 一种基于识别情绪的聊天机器人***及该***的判断方法
CN107480622A (zh) 微表情识别方法、装置及存储介质
CN107894833A (zh) 基于虚拟人的多模态交互处理方法及***
CN106909896A (zh) 基于人物性格与人际关系识别的人机交互***及工作方法
CN108062546A (zh) 一种计算机人脸情绪识别***
CN107437052A (zh) 基于微表情识别的相亲满意度计算方法和***
CN107169455A (zh) 基于深度局部特征的人脸属性识别方法
CN108803874A (zh) 一种基于机器视觉的人机行为交互方法
CN105049249A (zh) 一种远程可视会话服务的评分方法及***
EP4073682B1 (en) Generating videos, which include modified facial images
KR100988323B1 (ko) 표정 증폭을 이용한 미세 표정인식 방법 및 장치
Lutzenberger Manual and nonmanual features of name signs in Kata Kolok and Sign Language of the Netherlands
CN105797374A (zh) 一种配合脸部表情跟随发出相应语音的方法和终端
Savadi et al. Face based automatic human emotion recognition
CN116935480B (zh) 一种情绪识别方法及装置
Suja et al. Pose invariant method for emotion recognition from 3D images
KR100515798B1 (ko) 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
KR102229056B1 (ko) 표정 인식 모델 생성 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN105797375A (zh) 一种跟随用户脸部表情改变角色模型表情的方法和终端
Lee Detection and recognition of facial emotion using bezier curves
CN116503841A (zh) 一种心理健康智能情绪识别方法
CN108958488A (zh) 一种人脸指令识别方法
Wei et al. 3D facial expression recognition based on Kinect
CN108399358A (zh) 一种在视频聊天的表情显示方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141008

RJ01 Rejection of invention patent application after publication