CN106886770A - 一种视频通讯情感分析辅助方法 - Google Patents

一种视频通讯情感分析辅助方法 Download PDF

Info

Publication number
CN106886770A
CN106886770A CN201710130178.1A CN201710130178A CN106886770A CN 106886770 A CN106886770 A CN 106886770A CN 201710130178 A CN201710130178 A CN 201710130178A CN 106886770 A CN106886770 A CN 106886770A
Authority
CN
China
Prior art keywords
analysis
image
people face
people
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710130178.1A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Rongxintong Enterprise Consultation Services Co Ltd
Original Assignee
Foshan Rongxintong Enterprise Consultation Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Rongxintong Enterprise Consultation Services Co Ltd filed Critical Foshan Rongxintong Enterprise Consultation Services Co Ltd
Priority to CN201710130178.1A priority Critical patent/CN106886770A/zh
Publication of CN106886770A publication Critical patent/CN106886770A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种视频通讯情感分析辅助方法，其通接入视频聊天软件，从视频聊天软件中的聊天窗口截取视频图像，利用网络服务器的辅助通过大数据对图像进行处理分析，建立人面模型分析患者的微表情变化和行为动态，从而分析出聊天对象的情感变化，本发明提供的方法具有可辅助分析聊天对象情感变化、促进提高交流效率的优点。

Description

一种视频通讯情感分析辅助方法
技术领域
本发明属于信息化通讯技术领域，尤其涉及一种视频通讯情感分析辅助方法。
背景技术
随着网络科技的发展，视频通讯越来越普及，越来越多的领域采用视频通讯方法，包括网络聊天、视频会议、远程教学等方面。视频通讯拉近了人与人之间的距离，若是在视频交流过程当中可以了解更多对方的情感、心理活动将会大大降低交流误会、促进人与人之间的交流。
人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。
微表情，是心理学名词。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息。“微表情”最短可持续1/25秒，虽然一个下意识的表情可能只持续一瞬间，但这种特性，很容易暴露情绪。当面部在做某个表情时，这些持续时间极短的表情会突然一闪而过，而且有时表达相反的情绪。“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。在实验里，只有10%的人察觉到。比起人们有意识做出的表情，“微表情”更能体现人们真实的感受和动机。
在人面识别的基础上再结合“微表情”的进行人面分析，利用计算机的高速捕捉和计算能力能更好地识别和分析出人的微表情变化，从而可以判断出分析对象的情绪，例如是否高兴、伤心、痛苦、失望、兴奋等。
发明内容
基于现有技术中存在的不足，本发明提供一种视频通讯情感分析辅助方法，其通接入视频聊天软件，从视频聊天软件中的聊天窗口截取视频图像，利用网络服务器的辅助通过大数据对图像进行处理分析，建立人面模型分析患者的微表情变化和行为动态，从而分析出聊天对象的情感变化，本发明提供的方法具有可辅助分析聊天对象情感变化、促进提高交流效率的优点。
一种视频通讯情感分析辅助方法，其包括以下步骤：
步骤S10图像截取，从普通视频通讯软件中截取视频画面，并随时根据颜色分析模块反馈调整视频截取的大小和截取的位置；
步骤S20图像颜色分析，将截取到的图像信息进行分析，分析图像的颜色变化，区分人面区域和背景区域，并确定人面位置，根据人面的位置调截取视频画面区域，使人面在截取到的画面正中；
步骤S30像素统计分析，对图像进行像素化，再对图像中的人面区域进行像素统计分析，对人面进行细致识别；
步骤S40标记特征点，结合人面细致识别结果和生物信息进行比对，标记出图像中人面特征点；
步骤S50建立人面模型，根据特征点和人面信息对分析对象建立人面模型，模拟人面特征点变化分析；
步骤S60情绪分析，根据人面的变化结合生物情绪行为信息和个人分析档案中的信息比对得出分析对象的瞬时情绪，将情绪分析结果反馈到通讯画面中，在通讯画面中显示分析结果；
步骤S70好友建档，调用通讯软件的好友列表信息结合人面分析结果，为每个聊天对象建立分析档案或者更新个人分析档案。
其中，所述的步骤S10图像采集能够分为步骤S11静态图像采集和步骤S12动态图像采集，步骤S11静态图像采集后执行步骤S20颜色分析，调整拍摄角度；步骤S12动态图像采集后执行步骤S30，对人面区域进行像素统计分析。
其中，所述的步骤S60中的生物情绪行为信息包括人面微表情信息和人为动作信息。
其中，所述的步骤S30像素统计分析还包括步骤S31，连接互联服务器辅助对图像进行像素统计分析计算。
其中，所述的分析方法还包括步骤S80大数据分析更新维护，执行步骤S60后对分析结果结合互联网数据进行大数据分析再次确认分析结果，并根据分析结果对生物信息数据库进行更新维护。
其中，所述的步骤S60中分析结果在通讯画面中显示的方式是弹幕或者在新建窗口显示。
具体实施方式
下面结合具体实施例对本发明作进一步的描述。
一种视频通讯情感分析辅助方法，其包括以下步骤：
步骤S10图像截取，从普通视频通讯软件中截取视频画面，并随时根据颜色分析模块反馈调整视频截取的大小和截取的位置；
步骤S20图像颜色分析，将截取到的图像信息进行分析，分析图像的颜色变化，区分人面区域和背景区域，并确定人面位置，根据人面的位置调截取视频画面区域，使人面在截取到的画面正中；
步骤S30像素统计分析，对图像进行像素化，再对图像中的人面区域进行像素统计分析，对人面进行细致识别；
步骤S40标记特征点，结合人面细致识别结果和生物信息进行比对，标记出图像中人面特征点；
步骤S50建立人面模型，根据特征点和人面信息对分析对象建立人面模型，模拟人面特征点变化分析；
步骤S60情绪分析，根据人面的变化结合生物情绪行为信息和个人分析档案中的信息比对得出分析对象的瞬时情绪，将情绪分析结果反馈到通讯画面中，在通讯画面中显示分析结果；
步骤S70好友建档，调用通讯软件的好友列表信息结合人面分析结果，为每个聊天对象建立分析档案或者更新个人分析档案。
作为优选实施例，所述的步骤S10图像采集能够分为步骤S11静态图像采集和步骤S12动态图像采集，步骤S11静态图像采集后执行步骤S20颜色分析，调整拍摄角度；步骤S12动态图像采集后执行步骤S30，对人面区域进行像素统计分析。
作为优选实施例，所述的步骤S60中的生物情绪行为信息包括人面微表情信息和人为动作信息。
作为优选实施例，所述的步骤S30像素统计分析还包括步骤S31，连接互联服务器辅助对图像进行像素统计分析计算。
作为优选实施例，所述的分析方法还包括步骤S80大数据分析更新维护，执行步骤S60后对分析结果结合互联网数据进行大数据分析再次确认分析结果，并根据分析结果对生物信息数据库进行更新维护。
作为优选实施例，所述的步骤S60中分析结果在通讯画面中显示的方式是弹幕或者在新建窗口显示。
以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种视频通讯情感分析辅助方法，其特征在于，其包括以下步骤：
步骤S10图像截取，从普通视频通讯软件中截取视频画面，并随时根据颜色分析模块反馈调整视频截取的大小和截取的位置；
步骤S20图像颜色分析，将截取到的图像信息进行分析，分析图像的颜色变化，区分人面区域和背景区域，并确定人面位置，根据人面的位置调截取视频画面区域，使人面在截取到的画面正中；
步骤S30像素统计分析，对图像进行像素化，再对图像中的人面区域进行像素统计分析，对人面进行细致识别；
步骤S40标记特征点，结合人面细致识别结果和生物信息进行比对，标记出图像中人面特征点；
步骤S50建立人面模型，根据特征点和人面信息对分析对象建立人面模型，模拟人面特征点变化分析；
步骤S60情绪分析，根据人面的变化结合生物情绪行为信息和个人分析档案中的信息比对得出分析对象的瞬时情绪，将情绪分析结果反馈到通讯画面中，在通讯画面中显示分析结果；
步骤S70好友建档，调用通讯软件的好友列表信息结合人面分析结果，为每个聊天对象建立分析档案或者更新个人分析档案。
2.根据权利要求1所述的一种视频通讯情感分析辅助方法，其特征在于，所述的步骤S10图像采集能够分为步骤S11静态图像采集和步骤S12动态图像采集，步骤S11静态图像采集后执行步骤S20颜色分析，调整拍摄角度；步骤S12动态图像采集后执行步骤S30，对人面区域进行像素统计分析。
3.根据权利要求1所述的一种视频通讯情感分析辅助方法，其特征在于，所述的步骤S60中的生物情绪行为信息包括人面微表情信息和人为动作信息。
4.根据权利要求1所述的一种视频通讯情感分析辅助方法，其特征在于，所述的步骤S30像素统计分析还包括步骤S31，连接互联服务器辅助对图像进行像素统计分析计算。
5.根据权利要求1所述的一种视频通讯情感分析辅助方法，其特征在于，所述的分析方法还包括步骤S80大数据分析更新维护，执行步骤S60后对分析结果结合互联网数据进行大数据分析再次确认分析结果，并根据分析结果对生物信息数据库进行更新维护。
6.根据权利要求1所述的一种视频通讯情感分析辅助方法，其特征在于，所述的步骤S60中分析结果在通讯画面中显示的方式是弹幕或者在新建窗口显示。
CN201710130178.1A 2017-03-07 2017-03-07 一种视频通讯情感分析辅助方法 Pending CN106886770A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710130178.1A CN106886770A (zh) 2017-03-07 2017-03-07 一种视频通讯情感分析辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710130178.1A CN106886770A (zh) 2017-03-07 2017-03-07 一种视频通讯情感分析辅助方法

Publications (1)

Publication Number Publication Date
CN106886770A true CN106886770A (zh) 2017-06-23

Family

ID=59179235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710130178.1A Pending CN106886770A (zh) 2017-03-07 2017-03-07 一种视频通讯情感分析辅助方法

Country Status (1)

Country Link
CN (1) CN106886770A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446907A (zh) * 2018-09-26 2019-03-08 百度在线网络技术（北京）有限公司 一种视频聊天的方法、装置、设备和计算机存储介质
CN112487904A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 一种基于大数据分析的视频图像处理方法及***
WO2022156084A1 (zh) * 2021-01-22 2022-07-28 平安科技（深圳）有限公司 基于人脸和交互文本的目标对象行为预测方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365867A (zh) * 2012-03-29 2013-10-23 腾讯科技（深圳）有限公司 一种对用户评价进行情感分析的方法和装置
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互***及方法
CN104601870A (zh) * 2015-02-15 2015-05-06 广东欧珀移动通信有限公司 一种旋转摄像头的拍摄方法及移动终端
CN105847735A (zh) * 2016-03-30 2016-08-10 宁波三博电子科技有限公司 一种基于人脸识别的即时弹幕视频通信方法及***
CN105959612A (zh) * 2016-04-22 2016-09-21 惠州Tcl移动通信有限公司 一种移动终端视频通讯中画面角度自动修正方法及***
CN106331890A (zh) * 2015-06-24 2017-01-11 中兴通讯股份有限公司 视频通讯图像的处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365867A (zh) * 2012-03-29 2013-10-23 腾讯科技（深圳）有限公司 一种对用户评价进行情感分析的方法和装置
CN103488293A (zh) * 2013-09-12 2014-01-01 北京航空航天大学 一种基于表情识别的人机情感交互***及方法
CN104601870A (zh) * 2015-02-15 2015-05-06 广东欧珀移动通信有限公司 一种旋转摄像头的拍摄方法及移动终端
CN106331890A (zh) * 2015-06-24 2017-01-11 中兴通讯股份有限公司 视频通讯图像的处理方法及装置
CN105847735A (zh) * 2016-03-30 2016-08-10 宁波三博电子科技有限公司 一种基于人脸识别的即时弹幕视频通信方法及***
CN105959612A (zh) * 2016-04-22 2016-09-21 惠州Tcl移动通信有限公司 一种移动终端视频通讯中画面角度自动修正方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446907A (zh) * 2018-09-26 2019-03-08 百度在线网络技术（北京）有限公司 一种视频聊天的方法、装置、设备和计算机存储介质
CN112487904A (zh) * 2020-11-23 2021-03-12 成都尽知致远科技有限公司 一种基于大数据分析的视频图像处理方法及***
WO2022156084A1 (zh) * 2021-01-22 2022-07-28 平安科技（深圳）有限公司 基于人脸和交互文本的目标对象行为预测方法及相关设备

Similar Documents

Publication Publication Date Title
CN107066983A (zh) 一种身份验证方法及装置
CN106909907A (zh) 一种视频通讯情感分析辅助***
CN108805009A (zh) 基于多模态信息融合的课堂学习状态监测方法及***
US20140341442A1 (en) Image masks for face-related selection and processing in images
Lüsi et al. Joint challenge on dominant and complementary emotion recognition using micro emotion features and head-pose estimation: Databases
JP2019530041A (ja) 検索クエリに基づいたソース画像の顔とターゲット画像との結合
CN111523473A (zh) 口罩佩戴识别方法、装置、设备和可读存储介质
CN106886770A (zh) 一种视频通讯情感分析辅助方法
DE112012000853T5 (de) Entdeckung, Erkennung und Bookmarking von Gesichtern in Videos
CN110674664A (zh) 视觉注意力的识别方法及***、存储介质、处理器
US20220262163A1 (en) Method of face anti-spoofing, device, and storage medium
CN111523476A (zh) 口罩佩戴识别方法、装置、设备和可读存储介质
CN110135282A (zh) 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
Jongerius et al. Eye-tracking glasses in face-to-face interactions: Manual versus automated assessment of areas-of-interest
Mancini et al. Computing and evaluating the body laughter index
CN106033539A (zh) 一种基于视频人脸识别的会议引导方法及***
CN106920074A (zh) 一种具有心理辅助判断的远程面试方法
CN111444389A (zh) 一种基于目标检测的会议视频分析方法及***
CN111666829A (zh) 多场景多主体身份行为情绪识别分析方法及智能监管***
Chen et al. A region group adaptive attention model for subtle expression recognition
CN106875534A (zh) 一种智能化医院自助挂号***
JP2018077766A5 (zh)
US11699162B2 (en) System and method for generating a modified design creative
CN106919924A (zh) 一种基于人面识别的情绪分析***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170623

WD01 Invention patent application deemed withdrawn after publication