CN109284713A - 一种基于摄像头采集表情数据的情绪识别分析*** - Google Patents

一种基于摄像头采集表情数据的情绪识别分析*** Download PDF

Info

Publication number
CN109284713A
CN109284713A CN201811105106.2A CN201811105106A CN109284713A CN 109284713 A CN109284713 A CN 109284713A CN 201811105106 A CN201811105106 A CN 201811105106A CN 109284713 A CN109284713 A CN 109284713A
Authority
CN
China
Prior art keywords
expression
analysis
image
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811105106.2A
Other languages
English (en)
Inventor
***
郝飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiankun Education Technology Co Ltd
Original Assignee
Shanghai Jiankun Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiankun Education Technology Co Ltd filed Critical Shanghai Jiankun Education Technology Co Ltd
Priority to CN201811105106.2A priority Critical patent/CN109284713A/zh
Publication of CN109284713A publication Critical patent/CN109284713A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于摄像头采集表情数据的情绪识别分析***，属于教育设备领域。它包括图像采集模块、情绪识别模块和分析处理模块，图像采集模块用于采集人脸图像；情绪识别模块用于人脸图像的识别和预处理、人脸表情特征的提取和人脸表情的分类；分析处理模块用于对人脸表情分类后的分析处理，并及时进行反馈，图像采集模块采集到的人脸图像，得到人脸图像数据，人脸图像数据进入情绪识别模块内依次进行人脸图像识别和预处理、人脸表情特征的提取和人脸表情的分类，分类后的数据进入分析处理。从而解决了老师对学生的学习状态存在疏漏判断的问题，对跟踪和记录每个学生的学习薄弱环节和如何针对性的对每个学生进行查漏补缺起到很大帮助。

Description

一种基于摄像头采集表情数据的情绪识别分析***
技术领域
本发明涉及一种基于摄像头采集表情数据的情绪识别分析***，属于教育设备领域。
背景技术
传统教学模式下，老师在课堂上每次要辅导一个班内几十个学生，另外再加上教学任务繁重，难免对学生的学习状态的判断有疏漏，继而对跟踪和记录每个学生的学习薄弱环节和如何针对性的对每个学生进行查漏补缺会产生影响，从而致使教学效果不佳。
发明内容
本发明所要解决的技术问题在于：提供一种基于摄像头采集表情数据的情绪识别分析***，它解决了老师对学生的学习状态存在疏漏判断的问题。
本发明所要解决的技术问题采取以下技术方案来实现：
一种基于摄像头采集表情数据的情绪识别分析***，包括图像采集模块、情绪识别模块和分析处理模块，
所述图像采集模块用于采集人脸图像；
所述情绪识别模块用于人脸图像的识别和预处理、人脸表情特征的提取和人脸表情的分类；
所述分析处理模块用于对人脸表情分类后的分析处理，分析处理后得出的结果用来判断学生注意力集中的情况，
所述图像采集模块采集到的人脸图像，得到人脸图像数据，所述人脸图像数据进入情绪识别模块内依次进行人脸图像识别和预处理、人脸表情特征的提取和人脸表情的分类，按照人脸表情中喜、怒、哀、乐进行分类，分类后的数据进入分析处理，所述分析处理后得出的结果用来判断学生注意力集中的情况。
作为优选实例，所述情绪识别模块中的人脸图像识别和预处理依次包括加载检测、图像灰化、人脸检测、表情画框和读取数据。
作为优选实例，所述人脸表情分类的方法如下：
a.接收到人脸表情所提取到的数据，分别进行喜、怒、哀、乐判断；
b.判断是喜、怒、哀、乐中的一种，就直接进行分析处理；若不是喜、怒、哀、乐中的一种，就要重新判断，直到判断出喜、怒、哀、乐中的一种，再进行分析处理。
作为优选实例，所述图像预处理采用几何归一化和直方图均衡化方法，所述表情特征提取采用PCA算法进行特征降维，所述人脸表情分类采用BP神经网络，SVM分类方法。
本发明的有益效果是：本发明提供了一种基于摄像头采集表情数据的情绪识别分析***，用于帮助老师关注班里每个孩子的学习而引起的喜、怒、哀、乐，主要采用以下方法，先用图像采集模块采集到的人脸图像，得到人脸图像数据，接着人脸图像数据进入情绪识别模块内依次进行人脸图像识别和预处理、人脸表情特征的提取和人脸表情的分类，按照人脸表情中喜、怒、哀、乐进行分类，分类后的数据进入分析处理,分析处理后得出的结果用来判断学生的注意力集中情况，根据注意力集中情况,老师更容易得知学生在学习对应知识点的学习效果，从而解决了老师对学生的学习状态存在疏漏判断的问题，对跟踪和记录每个学生的学习薄弱环节和如何针对性的对每个学生进行查漏补缺起到很大帮助。
附图说明
图1为本发明的示意图；
图2为本发明中人脸图像识别和预处理的示意图;
图3为图1中A部分的示意图。
具体实施方式
为了对本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明。
如图1-3所示，一种基于摄像头采集表情数据的情绪识别分析***，包括图像采集模块、情绪识别模块和分析处理模块，
图像采集模块用于采集人脸图像；
情绪识别模块用于人脸图像的识别和预处理、人脸表情特征的提取和人脸表情的分类；
分析处理模块用于对人脸表情分类后的分析处理，分析处理后得出的结果用来判断学生注意力集中的情况，
图像采集模块采集到的人脸图像，得到人脸图像数据，人脸图像数据进入情绪识别模块内依次进行人脸图像识别和预处理、人脸表情特征的提取和人脸表情的分类，按照人脸表情中喜、怒、哀、乐进行分类，分类后的数据进入分析处理，分析处理后得出的结果用来判断学生注意力集中的情况。
情绪识别模块中的人脸图像识别和预处理依次包括加载检测、图像灰化、人脸检测、表情画框和读取数据。
人脸表情分类的方法如下：
a.接收到人脸表情所提取到的数据，分别进行喜、怒、哀、乐判断；
b.判断是喜、怒、哀、乐中的一种，就直接进行分析处理；若不是喜、怒、哀、乐中的一种，就要重新判断，直到判断出喜、怒、哀、乐中的一种，再进行分析处理。
图像预处理采用几何归一化和直方图均衡化方法，表情特征提取采用PCA算法进行特征降维，人脸表情分类采用BP神经网络，SVM分类方法。
首先图像采集模块采集到的人脸图像，得到人脸图像数据，人脸图像数据进入情绪识别模块内首先进入人脸图像识别和预处理过程中，依次经过人脸图像识别和预处理中的加载检测、图像灰化、人脸检测、表情画框和读取数据，接着数据利用PCA算法进行人脸表情特征的提取和利用BP神经网络，SVM分类方法对人脸表情进行分类，并在分类时首先进行人脸表情分类中首先进行喜怒哀乐的判断，然后判断是喜、怒、哀、乐中的一种，就直接进行分析处理；若不是喜、怒、哀、乐中的一种，就要重新判断，直到判断出喜、怒、哀、乐中的一种，再进行分析处理，最后分析处理得出的结果用来判断学生注意力集中的情况，从而辅助老师对学生进行教学。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种基于摄像头采集表情数据的情绪识别分析***，其特征在于：包括图像采集模块、情绪识别模块和分析处理模块，
所述图像采集模块用于采集人脸图像；
所述情绪识别模块用于人脸图像的识别和预处理、人脸表情特征的提取和人脸表情的分类；
所述分析处理模块用于对人脸表情分类后的分析处理，分析处理后得出的结果用来判断学生注意力集中的情况，
所述图像采集模块采集到的人脸图像，得到人脸图像数据，所述人脸图像数据进入情绪识别模块内依次进行人脸图像识别和预处理、人脸表情特征的提取和人脸表情的分类，按照人脸表情中喜、怒、哀、乐进行分类，分类后的数据进入分析处理,所述分析处理后得出的结果用来判断学生注意力集中的情况。
2.根据权利要求1所述一种基于摄像头采集表情数据的情绪识别分析***，其特征在于：所述情绪识别模块中的人脸图像识别和预处理依次包括加载检测、图像灰化、人脸检测、表情画框和读取数据。
3.根据权利要求1所述一种基于摄像头采集表情数据的情绪识别分析***，其特征在于：所述人脸表情分类的方法如下：
A、接收到人脸表情所提取到的数据，分别进行喜、怒、哀、乐判断；
B、判断是喜、怒、哀、乐中的一种，就直接进行分析处理；若不是喜、怒、哀、乐中的一种，就要重新判断，直到判断出喜、怒、哀、乐中的一种，再进行分析处理。
4.根据权利要求1所述一种基于摄像头采集表情数据的情绪识别分析***，其特征在于：所述图像预处理采用几何归一化和直方图均衡化方法，所述表情特征提取采用PCA算法进行特征降维，所述人脸表情分类采用BP神经网络，SVM分类方法。
CN201811105106.2A 2018-09-21 2018-09-21 一种基于摄像头采集表情数据的情绪识别分析*** Pending CN109284713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811105106.2A CN109284713A (zh) 2018-09-21 2018-09-21 一种基于摄像头采集表情数据的情绪识别分析***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811105106.2A CN109284713A (zh) 2018-09-21 2018-09-21 一种基于摄像头采集表情数据的情绪识别分析***

Publications (1)

Publication Number Publication Date
CN109284713A true CN109284713A (zh) 2019-01-29

Family

ID=65181320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811105106.2A Pending CN109284713A (zh) 2018-09-21 2018-09-21 一种基于摄像头采集表情数据的情绪识别分析***

Country Status (1)

Country Link
CN (1) CN109284713A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119723A (zh) * 2019-05-17 2019-08-13 北京深醒科技有限公司 一种基于acnn进行遮挡人脸表情识别方法
CN110222623A (zh) * 2019-05-31 2019-09-10 深圳市恩钛控股有限公司 微表情研判方法和***
CN110969073A (zh) * 2019-08-23 2020-04-07 贵州大学 一种基于特征融合与bp神经网络的人脸表情识别方法
CN111178263A (zh) * 2019-12-30 2020-05-19 湖北美和易思教育科技有限公司 一种实时表情分析方法及其装置
CN111553311A (zh) * 2020-05-13 2020-08-18 吉林工程技术师范学院 一种微表情识别机器人及其控制方法
CN111956243A (zh) * 2020-08-20 2020-11-20 大连理工大学 一种用于柜台的紧张情绪评估***
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN116597497A (zh) * 2023-06-16 2023-08-15 绍兴市麦芒智能科技有限公司 一种ai识别人脸表情的数据采集分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034433A (zh) * 2007-01-12 2007-09-12 郑文明 人脸表情图像的分类及语义评判量化方法
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及***
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估***
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测***及方法
CN107767313A (zh) * 2017-05-18 2018-03-06 青岛陶知电子科技有限公司 一种带有情绪识别功能的智能互动教学***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034433A (zh) * 2007-01-12 2007-09-12 郑文明 人脸表情图像的分类及语义评判量化方法
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及***
CN107767313A (zh) * 2017-05-18 2018-03-06 青岛陶知电子科技有限公司 一种带有情绪识别功能的智能互动教学***
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估***
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测***及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119723A (zh) * 2019-05-17 2019-08-13 北京深醒科技有限公司 一种基于acnn进行遮挡人脸表情识别方法
CN110222623A (zh) * 2019-05-31 2019-09-10 深圳市恩钛控股有限公司 微表情研判方法和***
CN110969073A (zh) * 2019-08-23 2020-04-07 贵州大学 一种基于特征融合与bp神经网络的人脸表情识别方法
CN110969073B (zh) * 2019-08-23 2023-02-03 贵州大学 一种基于特征融合与bp神经网络的人脸表情识别方法
WO2021047185A1 (zh) * 2019-09-12 2021-03-18 深圳壹账通智能科技有限公司 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN111178263A (zh) * 2019-12-30 2020-05-19 湖北美和易思教育科技有限公司 一种实时表情分析方法及其装置
CN111178263B (zh) * 2019-12-30 2023-09-05 武汉美和易思数字科技有限公司 一种实时表情分析方法及其装置
CN111553311A (zh) * 2020-05-13 2020-08-18 吉林工程技术师范学院 一种微表情识别机器人及其控制方法
CN111956243A (zh) * 2020-08-20 2020-11-20 大连理工大学 一种用于柜台的紧张情绪评估***
CN116597497A (zh) * 2023-06-16 2023-08-15 绍兴市麦芒智能科技有限公司 一种ai识别人脸表情的数据采集分析方法

Similar Documents

Publication Publication Date Title
CN109284713A (zh) 一种基于摄像头采集表情数据的情绪识别分析***
US9666088B2 (en) Video-based teacher assistance
Dehghan et al. View independent vehicle make, model and color recognition using convolutional neural network
CN109740446A (zh) 课堂学生行为分析方法及装置
Saudagare et al. Facial expression recognition using neural network–An overview
CN107918821A (zh) 基于人工智能技术的教师课堂教学过程分析方法和***
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及***
CN107316261A (zh) 一种基于人脸分析的教学质量评估***
CN108121702B (zh) 数学主观题评阅方法及***
CN113657168B (zh) 基于卷积神经网络的学生学习情绪的识别方法
Bouhlal et al. Emotions recognition as innovative tool for improving students’ performance and learning approaches
CN110427977B (zh) 一种课堂互动行为的检测方法
Butko et al. Automated facial affect analysis for one-on-one tutoring applications
Setialana et al. Intelligent attendance system with face recognition using the deep convolutional neural network method
Agarwal et al. Face recognition based smart and robust attendance monitoring using deep CNN
Adewale et al. Conversion of sign language to text and speech using machine learning techniques
Koli et al. Human action recognition using deep neural networks
CN112989968A (zh) 智慧教育aiot ai智慧大脑分析平台及装置
Krishnamoorthy et al. E-Learning Platform for Hearing Impaired Students
CN114638988A (zh) 一种基于不同呈现方式的教学视频自动化分类方法及***
Ning et al. Application of psychological analysis of micro-expression recognition in teaching evaluation
Zin et al. OCR perspectives in mobile teaching and learning for early school years in basic education
CN111950472A (zh) 教师磨课测评方法及***
Dodiya et al. Attention, emotion and attendance tracker with question generation system using deep learning
Jadhav et al. Automated Attendance System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication