CN112990030A - 一种基于表情图像的学生情绪分析*** - Google Patents

一种基于表情图像的学生情绪分析*** Download PDF

Info

Publication number
CN112990030A
CN112990030A CN202110308529.XA CN202110308529A CN112990030A CN 112990030 A CN112990030 A CN 112990030A CN 202110308529 A CN202110308529 A CN 202110308529A CN 112990030 A CN112990030 A CN 112990030A
Authority
CN
China
Prior art keywords
student
trunk
students
face
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110308529.XA
Other languages
English (en)
Other versions
CN112990030B (zh
Inventor
范逸非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Lingjun Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110308529.XA priority Critical patent/CN112990030B/zh
Publication of CN112990030A publication Critical patent/CN112990030A/zh
Application granted granted Critical
Publication of CN112990030B publication Critical patent/CN112990030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于表情图像的学生情绪分析***，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块；通过图像采集模块获取学生人脸图片和学生躯干图片，并将学生人脸图片与学生躯干图片进行网格化处理，然后将网格化的学生人脸图片与学生躯干图片分别进行面部关键点标注与躯干关键点标注，形成学生人脸基准参考模型和学生行为基准参考模型，通过对学生动态脸部图片和学生的动态躯干图片进行网格化处理，并分别进行面部关键点标注和躯干关键点标注，并获取所有的面部关键点与躯干关键点的变化，从而判断学生的情绪是否平稳。

Description

一种基于表情图像的学生情绪分析***
技术领域
本发明涉及教育管理技术领域，具体为一种基于表情图像的学生情绪分析***。
背景技术
随着社会的发展，人们的物质生活越来越丰富，但是，人们的幸福感并没有因为物质生活的满足而不断提升，相反，因为社会竞争所带来的各种压力，越来越多的负面情绪出现在我们的生活之中。
而对于学生来说，在学习的过程中，情绪的变化对于学生的学习和成长都会有很大的影响，而学生的情绪变化往往会被忽略；为此，我们提出一种基于表情图像的学生情绪分析***。
发明内容
本发明的目的就在于提出一种基于表情图像的学生情绪分析***，用以解决上述背景技术中需要解决的问题。
本发明的目的通过以下技术方案实现：一种基于表情图像的学生情绪分析***，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块；
所述表情分析模块用于对学生的动态脸部照片进行分析，从而获取学生的情绪变化，具体分析过程包括以下步骤：
步骤N1：将所有学生的动态脸部照片进行网格化处理，并对学生的脸部进行面部关键点标注，同时将学生的鼻头作为第一标准点；
步骤N2：将学生的动态脸部照片上的面部关键点与人脸基准参考模型中的面部关键点进行对比；
步骤N3：对每张动态脸部照片中的面部关键点分别进行提取，以第一标准点为基准，获取每一个面部关键点与第一标准点之间的距离，并获取每一个面部关键点与第一标准点之间的距离在时间TL内的变化，并将变化过程生成相应的动态坐标曲线图，其中TL＞0；
步骤N4：将动态坐标曲线图在TL时间内的动态面积标记为Sm，将Sm代入公式Sc＝(Sm-S0)*α，获得面部关键点的波动值Sc，当Sc＞0时，则判定学生的存在情绪波动，且Sc的值越大，学生的情绪波动越大，其中S0为***预设的面部关键点参照面积；α为比例系数，且α＞0；
所述行为分析模块用于对学生的动态行为进行分析，通过学生行为的变化，从而判断学生的情绪变化，具体过程包括以下步骤：
步骤M1：将所有学生的动态躯干照片进行网格化处理，并对学生背面躯干照片和学生正面躯干照片进行躯干关键点标注，同时将学生的胸口作为第二标准点；
步骤M2：将学生的动态躯干照片上的躯干关键点与行为基准参考模型中的躯干关键点进行对比；
步骤M3：对每张动态躯干照片中的躯干关键点进行提取，获取每一个躯干关键点与第二标准点之间的距离，并获取每一个躯干关键点与第二标准点之间的距离在时间TQ内的变化，并将变化生成相应的动态坐标曲线图，其中TQ＞0；
步骤M4：将动态坐标曲线图在TL时间内的动态面积标记为Sq，将Sq代入公式Sd＝(Sq-S1)*β，获得躯干关键点的波动值Sd，当Sd＞0时，则判定学生的存在情绪波动，Sd的值越高，则表示学生的情绪波动越剧烈，其中S1为***预设的躯干关键点参照面积；β为比例系数，且β＞0。
进一步地，所述信息录入模块用于对学生的个人信息和老师的个人信息进行录入，所述学生的个人信息包括学生的姓名、学生的年龄、学生的所在班级、学生所在班级的班主任信息以及学生在教室内的座位位置，并将学生的个人信息上传至服务器内进行保存；所述老师的个人信息包括老师的姓名、老师所带科目、老师所带班级以及实名认证的手机号码，将实名认证的手机号码与***进行绑定，同时将老师的个人信息上传至服务器中进行保存。
进一步地，所述登录验证模块用于老师进行登录***，老师通过与***所绑定的实名认证的手机号码直接进行验证登录，将收集号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至***内进行登录。
进一步地，所述图像采集模块包括图像预采集单元和图像动态采集单元，所述图像预采集单元用于对学生进行标准图像采集，标准图像采集的具体过程如下：
步骤S1：采集学生人脸图片和学生躯干图片，并将学生人脸图片和学生躯干图片分别建立人脸识别模型与行为识别模型；
所述人脸识别模型的建立过程具体包括以下步骤；
步骤SS1：获取学生的正面人脸照片；
步骤SS2：将学生的正面人脸照片进行网格化处理；
步骤SS3：对进行网格化处理后的人脸照片进行面部关键点标注，将网格化处理后的人脸照片进行面部关键点的标注后，与原人脸照片进行重叠得到学生人脸模型照片，并作为学生的人脸基准参考模型，然后将人脸模型照片上传至服务器中进行保存；
所述行为识别模型的建立过程具体包括以下步骤：
步骤SS4：获取学生的正面躯干照片和背面躯干照片；
步骤SS5：将获取到的正面躯干照片和背面躯干照片进行网格化处理；
步骤SS6：分别对网格化后的学生正面躯干照片和学生背面躯干照片进行躯干关键点标注，对网格化后的学生正面躯干照片和学生背面躯干照片完成躯干关键点的标注后，将网格化处理后的学生正面躯干照片与原学生正面躯干照片进行重叠，得到学生正面躯干模型照片；将网格化处理后的学生背面躯干照片与原学生背面躯干照片进行重叠，得到学生背面躯干模型照片，并将学生正面躯干模型照片与学生背面躯干模型照片作为学生的行为基准参考模型，并将学生正面躯干模型照片与学生背面躯干模型照片上传至服务器中进行保存；
步骤S2：将步骤SS1-SS6中所获得的学生人脸模型照片、学生正面躯干照片以及学生背面躯干照片与学生的个人信息进行绑定，并形成独立的学生信息数据包；
所述图像动态采集单元用于对学生进行动态图像采集，动态图像的具体采集过程如下：
步骤S3：获取学生的动态脸部照片，记录所获取学生的动态脸部照片数量，并将学生的动态脸部照片数量标记为NL；
步骤S4：记录获取到NL张学生的动态脸部照片所花费的时间TL；
步骤S5：将步骤S3-S4所获得的数据上传至表情分析模块；
步骤S6：获取学生的动态躯干照片，记录所获取学生的动态躯干照片数量，并将学生的动态躯干照片数量标记为NQ；
步骤S7：记录获取到NQ张学生的动态躯干照片所花费的时间TQ；
步骤S8：将步骤S6-S7获得的数据上传至行为分析模块。
进一步地，所述人脸识别模块用于对图像动态采集单元所获取到的学生的动态脸部照片进行识别，通过识别学生的动态脸部照片，从而将学生的动态脸部照片与学生的个人信息进行匹配。
进一步地，所述查询模块用于老师对学生的情况进行查询，老师通过登录验证模块登录进入***后，在查询模块内选择相应的时间段和学生信息，进而查询该学生在所选择时间段内的情绪变化情况。
进一步地，所述基于表情图像的学生情绪分析***的工作方法具体包括以下步骤：
第一步：通过信息录入模块对学生的个人信息和老师的个人信息进行录入，并将学生的个人信息和老师的个人信息上传至服务器内进行保存；老师通过与***所绑定的实名认证的手机号码直接进行验证登录，将手机号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至***内进行登录；
第二步：通过图像采集模块获取学生的脸部照片与躯干照片，通过图像预采集单元对学生进行标准图像采集，通过获取学生的人脸照片，将学生的人脸照片进行网格化处理，并对网格化处理后的人脸照片中的面部关键点进行标注，进而获得学生的人脸基准参考模型；同时获取学生的躯干照片，将学生的躯干照片进行网格化处理后，对网格化处理后的躯干照片中的躯干关键点进行标注，进而获得学生的行为基准参考模型；通过图像动态采集单元获取学生的动态脸部照片和学生的动态躯干照片，然后将采集到的学生的动态脸部照片与学生的动态躯干照片分别上传至表情分析模块和行为分析模块中；
通过表情分析模块对学生的动态脸部照片进行分析，从而获得学生的面部关键点与第一标准点之间的距离变化，面部关键点与第一标准点之间的距离变化越大，则表示学生的情绪越不稳定，面部关键点与第一标准点之间的距离变化越小，则学生的情绪越稳定；同时通过行为分析模块对学生的动态躯干照片进行分析，从而获得学生的躯干关键点与第二标准点之间的距离变化，躯干关键点与第二标准点之间的距离变化越大，学生的情绪越不稳定，躯躯干关键点与第二标准点之间的距离变化越小，则学生的情绪越稳定。
与现有技术相比，本发明的有益效果是：一种基于表情图像的学生情绪分析***设置有表情分析模块与行为分析模块，通过图像采集模块对学生进行标准图像采集，获取学生人脸图片和学生躯干图片，并将学生人脸图片与学生躯干图片进行网格化处理，然后将网格化的学生人脸图片与学生躯干图片分别进行面部关键点标注与躯干关键点标注，形成学生人脸基准参考模型和学生行为基准参考模型，再通过获取学生的动态脸部图片与学生的动态躯干图片，通过对学生动态脸部图片和学生的动态躯干图片进行网格化处理，并分别进行面部关键点标注和躯干关键点标注，并获取所有的面部关键点与第一标准点之间的距离变化和躯干关键点到第二标准点之间的距离变化，从而判断学生的情绪是否平稳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于表情图像的学生情绪分析***的原理框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，一种基于表情图像的学生情绪分析***，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块块；
所述信息录入模块用于对学生的个人信息和老师的个人信息进行录入，所述学生的个人信息包括学生的姓名、学生的年龄、学生的所在班级、学生所在班级的班主任信息以及学生在教室内的座位位置，并将学生的个人信息上传至服务器内进行保存；所述老师的个人信息包括老师的姓名、老师所带科目、老师所带班级以及实名认证的手机号码，将实名认证的手机号码与***进行绑定，同时将老师的个人信息上传至服务器中进行保存。
所述登录验证模块用于老师进行登录***，老师通过与***所绑定的实名认证的手机号码直接进行验证登录，将收集号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至***内进行登录。
所述图像采集模块包括图像预采集单元和图像动态采集单元，所述图像预采集单元用于对学生进行标准图像采集，标准图像采集的具体过程如下：
步骤S1：采集学生人脸图片和学生躯干图片，并将学生人脸图片和学生躯干图片分别建立人脸识别模型与行为识别模型；
所述人脸识别模型的建立过程具体包括以下步骤；
步骤SS1：获取学生的正面人脸照片；
步骤SS2：将学生的正面人脸照片进行网格化处理；
步骤SS3：对进行网格化处理后的人脸照片进行面部关键点标注，将网格化处理后的人脸照片进行面部关键点的标注后，与原人脸照片进行重叠得到学生人脸模型照片，并作为学生的人脸基准参考模型，然后将人脸模型照片上传至服务器中进行保存；
所述行为识别模型的建立过程具体包括以下步骤：
步骤SS4：获取学生的正面躯干照片和背面躯干照片；
步骤SS5：将获取到的正面躯干照片和背面躯干照片进行网格化处理；
步骤SS6：分别对网格化后的学生正面躯干照片和学生背面躯干照片进行躯干关键点标注，对网格化后的学生正面躯干照片和学生背面躯干照片完成躯干关键点的标注后，将网格化处理后的学生正面躯干照片与原学生正面躯干照片进行重叠，得到学生正面躯干模型照片；将网格化处理后的学生背面躯干照片与原学生背面躯干照片进行重叠，得到学生背面躯干模型照片，并将学生正面躯干模型照片与学生背面躯干模型照片作为学生的行为基准参考模型，并将学生正面躯干模型照片与学生背面躯干模型照片上传至服务器中进行保存；
步骤S2：将步骤SS1-SS6中所获得的学生人脸模型照片、学生正面躯干照片以及学生背面躯干照片与学生的个人信息进行绑定，并形成独立的学生信息数据包；
所述图像动态采集单元用于对学生进行动态图像采集，动态图像的具体采集过程如下：
步骤S3：获取学生的动态脸部照片，记录所获取学生的动态脸部照片数量，并将学生的动态脸部照片数量标记为NL；
步骤S4：记录获取到NL张学生的动态脸部照片所花费的时间TL；
步骤S5：将步骤S3-S4所获得的数据上传至表情分析模块；
步骤S6：获取学生的动态躯干照片，记录所获取学生的动态躯干照片数量，并将学生的动态躯干照片数量标记为NQ；
步骤S7：记录获取到NQ张学生的动态躯干照片所花费的时间TQ；
步骤S8：将步骤S6-S7获得的数据上传至行为分析模块。
所述人脸识别模块用于对图像动态采集单元所获取到的学生的动态脸部照片进行识别，通过识别学生的动态脸部照片，从而将学生的动态脸部照片与学生的个人信息进行匹配；
所述表情分析模块用于对学生的动态脸部照片进行分析，从而获取学生的情绪变化，具体分析过程包括以下步骤：
步骤N1：将所有学生的动态脸部照片进行网格化处理，并对学生的脸部进行面部关键点标注，同时将学生的鼻头作为第一标准点；
步骤N2：将学生的动态脸部照片上的面部关键点与人脸基准参考模型中的面部关键点进行对比；
步骤N3：对每张动态脸部照片中的面部关键点分别进行提取，以第一标准点为基准，获取每一个面部关键点与第一标准点之间的距离，并获取每一个面部关键点与第一标准点之间的距离在时间TL内的变化，并将变化过程生成相应的动态坐标曲线图，其中TL＞0；
步骤N4：将动态坐标曲线图在TL时间内的动态面积标记为Sm，将Sm代入公式Sc＝(Sm-S0)*α，获得面部关键点的波动值Sc，当Sc＞0时，则判定学生的存在情绪波动，且Sc的值越大，学生的情绪波动越大，其中S0为***预设的面部关键点参照面积；α为比例系数，且α＞0；
所述行为分析模块用于对学生的动态行为进行分析，通过学生行为的变化，从而判断学生的情绪变化，具体过程包括以下步骤：
步骤M1：将所有学生的动态躯干照片进行网格化处理，并对学生背面躯干照片和学生正面躯干照片进行躯干关键点标注，同时将学生的胸口作为第二标准点；
步骤M2：将学生的动态躯干照片上的躯干关键点与行为基准参考模型中的躯干关键点进行对比；
步骤M3：对每张动态躯干照片中的躯干关键点进行提取，获取每一个躯干关键点与第二标准点之间的距离，并获取每一个躯干关键点与第二标准点之间的距离在时间TQ内的变化，并将变化生成相应的动态坐标曲线图，其中TQ＞0；
步骤M4：将动态坐标曲线图在TL时间内的动态面积标记为Sq，将Sq代入公式Sd＝(Sq-S1)*β，获得躯干关键点的波动值Sd，当Sd＞0时，则判定学生的存在情绪波动，Sd的值越高，则表示学生的情绪波动越剧烈，其中S1为***预设的躯干关键点参照面积；β为比例系数，且β＞0。
所述查询模块用于老师对学生的情况进行查询，老师通过登录验证模块登录进入***后，在查询模块内选择相应的时间段和学生信息，进而查询该学生在所选择时间段内的情绪变化情况。
所述基于表情图像的学生情绪分析***的工作方法具体包括以下步骤：
第一步：通过信息录入模块对学生的个人信息和老师的个人信息进行录入，并将学生的个人信息和老师的个人信息上传至服务器内进行保存；老师通过与***所绑定的实名认证的手机号码直接进行验证登录，将手机号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至***内进行登录；
第二步：通过图像采集模块获取学生的脸部照片与躯干照片，通过图像预采集单元对学生进行标准图像采集，通过获取学生的人脸照片，将学生的人脸照片进行网格化处理，并对网格化处理后的人脸照片中的面部关键点进行标注，进而获得学生的人脸基准参考模型；同时获取学生的躯干照片，将学生的躯干照片进行网格化处理后，对网格化处理后的躯干照片中的躯干关键点进行标注，进而获得学生的行为基准参考模型；通过图像动态采集单元获取学生的动态脸部照片和学生的动态躯干照片，然后将采集到的学生的动态脸部照片与学生的动态躯干照片分别上传至表情分析模块和行为分析模块中；
第三步：通过表情分析模块对学生的动态脸部照片进行分析，从而获得学生的面部关键点与第一标准点之间的距离变化，面部关键点与第一标准点之间的距离变化越大，则表示学生的情绪越不稳定，面部关键点与第一标准点之间的距离变化越小，则学生的情绪越稳定；同时通过行为分析模块对学生的动态躯干照片进行分析，从而获得学生的躯干关键点与第二标准点之间的距离变化，躯干关键点与第二标准点之间的距离变化越大，学生的情绪越不稳定，躯躯干关键点与第二标准点之间的距离变化越小，则学生的情绪越稳定。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
工作原理：通过信息录入模块对学生的个人信息和老师的个人信息进行录入，并将学生的个人信息和老师的个人信息上传至服务器内进行保存；老师通过与***所绑定的实名认证的手机号码直接进行验证登录，将手机号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至***内进行登录；通过图像采集模块获取学生的脸部照片与躯干照片，通过图像预采集单元对学生进行标准图像采集，通过获取学生的人脸照片，将学生的人脸照片进行网格化处理，并对网格化处理后的人脸照片中的面部关键点进行标注，进而获得学生的人脸基准参考模型；同时获取学生的躯干照片，将学生的躯干照片进行网格化处理后，对网格化处理后的躯干照片中的躯干关键点进行标注，进而获得学生的行为基准参考模型；通过图像动态采集单元获取学生的动态脸部照片和学生的动态躯干照片，然后将采集到的学生的动态脸部照片与学生的动态躯干照片分别上传至表情分析模块和行为分析模块中；通过表情分析模块对学生的动态脸部照片进行分析，从而获得学生的面部关键点与第一标准点之间的距离变化，面部关键点与第一标准点之间的距离变化越大则表示学生的情绪越不稳定，面部关键点与第一标准点之间的距离变化越小，则学生的情绪越稳定；同时通过行为分析模块对学生的动态躯干照片进行分析，从而获得学生的躯干关键点与第二标准点之间的距离变化，躯干关键点与第二标准点之间的距离变化越大，学生的情绪越不稳定，躯干关键点与第二标准点之间的距离变化越小，则学生的情绪越稳定，老师可以通过登录***，输入时间段和学生信息后，即可查询学生该时间段内的情绪变化情况。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种基于表情图像的学生情绪分析***，其特征在于，包括服务器、登录验证模块、信息录入模块、图像采集模块、人脸识别模块、表情分析模块、行为分析模块、查询模块以及信息推送模块；
所述表情分析模块用于对学生的动态脸部照片进行分析，从而获取学生的情绪变化，具体分析过程包括以下步骤：
步骤N1：将所有学生的动态脸部照片进行网格化处理，并对学生的脸部进行面部关键点标注，同时将学生的鼻头作为第一标准点；
步骤N2：将学生的动态脸部照片上的面部关键点与人脸基准参考模型中的面部关键点进行对比；
步骤N3：对每张动态脸部照片中的面部关键点分别进行提取，以第一标准点为基准，获取每一个面部关键点与第一标准点之间的距离，并获取每一个面部关键点与第一标准点之间的距离在时间TL内的变化，并将变化过程生成相应的动态坐标曲线图，其中TL＞0；
步骤N4：将动态坐标曲线图在TL时间内的动态面积标记为Sm，将Sm代入公式Sc＝(Sm-S0)*α，获得面部关键点的波动值Sc，当Sc＞0时，则判定学生的存在情绪波动，且Sc的值越大，学生的情绪波动越大，其中S0为***预设的面部关键点参照面积；α为比例系数，且α＞0；
所述行为分析模块用于对学生的动态行为进行分析，通过学生行为的变化，从而判断学生的情绪变化，具体过程包括以下步骤：
步骤M1：将所有学生的动态躯干照片进行网格化处理，并对学生背面躯干照片和学生正面躯干照片进行躯干关键点标注，同时将学生的胸口作为第二标准点；
步骤M2：将学生的动态躯干照片上的躯干关键点与行为基准参考模型中的躯干关键点进行对比；
步骤M3：对每张动态躯干照片中的躯干关键点进行提取，获取每一个躯干关键点与第二标准点之间的距离，并获取每一个躯干关键点与第二标准点之间的距离在时间TQ内的变化，并将变化生成相应的动态坐标曲线图，其中TQ＞0；
步骤M4：将动态坐标曲线图在TL时间内的动态面积标记为Sq，将Sq代入公式Sd＝(Sq-S1)*β，获得躯干关键点的波动值Sd，当Sd＞0时，则判定学生的存在情绪波动，Sd的值越高，则表示学生的情绪波动越剧烈，其中S1为***预设的躯干关键点参照面积；β为比例系数，且β＞0。
2.根据权利要求1所述的一种基于表情图像的学生情绪分析***，其特征在于，所述信息录入模块用于对学生的个人信息和老师的个人信息进行录入，所述学生的个人信息包括学生的姓名、学生的年龄、学生的所在班级、学生所在班级的班主任信息以及学生在教室内的座位位置，并将学生的个人信息上传至服务器内进行保存；所述老师的个人信息包括老师的姓名、老师所带科目、老师所带班级以及实名认证的手机号码，将实名认证的手机号码与***进行绑定，同时将老师的个人信息上传至服务器中进行保存。
3.根据权利要求1所述的一种基于表情图像的学生情绪分析***，其特征在于，所述登录验证模块用于老师进行登录***，老师通过与***所绑定的实名认证的手机号码直接进行验证登录，将收集号码输入至登录验证模块后，通过信息推送模块向老师的手机发送相应的登录验证码，通过将登录验证码输入至***内进行登录。
4.根据权利要求1所述的一种基于表情图像的学生情绪分析***，其特征在于，所述图像采集模块包括图像预采集单元和图像动态采集单元，所述图像预采集单元用于对学生进行标准图像采集，标准图像采集的具体过程如下：
步骤S1：采集学生人脸图片和学生躯干图片，并将学生人脸图片和学生躯干图片分别建立人脸识别模型与行为识别模型；
所述人脸识别模型的建立过程具体包括以下步骤：
步骤SS1：获取学生的正面人脸照片；
步骤SS2：将学生的正面人脸照片进行网格化处理；
步骤SS3：对进行网格化处理后的人脸照片进行面部关键点标注，将网格化处理后的人脸照片进行面部关键点的标注后，与原人脸照片进行重叠得到学生人脸模型照片，并作为学生的人脸基准参考模型，然后将人脸模型照片上传至服务器中进行保存；
所述行为识别模型的建立过程具体包括以下步骤：
步骤SS4：获取学生的正面躯干照片和背面躯干照片；
步骤SS5：将获取到的正面躯干照片和背面躯干照片进行网格化处理；
步骤SS6：分别对网格化后的学生正面躯干照片和学生背面躯干照片进行躯干关键点标注，对网格化后的学生正面躯干照片和学生背面躯干照片完成躯干关键点的标注后，将网格化处理后的学生正面躯干照片与原学生正面躯干照片进行重叠，得到学生正面躯干模型照片；将网格化处理后的学生背面躯干照片与原学生背面躯干照片进行重叠，得到学生背面躯干模型照片，并将学生正面躯干模型照片与学生背面躯干模型照片作为学生的行为基准参考模型，并将学生正面躯干模型照片与学生背面躯干模型照片上传至服务器中进行保存；
步骤S2：将步骤SS1-SS6中所获得的学生人脸模型照片、学生正面躯干照片以及学生背面躯干照片与学生的个人信息进行绑定，并形成独立的学生信息数据包；
所述图像动态采集单元用于对学生进行动态图像采集，动态图像的具体采集过程如下：
步骤S3：获取学生的动态脸部照片，记录所获取学生的动态脸部照片数量，并将学生的动态脸部照片数量标记为NL；
步骤S4：记录获取到NL张学生的动态脸部照片所花费的时间TL；
步骤S5：将步骤S3-S4所获得的数据上传至表情分析模块；
步骤S6：获取学生的动态躯干照片，记录所获取学生的动态躯干照片数量，并将学生的动态躯干照片数量标记为NQ；
步骤S7：记录获取到NQ张学生的动态躯干照片所花费的时间TQ；
步骤S8：将步骤S6-S7获得的数据上传至行为分析模块。
5.根据权利要求1所述的一种基于表情图像的学生情绪分析***，其特征在于，所述人脸识别模块用于对图像动态采集单元所获取到的学生的动态脸部照片进行识别，通过识别学生的动态脸部照片，从而将学生的动态脸部照片与学生的个人信息进行匹配。
6.根据权利要求1所述的一种基于表情图像的学生情绪分析***，其特征在于，所述查询模块用于老师对学生的情况进行查询，老师通过登录验证模块登录进入***后，在查询模块内选择相应的时间段和学生信息，进而查询该学生在所选择时间段内的情绪变化情况。
CN202110308529.XA 2021-03-23 2021-03-23 一种基于表情图像的学生情绪分析*** Active CN112990030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110308529.XA CN112990030B (zh) 2021-03-23 2021-03-23 一种基于表情图像的学生情绪分析***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110308529.XA CN112990030B (zh) 2021-03-23 2021-03-23 一种基于表情图像的学生情绪分析***

Publications (2)

Publication Number Publication Date
CN112990030A true CN112990030A (zh) 2021-06-18
CN112990030B CN112990030B (zh) 2024-06-14

Family

ID=76333258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110308529.XA Active CN112990030B (zh) 2021-03-23 2021-03-23 一种基于表情图像的学生情绪分析***

Country Status (1)

Country Link
CN (1) CN112990030B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971090A (zh) * 2007-09-28 2014-08-06 富士胶片株式会社 图像处理装置、图像捕获装置、图像处理方法及记录媒介
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation
CN111414839A (zh) * 2020-03-16 2020-07-14 清华大学 基于姿态的情感识别方法及装置
CN111523444A (zh) * 2020-04-21 2020-08-11 南通大学 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN111950486A (zh) * 2020-08-18 2020-11-17 四川创客知佳科技有限公司 基于云计算的教学视频处理方法
CN112200138A (zh) * 2020-10-30 2021-01-08 福州大学 基于计算机视觉的课堂学情分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971090A (zh) * 2007-09-28 2014-08-06 富士胶片株式会社 图像处理装置、图像捕获装置、图像处理方法及记录媒介
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation
CN111414839A (zh) * 2020-03-16 2020-07-14 清华大学 基于姿态的情感识别方法及装置
CN111523444A (zh) * 2020-04-21 2020-08-11 南通大学 基于改进的Openpose模型和面部微表情的课堂行为检测的方法
CN111950486A (zh) * 2020-08-18 2020-11-17 四川创客知佳科技有限公司 基于云计算的教学视频处理方法
CN112200138A (zh) * 2020-10-30 2021-01-08 福州大学 基于计算机视觉的课堂学情分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASIT BARMAN ETC.: "Facial expression recognition using distance and texture signature relevant features", APPLIED SOFT COMPUTING JOURNAL *
任婕: "基于机器视觉的学生专注度综合评价研究", 中国优秀硕士学位论文全文数据库社会科学Ⅱ辑, pages 1 - 2 *
许良凤;王家勇;崔婧楠;胡敏;张柯柯;滕文娣;: "基于动态时间规整和主动外观模型的动态表情识别", 电子与信息学报, no. 02 *

Also Published As

Publication number Publication date
CN112990030B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN109360550B (zh) 语音交互***的测试方法、装置、设备和存储介质
CN110415569B (zh) 校园课堂共享教育方法和***
KR102415103B1 (ko) 음성 데이터와 텍스트 데이터를 이용하여 생성된 인공지능모델를 기초로 심리를 분석하는 장치
CN108764149B (zh) 一种针对班级学生人脸模型的训练方法
CN110264243A (zh) 基于活体检测的产品推广方法、装置、设备及存储介质
CN110276587A (zh) 项目审批的方法、装置、计算设备及计算机可读存储介质
CN113269903A (zh) 人脸识别课堂考勤***
CN114398909A (zh) 用于对话训练的问题生成方法、装置、设备和存储介质
CN110852271A (zh) 一种基于峰值帧和深度森林的微表情识别方法
CN113705792A (zh) 基于深度学习模型的个性化推荐方法、装置、设备及介质
CN112766130A (zh) 一种课堂教学质量监测方法、***、终端及存储介质
CN105469116B (zh) 一种基于人机交互的幼儿识图及数据扩充方法
CN112734966A (zh) 一种融合WiFi数据与人脸识别的课堂点名方法
CN112990030B (zh) 一种基于表情图像的学生情绪分析***
CN115905187A (zh) 一种面向云计算工程技术人员认证的智能化命题***
CN110110280B (zh) 对坐标的曲线积分计算方法、装置、设备及存储介质
CN111339939B (zh) 基于图像识别的考勤方法及装置
CN112307186A (zh) 基于情绪识别的问答服务方法、***、终端设备及介质
CN115222008A (zh) 一种箱庭游戏的智能心理描述***
CN112182147A (zh) 一种可扩展的智能问答方法及***
CN116452072B (zh) 一种教学评价方法、***、设备和可读存储介质
CN117408679B (zh) 一种运维场景信息的处理方法及装置
CN103020224A (zh) 一种智能搜索方法及装置
CN113642336B (zh) 一种基于SaaS的保险自动问答方法及***
CN116414970A (zh) 数据处理方法、装置、程序产品、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240519

Address after: Unit 07, 05/F, Unit 3, Building 2, Yunsheng Science Park Property, No. 11 Spectral Middle Road, Huangpu District, Guangzhou City, Guangdong Province, 510000

Applicant after: Guangdong Lingjun Technology Co.,Ltd.

Country or region after: China

Address before: Room 1-105, Wanbo Beiyuan, Yizheng, Yangzhou, Jiangsu, 211999

Applicant before: Fan Yifei

Country or region before: China

GR01 Patent grant
GR01 Patent grant