CN115937928A - 基于多视觉特征融合的学习状态监测方法及*** - Google Patents

Abstract

本公开提供了基于多视觉特征融合的学习状态监测方法及***，涉及计算机视觉技术领域，包括获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。本公开方法在学习者学习疲劳时能够实时反馈到老师，对提高教学效果具有非常重要的意义。

Description

基于多视觉特征融合的学习状态监测方法及***

技术领域

本公开涉及计算机视觉技术领域，具体涉及基于多视觉特征融合的学习状态监测方法及***。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

学习状态的好坏决定着学生的学习成绩，甚至会影响学生的长期发展与规划。积极的学习状态会使学生对学习充满渴望，进而可以提高学生的学习成绩和学习的主观能动性，并且对学生的长期发展与规划也会有一定的正向激励作用，消极的学习状态则相反，甚至会使学生出现厌学情绪甚至会有辍学的想法。随着各种新兴智慧课堂的产生和应用，技术和学习相结合的教学方式逐渐成为了教育领域的研究热点之一。技术的发展让课堂教学有了更多的可能性，现阶段的技术主要应用在教学内容上，而针对教学过程的监督和反馈相对比较匮乏，因此构建一个连接教师和学生的学习状态监测***显得尤为重要。

如何在不影响学生学习的前提下提取与学习相关的特征和提高学习状态识别的准确度是研究者们关心的首要问题，也是一直努力实现的研究目标。人脸特征可以反应学生的实时状态，人体姿势可以表达学习的态度。为了有效的识别学生的学习状态，将人脸特征、情绪特征和姿态特征相结合，提出了一种基于多视觉特征融合的学习状态识别方法。

发明人发现现有技术中存在以下技术问题：

现有的学习状态检测技术检测方法比较简单，使用单一的人脸特征，检测准确率比较低，随着特征提取方法的发展与完善，单独的特征提取方法已经不能满足目前的研究需要，研究者也开始提出一些组合策略。目前对学习状态的分类也仅有疲劳和非疲劳，对学习状态的分类不清晰，不能实现良好的监测效果。而人脸表情、情绪和人体姿态可以从多方面获得学生的学习情况，更有可能能够捕捉到学生学习状态的有用信息。

目前，国内对于学生学习状态的检测方法主要是基于生理现象监测的方法最为准确。生理特征主要指的是心电信号、脑电信号、体表温度等，而基于生理现象监测的方法需给学生佩戴生理监测设备，不但价格昂贵而且容易对学习产生干扰，寻求一种即简便又能保证学习不受干扰的学习检测方法显得尤为重要。

发明内容

本公开为了解决上述问题，提出了基于多视觉特征融合的学习状态监测方法及***，通过人脸识别确定眼睛，嘴巴，头部姿势以及表情，针对四种因素分别进行监测，并结合Yolov5目标检测网络和Openpose人体姿态识别算法所确定的手部行为，将监测到的数据进行综合分析，保证监测状态的准确率。

根据一些实施例，本公开采用如下技术方案：

基于多视觉特征融合的学习状态监测方法，包括：

获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；

对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；

基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。

根据一些实施例，本公开采用如下技术方案：

图像采集模块，用于获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；

特征分析模块，用于对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；

学习状态分析模块，用于基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。

根据一些实施例，本公开采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于多视觉特征融合的学习状态监测方法。

根据一些实施例，本公开采用如下技术方案：

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于多视觉特征融合的学习状态监测方法。

与现有技术相比，本公开的有益效果为：

本公开是一种基于多视觉特征融合的学习状态监测方法以实现对学习者学习状态的识别，并以此区分专注，困惑、走神、疲劳、瞌睡的学习状态；特征提取是通过摄像头采集实时的学习者图像，获取学习者的关键特征，避免给学习者佩戴生理监测设备而对学习产生干扰；通过多种衡量人体疲劳状态的特征指标，根据计算结果判断学习者学习状态，在学习者学习疲劳时能够实时反馈到老师，对提高教学效果具有非常重要的意义。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例中的多视觉特征融合的学习状态监测方法流程图；

图2是本公开实施例中的多视觉特征融合的学习状态监测***网络架构图；

图3是本公开实施例中的基于多特征融合的学习监测***架构图。

图4是本公开实施例中的多视觉特征融合的学习状态监测***的教师端和学习端可视化界面一。

图5是本公开实施例中的多视觉特征融合的学习状态监测***的教师端和学习端可视化界面二。

图6是本公开实施例中的多视觉特征融合的学习状态监测***的教师端和学习端可视化界面三。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本公开提供了一种基于多视觉特征融合的学习状态监测方法，包括：

步骤1：获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；

步骤2：对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；

步骤3：基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。

首先，对学习者的学习状态进行观察和分析，首先确定学习状态的两个极端的状态基调，分为积极和消极；再结合学习者在学习情境下的具体表现，依据情感表达和认知基础，综合表情、姿态以及言语等特征，确定专注和瞌睡两个极端状态；对专注和瞌睡中间的过渡状态，参考学习过程中的思考状态、发呆和疲劳的学习表现，确定困惑、走神、疲劳的中间状态。

对摄像头获取到的视频图像进行预处理，针对预处理后的人脸图像，提取其面部标志点向量，定位到眼睛和嘴巴，进行眨眼检测和哈欠检测；根据面部标志点向量得到人脸表情的特征，对人脸表情特征进行人脸分析，得到人脸表情的分析结果；依据经典的头部姿势检测算法判断头部状态；

对预处理后的图像基于Yolov5目标检测网络和Openpose人体姿态识别算法确定学习过程中的手部行为，并对眨眼、哈欠、表情以及头部姿势进行融合分析，结合学习专注度，得到最终的学习状态结果。

具体的，作为一种实施例，在实施例的步骤1中，对原始的视频中的图像进行灰度处理，目的是为了避免光照和色彩等因素对结果的影响，只保留面部主要特征；对灰度处理后的图像序列进行数据增强，通过采用旋转和翻转的方式扩充数据。

在本实施例的步骤S2中，表情分析基于Keras，利用cv2、人脸检测文件和表情识别文件，使用人脸检测器和表情检测器识别人的情绪。对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征的步骤为具体步骤如下：

Step1：依据Dlib库内置的人脸检测器对视频的帧图像进行处理，将只包含人脸的区域切割出来；

Step2：调用Dlib库内置的人脸关键点检测模型shape_predictor_68_face_landmarks.dat对得到的人脸进行检测，获得68个人脸关键点的坐标。

Step3：分析特征点的位置关系作为表情识别的依据；

Step4：确定两个眉毛上的10个特征点，计算眉毛的倾斜程度；

Step5：确定剩余的眼睛，嘴巴等特征点信息；

Step6：将特征数据输入表情检测器得到表情结果。

根据眼睛和嘴巴的关键点的位置得到相应的面部标志点向量通过分析眼睛特征数据和嘴巴特征数据对面部状态进行检测。依据EAR结合眨眼频率和闭眼时间对眼睛特征数据的疲劳状态进行量化。EAR计算公式的分子是计算垂直眼睛标志之间的距离，而分母是计算水平眼睛标志之间的距离，由于水平点只有一组，而垂直点有两组，所以分母乘上了2，以保证两组特征点的权重相同。使用这个方法，依靠眼睛地标距离的比例来确定一个人是否眨眼。人体疲劳时眼睛闭合度相对于轻松时会极大下降，并且闭眼过程持续的时间较长，计算规定时间内眼睛的闭合比例得到眨眼频率，故结合眨眼频率和闭眼时间对疲劳状态进行量化。其中ERA的计算如公式(1)，

其中p₁-p₆对应人脸特征点37-42，为保证结果的精确，最后的EAR取左右两眼的平均值。具体的EAR表示闭眼的区间为[0.15，0.2]。

然后，依据哈欠检测算法对嘴巴特征数据进行哈欠频率及深浅量化。人体处于疲劳状态时嘴部状态会发生明显变化例如打哈欠频率显著增加，并且完成“打哈欠”这一动作之后嘴巴闭合程度相对于正常讲话或者静止状态时会明显增大。嘴巴闭合度计算类似于眼睛闭合度的计算，其中p₁-p₆对应人脸特征点49,51,53,55,57,59。通过统计连续张嘴的时间长度(帧数)来确定哈欠的深浅，累计打哈欠时间在3-4s浅哈欠，4-5s为深哈欠，10s以上则判为重度疲劳。

最后，依据经典的头部姿势检测算法判断头部状态。物体相对于相机的姿态可以使用旋转矩阵和平移矩阵来表示，通过世界坐标系内点的位置、像素坐标位置和相机参数就可以得到旋转和平移矩阵。3DMorphable Model(3DMM)，对不同人可以拟合出对应的3D脸模型，比较准确的确定关键点的空间位置。头部状态估计步骤如下：

Step1：Dlib可以确定3D脸模型中鼻尖、下巴、左眼的左眼角、右眼的右眼角、左嘴角和右嘴角这6个特征点；

Step2：使用solvePnP()计算头部运动的偏移量；

Step3：经过世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)的转换处理得到头部空间三个坐标轴的欧拉角；

Step4：得到学习者头部的俯仰角、偏航角和滚转角，即抬头低头程度、左右转头程度和左右摆头程度；

Step5：通过值的变化判断头部做何种行为。

在本实施例的步骤3中，基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中是否有手部的影响学习的动作，具体步骤如下：

Step1：获取预处理后的视频帧图像；

Step2：利用Yolov5+Openpose双深度网络从图像中提取人脸和手部特征；

Step3：进一步提取学习者手部关节点坐标；

Step4：根据关节点坐标组合以逻辑判断的方式检测手托腮行为。

单一特征容易受环境和人为因素各方面影响，故将眨眼、哈欠、头部运动以及表情结果进行融合分析。经过查阅文献和调研分析，确定了学习状态和多视觉特征之间的联系，以此判断学习状态，具体信息如表1所示：

实施例2

本公开提供了一种基于多视觉特征融合的学习状态监测***，包括：

图像采集模块，用于获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；

特征分析模块，用于对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；

学习状态分析模块，用于基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。

在对最终学习状态检测完成后，获取监测过程的学习状态，实时专注度，监测的数据信息和提示信息。最后，并结合教师端和学习端，实现学习过程中学习者学习状态的监测与反馈，将学习过程的信息可视化。

可视化过程包括：可视化界面模块，包括教师端和学习端界面，实现数据的存取并在界面展示，为管理者和学习者提供信息显示；

身份验证模块，学习者通过身份验证模块验证身份信息；

数据传输模块，处理后数据在教师端和学习端之间传输；

提醒模块，监测到学习疲劳时做出提醒。

可视化界面模块，包括教师端和学习端界面，在数据库内保存的所有的数据，可视化界面模块实时读取这些结果展示在界面上，为教师和学习者本身了解当前学习状况提供便捷的途径。

身份验证模块，学习者通过身份验证模块验证身份信息，首次使用用户名和密码登录***，采集人脸信息后，后续可选择用户密码或者人脸识别登录。

图像采集模块，该模块通过笔记本内置摄像头或者外接摄像头采集学习者的学习视频，以固定频率读取实时图像帧，按时间先后顺序依次传递给特征检测模块。具体的，读取的固定频率设置为15FPS或者30FPS，并将预处理后的视频数据上传至数据库。

特征分析模块，对人脸特征以及情绪和姿势进行分析。

数据传输模块，数据传输模块包括客户端和服务器之间的数据传输，***需要的数据主要包括用户的用户名、密码、人脸信息等；预处理后的视频数据；处理后的各因素在学习过程中的数据。

学习状态分析模块，通过对接收到的视频进行眨眼、哈欠、头部姿势以及表情分析判断学习状态。

数据处理模块，统计各因素在学习过程中的实际情况存入数据库，得到各因素的过程图示。

提醒模块，监测到学习疲劳时做出提醒。

实施例3

本公开提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于多特征融合的学习监测方法所述的步骤。

实施例4

本公开提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于多特征融合的学习监测方法所述的步骤。

本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (11)

1.基于多视觉特征融合的学习状态监测方法，其特征在于，包括：

获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；

对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；

基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。

2.如权利要求1所述的基于多视觉特征融合的学习状态监测方法，其特征在于，所述划分学习状态的过程为：确定学习状态的两个极端的状态基调，分为积极和消极；依据情感表达和认知基础，综合表情、姿态以及言语特征，确定专注和瞌睡两个极端状态；对专注和瞌睡中间的过渡状态，参考学习过程中的思考状态、发呆和疲劳的学习表现，确定困惑、走神、疲劳的中间状态。

3.如权利要求1所述的基于多视觉特征融合的学习状态监测方法，其特征在于，所述预处理的过程为：对视频帧中的人脸图像进行灰度处理以及数据增强。

4.如权利要求1所述的基于多视觉特征融合的学习状态监测方法，其特征在于，所述对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征的步骤为：1)调用Dlib库内置的人脸关键点检测模型shape_predictor_68_face_landmarks.dat对得到的人脸进行检测，获得68个人脸关键点的坐标；

2)分析特征点的位置关系作为表情识别的依据；

3)确定两个眉毛上的10个特征点，计算眉毛的倾斜程度；

4)确定剩余的眼睛，嘴巴特征点信息；

5)将特征数据输入表情检测器进行表情识别。

5.如权利要求1所述的基于多视觉特征融合的学习状态监测方法，其特征在于，所述头部运动的分析步骤为：

Step1：Dlib确定3D脸模型中鼻尖、下巴、左眼的左眼角、右眼的右眼角、左嘴角和右嘴角6个特征点；

Step2：使用solvePnP()计算头部运动的偏移量；

Step3：经过世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)的转换处理得到头部空间三个坐标轴的欧拉角；

Step4：得到学习者头部的俯仰角、偏航角和滚转角，即抬头低头程度、左右转头程度和左右摆头程度；

Step5：通过值的变化判断头部做何种行为。

6.如权利要求1所述的基于多视觉特征融合的学习状态监测方法，其特征在于，对眨眼进行分析的方式为：依据EAR结合眨眼频率和闭眼时间对眼睛特征数据的疲劳状态进行量化，依靠眼睛地标距离的比例来确定一个人是否眨眼。

7.如权利要求1所述的基于多视觉特征融合的学习状态监测方法，其特征在于，依据哈欠检测算法对嘴巴特征数据进行哈欠频率及深浅量化。

8.如权利要求6所述的基于多视觉特征融合的学习状态监测方法，其特征在于，嘴巴闭合度计算与眼睛闭合度的计算相同，通过统计连续张嘴的时间长度来确定哈欠的深浅，累计打哈欠时间在3-4s浅哈欠，4-5s为深哈欠，10s以上则判为重度疲劳。

9.基于多视觉特征融合的学习状态监测***，其特征在于，包括：

图像采集模块，用于获取待分析学习者的原始学习视频，提取视频帧中的人脸图像并进行预处理，并划分学习状态；

特征分析模块，用于对人脸图像进行识别检测，获取人脸关键点的坐标，由人脸关键点定位眼睛、嘴巴以及头部的运动状态特征，确定学习者眨眼、哈欠以及头部运动的特征；

学习状态分析模块，用于基于Yolov5目标检测网络和Openpose人体姿态识别算法，确定学习过程中手部行为，将眨眼、哈欠、头部运动进行融合分析，结合手部行为状态，基于模糊综合评价法，得到最终的学习状态检测结果。

10.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于多视觉特征融合的学习状态监测方法。

11.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7中任一项所述的基于多视觉特征融合的学习状态监测方法。

Images