CN115019396A - 一种学习状态监测方法、装置、设备及介质 - Google Patents

一种学习状态监测方法、装置、设备及介质 Download PDF

Info

Publication number
CN115019396A
CN115019396A CN202210664223.2A CN202210664223A CN115019396A CN 115019396 A CN115019396 A CN 115019396A CN 202210664223 A CN202210664223 A CN 202210664223A CN 115019396 A CN115019396 A CN 115019396A
Authority
CN
China
Prior art keywords
head
data set
upper limb
image data
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210664223.2A
Other languages
English (en)
Inventor
蒋曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Education
Original Assignee
Chongqing University of Education
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Education filed Critical Chongqing University of Education
Priority to CN202210664223.2A priority Critical patent/CN115019396A/zh
Publication of CN115019396A publication Critical patent/CN115019396A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，提供了一种学习状态监测方法、装置、设备及介质，包括：获取教室内学生的学习图像数据集，在第一模型中对学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；在第二模型中对头部图像数据集进行头部姿态识别，得到头部转动姿态；提取上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态；分别将头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。本发明中通过图像分割，避免图像中不同部分之间在后续姿态鉴别时相互影响，确保监测结果的精确度；通过头部姿态识别和上肢行为姿态识别，提高了学习状态监测的效率。

Description

一种学习状态监测方法、装置、设备及介质
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种学习状态监测方法、装置、设备及介质。
背景技术
课堂学习过程是学校教育的核心，学生在课堂学习过程中的学习状态不仅影响学生的学习效率，还从侧面反映教师的教学质量。通过对学生学习状态进行评估，能够形成有效的反馈信息和教学导向，促进课堂教学和学生的发展。
目前对学生学习状态的评估，多依靠教师在讲课过程中结合学生的课上发言、行为、表情等信息进行判定，该方式过于耗费教师的精力且效率较低，同时还影响教师的讲课质量。现有部分方案中，通过摄像头采集教学过程视频，课后教师在后台对视频中学生的学习状态进行分析，该方式还是需要依赖人工检测，无法确保状态信息的实时性与准确性。
发明内容
鉴于以上现有技术存在的问题，本发明提出一种学习状态监测方法、装置、设备及介质，以解决对学生的学习状态监测时效率低、无法确保实时性与准确性的问题。
为了实现上述目的及其他目的，本发明采用的技术方案如下。
于本申请的一实施例中，提供了一种学习状态监测方法，包括：
获取教室内学生的学习图像数据集，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；
在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态；
提取所述上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态；
分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。
于本申请的一实施例中，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集，包括：
根据预设的灰度化处理权重，对所述学***均，得到灰度化处理后的第一学***均计算方式为：I(x，y)＝0.3*IR(x，y)+0.59*IG(x，y)+0.11*IB(x，y)，其中I(x，y)为灰度值，IR为图像中的红色分量，IG为图像中的绿色分量，IB为图像中的蓝色分量；
根据预设的二值化阈值，对所示第一学习图像数据集进行二值化处理，得到第二学习图像数据集；
根据预设的感兴趣区域分别截取所述第二学习图像数据集中的头部部分和上肢部分，得到所述头部图像数据集和上肢图像数据集。
于本申请的一实施例中，在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态，包括：
利用人脸检测算法得到所述头部图像数据集中的人脸矩形框；
将所述人脸矩形框转换为数组形式的人脸坐标，将所示人脸坐标进行逐帧存储，得到人脸坐标数据集；
对所示人脸坐标数据集进行特征点检测，得到人脸特征点集合，所述人脸特征点集合包括左眼角、右眼角、鼻尖、左唇尖、右唇尖、下巴六类特征点集合，所述特征点获取方式为：建立特征点检测矩阵
Figure BDA0003691007190000021
其中，σ为尺度系数，Lxx(x，σ)为在x方向的二阶偏导，Lxy(x，σ)为在xy方向的二阶偏导，Lyy(x，σ)为在y方向的二阶偏导，根据预设的特征点检测矩阵阈值参数δ，得到所述特征点；
在所述的第二模型中对所述六类特征点集合进行头部姿态识别，得到偏转角度；
若所述偏转角度在预设的摇头角度范围内，得到摇头姿态；
若所述偏转角度在预设的低头角度范围内，得到低头姿态；
若所述偏转角度在预设的抬头角度范围内，得到抬头姿态。
于本申请的一实施例中，将所述人脸矩形框转换为数组形式的人脸坐标，包括：
将所述人脸矩形框中的二维坐标转换为相机坐标，转换方式为：
Figure BDA0003691007190000031
其中
Figure BDA0003691007190000032
为二维坐标，
Figure BDA0003691007190000033
为相机坐标，
Figure BDA0003691007190000034
为相机的内参；
将所述相机坐标转换为世界坐标，转换方式为：
Figure BDA0003691007190000035
Figure BDA0003691007190000036
其中
Figure BDA0003691007190000037
为世界坐标，T为平移矩阵，R为旋转矩阵；
根据所述头部图像数据集中的世界坐标，得到所述人脸坐标。
于本申请的一实施例中，提取所述上肢图像数据集中的骨骼关键点序列，包括：
对所述上肢图像数据集中的上肢目标进行定位，得到上肢定位坐标；
通过多目标融合跟踪网络对所述上肢定位坐标进行跟踪识别，得到所述上肢定位坐标的跟踪结果序列，所述跟踪结果序列包括所述上肢图像数据集中上下帧图像的上肢定位坐标的特征向量关联度；
根据所述跟踪结果序列得到骨骼关键点序列。
于本申请的一实施例中，在第三模型中所述骨骼关键点序列进行行为识别，得到上肢行为姿态，包括：
将所述骨骼关键点序列输入第三模型，所述第三模型为预先训练的骨骼关键点行为识别模型，所述第三模型的损失函数为
Figure BDA0003691007190000038
其中
Figure BDA0003691007190000039
为预测值的损失函数，
Figure BDA00036910071900000310
为标记值的损失函数，所述骨骼关键点行为识别模型包括置信度检测卷积层和连接关系卷积层；
在所述置信度检测卷积层中对所述骨骼关键点序列进行预测，得到上肢关节置信度；
在所述连接关系卷积层中对所述骨骼关键点序列中各骨骼关键点之间的连接关系进行预测，得到连接关系；
根据所述上肢关节置信度和连接关系，得到上肢姿态骨架；
获取所述上肢姿态骨架中各关节部位之间的距离参数，将所述距离参数与预设的距离参数阈值进行比对，得到上肢行为姿态，所述上肢行为姿态包括趴桌、转身、站立。
于本申请的一实施例中，分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果之后，包括：
将所述头部图像数据集输入预先训练的人脸识别模型中，得到学生身份信息；
将所述学习状态检测结果根据预设的权重参数转化为学习状态评分,所述学习状态评分计算方式为
Figure BDA0003691007190000041
其中
Figure BDA0003691007190000042
为预定时间范围内的抬头次数，
Figure BDA0003691007190000043
为预定时间范围内的低头次数，
Figure BDA0003691007190000044
为预定时间范围内的转头次数，
Figure BDA0003691007190000045
为预设时间范围内的趴桌次数，
Figure BDA0003691007190000046
分别为抬头、低头、转头、趴桌行为对应的权重，匹配所述学习状态评分和学生身份信息，得到各学生的学习状态评分；
若所述学习状态评分低于预设的学习状态评分阈值，则根据所述身份信息获取对应学生的班级、座位、课程安排信息，用于教师对该学生进行标注。
于本申请的一实施例中，提供了一种学习状态监测装置，包括：
学习图像分割模块，用于获取教室内学生的学习图像数据集，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；
头部姿态识别模块，在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态；
上肢行为姿态识别模块，用于提取所述上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态；
学习状态检测结果获取模块，用于分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。
于本申请的一个实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述学习状态监测方法的步骤。
于申请的一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取教室内学生的学习图像数据集，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；
在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态；
提取所述上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态；
分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学生的学习状态信息。
上述学习状态监测方法、装置、计算机设备及存储介质所实现的方案中，先对学习图像数据集进行分类，得到头部图像数据集和上肢图像数据集，将两种不同类别的图像部分进行分割，能够有效避免在后续的姿态、行为鉴别过程中产生干扰，以确保监测结果的准确度；分别在第二、第三模型中进行头部姿态识别和行为识别，得到头部转动姿态和上肢行为姿态，在将两种姿态结合，得到学习状态监测结果，针对不同的图像内容采用不同的识别模型，能够确保识别结果的准确性。本申请中的方案可对实时采集的图像数据进行学习状态监测，无需在课后对视频进行分析，确保监测结果的实时性；相比教师观看视频获取学生学习状态，通过识别模型对学习状态进行监测的效率更高，节约了教师的精力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请的一示例性实施例示出的学习状态监测方法的实施环境示意图；
图2是本申请的一示例性实施例示出的学习状态监测方法的流程示意图；
图3是本申请的一示例性实施例示出的学习状态监测装置的一结构示意图；
图4示出了适于用来实现本申请实施例的计算机设备的计算机***的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
首先需要说明的是，计算机视觉技术(Computer Vision，简称CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
图像分割，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。
骨骼关键点，骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。
姿态识别模型，人体姿态识别被定义为人体关键点的定位问题，一直以来是计算机视觉领域的重要关注点。姿态识别模型通过深度学习算法、神经卷积网络识别各式各样的关节姿态，如小得难以看见的关节点、遮蔽的关节点、需要根据上下文判断的关节点。
本申请实施例中的技术方案涉及大数据、计算机视觉等技术，具体通过如下实施例进行说明：
图1是本申请的一示例性实施例示出的学习状态监测方法的实施环境示意图.
参照图1所示，实施环境中可以包括学习状态监测设备101、云端设备102和服务器组103。
示意性的，学习状态监测设备101可以通过云端设备102和服务器组103获取学习图像数据，还可以由相关技术人员将图像数据输入到学习状态监测设备101中。学习状态监测设备101获取教室内学生的学习图像数据集，在第一模型中对学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；在第二模型中对头部图像数据集进行头部姿态识别，得到头部转动姿态；提取上肢图像数据集中的骨骼关键点序列，在第三模型中对骨骼关键点序列进行行为识别，得到上肢行为姿态；分别将头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学生的学习状态信息。
请参阅图2，图2是本申请的一示例性实施例示出的学习状态监测方法的流程示意图。该方法可以应用于图2所示的实施环境，并由该实施环境中的学习状态监测设备101执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
如图2所示，在一示例性的实施例中，学习状态监测方法至少包括步骤S210-S240，详细介绍如下：
在步骤S210中，获取教室内学生的学习图像数据集，在第一模型中对学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集。
在本申请的一个实施例中，将学生的学习图像整合为数据集，并且对数据集中的学习图像进行图像分割，第一模型可为图像分割模型，在图像分割模型中将头部图像和上肢图像分离出来，避免在接下来的图像识别过程中互相干扰，影响学习状态监测结果的精确度。
在本申请的一个实施例中，图2中步骤S210中获取教室内学生的学习图像数据集时，包括以下步骤：
获取预设时间间隔内教室中学生学习时的视频码流数据；
对所述视频码流数据进行解码，得到多帧学习图像；
对所述多帧学习图像进行整合，得到所述学习图像数据集。
在本实施例中，因为本申请主要是针对图像中的目标进行姿态识别，所以需要先获取到图像数据集。首先可通过摄像头实时拍摄教室内学生在课堂中的学习视频，然后将学习视频按照预设的间隔时间进行划分。本实施例中学习视频为常规码流视频，对码流视频解码以获得学习图像数据集。
在申请的一个实施例中，图2中步骤S210中在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集时，包括以下步骤：
根据预设的灰度化处理权重，对所述学***均，得到灰度化处理后的第一学***均计算方式为：I(x，y)＝0.3*IR(x，y)+0.59*IG(x，y)+0.11*IB(x，y)，其中I(x，y)为灰度值，IR为图像中的红色分量，IG为图像中的绿色分量，IB为图像中的蓝色分量；
根据预设的二值化阈值，对所示第一学习图像数据集进行二值化处理，得到第二学习图像数据集；
根据预设的感兴趣区域分别截取所述第二学习图像数据集中的头部部分和上肢部分，得到所述头部图像数据集和上肢图像数据集。
在本实施例中，在进行头部部分和上肢部分的图像截取之前，需进灰度化和二值化预处理，以确保获取到的图像的精确度；第一模型可为图像分割模型，在图像分割模型中根据预设的感兴趣区域对图像进行分割。
在步骤S220中，在第二模型中对头部图像数据集进行头部姿态识别，得到头部转动姿态。
在本申请的一个实施例中，第二模型为头部姿态识别模型；将头部图像数据集输入头部姿态识别模型中，得到学生在座位上的转动姿态，转动姿态可包括抬头、低头、转头。
在本申请的一个实施例中，图2中步骤S220具体包括以下步骤：
利用人脸检测算法得到所述头部图像数据集中的人脸矩形框；
将所述人脸矩形框转换为数组形式的人脸坐标，将所示人脸坐标进行逐帧存储，得到人脸坐标数据集；
对所示人脸坐标数据集进行特征点检测，得到人脸特征点集合，所述人脸特征点集合包括左眼角、右眼角、鼻尖、左唇尖、右唇尖、下巴六类特征点集合，所述特征点获取方式为：建立特征点检测矩阵
Figure BDA0003691007190000101
其中，σ为尺度系数，Lxx(x，σ)为在x方向的二阶偏导，Lxy(x，σ)为在xy方向的二阶偏导，Lyy(x，σ)为在y方向的二阶偏导，根据预设的特征点检测矩阵阈值参数δ，得到所述特征点；
在所述的第二模型中对所述六类特征点集合进行头部姿态识别，得到偏转角度；
若所述偏转角度在预设的摇头角度范围内，得到摇头姿态；
若所述偏转角度在预设的低头角度范围内，得到低头姿态；
若所述偏转角度在预设的抬头角度范围内，得到抬头姿态。
在本实施例中，通过人脸检测算法识别头部图像数据中的头部姿态，识别时可获取人脸坐标，并将人脸坐标根据人体五官进行分类，然后再计算偏转角度，通过偏转角度进行姿态判定。
在申请的一个实施例中，将人脸矩形框转换为数组形式的人脸坐标，包括如下步骤：
将所述人脸矩形框中的二维坐标转换为相机坐标，转换方式为：
Figure BDA0003691007190000111
其中
Figure BDA0003691007190000112
为二维坐标，
Figure BDA0003691007190000113
为相机坐标，
Figure BDA0003691007190000114
为相机的内参；
将所述相机坐标转换为世界坐标，转换方式为：
Figure BDA0003691007190000115
Figure BDA0003691007190000116
其中
Figure BDA0003691007190000117
为世界坐标，T为平移矩阵，R为旋转矩阵；
根据所述头部图像数据集中的世界坐标，得到所述人脸坐标。
在步骤S230中，提取上肢图像数据集中的骨骼关键点序列，在第三模型中对骨骼关键点序列进行行为识别，得到上肢行为姿态。
在本申请的一个实施例中，通过骨骼关键点对学生上肢姿态进行识别。本实施例中第三模型可为人体姿态识别模型，该人体姿态识别模型预先通过驯良样本进行训练，在训练时获取误差参数，根据误差参数的加权求和得到总误差，然后使用随机梯度下降法更新人体姿态识别模型目标函数中的参数。
在本申请的一个实施例中，图2中步骤S230中提取上肢图像数据集中的骨骼关键点序列时，具体包括以下步骤：
对所述上肢图像数据集中的上肢目标进行定位，得到上肢定位坐标；
通过多目标融合跟踪网络对所述上肢定位坐标进行跟踪识别，得到所述上肢定位坐标的跟踪结果序列，所述跟踪结果序列包括所述上肢图像数据集中上下帧图像的上肢定位坐标的特征向量关联度；
根据所述跟踪结果序列得到骨骼关键点序列。
在本实施例中，多目标融合跟踪网络为全卷积网络和重识别网络。当图像中有多个学生目标时，通过上述两个网络进行目标识别跟踪，避免姿态识别目标更换，导致监测结果错误。
在本申请的一个实施例中，图2中步骤S230中在第三模型中所述骨骼关键点序列进行行为识别，得到上肢行为姿态时，具体包括如下步骤：
将所述骨骼关键点序列输入第三模型，所述第三模型为预先训练的骨骼关键点行为识别模型，所述第三模型的损失函数为
Figure BDA0003691007190000121
其中
Figure BDA0003691007190000122
为预测值的损失函数，
Figure BDA0003691007190000123
为标记值的损失函数，所述骨骼关键点行为识别模型包括置信度检测卷积层和连接关系卷积层；
在所述置信度检测卷积层中对所述骨骼关键点序列进行预测，得到上肢关节置信度；
在所述连接关系卷积层中对所述骨骼关键点序列中各骨骼关键点之间的连接关系进行预测，得到连接关系；
根据所述上肢关节置信度和连接关系，得到上肢姿态骨架；
获取所述上肢姿态骨架中各关节部位之间的距离参数，将所述距离参数与预设的距离参数阈值进行比对，得到上肢行为姿态，所述上肢行为姿态包括趴桌、转身、站立。
在步骤S240中，分别将头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。
在本申请的一个实施例中，根据预设的阈值对头部转动姿态、上肢行为姿态进行比较，以确定目标对象的学习状态监测结果。本实施例中，可预设评分阈值，当头部转动姿态、上肢行为姿态超过预设的姿态阈值时，获得分数，不同的姿态对应着不同的分数。
在本申请的一个实施例中，在得到学习状态监测结果后，还包括如下步骤：
将所述头部图像数据集输入预先训练的人脸识别模型中，得到学生身份信息；
将所述学习状态检测结果根据预设的权重参数转化为学习状态评分,所述学习状态评分计算方式为
Figure BDA0003691007190000131
其中
Figure BDA0003691007190000132
为预定时间范围内的抬头次数，
Figure BDA0003691007190000133
为预定时间范围内的低头次数，
Figure BDA0003691007190000134
为预定时间范围内的转头次数，
Figure BDA0003691007190000135
为预设时间范围内的趴桌次数，
Figure BDA0003691007190000136
分别为抬头、低头、转头、趴桌行为对应的权重，匹配所述学习状态评分和学生身份信息，得到各学生的学习状态评分；
若所述学习状态评分低于预设的学习状态评分阈值，则根据所述身份信息获取对应学生的班级、座位、课程安排信息，用于教师对该学生进行标注。
在本实施例中，将学生的学习状态于身份信息相结合，并综合权重获得综合评分，以便教师在后台对学习状态不好的学生标注，在后期针对该学生给出学习、作息建议。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的学习状态监测方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的学习状态监测方法的实施例。
图3是本申请的一示例性实施例示出的学习状态监测装置的一结构示意图。该装置可以应用于图1所示的实施环境，并具体配置在学习状态监测设备101中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
如图3所示，该示例性的学习状态监测装置包括：学习图像分割模块模块401、头部姿态识别模块模块402、上肢行为姿态识别模块403、学习状态检测结果获取模块404。
其中，学习图像分割模块模块401，用于获取教室内学生的学习图像数据集，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集。
头部姿态识别模块模块402，在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态。
上肢行为姿态识别模块403，用于提取所述上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态。
学习状态检测结果获取模块404，用于分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。
需要说明的是，上述实施例所提供的学习状态监测装置与上述实施例所提供的学习状态监测方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的学习状态监测装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
在本申请的一个实施例中，还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个实施例中提供的学习状态监测方法。
图4示出了适于用来实现本申请实施例的计算机设备的计算机***的结构示意图。需要说明的是，图4示出的电子设备的计算机***400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如42所示，计算机***400包括中央处理单元(Central Processing Unit，CPU)401，其可以根据存储在只读存储器(Read-Only Memory，ROM)402中的程序或者从储存部分408加载到随机访问存储器(Random Access Memory，RAM)403中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 403中，还存储有***操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(Input/Output，I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上实施例所述的学习状态监测方法。该计算机可读存储介质可以是上述实施例中描述的计算机设备中所包含的，也可以是单独存在，而未装配入该计算机设备中。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的图像处理方法。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。
在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种学习状态监测方法，其特征在于，包括：
获取教室内学生的学习图像数据集，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；
在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态；
提取所述上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态；
分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。
2.根据权利要求1所述的学习状态监测方法，其特征在于，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集，包括：
根据预设的灰度化处理权重，对所述学***均，得到灰度化处理后的第一学***均计算方式为：I(x,y)＝0.3*IR(x,y)+0.59*IG(x,y)+0.11*IB(x,y),其中I(x,y)为灰度值，IR为图像中的红色分量，IG为图像中的绿色分量，IB为图像中的蓝色分量；
根据预设的二值化阈值，对所示第一学习图像数据集进行二值化处理，得到第二学习图像数据集；
根据预设的感兴趣区域分别截取所述第二学习图像数据集中的头部部分和上肢部分，得到所述头部图像数据集和上肢图像数据集。
3.根据权利要求1所述的学习状态监测方法，其特征在于，在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态，包括：
利用人脸检测算法得到所述头部图像数据集中的人脸矩形框；
将所述人脸矩形框转换为数组形式的人脸坐标，将所示人脸坐标进行逐帧存储，得到人脸坐标数据集；
对所示人脸坐标数据集进行特征点检测，得到人脸特征点集合，所述人脸特征点集合包括左眼角、右眼角、鼻尖、左唇尖、右唇尖、下巴六类特征点集合，所述特征点获取方式为：建立特征点检测矩阵
Figure FDA0003691007180000021
其中，σ为尺度系数，Lxx(x,σ)为在x方向的二阶偏导，Lxy(x,σ)为在xy方向的二阶偏导，Lyy(x,σ)为在y方向的二阶偏导，根据预设的特征点检测矩阵阈值参数δ，得到所述特征点；
在所述的第二模型中对所述六类特征点集合进行头部姿态识别，得到偏转角度；
若所述偏转角度在预设的摇头角度范围内，得到摇头姿态；
若所述偏转角度在预设的低头角度范围内，得到低头姿态；
若所述偏转角度在预设的抬头角度范围内，得到抬头姿态。
4.根据权利要求3所述的学习状态监测方法，其特征在于，将所述人脸矩形框转换为数组形式的人脸坐标，包括：
将所述人脸矩形框中的二维坐标转换为相机坐标，转换方式为：
Figure FDA0003691007180000022
其中
Figure FDA0003691007180000023
为二维坐标，
Figure FDA0003691007180000024
为相机坐标，
Figure FDA0003691007180000025
为相机的内参；
将所述相机坐标转换为世界坐标，转换方式为：
Figure FDA0003691007180000026
Figure FDA0003691007180000027
其中
Figure FDA0003691007180000028
为世界坐标，T为平移矩阵，R为旋转矩阵；
根据所述头部图像数据集中的世界坐标，得到所述人脸坐标。
5.根据权利要求1所述的学习状态监测方法，其特征在于，提取所述上肢图像数据集中的骨骼关键点序列，包括：
对所述上肢图像数据集中的上肢目标进行定位，得到上肢定位坐标；
通过多目标融合跟踪网络对所述上肢定位坐标进行跟踪识别，得到所述上肢定位坐标的跟踪结果序列，所述跟踪结果序列包括所述上肢图像数据集中上下帧图像的上肢定位坐标的特征向量关联度；
根据所述跟踪结果序列得到骨骼关键点序列。
6.根据权利要求1所述的学习状态监测方法，其特征在于，在第三模型中所述骨骼关键点序列进行行为识别，得到上肢行为姿态，包括：
将所述骨骼关键点序列输入第三模型，所述第三模型为预先训练的骨骼关键点行为识别模型，所述第三模型的损失函数为
Figure FDA0003691007180000031
其中
Figure FDA0003691007180000032
为预测值的损失函数，
Figure FDA0003691007180000033
为标记值的损失函数，所述骨骼关键点行为识别模型包括置信度检测卷积层和连接关系卷积层；
在所述置信度检测卷积层中对所述骨骼关键点序列进行预测，得到上肢关节置信度；
在所述连接关系卷积层中对所述骨骼关键点序列中各骨骼关键点之间的连接关系进行预测，得到连接关系；
根据所述上肢关节置信度和连接关系，得到上肢姿态骨架；
获取所述上肢姿态骨架中各关节部位之间的距离参数，将所述距离参数与预设的距离参数阈值进行比对，得到上肢行为姿态，所述上肢行为姿态包括趴桌、转身、站立。
7.根据权利要求1所述的学习状态监测方法，其特征在于，分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果之后，包括：
将所述头部图像数据集输入预先训练的人脸识别模型中，得到学生身份信息；
将所述学习状态检测结果根据预设的权重参数转化为学习状态评分,所述学习状态评分计算方式为
Figure FDA0003691007180000041
其中
Figure FDA0003691007180000042
为预定时间范围内的抬头次数，
Figure FDA0003691007180000043
为预定时间范围内的低头次数，
Figure FDA0003691007180000044
为预定时间范围内的转头次数，
Figure FDA0003691007180000045
为预设时间范围内的趴桌次数，
Figure FDA0003691007180000046
分别为抬头、低头、转头、趴桌行为对应的权重，匹配所述学习状态评分和学生身份信息，得到各学生的学习状态评分；
若所述学习状态评分低于预设的学习状态评分阈值，则根据所述身份信息获取对应学生的班级、座位、课程安排信息，用于教师对该学生进行标注。
8.一种学习状态监测装置，包括：
学习图像分割模块，用于获取教室内学生的学习图像数据集，在第一模型中对所述学习图像数据集进行图像分割，得到头部图像数据集和上肢图像数据集；
头部姿态识别模块，在第二模型中对所述头部图像数据集进行头部姿态识别，得到头部转动姿态；
上肢行为姿态识别模块，用于提取所述上肢图像数据集中的骨骼关键点序列，在第三模型中对所述骨骼关键点序列进行行为识别，得到上肢行为姿态；
学习状态检测结果获取模块，用于分别将所述头部转动姿态、上肢行为姿态与预设的姿态阈值比较，得到学习状态监测结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述学习状态监测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述学习状态监测方法的步骤。
CN202210664223.2A 2022-06-13 2022-06-13 一种学习状态监测方法、装置、设备及介质 Withdrawn CN115019396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210664223.2A CN115019396A (zh) 2022-06-13 2022-06-13 一种学习状态监测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210664223.2A CN115019396A (zh) 2022-06-13 2022-06-13 一种学习状态监测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115019396A true CN115019396A (zh) 2022-09-06

Family

ID=83075539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210664223.2A Withdrawn CN115019396A (zh) 2022-06-13 2022-06-13 一种学习状态监测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115019396A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205764A (zh) * 2022-09-15 2022-10-18 深圳市企鹅网络科技有限公司 基于机器视觉的在线学习专注度监测方法、***及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205764A (zh) * 2022-09-15 2022-10-18 深圳市企鹅网络科技有限公司 基于机器视觉的在线学习专注度监测方法、***及介质

Similar Documents

Publication Publication Date Title
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN111563502B (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN111310731A (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
Oszust et al. Polish sign language words recognition with Kinect
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN108399386A (zh) 饼图中的信息提取方法及装置
CN111241989A (zh) 图像识别方法及装置、电子设备
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN111222486A (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN113706562B (zh) 图像分割方法、装置、***及细胞分割方法
CN114332911A (zh) 一种头部姿态检测方法、装置及计算机设备
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN114332927A (zh) 课堂举手行为检测方法、***、计算机设备和存储介质
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
Xu et al. A novel method for hand posture recognition based on depth information descriptor
Abdulhamied et al. Real-time recognition of American sign language using long-short term memory neural network and hand detection
CN111144374A (zh) 人脸表情识别方法及装置、存储介质和电子设备
Saman et al. Image Processing Algorithm for Appearance-Based Gesture Recognition
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN114663835A (zh) 一种行人跟踪方法、***、设备及存储介质
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220906

WW01 Invention patent application withdrawn after publication