CN113361352A - 基于行为识别的学生课堂行为分析的监控方法及*** - Google Patents
基于行为识别的学生课堂行为分析的监控方法及*** Download PDFInfo
- Publication number
- CN113361352A CN113361352A CN202110586729.1A CN202110586729A CN113361352A CN 113361352 A CN113361352 A CN 113361352A CN 202110586729 A CN202110586729 A CN 202110586729A CN 113361352 A CN113361352 A CN 113361352A
- Authority
- CN
- China
- Prior art keywords
- joints
- behavior
- information
- bones
- classroom
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 238000004458 analytical method Methods 0.000 title claims abstract description 24
- 230000006399 behavior Effects 0.000 claims abstract description 102
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 62
- 238000010586 diagram Methods 0.000 claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于行为识别的学生课堂行为分析的监控方法，包括采集人体行为的视频信息以及人体骨架图关键点的深度信息；将采集到的图像通过姿势识别算法提取到学生行为骨架图；通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，并反馈给教师。本发明能够对课堂的学生一系列学习行为进行分析，减轻课堂负担。此外，本发明还公开了基于行为识别的学生课堂行为分析的监控***。
Description
技术领域
本发明属于人体行为识别的技术领域，具体涉及基于行为识别的学生课堂行为分析的监控方法。
背景技术
人体行为识别目的是从视频中分析和理解个体的行为以及多个个体之间的交互行为。人体行为识别技术广泛应用在诸多领域，例如安防监控***、智能医疗监护***、人机交互***等等，在教育领域的应用并不常见，但这不代表行为识别技术在教育方面有适用性的不足。反而，随着如今信息数字化的飞速发展，人体行为识别技术在教育领域有着广阔的发展前景。
课堂教学在如今的教育教学中占有举足轻重的地位，而学生在课堂上的行为表现是课堂教学评价的主要组成部分，对教学质量有着极大的影响。在传统的课堂教学中，教师获取课堂反馈的方式耗时耗力，一种是通过课堂上观察学生的课堂行为，或者通过课后观看课堂录像，还有一种是通过学生的课后作业了解学生课堂的学习情况。这样教师既要兼顾课堂教学内容的质量，同时还要监督学生课堂是否认真听讲，如此会耗费教师大量的时间和精力，导致教师筋疲力尽，无法保证课堂教学质量，且教师无法每时每刻关注到每一位学生的听课情况。
目前针对课堂场景的人工智能技术主要应用在表情和语音识别方面，对人体行为方面的识别较少，更多的是存在一些利用穿戴式设备对人体动作进行识别。而这些设备会对学生的学习情况有一定的干扰，使得收集到的数据与真实课堂数据有一定误差，导致识别结果不准确。然而因为学生在课堂上的行为多种多样，且背景复杂，学生行为识别结果容易受到一些无关的因素影响，例如光照、衣着、摄像机视点等等，如若没有大量的数据进行支撑学习，很难准确识别学生行为。目前市面上使用广泛的监控***仅仅只包含监控的作用，需要教学人员课后自行查看才能了解学生的课堂行为，无法在课堂上进行持续性的观察与监督。
发明内容
本发明的目的之一在于：针对现有技术的不足，提供基于行为识别的学生课堂行为分析的监控方法，能够对课堂的学生一系列学习行为进行分析，从而对课堂的学生参与情况以及活跃程度等等进行反馈评价，让教师更加直观的了解到课堂的学生听课情况，帮助教师调整教学策略、改进教学方式，减轻课堂负担。
为了实现上述目的，本发明采用如下技术方案：
基于行为识别的学生课堂行为分析的监控方法，包括：
采集人体行为的视频信息以及人体骨架图关键点的深度信息；
将采集到的图像通过姿势识别算法提取到学生行为骨架图；
通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；
在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，然后对分析数据进行存储，并反馈给教师。
作为本发明所述的基于行为识别的学生课堂行为分析的监控方法的一种改进，采集人体行为的设备包括深度相机和监控摄像机，所述深度相机和所述监控摄像机悬挂在教室天花板的前后左右四个方向。
作为本发明所述的基于行为识别的学生课堂行为分析的监控方法的一种改进，所述姿势识别算法为OpenPose姿势识别算法，所述深度相机为Kinect深度相机。
作为本发明所述的基于行为识别的学生课堂行为分析的监控方法的一种改进，所述骨架图包括25个关节点和24条骨骼，每个骨骼为从其源关节指向其目标关节的向量，包含长度信息和方向信息。
作为本发明所述的基于行为识别的学生课堂行为分析的监控方法的一种改进，所述骨架图的特征包括空间特征和时间特征，所述空间特征从关节和骨骼提取，所述关节为3D坐标，所述骨骼为两个关节坐标之差，所述时间特征为运动信息，所述运动信息包括位移、关节方向、运动速度及加速度。
本发明的目的之二在于提供基于行为识别的学生课堂行为分析的监控***，包括：
数据采集模块，用于采集人体行为的视频信息以及人体骨架图关键点的深度信息；
数据预处理模块，用于将采集到的图像通过姿势识别算法提取到学生行为骨架图；
行为识别模块，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测。
本发明的有益效果在于，本发明包括采集人体行为的视频信息以及人体骨架图关键点的深度信息；将采集到的图像通过姿势识别算法提取到学生行为骨架图；通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，然后对分析数据进行存储，并反馈给教师。将行为识别技术结合到课堂教学中，在教室搭建一个能够自动记录学生课堂行为的***，可以根据教师的要求自动录制学生的上课视频并保存，在事后可以对学生课堂行为进行分析展示，还能对课堂上学生的动作进行识别，例如举手、睡觉、玩手机、写字、吃东西等等典型学生课堂行为，在需要的情况可对教师进行提示，同时进行记录并保存，实现一套可供教师使用的交互行为测量***。本发明能够对课堂的学生一系列学习行为进行分析，从而对课堂的学生参与情况以及活跃程度等等进行反馈评价，让教师更加直观的了解到课堂的学生听课情况，帮助教师调整教学策略、改进教学方式，减轻课堂负担。
附图说明
下面将参考附图来描述本发明示例性实施方式的特征、优点和技术效果。
图1为本发明的行为识别的示意图。
图2为本发明的Kinect深度相机示意图。
图3为本发明的整体***框架图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合附图1～3对本发明作进一步详细说明，但不作为对本发明的限定。
基于行为识别的学生课堂行为分析的监控方法，包括：
采集人体行为的视频信息以及人体骨架图关键点的深度信息；
将采集到的图像通过姿势识别算法提取到学生行为骨架图；
通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；
在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，然后对分析数据进行存储，并反馈给教师。
采集人体行为的设备包括深度相机和监控摄像机，深度相机和监控摄像机悬挂在教室天花板的前后左右四个方向。
姿势识别算法为OpenPose姿势识别算法，深度相机为Kinect深度相机。
骨架图包括25个关节点和24条骨骼，每个骨骼为从其源关节指向其目标关节的向量，包含长度信息和方向信息。
骨架图的特征包括空间特征和时间特征，空间特征从关节和骨骼提取，关节为3D坐标，骨骼为两个关节坐标之差，时间特征为运动信息，运动信息包括位移、关节方向、运动速度及加速度。
Kinect传感器是人体行为识别领域使用最为广泛的信息采集设备，该设备由三个部分组成：一个是RGB彩色摄像机，作用为摄像，采集RGB视频信息，一个是外线发射器，一个为深度感应器。Kinect可采集到视频原始图像以及深度数据，彩色图像规格为1920*1080，深度图像规格为512*424。
Kinect传感器需要悬挂在教室的天花板，通过***的测量它的覆盖范围以及调整它的俯视角，能够解决学生密集时产生的遮挡问题，也不会影响到教师的教学。Kinect传感器获取人体行为数据，后端将所得的数据一份作为统计信息收集整理并存储，一份传给用户，给教师选择查看学生行为。并对学生行为进行标定，能够检测到当学生有不认真听讲行为或课堂互动行为时，向教师发送提示信息。
总体的执行流程图可参考图3，具体的：
步骤一、数据采集
由于教室内人数众多，如果将Kinect深度相机放置在教室里学生正前方，不仅会造成学生遮挡的问题，也会影响课堂教学，因此，将Kinetc深度相机与监控摄像悬挂在教室天花板的前后左右四个方向，分别得到四个方向的深度信息。要保证Kinect深度相机的检测范围能够覆盖所有的座位，并且在教室里坐满人的情况下，Kinect深度相机的检测范围内不可有遮挡的情况。
在教室的天花板前后左右四个方向悬挂Kinect深度相机，实时采集学生课堂上的各种行为信息，例如学生不认真听讲的一系列行为，包括睡觉、吃东西、玩手机、聊天等等，再比如学生的课堂互动行为，包括举手等。采集到的数据形式为彩色图像以及深度图像。
步骤二、数据预处理
在对学生课堂的行为进行识别和分析过程中，人体骨架信息比视频信息更加具有鲁棒性，因为人体骨架信息可以突出学生动作的关键信息，不受外界与课堂行为无关因素的影响，例如学生着装、教室背景、学生体态、光照强度、摄像机视角等等，从而减小行为识别的复杂度，增加行为识别的准确度。
通过Kinect深度相机可采集人体行为的视频信息以及人体骨架图关键点的深度信息。对采集到的视频数据进行人体骨架信息提取。人体骨架信息可以通过OpenPose提取，OpenPose人体姿态识别是美国***梅隆大学基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。OpenPose采用自下而上式检测人体骨骼关节点，首先通过网络预测人体部位检测的置信度，检测出人体关键骨骼点的位置，在得到关键骨骼点的位置后，通过网络预测的对部位进行关联的部位之间的亲和度，最后通过贪婪算法解析置信度和亲和度，将关键点之间连接，从而就可以得到人体动作骨架图信息。
由于人类自然地根据人体骨骼的方向和位置而不是关节的位置来评估动作，并且关节和骨骼是强耦合的，从骨骼中提取有效的空间特征和时间特征也能帮助进行动作识别。人体骨骼数据的一阶信息为关节的2D或3D坐标，通常骨骼的长度和方向对于动作识别也会提供更多的信息和判别能力，所以为了利用表示两个关节之间的骨骼特征的二阶信息，将骨骼的长度和方向表示为从其源关节指向目标关节的向量。将一阶信息与二阶信息通过模型融合来达到进一步提高性能的效果。
将采集到的图像利用OpenPose姿势识别算法提取到学生行为骨架图。骨架图由25个关节点与24条骨骼边组成，是人体关节与骨骼的自然结构呈现。每一帧中的原始骨架数据始终作为向量序列提供，每个矢量表示相应人体关节的二维或三维坐标。
每条骨骼边都由两个关节绑定，我们将靠近人体重心的关节定义为源关节，远离重心的关节定义为目标关节。每个骨骼都表示为从其源关节指向其目标关节的向量，其中不仅包含长度信息，还包含方向信息。例如，给定一个具有源关节v1＝(x1，y1，z1)和目标关节v2＝(x2，y2，z2)的骨骼，该骨骼的向量计算为
步骤三、行为识别
利用图卷积神经网络对提取到的骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图。因此，该模型的输入是图节点上的关节坐标向量。这可以看作是基于图像的模拟CNN，其中输入由位于2D图像网格上的像素向量形成。在输入数据上采用多层时空图卷积运算，在图上生成更高层次的特征图。然后，它将被标准SoftMax分类器分类为相应的动作类别。整个模型采用反向传播的方法进行端到端的训练。
骨架图构造为一个无向时空图g＝(V，E)，该序列具有点和帧间连接的特征。在骨架图中，所有关节表示为节点集v＝{vti|t＝1，..，T，i＝1，...N}，作为模型的输入，节点集(vti)上的特征向量包含坐标向量，以及帧t上第i关节的估计置信度。骨骼边集E由两个子集组成，第一个子集描述每个帧的骨架内连接，表示为Es＝{vtivtj|(ij)∈H}，其中H是自然连接的人体关节集。第二个子集包含帧间边，这些边连接连续帧中的相同关节，图卷积公式为：
其中w为权重函数，规范化项Zti(vtj)等于相应子集的基数，添加此项是为了平衡不同子集对输出的贡献。
在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，用于提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测。该网络能将信息传播到相邻关节和骨骼中，并能更新它们在各层中的相关信息。更新的过程为节点的属性及其输入边和输出边的属性被组合以获得更新的节点。边本身的属性以及其源节点和目标节点的属性被组合以获得更新的边。最终提取的特征不仅包含了每个关节和骨骼的信息，还包含了它们之间的依赖关系，有利于动作识别。
人体骨架的特征包括空间特征和时间特征，空间特征从关节和骨骼提取。关节表示为3D坐标，骨骼表示为两个关节坐标之差。时间特征一般表示为运动信息，运动信息包括位移、关节方向、运动速度、加速度等等。由于骨骼数据表示为关节的坐标，因此，将关节的运动信息计算为沿时间维度的坐标差。类似地，骨骼的变形表示为连续帧中同一骨骼的向量之差。形式上，关节v在时间t中的运动计算为
骨骼的变形定义与
类似。与空间信息建模一样，将运动信息公式化为有向无环图序列
其中
然后，将运动信息馈送到模型，以对动作标签进行预测。
通过前面对学生课堂学习视频的采集以及预处理，可以得到学生课堂行为的骨架图信息，传统的基于深度学习的方法将骨架手动构造为关节坐标矢量序列或伪图像，将其馈送到递归神经网络(RNN)或卷积神经网络(CNN)中以生成预测，但是，将骨架数据表示为矢量序列或2D网格无法完全表达相关关节之间的依赖性。故而将骨骼自然的以图的形式构造，关节为节点，骨骼为边。
使用图卷积神经网络(GCN)将卷积神经网络拓展到人体骨骼图数据这种非欧几里得数据上，从而进行人体行为的识别。对图像而言，一些大小固定的卷积核作用于输入图像时，映射的像素矩阵是每个扫描中心邻近与权重矩阵大小相同的区域。对人体骨架图结构来说，节点的邻域需要进行分组定义，通过划分定义属于不同邻域的节点的权重。我们使用距离分割也就是根据节点到根节点的距离来对邻接集进行定义，邻接集被划分为两个子集，一个子集是根节点本身，另一个子集是与根节点的距离为d＝1的节点，不同的子集学习不同的权重。
该算法模块由图卷积神经网络组成，包含十层基本时空卷积块，每一个基本时空卷积块包含一个空间GCN、一个时间GCN、一个dropout层，空间GCN和时间GCN之后是批处理规范化(BN)层和ReLU激励函数层。每个块的输出通道数为64、64、64、64、128、128、128、256、256和256。在开始处添加一个数据BN层以规范化输入数据，在不同样本到相同大小的特征映射上进行池化操作执行全局平均池层，最后的输出被发送到softmax分类器以获得预测结果。
将前两个阶段获取到的人体骨架图信息以及骨骼信息馈送到行为识别模块进行识别分析，主要是对学生在课堂上进行交互式行为(例如举手、起立)或者不专注听课行为(例如睡觉、玩手机、吃东西)进行识别。
基于行为识别的学生课堂行为分析的监控***，包括：
数据采集模块，用于采集人体行为的视频信息以及人体骨架图关键点的深度信息；
数据预处理模块，用于将采集到的图像通过姿势识别算法提取到学生行为骨架图；
行为识别模块，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。
Claims (6)
1.基于行为识别的学生课堂行为分析的监控方法，其特征在于，包括：
采集人体行为的视频信息以及人体骨架图关键点的深度信息；
将采集到的图像通过姿势识别算法提取到学生行为骨架图；
通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图；
在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测，然后反馈给教师。
2.如权利要求1所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：采集人体行为的设备包括深度相机和监控摄像机，所述深度相机和所述监控摄像机悬挂在教室天花板的前后左右四个方向。
3.如权利要求2所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：所述姿势识别算法为OpenPose姿势识别算法，所述深度相机为Kinect深度相机。
4.如权利要求1所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：所述骨架图包括25个关节点和24条骨骼，每个骨骼为从其源关节指向其目标关节的向量，包含长度信息和方向信息。
5.如权利要求1所述的基于行为识别的学生课堂行为分析的监控方法，其特征在于：所述骨架图的特征包括空间特征和时间特征，所述空间特征从关节和骨骼提取，所述关节为3D坐标，所述骨骼为两个关节坐标之差，所述时间特征为运动信息，所述运动信息包括位移、关节方向、运动速度及加速度。
6.基于行为识别的学生课堂行为分析的监控***，其特征在于，包括：
数据采集模块，用于采集人体行为的视频信息以及人体骨架图关键点的深度信息；
数据预处理模块，用于将采集到的图像通过姿势识别算法提取到学生行为骨架图；
行为识别模块，通过图卷积神经网络对骨架图进行特征提取，给定身体关节的2D或者3D形式的坐标的序列，构造了一个以关节为节点，以人体结构和时间为边的自然连通的时空图，并在卷积过程中，根据人体关节和骨骼之间的运动相关性，将骨骼数据表示为有向图，提取关节、骨骼及其相互关系的信息，并根据提取的特征进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586729.1A CN113361352A (zh) | 2021-05-27 | 2021-05-27 | 基于行为识别的学生课堂行为分析的监控方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110586729.1A CN113361352A (zh) | 2021-05-27 | 2021-05-27 | 基于行为识别的学生课堂行为分析的监控方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361352A true CN113361352A (zh) | 2021-09-07 |
Family
ID=77527967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110586729.1A Pending CN113361352A (zh) | 2021-05-27 | 2021-05-27 | 基于行为识别的学生课堂行为分析的监控方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361352A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898460A (zh) * | 2022-04-22 | 2022-08-12 | 华中师范大学 | 一种基于图卷积神经网络的教师非言语行为检测方法 |
| CN116434339A (zh) * | 2023-04-13 | 2023-07-14 | 江南大学 | 基于骨架数据时空特征差异性和相关性的行为识别方法 |
| CN117315791A (zh) * | 2023-11-28 | 2023-12-29 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
| CN117523677A (zh) * | 2024-01-02 | 2024-02-06 | 武汉纺织大学 | 一种基于深度学习的课堂行为识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395945A (zh) * | 2020-10-19 | 2021-02-23 | 北京理工大学 | 基于骨骼关节点的图卷积行为识别方法及装置 |
| CN112633209A (zh) * | 2020-12-29 | 2021-04-09 | 东北大学 | 一种基于图卷积神经网络的人类动作识别方法 |
-
2021
- 2021-05-27 CN CN202110586729.1A patent/CN113361352A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395945A (zh) * | 2020-10-19 | 2021-02-23 | 北京理工大学 | 基于骨骼关节点的图卷积行为识别方法及装置 |
| CN112633209A (zh) * | 2020-12-29 | 2021-04-09 | 东北大学 | 一种基于图卷积神经网络的人类动作识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王志华: "基于时空图卷积神经网络的人体动作识别研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
| 赵杰等: "《智能机器人技术：安保、巡逻、处置类警用机器人研究实践》", 31 January 2021 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898460A (zh) * | 2022-04-22 | 2022-08-12 | 华中师范大学 | 一种基于图卷积神经网络的教师非言语行为检测方法 |
| CN114898460B (zh) * | 2022-04-22 | 2024-04-26 | 华中师范大学 | 一种基于图卷积神经网络的教师非言语行为检测方法 |
| CN116434339A (zh) * | 2023-04-13 | 2023-07-14 | 江南大学 | 基于骨架数据时空特征差异性和相关性的行为识别方法 |
| CN116434339B (zh) * | 2023-04-13 | 2023-10-27 | 江南大学 | 基于骨架数据时空特征差异性和相关性的行为识别方法 |
| CN117315791A (zh) * | 2023-11-28 | 2023-12-29 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
| CN117315791B (zh) * | 2023-11-28 | 2024-02-20 | 杭州华橙软件技术有限公司 | 骨骼动作识别方法、设备及存储介质 |
| CN117523677A (zh) * | 2024-01-02 | 2024-02-06 | 武汉纺织大学 | 一种基于深度学习的课堂行为识别方法 |
| CN117523677B (zh) * | 2024-01-02 | 2024-06-11 | 武汉纺织大学 | 一种基于深度学习的课堂行为识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113361352A (zh) | 基于行为识别的学生课堂行为分析的监控方法及*** | |
| US11270526B2 (en) | Teaching assistance method and teaching assistance system using said method | |
| CN107330437B (zh) | 基于卷积神经网络目标实时检测模型的特征提取方法 | |
| CN108875708A (zh) | 基于视频的行为分析方法、装置、设备、***及存储介质 | |
| CN109919251A (zh) | 一种基于图像的目标检测方法、模型训练的方法及装置 | |
| CN113807276B (zh) | 基于优化的YOLOv4模型的吸烟行为识别方法 | |
| CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
| CN109284737A (zh) | 一种用于智慧教室的学生行为分析和识别*** | |
| Li et al. | Sign language recognition based on computer vision | |
| JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| CN110826453A (zh) | 一种通过提取人体关节点坐标的行为识别方法 | |
| CN104572804A (zh) | 一种视频物体检索的方法及其*** | |
| CN102609724B (zh) | 一种基于双摄像头的周围环境信息提示方法 | |
| CN109684969A (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN106815563B (zh) | 一种基于人体表观结构的人群数量预测方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、***、电子设备及存储介质 | |
| CN114241379A (zh) | 一种乘客异常行为识别方法、装置、设备及乘客监控*** | |
| CN112270381A (zh) | 基于深度学习的人流量检测方法 | |
| CN113781519A (zh) | 目标跟踪方法和目标跟踪装置 | |
| CN112308746A (zh) | 一种教学状态评估方法、装置及电子设备 | |
| CN107610224A (zh) | 一种基于弱监督与明确闭塞建模的3d汽车对象类表示算法 | |
| CN114898460A (zh) | 一种基于图卷积神经网络的教师非言语行为检测方法 | |
| CN116682178A (zh) | 密集场景下的多人姿态检测方法 | |
| CN114639168B (zh) | 一种用于跑步姿态识别的方法和*** | |
| CN116416678A (zh) | 一种运用人工智能技术实现动作捕捉及智能评判的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |