CN111814556A - 一种基于计算机视觉的教学辅助方法和*** - Google Patents
一种基于计算机视觉的教学辅助方法和*** Download PDFInfo
- Publication number
- CN111814556A CN111814556A CN202010518543.8A CN202010518543A CN111814556A CN 111814556 A CN111814556 A CN 111814556A CN 202010518543 A CN202010518543 A CN 202010518543A CN 111814556 A CN111814556 A CN 111814556A
- Authority
- CN
- China
- Prior art keywords
- face
- student
- head
- attention state
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008921 facial expression Effects 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000013519 translation Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 230000008451 emotion Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 8
- 238000012417 linear regression Methods 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000005477 standard model Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000007621 cluster analysis Methods 0.000 claims description 2
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
一种基于计算机视觉的教学辅助方法和***。所述方法包括：步骤一，通过摄像头采集学生视频，并将学生视频截取为视频序列；步骤二，对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；步骤三，从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；步骤四，将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息；步骤五，对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图；步骤五，将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。本发明针对课堂开发一个可以判断学生课堂注意状态，并通过不同形式反馈给学生、家长与教师的方法。
Description
技术领域
本申请一般涉及图像识别领域，尤其涉及基于计算机视觉的教学辅助***。
背景技术
在课堂教学目的方面，对比过去过于把记住一些知识放在首位，如今教育更强***感态度与价值观、过程与方法、知识与技能“三维”目标的达成。在课堂教学评价方面，跳出以前评估把目光放在选拔上的桎梏，而赋予了评价“改善教学质量、帮助孩子发展”的新意义。
在传统的教学中，存在一个难以解决的问题，即教师的精力有限，因此每一个学生都不能充分考虑自己在课堂上是否全神贯注，对教学内容理解能否做到鞭辟入里。同时过去的面授课堂中存在着评估标准单一、反馈滞后、关注结果而不是经过等问题。
而对于课堂教学质量评价，不同的学校与教育机构各自运行其不同的方法或体系，并没有一个统一的标准，因而课堂教学评价受到主观影响较大。传统课堂教学评价多采用人工记录、课后调查等记录信息不准确全面，人为主观因素过多的方式，对真正提高课堂教学质量起到的作用不大。
将基于人工智能的人脸检测、表情识别、人脸比对与姿态估计等计算机视觉领域技术与教育相结合，为传统教育的改革提供了一条新的思路。
发明内容内容
鉴于现有技术中的上述缺陷或不足，提供一种基于计算机视觉的教学辅助方法和***。该方法结合人工智能算法，通过对课堂上学生的表情、头部姿态等进行识别后计算和分析统计，针对课堂开发一个可以判断学生课堂注意状态，并通过不同形式反馈给学生、家长与教师的方法。
第一方面，本申请实施例提供了一种基于计算机视觉的教学辅助方法，其特征在于，该方法包括：
步骤一，通过摄像头采集学生视频，并将学生视频截取为视频序列；
步骤二，对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；
步骤三，从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；
步骤四，将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息，并将人脸图片、人脸模板、学生三项联合查询，将匹配成功的数据录入学生表格，若学生已有旧的信息，则更新注意状态评分为旧值和新值的平均值；
步骤五，对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图，其中群体级别包括班级、年级、学校三个级别，统计周期包括日、周、月、年；
步骤五，将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。
第二方面，本申请实施例提供了一种基于计算机视觉的教学辅助***，其特征在于，该***包括：
采集模块，用于通过摄像头采集学生视频，并将学生视频截取为视频序列；
人脸识别模块，用于对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；
存储模块，用于将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息，并将人脸图片、人脸模板、学生三项联合查询，将匹配成功的数据录入学生表格，若学生已有旧的信息，则更新注意状态评分为旧值和新值的平均值；
分析模块，用于对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图，其中群体级别包括班级、年级、学校三个级别，统计周期包括日、周、月、年；
显示模块，用于将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现本申请实施例描述的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例提供的教学辅助流程图；
图2示出了本申请教师端辅助功能图；
图3示出了本申请家长端辅助功能图；
图4示出了本申请学生端辅助功能图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，图1示出了本申请实施例提供的电除尘***智能节能优化流程示意图。如图1所示，该方法包括：
步骤一，通过摄像头采集学生视频，并将学生视频截取为视频序列；
步骤二，对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；
步骤三，从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；
步骤四，将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息，并将人脸图片、人脸模板、学生三项联合查询，将匹配成功的数据录入学生表格，若学生已有旧的信息，则更新注意状态评分为旧值和新值的平均值；
步骤五，对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图，其中群体级别包括班级、年级、学校三个级别，统计周期包括日、周、月、年；
步骤五，将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。具体应用实例包括：经过对某个学生学期内的学***均注意状态，结合课程的平均上课时段，计算得到该学生对不同科目的喜好程度，提醒老师、家长和学生对偏科科目加强学习。
其中，进行人脸检测具体包括：
从已有人脸的文件夹中循环读取人脸图片，使用OpenCV的plt读取图片，并使用numpy的array将图片转化为包含宽度、高度、通道三维度的存储格式；
使用Dlib定义的人脸识别检测算子detector开始检测人脸，返回人脸特征；
计算待检测人脸和已有人脸文件夹中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则告知“无匹配身份”。
进行头部姿态估计具体包括：
使用X，Y，Z三个方向自由度标识头部平移运动，使用滚动、俯仰、偏航三个自由度来标识头部旋转运动；
读入图片后，抽取头部姿态估计所需要的点坐标，获取头部标准模型的旋转向量和平移向量；
将旋转向量转换为欧拉角，得到用于判断头部姿态的滚动、俯仰、偏航三个角度；
使用6个自定义特征点的头部位置，即坐标为(0.0,0.0,0.0)的鼻尖，坐标为(0.0,-330.0,-65.0)的下巴尖，坐标为(-225.0,170.0,-135.0)的左眼左角，坐标为(225.0,170.0,-135.0)‘的右眼右角，坐标为(-150.0,-150.0,-125.0)的左嘴角，坐标为(150.0,-150.0,-125.0)的右嘴角；使用函数solvePnP用于获得平移，旋转矩阵，输入标准人脸模型特征点3D坐标、真实图像特征点2D坐标、由多张图片标定的相机内参矩阵与畸变参数，输出旋转向量与平移矩阵；
使用四维向量表示头部在三维空间的旋转，四维向量是(w,x,y,z)，计算公式是：w＝cos(α/2),x＝sin(α/2)cos(βx),y＝sin(α/2)cos(βy),z＝sin(α/2)cos(βz)，其中α是绕旋转轴转过的角度，(βx,βy,βz)为Axis-Angle表示方法中Axis的单位向量；
将四维向量转换成欧拉角，转换公式是：
φ＝arctan(2(wx+yz)/(1-2(x2+y2))),θ＝arcsin(2(wy-zx)),
ψ＝arctan(2(wz+xy)/(1-2(y2+z2)))，其中φ,θ,ψ分别表示围绕X轴旋转的俯仰角，围绕Y轴旋转的偏航角，围绕Z轴旋转的翻滚角。
头部姿态数据格式如表1所示：
表1
进行学生注意状态检测的具体步骤包括：
输入已检测的人脸静态图像；
计算头部姿态；
通过线性回归预测头部姿态注意状态，并进行评分，如果低于阈值则输出注意状态，如果高于阈值则识别面部情绪，对面部情绪进行分类，通过线性回归预测面部表情注意状态评分，综合头部姿态注意状态和面部表情注意状态进行评分，
综合评分S＝λ*Shead+μ*Sface，其中Shead为头部姿态注意状态评分，Sface为面部表情注意状态评分，λ和μ分别为头部姿态注意状态和面部表情注意状态的评分权重；
将最终得到的注意状态进行输出。
面部表情识别结果如表2所示：
表2
进行注意状态判断规则如下：
向教师推送的学生课堂分析图包括不同班级和课程的课堂学生注意状态变化、状态分布，教师还可以选择日、周、月、年的注意状态变化趋势和平均注意状态，可以作为学生或的老师的评价参考；
向家长推送的学生课堂分析图包括学生在课堂的注意状态、当天的注意状态、设定的统计周期的注意状态；
向学生推送的学生课堂分析图包括自己当天的注意状态变化和分布、设定的统计周期的注意状态。
对教室中坐在不同位置的学生注意状态进行聚类分析，通过聚类结果挖掘出注意力不够集中的区域，提醒教师通过调整位置提高课堂整体听课效果，具体包括：
从教室里学生注意状态数据中进行特征数据提取，得到特征数据集，随机选取k个特征数据作为聚类中心，k为正整数；
计算特征数据与每个聚类中心之间的距离，将该特征数据放入最小距离对应的聚类中心所在的聚类中，得到k个临时聚类；
对k个临时聚类重新生成聚类中心；
重复执行针对特征数据集中的每个特征数据，计算特征数据与每个聚类中心之间的距离，将特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到k个临时聚类的步骤，直到迭代次数达到预设次数；
将得到的k个临时聚类结果进行输出。
本申请又一实施例提供了基于计算机视觉的教学辅助***，其特征在于，该***包括：采集模块，用于通过摄像头采集学生视频，并将学生视频截取为视频序列；
人脸识别模块，用于对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；
存储模块，用于将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息，并将人脸图片、人脸模板、学生三项联合查询，将匹配成功的数据录入学生表格，若学生已有旧的信息，则更新注意状态评分为旧值和新值的平均值；
分析模块，用于对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图，其中群体级别包括班级、年级、学校三个级别，统计周期包括日、周、月、年；
显示模块，用于将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。
优选的，人脸识别模块还用于：
从已有人脸的文件夹中循环读取人脸图片，使用OpenCV的plt读取图片，并使用numpy的array将图片转化为包含宽度、高度、通道三维度的存储格式；
使用Dlib定义的人脸识别检测算子detector开始检测人脸，返回人脸特征；
计算待检测人脸和已有人脸文件夹中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则告知“无匹配身份”；
使用X，Y，Z三个方向自由度标识头部平移运动，使用滚动、俯仰、偏航三个自由度来标识头部旋转运动；
读入图片后，抽取头部姿态估计所需要的点坐标，获取头部标准模型的旋转向量和平移向量；
将旋转向量转换为欧拉角，得到用于判断头部姿态的滚动、俯仰、偏航三个角度；
使用6个自定义特征点的头部位置，即坐标为(0.0,0.0,0.0)的鼻尖，坐标为(0.0,-330.0,-65.0)的下巴尖，坐标为(-225.0,170.0,-135.0)的左眼左角，坐标为(225.0,170.0,-135.0)‘的右眼右角，坐标为(-150.0,-150.0,-125.0)的左嘴角，坐标为(150.0,-150.0,-125.0)的右嘴角；使用函数solvePnP用于获得平移，旋转矩阵，输入标准人脸模型特征点3D坐标、真实图像特征点2D坐标、由多张图片标定的相机内参矩阵与畸变参数，输出旋转向量与平移矩阵；
使用四维向量表示头部在三维空间的旋转，四维向量是(w,x,y,z)，计算公式是：w＝cos(α/2),x＝sin(α/2)cos(βx),y＝sin(α/2)cos(βy),z＝sin(α/2)cos(βz)，其中α是绕旋转轴转过的角度，(βx,βy,βz)为Axis-Angle表示方法中Axis的单位向量；
将四维向量转换成欧拉角，转换公式是：
φ＝arctan(2(wx+yz)/(1-2(x2+y2))),θ＝arcsin(2(wy-zx)),
ψ＝arctan(2(wz+xy)/(1-2(y2+z2)))，其中φ,θ,ψ分别表示围绕X轴旋转的俯仰角，围绕Y轴旋转的偏航角，围绕Z轴旋转的翻滚角；
输入已检测的人脸静态图像；
计算头部姿态；
通过线性回归预测头部姿态注意状态，并进行评分，如果低于阈值则输出注意状态，如果高于阈值则识别面部情绪，对面部情绪进行分类，通过线性回归预测面部表情注意状态评分，综合头部姿态注意状态和面部表情注意状态进行评分，
综合评分S＝λ*Shead+μ*Sface，其中Shead为头部姿态注意状态评分，Sface为面部表情注意状态评分，λ和μ分别为头部姿态注意状态和面部表情注意状态的评分权重；
将最终得到的注意状态进行输出。
作为另一方面，本申请还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如描述于本申请的教学辅助方法。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于计算机视觉的教学辅助方法，其特征在于，该方法包括：
步骤一，通过摄像头采集学生视频，并将学生视频截取为视频序列；
步骤二，对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；
步骤三，从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；
步骤四，将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息，并将人脸图片、人脸模板、学生三项联合查询，将匹配成功的数据录入学生表格，若学生已有旧的信息，则更新注意状态评分为旧值和新值的平均值；
步骤五，对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图，其中群体级别包括班级、年级、学校三个级别，统计周期包括日、周、月、年；
步骤五，将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。
2.根据权利要求1所述的方法，其特征在于，进行人脸检测具体包括：
从已有人脸的文件夹中循环读取人脸图片，使用OpenCV的plt读取图片，并使用numpy的array将图片转化为包含宽度、高度、通道三维度的存储格式；
使用Dlib定义的人脸识别检测算子detector开始检测人脸，返回人脸特征；
计算待检测人脸和已有人脸文件夹中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则告知“无匹配身份”。
3.根据权利要求2所述的方法，其特征在于，进行头部姿态估计具体包括：
使用X，Y，Z三个方向自由度标识头部平移运动，使用滚动、俯仰、偏航三个自由度来标识头部旋转运动；
读入图片后，抽取头部姿态估计所需要的点坐标，获取头部标准模型的旋转向量和平移向量；
将旋转向量转换为欧拉角，得到用于判断头部姿态的滚动、俯仰、偏航三个角度；
使用6个自定义特征点的头部位置，即坐标为(0.0,0.0,0.0)的鼻尖，坐标为(0.0,-330.0,-65.0)的下巴尖，坐标为(-225.0,170.0,-135.0)的左眼左角，坐标为(225.0,170.0,-135.0)‘的右眼右角，坐标为(-150.0,-150.0,-125.0)的左嘴角，坐标为(150.0,-150.0,-125.0)的右嘴角；
使用函数solvePnP用于获得平移，旋转矩阵，输入标准人脸模型特征点3D坐标、真实图像特征点2D坐标、由多张图片标定的相机内参矩阵与畸变参数，输出旋转向量与平移矩阵；
使用四维向量表示头部在三维空间的旋转，四维向量是(w,x,y,z)，计算公式是：
w＝cos(α/2),x＝sin(α/2)cos(βx),y＝sin(α/2)cos(βy),z＝sin(α/2)cos(βz)，其中α是绕旋转轴转过的角度，(βx,βy,βz)为Axis-Angle表示方法中Axis的单位向量；
将四维向量转换成欧拉角，转换公式是：
φ＝arctan(2(wx+yz)/(1-2(x2+y2))),θ＝arcsin(2(wy-zx)),
ψ＝arctan(2(wz+xy)/(1-2(y2+z2)))，其中φ,θ,ψ分别表示围绕X轴旋转的俯仰角，围绕Y轴旋转的偏航角，围绕Z轴旋转的翻滚角。
4.根据权利要求2所述的方法，其特征在于：进行学生注意状态检测的具体步骤包括：
输入已检测的人脸静态图像；
计算头部姿态；
通过线性回归预测头部姿态注意状态，并进行评分，如果低于阈值则输出注意状态，如果高于阈值则识别面部情绪，对面部情绪进行分类，通过线性回归预测面部表情注意状态评分，综合头部姿态注意状态和面部表情注意状态进行评分，
综合评分S＝λ*Shead+μ*Sface，其中Shead为头部姿态注意状态评分，Sface为面部表情注意状态评分，λ和μ分别为头部姿态注意状态和面部表情注意状态的评分权重；
将最终得到的注意状态进行输出。
5.根据权利要求4所述的方法，其特征在于：
向教师推送的学生课堂分析图包括不同班级和课程的课堂学生注意状态变化、状态分布，教师还可以选择日、周、月、年的注意状态变化趋势和平均注意状态，可以作为学生或的老师的评价参考；
向家长推送的学生课堂分析图包括学生在课堂的注意状态、当天的注意状态、设定的统计周期的注意状态；
向学生推送的学生课堂分析图包括自己当天的注意状态变化和分布、设定的统计周期的注意状态。
6.根据权利要求1-5任一项所述的方法，其特征在于：经过对某个学生学期内的学***均注意状态，结合课程的平均上课时段，计算得到该学生对不同科目的喜好程度，提醒老师、家长和学生对偏科科目加强学习。
7.根据权利要求1-5任一项所述的方法，其特征在于：对教室中坐在不同位置的学生注意状态进行聚类分析，通过聚类结果挖掘出注意力不够集中的区域，提醒教师通过调整位置提高课堂整体听课效果，具体包括：
从教室里学生注意状态数据中进行特征数据提取，得到特征数据集，随机选取k个特征数据作为聚类中心，k为正整数；
计算特征数据与每个聚类中心之间的距离，将该特征数据放入最小距离对应的聚类中心所在的聚类中，得到k个临时聚类；
对k个临时聚类重新生成聚类中心；
重复执行针对特征数据集中的每个特征数据，计算特征数据与每个聚类中心之间的距离，将特征数据放入最小第一距离对应的聚类中心所在的聚类中，得到k个临时聚类的步骤，直到迭代次数达到预设次数；
将得到的k个临时聚类结果进行输出。
8.一种基于计算机视觉的教学辅助***，其特征在于，该***包括：
采集模块，用于通过摄像头采集学生视频，并将学生视频截取为视频序列；
人脸识别模块，用于对视频序列进行人脸识别和检测，识别出学生的人脸图片，并对识别出的人脸图片进行标记；从人脸图片中识别出面部表情和头部姿态，根据面部表情和头部姿态计算出注意状态，存储到人脸图片表格；
存储模块，用于将人脸图片与预存储的人脸模板进行匹配，得出对应的学生信息，并将人脸图片、人脸模板、学生三项联合查询，将匹配成功的数据录入学生表格，若学生已有旧的信息，则更新注意状态评分为旧值和新值的平均值；
分析模块，用于对学生表格数据进行分析，按照群体级别、统计周期、学生、课程四个维度绘制学生课堂分析图，其中群体级别包括班级、年级、学校三个级别，统计周期包括日、周、月、年；
显示模块，用于将绘制的学生课堂分析图针对不同目标群体进行个性化呈现。
9.根据权利要求8所述的***，其特征在于，人脸识别模块还用于：
从已有人脸的文件夹中循环读取人脸图片，使用OpenCV的plt读取图片，并使用numpy的array将图片转化为包含宽度、高度、通道三维度的存储格式；
使用Dlib定义的人脸识别检测算子detector开始检测人脸，返回人脸特征；
计算待检测人脸和已有人脸文件夹中每个人脸图片的人脸特征之间的差异程度，用欧式距离表示，按欧式距离进行排序，欧式距离最小，且小于预设的阈值的就是匹配的人脸，若大于阈值，则告知“无匹配身份”；
使用X，Y，Z三个方向自由度标识头部平移运动，使用滚动、俯仰、偏航三个自由度来标识头部旋转运动；
读入图片后，抽取头部姿态估计所需要的点坐标，获取头部标准模型的旋转向量和平移向量；
将旋转向量转换为欧拉角，得到用于判断头部姿态的滚动、俯仰、偏航三个角度；
使用6个自定义特征点的头部位置，即坐标为(0.0,0.0,0.0)的鼻尖，坐标为(0.0,-330.0,-65.0)的下巴尖，坐标为(-225.0,170.0,-135.0)的左眼左角，坐标为(225.0,170.0,-135.0)‘的右眼右角，坐标为(-150.0,-150.0,-125.0)的左嘴角，坐标为(150.0,-150.0,-125.0)的右嘴角；
使用函数solvePnP用于获得平移，旋转矩阵，输入标准人脸模型特征点3D坐标、真实图像特征点2D坐标、由多张图片标定的相机内参矩阵与畸变参数，输出旋转向量与平移矩阵；
使用四维向量表示头部在三维空间的旋转，四维向量是(w,x,y,z)，计算公式是：
w＝cos(α/2),x＝sin(α/2)cos(βx),y＝sin(α/2)cos(βy),z＝sin(α/2)cos(βz)，其中α是绕旋转轴转过的角度，(βx,βy,βz)为Axis-Angle表示方法中Axis的单位向量；
将四维向量转换成欧拉角，转换公式是：
φ＝arctan(2(wx+yz)/(1-2(x2+y2))),θ＝arcsin(2(wy-zx)),
ψ＝arctan(2(wz+xy)/(1-2(y2+z2)))，其中φ,θ,ψ分别表示围绕X轴旋转的俯仰角，围绕Y轴旋转的偏航角，围绕Z轴旋转的翻滚角；
输入已检测的人脸静态图像；
计算头部姿态；
通过线性回归预测头部姿态注意状态，并进行评分，如果低于阈值则输出注意状态，如果高于阈值则识别面部情绪，对面部情绪进行分类，通过线性回归预测面部表情注意状态评分，综合头部姿态注意状态和面部表情注意状态进行评分，
综合评分S＝λ*Shead+μ*Sface，其中Shead为头部姿态注意状态评分，Sface为面部表情注意状态评分，λ和μ分别为头部姿态注意状态和面部表情注意状态的评分权重；将最终得到的注意状态进行输出。
10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的面部表情识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010518543.8A CN111814556A (zh) | 2020-06-09 | 2020-06-09 | 一种基于计算机视觉的教学辅助方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010518543.8A CN111814556A (zh) | 2020-06-09 | 2020-06-09 | 一种基于计算机视觉的教学辅助方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111814556A true CN111814556A (zh) | 2020-10-23 |
Family
ID=72845977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010518543.8A Pending CN111814556A (zh) | 2020-06-09 | 2020-06-09 | 一种基于计算机视觉的教学辅助方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814556A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112363659A (zh) * | 2020-11-09 | 2021-02-12 | 平安普惠企业管理有限公司 | App界面操作方法、装置、电子设备及存储介质 |
| CN112464896A (zh) * | 2020-12-14 | 2021-03-09 | 北京易华录信息技术股份有限公司 | 一种基于学生行为的身心状态分析*** |
| CN112560638A (zh) * | 2020-12-11 | 2021-03-26 | 上海明略人工智能(集团)有限公司 | 基于人脸识别和行为检测的会场专注评估方法及*** |
| CN112598550A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 基于行为分析的学生活动多维管理***及管理方法 |
| CN112991496A (zh) * | 2021-01-22 | 2021-06-18 | 厦门大学 | 一种基于tps变形算法的中国画动画自动生成方法 |
| CN113112187A (zh) * | 2021-05-13 | 2021-07-13 | 北京一起教育科技有限责任公司 | 一种学生注意力的评估方法、装置和电子设备 |
| CN115130932A (zh) * | 2022-08-31 | 2022-09-30 | 中国医学科学院阜外医院 | 一种课堂活动数字化评估方法 |
| CN116403262A (zh) * | 2023-04-04 | 2023-07-07 | 深圳融易学教育科技有限公司 | 一种基于机器视觉的在线学习专注度监测方法、***及介质 |
| CN116453198A (zh) * | 2023-05-06 | 2023-07-18 | 广州视景医疗软件有限公司 | 一种基于头部姿态差异的视线校准方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估*** |
| CN108399376A (zh) * | 2018-02-07 | 2018-08-14 | 华中师范大学 | 学生课堂学习兴趣智能分析方法及*** |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
| CN110287792A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
-
2020
- 2020-06-09 CN CN202010518543.8A patent/CN111814556A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107316261A (zh) * | 2017-07-10 | 2017-11-03 | 湖北科技学院 | 一种基于人脸分析的教学质量评估*** |
| CN108399376A (zh) * | 2018-02-07 | 2018-08-14 | 华中师范大学 | 学生课堂学习兴趣智能分析方法及*** |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
| CN110287792A (zh) * | 2019-05-23 | 2019-09-27 | 华中师范大学 | 一种处于自然教学环境的课堂中学生学习状态实时分析方法 |
Non-Patent Citations (4)
| Title |
|---|
| （美）罗伊•希尔克罗特（ROYSHILKROT），（西班牙）大卫•米兰: "《深入理解OpenCV:实用计算机视觉项目解析 原书第3版》", 北京理工大学出版社, pages: 106 - 107 * |
| 王映学;段宝军;张晓州;: "大学生课堂座位选择与学业成绩的关系研究", 重庆高教研究, no. 03 * |
| 贾鹂宇，等.: "基于人工智能视频处理的课堂学生状态分析", 《现代教育技术》, vol. 29, no. 12, pages 82 - 87 * |
| 陈平;皇甫大鹏;骆祖莹;李东兴;: "基于单幅图像Pn P头部姿态估计的学习注意力可视化分析", 通信学报, no. 1 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112363659A (zh) * | 2020-11-09 | 2021-02-12 | 平安普惠企业管理有限公司 | App界面操作方法、装置、电子设备及存储介质 |
| CN112560638A (zh) * | 2020-12-11 | 2021-03-26 | 上海明略人工智能(集团)有限公司 | 基于人脸识别和行为检测的会场专注评估方法及*** |
| CN112464896A (zh) * | 2020-12-14 | 2021-03-09 | 北京易华录信息技术股份有限公司 | 一种基于学生行为的身心状态分析*** |
| CN112598550A (zh) * | 2020-12-24 | 2021-04-02 | 苏州大学 | 基于行为分析的学生活动多维管理***及管理方法 |
| CN112598550B (zh) * | 2020-12-24 | 2024-03-26 | 苏州大学 | 基于行为分析的学生活动多维管理***及管理方法 |
| CN112991496A (zh) * | 2021-01-22 | 2021-06-18 | 厦门大学 | 一种基于tps变形算法的中国画动画自动生成方法 |
| CN113112187A (zh) * | 2021-05-13 | 2021-07-13 | 北京一起教育科技有限责任公司 | 一种学生注意力的评估方法、装置和电子设备 |
| CN115130932A (zh) * | 2022-08-31 | 2022-09-30 | 中国医学科学院阜外医院 | 一种课堂活动数字化评估方法 |
| CN116403262A (zh) * | 2023-04-04 | 2023-07-07 | 深圳融易学教育科技有限公司 | 一种基于机器视觉的在线学习专注度监测方法、***及介质 |
| CN116453198A (zh) * | 2023-05-06 | 2023-07-18 | 广州视景医疗软件有限公司 | 一种基于头部姿态差异的视线校准方法和装置 |
| CN116453198B (zh) * | 2023-05-06 | 2023-08-25 | 广州视景医疗软件有限公司 | 一种基于头部姿态差异的视线校准方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814556A (zh) | 一种基于计算机视觉的教学辅助方法和*** | |
| Ciptadi et al. | Movement pattern histogram for action recognition and retrieval | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| Kliper-Gross et al. | Motion interchange patterns for action recognition in unconstrained videos | |
| Sung | Learning and example selection for object and pattern detection | |
| CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN106407958B (zh) | 基于双层级联的面部特征检测方法 | |
| CN108171133B (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
| CN109034099B (zh) | 一种表情识别方法及装置 | |
| CN109190561B (zh) | 一种视频播放中的人脸识别方法及*** | |
| CN107103309A (zh) | 一种基于图像识别的学生坐姿检测与纠正*** | |
| Johnson et al. | Detecting hand posture in piano playing using depth data | |
| CN110085068A (zh) | 一种基于图像识别的学习辅导方法及装置 | |
| Wang et al. | Learning to detect head movement in unconstrained remote gaze estimation in the wild | |
| Czyzewski et al. | Chessboard and chess piece recognition with the support of neural networks | |
| CN113705349A (zh) | 一种基于视线估计神经网络的注意力量化分析方法及*** | |
| CN111950486A (zh) | 基于云计算的教学视频处理方法 | |
| Hrúz et al. | Local Binary Pattern based features for sign language recognition | |
| Xu et al. | Classroom attention analysis based on multiple euler angles constraint and head pose estimation | |
| Tang et al. | Automatic facial expression analysis of students in teaching environments | |
| Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
| CN114187640A (zh) | 一种基于线上课堂的学情观察方法、***、设备及介质 | |
| Yang et al. | Facial expression recognition for learning status analysis | |
| Yi et al. | Real time learning evaluation based on gaze tracking | |
| Yongcun et al. | Online examination behavior detection system for preschool education professional skills competition based on MTCNN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |