CN112131938A - 基于TensorFlow框架下的课堂考勤督导方法、***与存储介质 - Google Patents
基于TensorFlow框架下的课堂考勤督导方法、***与存储介质 Download PDFInfo
- Publication number
- CN112131938A CN112131938A CN202010818289.3A CN202010818289A CN112131938A CN 112131938 A CN112131938 A CN 112131938A CN 202010818289 A CN202010818289 A CN 202010818289A CN 112131938 A CN112131938 A CN 112131938A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- data
- attendance
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000011985 exploratory data analysis Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004080 punching Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 240000007651 Rubus glaucus Species 0.000 description 4
- 235000011034 Rubus glaucus Nutrition 0.000 description 4
- 235000009122 Rubus idaeus Nutrition 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 208000009144 Pure autonomic failure Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013312 porous aromatic framework Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提出了一种基于TensorFlow框架下的课堂考勤督导方法、***及存储介质，从学校已有的教务***和学生信息***，以此来自动爬取学生信息，对学生身份信息和日常的上课信息进行采集，采用摄像头实时获取学生的人脸信息，通过内置的训练模型，自动对每个人脸信息匹配该学生的身份信息有效解决考勤数据遗漏、代签到、签到后开溜等一系列问题，有效提升了学校基础教学管理,学校可自动完成课堂点名和学生听课质量评估。
Description
技术领域
本发明涉及智能识别技术领域，特别涉及一种基于TensorFlow框架下的课堂考勤督导方法、***与存储介质。
背景技术
现在大学课堂“低头族”“逃课族”很多，学生课堂迟到、早退、旷课、逃课、玩手机等不良行为，不但会影响学习，也会影响老师上课的心情，更是对老师劳动的不尊重。当前高校的点名***采用两种技术方式：一种采用***机器结合终端软件实现学生考勤统计。该设计通过特殊的光电转换设备和计算机图像处理技术，对学生指纹进行采集、分析和比对，可以自动、迅速、准确地鉴别出学生身份。另一种采用手机考勤应用实现学生打卡统计。主流的考勤应用主要通过GPS和人脸识别实现学生考勤认证，学生需本人到达指定教室地点，进行人脸打卡才可以成功实现考勤打卡。
但是传统的考勤方式，普遍存在以下缺点：***识别需要排队，效率较低，适用于人数较少场景，环境影响大，要求指纹清洁，手指干燥、太冷、有水或者脱皮会影响打卡效果，容易指纹外泄；手机考勤应用在学生定位时存在偏差，可能出现学生到达上课教室，但无法打卡状况，受网速影响较大，若教室信息较差则会影响打卡。
传统考勤打卡技术只适合课前、课中或课后定时打卡，无法做到实时监控学生课程出勤状态；传统考勤打卡技术仅仅可实现打卡签到，对于学生的上课状态，无法做出分析和督导。
发明内容
本发明的目的旨在至少解决所述的技术缺陷之一。
为此，本发明的一个目的在于提出一种基于TensorFlow框架下的课堂考勤督导***与方法，采用深度学习结合智能生物特征识别技术，对学生身份信息和日常的上课信息进行采集，有效解决考勤数据遗漏、代签到、签到后开溜等一系列问题，有效提升了学校基础教学管理，在它的配合下，学校可自动完成课堂点名和学生听课质量评估。
为了实现上述目的，本发明一方面的实施例提供一种基于TensorFlow框架下的课堂考勤督导方法，包括通过终端设备获取上课的学生的实时人脸图像，并将获取的人脸图像输入训练好的的卷积神经网络；在TensorFlow框架下利用卷积神经网络对输入的人脸图像进行计算，得出预测结果；根据预测结果生成考勤记录，实现课堂督导。
优选的，所述卷积神经网络包括：
第一层，卷积层，所述卷积层用于对预处理的图像信息进行特征提取；形成特征向量矩阵；
第二层，池化层，所述池化层用于对特征向量矩阵再次提取特征，形成人脸特征数据；
第三层，全连接层，采用三元组损失函数，对人脸特征数据进行度量学习，采用softmax损失函数对度量学习后的人脸特征数据进行二元分类，根据分类结果形成预测结果。
在上述任意一项实施例中优选的，对构建的所述卷积神经网络进行训练，包括
从学校已有的教务***和学生信息***获取学生的数据集；将获取的数据集划分为训练集和验证集，将训练集数据输入构建好的卷积神经网络中，对卷积神经网络进行遍历训练，将验证集数据输入训练好的卷积神经网络中验证卷积神经网络得出的预测结果是否正确。
在上述任意一项实施例中优选的，所述的采用三元组损失函数对人脸特征数据进行度量学习；将每个人脸特征数据分类为一个三元数组Xi，每个三元数组Xi，需要满足以下条件：
其中xa是锚图像，xp是同一主体的图像，Xn是另一个不同主体的图像，f是模型学习到的映射关系，α为施加在正例对和负例对距离之间的余量，正例比为同一主体图像，负例比为不同主体的图像。
在上述任意一项实施例中优选的，采用softmax损失函数进行二元分类；每类之间的决策边界，可由下式给定：
||x||(||w1||cosθ1-||W2||cosθ2)＝0
其中χ是特征向量，W1和W2是对应每类的权重，θ1和θ2是χ分别与W1和W2之间的角度。
在上述任意一项实施例中优选的，将获取的数据集划分为训练集和验证集时还包括对数据集进行预处理，形成特征工程，对数据集进行相似性度量、探索性分析、数据归一化、异常值处理和缺失值处理操作。
在上述任意一项实施例中优选的，所述数据集至少包括三种类型数据集：CK+人脸表情数据集、AFLW人脸数据集和CMU Panoptic Dataset人体关键点数据集和学生的身份信息。
在上述任意一项实施例中优选的，在遍历训练过程中采用tensorboard汇总标量来衡量总体损失和准确性，还包括利用迁移算法将训练好的卷积神经网络迁移至终端设备。
本发明还提供一种基于TensorFlow框架下的课堂考勤督导***，用于实施上述督导方法，包括设置在教室前方的采集终端、后台人脸识别服务器；
通过采集终端包括摄像头和内置处理器；所述摄像头用于获取上课的学生的实时人脸图像，并将获取的人脸图像输入内置处理器中；
所述内置处理器中设有从后台人脸识别服务器中迁移的卷积神经网络，在TensorFlow框架下利用卷积神经网络对输入的人脸图像进行计算，得出预测结果，根据预测结果生成考勤记录；
所述后台人脸识别服务器用于构建并训练卷积神经网络，将训练好的卷积神经网络，迁移至内置处理器中，通过API接口与内置处理器通信，将生成的考勤记录形成督导数据。
本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
根据本发明实施例提供的基于TensorFlow框架下的课堂考勤督导***与方法，相比于现有技术至少具有以下优点：
1、将采集终端安装在教室前方，机械结构隐蔽，采用摄像头实时获取学生的人脸信息，通过卷积神经网络，自动对每个人脸信息匹配该学生的身份信息，实现学生的考勤记录，配合后端的高性能后台人脸识别服务器一起为校园课堂考勤督导进行服务。
2、可以对接学校已有的教务***和学生信息***，以此来自动获取学生信息和排课信息，减少人力投入。同时，***通过收集学校上课整个过程的信息数据，包括学生的考勤、老师的考勤、学生的专注度、学生的位置分析，进行多维度的信息分析，为学校的基础教学管理提供数据支持和统计分析。此外，***支持数据共享，可以为学校大数据平台提供课堂教学数据支持；
3、在后台人脸识别服务器中搭建业务平台，将督导数据进行可视化分析的过程中，可以将学生的面部表情进行进一步研究，通过提取皱眉、微笑等面部精细动作，讲面部表情变化形成听课反馈，利用深度学习，有利于老师调整上课节奏，及时了解学生对课程重难点的掌握程度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导***的结构框图；
图2为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导方法的流程图；
图3为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导***中TensorBoard可视化神经网络模型层次图；
图4为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导***TensorBoard可视化训练模型误差和准确率变化图；
图5为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导***的平台界面；
图6为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导***的另一个界面图；
图7为本发明实施例提供的一种基于TensorFlow框架下的课堂考勤督导方法的卷积神经网络的结构图；
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图2所示，本发明实施例的一种基于TensorFlow框架下的课堂考勤督导方法，包括
S1、通过终端设备获取上课的学生的实时人脸图像，并将获取的人脸图像输入训练好的卷积神经网络；
需要说明的是终端设备中的卷积神经网络，是从后台人脸识别服务器上利用迁移过来的成熟的神经网络，在后台人脸识别服务器上需要提前搭建卷积神经网络，利用从学校已有的教务***和学生信息***获取学生的数据集；对搭建的卷积神经网络进行训练，训练好后利用迁移算法迁移至终端设备中。
S2、在TensorFlow框架下利用卷积神经网络对输入的人脸图像进行计算，得出预测结果；
在本发明的一个实施例中训练神经网络时，包括从学校已有的教务***和学生信息***获取学生的数据集；将获取的数据集划分为训练集和验证集，将训练集数据输入构建好的卷积神经网络中，对卷积神经网络进行遍历训练，将验证集数据输入训练好的卷积神经网络中验证卷积神经网络得出的预测结果是否正确。
将获取的数据集划分为训练集和验证集时还包括对数据集进行预处理，形成特征工程，对数据集进行相似性度量、探索性分析、数据归一化、异常值处理和缺失值处理操作。
需要说明的是，数据集至少包括三种类型数据集：CK+人脸表情数据集、AFLW人脸数据集和CMU Panoptic Dataset人体关键点数据集和学生的身份信息。
如图7所示，卷积神经网络包括：
第一层，卷积层，所述卷积层用于对预处理的图像信息进行特征提取；形成特征向量矩阵；
第二层，池化层，所述池化层用于对特征向量矩阵再次提取特征，形成人脸特征数据；
第三层，全连接层，采用三元组损失函数，对人脸特征数据进行度量学习，采用softmax损失函数对度量学习后的人脸特征数据进行二元分类，根据分类结果形成预测结果。
使用TensorFlow框架搭建3×3卷积核的多层卷积神经网络架构，这些卷积在末端连接起来。第一层预测了PAFs Lt而最后一层预测证据图St，将每个阶段的预测及其对应的图像特征连接到每个后续阶段。卷积神经网络在训练过程中不断调参优化，达到最优的识别效果，最终将成功训练的模型使用迁移算法进行在采集终端应用。神经网络架构如下所示：
采用三元组损失函数对人脸特征数据进行度量学习；将每个人脸特征数据分类为一个三元数组Xi，每个三元数组Xi，需要满足以下条件：
其中xa是锚图像，xp是同一主体的图像，Xn是另一个不同主体的图像，f是模型学习到的映射关系，α为施加在正例对和负例对距离之间的余量，正例比为同一主体图像，负例比为不同主体的图像。
采用softmax损失函数进行二元分类，每类之间的决策边界，可由下式给定：
||x||(||w1||cosθ1-||W2||cosθ2)＝0
其中χ是特征向量，W1和W2是对应每类的权重，θ1和θ2是χ分别与W1和W2之间的角度
S3、根据预测结果生成考勤记录，实现课堂督导。
如图3所示，使用TensorFlow框架，结合卷积神经网络和开源的OpenPose框架，得到神经网络的训练模型，利用训练模型对数据集进行训练；根据训练模型在遍历训练过程中过拟合、欠拟合过程影响类参数和子模型影响类参数对训练效果的影响，进行调参；将成功训练的模型使用迁移算法在采集终端应用；如图4所示，在遍历训练过程中采用tensorboard汇总标量来衡量总体损失和准确性。
如图1所示一种基于TensorFlow框架下的课堂考勤督导***，包括设置在教室前方的采集终端、后台人脸识别服务器；
通过采集终端包括摄像头和内置处理器；所述摄像头用于获取上课的学生的实时人脸图像，并将获取的人脸图像输入内置处理器中；
所述内置处理器中设有从后台人脸识别服务器中迁移的卷积神经网络，在TensorFlow框架下利用卷积神经网络对输入的人脸图像进行计算，得出预测结果，根据预测结果生成考勤记录；
所述后台人脸识别服务器用于构建并训练卷积神经网络，将训练好的卷积神经网络，迁移至内置处理器中，通过API接口与内置处理器通信，将生成的考勤记录形成督导数据。
后台人脸识别服务器中还设有数据存储模块，数据预处理模块，
数据存储模块用于存储从学校已有的教务***和学生信息***获取学生的数据集；在本发明的一个实施例中，数据集至少包括三种类型数据集：CK+人脸表情数据集、AFLW人脸数据集和CMU Panoptic Dataset人体关键点数据集。
数据预处理模块，用于对数据集进行预处理，形成特征工程，对数据集进行相似性度量、探索性分析、数据归一化、异常值处理和缺失值处理操作；
卷积神经网络构建模块，用于构建卷积神经网络，所述卷积神经网络包括：
第一层，卷积层，所述卷积层用于对预处理的图像信息进行特征提取；形成特征向量矩阵；
第二层，池化层，所述池化层用于对特征向量矩阵再次提取特征，形成人脸特征数据；
第三层，全连接层，采用三元组损失函数，对人脸特征数据进行度量学习，采用softmax损失函数对度量学习后的人脸特征数据进行二元分类，根据分类结果形成预测结果。
需要说明的是，采用三元组损失函数对人脸特征数据进行度量学习；将每个数据集分类为一个三元数组Xi
每个三元数组Xi，需要满足以下条件：
其中xa是锚图像，xp是同一主体的图像，Xn是另一个不同主体的图像，f是模型学习到的映射关系，α施加在正例对和负例对距离之间的余量。
使用三元组损失训练的CNN的收敛速度比使用sofimax的慢，这是因为需要大量三元组(或对比损失中的配对)才能覆盖整个训练集。在此情况下，我们可以采用另一个实施例，采用softmax损失函数进行二元分类；每类之间的决策边界，可由下式给定：
||x||(||W1||cosθ1-||W2||cosθ2)＝0
其中χ是特征向量，W1和W2是对应每类的权重，θ1和θ2是χ分别与W1和W2之间的角度。
如图3所示，使用TensorFlow框架，结合卷积神经网络和开源的OpenPose框架，得到神经网络的训练模型，利用训练模型对数据集进行训练；根据训练模型在遍历训练过程中过拟合、欠拟合过程影响类参数和子模型影响类参数对训练效果的影响，进行调参；将成功训练的模型使用迁移算法在采集终端应用；如图4所示，在遍历训练过程中采用tensorboard汇总标量来衡量总体损失和准确性。
所述采集终端包括摄像头和微处理器，需要说明的是，微处理器可以选用树莓派，即Raspberry Pi，简写为RPi，(或者RasPi/RPI)是为学习计算机编程教育而设计，只有***大小的微型电脑，其***基于Linux。随着Windows10 IoT的发布，我们也将可以用上运行Windows的树莓派，摄像头用于采集上课的学生的实时人脸图像，并将采集的人脸图像发送至树莓派，树莓派根据人脸图像和内置迁移算法，对学生课堂状态进行评估，并将评估析结果通过API接口发送至后台人脸识别服务器，由人脸识别服务器形成督导数据。
TensorFlow：TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习***，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的***。
TensorBoard：TensorBoard是TensorFlow提供的一组可视化工具(a suite ofvisualization tools)，可以帮助开发者方便的理解、调试、优化TensorFlow程序。
神经网络：人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠***的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
如图5-6所示，采用摄像头实时获取学生的人脸信息，树莓派通过内置的训练模型，自动对每个人脸信息匹配该学生的身份信息，实现学生的考勤记录，通过收集学校上课整个过程的信息数据，包括学生的考勤、老师的考勤、学生的专注度、学生的位置分析，进行多维度的信息分析，为学校的基础教学管理提供数据支持和统计分析。此外，***支持数据共享，可以为学校大数据平台提供课堂教学数据支持；
在后台人脸识别服务器中搭建业务平台，将督导数据进行可视化分析的过程中，可以将学生的面部表情进行进一步研究，通过提取皱眉、微笑等面部精细动作，讲面部表情变化形成听课反馈，利用深度学习，有利于老师调整上课节奏，及时了解学生对课程重难点的掌握程度。
根据本发明实施例提供的基于TensorFlow框架下的课堂考勤督导***与方法，将采集终端安装在教室前方，机械结构隐蔽，配合后端的高性能后台人脸识别服务器一起为校园课堂考勤督导进行服务。可以对接学校已有的教务***和学生信息***，以此来自动获取学生信息和排课信息，减少人力投入。同时，***通过收集学校上课整个过程的信息数据，包括学生的考勤、老师的考勤、学生的专注度、学生的位置分析，进行多维度的信息分析，为学校的基础教学管理提供数据支持和统计分析。此外，***支持数据共享，可以为学校大数据平台提供课堂教学数据支持；在后台人脸识别服务器中搭建业务平台，将督导数据进行可视化分析的过程中，可以将学生的面部表情进行进一步研究，通过提取皱眉、微笑等面部精细动作，讲面部表情变化形成听课反馈，利用深度学习，有利于老师调整上课节奏，及时了解学生对课程重难点的掌握程度。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。
Claims (10)
1.一种基于TensorFlow框架下的课堂考勤督导方法，其特征在于，包括
通过终端设备获取上课的学生的实时人脸图像，并将获取的人脸图像输入训练好的卷积神经网络；
在TensorFlow框架下利用卷积神经网络对输入的人脸图像进行计算，得出预测结果；
根据预测结果生成考勤记录，实现课堂督导。
2.根据权利要求1所述的督导方法，其特征在于，所述卷积神经网络包括：
第一层，卷积层，所述卷积层用于对预处理的图像信息进行特征提取；形成特征向量矩阵；
第二层，池化层，所述池化层用于对特征向量矩阵再次提取特征，形成人脸特征数据；
第三层，全连接层，采用三元组损失函数，对人脸特征数据进行度量学习，采用softmax损失函数对度量学习后的人脸特征数据进行二元分类，根据分类结果形成预测结果。
3.根据权利要求1所述的督导方法，其特征在于，对所述卷积神经网络进行训练，包括
从学校已有的教务***和学生信息***获取学生的数据集；将获取的数据集划分为训练集和验证集，将训练集数据输入构建好的卷积神经网络中，对卷积神经网络进行遍历训练，将验证集数据输入训练好的卷积神经网络中验证卷积神经网络得出的预测结果是否正确。
4.根据权利要求2所述的督导方法，其特征在于，所述的采用三元组损失函数对人脸特征数据进行度量学习；将每个人脸特征数据分类为一个三元数组Xi，每个三元数组Xi，需要满足以下条件：
其中xa是锚图像，xp是同一主体的图像，Xn是另一个不同主体的图像，f是模型学习到的映射关系，α为施加在正例对和负例对距离之间的余量，正例比为同一主体图像，负例比为不同主体的图像。
5.根据权利要求2所述的督导方法，其特征在于，采用softmax损失函数进行二元分类，每类之间的决策边界，可由下式给定：
||x||(||W1||cosθ1-||W2||cosθ2)＝0
其中χ是特征向量，W1和W2是对应每类的权重，θ1和θ2是χ分别与W1和W2之间的角度。
6.根据权利要求3所述的督导方法，其特征在于，将获取的数据集划分为训练集和验证集时还包括对数据集进行预处理，形成特征工程，对数据集进行相似性度量、探索性分析、数据归一化、异常值处理和缺失值处理操作。
7.根据权利要求3所述的督导方法，其特征在于，所述数据集至少包括三种类型数据集：CK+人脸表情数据集、AFLW人脸数据集和CMU Panoptic Dataset人体关键点数据集和学生的身份信息。
8.根据权利要求3所述的基于TensorFlow框架下的课堂考勤督导***，其特征在于，在遍历训练过程中采用tensorboard汇总标量来衡量总体损失和准确性，还包括利用迁移算法将训练好的卷积神经网络迁移至终端设备。
9.一种基于TensorFlow框架下的课堂考勤督导***，其特征在于，用于实施上述权利要求1-8中任意一项所述的督导方法，包括设置在教室前方的采集终端、后台人脸识别服务器；
通过采集终端包括摄像头和内置处理器；所述摄像头用于获取上课的学生的实时人脸图像，并将获取的人脸图像输入内置处理器中；
所述内置处理器中设有从后台人脸识别服务器中迁移的卷积神经网络，在TensorFlow框架下利用卷积神经网络对输入的人脸图像进行计算，得出预测结果，根据预测结果生成考勤记录；
所述后台人脸识别服务器用于构建并训练卷积神经网络，将训练好的卷积神经网络，迁移至内置处理器中，通过API接口与内置处理器通信，将生成的考勤记录形成督导数据。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818289.3A CN112131938A (zh) | 2020-08-14 | 2020-08-14 | 基于TensorFlow框架下的课堂考勤督导方法、***与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010818289.3A CN112131938A (zh) | 2020-08-14 | 2020-08-14 | 基于TensorFlow框架下的课堂考勤督导方法、***与存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112131938A true CN112131938A (zh) | 2020-12-25 |
Family
ID=73850827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010818289.3A Pending CN112131938A (zh) | 2020-08-14 | 2020-08-14 | 基于TensorFlow框架下的课堂考勤督导方法、***与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131938A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392768A (zh) * | 2023-10-23 | 2024-01-12 | 深圳德科众创技术有限公司 | 基于机器学习的大学课堂考勤方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169902A (zh) * | 2017-06-02 | 2017-09-15 | 武汉纺织大学 | 基于人工智能的微表情分析的课堂教学评价*** |
| CN208421888U (zh) * | 2018-06-19 | 2019-01-22 | 江苏师范大学 | 一种基于人脸识别的学生实时考勤*** |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
| CN110097003A (zh) * | 2019-04-29 | 2019-08-06 | 中南民族大学 | 基于神经网络的课堂考勤方法、设备、存储介质及装置 |
| CN110674688A (zh) * | 2019-08-19 | 2020-01-10 | 深圳力维智联技术有限公司 | 用于视频监控场景的人脸识别模型获取方法、***和介质 |
-
2020
- 2020-08-14 CN CN202010818289.3A patent/CN112131938A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169902A (zh) * | 2017-06-02 | 2017-09-15 | 武汉纺织大学 | 基于人工智能的微表情分析的课堂教学评价*** |
| CN208421888U (zh) * | 2018-06-19 | 2019-01-22 | 江苏师范大学 | 一种基于人脸识别的学生实时考勤*** |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
| CN110097003A (zh) * | 2019-04-29 | 2019-08-06 | 中南民族大学 | 基于神经网络的课堂考勤方法、设备、存储介质及装置 |
| CN110674688A (zh) * | 2019-08-19 | 2020-01-10 | 深圳力维智联技术有限公司 | 用于视频监控场景的人脸识别模型获取方法、***和介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392768A (zh) * | 2023-10-23 | 2024-01-12 | 深圳德科众创技术有限公司 | 基于机器学习的大学课堂考勤方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020010785A1 (zh) | 一种课堂教学认知负荷测量*** | |
| WO2019028592A1 (zh) | 一种教学辅助方法及采用该方法的教学辅助*** | |
| CN110889672A (zh) | 一种基于深度学习的学生打卡及上课状态的检测*** | |
| Zhang et al. | An novel end-to-end network for automatic student engagement recognition | |
| CN110503000B (zh) | 一种基于人脸识别技术的教学抬头率测量方法 | |
| Zhou et al. | Classroom learning status assessment based on deep learning | |
| CN113705349A (zh) | 一种基于视线估计神经网络的注意力量化分析方法及*** | |
| CN109902662A (zh) | 一种行人重识别方法、***、装置和存储介质 | |
| CN116050892A (zh) | 一种基于人工智能的智能教育评价监督方法 | |
| CN113269903A (zh) | 人脸识别课堂考勤*** | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测*** | |
| CN117668360A (zh) | 一种基于学习者在线学习行为分析的个性化习题推荐方法 | |
| Tang et al. | Automatic facial expression analysis of students in teaching environments | |
| Xia et al. | Evaluation of saccadic scanpath prediction: Subjective assessment database and recurrent neural network based metric | |
| CN112131938A (zh) | 基于TensorFlow框架下的课堂考勤督导方法、***与存储介质 | |
| CN116432064B (zh) | 一种数据预处理***及方法 | |
| Pei et al. | Convolutional neural networks for class attendance | |
| CN116958724A (zh) | 一种产品分类模型的训练方法和相关装置 | |
| Song et al. | A hybrid cnn-lstm model for video-based teaching style evaluation | |
| CN115719497A (zh) | 一种学生专注度识别方法及*** | |
| CN113688789A (zh) | 一种基于深度学习的在线学习投入度识别方法及*** | |
| Panicker et al. | Cardio-pulmonary resuscitation (CPR) scene retrieval from medical simulation videos using local binary patterns over three orthogonal planes | |
| CN113706290A (zh) | 在区块链上采用神经架构搜索的信用评估模型构建方法、***、设备及存储介质 | |
| Pang et al. | Target tracking based on siamese convolution neural networks | |
| Liu | The Detection of English Students’ Classroom Learning State in Higher Vocational Colleges Based on Improved SSD Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201225 |
|
| RJ01 | Rejection of invention patent application after publication |