CN109344682A - 课堂监控方法、装置、计算机设备及存储介质 - Google Patents
课堂监控方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109344682A CN109344682A CN201810870693.8A CN201810870693A CN109344682A CN 109344682 A CN109344682 A CN 109344682A CN 201810870693 A CN201810870693 A CN 201810870693A CN 109344682 A CN109344682 A CN 109344682A
- Authority
- CN
- China
- Prior art keywords
- recognition result
- image
- facial image
- expression
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000001815 facial effect Effects 0.000 claims abstract description 144
- 230000014509 gene expression Effects 0.000 claims abstract description 135
- 238000012549 training Methods 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 44
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012806 monitoring device Methods 0.000 claims description 11
- 238000009432 framing Methods 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 7
- 210000003128 head Anatomy 0.000 description 63
- 210000001508 eye Anatomy 0.000 description 56
- 210000004709 eyebrow Anatomy 0.000 description 11
- 230000036651 mood Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 241001633942 Dais Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000001144 postural effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种课堂监控方法、装置、计算机设备及存储介质，该课堂监控方法包括：根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果；若第一识别结果为异常，则发送第一提示消息至监控端；将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，重点关注队列包括关注人物标识；根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果；若第二识别结果为异常，则发送第二提示消息至监控端。该课堂监控方法在保证对课堂情况进行监控的同时减少了数据采集和识别的计算量，提高整体效率。
Description
技术领域
本发明属于图像处理领域，更具体地说，是涉及一种课堂监控方法、装置、计算机设备及存储介质。
背景技术
在教学课堂中，当前老师上课时，有可能观察不到有的同学思想在开小差，没有认真听课，可能导致学生可能错过一些重要知识点。随着图像识别技术的飞速发展，目前也有技术在尝试利用表情识别技术来实时获取课堂中学生的表情，利用摄像头采集图像对摄像头里面的采集图像进行分析，如果有多个人脸，就对每个人脸的面部表情和动作都进行分析，判断出学生当前是否处于开小差的状态。然而，由于课堂持续时间较长，学生人数又较多，持续的数据采集和识别会造成数据量过大，导致整体效率不高。
发明内容
本发明实施例提供一种课堂监控方法、装置、计算机设备及存储介质，以解决由于数据量过大导致在识别学生上课状态的效率不高的技术问题。
一种课堂监控方法，包括：
根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；
若所述第一识别结果为异常，则发送第一提示消息至监控端；
将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；
根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；
若所述第二识别结果为异常，则发送第二提示消息至所述监控端。
一种课堂监控装置，包括：
第一识别结果获取模块，用于根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；
第一提示消息发送模块，用于若所述第一识别结果为异常，则发送第一提示消息至监控端；
重点关注队列添加模块，用于将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；
第二识别结果获取模块，用于根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；
第二提示消息发送模块，用于若所述第二识别结果为异常，则发送第二提示消息至所述监控端。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述课堂监控方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述课堂监控方法的步骤。
上述课堂监控方法、装置、计算机设备及存储介质，通过根据第一时间间隔定时采集第一目标人脸图像，并将第一目标人脸图像输入到表情识别模型中，得到第一识别结果，若第一识别结果为异常，则发送第一提示消息至监控端；然后根据第一识别结果来调整重点关注队列，对重点关注队列中的关注人物标识根据第二时间间隔来定时采集第二目标人脸图像，并将第二目标人脸图像输入到表情识别模型中，得到第二识别结果，若第二识别结果为异常，则发送第二提示消息至监控端。通过采用一定的时间间隔采集图像，建立重点关注队列的方式来实现课堂监控，可以做到有针对性地进行监控，在保证很好地对课堂情况进行监控的同时减少了数据采集和识别的计算量，提高了整体效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中课堂监控方法的一应用环境示意图；
图2是本发明一实施例中课堂监控方法的一流程图；
图3是本发明一实施例中课堂监控方法的另一流程图；
图4是本发明一实施例中课堂监控方法的另一流程图；
图5是本发明一实施例中课堂监控方法的另一流程图；
图6是本发明一实施例中课堂监控装置的一原理框图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的课堂监控方法，可应用在如图1的应用环境中，其中，监控端通过网络与服务端进行通信，服务端通过摄像机根据第一时间间隔定时采集第一目标人脸图像，将获取到的第一目标人脸图像输入到表情识别模型中，得到第一识别结果，若第一识别结果为异常，则服务端向监控端发送第一提示消息，并将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识；接着服务端通过摄像机根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将获取到的第二目标人脸图像输入到表情识别模型中，得到第二识别结果，若第二识别结果为异常，则服务端向监控端发送第二提示消息。其中，监控端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种课堂监控方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S10：根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果。
其中，第一时间间隔是一个预设的时间段，具体可以根据实际需要设置，例如5分钟、8分钟或者10分钟。而第一目标人脸图像是指整个班所有学生的人脸图像。可以通过在教室中设置多个摄像头，每一摄像头采集一固定区域中的学生的人脸图像，以实现对第一目标人脸图像的采集。可以理解地，摄像头个数越多，采集精度就越高。可选地，摄像头采集的是视频数据，而人脸图像为视频数据通过预定的帧率进行分帧之后获得。
表情识别模型是用于判断当前图像中人脸情绪的识别模型，该表情识别模型可以判断当前图像中人脸对应于预设的多种情绪的概率值，若某种情绪的概率值超过对应的预设阈值，则得到该标准人脸图像对应的情绪即为第一识别结果。例如，在本实施例中，针对于课堂上的情景，可以将表情识别模型中的情绪设定为倾听、疑惑、理解、抗拒和不屑5种。具体地，可以预先采集分别代表这五种情绪的大量样本图像进行标注，形成样本图像集，然后选择对应的神经网络模型或者分类器进行训练，最终得到表情识别模型。
S20：若第一识别结果为异常，则发送第一提示消息至监控端。
在表情识别模型输出第一识别结果之后，根据输出的第一识别结果来发送第一提示消息。
其中，表情识别模型会判断出第一目标人脸图像中面部区域对应的表情结果；例如倾听、疑惑、理解、抗拒或者不屑。可选地，当表情识别模型判断出第一目标人脸图像中面部区域对应的情绪为抗拒或者不屑时，对应输出的第一识别结果为异常；当表情识别模型判断出第一目标人脸图像中面部区域对应的情绪为倾听、疑惑或者理解时，对应输出的第一识别结果为正常。若第一识别结果为异常，则发送第一提示消息至监控端，提示该学生可能处于开小差状态。可选地，监控端为教师或者班主任等其他相关人员的手机或者电脑或者其它通讯设备，使相关人员了解该学生的上课状态，从而相应地作出评价或者制止等行为。
S30：将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，重点关注队列包括关注人物标识。
其中，重点关注队列是指整个班所有学生中有可能处于开小差状态，需要重点关注的学生组成的队列，具体地，该队列可以通过关注人物标识来体现。关注人物标识是指用于区分需要重点关注的学生的标识。例如，可以为学号、身份证号或者座位号等。
S40：根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果。
其中，第二时间间隔也是一个预设的时间段，具体可以根据实际需要设置，例如1分钟、3分钟或者5分钟。优选地，第二时间间隔小于第一时间间隔。第二目标人脸图像是指关注人物标识对应的学生的人脸图像，具体地，可以通过关注人物标识找到对应的摄像头，并从该摄像头中获取到第二目标人脸图像。其中，采集第二目标人脸图像和步骤S10中采集第一目标人脸图像的方法类似，在此不再赘述。而将第二目标人脸图像输入到表情识别模型中，得到第二识别结果的过程也和步骤S10中的对应步骤类似，在此也不再赘述。
S50：若第二识别结果为异常，则发送第二提示消息至监控端。
在表情识别模型输出第二识别结果之后，根据输出的第二识别结果来发送第二提示消息。其中，表情识别模型会判断出第二目标人脸图像中面部区域对应的情绪，例如倾听、疑惑、理解、抗拒或者不屑。可选地，当表情识别模型判断出第二目标人脸图像中面部区域对应的情绪为抗拒或者不屑时，对应输出的第二识别结果为异常；当表情识别模型判断出第二目标人脸图像中面部区域对应的情绪为倾听、疑惑或者理解时，对应输出的第二识别结果为正常。若第二识别结果为异常，则发送第二提示消息至监控端，提示该学生可能处于开小差状态。
进一步地，将第二识别结果为异常的第二目标人脸图像添加到重点关注队列中。在一个实施例中，在将第二识别结果为异常的第二目标人脸图像添加到重点关注队列中的同时，将第二识别结果为正常的第二目标人脸图像从重点关注队列中释放。可以理解，第一识别结果为异常的学生可能在某一时刻不够专心，但很快就恢复正常状态，这是可以接受的。通过对重点关注队列的更新，可以有效减少数据采集和识别的计算量，提高课堂监控的针对性。
在图2对应的实施例中，通过根据第一时间间隔定时采集第一目标人脸图像，并将第一目标人脸图像输入到表情识别模型中，得到第一识别结果，若第一识别结果为异常，则发送第一提示消息至监控端；然后根据第一识别结果来调整重点关注队列，根据重点关注队列中的关注人物标识和第二时间间隔来定时采集第二目标人脸图像，并将第二目标人脸图像输入到表情识别模型中，得到第二识别结果，若第二识别结果为异常，则发送第二提示消息至监控端。通过采用一定的时间间隔采集图像，建立重点关注队列的方式来实现课堂监控，可以做到有针对性地进行监控，在保证很好地对课堂情况进行监控的同时减少了数据采集和识别的计算量，提高了整体效率。
在一实施例中，表情识别模型为采用卷积神经网络训练得到的表情识别模型。其中，卷积神经网络(CNN)是一种多层神经网络，擅长处理图像尤其是大图像的相关机器学习问题。CNN的基本结构包括两层：卷积层和池化层。可选地，采用10层卷积神经网络，由于神经网络的层数越多，计算时间越长，表情识别区别度较高，而采用10层卷积神经网络能够实现在较短时间内达到训练精度要求。在本实施例中，表情识别模型包括：眼部识别模型、唇部识别模型和头部识别模型。在步骤S10之前，即根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果的步骤之前，如图3所示，本发明实施例提供的课堂效果监控方法还包括：
S61：获取人脸图像的样本，根据人脸图像的样本获取眼部训练图像、唇部训练图像和头部训练图像。
其中，人脸图像的样本可以为预先采集的学生的人脸图像。
具体地，可以根据人脸图像预先划分相应的区域分别作为眼部区域图像、唇部区域图像和头部区域图像，然后将从样本集中获得的眼部区域图像、唇部区域图像和头部区域图像的集合分别作为眼部训练图像、唇部训练图像和头部训练图像。其中，划分区域的方法可以根据需要进行预先设定，本发明实施例不做具体限定。
S62：将眼部训练图像输入到眼部识别模型中，得到标准眼部识别结果。
其中，标准眼部识别结果是指眼部识别模型根据眼部训练图像中的眼部特征识别出来的结果。可选地，可以将眼部训练图像中的眉毛特征作为眼部特征，根据倾听、疑惑、理解、抗拒和不屑这五种预设的表情进行标准定义，例如，倾听表情对应的眉毛特征应是眉毛自然伸展，眉毛两端与眼睛中点的夹角β小于或者等于120度。
具体地，通过将眼部训练图像按照眉毛特征进行分类，将分类后的眼部训练图像输入到眼部识别模型中，得到倾听、疑惑、理解、抗拒和不屑这五种表情相对应的眉毛特征，这五种相对应的眉毛特征和表情结合的结果就可以作为标准眼部识别结果。
S63：将唇部训练图像输入到唇部识别模型中，得到标准唇部识别结果。
其中，标准唇部识别结果是指唇部识别模型根据唇部训练图像中的唇部特征识别出来的结果。可选地，可以将唇部训练图像中的嘴角特征作为唇部特征，例如，当表情为疑惑的表情时，对应的嘴角特征应是嘴角下移，即嘴角特征线与其平分线呈现负偏差。
具体地，根据倾听、疑惑、理解、抗拒和不屑这五种预设的表情进行标准定义，通过将唇部训练图像按照嘴角特征进行分类，将分类后的唇部训练图像输入到唇部识别模型中，得到倾听、疑惑、理解、抗拒和不屑这五种表情相对应的嘴角特征，这五种相对应的嘴角特征和表情结合的结果就可以作为标准唇部识别结果。
S64：将头部训练图像输入到头部识别模型中，得到标准头部识别结果。
其中，标准头部识别结果是指头部识别模型根据头部训练图像中的头部特征识别出来的结果。可选地，可以将头部训练图像中的头部转角特征作为头部特征，例如，将表情为抗拒时，头部转角特征应是低头或者扭头，头部角度变化α大于60度。
具体地，根据倾听、疑惑、理解、抗拒和不屑这五种表情进行标准定义，通过将头部训练图像按照嘴角特征进行分类，将分类后的头部训练图像输入到头部识别模型中，得到倾听、疑惑、理解、抗拒和不屑这五种表情相对应的嘴角特征，这五种相对应的头部转角特征和表情结合的结果就可以作为标准头部识别结果。
S65：将标准眼部识别结果、标准唇部识别结果和标准头部识别结果组成标准表情识别结果集。
具体地，将标准眼部识别结果、标准唇部识别结果和标准头部识别结果分别对应的特征组成标准表情识别结果集，例如，当表情为疑惑时，对应的眼部特征是眉毛两端与眼睛中点的夹角β大于120度，对应的唇部特征是嘴角特征线与其平分线呈现负偏差，对应的头部特征是头部角度变化在0到60度之间。将所有的标准眼部识别结果、标准唇部识别结果和标准头部识别结果组合在一起就形成了标准表情识别结果集。
在图3对应的实施例中，通过根据人脸图像的样本集获取眼部训练图像、唇部训练图像和头部训练图像，然后分别将眼部训练图像输入到眼部识别模型中，得到标准眼部识别结果；将唇部训练图像输入到唇部识别模型中，得到标准唇部识别结果；将头部训练图像输入到头部识别模型中，得到标准头部识别结果；最后将标准眼部识别结果、标准唇部识别结果和标准头部识别结果组成标准表情识别结果集，可以为后续采集的目标人脸图像的表情识别提供支持。
在一实施例中，如图4所示，在步骤S10中，即根据第一时间间隔定时采集第一目标人脸图像，具体可以包括以下步骤：
S11：根据第一时间间隔定时获取原始视频数据。
其中，原始视频数据是教室中摄像头采集的视频数据。若摄像头为复数个，则可以根据第一目标人脸图像对应的标识来获取到对应摄像头的原始视频数据。
具体地，打开教室的摄像头采集视频，按照第一时间间隔获取原始视频数据。
S12：对原始视频数据进行分帧和归一化处理，得到第一目标人脸图像。
具体地，分帧处理是指按照预设时间对原始视频数据进行划分，以获取至少一帧的待识别视频图像。其中，归一化是一种简化计算的方式，即将有量纲的表达式经过变换，转化为无量纲的表达式，成为标量。例如本实施例中的原始视频数据中，需要有第一目标的面部区域，才能提取对应的表情特征，因此需要将分帧后的待识别视频图像的像素归一化到统一的像素，例如260*260，得到第一目标人脸图像，以便后续对每一帧待识别视频图像进行识别。
在图4对应的实施例中，通过根据第一时间间隔定时获取原始视频数据，然后对原始视频数据进行分帧和归一化处理，得到第一目标人脸图像，可以为后续人脸图像对应的表情进行识别提供支持。
在一实施例中，标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果，如图5所示，在步骤S10中，即将第一目标人脸图像输入到表情识别模型中，得到第一识别结果，具体可以包括以下步骤：
S13：采用人脸特征点检测算法从第一目标人脸图像中获取第一目标人脸特征点。
其中，第一目标人脸特征点是指按照预设的需要从第一目标人脸图像获取得到的特征坐标点。人脸特征点检测算法是指根据输入的人脸图像自动定位出人脸特征点的算法。可选地，可以采用以下人脸特征点检测算法获取人脸特征点信息：
(1)OpenCV自带的基于Harr特征的Viola-Jones算法；
其中，OpenCV是一个跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作***上，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法，而基于Harr特征的Viola-Jones算法是其中一种人脸特征点检测算法。Haar特征是一种反映图像的灰度变化的特征，是反映像素分模块差值的一种特征。Haar特征分为三类：边缘特征、线性特征和中心-对角线特征。Viola-Jones算法是基于人脸的haar特征值进行人脸检测的方法。
(2)基于HOG+SVM特征的dlib；
其中，dlib是一个现代化的C++工具箱，其中包含用于在C++中创建复杂软件以解决实际问题的机器学习算法和工具，HOG是指方向梯度直方图(Histogram of OrientedGradient,HOG)，SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法，通常用来进行模式识别、分类以及回归分析，HOG特征结合SVM分类器被广泛应用于图像识别中。
(3)doppia库的三种人脸检测方法(DPM、HeadHunter和HeadHunter_baseline)。
其中，DPM(Deformable Part Model)是一个目标检测算法，目前已成为众多分类器、分割、人体姿态和行为分类的重要部分。DPM可以看做是HOG的扩展，方法是首先计算梯度方向直方图，然后用SVM训练得到目标梯度模型，再进行分类，从而使模型和目标匹配。而HeadHunter和HeadHunter_baseline算法与DPM在方法上是相同的，区别在于用到的模型不同。
以下用第(1)种人脸特征点检测算法为例说明获取第一目标人脸特征点的过程：首先获取输入的人脸图像的样本图像，对样本图像进行预处理(归一化)后进行训练，得到人脸特征点模型，即Harr特征的Viola-Jones算法；然后获取输入的第一目标人脸图像，对第一目标人脸图像进行同样预处理，接着依次进行肤色区域分割、人脸特征区域分割和人脸特征区域分类的步骤，最后根据Harr特征的Viola-Jones算法与人脸特征区域分类进行匹配计算，得到第一目标人脸特征点。
S14：根据第一目标人脸特征点划分所述第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像。
根据获取到的第一目标人脸特征点，来分别获取眼部区域图像、唇部区域图像和头部区域图像，具体地：
眼部区域图像可以采用人脸特征点检测算法先定位出同一眼睛区域中左右眼角和眉心的位置坐标，然后以左右眼角横坐标为左侧坐标和右侧坐标，以眉心位置纵坐标为上侧坐标，以眼角纵坐标加上眉心位置到眼角位置垂直距离为下侧坐标，以这四个点坐标构成的矩形区域为眼睛区域，获取该眼睛区域即得到眼部区域图像。
唇部区域图像可以采用人脸特征点先定位出左右嘴角和鼻尖位置坐标，然后以左右嘴角横坐标为左侧坐标和右侧坐标，以鼻尖位置纵坐标为上侧坐标，以嘴角纵坐标加上鼻尖位置到嘴角位置垂直距离为下侧坐标，以此四个坐标构成的矩形区域为唇部区域，获取该唇部区域即得到唇部区域图像。
头部区域图像可以直接采用第一目标人脸图像作为头部区域图像。
S15：将眼部区域图像输入到眼部识别模型中，获取测试眼部识别结果；将唇部区域图像输入到唇部识别模型中，获取测试唇部识别结果；将头部区域图像输入到头部识别模型中，获取测试头部识别结果。
其中，测试眼部识别结果是指根据实时视频数据获取的目标人脸图像中对应的眼部识别结果，测试唇部识别结果与测试头部识别结果以此类推。
具体地，将眼部区域图像输入到眼部识别模型中，根据眼部识别模型定义的表情，可以得到眼部区域图像对应的表情，即为测试眼部识别结果。同样地，将唇部区域图像输入到唇部识别模型中，可以得到测试唇部识别结果；将头部区域图像输入到头部识别模型中，可以得到测试头部识别结果。
S16：将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果，若输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；若输出表情结果为抗拒或不屑，则第一识别结果为异常。
其中，预设阈值是指测试识别结果与标准表情识别结果匹配度的预设阈值，预设阈值可以根据表情识别模型的具体情况进行设置，这里不做具体的限定。可以理解地，测试眼部识别结果、测试唇部识别结果和测试头部识别结分别对应的表情识别结果可能是不一致的，其与标准表情识别结果也有差别，因此，将测试识别结果与标准表情识别结果集的每一标准表情识别结果进行匹配，若匹配度超过预设阈值，则将与对应的标准表情识别结果作为输出表情结果。
具体地，将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，若整体与标准表情识别结果集中的某一标准表情识别结果的匹配结果大于预设阈值，则将该标准识别结果作为输出表情结果。可选地，当输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；当输出表情结果为抗拒和不屑，则第一识别结果为异常。例如，若预设阈值为80％，对某个学生的测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配后发现，匹配的结果与标准表情识别结果集中的不屑表情匹配度超过预设阈值80％，则将不屑的标准表情识别结果作为输出表情结果，此时第一识别结果为异常。
在图5对应的实施例中，通过采用人脸特征点检测算法从第一目标人脸图像中获取第一目标人脸特征点，然后根据第一目标人脸特征点划分第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像；再分别将眼部区域图像、唇部区域图像和头部区域图像输入到眼部识别模型、唇部识别模型和头部识别模型中，得到测试眼部识别结果、测试唇部识别结果和测试头部识别结果，最后将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果，若输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；若输出表情结果为抗拒或不屑，则第一识别结果为异常。通过三个识别模型来实现表情识别模型，可以使表情识别模型识别的精度提升，提高课堂监控的效率。
在一实施例中，本发明实施例提供的课堂监控方法还包括：
实时获取参照点位置信息，根据参照点位置信息采集第三目标人脸图像；然后将第三目标人脸图像输入到表情识别模型中，得到第三识别结果，若第三识别结果为异常，则发送第三提示消息至监控端。
其中，参照点位置信息指教师的位置信息，可以通过获取教师身上的手机的GPS定位信息来获取教师的位置信息，或者通过摄像头对教师进行跟踪采集，定位出教师的位置信息。
可以理解地，当教师处于讲台区域并面对学生时，因为全班学生都在老师的视线范围内，故不采集第三目标人脸图像。而当教师在走下讲台，视线出现盲区或者教师离开课室时，采集第三目标人脸图像。
具体地，可以预先建立位置信息映射表，根据该位置信息映射表，可以根据教师的实时位置信息，在位置信息映射表中获取到要采集的对应的第三目标人脸图像。例如，当教师站在教室的左侧时，将位于教室右侧的学生作为需要进行第三目标人脸图像采集的对象；当教师站在教室的右侧时，将位于教室左侧的学生作为需要进行第三目标人脸图像采集的对象。具***置信息映射表的设置可以根据实际需要和场景来设置，在此不做限定。然后将采集到的第三目标人脸图像输入到表情识别模型中，得到第三识别结果，若第三识别结果为异常，则发送第三提示消息至监控端。这个识别和消息发送过程和前述实施例的对应步骤类似，在此不再赘述。
进一步地，可以将第三识别结果为异常的第三目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识。应理解，将第三识别结果为异常的第三目标人脸图像添加到重点关注队列这一过程，与上述实施例中的将识别结果为异常的人脸图像添加到重点关注队列过程是并行的过程。可选地，可以将第三识别结果为异常的人脸图像也添加到重点关注队列中，实现对重点关注队列的更新，更有针对性地实现课堂效果的监控。
在本实施例中，通过实时获取教师的位置信息，根据教师这一参照点的位置来采集第三目标人脸图像，可以减少视频数据的采集量；通过将第三目标人脸图像输入到表情识别模型中，得到第三识别结果，若第三识别结果为异常，则发送第三提示消息至监控端，可以更有针对性地获取学生在课堂的上课状态，发现开小差的学生，减少数据采集和识别的计算量，提高课堂监控的效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种课堂监控装置，该课堂监控装置与上述实施例中课堂监控方法一一对应。如图6所示，该课堂监控装置包括第一识别结果获取模块10、第一提示消息发送模块20、重点关注队列添加模块30、第二识别结果获取模块40和第二提示消息发送模块50。各功能模块详细说明如下：
第一识别结果获取模块10，用于根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果。
第一提示消息发送模块20，用于若第一识别结果为异常，则发送第一提示消息至监控端。
重点关注队列添加模块30，用于将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识。
第二识别结果获取模块40，用于根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果。
第二提示消息发送模块50，用于若第二识别结果为异常，则发送第二提示消息至监控端。
进一步地，表情识别模型为采用卷积神经网络训练得到的表情识别模型，包括：眼部识别模型、唇部识别模型和头部识别模型。课堂监控装置还包括标准结果集获取模块60，标准结果集获取模块60包括：训练图像获取单元61、标准眼部识别结果获取单元62、标准唇部识别结果获取单元63、标准头部识别结果获取单元64和标准结果集获取单元65。
训练图像获取单元61，用于获取人脸图像的样本，根据人脸图像的样本获取眼部训练图像、唇部训练图像和头部训练图像。
标准眼部识别结果获取单元62，用于将眼部训练图像输入到眼部识别模型中，得到标准眼部识别结果。
标准唇部识别结果获取单元63，用于将唇部训练图像输入到唇部识别模型中，得到标准唇部识别结果。
标准头部识别结果获取单元64，用于将头部训练图像输入到头部识别模型中，得到标准头部识别结果。
标准结果集获取单元65，用于将标准眼部识别结果、标准唇部识别结果和标准头部识别结果组成标准表情识别结果集。
进一步地，标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果，第一识别结果获取模块10包括：视频数据获取单元11和第一目标人脸图像获取单元12。
视频数据获取单元11，用于根据第一时间间隔定时获取原始视频数据。
第一目标人脸图像获取单元12，用于对原始视频数据进行分帧和归一化处理，得到第一目标人脸图像。
进一步地，第一识别结果获取模块10还包括：人脸特征点获取单元13、区域图像获取单元14、测试识别结果获取单元15和第一识别结果单元16。
人脸特征点获取单元13，用于采用人脸特征点检测算法从第一目标人脸图像中获取第一目标人脸特征点。
区域图像获取单元14，用于根据第一目标人脸特征点划分第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像。
测试识别结果获取单元15，用于将眼部区域图像输入到眼部识别模型中，获取测试眼部识别结果；将唇部区域图像输入到唇部识别模型中，获取测试唇部识别结果；将头部区域图像输入到头部识别模型中，获取测试头部识别结果。
第一识别结果获取单元16，用于将测试眼部识别结果、测试唇部识别结果和测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果，若输出表情结果为倾听、疑惑、理解，则第一识别结果为正常；若输出表情结果为抗拒或不屑，则第一识别结果为异常。
进一步地，课堂监控装置还包括参照点位置获取模块70、第三识别结果获取模块80和第三提示消息发送模块90。
参照点位置获取模块70，用于实时获取参照点位置信息，根据参照点位置信息采集第三目标人脸图像。
第三识别结果获取模块80，用于将第三目标人脸图像输入到表情识别模型中，得到第三识别结果。
第三提示消息发送模块90，用于若第三识别结果为异常，则发送第三提示消息至监控端。
关于课堂监控装置的具体限定可以参见上文中对于课堂监控方法的限定，在此不再赘述。上述课堂监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始视频数据、第一目标人脸图像、第二目标人脸图像、第三目标人脸图像、重点关注队列和提示消息等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种课堂监控方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果；
若第一识别结果为异常，则发送第一提示消息至监控端；
将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识；
根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果；
若第二识别结果为异常，则发送第二提示消息至监控端。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据第一时间间隔定时采集第一目标人脸图像，将第一目标人脸图像输入到表情识别模型中，得到第一识别结果；
若第一识别结果为异常，则发送第一提示消息至监控端；
将第一识别结果为异常的第一目标人脸图像添加到重点关注队列中，其中，重点关注队列包括关注人物标识；
根据第二时间间隔和重点关注队列中的关注人物标识定时采集第二目标人脸图像，将第二目标人脸图像输入到表情识别模型中，得到第二识别结果；
若第二识别结果为异常，则发送第二提示消息至监控端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种课堂监控方法，其特征在于，包括以下步骤：
根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；
若所述第一识别结果为异常，则发送第一提示消息至监控端；
将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；
根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；
若所述第二识别结果为异常，则发送第二提示消息至所述监控端。
2.如权利要求1所述的课堂监控方法，其特征在于，所述表情识别模型为采用卷积神经网络训练得到的表情识别模型，所述表情识别模型包括：眼部识别模型、唇部识别模型和头部识别模型；
在所述根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果的步骤之前，所述课堂监控方法还包括：
获取人脸图像的样本，根据所述人脸图像的样本获取眼部训练图像、唇部训练图像和头部训练图像；
将所述眼部训练图像输入到所述眼部识别模型中，得到标准眼部识别结果；
将所述唇部训练图像输入到所述唇部识别模型中，得到标准唇部识别结果；
将所述头部训练图像输入到所述头部识别模型中，得到标准头部识别结果；
将所述标准眼部识别结果、所述标准唇部识别结果和所述标准头部识别结果组成所述标准表情识别结果集。
3.如权利要求2所述的课堂监控方法，其特征在于，所述根据第一时间间隔定时采集第一目标人脸图像，包括：
根据所述第一时间间隔定时获取原始视频数据；
对所述原始视频数据进行分帧和归一化处理，得到第一目标人脸图像。
4.如权利要求3所述的课堂监控方法，其特征在于，所述标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果；
所述将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果，包括：
采用人脸特征点检测算法从所述第一目标人脸图像中获取第一目标人脸特征点；
根据所述第一目标人脸特征点划分所述第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像；
将所述眼部区域图像输入到所述眼部识别模型中，获取测试眼部识别结果；将所述唇部区域图像输入到所述唇部识别模型中，获取测试唇部识别结果；将所述头部区域图像输入到所述头部识别模型中，获取测试头部识别结果；
将所述测试眼部识别结果、所述测试唇部识别结果和所述测试头部识别结果与所述标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果；若所述输出表情结果为倾听、疑惑、理解，则所述第一识别结果为正常；若所述输出表情结果为抗拒或不屑，则所述第一识别结果为异常。
5.如权利要求1所述的课堂监控方法，其特征在于，在所述若所述第二识别结果为异常，则发送第二提示消息至所述监控端的步骤之后，所述方法还包括：
将所述第二识别结果为正常的所述第二目标人脸图像从所述重点关注队列中释放。
6.如权利要求1所述的课堂监控方法，其特征在于，所述课堂监控方法还包括：
实时获取参照点位置信息，根据所述参照点位置信息采集第三目标人脸图像；
将所述第三目标人脸图像输入到所述表情识别模型中，得到第三识别结果；
若所述第三识别结果为异常，则发送第三提示消息至所述监控端。
7.一种课堂监控装置，其特征在于，包括：
第一识别结果获取模块，用于根据第一时间间隔定时采集第一目标人脸图像，将所述第一目标人脸图像输入到表情识别模型中，得到第一识别结果；
第一提示消息发送模块，用于若所述第一识别结果为异常，则发送第一提示消息至监控端；
重点关注队列添加模块，用于将所述第一识别结果为异常的所述第一目标人脸图像添加到重点关注队列中，所述重点关注队列包括关注人物标识；
第二识别结果获取模块，用于根据第二时间间隔和所述重点关注队列中的所述关注人物标识定时采集第二目标人脸图像，将所述第二目标人脸图像输入到所述表情识别模型中，得到第二识别结果；
第二提示消息发送模块，用于若所述第二识别结果为异常，则发送第二提示消息至所述监控端。
8.如权利要求7所述的课堂效果监控装置，其特征在于，所述标准表情识别结果集包括倾听、疑惑、理解、抗拒和不屑五种表情结果；
所述第一识别结果获取模块包括人脸特征点获取单元、区域图像获取单元、测试识别结果获取单元和第一识别结果单元；
所述人脸特征点获取单元，用于采用人脸特征点检测算法从所述第一目标人脸图像中获取第一目标人脸特征点；
所述区域图像获取单元，用于根据所述第一目标人脸特征点划分所述第一目标人脸图像，得到眼部区域图像、唇部区域图像和头部区域图像；
所述测试识别结果获取单元，用于将所述眼部区域图像输入到眼部识别模型中，获取测试眼部识别结果；将所述唇部区域图像输入到唇部识别模型中，获取测试唇部识别结果；将所述头部区域图像输入到头部识别模型中，获取测试头部识别结果；
所述第一识别结果获取单元，用于将所述测试眼部识别结果、所述测试唇部识别结果和所述测试头部识别结果与标准表情识别结果集进行匹配，将匹配度大于预设阈值的标准表情识别结果作为输出表情结果；若所述输出表情结果为倾听、疑惑、理解，则所述第一识别结果为正常；若所述输出表情结果为抗拒或不屑，则所述第一识别结果为异常。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述课堂监控方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述课堂监控方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810870693.8A CN109344682A (zh) | 2018-08-02 | 2018-08-02 | 课堂监控方法、装置、计算机设备及存储介质 |
| PCT/CN2018/106435 WO2020024400A1 (zh) | 2018-08-02 | 2018-09-19 | 课堂监控方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810870693.8A CN109344682A (zh) | 2018-08-02 | 2018-08-02 | 课堂监控方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109344682A true CN109344682A (zh) | 2019-02-15 |
Family
ID=65291504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810870693.8A Pending CN109344682A (zh) | 2018-08-02 | 2018-08-02 | 课堂监控方法、装置、计算机设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109344682A (zh) |
| WO (1) | WO2020024400A1 (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919079A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术（北京）有限公司 | 用于检测学习状态的方法和装置 |
| CN110164209A (zh) * | 2019-04-24 | 2019-08-23 | 薄涛 | 教学终端、服务器和教学直播*** |
| CN110175534A (zh) * | 2019-05-08 | 2019-08-27 | 长春师范大学 | 基于多任务级联卷积神经网络的授课辅助*** |
| CN110287807A (zh) * | 2019-05-31 | 2019-09-27 | 上海亿童科技有限公司 | 一种人体信息获取方法、装置及*** |
| CN110418095A (zh) * | 2019-06-28 | 2019-11-05 | 广东虚拟现实科技有限公司 | 虚拟场景的处理方法、装置、电子设备及存储介质 |
| CN110580470A (zh) * | 2019-09-12 | 2019-12-17 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110737535A (zh) * | 2019-09-09 | 2020-01-31 | 平安证券股份有限公司 | 基于消息队列的数据处理方法、装置和计算机设备 |
| CN110942086A (zh) * | 2019-10-30 | 2020-03-31 | 平安科技（深圳）有限公司 | 数据预测优化方法、装置、设备及可读存储介质 |
| CN111507241A (zh) * | 2020-04-14 | 2020-08-07 | 四川聚阳科技集团有限公司 | 一种轻量级网络课堂表情监测方法 |
| CN111556279A (zh) * | 2020-05-22 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 即时会话的监控方法和通信方法 |
| CN111582611A (zh) * | 2019-02-18 | 2020-08-25 | 北京入思技术有限公司 | 一种基于情绪感知的课堂教学评价方法及*** |
| CN111738177A (zh) * | 2020-06-28 | 2020-10-02 | 四川大学 | 一种基于姿态信息提取的学生课堂行为识别方法 |
| CN112528777A (zh) * | 2020-11-27 | 2021-03-19 | 富盛科技股份有限公司 | 一种用于课堂环境下的学生面部表情识别方法及*** |
| CN112584091A (zh) * | 2019-09-29 | 2021-03-30 | 杭州海康威视数字技术股份有限公司 | 报警信息生成方法、报警信息解析方法、***和装置 |
| CN113239841A (zh) * | 2021-05-24 | 2021-08-10 | 桂林理工大学博文管理学院 | 基于人脸识别的课堂专注状态检测方法及相关仪器 |
| CN113570484A (zh) * | 2021-09-26 | 2021-10-29 | 广州华赛数据服务有限责任公司 | 一种基于大数据的线上小学教育管理***及方法 |
| CN114724229A (zh) * | 2022-05-23 | 2022-07-08 | 北京英华在线科技有限公司 | 在线教育平台用的学习状态检测***及方法 |
| CN116757524A (zh) * | 2023-05-08 | 2023-09-15 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
| CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及*** |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428671A (zh) * | 2020-03-31 | 2020-07-17 | 杭州博雅鸿图视频技术有限公司 | 人脸结构化信息识别方法、***、装置及存储介质 |
| CN111563449A (zh) * | 2020-04-30 | 2020-08-21 | 上海交通大学 | 一种实时课堂注意力检测方法及*** |
| CN112228036A (zh) * | 2020-06-04 | 2021-01-15 | 精英数智科技股份有限公司 | 一种瓦斯抽采监控方法、***、设备及可读存储介质 |
| CN112055212B (zh) * | 2020-08-24 | 2022-09-16 | 深圳市青柠互动科技开发有限公司 | 多路视频集中分析处理的***以及方法 |
| CN112052815B (zh) * | 2020-09-14 | 2024-02-20 | 北京易华录信息技术股份有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112580522A (zh) * | 2020-12-22 | 2021-03-30 | 北京每日优鲜电子商务有限公司 | 睡眠人员检测方法、装置、设备及存储介质 |
| CN112699774B (zh) * | 2020-12-28 | 2024-05-24 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN113096808A (zh) * | 2021-04-23 | 2021-07-09 | 深圳壹账通智能科技有限公司 | 事件提示方法、装置、计算机设备及存储介质 |
| CN113627335A (zh) * | 2021-08-10 | 2021-11-09 | 浙江大华技术股份有限公司 | 考生行为的监控方法、装置、存储介质和电子装置 |
| CN114612977A (zh) * | 2022-03-10 | 2022-06-10 | 苏州维科苏源新能源科技有限公司 | 一种基于大数据的采集分析方法 |
| CN115100600B (zh) * | 2022-06-30 | 2024-05-31 | 苏州市新方纬电子有限公司 | 一种电池包的产线智能检测方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
| CN106851216A (zh) * | 2017-03-10 | 2017-06-13 | 山东师范大学 | 一种基于人脸和语音识别的课堂行为监控***及方法 |
| CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250822A (zh) * | 2016-07-21 | 2016-12-21 | 苏州科大讯飞教育科技有限公司 | 基于人脸识别的学生专注度监测***及方法 |
| CN107169900A (zh) * | 2017-05-19 | 2017-09-15 | 南京信息工程大学 | 一种学生听课率检测方法 |
-
2018
- 2018-08-02 CN CN201810870693.8A patent/CN109344682A/zh active Pending
- 2018-09-19 WO PCT/CN2018/106435 patent/WO2020024400A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
| CN106851216A (zh) * | 2017-03-10 | 2017-06-13 | 山东师范大学 | 一种基于人脸和语音识别的课堂行为监控***及方法 |
| CN107292271A (zh) * | 2017-06-23 | 2017-10-24 | 北京易真学思教育科技有限公司 | 学习监控方法、装置及电子设备 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582611A (zh) * | 2019-02-18 | 2020-08-25 | 北京入思技术有限公司 | 一种基于情绪感知的课堂教学评价方法及*** |
| CN109919079A (zh) * | 2019-03-05 | 2019-06-21 | 百度在线网络技术（北京）有限公司 | 用于检测学习状态的方法和装置 |
| CN110164209A (zh) * | 2019-04-24 | 2019-08-23 | 薄涛 | 教学终端、服务器和教学直播*** |
| CN110175534A (zh) * | 2019-05-08 | 2019-08-27 | 长春师范大学 | 基于多任务级联卷积神经网络的授课辅助*** |
| CN110287807A (zh) * | 2019-05-31 | 2019-09-27 | 上海亿童科技有限公司 | 一种人体信息获取方法、装置及*** |
| CN110418095B (zh) * | 2019-06-28 | 2021-09-14 | 广东虚拟现实科技有限公司 | 虚拟场景的处理方法、装置、电子设备及存储介质 |
| CN110418095A (zh) * | 2019-06-28 | 2019-11-05 | 广东虚拟现实科技有限公司 | 虚拟场景的处理方法、装置、电子设备及存储介质 |
| CN110737535B (zh) * | 2019-09-09 | 2023-02-07 | 平安证券股份有限公司 | 基于消息队列的数据处理方法、装置和计算机设备 |
| CN110737535A (zh) * | 2019-09-09 | 2020-01-31 | 平安证券股份有限公司 | 基于消息队列的数据处理方法、装置和计算机设备 |
| CN110598632B (zh) * | 2019-09-12 | 2022-09-09 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| WO2021047185A1 (zh) * | 2019-09-12 | 2021-03-18 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN110598632A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市商汤科技有限公司 | 目标对象的监测方法及装置、电子设备和存储介质 |
| CN110580470A (zh) * | 2019-09-12 | 2019-12-17 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN112584091A (zh) * | 2019-09-29 | 2021-03-30 | 杭州海康威视数字技术股份有限公司 | 报警信息生成方法、报警信息解析方法、***和装置 |
| CN112584091B (zh) * | 2019-09-29 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 报警信息生成方法、报警信息解析方法、***和装置 |
| CN110942086B (zh) * | 2019-10-30 | 2024-04-23 | 平安科技（深圳）有限公司 | 数据预测优化方法、装置、设备及可读存储介质 |
| CN110942086A (zh) * | 2019-10-30 | 2020-03-31 | 平安科技（深圳）有限公司 | 数据预测优化方法、装置、设备及可读存储介质 |
| CN111507241A (zh) * | 2020-04-14 | 2020-08-07 | 四川聚阳科技集团有限公司 | 一种轻量级网络课堂表情监测方法 |
| CN111556279A (zh) * | 2020-05-22 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 即时会话的监控方法和通信方法 |
| CN111738177A (zh) * | 2020-06-28 | 2020-10-02 | 四川大学 | 一种基于姿态信息提取的学生课堂行为识别方法 |
| CN111738177B (zh) * | 2020-06-28 | 2022-08-02 | 四川大学 | 一种基于姿态信息提取的学生课堂行为识别方法 |
| CN112528777A (zh) * | 2020-11-27 | 2021-03-19 | 富盛科技股份有限公司 | 一种用于课堂环境下的学生面部表情识别方法及*** |
| CN113239841A (zh) * | 2021-05-24 | 2021-08-10 | 桂林理工大学博文管理学院 | 基于人脸识别的课堂专注状态检测方法及相关仪器 |
| CN113570484B (zh) * | 2021-09-26 | 2022-02-08 | 广州华赛数据服务有限责任公司 | 一种基于大数据的线上小学教育管理***及方法 |
| CN113570484A (zh) * | 2021-09-26 | 2021-10-29 | 广州华赛数据服务有限责任公司 | 一种基于大数据的线上小学教育管理***及方法 |
| CN114724229A (zh) * | 2022-05-23 | 2022-07-08 | 北京英华在线科技有限公司 | 在线教育平台用的学习状态检测***及方法 |
| CN114724229B (zh) * | 2022-05-23 | 2022-09-02 | 北京英华在线科技有限公司 | 在线教育平台用的学习状态检测***及方法 |
| CN116757524A (zh) * | 2023-05-08 | 2023-09-15 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
| CN116757524B (zh) * | 2023-05-08 | 2024-02-06 | 广东保伦电子股份有限公司 | 一种教师授课质量评价方法和装置 |
| CN117152688A (zh) * | 2023-10-31 | 2023-12-01 | 江西拓世智能科技股份有限公司 | 一种基于人工智能的智慧课堂行为分析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020024400A1 (zh) | 2020-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344682A (zh) | 课堂监控方法、装置、计算机设备及存储介质 | |
| CN109522815B (zh) | 一种专注度评估方法、装置及电子设备 | |
| US20180308114A1 (en) | Method, device and system for evaluating product recommendation degree | |
| CN101383000B (zh) | 信息处理装置和信息处理方法 | |
| CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测*** | |
| US20190095701A1 (en) | Living-body detection method, device and storage medium | |
| CN109711297A (zh) | 基于面部图片的风险识别方法、装置、计算机设备及存储介质 | |
| CN108470169A (zh) | 人脸识别***及方法 | |
| US20170213075A1 (en) | Head-pose invariant recognition of facial attributes | |
| CN107085715A (zh) | 一种电视智能检测用户睡眠状态的***及方法 | |
| CN109767261A (zh) | 产品推荐方法、装置、计算机设备和存储介质 | |
| CN112487928B (zh) | 基于特征模型的课堂学情实时监测方法与*** | |
| Ancheta et al. | FEDSecurity: implementation of computer vision thru face and eye detection | |
| CN109685007B (zh) | 用眼习惯的预警方法、用户设备、存储介质及装置 | |
| CN112257728B (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
| CN111353366A (zh) | 一种情绪检测方法及装置、电子设备 | |
| CN108511066A (zh) | 信息生成方法和装置 | |
| KR102248706B1 (ko) | 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법 | |
| CN109299641A (zh) | 一种列车调度员疲劳监测图像自适应处理算法 | |
| CN114051116A (zh) | 一种驾考车辆的视频监控方法、装置以及*** | |
| CN109697421A (zh) | 基于微表情的评价方法、装置、计算机设备和存储介质 | |
| CN113536893A (zh) | 一种在线教学学习专注度识别方法、装置、***及介质 | |
| CN116994465A (zh) | 一种基于互联网的智能教学方法、***及存储介质 | |
| Ray et al. | Design and implementation of affective e-learning strategy based on facial emotion recognition | |
| CN112380896A (zh) | 一种课堂学情分析方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |