CN111967350A - 远程课堂专注度分析方法、装置、计算机设备及存储介质 - Google Patents
远程课堂专注度分析方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111967350A CN111967350A CN202010748481.XA CN202010748481A CN111967350A CN 111967350 A CN111967350 A CN 111967350A CN 202010748481 A CN202010748481 A CN 202010748481A CN 111967350 A CN111967350 A CN 111967350A
- Authority
- CN
- China
- Prior art keywords
- student
- data
- students
- face
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000008451 emotion Effects 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 6
- 238000009432 framing Methods 0.000 claims description 5
- 208000005809 status epilepticus Diseases 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008921 facial expression Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Ophthalmology & Optometry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明涉及远程课堂的技术领域，尤其是涉及一种远程课堂专注度分析方法、装置、计算机设备及存储介质，远程课堂专注度分析方法包括以下步骤：实时获取每个学生端的学生人脸数据，从每个所述学生人脸数据中获取对应的学生人脸特征；通过所述学生人脸特征生成与每个所述学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况；从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息。本发明具有有助于教师获取到学生参与远程课堂时的表现的效果。
Description
技术领域
本发明涉及远程课堂的技术领域，尤其是涉及一种远程课堂专注度分析方法、装置、计算机设备及存储介质。
背景技术
目前，远程视频技术是一种在位于两个或多个地点的多个用户之间提供语音和运动彩色画面的双向实时传送的视听会话型会议业务。这项技术也已经被广泛应用在各个领域，便于使用者跨地域进行语音和视频的交流。
现在远程视频技术也用在了教学的领域，师生可以利用远程视频技术，实现远程课堂的教学，打破了教学的地域限制，提升了教学的便利性。
针对上述中的相关技术，发明人认为存在有难以获取到学生在远程课堂上课时的表现缺陷。
发明内容
本发明的目的是提供一种有助于教师获取到学生参与远程课堂时的表现的远程课堂专注度分析方法、装置、计算机设备及存储介质。
本发明的上述发明目的一是通过以下技术方案得以实现的：
一种远程课堂专注度分析方法，所述远程课堂专注度分析方法包括以下步骤：
实时获取每个学生端的学生人脸数据，从每个所述学生人脸数据中获取对应的学生人脸特征；
通过所述学生人脸特征生成与每个所述学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况；
从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息；
将所述学生观看状态情况和所述学生注视点信息作为学生上课关注度信息发送至教师端。
通过采用上述技术方案，通过实时获取每个学生端的学生人脸数据，并在该学生人脸数据中获取对应的学生人脸特征，能够便于识别出学生的听课情况，同时，由于虽然存在不同的学生人脸大小不同的情况，但是面部的器官的位置以及大小的差异不大，因此，根据该学生人脸特征生成人脸矩形框，能够有助于减少不同学生的人脸大小对识别的干扰；通过获取观看距离数据，能够判定出学生是否在学生端前面，以及听课的姿态状态，有助于教师进行及时干预；通过生成学生视线数据，进而得到学生注视点信息，能够获取到学生注视点信息，从而以检测学生上课过程中的注意力是否集中，也有助于教师及时改变教学策略来活跃课堂气氛。
本发明在一较佳示例中可以进一步配置为：所述学生观看状态信息包括学生不在状态信息和学生观看过近信息，所述根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况，具体包括如下步骤：
获取预设的观看距离标准范围，实时将所述学生观看距离数据与所述观看距离标准范围进行数值大小的比对，得到对应的比对结果；
若所述比对结果为所述学生观看距离数据超过所述观看距离标准范围，则生成所述学生不在状态信息；
若所述比对结果为所述学生观看距离数据小于所述观看距离标准范围，则生成所述学生观看过近信息。
通过采用上述技术方案，通过设置观看距离标准范围，并实时将学生观看距离数据与该观看距离标准范围进行比对，能够得到学生在学生端的屏幕面前的状态，当学生观看距离数据超过观看距离标准范围时，或者是长时间超过该观看距离标准范围，则生成该学生不在状态信息，能够让教师及时对该学生进行干预，及时调整学生的上课状态；若该学生观看距离数据小于该观看距离标准范围，并生成该学生观看过近信息，说明该学生距离学生端的屏幕过近，对视力有损害，教师也可以及时对该学生进行干预，及时让学生调整坐姿。
本发明在一较佳示例中可以进一步配置为：在所述根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况之后，所述远程课堂专注度分析方法还包括以下步骤：
从每个学生端中获取若干帧所述学生人脸数据；
将所述学生人脸数据输入至预设的情绪检测模型，得到学生情绪数据和学生情绪变化数据，并将所述学生情绪数据和所述学生情绪变化数据发送至所述教师端。
通过采用上述技术方案，通过学生面部表情分析，观测学生在上课过程中的面部表情的变化，由于这些面部表情反应了学生对课堂或教师的喜好，以及学生自身的情绪状态，如果发现学生上课情绪不好，比如频繁出现害怕、难过等，反应了学生对课堂和教师积极还是消极的反应，及时给予教师和家长反馈，关注学生的情绪变化，帮助学生心理健康发展。
本发明在一较佳示例中可以进一步配置为：所述从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息，具体包括如下步骤：
获取学生端摄像头位置信息；
根据所述摄像头位置信息每个所述学生视线数据对应的关注点位置数据，根据所述关注点位置数据生成所述学生注视点信息。
通过采用上述技术方案，专注度分析主要可以检测学生上课过程中的注意力是否集中，如果发现学生注意力不集中，及时给教师预警。
本发明在一较佳示例中可以进一步配置为：所述根据所述摄像头位置信息每个所述学生视线数据对应的关注点位置数据，根据所述关注点位置数据生成所述学生注视点信息，具体包括如下步骤：
获取所有所述关注点位置数据的均值和标准差；
将所述均值作为中心点，N倍标准差作为半径生成关注点检测圆，在所述关注点检测圆内获取关注点比例数据，将所述关注点比例数据作为所述学生注视点信息，其中，N大于0。
通过采用上述技术方案，通过所有关注点位置数据的均值和标准差生成关注点检测圆，能够更好地检测出学生的关注点是否集中于一个区域中，便于判断学生上课时的专注度。
本发明的上述发明目的二是通过以下技术方案得以实现的：
一种远程课堂专注度分析装置，所述远程课堂专注度分析装置包括：
特征提取模块，用于实时获取每个学生端的学生人脸数据，从每个所述学生人脸数据中获取对应的学生人脸特征；
面部框选模块，用于通过所述学生人脸特征生成与每个所述学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
距离计算模块，用于根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况；
关注度计算模块，用于从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息；
发送模块，用于将所述学生观看状态情况和所述学生注视点信息作为学生上课关注度信息发送至教师端。
通过采用上述技术方案，通过实时获取每个学生端的学生人脸数据，并在该学生人脸数据中获取对应的学生人脸特征，能够便于识别出学生的听课情况，同时，由于虽然存在不同的学生人脸大小不同的情况，但是面部的器官的位置以及大小的差异不大，因此，根据该学生人脸特征生成人脸矩形框，能够有助于减少不同学生的人脸大小对识别的干扰；通过获取观看距离数据，能够判定出学生是否在学生端前面，以及听课的姿态状态，有助于教师进行及时干预；通过生成学生视线数据，进而得到学生注视点信息，能够获取到学生注视点信息，从而以检测学生上课过程中的注意力是否集中，也有助于教师及时改变教学策略来活跃课堂气氛。
本发明的上述发明目的三是通过以下技术方案得以实现的：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述远程课堂专注度分析方法的步骤。
本发明的上述发明目的四是通过以下技术方案得以实现的：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述远程课堂专注度分析方法的步骤。
综上所述，本发明包括以下至少一种有益技术效果：
1、通过实时获取每个学生端的学生人脸数据，并在该学生人脸数据中获取对应的学生人脸特征，能够便于识别出学生的听课情况，同时，由于虽然存在不同的学生人脸大小不同的情况，但是面部的器官的位置以及大小的差异不大，因此，根据该学生人脸特征生成人脸矩形框，能够有助于减少不同学生的人脸大小对识别的干扰；通过获取观看距离数据，能够判定出学生是否在学生端前面，以及听课的姿态状态，有助于教师进行及时干预；
2、通过生成学生视线数据，进而得到学生注视点信息，能够获取到学生注视点信息，从而以检测学生上课过程中的注意力是否集中，也有助于教师及时改变教学策略来活跃课堂气氛；
3、通过学生面部表情分析，观测学生在上课过程中的面部表情的变化，由于这些面部表情反应了学生对课堂或教师的喜好，以及学生自身的情绪状态，如果发现学生上课情绪不好，比如频繁出现害怕、难过等，反应了学生对课堂和教师积极还是消极的反应，及时给予教师和家长反馈，关注学生的情绪变化，帮助学生心理健康发展；
4、专注度分析主要可以检测学生上课过程中的注意力是否集中，如果发现学生注意力不集中，及时给教师预警。
附图说明
图1是本发明一实施例中基于图结构的推荐方法的一应用环境示意图；
图2是本发明一实施例中远程课堂的互动方法的一流程图；
图3是本发明一实施例中远程课堂的互动方法中步骤S30的实现流程图；
图4是本发明一实施例中远程课堂的互动方法中的另一实现流程图；
图5是本发明一实施例中远程课堂的互动方法中步骤S40的现流程图；
图6是本发明一实施例中远程课堂的互动方法中步骤S42的现流程图；
图7是本发明一实施例中远程课堂的互动装置的一原理框图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本申请提供的远程课堂专注度分析方法，可应用在如图1的应用环境中，其中，教师端和学生端通过网络与服务端进行通信。学生端的摄像头实时获取学生人脸数据，并将学生人脸数据发送至服务端，服务端在对该学生人脸数据进行分析后，得到学生上课的专注度的信息，并将该专注度的信息发送至教师端。其中，学生端与教师端（计算机设备）可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，本发明公开了一种远程课堂专注度分析方法，具体包括如下步骤：
S10：实时获取每个学生端的学生人脸数据，从每个学生人脸数据中获取对应的学生人脸特征。
在本实施例中，学生端是与教师端对应，是指在线上网课的场景中，学生使用的终端。学生人脸数据是指正在学生端前上课的学生的人脸的数据。学生人脸特征是指学生人脸数据中的关键点的特征的数据。
具体地，学生在学生端中远程上课时，通过获取学生端摄像头的API（ApplicationProgramming Interface，应用程序接口），实时获取学生端前的学生的学生人脸数据。
进一步地，通过设置关键点，例如眉毛、眼睛、鼻子以及嘴巴等面部器官，从每个学生人脸数据中获取该关键点的特征，即从学生人脸数据中识别出该关键点，作为学生人脸特征。
S20：通过学生人脸特征生成与每个学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据。
在本实施例中，人脸矩形框是指用于表示学生端摄像头铺捉到的人脸的大小的矩形框。矩形框大小数据是指每个人脸矩形框具体的大小的数据。
具体地，在识别到每一张学生人脸数据的学生人脸特征后，使用能够框选所有的学生人脸特征的最小矩形对学生人脸特征进行框选，得到该人脸矩形框，并计算该人脸矩形框的面积，得到矩形框大小数据。
S30：根据矩形框大小数据计算学生观看距离数据，根据学生观看距离数据生成学生观看状态情况。
在本实施例中，学生观看距离数据是指学生观看学生端屏幕中的内容的距离的数据。学生观看状态情况是指学生在参与远程课堂时的学习状态的情况。
具体地，通过设定矩形框大小数据的最优值或者最优范围，将该矩形框大小数据与该最优值或者最优范围的比值计算出学生观看距离数据。
进一步地，若从该学生观看距离数据判定出学生距离学生端的屏幕太远，则说明该学生可能没有认真参与远程课堂；若从该学生观看距离数据判定出学生距离学生端的屏幕太近，则有可能该学生参与远程课堂时的坐姿不正确，对视力以及身体健康会存在影响。则通过该学生观看距离数据生成对应的学生状态情况。
S40：从学生人脸特征中获取学生眼睛特征，根据学生眼睛特征生成学生视线数据，通过学生视线数据生成学生注视点信息。
在本实施例中，学生眼睛特征是指学生在参加远程课堂时眼睛的特征。学生视线数据是指学生在参与远程课堂时，眼睛与目标之间的直线。学生注视点信息是指学生在参加网课时眼睛注视的目标的信息。
具体地，使用预设的识别眼睛视线的模型，将从学生人脸特征的学生眼睛特征输入至该模型，得到学生视线数据。
进一步地，根据该学生视线数据，得到学生在参加远程课堂时注视的目标，得到学生注视点信息。
S50：将学生观看状态情况和学生注视点信息作为学生上课关注度信息发送至教师端。
在本实施例中，教师端是指在线上网课的场景中，教师使用的终端。
具体地，在得到每个学生的学生观看情况和学生注视点信息后，将该学生观看情况和学生注视点信息发送至教师端，使得教师能够及时对学生进行干预，以及对教学方式进行日调整。
在本实施例中，通过实时获取每个学生端的学生人脸数据，并在该学生人脸数据中获取对应的学生人脸特征，能够便于识别出学生的听课情况，同时，由于虽然存在不同的学生人脸大小不同的情况，但是面部的器官的位置以及大小的差异不大，因此，根据该学生人脸特征生成人脸矩形框，能够有助于减少不同学生的人脸大小对识别的干扰；通过获取观看距离数据，能够判定出学生是否在学生端前面，以及听课的姿态状态，有助于教师进行及时干预；通过生成学生视线数据，进而得到学生注视点信息，能够获取到学生注视点信息，从而以检测学生上课过程中的注意力是否集中，也有助于教师及时改变教学策略来活跃课堂气氛。
在一实施例中，学生观看状态信息包括学生不在状态信息和学生观看过近信息，如图3所示，在步骤S30中，即根据矩形框大小数据计算学生观看距离数据，根据学生观看距离数据生成学生观看状态情况，具体包括如下步骤：
S31：获取预设的观看距离标准范围，实时将学生观看距离数据与观看距离标准范围进行数值大小的比对，得到对应的比对结果。
在本实施例中，观看距离标准范围是指参加远程课堂时，学生距离学生端屏幕理想的距离。
具体地，通过实验测试或者大数据分析等手段，设置该观看距离标准范围。将实时计算出的学生观看距离数据与该观看距离标准范围进行比对，得到该比对结果。
S32：若比对结果为学生观看距离数据超过观看距离标准范围，则生成学生不在状态信息。
在本实施例中，学生不在状态信息是指学生在参加远程课堂时的状态不佳的信息。
具体地，若该比对结果中显示出该学生的学生观看距离数据超过该观看距离标准范围，且超过该观看距离标准范围的时间大于一定的时间，例如5分钟，则认定该学生参与远程课堂的状态不佳，则触发该学生不在状态信息。其中，若超过一定时间没有检测到学生人脸数据，例如超过5分钟，则证明该学生缺席，则可将该缺席的信息在学生不在状态信息中进行标记。
S33：若比对结果为学生观看距离数据小于观看距离标准范围，则生成学生观看过近信息。
在本实施例中，学生观看过近信息是指学生观看远程课堂时距离屏幕的距离过近的信息。
具体地，若该比对结果中显示该学生的学生观看距离数据小于该观看距离标准范围，则说明该学生距离学生端的屏幕的姿势不端正，则触发该学生观看过近信息。
在一实施例中，如图4所示，在步骤S30之后，远程课堂专注度分析方法还包括以下步骤：
S301：从每个学生端中获取若干帧学生人脸数据。
具体地，在实时获取到的学生人脸数据中，每连续10帧画面选取5帧画面的学生人脸数据。
S302：将学生人脸数据输入至预设的情绪检测模型，得到学生情绪数据和学生情绪变化数据，并将学生情绪数据和学生情绪变化数据发送至教师端。
在本实施例中，情绪检测模型是指用于检测学生参加远程课堂时的面部表情的模型。学生情绪数据是指学生参加远程课堂时的面部情绪的数据。学生情绪变化数据是指学生参加远程课堂时的面部情绪的变化情况。
具体地，通过获取若干各个表情类型的视频作为训练样本视频，包括难过、高兴、惊讶、愤怒、厌恶、害怕以及中性等，训练出能够检测到面部表情的情绪检测模型。
进一步地，将学生人脸数据输入至该情绪检测模型，进而得到学生实时的学生情绪数据。若学生的面部表情产生了变化，则将变化的情况进行记录后，作为学生情绪变化数据。
进一步地，将学生情绪数据和学生情绪变化数据发送至教师端。教师端能够根据学生听课时的情绪以及情绪变化程度，判断出学生听课的状态，为判断学生是否理解讲课的内容提供有效参考。
在一实施例中，如图5所示，在步骤S40中，即从学生人脸特征中获取学生眼睛特征，根据学生眼睛特征生成学生视线数据，通过学生视线数据生成学生注视点信息，具体包括如下步骤：
S41：获取学生端摄像头位置信息。
在本实施例中，学生端摄像头位置信息是指学生端所在的设备的摄像头，在该设备的相对位置的信息。
具体地，通过该学生端，获取学生端所在的设备的型号、尺寸的数据。通过该数据计算出该学生端摄像头位置信息。
S42：根据摄像头位置信息每个学生视线数据对应的关注点位置数据，根据关注点位置数据生成学生注视点信息。
在本实施例中，关注点位置信息是指学生的眼睛关注的目标的位置的信息。
具体地，通过深度学习模型，从视频流的学生人脸数据中中抽取部分帧输入到该模型中分析，模型输出相对于摄像头位置信息的x和y坐标(单位为cm)的注视位置，作为该关注点位置数据。
进一步地，统计所有关注点位置数据，得到该学生关注点信息。
在一实施例中，如图6所示，在步骤S42中，即根据关注点位置数据生成学生注视点信息，具体包括如下步骤：
S421：获取所有关注点位置数据的均值和标准差。
具体地，由于每个专注点位置数据均使用坐标点的方式标记，则使用所有关注点位置数据的坐标点计算出对应的x坐标均值和标准差以及y坐标的均值和标准差。
S422：将均值作为中心点，N倍标准差作为半径生成关注点检测圆，在关注点检测圆内获取关注点比例数据，将关注点比例数据作为学生注视点信息，其中，N大于0。
在本实施例中，关注带检测圆是指用于统计学生关注点的检测范围。
具体地，将x坐标和y坐标的均值作为圆心，使用N倍的标准差的数值作为半径画圆，得到该关注点检测圆，在本实施例中，N的取值为1、1.5或2。
进一步地，获取所有关注点位置数据的第一数量，以及落在该关注点检测圆中的第二数量，通过求得该第一数量与第二数量之间的比值，即关注点比例数据，作为该学生关注点信息。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种远程课堂专注度分析装置，该远程课堂专注度分析装置与上述实施例中远程课堂专注度分析方法一一对应。如图7所示，该远程课堂专注度分析装置包括特征提取模块10、面部框选模块20、距离计算模块30、关注度计算模块40和发送模块50。各功能模块详细说明如下：
特征提取模块10，用于实时获取每个学生端的学生人脸数据，从每个学生人脸数据中获取对应的学生人脸特征；
面部框选模块20，用于通过学生人脸特征生成与每个学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
距离计算模块30，用于根据矩形框大小数据计算学生观看距离数据，根据学生观看距离数据生成学生观看状态情况；
关注度计算模块40，用于从学生人脸特征中获取学生眼睛特征，根据学生眼睛特征生成学生视线数据，通过学生视线数据生成学生注视点信息；
发送模块50，用于将学生观看状态情况和学生注视点信息作为学生上课关注度信息发送至教师端。
优选地，距离计算模块30包括：
比对子模块31，用于获取预设的观看距离标准范围，实时将学生观看距离数据与观看距离标准范围进行数值大小的比对，得到对应的比对结果；
第一结果生成子模块32，用于若比对结果为学生观看距离数据超过观看距离标准范围，则生成学生不在状态信息；
第二结果生成子模块33，用于若比对结果为学生观看距离数据小于观看距离标准范围，则生成学生观看过近信息。
优选地，远程课堂专注度分析装置还包括：
图像抽取模块301，用于从每个学生端中获取若干帧学生人脸数据；
情绪检测模块302，用于将学生人脸数据输入至预设的情绪检测模型，得到学生情绪数据和学生情绪变化数据，并将学生情绪数据和学生情绪变化数据发送至教师端。
优选地，关注度计算模块40包括：
位置获取子模块41，用于获取学生端摄像头位置信息；
关注点计算子模块42，用于根据摄像头位置信息每个学生视线数据对应的关注点位置数据，根据关注点位置数据生成学生注视点信息。
优选地，关注点计算子模块42包括：
第一计算子模块421，用于获取所有关注点位置数据的均值和标准差；
第二计算子模块422，用于将均值作为中心点，N倍标准差作为半径生成关注点检测圆，在关注点检测圆内获取关注点比例数据，将关注点比例数据作为学生注视点信息，其中，N大于0。
关于远程课堂专注度分析装置的具体限定可以参见上文中对于远程课堂专注度分析方法的限定，在此不再赘述。上述远程课堂专注度分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储情绪检测模型和用于检测关注点位置数据的模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种远程课堂专注度分析方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
实时获取每个学生端的学生人脸数据，从每个学生人脸数据中获取对应的学生人脸特征；
通过学生人脸特征生成与每个学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
根据矩形框大小数据计算学生观看距离数据，根据学生观看距离数据生成学生观看状态情况；
从学生人脸特征中获取学生眼睛特征，根据学生眼睛特征生成学生视线数据，通过学生视线数据生成学生注视点信息；
将学生观看状态情况和学生注视点信息作为学生上课关注度信息发送至教师端。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
实时获取每个学生端的学生人脸数据，从每个学生人脸数据中获取对应的学生人脸特征；
通过学生人脸特征生成与每个学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
根据矩形框大小数据计算学生观看距离数据，根据学生观看距离数据生成学生观看状态情况；
从学生人脸特征中获取学生眼睛特征，根据学生眼睛特征生成学生视线数据，通过学生视线数据生成学生注视点信息；
将学生观看状态情况和学生注视点信息作为学生上课关注度信息发送至教师端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种远程课堂专注度分析方法，其特征在于，所述远程课堂专注度分析方法包括以下步骤：
实时获取每个学生端的学生人脸数据，从每个所述学生人脸数据中获取对应的学生人脸特征；
通过所述学生人脸特征生成与每个所述学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况；
从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息；
将所述学生观看状态情况和所述学生注视点信息作为学生上课关注度信息发送至教师端。
2.根据权利要求1所述的远程课堂专注度分析方法，其特征在于，所述学生观看状态信息包括学生不在状态信息和学生观看过近信息，所述根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况，具体包括如下步骤：
获取预设的观看距离标准范围，实时将所述学生观看距离数据与所述观看距离标准范围进行数值大小的比对，得到对应的比对结果；
若所述比对结果为所述学生观看距离数据超过所述观看距离标准范围，则生成所述学生不在状态信息；
若所述比对结果为所述学生观看距离数据小于所述观看距离标准范围，则生成所述学生观看过近信息。
3.根据权利要求1所述的远程课堂专注度分析方法，其特征在于，在所述根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况之后，所述远程课堂专注度分析方法还包括以下步骤：
从每个学生端中获取若干帧所述学生人脸数据；
将所述学生人脸数据输入至预设的情绪检测模型，得到学生情绪数据和学生情绪变化数据，并将所述学生情绪数据和所述学生情绪变化数据发送至所述教师端。
4.根据权利要求1所述的远程课堂专注度分析方法，其特征在于，所述从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息，具体包括如下步骤：
获取学生端摄像头位置信息；
根据所述摄像头位置信息每个所述学生视线数据对应的关注点位置数据，根据所述关注点位置数据生成所述学生注视点信息。
5.根据权利要求4所述的远程课堂专注度分析方法，其特征在于，所述根据所述摄像头位置信息每个所述学生视线数据对应的关注点位置数据，根据所述关注点位置数据生成所述学生注视点信息，具体包括如下步骤：
获取所有所述关注点位置数据的均值和标准差；
将所述均值作为中心点，N倍标准差作为半径生成关注点检测圆，在所述关注点检测圆内获取关注点比例数据，将所述关注点比例数据作为所述学生注视点信息，其中，N大于0。
6.一种远程课堂专注度分析装置，其特征在于，所述远程课堂专注度分析装置包括：
特征提取模块，用于实时获取每个学生端的学生人脸数据，从每个所述学生人脸数据中获取对应的学生人脸特征；
面部框选模块，用于通过所述学生人脸特征生成与每个所述学生人脸数据对应的人脸矩形框，并获取每个人脸矩形框的矩形框大小数据；
距离计算模块，用于根据所述矩形框大小数据计算学生观看距离数据，根据所述学生观看距离数据生成学生观看状态情况；
关注度计算模块，用于从所述学生人脸特征中获取学生眼睛特征，根据所述学生眼睛特征生成学生视线数据，通过所述学生视线数据生成学生注视点信息；
发送模块，用于将所述学生观看状态情况和所述学生注视点信息作为学生上课关注度信息发送至教师端。
7.根据权利要求6所述的远程课堂专注度分析装置，其特征在于，所述学生观看状态信息包括学生不在状态信息和学生观看过近信息，所述距离计算模块包括：
比对子模块，用于获取预设的观看距离标准范围，实时将所述学生观看距离数据与所述观看距离标准范围进行数值大小的比对，得到对应的比对结果；
第一结果生成子模块，用于若所述比对结果为所述学生观看距离数据超过所述观看距离标准范围，则生成所述学生不在状态信息；
第二结果生成子模块，用于若所述比对结果为所述学生观看距离数据小于所述观看距离标准范围，则生成所述学生观看过近信息。
8.根据权利要求6所述的远程课堂专注度分析装置，其特征在于，所述远程课堂专注度分析装置还包括：
图像抽取模块，用于从每个学生端中获取若干帧所述学生人脸数据；
情绪检测模块，用于将所述学生人脸数据输入至预设的情绪检测模型，得到学生情绪数据和学生情绪变化数据，并将所述学生情绪数据和所述学生情绪变化数据发送至所述教师端。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述远程课堂专注度分析方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述远程课堂专注度分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748481.XA CN111967350A (zh) | 2020-07-30 | 2020-07-30 | 远程课堂专注度分析方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010748481.XA CN111967350A (zh) | 2020-07-30 | 2020-07-30 | 远程课堂专注度分析方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967350A true CN111967350A (zh) | 2020-11-20 |
Family
ID=73363576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010748481.XA Pending CN111967350A (zh) | 2020-07-30 | 2020-07-30 | 远程课堂专注度分析方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967350A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861650A (zh) * | 2021-01-19 | 2021-05-28 | 北京百家科技集团有限公司 | 一种行为评价方法、装置及*** |
| CN113239841A (zh) * | 2021-05-24 | 2021-08-10 | 桂林理工大学博文管理学院 | 基于人脸识别的课堂专注状态检测方法及相关仪器 |
| CN113592237A (zh) * | 2021-07-01 | 2021-11-02 | 中国联合网络通信集团有限公司 | 一种教学质量评估方法及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
| CN108830164A (zh) * | 2018-05-22 | 2018-11-16 | 北京小鱼在家科技有限公司 | 屏幕观看状态的提示方法、装置、计算机设备及存储介质 |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
| CN110393539A (zh) * | 2019-06-21 | 2019-11-01 | 合肥工业大学 | 心理异常检测方法、装置、存储介质及电子设备 |
| US20200175264A1 (en) * | 2017-08-07 | 2020-06-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Teaching assistance method and teaching assistance system using said method |
-
2020
- 2020-07-30 CN CN202010748481.XA patent/CN111967350A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599881A (zh) * | 2016-12-30 | 2017-04-26 | 首都师范大学 | 学生状态的确定方法、装置及*** |
| US20200175264A1 (en) * | 2017-08-07 | 2020-06-04 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Teaching assistance method and teaching assistance system using said method |
| CN108830164A (zh) * | 2018-05-22 | 2018-11-16 | 北京小鱼在家科技有限公司 | 屏幕观看状态的提示方法、装置、计算机设备及存储介质 |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
| CN110393539A (zh) * | 2019-06-21 | 2019-11-01 | 合肥工业大学 | 心理异常检测方法、装置、存储介质及电子设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861650A (zh) * | 2021-01-19 | 2021-05-28 | 北京百家科技集团有限公司 | 一种行为评价方法、装置及*** |
| CN113239841A (zh) * | 2021-05-24 | 2021-08-10 | 桂林理工大学博文管理学院 | 基于人脸识别的课堂专注状态检测方法及相关仪器 |
| CN113592237A (zh) * | 2021-07-01 | 2021-11-02 | 中国联合网络通信集团有限公司 | 一种教学质量评估方法及电子设备 |
| CN113592237B (zh) * | 2021-07-01 | 2023-06-09 | 中国联合网络通信集团有限公司 | 一种教学质量评估方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292271B (zh) | 学习监控方法、装置及电子设备 | |
| CN109902630B (zh) | 一种注意力判断方法、装置、***、设备和存储介质 | |
| CN111967350A (zh) | 远程课堂专注度分析方法、装置、计算机设备及存储介质 | |
| Morelli et al. | A call for conceptual models of technology in IO psychology: An example from technology-based talent assessment | |
| CN110674664A (zh) | 视觉注意力的识别方法及***、存储介质、处理器 | |
| TWI684159B (zh) | 用於互動式線上教學的即時監控方法 | |
| Abdulkader et al. | Optimizing student engagement in edge-based online learning with advanced analytics | |
| US11127401B2 (en) | Attention shifting of a robot in a group conversation using audio-visual perception based speaker localization | |
| US20200169693A1 (en) | Eye gaze angle feedback in a remote meeting | |
| US20230222932A1 (en) | Methods, systems, and media for context-aware estimation of student attention in online learning | |
| WO2021169616A1 (zh) | 非活体人脸的检测方法、装置、计算机设备及存储介质 | |
| Rahman et al. | E mo A ssist: emotion enabled assistive tool to enhance dyadic conversation for the blind | |
| Hung et al. | Augmenting teacher-student interaction in digital learning through affective computing | |
| CN111932967A (zh) | 远程课堂的互动方法、装置、计算机设备以及存储介质 | |
| CN113570916B (zh) | 一种多媒体远程教学辅助方法、设备及其*** | |
| CN109934150B (zh) | 一种会议参与度识别方法、装置、服务器和存储介质 | |
| KR102515987B1 (ko) | 학습자의 비대면 온라인수업 참여 탐지 장치 및 방법 | |
| CN116994465A (zh) | 一种基于互联网的智能教学方法、***及存储介质 | |
| CN113139491A (zh) | 视频会议控制方法、***、移动终端及存储介质 | |
| Horvat et al. | Emerging opportunities for education in the time of covid-19-adaptive e-learning intelligent agent based on assessment of emotion and attention | |
| Yang et al. | A face and eye detection based feedback system for smart classroom | |
| CN113128421A (zh) | 学习状态检测方法、***、学习终端、服务器及电子设备 | |
| KR20220057892A (ko) | 시선 기반 콘텐츠 교육 방법 및 이를 수행하기 위한 컴퓨팅 장치 | |
| CN111414838A (zh) | 一种注意力检测方法、装置、***、终端及存储介质 | |
| Madake et al. | Vision-based Monitoring of Student Attentiveness in an E-Learning Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 510032 Part 402, No. 7, caipin Road, Science City, Luogang District, Guangzhou City, Guangdong Province Applicant after: Guangdong Everbright Information Technology Co.,Ltd. Address before: 510032 Part 402, No. 7, caipin Road, Science City, Luogang District, Guangzhou City, Guangdong Province Applicant before: GUANGZHOU EVERBRIGHT EDUCATION SOFTWARE TECHNOLOGY CO.,LTD. |
|
| CB02 | Change of applicant information |