CN109344723A - 一种基于视距算法的学生监控方法 - Google Patents

一种基于视距算法的学生监控方法 Download PDF

Info

Publication number
CN109344723A
CN109344723A CN201811025074.5A CN201811025074A CN109344723A CN 109344723 A CN109344723 A CN 109344723A CN 201811025074 A CN201811025074 A CN 201811025074A CN 109344723 A CN109344723 A CN 109344723A
Authority
CN
China
Prior art keywords
characteristic
student
normal
image
eyebrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811025074.5A
Other languages
English (en)
Inventor
吴琪
王力舟
肖明
黄冠铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wenxuan Education Science & Technology Co Ltd
Original Assignee
Sichuan Wenxuan Education Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Wenxuan Education Science & Technology Co Ltd filed Critical Sichuan Wenxuan Education Science & Technology Co Ltd
Priority to CN201811025074.5A priority Critical patent/CN109344723A/zh
Publication of CN109344723A publication Critical patent/CN109344723A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视距算法的学生监控方法，其包括以下步骤：通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像；根据图像分析法确定捕捉图像中两眼实际距离值；如果实际距离值超过预设阈值范围，则在预定时间内对学生的面部进行拍摄，得到面部图像；提取面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据；将眼睛特征数据、嘴巴特征数据和眉毛特征数据分别与正常表情数据库中的正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据进行对比匹配；如果眼睛特征数据、嘴巴特征数据和眉毛特征数据中的任意一种匹配不一致，则通过学生终端发出告警，以提示学生提高学习专注度。本发明能够自动提示学生认真听课。

Description

一种基于视距算法的学生监控方法
技术领域
本发明涉及多媒体教学技术领域，尤其是一种基于视距算法的学生监控方法。
背景技术
随着电子技术和多媒体技术的快速发展，越来越多的领域开始普及应用各类电子终端。在很多学校中，已经采用终端进行教学，学生可以利用终端阅读电子书、观看教学视频或者进行课堂教学等。
然而，由于学生的专注度较差，在使用终端进行教学时，学生在学习过程中由于走神，这种情况目前基本由教师目视提醒学生，然而由于教师授课时需要使用多媒体设备，因而难以观察到每一位学生是否认真听课，导致教学效率不高。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供一种基于视距算法的学生监控方法，能够自动提示学生认真听课。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于视距算法的学生监控方法，包括以下步骤：通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像；根据图像分析法确定捕捉图像中两眼实际距离值；如果所述实际距离值超过预设阈值范围，则在预定时间内对学生的面部进行拍摄，得到面部图像；提取所述面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据；将所述眼睛特征数据、嘴巴特征数据和眉毛特征数据分别与正常表情数据库中的正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据进行对比匹配；如果所述眼睛特征数据、嘴巴特征数据和眉毛特征数据中的任意一种匹配不一致，则通过学生终端发出告警，以提示学生提高学习专注度。
优选的，所述学生监控方法还包括：如果所述眼睛特征数据、嘴巴特征数据和眉毛特征数据均匹配一致，则重复所述通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像的步骤。
优选的，所述正常表情数据库的构建方法为：获取大量学生认真学习时的样本面部图像；依次提取每张样本面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据；将所提取的眼睛特征数据、嘴巴特征数据和眉毛特征数据作为正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据存入正常表情数据库中。
优选的，所述学生终端为智能手机或平板电脑。
综上所述，由于采用了上述技术方案，本发明的基于视距算法的学生监控方法不仅要对学生的视距进行检测，还要采集学生面部图像，并提取眼睛特征数据、嘴巴特征数据和眉毛特征数据与正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据进行对比匹配，只要有一种匹配不一致，则通过学生终端发出告警，以提示学生提高学习专注度，从而能够自动提示学生认真听课。
附图说明
图1是本发明实施例的基于视距算法的学生监控方法的流程示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
如图1所示，是本发明实施例的基于视距算法的学生监控方法的流程示意图。在本实施例中，学生监控方法包括以下步骤：
S1：通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像。
在本实施例中，学生终端例如为智能手机或平板电脑。
S2：根据图像分析法确定捕捉图像中两眼实际距离值。
S3：如果实际距离值超过预设阈值范围，则在预定时间内对学生的面部进行拍摄，得到面部图像。
实际应用中，人眼如果专注使用手机，在正常情况下人眼到屏幕的视距通常有一个合适的范围，比如，用户认真使用手机时，该范围应该保持在35-50厘米以内。如果超过这个范围，用户可能处于走神状态。当然，其他类型的屏幕可能有不同的预设阈值范围，其值由应用本方案的用户自行确定，此处不再赘述。
不管是哪种终端的屏幕，当摄像头拍摄下学生的面部图像，面部到屏幕的视距与面部图像中两眼距离值存在一种对应关系，那么，当用户太靠近屏幕，拍摄下的面部图像中两眼距离就应该高于预设阈值范围，反之，拍摄下的面部图像中两眼距离就应该低于预设阈值范围。因此，本发明方案可以利用此原理实时监控用户视距。
S4：提取面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据。
其中，由于人的面部能体现表情变化的部位只有嘴巴、眼睛和眉毛，鼻子不随着表情的变化而变化，因此本发明将嘴巴、眼睛和眉毛作为面部关键部位，从而提取出眼睛特征数据、嘴巴特征数据和眉毛特征数据。
S5：将眼睛特征数据、嘴巴特征数据和眉毛特征数据分别与正常表情数据库中的正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据进行对比匹配。
其中，对比匹配的过程是查找正常表情数据库中是否存在与眼睛特征数据、嘴巴特征数据或眉毛特征数据相同或相近的正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据。
S6：如果眼睛特征数据、嘴巴特征数据和眉毛特征数据中的任意一种匹配不一致，则通过学生终端发出告警，以提示学生提高学习专注度。
其中，如果眼睛特征数据、嘴巴特征数据和眉毛特征数据中的任意一种匹配不一致，都表明学生存在走神的可能。例如嘴巴特征数据和眉毛特征数据匹配一致，但是学生的眼睛处于闭眼的状态，此时学生可能在打瞌睡，那么眼睛特征数据将匹配不一致；再比如眼睛特征数据和眉毛特征数据匹配一致，但是学生的嘴巴处于张嘴的状态，此时学生可能在打哈欠，那么嘴巴特征数据将匹配不一致。
学生终端发出告警的方式可以是语音提示、图像提示或文字提示。
在本实施例中，学生监控方法还包括：如果眼睛特征数据、嘴巴特征数据和眉毛特征数据均匹配一致，则重复通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像的步骤。也就是说，如果眼睛特征数据、嘴巴特征数据和眉毛特征数据均匹配一致，那么学生监控方法将会循环重复进行。
在本实施例中，正常表情数据库的构建方法为：获取大量学生认真学习时的样本面部图像；依次提取每张样本面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据；将所提取的眼睛特征数据、嘴巴特征数据和眉毛特征数据作为正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据存入正常表情数据库中。正常表情数据库需要实时更新，样本面部图像可以借助第三方获取。
通过上述方式，本发明的基于视距算法的学生监控方法不仅要对学生的视距进行检测，还要采集学生面部图像，并提取眼睛特征数据、嘴巴特征数据和眉毛特征数据与正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据进行对比匹配，只要有一种匹配不一致，则通过学生终端发出告警，以提示学生提高学习专注度，从而能够自动提示学生认真听课。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (4)

1.一种基于视距算法的学生监控方法，其特征在于，包括以下步骤：
通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像；
根据图像分析法确定捕捉图像中两眼实际距离值；
如果所述实际距离值超过预设阈值范围，则在预定时间内对学生的面部进行拍摄，得到面部图像；
提取所述面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据；
将所述眼睛特征数据、嘴巴特征数据和眉毛特征数据分别与正常表情数据库中的正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据进行对比匹配；
如果所述眼睛特征数据、嘴巴特征数据和眉毛特征数据中的任意一种匹配不一致，则通过学生终端发出告警，以提示学生提高学习专注度。
2.根据权利要求1所述的学生监控方法，其特征在于，所述学生监控方法还包括：
如果所述眼睛特征数据、嘴巴特征数据和眉毛特征数据均匹配一致，则重复所述通过学生终端在学生学习过程中实时捕捉对学生的面部，得到捕捉图像的步骤。
3.根据权利要求1所述的学生监控方法，其特征在于，所述正常表情数据库的构建方法为：
获取大量学生认真学习时的样本面部图像；
依次提取每张样本面部图像中的眼睛特征数据、嘴巴特征数据和眉毛特征数据；
将所提取的眼睛特征数据、嘴巴特征数据和眉毛特征数据作为正常眼睛特征数据、正常嘴巴特征数据和正常眉毛特征数据存入正常表情数据库中。
4.根据权利要求1所述的学生监控方法，其特征在于，所述学生终端为智能手机或平板电脑。
CN201811025074.5A 2018-09-04 2018-09-04 一种基于视距算法的学生监控方法 Pending CN109344723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811025074.5A CN109344723A (zh) 2018-09-04 2018-09-04 一种基于视距算法的学生监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811025074.5A CN109344723A (zh) 2018-09-04 2018-09-04 一种基于视距算法的学生监控方法

Publications (1)

Publication Number Publication Date
CN109344723A true CN109344723A (zh) 2019-02-15

Family

ID=65296935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811025074.5A Pending CN109344723A (zh) 2018-09-04 2018-09-04 一种基于视距算法的学生监控方法

Country Status (1)

Country Link
CN (1) CN109344723A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913074A (zh) * 2019-11-28 2020-03-24 北京小米移动软件有限公司 视距调整方法及装置、移动设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076925A (zh) * 2014-06-30 2014-10-01 天马微电子股份有限公司 一种用于提醒用户眼睛与屏幕距离的方法
CN105718875A (zh) * 2016-01-15 2016-06-29 广东欧珀移动通信有限公司 一种视觉疲劳检测方法及用户终端
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及***
WO2018233398A1 (zh) * 2017-06-23 2018-12-27 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104076925A (zh) * 2014-06-30 2014-10-01 天马微电子股份有限公司 一种用于提醒用户眼睛与屏幕距离的方法
CN105718875A (zh) * 2016-01-15 2016-06-29 广东欧珀移动通信有限公司 一种视觉疲劳检测方法及用户终端
CN106127139A (zh) * 2016-06-21 2016-11-16 东北大学 一种mooc课程中学生面部表情的动态识别方法
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及***
WO2018233398A1 (zh) * 2017-06-23 2018-12-27 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪亭亭等: "基于面部表情识别的学习疲劳识别和干预方法", 《计算机工程与设计》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913074A (zh) * 2019-11-28 2020-03-24 北京小米移动软件有限公司 视距调整方法及装置、移动设备、存储介质

Similar Documents

Publication Publication Date Title
CN109165552B (zh) 一种基于人体关键点的姿态识别方法、***及存储器
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
US9734730B2 (en) Multi-modal modeling of temporal interaction sequences
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估***
CN108304819B (zh) 姿态识别***及方法、存储介质
CN110674664A (zh) 视觉注意力的识别方法及***、存储介质、处理器
CN108399376A (zh) 学生课堂学习兴趣智能分析方法及***
CN109375765B (zh) 眼球追踪交互方法和装置
CN106354777B (zh) 一种应用于电子终端的搜题方法及装置
KR20130043366A (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
CN110312098A (zh) 用于互动式线上教学的即时监控方法
CN110728194A (zh) 基于微表情和动作识别的智能培训方法、装置及存储介质
CN114779922A (zh) 教学设备的控制方法、控制设备、教学***和存储介质
US20210291380A1 (en) Expression feedback method and smart robot
CN109344723A (zh) 一种基于视距算法的学生监控方法
CN111601061B (zh) 一种视频录制信息处理方法及电子设备
CN110491384B (zh) 一种语音数据处理方法及装置
Azhaguraj et al. Smart attendance marking system using face recognition
CN110443122B (zh) 信息处理方法及相关产品
CN105446978B (zh) 一种显示方法和电子设备
JP2021026744A (ja) 情報処理装置、画像認識方法及び学習モデル生成方法
CN113891002B (zh) 拍摄方法及装置
CN112668384B (zh) 一种知识图谱构建方法、***、电子设备及存储介质
CN111967436B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication