CN109165633A - 一种基于摄像头感知的智能交互式学习*** - Google Patents

一种基于摄像头感知的智能交互式学习*** Download PDF

Info

Publication number
CN109165633A
CN109165633A CN201811105085.4A CN201811105085A CN109165633A CN 109165633 A CN109165633 A CN 109165633A CN 201811105085 A CN201811105085 A CN 201811105085A CN 109165633 A CN109165633 A CN 109165633A
Authority
CN
China
Prior art keywords
class
student
processing
image data
state classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811105085.4A
Other languages
English (en)
Inventor
***
郝飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiankun Education Technology Co Ltd
Original Assignee
Shanghai Jiankun Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiankun Education Technology Co Ltd filed Critical Shanghai Jiankun Education Technology Co Ltd
Priority to CN201811105085.4A priority Critical patent/CN109165633A/zh
Publication of CN109165633A publication Critical patent/CN109165633A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于摄像头感知的智能交互式学习***，属于学习设备领域。它包括图像采集、图像识别和处理、状态分类、分析处理和结果反馈过程，图像采集用于采集人脸图像；图像识别和处理用于识别学生状态和显示学生上课专注度；状态分类包括注意力不集中、认真听讲、睡觉和疑惑；分析处理包括计算机辅助分析、结果显示、判定；结果反馈过程包括计算机以多种方式反馈给AI老师，图像采集获得人脸图像数据，人脸图像数据进入图像识别和处理中，人脸图像数据进行识别和处理后，一部分显示学生上课专注度。从而解决了AI老师在网络教学时，仅仅是与学生视频联系，但无法知晓学生在上课状态的问题。

Description

一种基于摄像头感知的智能交互式学习***
技术领域
本发明涉及一种基于摄像头感知的智能交互式学习***，属于学习设备技术领域。
背景技术
目前，AI老师在网络教学时，仅仅是与学生视频联系，但无法知晓学生在上课的状态，即学生是否存在注意力不集中、认真听讲、睡觉和疑惑的情况，AI老师无法知晓，因此会对学生的学习情况造成影响，从而会影响学生的成绩。
发明内容
本发明所要解决的技术问题在于：提供一种基于摄像头感知的智能交互式学习***，它解决了AI老师在网络教学时，仅仅是与学生视频联系，但无法知晓学生在上课状态的问题。
本发明所要解决的技术问题采取以下技术方案来实现：
一种基于摄像头感知的智能交互式学习***，包括图像采集、图像识别和处理、状态分类、分析处理和结果反馈过程，
所述图像采集用于采集人脸图像；
所述图像识别和处理用于识别学生状态和显示学生上课专注度；
所述状态分类包括注意力不集中、认真听讲、睡觉和疑惑；
所述分析处理包括计算机辅助分析、结果显示、判定；
所述结果反馈过程包括计算机以多种方式反馈给AI老师，
所述图像采集获得人脸图像数据，所述人脸图像数据进入图像识别和处理中，所述人脸图像数据进行识别和处理后，一部分显示学生上课专注度，另一部分进入状态分类，人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，分类后的数据进行分析处理，最终利用计算机以多种方式反馈给AI老师。
作为优选实例，所述判定包括已掌握知识点和未掌握知识点。
作为优选实例，所述状态分类的方法如下，
a、人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，若满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，直接进行分析处理；
b、若不满足注意力不集中、认真听讲、睡觉和疑惑，再重新进行状态分类，直到满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，然后再进行分析处理。
本发明的有益效果是：本发明提供一种基于摄像头感知的智能交互式学习***，目的是对学生的学习状态和学习成绩进行监测，图像采集获得人脸图像数据，人脸图像数据进入图像识别和处理中，人脸图像数据进行识别和处理后，一部分显示学生上课专注度，另一部分进入状态分类，人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，分类后的数据进行分析处理，最终利用计算机以多种方式反馈给AI老师，从而解决了AI老师在网络教学时，仅仅是与学生视频联系，但无法知晓学生在上课状态的问题。
附图说明
图1为本发明的示意图。
具体实施方式
为了对本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示和实施例，进一步阐述本发明。
如图1所示，一种基于摄像头感知的智能交互式学习***，包括图像采集、图像识别和处理、状态分类、分析处理和结果反馈过程，
图像采集用于采集人脸图像；
图像识别和处理用于识别学生状态和显示学生上课专注度；
状态分类包括注意力不集中、认真听讲、睡觉和疑惑；
分析处理包括计算机辅助分析、结果显示、判定；
结果反馈过程包括计算机以多种方式反馈给AI老师，
图像采集获得人脸图像数据，人脸图像数据进入图像识别和处理中，人脸图像数据进行识别和处理后，一部分显示学生上课专注度，另一部分进入状态分类，人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，分类后的数据进行分析处理，最终利用计算机以多种方式反馈给AI老师。
判定包括已掌握知识点和未掌握知识点。
状态分类的方法如下，
a、人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，若满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，直接进行分析处理；
b、若不满足注意力不集中、认真听讲、睡觉和疑惑，再重新进行状态分类，直到满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，然后再进行分析处理。
图像采集获得人脸图像数据，人脸图像数据进入图像识别和处理中，人脸图像数据进行识别和处理后，一部分显示学生上课专注度，另一部分进入状态分类，人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，若满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，直接进行分析处理，若不满足注意力不集中、认真听讲、睡觉和疑惑，再重新进行状态分类，直到满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，然后再进行分析处理，分析处理时先进行计算机辅助分析，计算机辅助分析后得到结果，一方面反馈给AI老师，另一方面需要对结果进行判定，判定分为学生已掌握知识点和学生未掌握知识点，当判定学生已掌握时，直接反馈给计算机，当学生未掌握知识点时，需要将未掌握知识点的结果反馈给AI老师，且需对学生进行强化，强化时采用课程教学的模式进行该知识点的复习，使学生学习到该部分知识，接着对学生进行考核，考核的结果显示学对该知识点的掌握情况，接着将掌握情况反馈给AI老师，AI老师将上述情况反馈给计算机，计算机在进行分析处理，处理后再进行反馈，如此循环下去，并且根据反馈来调整学生的学习计划、课程内容和课程知识点占比，目的是让学生都能学到知识。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.一种基于摄像头感知的智能交互式学习***，其特征在于：包括图像采集、图像识别和处理、状态分类、分析处理和结果反馈过程，
所述图像采集用于采集人脸图像；
所述图像识别和处理用于识别学生状态和显示学生上课专注度；
所述状态分类包括注意力不集中、认真听讲、睡觉和疑惑；
所述分析处理包括计算机辅助分析、结果显示、判定；
所述结果反馈过程包括计算机以多种方式反馈给AI老师，
所述图像采集获得人脸图像数据，所述人脸图像数据进入图像识别和处理中，所述人脸图像数据进行识别和处理后，一部分显示学生上课专注度，另一部分进入状态分类，人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，分类后的数据进行分析处理，最终利用计算机以多种方式反馈给AI老师。
2.根据权利要求1所述一种基于摄像头感知的智能交互式学习***，其特征在于：所述判定包括已掌握知识点和未掌握知识点。
3.根据权利要求1所述一种基于摄像头感知的智能交互式学习***，其特征在于：所述状态分类的方法如下，
a、人脸图像数据进入状态分类后，按照注意力不集中、认真听讲、睡觉和疑惑进行分类，若满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，直接进行分析处理；
b、若不满足注意力不集中、认真听讲、睡觉和疑惑，再重新进行状态分类，直到满足注意力不集中、认真听讲、睡觉和疑惑其中的一个，然后再进行分析处理。
CN201811105085.4A 2018-09-21 2018-09-21 一种基于摄像头感知的智能交互式学习*** Pending CN109165633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811105085.4A CN109165633A (zh) 2018-09-21 2018-09-21 一种基于摄像头感知的智能交互式学习***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811105085.4A CN109165633A (zh) 2018-09-21 2018-09-21 一种基于摄像头感知的智能交互式学习***

Publications (1)

Publication Number Publication Date
CN109165633A true CN109165633A (zh) 2019-01-08

Family

ID=64880072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811105085.4A Pending CN109165633A (zh) 2018-09-21 2018-09-21 一种基于摄像头感知的智能交互式学习***

Country Status (1)

Country Link
CN (1) CN109165633A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436481A (zh) * 2020-03-23 2021-09-24 上海贲歌教育科技有限公司 一种儿童远程课堂教育互动***
CN114612977A (zh) * 2022-03-10 2022-06-10 苏州维科苏源新能源科技有限公司 一种基于大数据的采集分析方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育***及方法
CN106372614A (zh) * 2016-09-13 2017-02-01 南宁市远才教育咨询有限公司 一种上课纪律监控提醒辅助装置
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及***
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估***和方法
CN107085721A (zh) * 2017-06-26 2017-08-22 厦门劢联科技有限公司 一种基于人像识别的智能巡课管理***
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估***
CN107705639A (zh) * 2017-11-03 2018-02-16 合肥亚慕信息科技有限公司 一种基于面部识别捕捉的在线课堂提问解答***
CN107918755A (zh) * 2017-03-29 2018-04-17 广州思涵信息科技有限公司 一种基于人脸识别技术的实时专注度分析方法及***
CN108009754A (zh) * 2017-12-26 2018-05-08 重庆大争科技有限公司 教学质量评估方法
CN108073888A (zh) * 2017-08-07 2018-05-25 中国科学院深圳先进技术研究院 一种教学辅助方法及采用该方法的教学辅助***
CN108091192A (zh) * 2017-12-14 2018-05-29 尹子悦 交互式在线教学***及方法、教师***以及学生***
CN108108903A (zh) * 2017-12-26 2018-06-01 重庆大争科技有限公司 课堂教学质量评估***
CN108257056A (zh) * 2018-01-23 2018-07-06 余绍志 一种应用于教学行业的大数据的课堂辅助教学***
CN108399376A (zh) * 2018-02-07 2018-08-14 华中师范大学 学生课堂学习兴趣智能分析方法及***
CN108520661A (zh) * 2018-04-25 2018-09-11 广州国铭职业技能培训有限公司 一种基于云平台的在线教育培训***

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023693A (zh) * 2016-05-25 2016-10-12 北京九天翱翔科技有限公司 一种基于虚拟现实技术和模式识别技术的教育***及方法
CN106372614A (zh) * 2016-09-13 2017-02-01 南宁市远才教育咨询有限公司 一种上课纪律监控提醒辅助装置
CN106778539A (zh) * 2016-11-25 2017-05-31 鲁东大学 教学效果信息获取方法及装置
CN106599881A (zh) * 2016-12-30 2017-04-26 首都师范大学 学生状态的确定方法、装置及***
CN106878677A (zh) * 2017-01-23 2017-06-20 西安电子科技大学 基于多传感器的学生课堂掌握程度评估***和方法
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107918755A (zh) * 2017-03-29 2018-04-17 广州思涵信息科技有限公司 一种基于人脸识别技术的实时专注度分析方法及***
CN107292271A (zh) * 2017-06-23 2017-10-24 北京易真学思教育科技有限公司 学习监控方法、装置及电子设备
CN107085721A (zh) * 2017-06-26 2017-08-22 厦门劢联科技有限公司 一种基于人像识别的智能巡课管理***
CN107316261A (zh) * 2017-07-10 2017-11-03 湖北科技学院 一种基于人脸分析的教学质量评估***
CN108073888A (zh) * 2017-08-07 2018-05-25 中国科学院深圳先进技术研究院 一种教学辅助方法及采用该方法的教学辅助***
CN107705639A (zh) * 2017-11-03 2018-02-16 合肥亚慕信息科技有限公司 一种基于面部识别捕捉的在线课堂提问解答***
CN108091192A (zh) * 2017-12-14 2018-05-29 尹子悦 交互式在线教学***及方法、教师***以及学生***
CN108009754A (zh) * 2017-12-26 2018-05-08 重庆大争科技有限公司 教学质量评估方法
CN108108903A (zh) * 2017-12-26 2018-06-01 重庆大争科技有限公司 课堂教学质量评估***
CN108257056A (zh) * 2018-01-23 2018-07-06 余绍志 一种应用于教学行业的大数据的课堂辅助教学***
CN108399376A (zh) * 2018-02-07 2018-08-14 华中师范大学 学生课堂学习兴趣智能分析方法及***
CN108520661A (zh) * 2018-04-25 2018-09-11 广州国铭职业技能培训有限公司 一种基于云平台的在线教育培训***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗楠: "人机交互学习***实现及学生兴趣程度检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436481A (zh) * 2020-03-23 2021-09-24 上海贲歌教育科技有限公司 一种儿童远程课堂教育互动***
CN114612977A (zh) * 2022-03-10 2022-06-10 苏州维科苏源新能源科技有限公司 一种基于大数据的采集分析方法

Similar Documents

Publication Publication Date Title
CN108875606A (zh) 一种基于表情识别的课堂教学评价方法及***
CN110059614A (zh) 一种基于人脸情绪识别的智能辅助教学方法及***
KR20170103931A (ko) 영상식별 시스템 및 식별방법
CN101441539A (zh) 电子白板***、输入装置、处理装置及处理方法
CN109284713A (zh) 一种基于摄像头采集表情数据的情绪识别分析***
WO2021047185A1 (zh) 基于人脸识别的监测方法、装置、存储介质及计算机设备
CN108257056A (zh) 一种应用于教学行业的大数据的课堂辅助教学***
CN103631941A (zh) 基于脑电的目标图像检索***
CN109165633A (zh) 一种基于摄像头感知的智能交互式学习***
CN205490904U (zh) 一种基于视频图像识别的考场监控***
CN110363154A (zh) 一种基于情绪识别的服务质量考评方法及***
CN109934182A (zh) 对象行为分析方法、装置、电子设备及计算机存储介质
CN112528952B (zh) 一种电力营业厅人员的工作状态智能识别***
CN109544523A (zh) 基于多属性人脸比对的人脸图像质量评价方法及装置
CN203054948U (zh) 基于物联网的教学点名信息采集装置
CN109558792A (zh) 一种基于样本和特征检测互联网徽标内容的方法和***
CN111444389A (zh) 一种基于目标检测的会议视频分析方法及***
CN112907207A (zh) 一种基于云计算的远程教学***及方法
Shrivastava et al. Conceptual model for proficient automated attendance system based on face recognition and gender classification using Haar-Cascade, LBPH algorithm along with LDA model
CN110660275A (zh) 一种基于视频分析的师生课堂即时互动***和方法
CN113752266B (zh) 基于协作化驱控一体机器人的人机协作方法、***和介质
Anjum et al. Exploring the use of deep learning with crowdsourcing to annotate images
CN108920699B (zh) 一种基于N2pc的目标识别反馈***及方法
Scheutz et al. An embodied real-time model of language-guided incremental visual search
CN207869278U (zh) 一种智能视觉分析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190108