CN114639157B - 不良学习行为检测方法、***、电子设备和存储介质 - Google Patents
不良学习行为检测方法、***、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114639157B CN114639157B CN202210536462.XA CN202210536462A CN114639157B CN 114639157 B CN114639157 B CN 114639157B CN 202210536462 A CN202210536462 A CN 202210536462A CN 114639157 B CN114639157 B CN 114639157B
- Authority
- CN
- China
- Prior art keywords
- area
- pen
- hand
- target object
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 99
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 23
- 230000002411 adverse Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000020595 eating behavior Effects 0.000 claims 4
- 239000000126 substance Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及机器视觉技术领域,公开了一种不良学习行为检测方法、***、电子设备和存储介质,该方法包括:对获取到的目标对象正面的深度图进行目标区域检测,确定目标对象的手部区域和人脸区域;在人脸区域与手部区域存在重叠的情况下,获取手部区域内深度值的最小值为第一基准值,并获取人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值;计算第一基准值与第二基准值之间的第一差值;若第一差值的绝对值小于第一预设阈值,则确定目标对象存在不良学习行为,播放预设的第一纠正提示音,本申请提供的不良学习行为检测方法,可以自动地在保护学生隐私的前提下发现并纠正学生的不良学习行为,引导学生养成良好的学习习惯。
Description
技术领域
本申请实施例涉及机器视觉技术领域,特别涉及一种不良学习行为检测方法、***、电子设备和存储介质。
背景技术
随着通讯技术的飞速发展和疫情防控形势的复杂多变,网课、线上教学已经成为学生上学不可分割的一部分,教师通过线上教学平台进行远程授课,学生们则在家里加入到线上班级进行听课,线上教学平台提供有多种模拟真实课堂的功能,比如学生签到、远程提问、布置作业、课堂测验等,线上教学平台固有的数据化、表格化、规范化属性,为教师教学提供了多种便利,也为学生提供了各种名师的课程选择,突破了距离壁垒,提升了学生的学习广度和学习深度。
可以理解的是,学生的自我约束能力还没有完全建立,学生在上课、思考、写作业时经常会下意识地做出吃手、抓脸、咬笔头、转笔等不良行为,这些行为不干净、不卫生、不雅观,而且还可能会对学生身体造成伤害,在真实课堂的情况下,教师可以俯视整个班级,并且可以在授课中来回走动,一旦发现学生做出这些不良学习行为,教师可以及时制止、纠正,帮助学生养成良好的习惯,避免危险情况的发生。
然而,在线上教学平台的教师界面中,学生们成为了一个个小窗口,教师通常只能通过窗口看到学生面部的画面,而教师在上网课时无法频繁浏览、切换这数十个小窗口,并且小窗口画面画质较低、比较模糊,教师无法及时发现学生是否做出不良学习行为,家长也有自己的工作,无法时时刻刻陪同孩子上网课,因此学生的不良学习行为无法被及时纠正,容易使学生滋生不良的学习习惯。
发明内容
本申请实施例的目的在于提供一种不良学习行为检测方法、***、电子设备和存储介质,可以实时地、自动地在保护学生隐私的前提下发现并纠正学生的不良学习行为,引导学生养成良好的学习习惯。
为解决上述技术问题,本申请的实施例提供了一种不良学习行为检测方法,包括以下步骤:对获取到的目标对象正面的深度图进行目标区域检测,确定所述目标对象的手部区域和人脸区域;其中,所述深度图是基于预设的时间间隔周期性获取的;在所述人脸区域与所述手部区域存在重叠的情况下,获取所述手部区域内深度值的最小值为第一基准值,并获取所述人脸区域相较于所述手部区域的非重叠区域内深度值的最大值为第二基准值;计算所述第一基准值与所述第二基准值之间的第一差值;若所述第一差值的绝对值小于第一预设阈值,则确定所述目标对象存在不良学习行为,播放预设的第一纠正提示音。
本申请的实施例还提供了一种不良学习行为检测***,包括:深度相机模块,用于基于预设的时间间隔周期性获取目标对象正面的深度图;目标区域检测模块,用于对获取到的所述深度图进行目标区域检测,确定所述目标对象的手部区域和人脸区域;计算模块,用于在所述人脸区域与所述手部区域存在重叠的情况下,获取所述手部区域内深度值的最小值为第一基准值,获取所述人脸区域相较于所述手部区域的非重叠区域内深度值的最大值为第二基准值,并计算所述第一基准值与所述第二基准值之间的第一差值;执行模块,用于在所述第一差值的绝对值小于第一预设阈值的情况下,确定所述目标对象存在不良学习行为,播放预设的第一纠正提示音。
本申请的实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的不良学习行为检测方法。
本申请的实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的不良学习行为检测方法。
本申请的实施例提供的不良学习行为检测方法、***、电子设备和存储介质,基于预设的时间间隔周期性获取目标对象正面的深度图,对深度图进行目标区域检测,确定目标对象的手部区域和人脸区域,在目标对象的人脸区域与手部区域存在重叠的情况下,获取手部区域内深度值的最小值为第一基准值,并获取人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值,再计算第一基准值与第二基准值之间的第一差值,若第一基准值与第二基准值之间的差值的绝对值小于第一预设阈值,则确定目标对象存在不良学习行为,播放预设的第一纠正提示音,考虑到在上网课时教师无法频繁浏览、切换学生画面窗口,也就无法及时发现学生是否做出不良学习行为,而本申请的实施例周期性地检测目标对象的脸部区域是否与手部区域存在重叠,如果重叠的话手部区域与人脸区域距离是否过近,如果过近则说明目标对象做出了抓脸、吃手等不良学习行为,由于深度图固有的数据安全性,本申请可以实时地、自动地在保护学生隐私的前提下发现并纠正学生的不良学习行为,引导学生养成良好的学习习惯,同时周期性检测的设置还可以保证检测频率合适,避免过度打扰学生正常上课。
另外,在所述确定所述目标对象的手部区域和人脸区域之后,包括:在所述人脸区域与所述手部区域不存在重叠的情况下,根据所述手部区域的轮廓确定所述目标对象是否处于握笔状态;若所述目标对象处于握笔状态,则确定所述深度图中的笔的区域;在所述人脸区域与所述笔的区域存在重叠的情况下,获取所述笔的区域内深度值的最小值为第三基准值,并获取所述人脸区域相较于所述笔的区域的非重叠区域内深度值的最大值为第四基准值;计算所述第三基准值与所述第四基准值之间的第二差值;若所述第二差值的绝对值小于第二预设阈值,则确定所述目标对象存在不良学习行为,播放预设的第二纠正提示音,考虑到咬笔、用笔怼脸等行为也是不干净、不卫生、不雅观的不良学习行为,虽然学生的手没有触碰面部,但笔可以视为手的延申,只检测人脸区域是否与手部区域重叠并不能检测出咬笔这样的不良学习行为,本申请在人脸区域与手部区域不存在重叠的情况下检测目标对象是否握笔,并检测人脸区域是否与笔的区域存在重叠,从而可以进一步发现并纠正学生的不良学习行为,更好地引导学生养成良好的学习习惯。
另外,在所述确定所述深度图中的笔的区域之后,还包括:在所述人脸区域与所述笔的区域不存在重叠的情况下,根据所述笔的区域确定所述笔相较于铅垂线的角度;若所述笔相较于铅垂线的角度大于第三预设阈值,则确定所述目标对象存在不良学***行,角度较小,而转笔时笔趋近于水平状态,即笔相较于铅垂线的角度很大,当笔相较于铅垂线的角度大于第三预设阈值时,本申请可以及时纠正这种危险的不良学习行为,防止学生收到本可以避免的伤害。
另外,所述手部区域包括左手区域和右手区域,所述在所述人脸区域与所述手部区域存在重叠的情况下,获取所述手部区域内深度值的最小值为第一基准值,包括:在所述人脸区域与所述左手区域和所述右手区域中的至少一个存在重叠的情况下,获取与所述人脸区域存在重叠的手部区域内深度值的最小值为第一基准值,在深度图中,学生的左右手一般都会被检测出来,而学生可能只用一只手去挠脸、抓脸,另一只手正常地搭在桌子上,此时不与人脸重叠的那只手可能会对与人脸重叠的那只手产生影响,因此本申请只在与人脸区域存在重叠的那只手对应的手部区域中寻找深度值的最小值,从而可以提升不良学习行为检测的准确性。
另外,所述获取所述手部区域内深度值的最小值为第一基准值,具体为:获取所述手部区域中相较于所述人脸区域的重叠区域内深度值的最小值为第一基准值,一般来说小孩的柔韧性比较好,可能会做出各种奇怪的动作,因此在手部区域全域搜索深度值的最小值作为第一基准值可能不够准确,因此本申请只在手部区域中相较于人脸区域的重叠区域内搜索深度值的最小值作为第一基准值,可以进一步提升不良学习行为检测的准确性。
另外,在所述对获取到的目标对象正面的深度图进行目标区域检测之前,包括:基于预设的时间间隔周期性地获取连续M帧深度图;所述对获取到的目标对象正面的深度图进行目标区域检测,包括:分别对所述连续的M帧深度图进行目标区域检测,一般来说,短暂的用手触碰面部并不是不良学习行为,但长时间地用手触碰面部基本可以断定是不良学习行为,所以本申请一次获取一段时间内的深度图,即连续的M帧深度图,基于这连续的M帧深度图进行目标区域检测,可以进一步提升不良学习行为检测的准确性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是本申请的一个实施例的不良学习行为检测方法的流程图一;
图2是本申请的一个实施例提供的一种学生抓脸的示意图;
图3是本申请的一个实施例的不良学习行为检测方法的流程图二;
图4是本申请的一个实施例提供的一种学生用笔怼脸的示意图;
图5是本申请的一个实施例的不良学习行为检测方法的流程图三;
图6是本申请的一个实施例中,根据笔的区域确定笔相较于铅垂线的角度的流程图;
图7是本申请的另一个实施例的不良学习行为检测***的示意图;
图8是本申请的另一个实施例的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请的一个实施例涉及一种不良学习行为检测方法,应用于电子设备,其中,电子设备可以为终端或服务器,本实施例以及以下各个实施例中电子设备以服务器为例进行说明,下面对本实施例的不良学习行为检测方法的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须。
本实施例的不良学习行为检测方法的具体流程可以如图1所示,包括:
步骤101,对获取到的目标对象正面的深度图进行目标区域检测,确定目标对象的手部区域和人脸区域。
具体而言,服务器可以基于预设的时间间隔周期性地目标对象正面的深度图,没完成一次获取,就进行一次检测,即对获取到的目标对象正面的深度图进行目标区域检测,在深度图中确定目标对象的手部区域和人脸区域,其中,预设的时间间隔可以由本领域的技术人员根据实际需要进行设置,预设的时间间隔不宜设置过短,如果预设的时间间隔设置过短的话,即占用了大量的拍摄、计算资源,还容易过度打断学生的正常上课,容易矫枉过正。
在具体实现中,服务器与深度相机保持通信,深度相机可以获取目标场景的深度图,深度相机正对着目标对象的正面拍摄,服务器基于预设的时间间隔周期性地唤醒、调用深度相机,由深度相机拍摄得到目标对象正面的深度图并传输给服务器。
在一个例子中,服务器对获取到的目标对象正面的深度图进行目标区域检测时,可以遍历深度图中各像素点的深度值,基于各像素点的深度值进行连通域检测,从而得到若干基础区域,服务器再根据各基础区域的轮廓形状,从各基础区域中确定出目标对象的手部区域和人脸区域。
在另一个例子中,服务器在对获取到的目标对象正面的深度图进行目标区域检测时,可以将目标对象正面的深度图输入至预训练的目标区域检测模型中,获取目标区域检测模型输出的目标对象的手部区域和人脸区域。
在一个例子中,服务器可以基于预设的时间间隔周期性地获取连续M帧深度图,服务器可以分别对这连续的M帧深度图进行目标区域检测,其中,M为大于1的整数,一般来说,短暂的用手触碰面部并不是不良学习行为,但长时间地用手触碰面部基本可以断定是不良学习行为,所以本申请一次获取一段时间内的深度图,即连续的M帧深度图,基于这连续的M帧深度图进行目标区域检测,可以进一步提升不良学习行为检测的准确性。
步骤102,在人脸区域与手部区域存在重叠的情况下,获取手部区域内深度值的最小值为第一基准值,并获取人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值。
具体而言,服务器在深度图中确定出目标对象的手部区域和人脸区域后,可以检测目标对象的人脸区域是否与目标对象的手部区域存在重叠,服务器在确定目标对象的人脸区域与手部区域存在重叠的情况下,可以获取目标对象的手部区域内深度值的最小值为第一基准值,并获取目标对象的人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值。
可以理解的是,对于目标对象的正面来说,人脸区域与手部区域存在重叠,只能是目标对象用手挡住了脸,比如在进行抓脸、这样的动作,如果是用手抱头等动作,手会被头完全挡住,这时目标对象正面的深度图中是无法检测到手部区域的。
在一个例子中,手部区域包括左手区域和右手区域,服务器在确定出目标对象的手部区域和人脸区域后,可以检测目标对象的人脸区域是否与左手区域和右手区域中的至少一个存在重叠,服务器在目标对象的人脸区域与左手区域和右手区域中的至少一个存在重叠的情况下,获取与人脸区域存在重叠的手部区域内深度值的最小值为第一基准值,并获取人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值,在深度图中,学生的左右手一般都会被检测出来,而学生可能只用一只手去挠脸、抓脸,另一只手正常地搭在桌子上,此时不与人脸重叠的那只手可能会对与人脸重叠的那只手产生影响,因此本申请只在与人脸区域存在重叠的那只手对应的手部区域中寻找深度值的最小值,从而可以提升不良学习行为检测的准确性。
在一个例子中服务器获取目标对象的手部区域内深度值的最小值为第一基准值,具体为获取目标对象的手部区域中相较于人脸区域的重叠区域内深度值的最小值为第一基准值,一般来说小孩的柔韧性比较好,可能会做出各种奇怪的动作,因此在手部区域全域搜索深度值的最小值作为第一基准值可能不够准确,因此本申请只在手部区域中相较于人脸区域的重叠区域内搜索深度值的最小值作为第一基准值,进一步提升不良学习行为检测的准确性。
步骤103,计算第一基准值与第二基准值之间的第一差值。
步骤104,若第一差值的绝对值小于第一预设阈值,则确定目标对象存在不良学习行为,播放预设的第一纠正提示音。
在具体实现中,服务器获取到第一基准值和第二基准值后,可以计算第一基准值与第二基准值之间的第一差值,并判断第一基准值与第二基准值之间的第一差值的绝对值是否小于第一预设阈值,若第一差值的绝对值小于第一预设阈值,则确定目标对象存在抓脸、吃手等不良学习行为,服务器可以播放预设的第一纠正提示音,从而提醒目标对象,其中,第一预设阈值可以由本领域的技术人员根据实际需要进行设置,本申请的实施例对此不做具体限定,第一纠正提示音可以由学生家长、教师预先录制,第一纠正提示音用于喝止目标对象继续做出抓脸、吃手等不良学习行为。
在一个例子中,目标对象做出抓脸、吃手等不良学习行为可以如图2所示。
本实施例,服务器基于预设的时间间隔周期性获取目标对象正面的深度图,对深度图进行目标区域检测,确定目标对象的手部区域和人脸区域,在目标对象的人脸区域与手部区域存在重叠的情况下,获取手部区域内深度值的最小值为第一基准值,并获取人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值,再计算第一基准值与第二基准值之间的第一差值,若第一基准值与第二基准值之间的差值的绝对值小于第一预设阈值,则确定目标对象存在不良学习行为,播放预设的第一纠正提示音,考虑到在上网课时教师无法频繁浏览、切换学生画面窗口,也就无法及时发现学生是否做出不良学习行为,而本申请的实施例周期性地检测目标对象的脸部区域是否与手部区域存在重叠,如果重叠的话手部区域与人脸区域距离是否过近,如果过近则说明目标对象做出了抓脸、吃手等不良学习行为,由于深度图固有的数据安全性,本申请可以实时地、自动地在保护学生隐私的前提下发现并纠正学生的不良学习行为,引导学生养成良好的学习习惯,同时周期性检测的设置还可以保证检测频率合适,避免过度打扰学生正常上课。
在一个实施例中,服务器在确定目标对象的手部区域和人脸区域之后,可以通过如图3所示的各步骤,对目标对象进行不良学习行为检测,具体包括:
步骤201,在人脸区域与手部区域不存在重叠的情况下,根据手部区域的轮廓确定目标对象是否处于握笔状态。
在具体实现中,目标对象的人脸区域与手部区域虽然不存在重叠,也就是说目标对象没有做出抓脸、吃手等不良学习行为,但是目标对象持握的工具比如笔可以作为手的延申进行其他的如咬笔头、用笔怼脸等不良学习行为,服务器在确定目标对象的人脸区域与手部区域不存在重叠的情况下,可以根据手部区域的轮廓确定目标对象是否处于握笔状态,为进一步的不良学习行为检测做准备。
在一个例子中,服务器可以将目标对象的手部区域的轮廓输入至预训练的握笔状态检测模型中,获取握笔状态检测模型输出的对目标对象的手部区域的轮廓的检测结果,检测结果为握笔状态和非持握状态。
步骤202,若目标对象处于握笔状态,则确定深度图中的笔的区域。
在具体实现中,若服务器确定目标对象处于握笔状态,则可以确定深度图中的笔的区域,由于笔的长度、大小、形状大同小异,因此服务器可以将手部区域作为中心,获取一定的搜索范围内各点的深度值,从而确定深度图中的笔的区域。
步骤203,在人脸区域与笔的区域存在重叠的情况下,获取笔的区域内深度值的最小值为第三基准值,并获取人脸区域相较于笔的区域的非重叠区域内深度值的最大值为第四基准值。
在具体实现中,服务器在深度图中确定出笔的区域后,可以判断目标对象的人脸区域与笔的区域是否存在重叠,服务器在确定目标对象的人脸区域与笔的区域存在重叠的情况下,可以获取笔的区域内深度值的最小值为第三基准值,并获取人脸区域相较于笔的区域的非重叠区域内深度值的最大值为第四基准值,目标对象的人脸区域与笔的区域存在重叠,说明目标对象用笔挡住了脸,正常书写是不会出现这样的动作的,也就是说目标对象很有可能做出了不良学习行为。
步骤204,计算第三基准值与第四基准值之间的第二差值。
步骤205,若第二差值的绝对值小于第二预设阈值,则确定目标对象存在不良学习行为,播放预设的第二纠正提示音。
在具体实现中,服务器获取到第三基准值和第四基准值后,可以计算第三基准值与第四基准值之间的第二差值,并判断第三基准值与第四基准值之间的第二差值的绝对值是否小于第二预设阈值,若第二差值的绝对值小于第二预设阈值,则确定目标对象存在咬笔、用笔怼脸等不良学习行为,服务器可以播放预设的第二纠正提示音,从而提醒目标对象,其中,第二预设阈值可以由本领域的技术人员根据实际需要进行设置,本申请的实施例对此不做具体限定,第二纠正提示音可以由学生家长、教师预先录制,第二纠正提示音用于喝止目标对象继续做出咬笔、用笔怼脸等不良学习行为。
在一个例子中,目标对象做出用笔怼脸等不良学习行为可以如图4所示。
本实施例,考虑到咬笔、用笔怼脸等行为也是不干净、不卫生、不雅观的不良学习行为,虽然学生的手没有触碰面部,但笔可以视为手的延申,只检测人脸区域是否与手部区域重叠并不能检测出咬笔这样的不良学习行为,本申请在人脸区域与手部区域不存在重叠的情况下检测目标对象是否握笔,并检测人脸区域是否与笔的区域存在重叠,从而可以进一步发现并纠正学生的不良学习行为,更好地引导学生养成良好的学习习惯。
在一个实施例中,服务器在确定深度图中的笔的区域之后,可以通过如图5所示的各步骤,对目标对象进行不良学习行为检测,具体包括:
步骤301,在人脸区域与笔的区域不存在重叠的情况下,根据笔的区域确定笔相较于铅垂线的角度。
步骤302,若笔相较于铅垂线的角度大于第三预设阈值,则确定目标对象存在不良学习行为,播放预设的第三纠正提示音。
在具体实现中,考虑到转笔也是一种不干净、不雅观且危险性较大的不良学***行,角度较小,而转笔时笔趋近于水平状态,即笔相较于铅垂线的角度很大,当笔相较于铅垂线的角度大于第三预设阈值时,本申请可以及时纠正这种危险的不良学习行为,防止学生受到本可以避免的伤害,其中,第三预设阈值可以由本领域的技术人员根据实际需要进行设置,本申请的实施例对此不做具体限定,第三纠正提示音可以由学生家长、教师预先录制,第三纠正提示音用于喝止目标对象继续做出转笔等不良学习行为。
在一个实施例中,服务器根据笔的区域确定笔相较于铅垂线的角度,可以通过如图6所示的各步骤实现,具体包括:
步骤401,在笔的区域中确定笔的第一端点和第二端点,并获取第一端点的坐标、第一端点的深度值、第二端点的坐标和第二端点的深度值。
在具体实现中,服务器可以基于三角形原理确定笔相较于铅垂线的角度,服务器在的区域中确定笔的第一端点和第二端点,并获取第一端点的坐标、第一端点的深度值、第二端点的坐标和第二端点的深度值,第一端点和第二端点即笔的区域中最边缘位置的两个点。
步骤402,根据第一端点的坐标和第二端点的坐标,分别计算第一端点与第二端点之间的二维距离和水平距离。
在具体实现中,服务器根据第一端点的横纵坐标和第二端点的横纵坐标,可以计算出第一端点与第二端点之间的二维距离,同时,服务器根据第一端点的横坐标和第二端点的横坐标,器根据第一端点的横纵坐标和第二端点的横纵坐标之间的水平距离。
步骤403,根据第一端点的深度值与第二端点的深度值之间的第三差值和第一端点与第二端点之间的二维距离,确定第一端点与第二端点之间的三维距离。
在具体实现中,根据深度图带有的深度信息,服务器可以确定深度图中任意两个点之间的三维距离,服务器先根据第一端点的深度值与第二端点的深度值计算出第一端点的深度值与第二端点的深度值之间的第三差值,随后根据第三差值和第一端点与第二端点之间的二维距离,确定第一端点与第二端点之间的三维距离。
步骤404,根据第一端点与第二端点之间的水平距离和第一端点与第二端点之间的三维距离,确定笔相较于铅垂线的角度。
在具体实现中,第一端点与第二端点之间的水平距离即笔相较于铅垂线的夹角的对边,而第一端点与第二端点之间的三维距离则是笔相较于铅垂线的夹角的斜边,服务器根据直角三角形原理,即可计算出笔相较于铅垂线的角度。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的另一个实施例涉及一种不良学习行为检测***,下面对本实施例的不良学习行为检测***的实现细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本方案的必须,本实施例的不良学习行为检测***的示意图可以如图7所示,包括:
深度相机模块501,用于基于预设的时间间隔周期性获取目标对象正面的深度图。
目标区域检测模块502,用于对获取到的深度图进行目标区域检测,确定目标对象的手部区域和人脸区域。
计算模块503,用于在人脸区域与手部区域存在重叠的情况下,获取手部区域内深度值的最小值为第一基准值,获取人脸区域相较于手部区域的非重叠区域内深度值的最大值为第二基准值,并计算第一基准值与第二基准值之间的第一差值。
执行模块504,用于在第一差值的绝对值小于第一预设阈值的情况下,确定目标对象存在不良学习行为,播放预设的第一纠正提示音。
值得一提的是,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本申请的创新部分,本实施例中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入,但这并不表明本实施例中不存在其它的单元。
本申请另一个实施例涉及一种电子设备,如图8所示,包括:至少一个处理器601;以及,与所述至少一个处理器601通信连接的存储器602;其中,所述存储器602存储有可被所述至少一个处理器601执行的指令,所述指令被所述至少一个处理器601执行,以使所述至少一个处理器601能够执行上述各实施例中的不良学习行为检测方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,***接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请另一个实施例涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory ,简称:ROM)、随机存取存储器(Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。
Claims (9)
1.一种不良学习行为检测方法,其特征在于,包括:
对获取到的目标对象正面的深度图进行目标区域检测,确定所述目标对象的手部区域和人脸区域;其中,所述深度图是基于预设的时间间隔周期性获取的;
在所述人脸区域与所述手部区域存在重叠的情况下,获取所述手部区域内深度值的最小值为第一基准值,并获取所述人脸区域相较于所述手部区域的非重叠区域内深度值的最大值为第二基准值;
计算所述第一基准值与所述第二基准值之间的第一差值;
若所述第一差值的绝对值小于第一预设阈值,则确定所述目标对象存在不良学习行为,播放预设的第一纠正提示音;其中,所述不良学习行为包括抓脸行为和吃手行为,所述第一纠正提示音用于喝止所述目标对象继续做出所述抓脸行为和所述吃手行为;
在所述确定所述目标对象的手部区域和人脸区域之后,包括:
在所述人脸区域与所述手部区域不存在重叠的情况下,根据所述手部区域的轮廓确定所述目标对象是否处于握笔状态;
若所述目标对象处于握笔状态,则确定所述深度图中的笔的区域;
在所述人脸区域与所述笔的区域存在重叠的情况下,获取所述笔的区域内深度值的最小值为第三基准值,并获取所述人脸区域相较于所述笔的区域的非重叠区域内深度值的最大值为第四基准值;
计算所述第三基准值与所述第四基准值之间的第二差值;
若所述第二差值的绝对值小于第二预设阈值,则确定所述目标对象存在不良学习行为,播放预设的第二纠正提示音,其中,所述不良学习行为还包括咬笔行为和用笔怼脸行为,所述第二纠正提示音用于喝止所述目标对象继续做出所述咬笔行为和所述用笔怼脸行为。
2.根据权利要求1所述的不良学习行为检测方法,其特征在于,在所述确定所述深度图中的笔的区域之后,还包括:
在所述人脸区域与所述笔的区域不存在重叠的情况下,根据所述笔的区域确定所述笔相较于铅垂线的角度;
若所述笔相较于铅垂线的角度大于第三预设阈值,则确定所述目标对象存在不良学习行为,播放预设的第三纠正提示音。
3.根据权利要求2所述的不良学习行为检测方法,其特征在于,所述根据所述笔的区域确定所述笔相较于铅垂线的角度,包括:
在所述笔的区域中确定所述笔的第一端点和第二端点,并获取所述第一端点的坐标、所述第一端点的深度值、所述第二端点的坐标和所述第二端点的深度值;
根据所述第一端点的坐标和所述第二端点的坐标,分别计算所述第一端点与所述第二端点之间的二维距离和水平距离;
根据所述第一端点的深度值与所述第二端点的深度值之间的第三差值和所述二维距离,确定所述第一端点与所述第二端点之间的三维距离;
根据所述水平距离和所述三维距离,确定所述笔相较于铅垂线的角度。
4.根据权利要求1至权利要求3中任一项所述的不良学习行为检测方法,其特征在于,所述手部区域包括左手区域和右手区域,所述在所述人脸区域与所述手部区域存在重叠的情况下,获取所述手部区域内深度值的最小值为第一基准值,包括:
在所述人脸区域与所述左手区域和所述右手区域中的至少一个存在重叠的情况下,获取与所述人脸区域存在重叠的手部区域内深度值的最小值为第一基准值。
5.根据权利要求1至权利要求3中任一项所述的不良学习行为检测方法,其特征在于,所述获取所述手部区域内深度值的最小值为第一基准值,具体为:获取所述手部区域中相较于所述人脸区域的重叠区域内深度值的最小值为第一基准值。
6.根据权利要求1至权利要求3中任一项所述的不良学习行为检测方法,其特征在于,在所述对获取到的目标对象正面的深度图进行目标区域检测之前,包括:
基于预设的时间间隔周期性地获取连续M帧深度图;其中,所述M为大于1的整数;
所述对获取到的目标对象正面的深度图进行目标区域检测,包括:
分别对所述连续的M帧深度图进行目标区域检测。
7.一种不良学习行为检测***,其特征在于,包括:
深度相机模块,用于基于预设的时间间隔周期性获取目标对象正面的深度图;
目标区域检测模块,用于对获取到的所述深度图进行目标区域检测,确定所述目标对象的手部区域和人脸区域;
计算模块,用于在所述人脸区域与所述手部区域存在重叠的情况下,获取所述手部区域内深度值的最小值为第一基准值,获取所述人脸区域相较于所述手部区域的非重叠区域内深度值的最大值为第二基准值,并计算所述第一基准值与所述第二基准值之间的第一差值;
执行模块,用于在所述第一差值的绝对值小于第一预设阈值的情况下,确定所述目标对象存在不良学习行为,播放预设的第一纠正提示音;其中,所述不良学习行为包括抓脸行为和吃手行为,所述第一纠正提示音用于喝止所述目标对象继续做出所述抓脸行为和所述吃手行为;
在所述确定所述目标对象的手部区域和人脸区域之后,包括:
在所述人脸区域与所述手部区域不存在重叠的情况下,根据所述手部区域的轮廓确定所述目标对象是否处于握笔状态;
若所述目标对象处于握笔状态,则确定所述深度图中的笔的区域;
在所述人脸区域与所述笔的区域存在重叠的情况下,获取所述笔的区域内深度值的最小值为第三基准值,并获取所述人脸区域相较于所述笔的区域的非重叠区域内深度值的最大值为第四基准值;
计算所述第三基准值与所述第四基准值之间的第二差值;
若所述第二差值的绝对值小于第二预设阈值,则确定所述目标对象存在不良学习行为,播放预设的第二纠正提示音,其中,所述不良学习行为还包括咬笔行为和用笔怼脸行为,所述第二纠正提示音用于喝止所述目标对象继续做出所述咬笔行为和所述用笔怼脸行为。
8.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6中任一所述的不良学习行为检测方法。
9.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的不良学习行为检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210536462.XA CN114639157B (zh) | 2022-05-18 | 2022-05-18 | 不良学习行为检测方法、***、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210536462.XA CN114639157B (zh) | 2022-05-18 | 2022-05-18 | 不良学习行为检测方法、***、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114639157A CN114639157A (zh) | 2022-06-17 |
CN114639157B true CN114639157B (zh) | 2022-11-22 |
Family
ID=81953171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210536462.XA Active CN114639157B (zh) | 2022-05-18 | 2022-05-18 | 不良学习行为检测方法、***、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114639157B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110750160A (zh) * | 2019-10-24 | 2020-02-04 | 京东方科技集团股份有限公司 | 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质 |
CN111862555A (zh) * | 2019-04-30 | 2020-10-30 | 北京安云世纪科技有限公司 | 坐姿纠正控制方法、装置、计算机设备及存储介质 |
CN111914667A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种吸烟检测方法及装置 |
CN113347381A (zh) * | 2021-05-24 | 2021-09-03 | 随锐科技集团股份有限公司 | 预测不雅举止轨迹的方法及*** |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107169453B (zh) * | 2017-05-16 | 2020-07-17 | 湖南巨汇科技发展有限公司 | 一种基于深度传感器的坐姿检测方法 |
CN107169456B (zh) * | 2017-05-16 | 2019-08-09 | 湖南巨汇科技发展有限公司 | 一种基于坐姿深度图像的坐姿检测方法 |
CN107948399A (zh) * | 2017-10-31 | 2018-04-20 | 广东小天才科技有限公司 | 移动终端的护眼方法、装置、移动终端及存储介质 |
CN110859630B (zh) * | 2019-11-26 | 2022-07-19 | 塔普翊海(上海)智能科技有限公司 | 一种基于ar技术的姿态矫正器及其矫正方法 |
CN111240481B (zh) * | 2020-01-10 | 2021-02-09 | 鄢家厚 | 基于智能手表的读写距离识别方法 |
CN112307899A (zh) * | 2020-09-27 | 2021-02-02 | 中国科学院宁波材料技术与工程研究所 | 一种基于深度学习的面部姿态检测与矫正方法及*** |
CN113658211B (zh) * | 2021-07-06 | 2024-02-09 | 江汉大学 | 一种用户姿态的评估方法、装置以及处理设备 |
CN113657223A (zh) * | 2021-08-05 | 2021-11-16 | 康佳集团股份有限公司 | 一种握笔姿势矫正方法、装置、智能终端及存储介质 |
-
2022
- 2022-05-18 CN CN202210536462.XA patent/CN114639157B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862555A (zh) * | 2019-04-30 | 2020-10-30 | 北京安云世纪科技有限公司 | 坐姿纠正控制方法、装置、计算机设备及存储介质 |
CN110750160A (zh) * | 2019-10-24 | 2020-02-04 | 京东方科技集团股份有限公司 | 基于手势的绘画屏绘画方法、装置、绘画屏和存储介质 |
CN111914667A (zh) * | 2020-07-08 | 2020-11-10 | 浙江大华技术股份有限公司 | 一种吸烟检测方法及装置 |
CN113347381A (zh) * | 2021-05-24 | 2021-09-03 | 随锐科技集团股份有限公司 | 预测不雅举止轨迹的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN114639157A (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018233398A1 (zh) | 学习监控方法、装置及电子设备 | |
Jones et al. | Students' accuracy of measurement estimation: Context, units, and logical thinking | |
CN104035557B (zh) | 一种基于关节活跃度的Kinect动作识别方法 | |
CN103426337A (zh) | 信息处理装置和信息处理方法 | |
CN111027537B (zh) | 一种搜题方法及电子设备 | |
CN109214962A (zh) | 网络教育学习方法、***、终端及其存储介质 | |
CN109272796A (zh) | 一种智能答题交互方法和装置 | |
CN110020628B (zh) | 基于面部检测的坐姿检测方法、***、设备及存储介质 | |
Morash et al. | A review of haptic spatial abilities in the blind | |
CN107506162A (zh) | 坐标映射方法、计算机可读存储介质和投影仪 | |
CN111428686A (zh) | 一种学生兴趣偏好评估方法、装置及*** | |
WO2020247689A1 (en) | Virtualization of physical activity surface | |
Larrue et al. | Influence of body-centered information on the transfer of spatial learning from a virtual to a real environment | |
CN109240495A (zh) | 一种控制自动翻页的方法及设备 | |
CN108564833A (zh) | 智能交互对话控制方法及装置 | |
CN114639157B (zh) | 不良学习行为检测方法、***、电子设备和存储介质 | |
Kayukawa et al. | Smartphone-based assistance for blind people to stand in lines | |
CN113989832A (zh) | 姿势识别方法、装置、终端设备及存储介质 | |
JP2018165760A (ja) | 出題制御プログラム、出題制御方法および出題制御装置 | |
CN107832673A (zh) | 一种计算机可读存储介质和应用该介质的家教机 | |
CN112150777A (zh) | 一种智能作业提醒装置及方法 | |
CN113657223A (zh) | 一种握笔姿势矫正方法、装置、智能终端及存储介质 | |
KR20190143742A (ko) | 학습 집중도 향상 장치 | |
Patanasakpinyo | Flattening methods for adaptive location-based software to user abilities | |
CN109408017A (zh) | 图像投射方法、装置、终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230823 Address after: Room 799-4, 7th Floor, Building A3A4, Zhong'an Chuanggu Science and Technology Park, No. 900 Wangjiang West Road, Gaoxin District, Hefei Free Trade Experimental Zone, Anhui Province, 230031 Patentee after: Anhui Lushenshi Technology Co.,Ltd. Address before: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Patentee before: Hefei lushenshi Technology Co.,Ltd. |