CN109658673A - 学习状态监测方法、装置、可读存储介质及智能设备 - Google Patents
学习状态监测方法、装置、可读存储介质及智能设备 Download PDFInfo
- Publication number
- CN109658673A CN109658673A CN201811519099.0A CN201811519099A CN109658673A CN 109658673 A CN109658673 A CN 109658673A CN 201811519099 A CN201811519099 A CN 201811519099A CN 109658673 A CN109658673 A CN 109658673A
- Authority
- CN
- China
- Prior art keywords
- image
- reader
- people information
- learning state
- personage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明揭示了一种学习状态监测方法、装置、可读存储介质及智能设备,其中,学习状态监测方法,包括以下步骤:采集第一图像;分析第一图像中是否含有指定的内容信息;若第一图像中含有指定的内容信息,则采集第二图像;分析第二图像中是否含有人物信息;若第二图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准;若否,则形成对应阅读者学习状态的第一监测结果;若是,则形成对应阅读者学习状态的第二监测结果。该学习状态监测方法可在使用智能设备进行阅读的过程中检验阅读者是否在认真学习。
Description
技术领域
本发明涉及到信息处理技术领域,特别是涉及到一种学习状态监测方法、装置、可读存储介质及智能设备。
背景技术
现有技术中,阅读机器人只能自动翻书,自动读书,但是无法做到在读书的时候,检验小孩子是否有在认真学习,还是在做其他无关的事。
因此,如何在使用阅读机器人的过程中检验小孩是否在认真学习,以对小孩的学习进行监督,提高小孩的学习效率,是本领域技术人员亟待解决的技术问题。
发明内容
本发明的主要目的为提供一种学习状态监测方法、装置、可读存储介质及智能设备,该学习状态监测方法可在使用智能设备进行阅读的过程中检验阅读者是否在认真学习。
本发明提出一种学习状态监测方法,包括以下步骤:
采集第一图像;
分析第一图像中是否含有指定的内容信息;
若第一图像中含有指定的内容信息,则采集第二图像;
分析第二图像中是否含有人物信息;
若第二图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准;
若否,则形成对应阅读者学习状态的第一监测结果;
若是,则形成对应阅读者学习状态的第二监测结果。
进一步地,形成对应阅读者学习状态的第二监测结果的步骤之后,还包括:
在第一预设时间后采集第三图像;
分析第三图像与第一图像是否相同;
若第三图像与第一图像相同,则采集第四图像;
分析第四图像中是否含有人物信息;
若第四图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准;
若人物信息不符合预设的人物状态标准,则形成对应阅读者学习状态的第一监测结果。
进一步地,形成对应阅读者学习状态的第一监测结果的步骤之后,还包括:
向阅读者发出警报或/和向监督者的终端设备发送提示信息。
进一步地,若第四图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准的步骤之后,还包括:
若第四图像中的人物信息符合预设的人物状态标准,则分析未发出提醒信息的时间长度是否超出预设时间长度,其中,发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息;
若未发出提醒信息的时间长度超出预设时间长度,则向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
进一步地,人物信息包括双肩与水平方向之间的角度,分析人物信息是否符合预设的人物状态标准的步骤,包括:
分析双肩与水平方向之间的角度是否大于第一预设角度;
若双肩与水平方向之间的角度大于第一预设角度,则判定人物信息不符合预设的人物状态标准。
进一步地,人物信息包括嘴巴的高度与宽度之比,分析人物信息是否符合预设的人物状态标准的步骤,包括:
分析嘴巴的高度与宽度之比是否大于预设值;
若嘴巴的高度与宽度之比大于预设值,则判定人物信息不符合预设的人物状态标准。
进一步地,人物信息包括眼睛持续闭合的时间,分析人物信息是否符合预设的人物状态标准的步骤,包括:
分析眼睛持续闭合的时间是否超出第二预设时间;
若眼睛持续闭合的时间超出第二预设时间,则判定人物信息不符合预设的人物状态标准。
本发明还提出一种学习状态监测装置,包括:
第一采集模块,用于采集第一图像;
第一分析模块,用于分析第一图像中是否含有指定的内容信息;
第二采集模块,用于当第一图像中含有指定的内容信息时,采集第二图像;
第二分析模块,用于分析第二图像中是否含有人物信息;
第三分析模块,用于当第二图像中含有人物信息时,分析人物信息是否符合预设的人物状态标准;
第一形成模块,用于当所述人物信息不符合预设的人物状态标准时,形成对应阅读者学习状态的第一监测结果;
第二形成模块,用于当所述人物信息符合预设的人物状态标准时,形成对应阅读者学习状态的第二监测结果。
本发明还提出一种可读存储介质,该可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现前述的学习状态监测方法。
本发明还提出一种智能设备,包括存储器、处理器和计算机程序,计算机程序被存储在存储器中并被配置为由处理器执行,计算机程序被配置为用于执行前述的学习状态监测方法。
本发明的有益效果是:本发明的学习状态监测方法通过采集阅读者进行阅读学习时的图像,进而通过分析图像中的人物信息是否符合预设的人物状态标准,得出阅读者当前是否在认真学习,当人物信息不符预设的人物状态标准时,则说明阅读者当前没有在认真学习,进而可以通过设置提醒来督促阅读者认真学习,如通过向阅读者发出警报来提醒阅读者认真学习,又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习,由监督者督促阅读者认真学习,从而能有效地在使用智能设备进行阅读的过程中对阅读者的学习状态进行监测,提高小孩的学习效率。
附图说明
图1是本发明一实施中学习状态监测方法的流程示意图;
图2是本发明另一实施中学习状态监测方法的流程示意图;
图3是本发明一实施中学习状态监测装置的结构示意图;
图4是本发明另一实施中学习状态监测装置的结构示意图;
图5是图1的具体结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,本发明实施例提出一种学***板,机器人可以为阅读机器人,为方便理解,本发明以阅读机器人为例进行阐述。该方法包括以下步骤:
S11,采集第一图像;
S12,分析第一图像中是否含有指定的内容信息;
S13,若第一图像中含有指定的内容信息,则采集第二图像;
S14,分析第二图像中是否含有人物信息;
S15,若第二图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准;
若否,则执行S16,形成对应阅读者学习状态的第一监测结果;
若是,则执行S17,形成对应阅读者学习状态的第二监测结果。
在上述S11中,具体地,可通过在阅读机器人上设置摄像头来采集所需的图像,例如,可在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像,又例如,可在阅读机器人上设置用于同时扫描内容信息和监视阅读者活动状态的全景摄像头来采集所需的图像,等等,对此不作具体的限制,为了方便说明和解释本发明实施例的内容,本发明实施例以在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像为例,进行相关的说明和解释;
具体地,在使用阅读机器人进行阅读之前,阅读者面向阅读机器人,同时,将图书放于阅读机器人的指定位置上,其中,第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描,第二摄像头的视角范围覆盖阅读者的上半身区域以对阅读者的活动状态进行监视;使用时,可通过开启第一摄像头对图书的内容进行扫描,从而采集到第一图像,以便后续阅读机器人根据第一图像正确读出图书的内容以及确定是否开启第二摄像头进行拍摄。
在上述S12中,指定的内容信息可以是图书上的文字,也可以是图书上的图画,也可以是图书上的文字和图画,采集到第一图像后,通过对第一图像进行文字识别或图像识别,可获知第一图像中是否含有指定的内容信息,例如,通过对第一图像进行文字识别,可分析出第一图像中是否含有文字,当分析出第一图像中含有文字时,再通过现有的语音合成技术即可将识别出的文字转换成对应的语音,从而实现阅读机器人的读书功能。
在上述S13中,当分析出第一图像中含有指定的内容信息时,阅读机器人进行“读书”,同时开启第二摄像头,通过第二摄像头对自身视角范围内的景象进行拍摄,从而采集到连续多帧的第二图像,以便后续根据第二图像进行相关操作。
在上述S14中,通过对第二图像进行视觉检测,分析出第二图像中是否含有人物信息,若第二图像中含有人物信息,则表明当前有阅读者在进行阅读。
在上述S15中,当分析出第二图像中含有人物信息时,则进一步分析第二图像中的人物信息是否符合预设的人物状态标准,若人物信息符合预设的人物状态标准,则表明当前阅读者正在认真学习,但若人物信息不符合预设的人物状态标准,则表明当前阅读者没有在认真学习,而是在做其他无关阅读的事。
在上述S16、S17中,当第二图像中的人物信息不符合预设的人物状态标准时,则阅读机器人形成对应阅读者学习状态为不认真学习的监测结果,即上述第一监测结果;而当第二图像中的人物信息符合预设的人物状态标准时,则阅读机器人形成对应阅读者学习状态为认真学习的监测结果,即上述第二监测结果,从而达到检验阅读者是否在认真学习的目的。
参照图2,形成对应阅读者学习状态的第二监测结果的步骤之后,还包括:
S18,在第一预设时间后采集第三图像;
S19,分析第三图像与第一图像是否相同;
S20,若第三图像与第一图像相同,则采集第四图像;
S21,分析第四图像中是否含有人物信息;
S22,若第四图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准;
S23,若人物信息不符合预设的人物状态标准,则形成对应阅读者学习状态的第一监测结果。
在上述S18中,当阅读机器人形成对应阅读者学习状态的第二监测结果时,则可初步说明当前阅读者正在认真学习,此时在第一预设时间(如30秒)后可通过第一摄像头来采集第三图像,即隔段时间后再次通过第一摄像头进行图像的采集,以便后续进行相关操作。
在上述S19中,具体地,采集到第三图像后,将第三图像与之前采集到的第一图像进行比较,分析第三图像与第一图像是否相同,以便后续进行相关操作。
在上述S20中,当分析出第三图像与第一图像相同时,则表明在相当一段时间内阅读者并没有翻书,此时再次开启第二摄像头,通过第二摄像头对自身视角范围内的景象再次进行拍摄,从而采集到连续多帧的第四图像,以便后续根据第四图像进行相关操作。
在上述S21中,通过对第四图像进行视觉检测,分析出第四图像中是否含有人物信息,若第四图像中含有人物信息,则表明当前有阅读者在进行阅读。
在上述S22中,当分析出第四图像中含有人物信息时,则进一步分析第四图像中的人物信息是否符合预设的人物状态标准,若人物信息符合预设的人物状态标准,则表明当前阅读者正在认真学习,但若人物信息不符合预设的人物状态标准时,则表明当前阅读者没有在认真学习,而是在做其他无关阅读的事。
在上述S23中,若第四图像中的人物信息不符合预设的人物状态标准,则阅读机器人可据此得到阅读者不认真学习的监测结果,即上述的第一监测结果;若第四图像中的人物信息符合预设的人物状态标准,则说明当前阅读者正在认真看书,此时阅读机器人可据此得到阅读者认真学习的监测结果,即上述的第二监测结果。
在本实施例中,当初步发现阅读者处于认真学习的状态时,则通过每隔一段时间检测阅读者是否有翻书的方式,来进一步确认接下来的时间里阅读者是否仍处于认真学习的状态,使得阅读机器人可持续地对阅读者的学习状态进行监测,提高了阅读机器人的实用性。
在一个优选的实施例中,人物信息包括双肩与水平方向之间的角度,此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准:
S15a,分析双肩与水平方向之间的角度是否大于第一预设角度;
S15b,若双肩与水平方向之间的角度大于第一预设角度,则判定人物信息不符合预设的人物状态标准。
在本实施例中,通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测,可分析出双肩与水平方向之间的角度是否大于第一预设角度(如30度),若双肩与水平方向之间的角度大于第一预设角度,则表明当前阅读者的身体倾斜幅度过大,如趴在桌子上或倚靠在椅子上偷懒或睡觉,此时可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒来督促阅读者认真学习,以提高阅读者的学习效率,同时,这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”,这样有利于督促阅读者养成良好的阅读姿势。
在一个优选的实施例中,人物信息包括头部与任意一肩膀之间的角度,此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准:
S15c,分析头部与任意一肩膀之间的角度是否小于第二预设角度;
S15d,若头部与任意一肩膀之间的角度小于第二预设角度,则判定人物信息不符合预设的人物状态标准。
在本实施例中,通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测,可分析出头部与任意一肩膀之间的角度是否小于第二预设角度(如60度),若头部与任意一肩膀之间的角度小于第二预设角度,则表明当前阅读者的头部倾斜幅度过大,例如在打瞌睡,此时可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒来督促阅读者认真学习,以提高阅读者的学习效率,同时,这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”,这样有利于督促阅读者养成良好的阅读姿势。
在一个优选的实施例中,人物信息包括眼睛持续闭合的时间,此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准:
S15e,分析眼睛持续闭合的时间是否超出第二预设时间;
S15f,若眼睛持续闭合的时间超出第二预设时间,则判定人物信息不符合预设的人物状态标准。
在本实施例中,通过对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别,可分析出眼睛持续闭合的时间是否超出第二预设时间(如20秒),若眼睛持续闭合的时间超出第二预设时间,则表明当前阅读者眼睛持续闭合的时间过长,例如在打瞌睡,此时可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒来督促阅读者认真学习,以提高阅读者的学习效率。
在一个优选的实施例中,人物信息包括第三预设时间内的眨眼次数,此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准:
S15g,分析第三预设时间内的眨眼次数是否超出预设次数;
S15h,若第三预设时间内的眨眼次数超出预设次数,则判定人物信息不符合预设的人物状态标准。
在本实施例中,通过对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别,可分析出第三预设时间(如20秒)内的眨眼次数是否超出预设次数(如10次),若第三预设时间内的眨眼次数超出预设次数,则表明当前阅读者在频繁地眨眼,例如在打瞌睡或者开小差,此时可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒来督促阅读者认真学习,以提高阅读者的学习效率。
在一个优选的实施例中,人物信息包括嘴巴的高度与宽度之比,此时可通过以下方式分析第二图像或第四图像中的人物信息是否符合预设的人物状态标准:
S15i,分析嘴巴的高度与宽度之比是否大于预设值;
S15j,若嘴巴的高度与宽度之比大于预设值,则判定人物信息不符合预设的人物状态标准。
在本实施例中,通过对第二摄像头采集到的连续多帧的人物图像进行视觉检测,可分析出嘴巴的高度与宽度之比是否大于预设值(例如预设值可设置为“1”),若嘴巴的高度与宽度之比大于预设值,则表明当前阅读者嘴巴的动作幅度过大,例如在打哈欠,此时可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒来督促阅读者认真学习,以提高阅读者的学习效率。
优选地,形成对应阅读者学习状态的第一监测结果的步骤之后,还包括:
S16a,向阅读者发出警报或/和向监督者的终端设备发送提示信息。
在本实施例中,具体地,当阅读机器人形成对应阅读者学习状态的第一监测结果时,则表明当前阅读者没有在认真学习,而是在做其他无关阅读的事,此时可通过向阅读者发出警报来提醒阅读者认真学习,又或者通过向监督者(家长)的终端设备(如智能手机)发送提示信息来告知监督者当前阅读者(小孩)没有认真学习,以便监督者督促阅读者认真学习,从而有利于提高阅读者的学习效率,这两种提醒方式可择一使用,亦可同时进行使用,对此不作具体的限制。
在一个可选的实施例中,若第四图像中含有人物信息,则分析人物信息是否符合预设的人物状态标准的步骤之后,还包括:
S22a,若第四图像中的人物信息符合预设的人物状态标准,则分析未发出提醒信息的时间长度是否超出预设时间长度,其中,发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息;
S22b,若未发出提醒信息的时间长度超出预设时间长度,则向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
在本实施例中,若第四图像中的人物信息符合预设的人物状态标准,则说明阅读者在相当一段时间内均处于认真学习的状态,此时进一步分析未发出提醒信息的时间长度是否超出预设时间长度(如30分钟),若未发出提醒信息的时间长度超出预设时间长度,则说明阅读者在相当长的一段时间内(该时间段的长度由预设时间长度而定)均处于认真学习的状态,此时阅读机器人可向阅读者(小孩)播放用于鼓励阅读者的语音信息,如“宝宝你已经认真学习30分钟啦,好棒哦!要继续加油哦!”,又或者向监督者(家长)的终端设备发送阅读者正在认真学习的状态信息,如“您的小孩已经认真学习30分钟啦,值得表扬哦!”,从而有利于提高用户的使用体验,这两种提醒方式可择一使用,亦可同时进行使用,对此不作具体的限制。
因此,本发明实施例的学习状态监测方法通过采集阅读者进行阅读学习时的图像,进而通过分析图像中的人物信息是否符合预设的人物状态标准,得出阅读者当前是否在认真学习,当人物信息不符预设的人物状态标准时,则说明阅读者当前没有在认真学习,进而可以通过设置提醒来督促阅读者认真学习,如通过向阅读者发出警报来提醒阅读者认真学习,又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习,由监督者督促阅读者认真学习,从而能有效地在使用阅读机器人进行阅读的过程中对阅读者的学习状态进行监测,提高小孩的学习效率。
参照图3,本发明实施例还提出一种学习状态监测装置,包括:
第一采集模块1,用于采集第一图像;
第一分析模块2,用于分析第一图像中是否含有指定的内容信息;
第二采集模块3,用于当第一图像中含有指定的内容信息时,采集第二图像;
第二分析模块4,用于分析第二图像中是否含有人物信息;
第三分析模块5,用于当第二图像中含有人物信息时,分析人物信息是否符合预设的人物状态标准;
第一形成模块6,用于当人物信息不符合预设的人物状态标准时,形成对应阅读者学习状态的第一监测结果;
第二形成模块7,用于当人物信息符合预设的人物状态标准时,形成对应阅读者学习状态的第二监测结果。
在上述第一采集模块1中,具体地,可通过在阅读机器人上设置摄像头来采集所需的图像,例如,可在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像,又例如,可在阅读机器人上设置用于同时扫描内容信息和监视阅读者活动状态的全景摄像头来采集所需的图像,等等,对此不作具体的限制;为了方便说明和解释本发明实施例的内容,本发明实施例以在阅读机器人上设置用于扫描内容信息的第一摄像头以及用于监视阅读者活动状态的第二摄像头来分别采集所需的图像为例,进行相关的说明和解释;
具体地,在使用阅读机器人进行阅读之前,阅读者面向阅读机器人,同时将图书放于阅读机器人的指定位置上,其中,第一摄像头的视角范围覆盖指定位置以对图书的内容进行扫描,第二摄像头的视角范围覆盖阅读者的上半身区域以对阅读者的状态进行监视;使用时,第一采集模块1可通过开启第一摄像头对图书的内容进行扫描,从而采集到第一图像,以便后续阅读机器人根据第一图像正确读出图书的内容以及确定是否开启第二摄像头进行拍摄。
在上述第一分析模块2中,指定的内容信息可以是图书上的文字,也可以是图书上的图画,也可以是图书上的文字和图画,第一分析模块2从第一采集模块1中获得第一图像后,通过对第一图像进行文字识别或图像识别,可获知第一图像中是否含有指定的内容信息,例如,通过对第一图像进行文字识别,可分析出第一图像中是否含有文字,当第一分析模块2分析出第一图像中含有文字时,再通过现有的语音合成技术即可将识别出的文字转换成对应的语音,从而实现阅读机器人的读书功能。
在上述第二采集模块3中,当第一分析模块2分析出第一图像中含有指定的内容信息时,阅读机器人进行“读书”,同时第二采集模块3可通过开启第二摄像头对自身视角范围内的景象进行拍摄,从而采集到连续多帧的第二图像,以便后续根据第二图像进行相关操作。
在上述第二分析模块4中,可通过第二分析模块4对第二图像进行视觉检测,分析出第二图像中是否含有人物信息,若第二图像中含有人物信息,则表明当前有阅读者在进行阅读。
在上述第三分析模块5中,当第二分析模块4分析出第二图像中含有人物信息时,则进一步通过第三分析模块5分析第二图像中的人物信息是否符合预设的人物状态标准,若人物信息符合预设的人物状态标准,则表明当前阅读者正在认真学习,但若人物信息不符合预设的人物状态标准,则表明当前阅读者没有在认真学习,而是在做其他无关阅读的事。
在上述第一形成模块6、第二形成模块7中,当通过第三分析模块5分析出第二图像中的人物信息不符合预设的人物状态标准时,则通过第一形成模块6形成对应阅读者学习状态为不认真学习的监测结果,即上述第一监测结果;而当通过第三分析模块5分析出第二图像中的人物信息符合预设的人物状态标准时,则通过第二形成模块7形成对应阅读者学习状态为认真学习的监测结果,即上述第二监测结果,从而达到检验阅读者是否在认真学习的目的。
参照图4,该学习状态监测装置还包括第三采集模块8、第四分析模块9、第四采集模块10,其中,
第三采集模块8,用于在第二预设时间后采集第三图像;
第四分析模块9,用于分析第三图像与第一图像是否相同;
第四采集模块10,用于当第三图像与第一图像相同时,采集第四图像;
第二分析模块4,还用于分析第四图像中是否含有人物信息;
第三分析模块5,还用于当第四图像中含有人物信息时,分析人物信息是否符合预设的人物状态标准。
在上述第三采集模块8中,当第二形成模块7形成对应阅读者学习状态的第二监测结果时,则可初步说明当前阅读者正在认真学习,此时第三采集模块8在第一预设时间(如30秒)后可通过第一摄像头来采集第三图像,以便后续进行相关操作。
在第四分析模块9中,具体地,第四分析模块9从第三采集模块8中获得第三图像后,第四分析模块9将第三图像与之前采集到的第一图像进行比较,分析第三图像与第一图像是否相同,以便后续进行相关操作。
在上述第四采集模块10中,当第四分析模块9分析出第三图像与第一图像相同时,则表明在相当一段时间内阅读者并没有翻书,此时第四采集模块10可通过开启第二摄像头对自身视角范围内的景象再次进行拍摄,从而采集到连续多帧的第四图像,以便后续第二分析模块4根据第四图像进行相关操作。
在上述第二分析模块4中,通过第二分析模块4对第四图像进行视觉检测,分析出第四图像中是否含有人物信息,若第四图像中含有人物信息,则表明当前有阅读者在进行阅读。
在上述第三分析模块5中,当第二分析模块4分析出第四图像中含有人物信息时,则通过第三分析模块5进一步分析第四图像中的人物信息是否符合预设的人物状态标准,若第四图像中的人物信息不符合预设的人物状态标准,则第一形成模块6可据此得到阅读者不认真学习的监测结果,即上述的第一监测结果;若第四图像中的人物信息符合预设的人物状态标准,则说明当前阅读者正在认真看书,此时第二形成模块7可据此得到阅读者认真学习的监测结果,即上述的第二监测结果。
在本实施例中,当初步发现阅读者处于认真学习的状态时,则通过每隔一段时间检测阅读者是否有翻书的方式,来进一步确认接下来的时间里阅读者是否仍处于认真学习的状态,使得阅读机器人可持续地对阅读者的学习状态进行监测,提高了阅读机器人的实用性。
参照图4和图5,具体地,人物信息包括双肩与水平方向之间的角度,此时第三分析模块5包括第一分析单元5a和第一判定单元5b,其中,
第一分析单元5a,用于分析双肩与水平方向之间的角度是否大于第一预设角度;
第一判定单元5b,用于当双肩与水平方向之间的角度大于第一预设角度时,判定人物信息不符合预设的人物状态标准。
在本实施例中,通过第一分析单元5a对第二摄像头采集到的连续多帧的人物图像进行视觉检测,可分析出双肩与水平方向之间的角度是否大于第一预设角度(如30度),若双肩与水平方向之间的角度大于第一预设角度,则表明当前阅读者的身体倾斜幅度过大,如趴在桌子上或倚靠在椅子上偷懒或睡觉,此时第一判定单元5b可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒模块11来督促阅读者认真学习,以提高阅读者的学习效率,同时,这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”,这样有利于督促阅读者养成良好的阅读姿势。
参照图4和图5,具体地,人物信息包括头部与任意一肩膀之间的角度,此时第三分析模块5包括第二分析单元5c和第二判定单元5d,其中,
第二分析单元5c,用于分析头部与任意一肩膀之间的角度是否小于第二预设角度;
第二判定单元5d,用于当头部与任意一肩膀之间的角度小于第二预设角度时,判定人物信息不符合预设的人物状态标准。
在本实施例中,通过第二分析单元5c对第二摄像头采集到的连续多帧的人物图像进行视觉检测,可分析出头部与任意一肩膀之间的角度是否小于第二预设角度(如60度),若头部与任意一肩膀之间的角度小于第二预设角度,则表明当前阅读者的头部倾斜幅度过大,例如在打瞌睡,此时第二判定单元5d可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒模块11来督促阅读者认真学习,以提高阅读者的学习效率,同时,这也意味着阅读者在进行阅读时需要保持较好的阅读姿势才不会被阅读机器人“误判”,这样有利于督促阅读者养成良好的阅读姿势。
参照图4和图5,人物信息包括眼睛持续闭合的时间,此时第三分析模块5包括第三分析单元5e和第三判定单元5f,其中,
第三分析单元5e,用于分析眼睛持续闭合的时间是否超出第二预设时间;
第三判定单元5f,还用于当眼睛持续闭合的时间超出第二预设时间时,判定人物信息不符合预设的人物状态标准。
在本实施例中,通过第三分析单元5e对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别,可分析出眼睛持续闭合的时间是否超出第二预设时间(如20秒),若眼睛持续闭合的时间超出第二预设时间,则表明当前阅读者眼睛持续闭合的时间过长,例如在打瞌睡,此时第三判定单元5f可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒模块11来督促阅读者认真学习,以提高阅读者的学习效率。
参照图4和图5,人物信息包括第三预设时间内的眨眼次数,此时第三分析模块5包括第四分析单元5g和第四判定单元5h,其中,
第四分析单元5g,用于分析第三预设时间内的眨眼次数是否超出预设次数;
第四判定单元5h,还用于当第三预设时间内的眨眼次数超出预设次数时,判定人物信息不符合预设的人物状态标准。
在本实施例中,通过第四分析单元5g对第二摄像头采集到的连续多帧的人物图像进行人脸检测和人脸识别,可分析出第三预设时间(如20秒)内的眨眼次数是否超出预设次数(如10次),若第三预设时间内的眨眼次数超出预设次数,则表明当前阅读者在频繁地眨眼,例如在打瞌睡或者开小差,此时第四判定单元5h可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒模块11来督促阅读者认真学习,以提高阅读者的学习效率。
参照图4和图5,人物信息包括嘴巴的高度与宽度之比,此时第三分析模块5包括第五分析单元5i和第五判定单元5j,其中,
第五分析单元5i,用于分析嘴巴的高度与宽度之比是否大于预设值;
第五判定单元5j,还用于当嘴巴的高度与宽度之比大于预设值时,判定人物信息不符合预设的人物状态标准。
在本实施例中,通过第五分析单元5i对第二摄像头采集到的连续多帧的人物图像进行视觉检测,可分析出嘴巴的高度与宽度之比是否大于预设值(例如预设值可设置为“1”),若嘴巴的高度与宽度之比大于预设值,则表明当前阅读者嘴巴的动作幅度过大,例如在打哈欠,此时第五判定单元5j可据此判定出人物信息不符合预设的人物状态标准,即当前阅读者没有在认真学习,进而便于后续通过设置提醒模块11来督促阅读者认真学习,以提高阅读者的学习效率。
参照图4,优选地,该学习状态监测装置还包括提醒模块11,该提醒模块11用于向阅读者发出警报或/和向监督者的终端设备发送提示信息。
在本实施例中,具体地,当第一形成模块6形成对应阅读者学习状态的第一监测结果时,则表明当前阅读者没有在认真学习,而是在做其他无关阅读的事,此时可通过提醒模块11向阅读者发出警报来提醒阅读者认真学习,又或者通过提醒模块11向监督者(家长)的终端设备(如智能手机)发送提示信息来告知监督者当前阅读者(小孩)没有认真学习,以便监督者督促阅读者认真学习,从而有利于提高阅读者的学习效率,这两种提醒方式可择一使用,亦可同时进行使用,对此不作具体的限制。
参照图4,优选地,该学习状态监测装置还包括第五分析模块12和汇报模块13,其中,
第五分析模块12,用于当第四图像中的人物信息符合预设的人物状态标准时,分析未发出提醒信息的时间长度是否超出预设时间长度,其中,发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息;
汇报模块13,用于当未发出提醒信息的时间长度超出预设时间长度时,向阅读者播放用于鼓励阅读者的语音信息或/和向监督者的终端设备发送阅读者正在认真学习的状态信息。
在本实施例中,若第四图像中的人物信息符合预设的人物状态标准,则说明阅读者在相当一段时间内均处于认真学习的状态,此时可通过第五分析模块12进一步分析提醒模块11未发出提醒信息的时间长度是否超出预设时间长度(如30分钟),若提醒模块11未发出提醒信息的时间长度超出预设时间长度,则说明阅读者在相当长的一段时间内(该时间段的长度由预设时间长度而定)均处于认真学习的状态,此时可通过汇报模块13向阅读者(小孩)播放用于鼓励阅读者的语音信息,如“宝宝你已经认真学习30分钟啦,好棒哦!要继续加油哦!”,又或者通过汇报模块13向监督者(家长)的终端设备发送阅读者正在认真学习的状态信息,如“您的小孩已经认真学习30分钟啦,值得表扬哦!”,从而有利于提高用户的使用体验,这两种提醒方式可择一使用,亦可同时进行使用,对此不作具体的限制。
因此,本发明实施例的学习状态监测装置通过采集阅读者进行阅读学习时的图像,进而通过分析图像中的人物信息是否符合预设的人物状态标准,得出阅读者当前是否在认真学习,当人物信息不符预设的人物状态标准时,则说明阅读者当前没有在认真学习,进而可以通过设置提醒来督促阅读者认真学习,如通过向阅读者发出警报来提醒阅读者认真学习,又或者通过向监督者的终端设备发送提示信息来告知监督者当前阅读者没有认真学习,由监督者督促阅读者认真学习,从而能有效地在使用阅读机器人进行阅读的过程中对阅读者的学习状态进行监测,提高小孩的学习效率。
本发明实施例还提出一种可读存储介质,该可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例中的学习状态监测方法。
本发明实施例还提出一种智能设备,包括存储器、处理器和计算机程序,计算机程序被存储在存储器中并被配置为由处理器执行,计算机程序被配置为用于执行上述任一实施例中的学习状态监测方法。
本领域技术人员可以理解,本发明实施例所述的智能设备为上述所涉及用于执行本申请中所述方法中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序或应用程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读存储介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种学习状态监测方法,其特征在于,包括以下步骤:
采集第一图像;
分析所述第一图像中是否含有指定的内容信息;
若所述第一图像中含有指定的内容信息,则采集第二图像;
分析所述第二图像中是否含有人物信息;
若所述第二图像中含有人物信息,则分析所述人物信息是否符合预设的人物状态标准;
若否,则形成对应阅读者学习状态的第一监测结果;
若是,则形成对应阅读者学习状态的第二监测结果。
2.根据权利要求1所述的学习状态监测方法,其特征在于,所述形成对应阅读者学习状态的第二监测结果的步骤之后,还包括:
在第一预设时间后采集第三图像;
分析所述第三图像与所述第一图像是否相同;
若所述第三图像与所述第一图像相同,则采集第四图像;
分析所述第四图像中是否含有人物信息;
若所述第四图像中含有人物信息,则分析所述人物信息是否符合预设的人物状态标准;
若所述人物信息不符合预设的人物状态标准,则形成对应所述阅读者学习状态的所述第一监测结果。
3.根据权利要求1所述的学习状态监测方法,其特征在于,所述形成对应阅读者学习状态的第一监测结果的步骤之后,还包括:
向阅读者发出警报或/和向监督者的终端设备发送提示信息。
4.根据权利要求2所述的学习状态监测方法,其特征在于,所述若所述第四图像中含有人物信息,则分析所述人物信息是否符合预设的人物状态标准的步骤之后,还包括:
若所述第四图像中的人物信息符合预设的人物状态标准,则分析未发出提醒信息的时间长度是否超出预设时间长度,其中,发出提醒信息包括向阅读者发出警报或/和向监督者的终端设备发送提示信息;
若未发出提醒信息的时间长度超出预设时间长度,则向所述阅读者播放用于鼓励所述阅读者的语音信息或/和向监督者的终端设备发送所述阅读者正在认真学习的状态信息。
5.根据权利要求1至4任一项所述的学***方向之间的角度,所述分析所述人物信息是否符合预设的人物状态标准的步骤,包括:
分析所述双肩与水平方向之间的角度是否大于第一预设角度;
若所述双肩与水平方向之间的角度大于第一预设角度,则判定所述人物信息不符合预设的人物状态标准。
6.根据权利要求1至4任一项所述的学习状态监测方法,其特征在于,所述人物信息包括嘴巴的高度与宽度之比,所述分析所述人物信息是否符合预设的人物状态标准的步骤,包括:
分析所述嘴巴的高度与宽度之比是否大于预设值;
若所述嘴巴的高度与宽度之比大于预设值,则判定所述人物信息不符合预设的人物状态标准。
7.根据权利要求1至4任一项所述的学习状态监测方法,其特征在于,所述人物信息包括眼睛持续闭合的时间,所述分析所述人物信息是否符合预设的人物状态标准的步骤,包括:
分析所述眼睛持续闭合的时间是否超出第二预设时间;
若所述眼睛持续闭合的时间超出第二预设时间,则判定所述人物信息不符合预设的人物状态标准。
8.一种学习状态监测装置,其特征在于,包括:
第一采集模块,用于采集第一图像;
第一分析模块,用于分析所述第一图像中是否含有指定的内容信息;
第二采集模块,用于当所述第一图像中含有指定的内容信息时,采集第二图像;
第二分析模块,用于分析所述第二图像中是否含有人物信息;
第三分析模块,用于当所述第二图像中含有人物信息时,分析所述人物信息是否符合预设的人物状态标准;
第一形成模块,用于当所述人物信息不符合预设的人物状态标准时,形成对应阅读者学习状态的第一监测结果;
第二形成模块,用于当所述人物信息符合预设的人物状态标准时,形成对应阅读者学习状态的第二监测结果。
9.一种可读存储介质,其特征在于,该可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的学习状态监测方法。
10.一种智能设备,其特征在于,包括存储器、处理器和计算机程序,所述计算机程序被存储在所述存储器中并被配置为由所述处理器执行,所述计算机程序被配置为用于执行如权利要求1至7任一项所述的学习状态监测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811519099.0A CN109658673A (zh) | 2018-12-12 | 2018-12-12 | 学习状态监测方法、装置、可读存储介质及智能设备 |
PCT/CN2019/073758 WO2020118882A1 (zh) | 2018-12-12 | 2019-01-29 | 学习状态监测方法、装置及智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811519099.0A CN109658673A (zh) | 2018-12-12 | 2018-12-12 | 学习状态监测方法、装置、可读存储介质及智能设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109658673A true CN109658673A (zh) | 2019-04-19 |
Family
ID=66114277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811519099.0A Pending CN109658673A (zh) | 2018-12-12 | 2018-12-12 | 学习状态监测方法、装置、可读存储介质及智能设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109658673A (zh) |
WO (1) | WO2020118882A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111594773A (zh) * | 2020-05-19 | 2020-08-28 | 马鞍山三投光电科技有限公司 | 一种智能护眼可调节led灯 |
CN112613444A (zh) * | 2020-12-29 | 2021-04-06 | 北京市商汤科技开发有限公司 | 一种行为检测的方法、装置、电子设备及存储介质 |
CN112990677A (zh) * | 2021-03-04 | 2021-06-18 | 青岛海科创新科技有限公司 | 一种基于人工智能的教学***、计算机设备、存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100980470B1 (ko) * | 2008-02-27 | 2010-09-07 | 주식회사 글맥학원 | 책상형 학습 장치 및 이를 이용한 학습 방법 |
CN103824481A (zh) * | 2014-02-28 | 2014-05-28 | 广东小天才科技有限公司 | 一种检测用户背诵的方法及装置 |
CN106101827A (zh) * | 2016-06-19 | 2016-11-09 | 乐视控股(北京)有限公司 | 终端提醒方法及装置 |
CN107358213A (zh) * | 2017-07-20 | 2017-11-17 | 湖南科乐坊教育科技股份有限公司 | 一种儿童阅读习惯检测方法及装置 |
CN107392146A (zh) * | 2017-07-20 | 2017-11-24 | 湖南科乐坊教育科技股份有限公司 | 一种儿童坐姿检测方法及装置 |
CN108521606A (zh) * | 2018-04-25 | 2018-09-11 | 上海与德科技有限公司 | 一种观看电视的监控方法、装置、存储介质及智能电视 |
CN108874122A (zh) * | 2018-04-28 | 2018-11-23 | 深圳市赛亿科技开发有限公司 | 智能眼镜及其控制方法、计算机可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150070263A1 (en) * | 2013-09-09 | 2015-03-12 | Microsoft Corporation | Dynamic Displays Based On User Interaction States |
CN105354986B (zh) * | 2015-11-12 | 2017-12-01 | 熊强 | 汽车司机驾驶状态监测***及方法 |
CN106023693B (zh) * | 2016-05-25 | 2018-09-04 | 北京九天翱翔科技有限公司 | 一种基于虚拟现实技术和模式识别技术的教育***及方法 |
-
2018
- 2018-12-12 CN CN201811519099.0A patent/CN109658673A/zh active Pending
-
2019
- 2019-01-29 WO PCT/CN2019/073758 patent/WO2020118882A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100980470B1 (ko) * | 2008-02-27 | 2010-09-07 | 주식회사 글맥학원 | 책상형 학습 장치 및 이를 이용한 학습 방법 |
CN103824481A (zh) * | 2014-02-28 | 2014-05-28 | 广东小天才科技有限公司 | 一种检测用户背诵的方法及装置 |
CN106101827A (zh) * | 2016-06-19 | 2016-11-09 | 乐视控股(北京)有限公司 | 终端提醒方法及装置 |
CN107358213A (zh) * | 2017-07-20 | 2017-11-17 | 湖南科乐坊教育科技股份有限公司 | 一种儿童阅读习惯检测方法及装置 |
CN107392146A (zh) * | 2017-07-20 | 2017-11-24 | 湖南科乐坊教育科技股份有限公司 | 一种儿童坐姿检测方法及装置 |
CN108521606A (zh) * | 2018-04-25 | 2018-09-11 | 上海与德科技有限公司 | 一种观看电视的监控方法、装置、存储介质及智能电视 |
CN108874122A (zh) * | 2018-04-28 | 2018-11-23 | 深圳市赛亿科技开发有限公司 | 智能眼镜及其控制方法、计算机可读存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111594773A (zh) * | 2020-05-19 | 2020-08-28 | 马鞍山三投光电科技有限公司 | 一种智能护眼可调节led灯 |
CN111594773B (zh) * | 2020-05-19 | 2022-01-25 | 马鞍山三投光电科技有限公司 | 一种智能护眼可调节led灯 |
CN112613444A (zh) * | 2020-12-29 | 2021-04-06 | 北京市商汤科技开发有限公司 | 一种行为检测的方法、装置、电子设备及存储介质 |
CN112990677A (zh) * | 2021-03-04 | 2021-06-18 | 青岛海科创新科技有限公司 | 一种基于人工智能的教学***、计算机设备、存储介质 |
CN112990677B (zh) * | 2021-03-04 | 2022-03-01 | 青岛海科虚拟现实研究院 | 一种基于人工智能的教学***、计算机设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020118882A1 (zh) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109658673A (zh) | 学习状态监测方法、装置、可读存储介质及智能设备 | |
CN109637097A (zh) | 学习状态监测方法、装置及智能设备 | |
CN105488957B (zh) | 疲劳驾驶检测方法及装置 | |
CN110780707B (zh) | 信息处理设备、信息处理方法与计算机可读介质 | |
CN109637207B (zh) | 一种学前教育互动教学装置及教学方法 | |
CN102096810B (zh) | 一种电脑前疲劳状态的检测方法和装置 | |
CN105022981B (zh) | 一种检测人眼健康状态的方法、装置及移动终端 | |
CN105989264A (zh) | 生物特征活体检测方法及*** | |
CN104464406A (zh) | 一种实时互动的在线学习平台 | |
CN109345156A (zh) | 一种基于机器视觉的课堂教学质量评价*** | |
CN107729092B (zh) | 一种用于电子书的自动翻页方法和*** | |
US20130176129A1 (en) | Drowsiness detection method and associated device | |
CN112801052B (zh) | 一种用户专注度检测方法及用户专注度检测*** | |
CN108109331A (zh) | 监控方法及监控*** | |
CN104407768B (zh) | 一种终端 | |
KR102528595B1 (ko) | 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 | |
CN107766785A (zh) | 一种面部识别方法 | |
JP4704174B2 (ja) | 状態識別装置、プログラムおよび方法 | |
CN106667506A (zh) | 一种基于皮肤电反应和瞳孔变化的测谎方法及装置 | |
CN109756626B (zh) | 一种提醒方法和移动终端 | |
WO2022024354A1 (ja) | 反応解析システム | |
CN107358213B (zh) | 一种儿童阅读习惯检测方法及装置 | |
US20210291380A1 (en) | Expression feedback method and smart robot | |
CN110390311A (zh) | 一种基于注意力和子任务预训练的视频分析算法 | |
CN106990841A (zh) | 基于运动传感器的手势识别方法及智能可穿戴摄像机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190419 |