CN113591515A - 专注度处理方法、装置及存储介质 - Google Patents
专注度处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113591515A CN113591515A CN202010365691.0A CN202010365691A CN113591515A CN 113591515 A CN113591515 A CN 113591515A CN 202010365691 A CN202010365691 A CN 202010365691A CN 113591515 A CN113591515 A CN 113591515A
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- concentration
- video
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000001815 facial effect Effects 0.000 claims description 9
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 18
- 230000006399 behavior Effects 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 206010000117 Abnormal behaviour Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 235000011888 snacks Nutrition 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种专注度处理方法、装置及存储介质,其中,所述方法包括:在播放视频的过程中,获取观看所述视频的目标对象在当前时刻的图像;对所述图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;基于所述在至少一个维度下的专注度子结果,得到所述目标对象在当前时刻的专注度结果。通过本申请实施例中所描述的方法,可以实时分析得到目标对象的专注度。
Description
技术领域
本申请涉及图像处理领域,尤其涉及图像分析领域。本申请涉及一种专注度处理方法、装置及存储介质。
背景技术
随着移动互联网的发展,在家学***板、手机等带屏电子设备观看课程视频。但是,这种方式中,由于缺少老师和家长的实时监督,无法对学生的专注度进行实时分析。
发明内容
为了解决上述问题中的一个或多个,本申请提出了一种专注度处理方法、装置及存储介质。
根据本申请的一方面,提供了一种专注度处理方法,包括:
在播放视频的过程中,获取观看该视频的目标对象在当前时刻的图像;
对该图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;
基于该在至少一个维度下的专注度子结果,得到该目标对象在当前时刻的专注度结果。
通过上述方案,能够在播放视频的过程中,通过多个维度对目标对象的当前时刻的图像进行分析,得到目标对象的专注度结果;从而能够避免相关技术中仅能够为目标对象进行视频的展示,但无法及时获得目标对象的学习状态也就是专注度的情况的问题。
根据本申请的另一方面,提供了一种专注度处理装置,包括:
图像获取模块,用于在播放视频的过程中,获取观看该视频的目标对象在当前时刻的图像;
分析模块,用于对该图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;基于该在至少一个维度下的专注度子结果,得到该目标对象在当前时刻的专注度结果。
根据本申请的另一方面,提供了一种专注度处理装置,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行如前该的方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行如前该的方法。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请一实施例的专注度处理方法的流程图一;
图2是本申请一场景示意图;
图3是根据本申请一实施例的专注度处理方法的流程图二;
图4是根据本申请一实施例的专注度处理方法的流程图三;
图5是根据本申请一实施例的专注度处理方法的流程图四;
图6是本申请又一场景示意图;
图7是根据本申请另一实施例的专注度处理装置组成结构示意图;
图8是用来实现本申请实施例的专注度处理装置的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本申请提供了一种专注度处理方法,如图1所示,包括:
S101:在播放视频的过程中,获取观看该视频的目标对象在当前时刻的图像;
S102:对该图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;
S103:基于该在至少一个维度下的专注度子结果,得到该目标对象在当前时刻的专注度结果。
前述S101中,播放视频指的是,通过具备显示屏幕的设备进行视频播放,该视频可以为实时视频流,也就是可以为直播的视频,或者,可以为录播的视频,本实施例中不对其进行限定。
该观看该视频的目标对象可以为观看视频的用户(或学生),另外,目标对象可以为处于能够观看到播放的视频、并且能够由摄像头采集到图像的位置的用户或学生。例如,可以参见图2,可以在一个电子设备播放视频的同时,对观看视频的目标对象进行图像采集,图中的虚线可以理解为进行图像采集的范围。
需要指出的是,实际使用中可以不仅限于播放视频与采集图像的设备为图2所示的同一个设备,还可以为一个设备播放视频,另一个设备采集目标对象的图像,这种情况下,采集目标对象的图像的设备可以放置在任意位置,只要能够采集到目标对象的图像即可。
具体来说,该获取观看该视频的目标对象在当前时刻的图像,有两种处理方式,分别来说:
第一种方式:
从实时采集得到的观看该视频的目标对象的图像中,按照第一时间间隔获取观看该视频的目标对象在当前时刻的图像。
在实时对目标对象进行图像采集的处理中,可以隔一段时间对实时采集的图像进行提取分析。也就是每间隔第一时间间隔,就提取当前时刻下采集到的目标对象的图像,作为获取的观看该视频的目标对象在当前时刻的图像。
这里,第一时间间隔可以根据实际情况进行设置,例如,可以为1s或者2s,当然还可以更长或更短,不对其进行限定。
第二种方式:
将按照第二时间间隔采集观看该视频的目标对象的图像中,本次采集的图像作为获取到的观看该视频的目标对象在当前时刻的图像。
这里,第二时间间隔可以与第一时间间隔相同或不同。例如,第二时间间隔可以根据实际情况进行设置,例如,可以设置为2秒(s),或者更长或更短,本实施例不进行穷举。
也就是说,这种方式不需要摄像头实时采集目标对象的图像,而是根据第二时间间隔在达到时间间隔的时候采集本次图像,相应的,本次采集的图像就成为本次获取到的观看该视频的目标对象的当前时刻的图像。
另外,在执行S101之前,还可以包括有是否满足拍摄条件的分析,若满足拍摄条件,则可以执行S101,否则,不执行S101。
这里,该拍摄条件可以包括有以下至少之一:摄像头前无遮挡物、摄像头前无照片、摄像头能够捕捉到目标对象的图像等等。
若不满足拍摄条件,还可以进一步根据不满足拍摄条件的原因发出调整提示,例如,若分析当前摄像头存在遮挡,可以发出(语音或文字)调整提示为:请将遮挡物移开;若分析当前摄像头前为一个图片,可以发出调整提示为:请将图片移开;若分析当前摄像头前未检测到任何目标对象(用户或学生),可以发出提示:请坐在摄像头前。当然,还可以存在更多的情况,这里不做穷举,需要理解的就是,本申请执行S101-S103的处理需要保证的一个前提是能够采集到目标对象的图像。
再另一示例中,执行S101之前,还可以发出开始进行专注度分析的提示,使得目标对象也就是学生了解到当前已经要开始进行专注度评估了。这个处理,可以理解为满足上述拍摄条件后执行的。
进一步来说,开始采集目标对象的图像的时间点,可以为开始播放视频的时间点;又或者,开始采集目标对象的图像的时间点可以为开始播放视频的时间内、并且满足拍摄条件的时间之后。
S102中,该至少一个维度包括以下至少之一:在该图像中目标对象的面部特征、在该图像中目标对象的行为特征、在该图像中包含的物品。
具体的,该目标对象的面部特征可以为用户或学生的脸部朝向,和/或,表情,和/或情绪等。
该目标对象的行为特征,可以为目标对象的动作、或者与周边物品之间的相对位置关系等等。
也就是说,本实施例中对当前时刻的图片进行至少一个维度的分析,可以为采用视觉算法进行分析,以检测到目标对象(用户或学生)脸部朝向、典型的表情情绪、是否有异常行为、异常物品等至少之一,来对用户当前的专注度进行打分,可以得到各个维度所对应的专注度子结果。分别对各个维度举例说明如下:
该目标对象的面部特征,可以包括有脸部朝向的特征。例如,通过图像检测目标对象的脸部是否正对播放视频的电子设备,或者是否正对播放视频的电子设备的屏幕;如果不正对播放视频的电子设备时,此维度(或特征)的专注度得分值偏低。需要指出的是,本维度(或特征)对应的专注度子结果的分值的高低,可以与目标对象也就是用户(或学生)的脸部朝向与电子设备的屏幕之间的偏角相关,偏角大专注度子结果的分值低,反之则专注度子结果的分值高。具体的对应关系本实施例不进行穷举,可以通过设置算法中的参数来实现。
该目标对象的面部特征,还可以包括有表情和/或情绪的特征。脸部的典型表情,表情平静、微笑、皱眉表示正在专注接受知识或者思考,专注度得分值偏高;大笑等代表不在专注思考,专注度得分值偏低。需要指出的是,本维度(或特征)对应的专注度子结果的分值的高低,可以与目标对象也就是用户(或学生)的表情大小、或情绪类型相关;如果表情幅度较大则可以认为专注度子结果的分值低,反之则专注度子结果的分值高。具体的对应关系本实施例不进行穷举,可以通过设置算法中的参数来实现。
该图像中目标对象的行为特征,可以通过分析算法进行行为识别,得到对应的行为特征。例如,目标对象的动作、或者与周边物品之间的相对位置关系等等。具体的,目标对象的动作可以为肢体动作(与前述面部表情不同),检测目标对象某一个身体部位的动作是否与标准位置的偏差过大,例如低头的角度超过预设角度,或者向体侧伸手超过与躯干之间的预设距离等等。又或者,目标对象与某一个物品之间的距离,例如,物品为手机该物品与目标对象的手之间的距离为0,可以认为本维度对应的专注度子结果分值较低;又例如,食物与头部之间的距离为0,可以认为本维度对应的专注度子结果分值较低。
该图像中包含的物品,也就是通过分析算法进行物品识别。通过本维度主要识别的是图像中是否包含异常物品,例如饮料、零食、手机、玩具等,这些都视为不专注,对应的专注度子结果得分值偏低。
S103,具体可以包括:基于至少一个维度对应的专注度子结果进行加权计算,得到该目标对象在该当前时刻的专注度结果。
关于加权计算中,不同的维度对应的加权可以相同也可以不同,另外,不同维度对应的加权值可以根据实际情况进行调整。例如,前述多个维度中的面部朝向特征的权重可以较高,表情或情绪的权重可以次之,物品的权重可以最低等等。
需要指出的是,上述至少一个维度及其对应的加权仅为示例,实际上可以根据实际情况设置更多的维度,只是本示例中不再进行穷举。
基于前述,本实施例还提供进一步处理,结合图3来说,在执行完S103之后,还可以包括S104:在该目标对象的专注度结果低于阈值的情况下,生成并输出提示信息;其中,该提示信息包括:音频提示信息和/或文字提示信息。
进一步地,还可以包括:判断专注度结果是否低于阈值,若低于阈值则执行S104,否则,返回S101。
这里,阈值可以根据实际情况设置,例如,专注度结果的范围为1-10分,阈值可以设置为6;专注度结果范围为1-100分,阈值可以设置为68。当然,这里仅为示例,实际情况可以设置其他分作为阈值,不做穷举。
这里,音频提示信息和/或该文字提示信息的具体内容可以是相同的,只是输出方式不同。
针对如何生成提示信息进行说明:可以结合当前时刻的图像在至少一个维度的分析结果,得到该提示信息。也就是,可以将当前至少一个维度中专注度子结果分值最低的一个维度作为生成提示信息的依据,例如,当前面部朝向为未朝向屏幕,生成的提示信息可以为:请面向屏幕。又例如,当前分值最低的一个维度为目标对象的行为特征,可以根据目标对象的行为特征生成提示信息,举例来说,如果学生正在吃零食,提示信息可以为请放下零食,专心听讲。
另外,如果多个维度的分值均较低,又或者,一个维度分值较低,但是该维度存在两个特征,可以是按照预设的行为排序,根据某一个排序最高(或最低)的行为对应的提示信息。例如,当前目标对象大笑着看手机,如果行为排序中看手机的排序高于表情(大笑),可以输出提示为:请放下手机,专心听讲。
进一步来说,在提示信息为文本提示信息的情况下,可以在输出视频的屏幕的预设位置处展示该文本提示信息;该预设位置可以在屏幕下方,当然还可以设置在屏幕的其他位置,这里不做限定只要不遮挡输出的视频内容即可。
这里,关于提示信息在屏幕上展示的时长,可以为预设时长,例如2s,当然可以更长或更短,不做穷举。
在提示信息包含音频提示信息的情况下,可以进一步检测当前的音频输出模块的通道是否被占用,若被占用则不输出音频提示信息,否则,可以输出音频提示信息。
又一示例中,基于上述图3,还可以如图4所示,包括:S105:将目标对象的专注度结果低于阈值的图像发送至目标设备;或者,S106:将目标对象的专注度结果低于阈值的图像及其所对应的标签发送至目标设备;其中,图像所对应的标签与该图像的内容相关。
上述S105或S106可以与S104同时执行,当然,还可以如图中所示在完成S104之后执行。
具体来说,S105或S106,可以为在生成并输出该提示信息时,将目标对象的专注度结果低于阈值的图像发送至目标设备,或者,将目标对象的专注度结果低于阈值的图像及其所对应的标签发送至目标设备。也就是,一旦发现有专注度较低的情况,就将该时刻采集到的图像(或者,图像及其对应的标签)发送至目标设备。
又或者,可以周期性的将目标对象的专注度结果低于阈值的图像发送至目标设备,或者,周期性的将目标对象的专注度结果低于阈值的图像及其所对应的标签发送至目标设备。这种情况中,发送的图像可以为在该周期时长内,目标对象的专注度结果低于阈值的全部图像。
这里,周期可以根据实际情况设置,例如,可以为1天,或者2天,可以由家长在目标设备通过APP进行接收周期的设置,不对其进行穷举。
另外,该图像对应的标签与图像的内容相关,例如,可以在生成标签时再对图像进行分析,得到目标对象异常行为对应的类型,将该类型作为该标签。当然,还可以不做图像分析,采用可以根据该提示信息来确定,例如,提示信息为某一个维度下的具体行为,可以根据该维度生成标签。
该目标设备可以理解为与当前电子设备建立通信连接(例如无线通信连接等等)的设备,该目标设备可以通过安装的APP(应用)接收该图像并展示。目标设备可以为学生的家长的手机或平板或笔记本。
结合图5以及图6对本实施例提供的方案提供一种示例性进行说明,学生(也就是目标对象)在电脑、平板、手机等至少之一带屏电子设备打开网课播放视频,进行在线学习(或学习录制视频)时,电子设备会自动打开前置摄像头,此时还可以告知学生(也就是目标对象)已开启上课专注度自动评估;
电子设备对学生(也就是目标对象)进行实时采集,以得到学生的实时视频流或者实时采集包含学生的图像;针对图像进行分析得到专注度结果,也就是对图像进行至少一个维度的算法分析,例如,可以分析人脸朝向、人脸表情、用户行为、用户身边的物品等维度的特征值,来对专注度进行打分得到专注度结果。
专注度结果(也就是评分)低于阈值,则通过设备弹出toast(文字提示信息)和tts语音提醒(也就是音频提示信息),以提示用户保持专注。其中,文字提示信息可以如图6所示,在屏幕输出的内容的下方进行展示。
同时,还可以如图6所示,对于专注度结果低于阈值的至少一个图像和标签同步发送到家长手机端通过APP(应用)进行查看。
本申请提供的方案可以应用于一个电子设备中,该电子设备至少具备音频视频播放功能、采集功能、以及图像分析功能。例如,可以包括播放器(扬声器)、显示屏、摄像头,以及CPU等等,基于这些硬件可以实现本实施例提供的全部方案。
又或者,本申请提供的方案可以应用于仅具备采集功能以及图像分析功能的电子设备中。也就是可以应用于仅具备摄像头以及图像处理模块(例如可以是CPU)的电子设备中。这种情况中,可以由第一电子设备进行图像分析,图像分析功能也就是前述S102-S106,以及S101中获取观看该视频的目标对象在当前时刻的图像的处理,可以由第一电子设备中的具备处理功能的模块实现,例如CPU等等。还可以通过第一电子设备的摄像头实时采集得到的观看该视频的目标对象的图像,或者按照第二时间间隔采集观看该视频的目标对象的图像。另外,这种情况中,播放视频可以由第二电子设备执行。进一步地,这种情况中,第一电子设备还可以具备通信功能(无线或有线通信功能),将生成的提示信息发送给第二电子设备,由第二电子设备的屏幕展示文字提示信息,和/或,由第二电子设备的音频输出功能(例如喇叭)输出音频提示信息。
再或者,本申请可以用于仅具备图像分析及处理功能的第三电子设备中,也就是通过第四电子设备的摄像头采集到图像,以及通过第四电子设备(或第五电子设备)进行视频播放;当然,电子设备还可以为具备信息传输功能的设备,例如,可以接收其他设备(例如不具备分析能力的单独的摄像头)采集到的图像以进行图像分析,并得到结果,将提示信息发给进行视频播放的电子设备等等。
可见,通过采用上述方案,能够在播放视频的过程中,通过多个维度对目标对象的当前时刻的图像进行分析,得到目标对象的专注度结果;从而能够避免相关技术中仅能够为目标对象进行视频的展示,但无法及时获得目标对象的学习状态也就是专注度的情况的问题。
另外,本实施例提供的方案还可以在当前时刻的专注度低于阈值的情况下,生成并输出提示信息,以提示目标对象保持专注,从而进一步地起到实时监测异常行为并实时提醒用户,保证其提高上课专注度的效果。
再进一步地,本实施例提供的方案还可以将专注度低于阈值的图像发送至目标设备,使得目标设备能够得知目标对象的学习专注度,从而可以帮助家长更好地了解学生的学习状况。
本申请提供了一种专注度处理装置,如图7所示,包括:
图像获取模块701,用于在播放视频的过程中,获取观看该视频的目标对象在当前时刻的图像;
分析模块702,用于对该图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;基于该在至少一个维度下的专注度子结果,得到该目标对象在当前时刻的专注度结果。
具体来说,该图像获取模块700,用于
从实时采集得到的观看该视频的目标对象的图像中,按照第一时间间隔获取观看该视频的目标对象在当前时刻的图像。
或者,在按照第二时间间隔采集观看该视频的目标对象的图像中,将本次采集的图像作为获取到的观看该视频的目标对象在当前时刻的图像。
该至少一个维度包括以下至少之一:在该图像中目标对象的面部特征、在该图像中目标对象的行为特征、在该图像中包含的物品。
基于前述处理,该装置还包括:
输出模块703,用于在该目标对象的专注度结果低于阈值的情况下,生成并输出提示信息;
其中,该提示信息包括音频提示信息和/或文本提示信息。
又一示例中,该装置还包括:
通信模块704,用于将目标对象的专注度结果低于阈值的图像发送至目标设备;
或者,
通信模块704,用于将目标对象的专注度结果低于阈值的图像及其对应的标签发送至目标设备;其中,图像所对应的标签与该图像的内容相关。
本申请提供的方案可以应用于一个电子设备中,该电子设备至少具备上述多个模块。另外还可以具备视频播放功能,例如屏幕;图像采集模块,例如摄像头。
又或者,本申请提供的方案可以由多个电子设备实现,也就是上述图像获取模块、分析模块、通信模块以及输出模块可以设置在不同的电子设备中,或者其中一部分设置在同一个电子设备中另一部分可以设置在另一个电子设备中,这里不再穷举。
可见,通过采用上述方案,能够在播放视频的过程中,通过多个维度对目标对象的图像进行分析,得到目标对象的专注度结果;从而能够避免相关技术中仅能够为目标对象也就是学生进行相关视频的输出,但无法及时获得学生的学习状态的问题。
另外,本实施例提供的方案还可以在当前时刻的专注度低于阈值的情况下,生成并输出提示信息,以提示目标对象保持专注,从而进一步地起到实时监测异常行为并实时提醒用户,保证其提高上课专注度的效果。
再进一步地,本实施例提供的方案还可以将专注度低于阈值的图像发送至目标设备,使得目标设备能够得知目标对象的学习专注度,从而可以帮助家长更好地了解学生的学习状况。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
根据本申请的实施例,本申请还提供了一种专注度处理装置和一种可读存储介质。
专注度处理装置旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
该专注度处理装置,可以由电子设备实现,如图8所示,电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,该存储器存储有可由至少一个处理器执行的指令,以使该至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的方法。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的方法对应的程序指令/模块(例如,附图7所示的模块)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现专注度处理方法的装置,或电子设备,还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,能够在播放视频的过程中,通过多个维度对目标对象的当前时刻的图像进行分析,得到目标对象的专注度结果;从而能够避免相关技术中仅能够为目标对象进行视频的展示,但无法及时获得目标对象的学习状态也就是专注度的情况的问题。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (12)
1.一种专注度处理方法,其特征在于,包括:
在播放视频的过程中,获取观看所述视频的目标对象在当前时刻的图像;
对所述图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;
基于所述在至少一个维度下的专注度子结果,得到所述目标对象在当前时刻的专注度结果。
2.根据权利要求1所述的方法,其特征在于,所述至少一个维度包括以下至少之一:在所述图像中目标对象的面部特征、在所述图像中目标对象的行为特征、在所述图像中包含的物品。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标对象的专注度结果低于阈值的情况下,生成并输出提示信息;
其中,所述提示信息包括音频提示信息和/或文本提示信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将目标对象的专注度结果低于阈值的图像发送至目标设备;
或者,
将目标对象的专注度结果低于阈值的图像及其对应的标签发送至目标设备;其中,图像所对应的标签与所述图像的内容相关。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述获取观看所述视频的目标对象在当前时刻的图像,包括:
从实时采集得到的观看所述视频的目标对象的图像中,按照第一时间间隔获取观看所述视频的目标对象在当前时刻的图像;
或者,
在按照第二时间间隔采集观看所述视频的目标对象的图像中,将本次采集的图像作为获取到的观看所述视频的目标对象在当前时刻的图像。
6.一种专注度处理装置,其特征在于,包括:
图像获取模块,用于在播放视频的过程中,获取观看所述视频的目标对象在当前时刻的图像;
分析模块,用于对所述图像进行至少一个维度的分析,得到在至少一个维度下的专注度子结果;基于所述在至少一个维度下的专注度子结果,得到所述目标对象在当前时刻的专注度结果。
7.根据权利要求6所述的装置,其特征在于,所述至少一个维度包括以下至少之一:在所述图像中目标对象的面部特征、在所述图像中目标对象的行为特征、在所述图像中包含的物品。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
输出模块,用于在所述目标对象的专注度结果低于阈值的情况下,生成并输出提示信息;
其中,所述提示信息包括音频提示信息和/或文本提示信息。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
通信模块,用于将目标对象的专注度结果低于阈值的图像发送至目标设备;
或者,
通信模块,用于将目标对象的专注度结果低于阈值的图像及其对应的标签发送至目标设备;其中,图像所对应的标签与所述图像的内容相关。
10.根据权利要求6-9任一项所述的装置,其特征在于,
所述图像获取模块,用于从实时采集得到的观看所述视频的目标对象的图像中,按照第一时间间隔获取观看所述视频的目标对象在当前时刻的图像;
或者,
在按照第二时间间隔采集观看所述视频的目标对象的图像中,将本次采集的图像作为获取到的观看所述视频的目标对象在当前时刻的图像。
11.一种专注度处理装置,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010365691.0A CN113591515B (zh) | 2020-04-30 | 2020-04-30 | 专注度处理方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010365691.0A CN113591515B (zh) | 2020-04-30 | 2020-04-30 | 专注度处理方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113591515A true CN113591515A (zh) | 2021-11-02 |
CN113591515B CN113591515B (zh) | 2024-04-05 |
Family
ID=78237385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010365691.0A Active CN113591515B (zh) | 2020-04-30 | 2020-04-30 | 专注度处理方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113591515B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114267072A (zh) * | 2021-12-27 | 2022-04-01 | 海信集团控股股份有限公司 | 电子设备及专注度确定方法 |
CN114339149A (zh) * | 2021-12-27 | 2022-04-12 | 海信集团控股股份有限公司 | 电子设备及学习监督方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120200867A1 (en) * | 2011-02-07 | 2012-08-09 | Seiko Epson Corporation | Image processing device, image processing method and program for same, and printing system |
CN106937172A (zh) * | 2017-03-23 | 2017-07-07 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频播放时的互动方法及装置 |
CN109151576A (zh) * | 2018-06-20 | 2019-01-04 | 新华网股份有限公司 | 多媒体信息剪辑方法和*** |
CN109522815A (zh) * | 2018-10-26 | 2019-03-26 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
CN109583351A (zh) * | 2018-11-22 | 2019-04-05 | 广州市保伦电子有限公司 | 基于视频分析的课堂学生注意力获取方法、装置及介质 |
CN110024015A (zh) * | 2017-11-07 | 2019-07-16 | 郑永利 | 一种互动型视频授课方法及*** |
US20190230388A1 (en) * | 2016-09-30 | 2019-07-25 | Huawei Technologies Co., Ltd. | Method and apparatus for processing video data |
CN110175501A (zh) * | 2019-03-28 | 2019-08-27 | 重庆电政信息科技有限公司 | 基于人脸识别的多人场景专注度识别方法 |
US20190340817A1 (en) * | 2018-05-04 | 2019-11-07 | International Business Machines Corporation | Learning opportunity based display generation and presentation |
CN110809188A (zh) * | 2019-12-03 | 2020-02-18 | 珠海格力电器股份有限公司 | 视频内容的识别方法、装置、存储介质及电子设备 |
CN111008579A (zh) * | 2019-11-22 | 2020-04-14 | 华中师范大学 | 专注度识别方法、装置和电子设备 |
CN111008542A (zh) * | 2018-10-08 | 2020-04-14 | 上海风创信息咨询有限公司 | 对象专注度分析方法、装置、电子终端及存储介质 |
-
2020
- 2020-04-30 CN CN202010365691.0A patent/CN113591515B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120200867A1 (en) * | 2011-02-07 | 2012-08-09 | Seiko Epson Corporation | Image processing device, image processing method and program for same, and printing system |
US20190230388A1 (en) * | 2016-09-30 | 2019-07-25 | Huawei Technologies Co., Ltd. | Method and apparatus for processing video data |
CN106937172A (zh) * | 2017-03-23 | 2017-07-07 | 百度在线网络技术(北京)有限公司 | 基于人工智能的视频播放时的互动方法及装置 |
CN110024015A (zh) * | 2017-11-07 | 2019-07-16 | 郑永利 | 一种互动型视频授课方法及*** |
US20190340817A1 (en) * | 2018-05-04 | 2019-11-07 | International Business Machines Corporation | Learning opportunity based display generation and presentation |
CN109151576A (zh) * | 2018-06-20 | 2019-01-04 | 新华网股份有限公司 | 多媒体信息剪辑方法和*** |
CN111008542A (zh) * | 2018-10-08 | 2020-04-14 | 上海风创信息咨询有限公司 | 对象专注度分析方法、装置、电子终端及存储介质 |
CN109522815A (zh) * | 2018-10-26 | 2019-03-26 | 深圳博为教育科技有限公司 | 一种专注度评估方法、装置及电子设备 |
CN109583351A (zh) * | 2018-11-22 | 2019-04-05 | 广州市保伦电子有限公司 | 基于视频分析的课堂学生注意力获取方法、装置及介质 |
CN110175501A (zh) * | 2019-03-28 | 2019-08-27 | 重庆电政信息科技有限公司 | 基于人脸识别的多人场景专注度识别方法 |
CN111008579A (zh) * | 2019-11-22 | 2020-04-14 | 华中师范大学 | 专注度识别方法、装置和电子设备 |
CN110809188A (zh) * | 2019-12-03 | 2020-02-18 | 珠海格力电器股份有限公司 | 视频内容的识别方法、装置、存储介质及电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114267072A (zh) * | 2021-12-27 | 2022-04-01 | 海信集团控股股份有限公司 | 电子设备及专注度确定方法 |
CN114339149A (zh) * | 2021-12-27 | 2022-04-12 | 海信集团控股股份有限公司 | 电子设备及学习监督方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113591515B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8806518B2 (en) | Performance analysis for combining remote audience responses | |
US20200126444A1 (en) | Method and apparatus for monitoring learning and electronic device | |
CN106416233B (zh) | 用于视听通信的视听服务器、方法、设备 | |
US12015874B2 (en) | System and methods to determine readiness in video collaboration | |
JP2015528120A (ja) | 目のトラッキングに基づくディスプレイの一部の選択的強調 | |
JP2022537475A (ja) | ビデオ処理方法及び装置、電子デバイスと記憶媒体 | |
US10939033B2 (en) | Systems and methods for directing adaptive camera systems | |
US10834456B2 (en) | Intelligent masking of non-verbal cues during a video communication | |
US10897647B1 (en) | Ascertaining audience reactions for a media item | |
CN109154862B (zh) | 用于处理虚拟现实内容的装置、方法和计算机可读介质 | |
CN109804407B (zh) | 关心维持***以及服务器 | |
CN113591515B (zh) | 专注度处理方法、装置及存储介质 | |
US11721228B2 (en) | Method and system for implementing AI-powered augmented reality learning devices | |
CN111709362A (zh) | 用于确定重点学习内容的方法、装置、设备及存储介质 | |
CN112528052A (zh) | 多媒体内容输出方法、装置、电子设备和存储介质 | |
CN112287767A (zh) | 交互控制方法、装置、存储介质以及电子设备 | |
CN112270918A (zh) | 信息处理方法、装置、***、电子设备及存储介质 | |
CN114339149A (zh) | 电子设备及学习监督方法 | |
US10180974B2 (en) | System and method for generating content corresponding to an event | |
CN113301352A (zh) | 在视频播放期间进行自动聊天 | |
CN112580390B (zh) | 基于智能音箱的安防监控方法、装置、音箱和介质 | |
US11991263B2 (en) | Notification delivery in a virtual space based on a user being in a flow state | |
CN113591522A (zh) | 图像处理方法、装置及存储介质 | |
CN111638918A (zh) | 用于呈现信息的方法和装置 | |
Ayyagari et al. | CoSense: Creating shared emotional experiences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |