CN117095340A - 一种护眼灯的控制方法及装置 - Google Patents
一种护眼灯的控制方法及装置 Download PDFInfo
- Publication number
- CN117095340A CN117095340A CN202311363375.XA CN202311363375A CN117095340A CN 117095340 A CN117095340 A CN 117095340A CN 202311363375 A CN202311363375 A CN 202311363375A CN 117095340 A CN117095340 A CN 117095340A
- Authority
- CN
- China
- Prior art keywords
- topic
- eye
- question
- video
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 3
- 230000004044 response Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000004891 communication Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/418—Document matching, e.g. of document images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请实施例公开了一种护眼灯的控制方法及装置;该方法可以在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频;当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含学习终端播放网课视频的题目数据;当护眼灯检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;护眼灯将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据用于自动批改。该方案可以实现作业自动批改。
Description
技术领域
本申请涉及照明灯具技术领域,具体涉及一种护眼灯的控制方法及装置。
背景技术
现有护眼灯可以集成作业批改功能,如专利文献1提出的方案,通过护眼灯的摄像机捕捉试卷图像,然后在从试卷图像中识别出题目和学生的答题内容,然后进行作业批改。
近年来随着网课的普及,越来越多的学生通过学***板、学习终端、笔记本电脑等上网课的场景下,儿童通过电子设备播放网课视频,网课视频中会有需要儿童解答的题目,题目出现后会等待一段时间,让儿童使用笔在作业本上针对该题目进行答题。
在该网课场景下,专利文献1提出的作业批改方案并不适用,因为专利文献1的摄像机捕捉到的试卷图像,题目和学生撰写的答题内容在同一张试卷里,而在儿童在使用电子设备上网课的场景中,题目是在电子设备上,儿童撰写的答题内容是在作业本上,导致台灯无法实现自动批改功能。
专利文献1:专利名称一种智慧台灯及基于该台灯的自动阅卷方法,公开号CN109978734A,公开日2020.10.16。
发明内容
本申请实施例提供一种护眼灯的控制方法及装置,以解决在使用电子设备上网课,作业本上撰写答案的场景下,由于题目在电子设备上,作业本上仅有用户撰写的答案,题目跟答案不同时在作业本上,导致实现自动批改功能存在困难的技术问题。
第一方面,本申请实施例提供了一种护眼灯的控制方法,包括:
在播放网课视频的过程中,通过摄像头拍摄做题区域得到监控视频;
当检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含学习终端播放网课视频的题目数据;
当检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;
将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据用于自动批改。
可选地,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
护眼灯接收所述学习终端返回的题目截图;所述题目截图是学习终端响应于接收到的题目触发信号执行截屏操作得到的,题目触发信号是护眼灯进入到练习状态时生成的;
所述生成目标题目内容,具体包括:
护眼灯基于所述题目截图生成目标题目内容。
可选地,当检测护眼灯到进入练习状态时,执行获取题目的操作,以生成目标题目内容之前,所述方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容;
所述护眼灯基于所述题目截图生成目标题目内容,包括:
护眼灯提取所述题目截图的文本内容,所述题目截图的展示题目区域的部分文本内容被遮挡;
护眼灯从所述题目内容集合中获取与所述题目截图的文本内容相匹配的题目文本内容,将所述题目文本内容作为目标题目内容。
可选地,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
护眼灯接收所述学习终端返回的题目截图;所述题目截图是学习终端响应于接收到的题目触发信号执行截屏操作得到的,题目触发信号是护眼灯进入到练习状态时生成的;
所述生成目标题目内容,具体包括:
护眼灯将所述题目截图作为目标题目内容。
可选地,当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容之前,所述方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容。
可选地,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
学习终端根据当前网课视频播放进度确定当前播放的视频帧;
基于当前播放的所述视频帧,从所述题目内容集合获取目标题目内容。
可选地,检测进入练习状态,具体包括:
当学习终端检测到网课视频播放到题目首帧时,学习终端进入练习状态;题目首帧为每道题目第一次出现的视频帧;
所述执行获取题目的操作,具体包括:
学习终端执行截屏操作,以得到的题目截图;
所述生成目标题目内容,具体包括:
学习终端将所述题目截图作为目标题目内容。
可选地,检测进入练习状态,具体包括:
当学习终端检测到网课视频播放到题目首帧时,学习终端进入练习状态;题目首帧为每道题目第一次出现的视频帧;
所述执行获取题目的操作,具体包括:
学习终端执行截屏操作,以得到的题目截图;
所述生成目标题目内容,具体包括:
学习终端根据所述题目截图生成目标题目内容
可选地,检测到所述用户完成做题,具体包括:
检测到所述用户的手势为预设的答题完成手势。
可选地,检测到所述用户完成做题,包括:
检测到所述做题区域存在预设的图案。
可选地,护眼灯的控制方法还包括:
当检测到进入练习状态时,控制网课视频的暂停播放。
可选地,护眼灯的控制方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容;
所述进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态,且护眼灯检测到所述做题状态指示所述用户开始做题,且学习终端当前播放的视频帧属于任一所述视频帧组时,进入练习状态。
第二方面,本申请实施例提供了一种护眼灯的控制装置,包括:
拍摄单元,用于在播放网课视频的过程中,通过摄像头拍摄做题区域得到监控视频;
执行单元,用于当检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含学习终端播放网课视频的题目数据;
检测单元,用于当检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;
关联单元,用于将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据用于自动批改。
第三方面,本申请实施例还提供了一种计算机设备,包括存储器,处理器及存储在储存器上并可在处理器上运行的计算机程序,其中,所述处理器执行本申请实施例任一提供的护眼灯的控制方法中的步骤。
第四方面,本申请实施例还提供一种存储介质,所述存储介质存储有多条指令,所述指令适用于处理器进行加载,以执行本申请实施例任一提供的护眼灯的控制方法中的步骤。
本申请实施例提供的上述的技术方案与现有技术相比具有如下优点:
现有技术中将纸上答案与题目进行关联的方案都需要学生之外的力量帮助实现,例如老师标记题号,或者APP指定题目等,换句话说,就是需要指定学生对某道题进行作答,而本发明中则无法指定学生必须作答某道题或者在某个区域作答或者将某道题答案上传到指定位置。本申请在识别到用户开始做题的时候,由于用户开始作答时意味着此时屏幕上显示作答内容对应的题目,在这个时间点去通过学习终端进行截图操作,能够获取用户此时作答内容对应的题目,将作答内容和对应的题目关联起来,生成作业数据。该作业数据可以在使用电子设备上网课,作业本上撰写答案的场景下,当题目在电子设备上,作业本上仅有用户撰写的答案,题目跟答案不同时在作业本上时,实现自动批改功能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的护眼灯的控制方法的场景示意图
图2是本申请实施例提供的护眼灯的控制方法的流程图;
图3是本申请实施例提供的护眼灯的控制方法的现有网课视频播放示意图;
图4是本申请实施例提供的护眼灯的控制方法的另一现有网课视频播放示意图;
图5是本申请实施例提供的护眼灯的控制方法的网课视频播放示意图;
图6是本申请实施例提供的护眼灯的控制方法的答题页面示意图;
图7是本申请实施例提供的护眼灯的控制方法的页面另一答题页面示意图;
图8是本申请实施例提供的护眼灯的控制方法的页面另一答题页面示意图;
图9是本申请实施例提供的护眼灯的控制方法的另一流程图;
图10是本申请实施例提供的护眼灯的控制方法的另一流程图;
图11是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以根据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以根据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
根据本申请背景技术可知,用户在播放并观看讲题视频的过程中,存在参与作答需求,并且希望能够得到对作答结果的反馈。
已知,市面上现有的app,如作业讲题app提供的网课讲题视频,用户可以登录作业讲题app上网课,但是作业讲题app提供的用户做题方法为用户上网课的过程中,手机播放网课视频显示的包含题目的页面如图3所示,题目为“例题1,48是由4个十和多少个1组成的”,等待一段时间之后将会显示包含题目、备选答案以及答题确认控件的页面,如图4所示,显示备选答案为1、2、3、4、5、6、7、8、9、0,答题确认控件为“√”的页面,用户通过点击选择的备选答案,如点击“8”,然后在点击答题确认控件“√”,确认对例题1的解答,选择解答的答案为8,用户通过与备选答案以及答案确认控件的交互,选择用户认为的正确答案,以完成答题。但是通过此种方法进行答题,只有解题结果没有解题步骤,不能知道用户是怎么计算得到的,并且容易误触到其他的控件,比如,误触控件“1”,然后选择错误的答案,导致选错答案。
另外,申请号为202011399979.6的专利文献2,公开了一种教学直播方法,该方法是教师终端将采集的直播数据发送给学生终端,学生终端播放直播数据中的题目,学生通过第一点阵笔和第一点阵纸进行答题,学生答题过程中写明题号和序号对应的答案,避免题目和答案无法自动关联,得到第一笔迹,将第一笔迹发送到教师终端,教师对第一笔迹进行识别以及批改。其中,老师发给学生的题目,需要有严格的题号和小序号,便于学生答题时题目和答案关联,避免出现答案无法匹配其对应的题目。学生在点阵纸上答题,该点阵纸为空白点阵纸,学生在没有题目的空白点阵纸上答题,学生在进行答题时,按照答题规范要求进行答题,所谓规范要求,是指题号、序号以及对应答题区域,便于题目和答案关联,专利文献2仅适用于直播场景,因为在直播场景下,老师会根据预设的规范,为题目标记题号,同时需要老师与学生互动提醒学生答题时标记题号进行关联。现有技术中将纸上答案与题目进行关联的方案都需要用户之外的力量帮助实现,如,老师标记题号,换句话说,就是需要指定用户对某道题进行作答,而本申请实施例提供场景是:用户在家里,通过学习终端观看录制好的讲题视频,提前录制好的讲题***于网络渠道,录课的老师可能不需要严格遵守某种为题目标记题号的规范,同时也不存在视频中的讲题老师与用户互动的情况,而本申请无法指定用户必须作答某道题或者在某个区域作答或者将谋道提答案上传到指定为止。因此,对专利文献2中的方案无法适用于本申请的场景。并且,相较于作业讲题app,通过本申请实施例提供的方法来实现作业的自动批改,可以记录到用户的答题步骤,能够清楚的了解用户的做题情况,并且可以防止误触得到错误的解题答案。
为了解决在使用电子设备上网课,作业本上撰写答案的场景下,由于题目在电子设备上,作业本上仅有用户撰写的答案,题目跟答案不同时在作业本上,导致实现自动批改功能存在障碍的技术问题,本申请提供一种护眼灯的控制方法,可以实现作业数据的自动批改以及记录,便于后续进行错题统计和做题过程回顾。
本申请实施例提供了一种护眼灯的控制***,包括:护眼灯11、学***板、笔记本电脑等移动终端。
实施例一
本申请实施例提供了一种护眼灯的控制方法,以护眼灯的控制方法由护眼灯(或者学习终端)和后台服务器交互执行为例来进行说明,如图2所示,该护眼灯的控制方法包括的具体流程可以如下:
S101、在播放网课视频的过程中,通过摄像头拍摄做题区域得到监控视频。
其中,网课视频可以为事先录制好的视频,学生在上网课的时候可以通过登录学习终端上的客户端来观看该录制好的网课视频。
其中,摄像头可以安装在护眼灯上,用于拍摄做题区域的监控视频,参考图1,摄像安装可以安装在护眼灯的灯架上,其中,护眼灯可以为双头护眼灯,护眼灯的一个灯头用于为学习终端屏幕区域照明,护眼灯的另一个灯头用于为做题区域照明,该做题区域包括作业本放置的区域,护眼灯也可以为单个灯头,当护眼灯的灯头为单个灯头时,一个灯头可以同时对学习终端屏幕区域和做题区域进行照明。
本申请实施例通过护眼灯上的摄像头拍摄做题区域的监控视频,可以及时获取学生上网课过程中,在做题区域的作业本上书写的答题步骤和答题结果,以便在获取到学习终端上播放的网课视频的题目内容之后,实现自动批改。
S102、当检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,目标题目内容包含学习终端播放网课视频的题目数据。
其中,进入练习状态指的是护眼灯或者学习终端进入练习状态,比如,护眼灯检测到用户开始做题时,进入到练习状态,或者学习终端检测到网课视频播放到题目首帧时,进入学习状态。
其中,目标题目内容可以为截图,也可以为文本内容。
在一实施例中,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
护眼灯接收所述学习终端返回的题目截图;所述题目截图是学习终端响应于接收到的题目触发信号执行截屏操作得到的,题目触发信号是护眼灯进入到练习状态时生成的;
所述生成目标题目内容,具体包括:
护眼灯基于所述题目截图生成目标题目内容。
其中,护眼灯可以从题目内容集合中确定与题目截图相匹配的题目内容,并将相匹配的题目内容作为目标题目内容,该目标题目内容为目标截图对应的题目。
在一示例中,用户可以根据使用习惯在学习终端的APP上登录相应的网课视频的网站,按照用户的学习计划播放相应的网课视频,由于这些网课视频未被app收录,无法通过提前标注的形式获取对应播放进度的题目。对于未被app收录的网课视频,本实施例采用截屏操作的方式来获取题目截图,然后从获取的题目截图中找到完全不被遮挡题目的截图,提取完全不被遮挡题目的题目截图的题目文本,生成目标题目内容。可以适应不同用户对不同来源网课视频的学习及自动批改需求。
其中,检测做题状态,以识别到用户开始做题作为触发条件,控制学习终端进行截图操作,以获取题目截图,能够准确匹配题目在学习终端上出现的时间。从而实现题目和问题不在同一区域的情况下,自动批改的功能。
在一示例中,可以在检测到用户开始拿笔在做题区域的作业本上开始书写的时候,确定用户开始做题。或者是检测到用户发出开始做题的语音时,确认用户开始答题,该语音内容可以为“我开始做题了”或者“答题开始”或者是用户使用事先约定好的语音内容来告知开始答题,等等。
在一实施例中,当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容之前,所述方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容;
所述护眼灯基于所述题目截图生成目标题目内容,包括:
护眼灯提取所述题目截图的文本内容,所述题目截图的展示题目区域的部分文本内容被遮挡;
护眼灯从所述题目内容集合中获取与所述题目截图的文本内容相匹配的题目文本内容,将所述题目文本内容作为目标题目内容。
在一示例中,供应商为了用户能快速定位到网课视频中的题目位置,以及后续其他对网课视频的高效处理,例如用户可以拖动进度条快速到达指定位置找到题目进行练习,会按照题目在网课视频中出现的进度,对网课视频的视频片段进行标注,标注原则是:每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧。
可以达到的效果:一方面,由于直接从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面,然后基于题目画面的文本内容,得到题目内容集合,就可以排除网课视频中老师走动对文本识别效果的影响;另一方面,由于题目是来自题目内容集合,即使题目截图被遮挡部分文本内容,也能通过与题目内容集合进行匹配,得到完整的题目文本。
在一示例中,学习终端播放网课视频的过程中,学习终端的屏幕下方会有一个网课视频播放进度条,如图5所示,每个题目首帧通过图5中的箭头指示,每个首帧之间的一段为视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧,如,第一题目首帧和第二题目首帧之间的视频帧组为视频帧组1,视频帧组1包括第一道题目的视频画面,第二题目首帧和第三题目首帧之间的视频帧组为视频帧组2,视频帧组2包括第二道题目的视频画面,等等。
本申请实施例可以事先对录制好的网课视频进行处理,提取网课视频中每道题目的题目内容,生成题目内容集合,在后续学生上网课时,学习终端进行截屏操作获取得到题目截图后,可以根据题目截图从该题目内容集合中获取到对应的题目内容,作为目标题目内容。如果仅仅通过对题目截图进行题目内容提取,因得到的题目截图可能包含老师的视频画面,所以可能会导致题目内容识别不够准确,但是通过本申请实施例提供的提前对录制好的网络视频进行处理得到题目内容集合,在得到题目截图后直接从题目内容集合中匹配到对应的题目内容,可以排除老师等对象的干扰,并且可以提高题目内容的获取速度,进而可以提高对作业数据进行自动批改的效率。
在一实施例中,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
护眼灯接收所述学习终端返回的题目截图;所述题目截图是学习终端响应于接收到的题目触发信号执行截屏操作得到的,题目触发信号是护眼灯进入到练习状态时生成的;
所述生成目标题目内容,具体包括:
护眼灯将所述题目截图作为目标题目内容。
在一示例中,护眼灯将题目截图和包含用户撰写的答题数据的目标帧发送给后台服务器,由后台服务器进行图像识别,得到题目和答案的文本,降低护眼灯控制器计算资源的开销。
在一实施例中,当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容之前,所述方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容。
在一示例中,由于直接从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面,然后基于题目画面的文本内容,得到题目内容集合,后续在得到题目截图后可以通过与该题目内容集合中的文本内容进行匹配,以得到题目的数据,通过此种方法可以排除网课视频中老师走动对文本识别效果的影响。
在一实施例中,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
学习终端根据当前网课视频播放进度确定当前播放的视频帧;
基于当前播放的所述视频帧,从所述题目内容集合获取目标题目内容。
在一示例中,在为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面的时候,已经确定网课视频中每个视频帧组的视频帧对应的题目,因此无需学习终端去截图,直接根据当前网课视频播放进度,获得当前播放的视频帧,就可以通过当前播放的视频帧与视频帧组进行对比,就可以得到对应的题目,通过此种方法可以降低学习终端存储的开销,无需进行图像识别,可以快速准确得到题目。
在一实施例中,检测进入练习状态,具体包括:
当学习终端检测到网课视频播放到题目首帧时,学习终端进入练习状态;题目首帧为每道题目第一次出现的视频帧;
所述执行获取题目的操作,具体包括:
学习终端执行截屏操作,以得到的题目截图;
所述生成目标题目内容,具体包括:
学习终端将所述题目截图作为目标题目内容。
在一示例中,学习终端开始播放题目就主动开始截图了,无需护眼灯发送截图指令,都是由学习终端进行操作的,截图更加准确。
在一示例中,可以在检测到学习终端开始播放网课视频的时候,就开始通过学习终端执行截屏操作得到题目截图。比如,可以在学习终端开始播放网课视频后,在接收到用户的题目截图语音时,学习终端就自动执行截屏操作得到题目截图,该题目截图语音可以为“我要截图”或者“开始截图”或者是使用用户事先预定好的语音内容来告知学习终端开始截图,以得到题目截图。
在一实施例中,检测进入练习状态,具体包括:
当学习终端检测到网课视频播放到题目首帧时,学习终端进入练习状态;题目首帧为每道题目第一次出现的视频帧;
所述执行获取题目的操作,具体包括:
学习终端执行截屏操作,以得到的题目截图;
所述生成目标题目内容,具体包括:
学习终端根据所述题目截图生成目标题目内容。
其中,学习终端可以从题目内容集合中确定与题目截图相匹配的题目内容,并将相匹配的题目内容作为目标题目内容,该目标题目内容为目标截图对应的题目。
在一示例中,通过执行获取题目的操作得到的题目截图,可能存在题目截图中部分文本内容被遮挡,可以将生成的题目截图与题目内容集合相匹配,得到相匹配的题目内容作为目标题目内容,由于目标题目内容是来自题目内容集合,因此即使被题目截图的部分文本内容被遮挡,也能通过与题目内容集合进行匹配,得到完整的题目文本。
在一实施例中,护眼灯的控制方法还包括:
当检测到进入练习状态时,控制网课视频的暂停播放。
在一示例中,用户在通过学习终端上网课,学习终端播放着网课视频,护眼灯的摄像头识别到用户在7点钟开始做题,获取了第一道题目a的截图,在7点3分该用户在完成该题,识别用户完成第一道题目a,获取用户解答第一道题目a得到答案a的目标帧,但是由于用户做题时间超过学习终端题目播放等待时间,导致第二道题目b开始播放了,并且当播放到第二道题目b的时候就会自动获取第二道题目b的题目截图,又形成了第二道题目b的题目截图,此时会面临答案a的目标帧是与哪个题目截图关联的问题(也即面临答案a的目标帧是与第一道题目a关联,还是答案a的目标帧是与第二道题目b关联),所以在用户做题的时候需要暂停网课视频的播放。我们希望获得一道题目数据之后就应当获取对应的目标帧,获取目标帧之后在获取新题目的数据,也就是我们希望获得第一道题目a的数据之后,就应该获取答案a的目标帧,获取答案a的目标帧之后在获取第二道题目b的数据,以此类推,来保证题目和答案之间的准确匹配。如果在检测到进入练习状态后,不控制网课视频的暂停播放,会导致用户写完一道题之前,出现多个题目数据,导致匹配混乱。另一方面,在检测到进入练习状态之后,控制网课视频的暂停播放,方便用户看题目。
在一实施例中,护眼灯的控制方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容;
所述进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态,且护眼灯检测到所述做题状态指示所述用户开始做题,且学习终端当前播放的视频帧属于任一所述视频帧组时,进入练习状态。
在一示例中,在实际使用中,用户在不做题情况下,也可能会在做题区域进行一些动作,这些动作容易误判为开始做题动作,关键在于误判会导致对学习终端的题目截图不是关于题目的数据。因此需要通过判断学习终端当前播放的视频帧属于任一所述视频帧组时才确定是否进入做题状态。
S103、当检测到用户完成做题时,将监控视频中用户完成做题时的视频帧作为目标帧。
其中,可以通过识别监控视频中用户的做题姿态来确定用户是否完成做题,比如,当识别到用户做出预先约定好的手势,或者在做题区域的作业本上绘制约定好的标记时,可以确定用户完成做题。
在一实施例中,护眼灯的一个灯头照射学习终端的屏幕区域,另一头照射包含作业本的做题区域,学习终端开始播放网课视频时,护眼灯的摄像头可以拍摄包含作业本的做题区域,用户在作业本上解答学习终端的网课视频题目的过程中,当检测到用户的做题姿势指示用户完成做题时,护眼灯的摄像头把这个时刻的视频帧作为目标帧。这个目标帧包括作业本上用户书写的解题步骤和解题结果。但是由于用户答题的题目并不在作业本上,在通过摄像头获取到用户的解题步骤和解题结果后,不能通过摄像头获取对应的题目,因而后续就不能仅通过摄像头获取到的目标帧来进行自动批改。因此就需要从其他地方获取到题目的信息。优选的,可以从与护眼灯存在通信连接的学习终端上获取相应的题目截图,进而获取对应的目标题目内容,具体获取题目截图以及目标题目内容可以参考上述实施例提供的方法,在此不再赘述。
在一实施例中,检测到所述用户完成做题,具体包括:
检测到所述用户的手势为预设的答题完成手势。
在一示例中,用户可以对着摄像头做出一些约定好的完成做题的手势,比如“ok”的手势,或者是做出剪刀手的手势,或者是做出伸出一只手指的手势,来表明自己完成做题,护眼灯在检测到用户对着摄像头做出一些手势,如“ok”的手势,或者是做出剪刀手的手势,或者是做出伸出一只手指的手势中的至少一种手势时,确定用户完成做题。通过比手势的方式可以更加精准确定用户是否完成做题,避免误判。
在一实施例中,检测到所述用户完成做题,包括:
检测到所述做题区域存在预设的图案。
在一示例中,用户可以在作业本上做标记来表示自己完成做题,当检测到做题区域存在预设的图案时,判定用户完成答题。比如,用户可以在作业本上绘制一些约定的标注,比如在作业本上绘制约定好的图案,如,三角形、圆形、正方形、五角星等图案,或者是在作业本上打钩,如“√”,来标明自己完成答题,当护眼灯检测到这些图案中的至少一个的时候,确定用户完成做题。通过本身实施例提供的检测方法,可以更加精准确定用户是否完成做题,避免误判。
在一实施例中,可以通过语音控制摄像头捕捉包含用户解题步骤和解题结果的视频帧作为目标帧。用户每做完一道题目,可以通过语音告诉摄像头捕捉当前的视频帧作为目标帧,还可以在摄像头上安装视频帧截取控件,用户每答完一道题目,就可以按一下该视频帧截取控件,获取目标帧。
S104、将目标题目内容和目标帧进行关联,生成作业数据,作业数据用于自动批改。
其中,可以建立两个队列,一个是题目内容的题目队列,用于放置题目数据,比如,可以将题目截图的id或者题目内容的id存储在题目队列;一个是题目内容对应答案的答案队列,用于放置用户撰写的答案;根据两个队列的次序关系,建立关联。如,得到目标题目内容的顺序加入题目队列,得到答案(目标帧)的顺序加入答案队列,在进行关联的时候,就从两个队列的对头去对应的题目和答案进行关联。
其中,作业数据包括题目内容和对应的答案数据,题目内容是通过目标题目内容得到,答案数据是通过目标帧得到。现有因为用户撰写的答案在作业本上,而题目在学习终端上,不在作业本上,摄像头获取了包含答案的视频帧之后,并不可以实现自动批改,通过本实施例将目标题目内容和目标帧进行关联,生产作业数据,可以实现自动批改。
在一实施例中,目标题目内容和目标帧包含的答案不匹配时,作业数据可以为用户的笔记数据,用于记录用户的做题情况,便于后续进行错题统计和做题过程回顾。
在一实施例中,护眼灯可以将得到的目标题目内容和目标帧进行关联,生成作业数据。
在一实施例中,护眼灯可以将得到的目标题目内容和目标帧上传到后台服务器,以便后台服务器可以将接收到的目标题目内容和目标帧进行关联,生成作业数据。
在一实施例中,可以采用配套的分区作业本进行题目的解答,用户在作业本A区域书写,表示题目A的解题步骤和解题结果如作业A区域书写的内容,护眼灯的摄像头识别做题区域中的作业本A区域时,可以把用户的解题步骤、解题结果以及题目A识别出来。进而可以实现自动批改作业。
在一实施例中,在录制网课视频的时候,可以采用分区显示的方法,使得题目内容和老师在学习终端屏幕上分区域显示。后续在用户通过学习终端上网课视频时,学习终端执行截屏操作获取题目截图时,可以直接获取显示题目内容的区域的截图。具体地,对新录制的网课视频的页面划分为两个区域,一个区域显示老师,一个区域显示老师授课的内容(包括题目、音视频课件等内容),在学习终端为了获取题目而进行截屏操作的时候,可以直接截取显示老师授课内容的区域,即直接截取显示题目的区域。可以减少截取到的题目内容的数据量,在后续提取题目截图的文本内容是,可以更加快捷准确的提取。
本申请实施例可以通过对获取目标题目内容和目标帧进行关联,生成作业数据,实现对作业数据进行自动批改,可以及时了解用户的做题情况,为用户提供个性化的学习辅导。
由以上可知,本申请实施例可以获取学习终端上的目标题目内容,以及通过摄像头获取用户完成做题时的目标帧,将目标题目内容和目标帧进行关联,就可以得到包含目标题目内容、用户对于目标题目内容做出的解题步骤和解题结果的作业数据,因目标题目内容、解题步骤以及解题结果都已经得到,由此可以实现及时对用户的解题步骤和解题结果进行自动批改,即及时实现作业数据的自动批改,因此可以解决在使用电子设备上网课,作业本上撰写答案的场景下,题目在电子设备上,作业本上仅有用户撰写的答案,题目跟答案不同时在作业本上,导致护眼灯实现自动批改功能存在障碍的技术问题。
实施例二
本申请实施例还提供了一种基于护眼灯的作业批改方法,以基于护眼灯的作业批改方法包括的具体流程可以如下:
在一实施例中,还提供了另一种护眼灯的控制方法,用户做题区域的作业本一个页面中有很多道题目的答案,导致很难区分哪道答案对应是哪道题目的,用户会在作业本上的随机位置写上答案,在页面空间不够的情况下,同一道题目的答案会被写到不同的随机区域上,可以通过对比视频帧来找到视频帧中新增的部分,将新增的部分作为答案内容。
在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频;
后台服务器获得做题数据之后,执行如下步骤:
当检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含学习终端播放网课视频的题目数据;
当检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;
将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据用于自动批改;所述做题数据包括监控视频、网课视频的标识符、目标播放进度集合;
后台服务器还执行如下步骤:
从监控视频获取第N道题对应的第N目标帧,以及第N-1道题对应的第N-1目标帧,所述第N目标帧为用户完成第N道题时的视频帧,所述第N-1目标帧为用户完成第N-1道题时的视频帧;
对比第N-1目标帧和第N目标帧,确定新增的部分,将新增的部分作为答案图像。
其中,网课视频的标识符为题目的id,目标播放进度集合为多个目标播放进度。
在一实施例中,新增的部分在作业本的同一个页面上,将新增的部分作为答案图像,具体可以包括:
若新增的部分在同一作业页面的相同位置,则直接将新增的部分作为答案图像;
若新增的部分在同一作业页面的不同的位置,按照新增部分书写的时间顺序,把不同位置的新增部分拼接到集中区域,组成答案图像。
在一示例中,第N-1帧和第N帧如图6所示,在第N-1帧中显示第N-1道题目的答题内容,在第N帧中显示N-1道题目和第N道题目的答题内容,当第N道题在原先答题的位置不够写的情况下,把第N道题剩余的答案写在其他位置上。可以将第N帧新增的两个位置的书写部分作为答题内容。其中,获取第N道题原先答题的位置和其他位置的书写时间,按照两个位置的书写时间顺序,把两个位置新增部分拼接到集中区域,书写时间在前的原先答题位置的部分将被放置在图6中的前段区域,书写时间在后的其他位置的部分将被放置在图6中的后段区域,组成答案图像。
在一实施例中,新增的部分在作业本的不同页面上,将新增的部分作为答案图像,具体可以包括:
获取作业本上第N页的最后一个图像帧,所述第N页包括第N道题目的部分答题内容;
获取作业本上第N+1页答完第N道题的图像帧;
提取最后一个图像帧的图像,提取答完第N道题的图像帧的图像;
对提取到的两个图像进行组合,生成第N道题目的答题图像。
在一示例中,用户会对作业本上的随机区域写答案,当一张纸剩余的在页面空间不够的情况下,用户会将同一道题目的答案续写到另一种纸页面上,可以从两帧当中找到续写的部分,将续写的部分和原本的部分作为答题内容新增的部分在作业本的不同页面,比如,参考图7,作业本第N页不够写第N道题目的答案,需要把第N道题剩余的答案写到第N+1页上。可以通过对比第N页的多个图像帧,通过对比多个图像帧的显示的内容来确定第N页的最后一个图像帧,以及通过图像帧显示的内容,来确定第N+1页的第一图像帧,当检测到第N+1页存在完成做题的标记时,获取当前图像帧作为答完第N道题的图像帧。可以提取最后一个视频帧的图像和答完第N道题的图像,将这两个图像进行组合,得到第N道题的答案图像。在一实施例中,为了后续对学生的答题情况做一个了解,可以获取学习终端播放的题目、学生撰写的答案,以及参***,并基于学习终端播放的题目、学生撰写的答案以及参考答题拼接成一个作业数据。
具体地,获取用户开始做题的网课视频目标播放进度,所述目标播放进度为在拍摄监控视频的过程中检测到用户开始做题的时候网课视频的播放进度;基于目标播放进度获取第N道题的纯题目的截图,如图8所示,为第N道题的纯题目的。
其中,判断用户是否开始做题可以参照上述实施例用户开始做题的判断方法来确定。
进一步地,获取包含题目和答案的截图:从网课视频播放的录制视频中,获取第N道题的最后一帧,所述最后一帧包括第N道题的题目和参***;
将第N道题的纯题目的截图、第N道题的最后一帧以及用户解答的答题内容的图像整合起来,生成用户的作业记录,以便后续对用户的答题情况做了解。
其中,可以通过对录制视频中相邻的视频帧的内容进行比较,来确定第N道题的最后一帧,比如,录制视频中第一帧开始出现第一道题目,一直持续到第N帧都是包含有第一道题,从第N+1开始不包含有第N道题,那么通过比较相邻帧中是否含有第N道题,就可以确定第N道题的最后一帧。
实施例三
本申请实施例还提供了另一种护眼灯的控制方法,以护眼灯的控制方法由护眼灯、学习终端以及后台服务器交互执行为例来进行说明,如图9所示,该护眼灯的控制方法包括的具体流程可以如下:
S201、在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频。
其中,护眼灯在学习终端开始播放网课视频的时候,就开始通过摄像头拍摄做题区域监控视频,通过该摄像头可以拍摄到用户做题区域的作业本上书写的内容,该书写的内容可以包括用户解答学习终端上的题目的解题步骤和解题结果。
其中,可以识别监控视频中用户的做题姿势,通过用户的做题姿势来判断用户是否开始做题,已经是否完成做题。
S202、当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,目标题目内容包含学习终端播放网课视频的题目数据。
在一实施例中,当护眼灯检测到进入练习状态时,生成题目触发信号,护眼灯将题目触发信号发送给学习终端,学习终端接收到题目触发信号后执行截屏操作得到题目截图,学习终端将题目截图发送给护眼灯,护眼灯基于题目截图生成目标题目内容。
在一示例中,当护眼灯检测到用户开始做题时,进入练习状态。其中,当护眼灯检测到用户的手势为预先约定好的手势,或者检测到用户开始在作业本上书写,可以确定用户开始做题,或者护眼灯监听到用户发出的开始做题语音时,可以确定用户开始做题。
在一实施例中,当护眼灯检测到进入练习状态时,生成题目触发信号,护眼灯将题目触发信号发送给学习终端,学习终端接收到题目触发信号后执行截屏操作得到题目截图,学习终端将题目截图发送给护眼灯,护眼灯将接收到的题目截图作为目标题目内容。
在一实施例中,当护眼灯检测到进入练习状态时,生成题目触发信号,护眼灯将题目触发信号发送给学习终端,学习终端接收到题目触发信号后根据当前网课视频播放进度确定当前播放的视频帧,基于当前播放的所述视频帧,从所述题目内容集合获取目标题目内容。
S203、当护眼灯检测到用户完成做题时,将监控视频中用户完成做题时的视频帧作为目标帧。
在一实施例中,当护眼灯检测到所述用户的手势为预设的答题完成手势时,确定用户完成做题。
在一实施例中,当护眼灯检测到所述做题区域存在预设的图案时,确定用户完成做题。
在一示例中,护眼灯可以通过识别用户的做题姿势、手势或者在作业本上做的标注,来判断用户是否完成做题。比如,护眼灯在检测到用户对着摄像头做出一些手势,如“ok”的手势,或者是做出剪刀手的手势,或者是做出伸出一只手指的手势中的至少一种手势时,确定用户完成做题。或者护眼灯在检测到用户在作业本上绘制约定好的图案,如,三角形、圆形、正方形、五角星等图案,或者是在作业本上打钩,如“√”时,确定用户完成做题。
S204、后台服务器将目标题目内容和目标帧进行关联,生成作业数据,作业数据用于自动批改。
在一实施例中,护眼灯将题目截图作为目标题目内容发送给后台服务器,护眼灯将包含用户撰写的答题数据的目标帧发送给后台服务器,由后台服务器对题目截图和目标帧进行图像识别,得到题目和答案的文本,降低学习终端和护眼灯控制器计算资源的开销。
由以上可知,本申请实施例可以通过学习终端获取题目截图,然后护眼灯在接收到学习终端发送的题目截图后获取目标题目内容,在通过护眼灯上安装的摄像头获取用户完成做题时的目标频帧,护眼灯可以将目标题目内容和目标帧上传到后台服务器,由后台服务器将目标题目内容和目标帧进行关联,就可以得到目标题目内容、用户对于目标题目内容的解题步骤和解题结果,即得到上文所说的作业数据,因目标题目内容、解题步骤以及解题结果都已经得到,由此可以实现及时对用户的解题步骤和解题结果进行自动批改,即及时实现作业数据的自动批改,进而可以及时了解用户的做题情况,为用户提供个性化的学习辅导。
实施例四
本申请实施例还提供了另一种护眼灯的控制方法,以护眼灯的控制方法由护眼灯、学习终端以及后台服务器交互执行为例来进行说明,如图10所示,该护眼灯的控制方法包括的具体流程可以如下:
S301、在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频。
在一实施例中,提供一种护眼灯的控制***,该控制***包括客户端,后台服务器,护眼灯,学习终端,摄像头,其中,客户端安装于学习终端中,学习终端与护眼灯通信连接,用户可以登录该学习终端上的客户端上网课,并完成网课上的题目。
其中,可以通过护眼灯上安装的摄像头拍摄做题区域的监控视频,摄像头可以安装在护眼灯的灯架上,以确保通过该摄像头可以把用户在做题区域的作业本上书写的解题步骤和解题结果拍摄下来。摄像头拍摄的监控视频、包含解题步骤和截图结果的目标帧可以发送到后台服务器。学习终端可以获取用户解题对应的题目截图,并将该题目截图作为目标题目内容,发生给后台服务器,后台服务器可以对接收到的目标题目内容进行图像识别,识别得到对应的题目内容。然后在将目标帧和题目内容进行关联,生成用于自动批改的作业数据。可以实现对每位用户的解题步骤及解题结果进行及时批改,以便基于批改结果对每位用户提供个性化的学习辅导,进而对提高用户的学习效率提供帮助,可以解决现有题目在学习终端,而用户解题答案在作业本上,作业无法得到及时批改的问题。
S302、当学习终端检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,目标题目内容包含学习终端播放网课视频的题目数据。
在一实施例中,当学习终端检测到进入练习状态时,学习终端执行截屏操作,以得到的题目截图,学习终端得到题目截图后将题目截图作为目标题目内容。
在一实施例中,当学习终端检测到进入练习状态时,学习终端执行截屏操作,以得到的题目截图,学习终端得到题目截图后将题目截图,从题目内容集合中确定与题目截图向匹配的目标题目内容。
S303、当护眼灯检测到用户完成做题时,将监控视频中用户完成做题时的视频帧作为目标帧。
S304、后台服务器将目标题目内容和目标帧进行关联,生成作业数据,作业数据用于自动批改。
在一实施例中,学习机将题目截图作为目标题目内容发送给后台服务器,护眼灯将包含用户撰写的答题数据的目标帧发送给后台服务器,由后台服务器对题目截图和目标帧进行图像识别,得到题目和答案的文本,降低学习终端和护眼灯控制器计算资源的开销。
在一实施例中,护眼灯可以将目标帧发送给学习终端,之后学习终端可以将目标题目内容和目标帧进行关联,生成作业数据。
由以上可知,本实施例可以通过学习终端获取题目截图,然后后台服务器在接收到学习终端发送的题目截图后获取目标题目内容,护眼灯通过摄像头获取用户完成做题时的目标帧,将目标帧发生到后台服务器,由后台服务器将目标题目内容和目标帧进行关联,就可以得到包含目标题目内容、用户对于目标题目内容的解题步骤和解题结果的作业数据,因目标题目内容、解题步骤以及解题结果都已经得到,由此可以实现及时对用户的解题步骤和解题结果进行自动批改,即及时实现作业数据的自动批改,可以及时了解用户的做题情况,为用户提供个性化的学习辅导。
为了更好地实施以上方法,相应的,本申请实施例还提供一种护眼灯的控制装置,包括用于执行任一项实施例所述的护眼灯的控制方法的单元。应当说明的是,本申请实施例提供的护眼灯的控制装置与上文实施例中的护眼灯的控制方法属于同一构思,通过该护眼灯的控制装置可以实现护眼灯的控制方法实施例中提供的任一方法,其具体实现过程详见护眼灯的控制方法实施例,此处不再赘述。
上述护眼灯的控制装置可以实现为一种计算机程序的形式,该计算机程序可以在如图11所示的计算机设备上运行。
如图11所示,本申请实施例提供了一种计算机设备,包括处理器111、通信接口112、存储器113和通信总线114,其中,处理器111,通信接口112,存储器113通过通信总线114完成相互间的通信,
存储器113,用于存放计算机程序;
在本申请一个实施例中,处理器111,用于执行存储器113上所存放的程序时,实现前述任意一个方法实施例提供的护眼灯的控制方法。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该计算机程序被该计算机***中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行前述任意一个方法实施例提供的护眼灯的控制方法。
所述存储介质为实体的、非瞬时性的存储介质,例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。所述计算机可读存储介质可以是非易失性,也可以是易失性。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,尚且本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种护眼灯的控制方法,其特征在于,包括:
在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频;
当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含学习终端播放网课视频的题目数据;
当护眼灯检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;
护眼灯将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据能够用于自动批改。
2.根据权利要求1所述的方法,其特征在于,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
护眼灯接收所述学习终端返回的题目截图;所述题目截图是学习终端响应于接收到的题目触发信号执行截屏操作得到的,题目触发信号是护眼灯进入到练习状态时生成的;
所述生成目标题目内容,具体包括:
护眼灯基于所述题目截图生成目标题目内容。
3.根据权利要求2所述的方法,其特征在于,所述当护眼灯检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容之前,所述方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容;
所述护眼灯基于所述题目截图生成目标题目内容,包括:
护眼灯提取所述题目截图的文本内容,所述题目截图的展示题目区域的部分文本内容被遮挡;
护眼灯从所述题目内容集合中获取与所述题目截图的文本内容相匹配的题目文本内容,将所述题目文本内容作为目标题目内容。
4.根据权利要求1所述的方法,其特征在于,检测进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态;
护眼灯检测到所述做题状态指示所述用户开始做题时,进入到练习状态;
所述执行获取题目的操作,具体包括:
护眼灯接收所述学习终端返回的题目截图;所述题目截图是学习终端响应于接收到的题目触发信号执行截屏操作得到的,题目触发信号是护眼灯进入到练习状态时生成的;
所述生成目标题目内容,具体包括:
护眼灯将所述题目截图作为目标题目内容。
5.根据权利要求1所述的方法,其特征在于,检测到所述用户完成做题,具体包括:
检测到所述用户的手势为预设的答题完成手势。
6.根据权利要求1所述的方法,其特征在于,检测到所述用户完成做题,包括:
检测到所述做题区域存在预设的图案。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
为每个题目首帧生成至少一个视频帧组,每一个视频帧组包括同一道题目的视频画面,题目首帧为每道题目第一次出现的视频帧;
基于每道题目在视频帧中展示题目区域的边界坐标,从视频帧组中选择展示题目区域未被遮挡的视频帧中提取每道题目对应的题目画面;其中,每一个视频帧组对应同一道题目画面;
提取每个所述题目画面的文本内容,得到题目内容集合,所述题目内容集合包括所述每道题目的题目内容;
所述进入练习状态,具体包括:
护眼灯根据所述监控视频识别用户的做题状态,且护眼灯检测到所述做题状态指示所述用户开始做题,且学习终端当前播放的视频帧属于任一所述视频帧组时,进入练习状态。
8.一种基于护眼灯的作业批改方法,其特征在于,应用于后台服务器,包括:
在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频;
后台服务器获得做题数据之后,执行如下步骤:
当检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含学习终端播放网课视频的题目数据;
当检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;
将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据用于自动批改;所述做题数据包括监控视频、网课视频的标识符、目标播放进度集合;
后台服务器还执行如下步骤:
从监控视频获取第N道题对应的第N目标帧,以及第N-1道题对应的第N-1目标帧,所述第N目标帧为用户完成第N道题时的视频帧,所述第N-1目标帧为用户完成第N-1道题时的视频帧;
对比第N-1目标帧和第N目标帧,确定新增的部分,将新增的部分作为答案图像。
9.一种护眼灯的控制方法,其特征在于,包括:
在播放网课视频的过程中,护眼灯通过摄像头拍摄做题区域得到监控视频;
当学习终端检测到进入练习状态时,执行获取题目的操作,以生成目标题目内容,所述目标题目内容包含所述学习终端播放网课视频的题目数据;
当护眼灯检测到用户完成做题时,将所述监控视频中所述用户完成做题时的视频帧作为目标帧;
后台服务器将所述目标题目内容和所述目标帧进行关联,生成作业数据,所述作业数据用于自动批改。
10.一种护眼灯,其特征在于,包括控制装置、摄像头,控制装置包括用于执行如权利要求1-7任一项所述的方法的单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311363375.XA CN117095340B (zh) | 2023-10-20 | 2023-10-20 | 一种护眼灯的控制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311363375.XA CN117095340B (zh) | 2023-10-20 | 2023-10-20 | 一种护眼灯的控制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117095340A true CN117095340A (zh) | 2023-11-21 |
CN117095340B CN117095340B (zh) | 2024-03-29 |
Family
ID=88773925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311363375.XA Active CN117095340B (zh) | 2023-10-20 | 2023-10-20 | 一种护眼灯的控制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117095340B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111405381A (zh) * | 2020-04-17 | 2020-07-10 | 深圳市即构科技有限公司 | 在线视频播放方法、电子装置及计算机可读存储介质 |
CN112001210A (zh) * | 2019-05-27 | 2020-11-27 | 广东小天才科技有限公司 | 作业的批改方法及装置、智能台灯、计算机可读存储介质 |
CN112381689A (zh) * | 2020-11-04 | 2021-02-19 | 锐捷网络股份有限公司 | 一种在线批改作业的方法及装置 |
CN112580503A (zh) * | 2020-12-17 | 2021-03-30 | 深圳市元德教育科技有限公司 | 一种作业批改方法、装置、设备及存储介质 |
CN112785885A (zh) * | 2021-01-29 | 2021-05-11 | 北京乐学帮网络技术有限公司 | 一种线上学习方法、装置、电子设备及存储介质 |
CN113516395A (zh) * | 2021-07-19 | 2021-10-19 | 读书郎教育科技有限公司 | 一种基于智能台灯的作业监测方法及*** |
US20230121838A1 (en) * | 2021-10-14 | 2023-04-20 | Beijing Baidu Netcom Science Technology Co., Ltd. | Video question answering method, electronic device and storage medium |
-
2023
- 2023-10-20 CN CN202311363375.XA patent/CN117095340B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001210A (zh) * | 2019-05-27 | 2020-11-27 | 广东小天才科技有限公司 | 作业的批改方法及装置、智能台灯、计算机可读存储介质 |
CN111405381A (zh) * | 2020-04-17 | 2020-07-10 | 深圳市即构科技有限公司 | 在线视频播放方法、电子装置及计算机可读存储介质 |
CN112381689A (zh) * | 2020-11-04 | 2021-02-19 | 锐捷网络股份有限公司 | 一种在线批改作业的方法及装置 |
CN112580503A (zh) * | 2020-12-17 | 2021-03-30 | 深圳市元德教育科技有限公司 | 一种作业批改方法、装置、设备及存储介质 |
CN112785885A (zh) * | 2021-01-29 | 2021-05-11 | 北京乐学帮网络技术有限公司 | 一种线上学习方法、装置、电子设备及存储介质 |
CN113516395A (zh) * | 2021-07-19 | 2021-10-19 | 读书郎教育科技有限公司 | 一种基于智能台灯的作业监测方法及*** |
US20230121838A1 (en) * | 2021-10-14 | 2023-04-20 | Beijing Baidu Netcom Science Technology Co., Ltd. | Video question answering method, electronic device and storage medium |
Also Published As
Publication number | Publication date |
---|---|
CN117095340B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271945B (zh) | 一种在线实现作业批改的方法和*** | |
CN106227335B (zh) | 预习讲义与视频课程的交互学习方法及应用学习客户端 | |
CN109960809B (zh) | 一种听写内容的生成方法及电子设备 | |
CN106371593B (zh) | 一种投影交互式书法练习***及其实现方法 | |
CN109635772A (zh) | 一种听写内容的批改方法及电子设备 | |
CN109147444B (zh) | 一种学习情况反馈方法及智能台灯 | |
CN106951881B (zh) | 一种三维场景呈现方法、装置及*** | |
CN111027537B (zh) | 一种搜题方法及电子设备 | |
CN110162164A (zh) | 一种基于增强现实的学习互动方法、装置及存储介质 | |
CN111077996B (zh) | 一种基于点读的信息推荐方法及学习设备 | |
CN111081117A (zh) | 一种书写检测方法及电子设备 | |
CN111079501B (zh) | 一种文字识别方法及电子设备 | |
CN110019757A (zh) | 书本点读互动设备及其控制方法、计算机可读存储介质 | |
CN112055257B (zh) | 视频课堂的互动方法、装置、设备及存储介质 | |
CN111078179B (zh) | 一种听写报读进度的控制方法及电子设备 | |
CN114926889A (zh) | 作业提交方法、装置、电子设备和存储介质 | |
CN112861591A (zh) | 一种互动识别方法、识别***、计算机设备和存储介质 | |
JPH10263126A (ja) | パソコンを使用した運動の姿勢の分析装置 | |
CN110210040A (zh) | 文本翻译方法、装置、设备和可读存储介质 | |
CN107364256B (zh) | 一种智能笔、智能学习***及其工作方法 | |
CN117095340B (zh) | 一种护眼灯的控制方法及装置 | |
CN111050111A (zh) | 一种在线互动学***台及其学习装置 | |
KR101211641B1 (ko) | 이미지코드를 이용한 문제해설 시스템 및 방법 | |
CN110796577A (zh) | 基于智慧班牌的信息显示方法 | |
CN110766997A (zh) | 一种临摹展示方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |