CN111077994A - 一种点读场景下显示屏的控制方法及点读机设备 - Google Patents

一种点读场景下显示屏的控制方法及点读机设备 Download PDF

Info

Publication number
CN111077994A
CN111077994A CN201910494073.3A CN201910494073A CN111077994A CN 111077994 A CN111077994 A CN 111077994A CN 201910494073 A CN201910494073 A CN 201910494073A CN 111077994 A CN111077994 A CN 111077994A
Authority
CN
China
Prior art keywords
user
display screen
point
click
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910494073.3A
Other languages
English (en)
Inventor
韦肖莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910494073.3A priority Critical patent/CN111077994A/zh
Publication of CN111077994A publication Critical patent/CN111077994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例涉及点读机技术领域,公开了一种点读场景下显示屏的控制方法及点读机设备,该方法包括:通过拍摄模组拍摄位于指定区域的且被用户手指按压的书本页面,获得拍摄图像;在电子书数据库中确定与所述拍摄图像相匹配的电子页面;从所述拍摄图像中识别出所述用户手指在所述书本页面中的按压坐标;检测用户眼睛视线是否落在显示屏上;若所述用户眼睛视线未落在所述显示屏上,控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容。实施本发明实施例,能够降低点读机设备的功耗。

Description

一种点读场景下显示屏的控制方法及点读机设备
技术领域
本发明涉及点读机技术领域,尤其涉及一种点读场景下显示屏的控制方法及点读机设备。
背景技术
目前,很多的中小学生都使用点读机设备来辅助学习。然而,传统的点读机设备无法正确的判断出在点读场景下什么时候需要显示屏处于显示状态,而在什么时候又不需要显示屏处于显示状态,故而会让显示屏一直处于显示状态,从而导致点读机的功耗加大。
发明内容
本发明实施例公开了一种点读场景下显示屏的控制方法及点读机设备,能够降低点读机设备的功耗。
本发明实施例第一方面公开一种点读场景下显示屏的控制方法,包括:
拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像;
在电子书数据库中查找与所述拍摄图像相匹配的电子页面;
从所述拍摄图像中识别出所述用户的手指在所述书本页面中的按压坐标;
检测所述用户的眼睛视线是否落在显示屏上;
若所述用户的眼睛视线未落在所述显示屏上,控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
若所述用户的眼睛视线落在所述显示屏上,控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容之后,所述方法还包括:
获取所述用户指定的纸质材料;
在所述显示屏输出的所述点读内容的背景模拟出所述纸质材料对应的颜色和纹理。
其中,实施该实施方式,能够在显示屏上真实地模拟纸质材料的纹理和颜色,以还原真实的纸质阅读体验,降低长时间在显示屏上阅读时导致的眼睛疲劳。
本发明实施例第二方面公开一种点读机设备,包括:
拍摄单元,用于拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像;
查找单元,用于在电子书数据库中查找与所述拍摄图像相匹配的电子页面;
坐标识别单元,用于从所述拍摄图像中识别出所述用户的手指在所述书本页面中的按压坐标;
检测单元,用于检测所述用户的眼睛视线是否落在显示屏上;
第一控制单元,用于在所述检测单元检测出所述用户的眼睛视线未落在所述显示屏上时,控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述点读机设备还包括:
第二控制单元,用于在所述检测单元检测出所述用户的眼睛视线落在所述显示屏上时,控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第二控制单元还用于在控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容之后,获取所述用户指定的纸质材料;在所述显示屏输出的所述点读内容的背景模拟出所述纸质材料对应的颜色和纹理。
其中,实施该实施方式,能够在显示屏上真实地模拟纸质材料的纹理和颜色,以还原真实的纸质阅读体验,降低长时间在显示屏上阅读时导致的眼睛疲劳。
本发明实施例第三方面公开了另一种点读机设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的任意一种方法中的全部或部分步骤。
本发明实施例第四方面公开了一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任意一种方法中的全部或部分步骤。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,在拍摄到位于指定区域的且被用户的手指按压的书本页面以获得拍摄图像之后,可以在电子书数据库中查找与拍摄图像相匹配的电子页面,并从拍摄图像中识别出用户的手指在书本页面中的按压坐标;在此基础上,可以进一步检测用户的眼睛视线是否落在显示屏上,若用户的眼睛视线未落在显示屏上,那么可以控制显示屏进入待机状态并播报电子页面中与按压坐标匹配的点读内容。可见,实施本发明实施例可以避免让显示屏一直处于显示状态,从而可以降低点读机设备的功耗。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种点读场景下显示屏的控制方法的流程示意图;
图2是本发明实施例公开的另一种点读场景下显示屏的控制方法的流程示意图;
图3是本发明实施例公开的一种点读机设备的结构示意图;
图4是本发明实施例公开的另一种点读机设备的结构示意图;
图5是本发明实施例公开的另一种点读机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种点读场景下显示屏的控制方法及点读机设备,能够降低点读机设备的功耗。以下进行结合附图进行详细描述。
请参阅图1,图1是本发明实施例公开的一种点读场景下显示屏的控制方法的流程示意图。如图1所示,该控制方法可以包括以下步骤。
101、点读机设备拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像。
举例来说,如果点读机设备是平板式的点读机设备,那么点读机设备可以利用其拍摄模组拍摄位于放置点读机设备的某一学习桌面上的指定区域的、并且被用户的手指按压的书本页面,获得拍摄图像;或者,如果点读机设备是折叠屏式的点读机设备,那么点读机设备可以利用其拍摄模组拍摄位于点读机设备上的指定区域(如书本放置区域)的、并且被用户的手指按压的书本页面,获得拍摄图像。
102、点读机设备在电子书数据库中查找与拍摄图像相匹配的电子页面。
在一个实施例中,点读机设备可以先从拍摄图像中识别出该书本页面的学习内容,然后再从在电子书数据库中查找与该书本页面的学习内容相匹配的电子页面,其中,与该书本页面中的学习内容相匹配的电子页面是指电子页面的学习内容与该书本页面的学习内容相同。
其中,电子书数据库可以存储在点读机设备上,也可以存储在外部其他设备上。例如,电子书数据库可以存储在教师设备中,相应地,点读机设备在电子书数据库中查找与拍摄图像相匹配的电子页面的方式可以为:
点读机设备向教师设备上报电子页面获取请求,该电子页面获取请求至少包括该点读机设备所属学生的身份信息以及该书本页面的学习内容;
教师设备响应于该电子页面获取请求,从电子书数据库中查找与该书本页面的学习内容相匹配的电子页面(即电子页面的学习内容与该书本页面的学习内容相同),并向该点读机设备推送与该书本页面的学习内容相匹配的电子页面;
以及,教师设备建立该电子页面与该点读机设备所属学生的身份信息的映射关系,以便于教师可以通过教师设备建立的该映射关系获悉该点读机设备所属学生的学习动态。
更进一步的,教师设备建立该电子页面与该点读机设备所属学生的身份信息的映射关系之后,还可以执行以下步骤:
教师设备以该点读机设备所属学生的身份信息为依据,查询教师为该点读机设备所属学生分配的学习任务,该学习任务至少包括指定点读页面;
以及,教师设备判断该电子页面的学习内容与该指定点读页面的学习内容是否相同,若相同,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第一标记,该第一标记用于表明该电子页面属于指定点读页面;若不相同,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第二标记,该第二标记用于表明该电子页面不属于指定点读页面,从而不仅可以让教师了解该点读机设备所属学生的学习动态,还可以进一步让教师了解该点读机设备所属学生是否已完成学习任务包括的指定点读页面的点读。
更进一步的,该电子页面获取请求还可以包括用户的手指按压书本页面的起始时间,而该学习任务还可以包括针对指定点读页面的点读时间范围,相应地,教师设备对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第一标记之后,还可以执行以下步骤:
教师设备判断用户的手指按压书本页面的起始时间是否位于该学习任务包括的针对指定点读页面的点读时间范围内,若是,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第三标记,该第三标记用于表明该点读机设备所属学生在指定点读页面的点读时间范围内点读指定点读页面;若不相同,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第四标记,该第四标记表明该点读机设备所属学生未在指定点读页面的点读时间范围内点读指定点读页面,从而可以进一步让教师了解该点读机设备所属学生是否积极的在学习任务包括的指定点读页面的点读时间范围内点读指定点读页面,让教师了解该点读机设备所属学生的点读积极性。
103、点读机设备从拍摄图像中识别出该用户的手指在书本页面中的按压坐标。
在一个实施例中,点读机设备可以将拍摄图像中的书本页面的左上角的端点的坐标作为坐标原点,进而可以识别出该用户的手指在书本页面中的按压坐标。
104、点读机设备检测该用户的眼睛视线是否落在显示屏上,若否,执行步骤105;若是,执行步骤106。
在一个实施例中,点读机设备检测该用户的眼睛视线是否落在显示屏上,包括:
点读机设备采集该用户的面部图像信息,并根据该用户的面部信息确定该用户的眼睛视线的方向,并根据该用户的眼睛视线的方向判断该用户的眼睛视线是否落在显示屏上,若是,确定该用户的眼睛视线落在显示屏上;反之,若根据该用户的眼睛视线的方向判断该用户的眼睛视线未落在显示屏上,若是,确定该用户的眼睛视线未落在显示屏上。
作为一种可选的实施方式,点读机设备根据该用户的眼睛视线的方向判断该用户的眼睛视线是否落在显示屏上,包括:
点读机设备在该用户的面部图像信息中搜索用户面部区域,当检测到用户面部区域后,根据用户面部区域的面积,计算出人眼到显示屏的距离;在用户面部区域中根据人眼到显示屏的距离定位人眼,计算人眼在用户面部图像中的坐标,其中用户面部图像的左下角为用户面部图像坐标的原点;根据人眼在用户面部图像中的坐标估计瞳孔圆心的位置;由估计的瞳孔圆心的位置精确定位瞳孔圆心;由瞳孔圆心确定虹膜边界及圆心;通过虹膜边界及圆心的投影几何关系计算表征该用户的眼睛视线方向的椭圆虹膜圈的法线方向,以得到该用户的眼睛视线与显示屏之间的夹角;根据该夹角,确定出该用户的眼睛视线落在显示屏上。其中,实施上述实施方式,可以精确的识别出该用户的眼睛视线是否落在显示屏上。
105、点读机设备控制显示屏进入待机状态并播报电子页面中与按压坐标匹配的点读内容,并结束本流程。
作为一种可选的实施方式,点读机设备控制显示屏进入待机状态并播报电子页面中与按压坐标匹配的点读内容,包括:
点读机设备控制显示屏进入待机状态并通过扬声器播报电子页面中与按压坐标匹配的点读内容;
或者,点读机设备控制显示屏进入待机状态并检测点读机设备是否连接耳机,若连接耳机,则通过耳机播报电子页面中与按压坐标匹配的点读内容。
106、点读机设备控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容,并结束本流程。
可见,实施图1所描述的控制方法,可以避免让显示屏一直处于显示状态,从而可以降低点读机设备的功耗。此外,实施图1所描述的控制方法,不仅可以让教师了解该点读机设备所属学生的学习动态,还可以进一步让教师了解该点读机设备所属学生是否已完成学习任务包括的指定点读页面的点读,以及了解该点读机设备所属学生的点读积极性。
请参阅图2,图2是本发明实施例公开的另一种点读场景下显示屏的控制方法的流程示意图。如图2所示,该控制方法可以包括以下步骤。
201、点读机设备拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像。
202、点读机设备在电子书数据库中查找与拍摄图像相匹配的电子页面。
其中,步骤202的实现过程可以参考步骤101的实现过程,本发明实施例不作赘述。
203、点读机设备从拍摄图像中识别出该用户的手指在书本页面中的按压坐标。
204、点读机设备检测该用户的眼睛视线是否落在显示屏上,若否,执行步骤205;若是,执行步骤206。
205、点读机设备控制显示屏进入待机状态并播报电子页面中与按压坐标匹配的点读内容,并结束本流程。
206、点读机设备识别该用户是否为盲人用户,若否,执行步骤207;若是,执行步骤205。
在一个实施例中,点读机设备识别该用户是否为盲人用户,包括:
点读机设备从拍摄图像中识别出被该用户的手指按压的书本页面是否属于盲人专用书本页面,若属于,确定该用户为盲人用户;若不属于,确定该用户不是盲人用户。
举例来说,盲人专用书本页面可以是传统的盲人所用的具有凹凸不平的盲点的书本页面,盲人可以靠触摸这些盲点来进行阅读。
更进一步的,点读机设备从拍摄图像中识别出被该用户的手指按压的书本页面属于盲人专用书本页面之后,以及确定该用户为盲人用户之前,还可以执行以下步骤:
点读机设备根据采集的该用户的面部图像信息,并从该用户的面部图像信息中提取出该用户的面部特征,并且校验该用户的面部特征是否与预先采集的盲人面部特征相匹配,若是,才确定该用户为盲人用户,从而可以准确的确定出该用户是否为盲人用户。
在一个实施例中,点读机设备可以是设置在图书馆中的公用的点读机设备,而图书馆的入口处可以设置有用于专门采集盲人面部特征的采集设备,该采集设备与点读机设备保持通信连接,在盲人用户进入图书馆之前可以利用该采集设备预先采集盲人面部特征并传输至点读机设备进行存储。
207、点读机设备控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容,并结束本流程。
在一个实施例中,点读机设备控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容之后,还可以执行以下步骤:
点读机设备获取该用户指定的纸质材料,并在显示屏输出的点读内容的背景模拟出该纸质材料对应的颜色和纹理。其中,纸质材料不同可以包括纸质材料对应的颜色和纹理不同。本发明实施例中,不同的纹理可以模拟出不同的纸质材料,而不同的颜色可以模拟不同的纸质材料的油墨配比。
举例来说,点读机设备控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容之后,可以进一步输出若干种不同的纸质材料的标识,并检测该用户从若干种不同的纸质材料的标识中选择出的某一纸质材料的标识所属的纸质材料作为该用户指定的纸质材料。
在一个实施例中,点读机设备在显示屏输出的点读内容的背景模拟出该纸质材料对应的颜色和纹理之后,还可以执行以下步骤:
点读机设备检测显示屏所处环境的当前光照强度;
以及,获取该纸质材料在当前光照强度下的反射特性;
以及,根据反射特性,生成覆盖图层;其中,覆盖图层用于模拟纸质材料的反射效果。
以及,在显示屏输出的点读内容上叠加显示覆盖图层。
举例来说,反射特性可以包括不透光度、光亮度等等。
本发明实施例中,点读机设备可以从预先存储的纸质材料的标识-光照强度值-反射特性三者的映射关系中,查找该纸质材料在当前光照强度下的反射特性。
作为一种可选的实施方式,为了降低点读机设备预先存储纸质材料的标识-光照强度值-反射特性三者的映射关系对自身存储空间的占用,可以在云端平台上预先存储纸质材料的标识-光照强度值-反射特性三者的映射关系。
相应地,点读机设备获取该纸质材料在当前光照强度下的反射特性可以包括:
向云端平台上报当前光照强度对应的光强度值以及该纸质材料的标识,以触发云端平台从上述映射关系中查找出该纸质材料在当前光照强度下的反射特性;
以及,接收云端平台推送的该纸质材料在当前光照强度下的反射特性。
其中,实施上述实施方式可以同时模拟纸质材料的反射效果,使得纸质材料的模拟效果更加逼真。
可见,实施图2所描述的控制方法,可以避免让显示屏一直处于显示状态,从而可以降低点读机设备的功耗。
此外,实施图2所描述的控制方法,不仅可以让教师了解该点读机设备所属学生的学习动态,还可以进一步让教师了解该点读机设备所属学生是否已完成学习任务包括的指定点读页面的点读,以及了解该点读机设备所属学生的点读积极性。
此外,实施图2所描述的控制方法,能够在显示屏上真实地模拟纸质材料的纹理和颜色,以还原真实的纸质阅读体验,降低长时间在显示屏上阅读时导致的眼睛疲劳。
此外,实施图2所描述的控制方法,可以同时模拟纸质材料的反射效果,使得纸质材料的模拟效果更加逼真;以及,降低对点读机设备的自身存储空间的占用。
请参阅图3,图3是本发明实施例公开的一种点读机设备的结构示意图。如图3所示,该点读机设备可以包括:
拍摄单元301,用于拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像;
查找单元302,用于在电子书数据库中查找与拍摄图像相匹配的电子页面;
坐标识别单元303,用于从拍摄图像中识别出该用户的手指在书本页面中的按压坐标;
检测单元304,用于检测该用户的眼睛视线是否落在显示屏上;
第一控制单元305,用于在检测单元304检测出该用户的眼睛视线未落在显示屏上时,控制显示屏进入待机状态并播报电子页面中与按压坐标匹配的点读内容。
在一个实施例中,图3所示的点读机设备还可以包括:
第二控制单元306,用于在检测单元304检测出该用户的眼睛视线落在显示屏上时,控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容。
在一个实施例中,电子书数据库可以存储在点读机设备上,也可以存储在外部其他设备上。例如,电子书数据库可以存储在教师设备中,相应地,查找单元302在电子书数据库中查找与拍摄图像相匹配的电子页面的方式可以为:
查找单元302向教师设备上报电子页面获取请求,该电子页面获取请求至少包括该点读机设备所属学生的身份信息以及该书本页面的学习内容;
教师设备响应于该电子页面获取请求,从电子书数据库中查找与该书本页面的学习内容相匹配的电子页面(即电子页面的学习内容与该书本页面的学习内容相同),并向该点读机设备推送与该书本页面的学习内容相匹配的电子页面,以使查找单元302获取到与拍摄图像相匹配的电子页面;
以及,教师设备建立该电子页面与该点读机设备所属学生的身份信息的映射关系,以便于教师可以通过教师设备建立的该映射关系获悉该点读机设备所属学生的学习动态。
更进一步的,教师设备建立该电子页面与该点读机设备所属学生的身份信息的映射关系之后,还可以执行以下步骤:
教师设备以该点读机设备所属学生的身份信息为依据,查询教师为该点读机设备所属学生分配的学习任务,该学习任务至少包括指定点读页面;
以及,教师设备判断该电子页面的学习内容与该指定点读页面的学习内容是否相同,若相同,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第一标记,该第一标记用于表明该电子页面属于指定点读页面;若不相同,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第二标记,该第二标记用于表明该电子页面不属于指定点读页面,从而不仅可以让教师了解该点读机设备所属学生的学习动态,还可以进一步让教师了解该点读机设备所属学生是否已完成学习任务包括的指定点读页面的点读。
更进一步的,该电子页面获取请求还可以包括用户的手指按压书本页面的起始时间,而该学习任务还可以包括针对指定点读页面的点读时间范围,相应地,教师设备对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第一标记之后,还可以执行以下步骤:
教师设备判断用户的手指按压书本页面的起始时间是否位于该学习任务包括的针对指定点读页面的点读时间范围内,若是,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第三标记,该第三标记用于表明该点读机设备所属学生在指定点读页面的点读时间范围内点读指定点读页面;若不相同,则对已建立的该电子页面与该点读机设备所属学生的身份信息的映射关系打上第四标记,该第四标记表明该点读机设备所属学生未在指定点读页面的点读时间范围内点读指定点读页面,从而可以进一步让教师了解该点读机设备所属学生是否积极的在学习任务包括的指定点读页面的点读时间范围内点读指定点读页面,让教师了解该点读机设备所属学生的点读积极性。
在一个实施例中,检测单元304检测该用户的眼睛视线是否落在显示屏上,包括:
检测单元304采集该用户的面部图像信息,并根据该用户的面部信息确定该用户的眼睛视线的方向,并根据该用户的眼睛视线的方向判断该用户的眼睛视线是否落在显示屏上,若是,确定该用户的眼睛视线落在显示屏上;反之,若根据该用户的眼睛视线的方向判断该用户的眼睛视线未落在显示屏上,若是,确定该用户的眼睛视线未落在显示屏上。
作为一种可选的实施方式,检测单元304根据该用户的眼睛视线的方向判断该用户的眼睛视线是否落在显示屏上,包括:
检测单元304在该用户的面部图像信息中搜索用户面部区域,当检测到用户面部区域后,根据用户面部区域的面积,计算出人眼到显示屏的距离;在用户面部区域中根据人眼到显示屏的距离定位人眼,计算人眼在用户面部图像中的坐标,其中用户面部图像的左下角为用户面部图像坐标的原点;根据人眼在用户面部图像中的坐标估计瞳孔圆心的位置;由估计的瞳孔圆心的位置精确定位瞳孔圆心;由瞳孔圆心确定虹膜边界及圆心;通过虹膜边界及圆心的投影几何关系计算表征该用户的眼睛视线方向的椭圆虹膜圈的法线方向,以得到该用户的眼睛视线与显示屏之间的夹角;根据该夹角,确定出该用户的眼睛视线落在显示屏上。其中,实施上述实施方式,可以精确的识别出该用户的眼睛视线是否落在显示屏上。
可见,实施图3所描述的点读机设备,可以避免让显示屏一直处于显示状态,从而可以降低点读机设备的功耗。此外,实施图3所描述的点读机设备,不仅可以让教师了解该点读机设备所属学生的学习动态,还可以进一步让教师了解该点读机设备所属学生是否已完成学习任务包括的指定点读页面的点读,以及了解该点读机设备所属学生的点读积极性。
请一并参阅图4,图4是本发明实施例公开的另一种点读机设备的结构示意图。其中,图4所示的点读机设备是由图3所示的点读机设备进行优化得到的。与图3所示的点读机设备相比较,图4所示的点读机设备还可以包括:
用户识别单元307,用于在检测单元304检测出该用户的眼睛视线落在显示屏上之后,识别该用户是否为盲人用户;
相应地,第二控制单元306具体用于在检测单元304检测出该用户的眼睛视线落在显示屏上时并且在用户识别单元307识别出该用户不是盲人用户时,控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容;
相应地,第一控制单元305还用于在用户识别单元307识别出该用户是盲人用户时,控制显示屏进入待机状态并播报电子页面中与按压坐标匹配的点读内容。
在一个实施例中,用户识别单元307具体用于在检测单元304检测出该用户的眼睛视线落在显示屏上之后,从拍摄图像中识别出被该用户的手指按压的书本页面是否属于盲人专用书本页面,若属于,确定该用户为盲人用户;若不属于,确定该用户不是盲人用户。
举例来说,盲人专用书本页面可以是传统的盲人所用的具有凹凸不平的盲点的书本页面,盲人可以靠触摸这些盲点来进行阅读。
更进一步的,用户识别单元307从拍摄图像中识别出被该用户的手指按压的书本页面属于盲人专用书本页面之后,以及确定该用户为盲人用户之前,还可以执行以下操作:
用户识别单元307根据采集的该用户的面部图像信息,并从该用户的面部图像信息中提取出该用户的面部特征,并且校验该用户的面部特征是否与预先采集的盲人面部特征相匹配,若是,才确定该用户为盲人用户,从而可以准确的确定出该用户是否为盲人用户。
在一个实施例中,点读机设备可以是设置在图书馆中的公用的点读机设备,而图书馆的入口处可以设置有用于专门采集盲人面部特征的采集设备,该采集设备与点读机设备保持通信连接,在盲人用户进入图书馆之前可以利用该采集设备预先采集盲人面部特征并传输至点读机设备进行存储。
在一个实施例中,第二控制单元306还用于在控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容之后,获取该用户指定的纸质材料;在显示屏输出的点读内容的背景模拟出该纸质材料对应的颜色和纹理。
举例来说,第二控制单元306控制显示屏进行显示电子页面中与按压坐标匹配的点读内容并播报与按压坐标匹配的点读内容之后,可以进一步输出若干种不同的纸质材料的标识,并检测该用户从若干种不同的纸质材料的标识中选择出的某一纸质材料的标识所属的纸质材料作为该用户指定的纸质材料。
在一个实施例中,第二控制单元306在显示屏输出的点读内容的背景模拟出该纸质材料对应的颜色和纹理之后,还可以执行以下操作:
第二控制单元306检测显示屏所处环境的当前光照强度;
以及,获取该纸质材料在当前光照强度下的反射特性;
以及,根据反射特性,生成覆盖图层;其中,覆盖图层用于模拟纸质材料的反射效果。
以及,在显示屏输出的点读内容上叠加显示覆盖图层。
举例来说,反射特性可以包括不透光度、光亮度等等。
本发明实施例中,第二控制单元306可以从预先存储的纸质材料的标识-光照强度值-反射特性三者的映射关系中,查找该纸质材料在当前光照强度下的反射特性。
作为一种可选的实施方式,为了降低点读机设备预先存储纸质材料的标识-光照强度值-反射特性三者的映射关系对自身存储空间的占用,可以在云端平台上预先存储纸质材料的标识-光照强度值-反射特性三者的映射关系。
相应地,第二控制单元306获取该纸质材料在当前光照强度下的反射特性可以包括:
向云端平台上报当前光照强度对应的光强度值以及该纸质材料的标识,以触发云端平台从上述映射关系中查找出该纸质材料在当前光照强度下的反射特性;
以及,接收云端平台推送的该纸质材料在当前光照强度下的反射特性。
其中,实施上述实施方式可以同时模拟纸质材料的反射效果,使得纸质材料的模拟效果更加逼真。
可见,实施图4所描述的点读机设备,可以避免让显示屏一直处于显示状态,从而可以降低点读机设备的功耗。
此外,实施图4所描述的点读机设备,不仅可以让教师了解该点读机设备所属学生的学习动态,还可以进一步让教师了解该点读机设备所属学生是否已完成学习任务包括的指定点读页面的点读,以及了解该点读机设备所属学生的点读积极性。
此外,实施图4所描述的点读机设备,能够在显示屏上真实地模拟纸质材料的纹理和颜色,以还原真实的纸质阅读体验,降低长时间在显示屏上阅读时导致的眼睛疲劳。
此外,实施图4所描述的点读机设备,可以同时模拟纸质材料的反射效果,使得纸质材料的模拟效果更加逼真;以及,降低对点读机设备的自身存储空间的占用。
请参阅图5,图5是本发明实施例公开的另一种点读机设备的结构示意图。如图5所示,该点读机设备可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
其中,处理器502调用存储器501中存储的可执行程序代码,执行图1~图2任意一种点读场景下显示屏的控制方法中的全部或部分步骤。
此外,本发明实施例进一步公开了一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行图1~图2任意一种点读场景下显示屏的控制方法中的全部或部分步骤。
此外,本发明实施例进一步公开一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机图1~图2任意一种点读场景下显示屏的控制方法中的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种点读场景下显示屏的控制方法及点读机设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种点读场景下显示屏的控制方法,其特征在于,包括:
拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像;
在电子书数据库中查找与所述拍摄图像相匹配的电子页面;
从所述拍摄图像中识别出所述用户的手指在所述书本页面中的按压坐标;
检测所述用户的眼睛视线是否落在显示屏上;
若所述用户的眼睛视线未落在所述显示屏上,控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容。
2.根据权利要求1所述的控制方法,其特征在于,所述方法还包括:
若所述用户的眼睛视线落在所述显示屏上,控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容。
3.根据权利要求2所述的控制方法,其特征在于,在检测出所述用户的眼睛视线落在所述显示屏上之后,以及在所述控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容之前,所述方法还包括:
识别所述用户是否为盲人用户,若否,执行所述的控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容的步骤;若是,执行所述的控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容的步骤。
4.根据权利要求3所述的控制方法,其特征在于,所述识别所述用户是否为盲人用户,包括:
从所述拍摄图像中识别出被所述用户的手指按压的所述书本页面是否属于盲人专用书本页面,若属于,确定所述用户为盲人用户。
5.根据权利要求2、3或4所述的控制方法,其特征在于,所述控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容之后,所述方法还包括:
获取所述用户指定的纸质材料;
在所述显示屏输出的所述点读内容的背景模拟出所述纸质材料对应的颜色和纹理。
6.一种点读机设备,其特征在于,包括:
拍摄单元,用于拍摄位于指定区域的且被用户的手指按压的书本页面,获得拍摄图像;
查找单元,用于在电子书数据库中查找与所述拍摄图像相匹配的电子页面;
坐标识别单元,用于从所述拍摄图像中识别出所述用户的手指在所述书本页面中的按压坐标;
检测单元,用于检测所述用户的眼睛视线是否落在显示屏上;
第一控制单元,用于在所述检测单元检测出所述用户的眼睛视线未落在所述显示屏上时,控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容。
7.根据权利要求6所述的点读机设备,其特征在于,还包括:
第二控制单元,用于在所述检测单元检测出所述用户的眼睛视线落在所述显示屏上时,控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容。
8.根据权利要求7所述的点读机设备,其特征在于,还包括:
用户识别单元,用于在所述检测单元检测出所述用户的眼睛视线落在所述显示屏上之后,识别所述用户是否为盲人用户;
所述第二控制单元,具体用于在所述检测单元检测出所述用户的眼睛视线落在所述显示屏上时并且在所述用户识别单元识别出所述用户不是盲人用户时,控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容;
所述第一控制单元,还用于在所述用户识别单元识别出所述用户是盲人用户时,控制所述显示屏进入待机状态并播报所述电子页面中与所述按压坐标匹配的点读内容。
9.根据权利要求8所述的点读机设备,其特征在于,所述用户识别单元具体用于在所述检测单元检测出所述用户的眼睛视线落在所述显示屏上之后,从所述拍摄图像中识别出被所述用户的手指按压的所述书本页面是否属于盲人专用书本页面,若属于,确定所述用户为盲人用户。
10.根据权利要求7、8或9所述的点读机设备,其特征在于,所述第二控制单元还用于在控制所述显示屏进行显示所述电子页面中与所述按压坐标匹配的点读内容并播报与所述按压坐标匹配的点读内容之后,获取所述用户指定的纸质材料;在所述显示屏输出的所述点读内容的背景模拟出所述纸质材料对应的颜色和纹理。
CN201910494073.3A 2019-06-09 2019-06-09 一种点读场景下显示屏的控制方法及点读机设备 Pending CN111077994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494073.3A CN111077994A (zh) 2019-06-09 2019-06-09 一种点读场景下显示屏的控制方法及点读机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494073.3A CN111077994A (zh) 2019-06-09 2019-06-09 一种点读场景下显示屏的控制方法及点读机设备

Publications (1)

Publication Number Publication Date
CN111077994A true CN111077994A (zh) 2020-04-28

Family

ID=70310049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494073.3A Pending CN111077994A (zh) 2019-06-09 2019-06-09 一种点读场景下显示屏的控制方法及点读机设备

Country Status (1)

Country Link
CN (1) CN111077994A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081503A (zh) * 2011-01-25 2011-06-01 汉王科技股份有限公司 基于视线追踪自动翻页的电子阅读器及其方法
CN102103496A (zh) * 2009-12-18 2011-06-22 北京闻言科技有限公司 模拟真实图书效果的电子书阅读控件
CN102411465A (zh) * 2010-09-21 2012-04-11 汉王科技股份有限公司 一种屏幕锁定方法及一种电子阅读器
CN103795871A (zh) * 2014-01-22 2014-05-14 宇龙计算机通信科技(深圳)有限公司 一种待机的方法及***
CN104981864A (zh) * 2013-03-25 2015-10-14 乐金显示有限公司 用于显示装置的图像处理方法和设备
CN106445151A (zh) * 2016-09-29 2017-02-22 珠海格力电器股份有限公司 一种终端屏幕亮度的控制方法及终端
CN106527693A (zh) * 2016-10-31 2017-03-22 维沃移动通信有限公司 一种应用程序控制方法及移动终端
CN106648340A (zh) * 2016-10-31 2017-05-10 维沃移动通信有限公司 一种移动终端的显示控制方法及移动终端
CN107241648A (zh) * 2017-06-26 2017-10-10 中广热点云科技有限公司 一种锁屏状态下视频播放方法及锁屏状态下播放视频的移动终端
CN107544734A (zh) * 2017-08-30 2018-01-05 咪咕数字传媒有限公司 一种信息展示方法、装置和存储介质
CN107967909A (zh) * 2017-12-25 2018-04-27 钱月珍 防辐射护眼显示屏
CN108845786A (zh) * 2018-05-31 2018-11-20 北京智能管家科技有限公司 智能伴读方法、装置、设备和存储介质
CN109063583A (zh) * 2018-07-10 2018-12-21 广东小天才科技有限公司 一种基于点读操作的学习方法及电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103496A (zh) * 2009-12-18 2011-06-22 北京闻言科技有限公司 模拟真实图书效果的电子书阅读控件
CN102411465A (zh) * 2010-09-21 2012-04-11 汉王科技股份有限公司 一种屏幕锁定方法及一种电子阅读器
CN102081503A (zh) * 2011-01-25 2011-06-01 汉王科技股份有限公司 基于视线追踪自动翻页的电子阅读器及其方法
CN104981864A (zh) * 2013-03-25 2015-10-14 乐金显示有限公司 用于显示装置的图像处理方法和设备
CN103795871A (zh) * 2014-01-22 2014-05-14 宇龙计算机通信科技(深圳)有限公司 一种待机的方法及***
CN106445151A (zh) * 2016-09-29 2017-02-22 珠海格力电器股份有限公司 一种终端屏幕亮度的控制方法及终端
CN106527693A (zh) * 2016-10-31 2017-03-22 维沃移动通信有限公司 一种应用程序控制方法及移动终端
CN106648340A (zh) * 2016-10-31 2017-05-10 维沃移动通信有限公司 一种移动终端的显示控制方法及移动终端
CN107241648A (zh) * 2017-06-26 2017-10-10 中广热点云科技有限公司 一种锁屏状态下视频播放方法及锁屏状态下播放视频的移动终端
CN107544734A (zh) * 2017-08-30 2018-01-05 咪咕数字传媒有限公司 一种信息展示方法、装置和存储介质
CN107967909A (zh) * 2017-12-25 2018-04-27 钱月珍 防辐射护眼显示屏
CN108845786A (zh) * 2018-05-31 2018-11-20 北京智能管家科技有限公司 智能伴读方法、装置、设备和存储介质
CN109063583A (zh) * 2018-07-10 2018-12-21 广东小天才科技有限公司 一种基于点读操作的学习方法及电子设备

Similar Documents

Publication Publication Date Title
CN109240582A (zh) 一种点读控制方法及智能设备
CN109597943B (zh) 一种基于场景的学习内容推荐方法及学习设备
CN108304762B (zh) 一种人体姿态匹配方法及其设备、存储介质、终端
CN109656465B (zh) 一种应用于家教设备的内容获取方法及家教设备
CN111563512B (zh) 一种答案自动涂抹的方法、装置、电子设备及存储介质
CN104239866A (zh) 答题卡信息采集方法及设备
CN107622246B (zh) 人脸识别方法及相关产品
CN111027537B (zh) 一种搜题方法及电子设备
CN112016346A (zh) 手势的识别方法、装置、***以及信息的处理方法
CN111583418A (zh) 一种虚拟场景的控制方法及电子设备
US11436439B2 (en) System and method for generating label candidates related to recognition target for selection and learning
CN113822907A (zh) 图像处理方法及装置
CN110209762B (zh) 一种阅读桌及阅读方法
CN112529548B (zh) 一种在线教育平台云资源管理***
CN111026924A (zh) 一种待搜索内容的获取方法及电子设备
CN110210040A (zh) 文本翻译方法、装置、设备和可读存储介质
CN107147786B (zh) 智能终端的图像采集控制方法及装置
CN111077994A (zh) 一种点读场景下显示屏的控制方法及点读机设备
CN111027354B (zh) 一种学习内容获取方法及学习设备
CN111027536B (zh) 一种基于电子设备的搜题方法及电子设备
CN110308821A (zh) 触控响应方法及电子设备
WO2022063189A1 (zh) 显著性元素识别方法及装置
CN111078080B (zh) 一种点读控制方法及电子设备
WO2018211826A1 (ja) 情報処理システム、情報処理方法、およびプログラム
CN111027353A (zh) 一种搜索内容的提取方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination