CN102081503A - 基于视线追踪自动翻页的电子阅读器及其方法 - Google Patents

基于视线追踪自动翻页的电子阅读器及其方法 Download PDF

Info

Publication number
CN102081503A
CN102081503A CN 201110026978 CN201110026978A CN102081503A CN 102081503 A CN102081503 A CN 102081503A CN 201110026978 CN201110026978 CN 201110026978 CN 201110026978 A CN201110026978 A CN 201110026978A CN 102081503 A CN102081503 A CN 102081503A
Authority
CN
China
Prior art keywords
user
sight line
display screen
electronic reader
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110026978
Other languages
English (en)
Other versions
CN102081503B (zh
Inventor
任瑞亭
任倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwang Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN 201110026978 priority Critical patent/CN102081503B/zh
Publication of CN102081503A publication Critical patent/CN102081503A/zh
Application granted granted Critical
Publication of CN102081503B publication Critical patent/CN102081503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开一种基于视线追踪自动翻页的电子阅读器，属于电子信息技术领域。包括显示器、图像采集单元及微处理器。显示器包括显示单元和显示屏，显示屏分为两个区域；图像信息采集模块用于获取用户面部的图像信息；微处理器包括视线定位检测单元和信息处理单元，视线定位检测单元用于对用户面部的图像信息分析处理，确定用户视线所在的显示区域；信息处理单元用于比较用户当前视线与前次视线所在区域，如果用户当前视线所在区域与用户前次视线所在区域不同，则处理器模块在用户前次视线所在显示区域中刷新显示的内容。本发明实现了提前预刷新翻页，准确地为用户呈现所要看的内容，免去了手动操作，节省了时间，实现了用户浏览的连续性。

Description

基于视线追踪自动翻页的电子阅读器及其方法
技术领域
本发明属于电子信息技术领域，涉及一种电子阅读器，尤其涉及一种基于视线追踪自动翻页的电子阅读器及其基于视线追踪自动翻页的方法。
背景技术
目前市场上存在的电子阅读器主要是按键式或触摸屏式两种，即通过设置在电子阅读器上的按键进行翻页操作，或是利用触摸屏直接在电子阅读器屏幕上点击、滑动翻页，无论是按键式还是触摸屏式的电子阅读器，都需要用户根据阅读的速度及进度进行手动的操作，当用户双手被占用时，使用上述电子阅读器很不方便。
此外，随着电子阅读器的发展，人与电子阅读器的交互方式越来越多，然而，按键、触摸屏等传统的人机交互设备在使用的自然性与友好性等方面都存在一定的局限性。因此，需要一种符合人际交流习惯、能够提供良好的人机交互的、可自动翻页的电子阅读器。
发明内容
本发明的目的在于，提供一种无须使用者手动操作、根据用户视线的移动自动进行翻页的基于视线追踪自动翻页的电子阅读器。
本发明的又一目的在于，提供一种操作简便、节约阅读时间、增强阅读连续性的基于视线追踪自动翻页的电子阅读器。
本发明的再一目的在于，提供一种电子阅读器的基于视线追踪自动翻页的方法，使得操作简便、节约阅读时间、增强阅读连续性，人机交互性强。
为达到上述目的，本发明采用以下技术手段：
一种基于视线追踪自动翻页的电子阅读器，包括微处理器和人机交互模块其中，人机交互模块包括显示单元和视线追踪单元，其中，所述显示单元包括一个显示屏，所述显示屏包括两个显示区域；所述视线追踪单元包括图像信息采集模块，用于获取用户面部的图像信息；微处理器包括视线定位检测单元和信息处理单元，视线定位检测单元用于对所述图像信息采集模块获取到的用户面部的图像信息进行分析处理，确定用户视线所在的显示区域；信息处理单元用于根据视线定位检测单元的检测结果比较用户当前视线与前次视线所在的显示区域，如果用户当前视线所在显示区域与用户前次视线所在显示区域不同，则信息处理单元在用户前次视线所在显示区域中刷新显示的内容，并在所述显示屏中进行显示。
优选地，用户前次视线所在显示区域所显示的页面内容被刷新为用户当前视线所在显示区域所显示的页面内容的下一页内容，所述页面包括电子阅读器显示区域的页面，所述下一页内容包括电子阅读器显示区域显示的下一页面的内容。
优选地，所述图像信息采集模块为摄像头，其设置于显示屏的同侧。
优选地，所述显示屏包括触摸屏，用于接收用户对电子阅读器的触摸输入。
优选地，该电子阅读器还包括***接口模块，***接口模块用于连接***设备。
优选地，所述***接口模块包括USB接口、SD接口及网络接口中的一种或多种。
一种如上所述的电子阅读器基于视线追踪自动翻页的方法，该方法包括以下步骤：采集用户面部图像信息；根据采集的用户面部图像信息确定用户视线的方向，并根据用户视线的方向得到用户视线落在显示屏上的坐标，根据用户视线落在显示屏上的坐标，确定用户视线所在显示区域；将用户当前视线所在显示区域与用户前次视线所在显示区域进行比较，当用户当前视线所在区域不同于用户前次视线所在区域，则刷新前次视线所在显示区域显示的内容。
优选地，前次视线所在显示区域被刷新为当前视线所在显示区域所显示的内容的下一页内容。
优选地，所述的图像信息采集模块以预定的时间间隔采集用户面部图像信息。
优选地，根据采集的用户面部图像信息确定用户视线在显示屏上的坐标，进一步包括以下步骤：在用户面部图像信息中搜索用户面部区域，当检测到用户面部区域后，微处理器根据用户面部区域的面积，计算出人眼到显示屏的距离；在用户面部区域中根据人眼到显示屏的距离定位人眼，得到人眼在用户面部图像中的坐标，其中用户面部图像的左下角为用户面部图像坐标的原点；根据人眼在用户面部图像中的坐标估计瞳孔圆心的位置；由估计的瞳孔圆心的位置精确定位瞳孔圆心；由瞳孔圆心确定虹膜边界及圆心；通过虹膜边界及圆心的投影几何关系计算表征用户视线方向的椭圆虹膜圈的法线方向，得到用户视线与平行或垂直电子阅读器平面之间的夹角；根据所述的用户视线与平行或垂直电子阅读器平面之间的夹角，得到用户视线落在显示屏上的坐标。
优选地，本方法采用基于类矩形特征的Adaboost人脸检测算法搜索用户面部区域。
优选地，本方法采用基于五官特征的方法定位人眼。
一种基于视线追踪自动翻页的电子阅读器，包括显示单元、图像采集单元及微处理器，显示单元包括显示模块和两个显示屏；图像信息采集模块用于获取用户面部的图像信息；微处理器包括视线定位检测单元和信息处理单元，视线定位检测单元用于对所述图像信息采集模块获取到的用户面部的图像信息进行分析处理，确定用户视线所在的显示屏；信息处理单元用于比较用户当前视线与前次视线所在显示屏，如果用户当前视线所在显示屏与用户前次视线所在显示屏不同，信息处理单元在用户前次视线所在显示屏中刷新显示的内容。
优选地，用户前次视线所在显示屏被刷新为用户当前视线所在显示屏所显示的内容的下一页内容。
优选地，所述的两个显示屏位于电子阅读器的同侧。
优选地，所述的图像信息采集模块为摄像头，其设置于两个显示屏的同侧。
优选地，所述显示屏包括触摸屏，用于接收用户对电子阅读器的触摸输入。
优选地，该电子阅读器还包括***接口模块，***接口模块用于连接***设备。
优选地，所述***接口模块包括USB接口、SD接口及网络接口中的一种或多种。
一种如上所述的电子阅读器基于视线追踪自动翻页的方法，该方法包括微处理器和人机交互模块，其中，人机交互模块包括显示单元和视线追踪单元，其中，所述显示单元包括两个显示屏；所述视线追踪单元包括图像信息采集模块，用于获取用户面部的图像信息；微处理器包括视线定位检测单元和信息处理单元，视线定位检测单元用于对所述图像信息采集模块获取到的用户面部的图像信息进行分析处理，确定用户视线所在的显示屏；信息处理单元用于根据视线定位检测单元的检测结果比较用户当前视线与前次视线所在的显示屏，如果用户当前视线所在显示屏与用户前次视线所在显示屏不同，则信息处理单元在用户前次视线所在显示屏中刷新显示的内容。
优选地，用户前次视线所在显示屏被刷新为用户当前视线所在显示屏所显示的内容的下一页内容。
优选地，图像信息采集模块以预定的时间间隔采集用户面部图像信息。
优选地，根据采集的用户面部图像信息确定用户视线在显示屏上的坐标，进一步包括以下步骤：在用户面部图像信息中搜索用户面部区域，当检测到用户面部区域后，微处理器根据用户面部区域的面积，计算出人眼到显示屏的距离；在用户面部区域中根据人眼到显示屏的距离定位人眼，得到人眼在用户面部图像中的坐标，其中用户面部图像的左下角为用户面部图像坐标的原点；根据人眼在用户面部图像中的坐标估计瞳孔圆心的位置；由估计的瞳孔圆心的位置精确定位瞳孔圆心；由瞳孔圆心确定虹膜边界及圆心；通过虹膜边界及圆心的投影几何关系计算表征用户视线方向的椭圆虹膜圈的法线方向，得到用户视线与平行或垂直电子阅读器平面之间的夹角；根据所述的用户视线与平行或垂直电子阅读器平面之间的夹角，得到用户视线落在显示屏上的坐标，其中，两块显示屏采用同一坐标系。
优选地，本方法采用基于类矩形特征的Adaboost人脸检测算法搜索用户面部区域。
优选地，本方法采用基于五官特征的方法定位人眼。
本发明的有益效果在于：本发明将显示屏分为两部分，对电子书籍进行显示，根据用户视线的变化，从而控制显示屏两部分分别翻页，提前预刷新翻页，准确地为用户呈现所要看的内容，具有直接性、自然性和简洁性。本发明基于视线追踪的具有自动翻页功能的电子阅读器，既免去了手动按键或触摸屏幕翻页的操作，操作便捷、人机交互性强，同时节省了阅读时间，增强了用户浏览的连续性。
附图说明
图1为本发明电子阅读器的结构示意图。
图2为本发明第一实施例提供的电子阅读器显示屏分屏显示的示意图。
图3为本发明电子阅读器的视线定位的具体处理过程。
图3a为本发明电子阅读器的视线定位俯视示意图。
图3b为本发明电子阅读器的视线定位侧视示意图。
图4为本发明基于视线追踪的电子阅读器自动翻页方法的步骤流程图。
图5为本发明第一实施例的电子阅读器自动翻页方法的工作流程图。
图6为本发明第二实施例提供的电子阅读器显示屏分屏显示的示意图。
具体实施方式
下面结合附图及实施例对本发明的发明内容作进一步的描述。
图1示出本发明电子阅读器的结构示意图。本发明的基于视线追踪自动翻页的电子阅读器主要包括：微处理器1、***接口模块2、人机交互模块3、存储模块4和电源管理模块5。其中，人机交互模块3包括：显示单元31、触摸屏单元32和视线追踪单元33 。视线追踪单元33包括图像信息采集模块331和图像信息接收模块332。微处理器1包括视线定位检测单元11和信息处理单元12。
具体地，微处理器1是电子阅读器的核心，对命令和数据进行分析、判断、运算并控制电子阅读器各模块协调工作。微处理器1用于控制指令发送、数据流的调度以及外设管理等。其中，控制指令主要包括存储器访问指令、数据处理指令、协处理器指令、状态寄存器转移指令、异常处理指令等；数据流的调度主要是对数据信息的接收、写入和读取调度；外设包括USB接口、SD接口、触摸屏、显示屏、摄像头、喇叭等设备。视线定位检测单元11用于对所述用户面部的图像信息分析处理，确定用户视线所在的显示区域；信息处理单元12用于比较用户当前视线与前次视线所在区域，如果用户当前视线所在区域与用户前次视线所在区域不同，信息处理单元12控制显示单元31在用户前次视线所在显示区域显示用户当前视线所在区域显示内容的下一页内容。
存储模块4，用于数据的写入、读出及存储，包括FLASH（闪存）和SDRAM（Synchronous Dynamic random access memory，同步动态随机存取存储器）。FLASH用于存储永久保存的数据和程序，SDRAM主要用于存放代码和变量，是***启动后主要进行存取操作的存储器。
***接口模块2，用于***设备的连接，包括USB接口、SD接口和/或网络接口等常用接口，使得用户可以通过多种外设更新电子书籍等数据，满足用户根据个人喜好对存储信息进行更改的需求。
电源管理模块5，用于管理电子阅读器各模块的电源配置，为电子阅读器各模块提供电源，并同时实现上电复位功能。
人机交互模块3，用于实现用户的输入操作处理和输出显示，包括显示单元31、触摸屏单元32、和视线追踪单元33。触摸屏单元32用于实现用户通过触摸屏对电子阅读器设置、打开关闭应用程序等操作；显示单元31用于实现显示屏分两部分输出显示电子书籍的内容，供用户浏览；视线追踪单元33通过采集人眼的视线信息的变化，提供给微处理器1，从而微处理器1控制显示单元31实现显示屏的两部分分别刷新显示内容，即，用户前次视线所在显示区域所显示的页面内容被刷新为用户当前视线所在显示区域所显示内容的下一页内容。刷新显示内容例如对显示内容翻页，是指显示屏的一个区域显示另一个区域当前页面的下一页面的内容，或者是一个显示屏显示另一显示屏当前页面大小的下一页面的内容。
本发明所述的页面是指电子阅读器显示区域的页面，下一页内容是指电子阅读器显示区域显示的下一页面的内容。
人机交互模块3中的视线追踪单元33包括图像信息采集模块331和图像信息接收模块332。图像信息采集模块331，例如是摄像头6，放置于电子阅读器显示屏的同侧，例如显示屏上方，用于获取的用户的面部图像信息，并将获取的用户面部图像信息发送给图像信息接收模块332；图像信息接收模块332用于接收摄像头所拍摄的用户的面部图像信息并进行存储。
微处理器1完成视线追踪的具体处理过程，对用户的面部图像进行分析处理，扫描人脸的外形轮廓信息，通过对人眼的定位，识别出眼球的姿态，实现对人眼视线的追踪，如图3及图3a、图3b所示，包括如下步骤：
采用基于类矩形特征的Adaboost人脸检测算法在面部图像中搜索用户面部区域；采用基于五官特征的方法来定位人眼；在人眼图像中估计瞳孔圆心的位置；由估计的瞳孔圆心精确定位瞳孔圆心；由瞳孔圆心确定虹膜边界及圆心；通过基本的投影几何关系计算椭圆虹膜圈的法线方向并视为视线方向。
本发明基于视线追踪的具有自动翻页功能的电子阅读器，可通过将显示屏可分成上下两部分显示或者左右两部分显示的实施方式，或者在电子阅读器中设置选项，由用户根据阅读习惯自行选择显示方式。
参照图4所示，为本发明基于视线追踪的电子阅读器自动翻页方法的步骤流程图。
步骤S101：用户面部图像信息采集。
放置于电子阅读器显示屏的同侧的摄像头6获取用户的面部图像信息，并将获取的用户面部图像信息发送给微处理器1。
步骤S102：根据采集的用户面部信息确定用户视线的方向，并根据用户视线的方向计算用户视线落在显示屏上的坐标，根据用户视线落在显示屏上的坐标，确定用户视线所在显示屏的区域。
微处理器1对接收到的用户面部图像信息进行分析处理，扫描人脸的外形轮廓信息，对人眼进行定位，识别出眼球的姿态，实现对用户视线的定位。
具体的，步骤S102进一步包括如下步骤，如图3、图3a及图3b所示：
以摄像头为坐标原点建立一个三维坐标***。
S1021：在图像中搜索人脸区域。采用基于类矩形特征的Adaboost人脸检测算法在图像信息接收模块存储的图像中搜索用户面部区域，当检测到用户面部区域后，微处理器1根据用户面部区域的面积，计算出人眼到显示屏的距离d。
S1022：定位人眼。在用户面部区域中采用基于五官特征的方法来定位人眼，可以得到人眼在用户面部图像中的坐标（Xi,Yi），其中用户面部图像的左下角为图像坐标的原点。
S1023：在人眼图像中估计瞳孔圆心的位置。
S1024：由估计的瞳孔圆心精确定位瞳孔圆心。
S1025：由瞳孔圆心确定虹膜边界及圆心。
S1026：计算椭圆虹膜圈的法线方向。通过基本的投影几何关系计算椭圆虹膜圈的法线方向并视为视线方向，得到用户视线与平行或垂直电子阅读器平面之间的夹角。
α为视线方向的与以摄像头为原点的三维坐标***中的垂直面的夹角，β为视线方向的与以摄像头为原点的三维坐标***中的水平面的夹角。
S1027：根据用户视线与平行或垂直电子阅读器平面之间的夹角，得到用户视线投影在显示屏上的坐标；
通过以下变换，可将人眼在用户面部图像中的坐标（Xi,Yi）转换为以摄像头为原点的三维坐标***中的坐标（X,Y）。
X=g（d）(W/2-Xi) 
Y=g（d）(L/2-Yi) 
其中，g（d）是与距离相关的系数，W为用户面部图像的宽度，L为用户面部图像的高度。进一步得到人眼视线投影在显示屏上的坐标（X+d*tan（α），Y+d*tan（β））。
步骤S103：将用户当前视线所在显示区域与用户前次视线所在显示区域进行比较，当用户当前视线所在区域不同于用户前次视线所在区域，在前次视线所在显示区域显示当前视线所在显示区域所显示内容的下一页内容。
重复上述步骤S101-S103，实现电子阅读器基于视线追踪进行自动翻页。
图像信息采集模块331以预定的时间间隔采集用户面部图像信息，电子阅读器可预先设置视线定位的时间间隔，或用户根据自己的阅读习惯手动设置阅读时间间隔，控制用户面部图像采集和视线定位的频率。
以下通过实施例对本发明基于视线追踪自动翻页的电子阅读器作进一步的描述。
实施例一
参照图2所示，为本发明第一实施例提供的电子阅读器显示屏分屏显示的示意图。本发明基于视线追踪自动翻页的电子阅读器的显示屏上方设置有摄像头6，摄像头6获取用户的面部图像信息后发送给图像信息接收模块332存储，再由图像信息接收模块332发送给微处理器1。摄像头6下方为显示屏，在本实施例中，将显示屏分为上下两个区域分别显示。
同时结合图5所示，为本发明第一实施例电子阅读器的工作流程图。当用户使用本发明的电子阅读器浏览电子书籍时，图像信息采集模块331获取的用户面部的图像信息，发送给图像信息接收模块332；图像信息接收模块332接收摄像头6所拍摄的图像信息进行存储并传输给微处理器1进行图像信息处理。图像信息采集模块331也可将获取的用户面部的图像信息直接传输给微处理器1。微处理器1的视线定位检测单元11对接收的用户面部图像按照图3、图3a及图3b所示的步骤及原理进行分析处理，定位出用户当前的视线方向，得到视线在显示屏上的位置坐标，进而判断出当前用户是在浏览显示屏的上半部内容还是在浏览显示屏的下半部内容。
当用户看完显示屏的上半部内容开始看显示屏的下半部内容时，微处理器1的视线定位检测单元11则检测出人眼的视线由显示屏的上半部下移到显示屏的下半部后，信息处理单元12控制显示单元31在显示屏的上半部区域内显示下半部区域的下一页的内容，即自动实现翻页。
当用户看完显示屏的下半部内容，其视线转向显示屏的上半部区域时，这时显示屏的上半部区域已完成刷新翻页，用户可以直接阅读显示屏的上半部的内容；同时，微处理器1的视线定位检测单元11则检测出人眼的视线由显示屏的下半部区域上移到显示屏的上半部区域，信息处理单元12控制显示单元31在显示屏的下半部区域内显示上半部区域的下一页的内容，即自动实现翻页。
当用户看完显示屏的上半部内容，其视线再次转向显示屏的下半部区域时，显示屏的下半部区域也已刷新翻页完成，用户可以直接阅读显示屏的下半部的内容；同时显示屏的上半部开始进行翻页操作。如此反复，实现电子阅读器基于视线追踪，进行自动翻页。
判断用户视线位于显示屏的哪个区域，实际上就是将用户视线落于显示屏上的点的坐标值与显示区域的坐标值相比较。例如将显示屏的最左侧底端作为坐标原点，在本实施例中，显示屏分为上下两个区域，显示屏下半部区域为第一区域，显示屏上半部区域为第二区域，当用户视线在显示屏的Y轴坐标值大于显示屏第一区域的Y轴最大值，且小于显示屏第二区域的Y轴最大值时，表示用户视线已经从显示屏的第一区域转移到第二区域。同理，当用户视线在显示屏的Y轴坐标值小于显示屏第二区域的Y轴最小值时，表示用户视线已经从显示屏的第二区域转移到第一区域。
本发明基于视线追踪自动翻页的电子阅读器显示屏也可以设置为两块，两块显示屏上下设置，上部为第一显示屏，下部为第二显示屏，两块显示屏采用同一坐标系，将第一显示屏的最左侧底端作为坐标原点，比较用户视线落于显示屏上的点的坐标值与显示屏的坐标值，当用户视线在显示屏的Y轴坐标值大于第一显示屏的Y轴最大值，且小于第二显示屏的Y轴最大值时，表示用户视线已经从第一显示屏转移到第二显示屏。同理，当用户视线在显示屏的Y轴坐标值小于第二显示屏Y轴最小值时，表示用户视线已经从第二显示屏转移到第一显示屏。
实施例二
图6为本发明第二实施例提供的电子阅读器显示屏分屏显示的示意图。
在本实施例中，摄像头6仍然放置于电子阅读器显示屏的同侧，用于获取用户的图像信息。显示屏被分为左右两个区域，左右两区域能够分别显示阅读内容，并根据视线的移动进行自动翻页。本实施例与实施例一的区别仅在于显示屏为左右分区，电子阅读器的功能结构及工作原理完全相同，不再详述。
在本实施例中，判断用户视线位于显示屏的哪个区域，也是将显示屏的最左侧底端作为坐标原点，将用户视线落于显示屏上的点的坐标值与显示屏区域的坐标值相比较。在本实施例中，显示屏分为左右两个区域，显示屏左半部区域为第一区域，显示屏右半部域为第二区域，当用户视线在显示屏的X轴坐标值大于显示屏第一区域的X轴最大值，且小于显示屏第二区域的X轴最大值时，表示用户视线已经从显示屏的第一区域转移到第二区域。同理，当用户视线在显示屏的X轴坐标值小于显示屏第二区域的X轴最小值时，表示用户视线已经从显示屏的第二区域转移到第一区域。
本发明基于视线追踪自动翻页的电子阅读器显示屏也可以设置为两块，两块显示屏左右设置，左半部为第一显示屏，右半部为第二显示屏，两块显示屏采用同一坐标系，将第一显示屏的最左侧底端作为坐标原点，比较用户视线落于显示屏上的点的坐标值与显示屏的坐标值，当用户视线在显示屏的X轴坐标值大于第一显示屏的X轴最大值，且小于第二显示屏的X轴最大值时，表示用户视线已经从第一显示屏转移到第二显示屏。同理，当用户视线在显示屏的X轴坐标值小于第二显示屏X轴最小值时，表示用户视线已经从第二显示屏转移到第一显示屏。
本发明基于视线追踪的具有自动翻页功能的电子阅读器及电子阅读器基于视线追踪的自动翻页方法，实现了提前预刷新翻页，准确地为用户呈现所要看的内容，既免去了动手按键或触摸屏幕翻页的操作，又节省了时间，实现了用户浏览的连续性。

Claims (10)

1.一种基于视线追踪自动翻页的电子阅读器，其特征在于：包括微处理器和人机交互模块，其中，
人机交互模块包括显示单元和视线追踪单元，其中，所述显示单元包括一个显示屏，所述显示屏包括两个显示区域；所述视线追踪单元包括图像信息采集模块，用于获取用户面部的图像信息；
微处理器包括视线定位检测单元和信息处理单元，视线定位检测单元用于对所述图像信息采集模块获取到的用户面部的图像信息进行分析处理，确定用户视线所在的显示区域；信息处理单元用于根据视线定位检测单元的检测结果比较用户当前视线与前次视线所在的显示区域，如果用户当前视线所在显示区域与用户前次视线所在显示区域不同，则信息处理单元在用户前次视线所在显示区域中刷新显示的内容，并在前次视线所在显示区域中进行显示。
2.根据权利要求1所述的基于视线追踪自动翻页的电子阅读器，其特征在于：图像信息采集模块包括摄像头，所述摄像头设置于显示屏的同侧。
3.根据权利要求1所述的基于视线追踪自动翻页的电子阅读器，其特征在于：用户前次视线所在显示区域所显示的页面内容被刷新为用户当前视线所在显示区域所显示的页面内容的下一页内容，所述页面包括电子阅读器显示区域的页面，所述下一页内容包括电子阅读器显示区域显示的下一页面的内容。
4.一种如权利要求1所述的电子阅读器基于视线追踪自动翻页的方法，其特征在于，该方法包括以下步骤：
采集用户面部图像信息；
根据采集的用户面部信息确定用户视线的方向，并根据用户视线的方向得到用户视线落在显示屏上的坐标，根据用户视线落在显示屏上的坐标，确定用户视线所在显示区域；
将用户当前视线所在显示区域与用户前次视线所在显示区域进行比较，当用户当前视线所在区域不同于用户前次视线所在区域，则刷新前次视线所在显示区域显示的内容。
5.根据权利要求4所述的电子阅读器基于视线追踪自动翻页的方法，其特征在于：根据采集的用户面部图像信息确定用户视线在显示屏上的坐标，进一步包括以下步骤：
在用户面部图像信息中搜索用户面部区域，当检测到用户面部区域后，微处理器根据用户面部区域的面积，计算出人眼到显示屏的距离；
在用户面部区域中根据人眼到显示屏的距离定位人眼，计算人眼在用户面部图像中的坐标，其中用户面部图像的左下角为用户面部图像坐标的原点；
根据人眼在用户面部图像中的坐标估计瞳孔圆心的位置；
由估计的瞳孔圆心的位置精确定位瞳孔圆心；
由瞳孔圆心确定虹膜边界及圆心；
通过虹膜边界及圆心的投影几何关系计算表征用户视线方向的椭圆虹膜圈的法线方向，得到用户视线与平行或垂直电子阅读器平面之间的夹角；
根据所述的用户视线与平行或垂直电子阅读器平面之间的夹角，得到用户视线落在显示屏上的坐标。
6.一种基于视线追踪自动翻页的电子阅读器，包括微处理器和人机交互模块，其中，
人机交互模块包括显示单元和视线追踪单元，其中，所述显示单元包括两个显示屏；所述视线追踪单元包括图像信息采集模块，用于获取用户面部的图像信息；
微处理器包括视线定位检测单元和信息处理单元，视线定位检测单元用于对所述图像信息采集模块获取到的用户面部的图像信息进行分析处理，确定用户视线所在的显示屏；信息处理单元用于根据视线定位检测单元的检测结果比较用户当前视线与前次视线所在的显示屏，如果用户当前视线所在显示屏与用户前次视线所在显示屏不同，则信息处理单元在用户前次视线所在显示屏中刷新显示的内容。
7.根据权利要求6所述的基于视线追踪自动翻页的电子阅读器，其特征在于：所述的两个显示屏位于电子阅读器的同侧。
8.根据权利要求7所述的基于视线追踪自动翻页的电子阅读器，其特征在于：图像信息采集模块为摄像头，设置于两个显示屏的同侧。
9.一种如权利要求6所述的电子阅读器基于视线追踪自动翻页的方法，其特征在于，该方法包括以下步骤：
采集用户面部图像信息；
根据采集的用户面部图像信息确定用户视线的方向，并根据用户视线的方向得到用户视线落在显示屏上的坐标，根据用户视线落在显示屏上的坐标，确定用户视线所在的显示屏；
将用户当前视线所在显示屏与用户前次视线所在显示屏进行比较，当用户当前视线所在显示屏不同于用户前次视线所在显示屏时，在前次视线所在显示屏刷新显示的内容。
10.根据权利要求9所述的电子阅读器基于视线追踪自动翻页的方法，其特征在于：根据采集的用户面部图像信息确定用户视线在显示屏上的坐标，进一步包括以下步骤：
在用户面部图像信息中搜索用户面部区域，当检测到用户面部区域后，微处理器根据用户面部区域的面积，计算出人眼到显示屏的距离；
在用户面部区域中根据人眼到显示屏的距离定位人眼，得到人眼在用户面部图像中的坐标，其中用户面部图像的左下角为用户面部图像坐标的原点；
根据人眼在用户面部图像中的坐标估计瞳孔圆心的位置；
由估计的瞳孔圆心的位置精确定位瞳孔圆心；
由瞳孔圆心确定虹膜边界及圆心；
通过虹膜边界及圆心的投影几何关系计算表征用户视线方向的椭圆虹膜圈的法线方向，得到用户视线与平行或垂直电子阅读器平面之间的夹角；
根据所述的用户视线与平行或垂直电子阅读器平面之间的夹角，得到用户视线落在显示屏上的坐标，其中，两块显示屏采用同一坐标系。
CN 201110026978 2011-01-25 2011-01-25 基于视线追踪自动翻页的电子阅读器及其方法 Active CN102081503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110026978 CN102081503B (zh) 2011-01-25 2011-01-25 基于视线追踪自动翻页的电子阅读器及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110026978 CN102081503B (zh) 2011-01-25 2011-01-25 基于视线追踪自动翻页的电子阅读器及其方法

Publications (2)

Publication Number Publication Date
CN102081503A true CN102081503A (zh) 2011-06-01
CN102081503B CN102081503B (zh) 2013-06-26

Family

ID=44087487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110026978 Active CN102081503B (zh) 2011-01-25 2011-01-25 基于视线追踪自动翻页的电子阅读器及其方法

Country Status (1)

Country Link
CN (1) CN102081503B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102551385A (zh) * 2011-12-29 2012-07-11 广东工业大学 基于视线追踪的自动翻页阅读椅及其控制装置及控制方法
CN102880290A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN102917120A (zh) * 2012-09-20 2013-02-06 北京百纳威尔科技有限公司 移动终端显示信息的刷新方法及移动终端
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN103064520A (zh) * 2013-01-31 2013-04-24 东莞宇龙通信科技有限公司 移动终端及其控制页面滚动的方法
CN103197755A (zh) * 2012-01-04 2013-07-10 ***通信集团公司 一种翻页方法、装置及终端
CN103257712A (zh) * 2013-05-30 2013-08-21 苏州福丰科技有限公司 基于面部识别的阅读标记终端
CN103699308A (zh) * 2013-12-24 2014-04-02 惠州Tcl移动通信有限公司 一种自动翻页的方法及装置
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
CN103841250A (zh) * 2012-11-22 2014-06-04 纳讯（青岛）通信有限公司 一种手机
CN103853419A (zh) * 2012-12-04 2014-06-11 联想(北京)有限公司 信息处理的方法及电子设备
CN103870164A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种处理方法及电子设备
CN104090657A (zh) * 2014-06-27 2014-10-08 小米科技有限责任公司 控制翻页的方法及装置
CN104089606A (zh) * 2014-06-30 2014-10-08 天津大学 一种自由空间视线跟踪测量方法
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
CN104464769A (zh) * 2013-09-18 2015-03-25 布克查克控股有限公司 用于电子媒体内容的同步声道回放***
CN104484044A (zh) * 2014-12-23 2015-04-01 上海斐讯数据通信技术有限公司 一种广告推送方法和***
CN104536687A (zh) * 2014-12-22 2015-04-22 深圳市金立通信设备有限公司 一种终端
CN104536663A (zh) * 2014-12-22 2015-04-22 深圳市金立通信设备有限公司 一种翻页方法
CN104571508A (zh) * 2014-12-29 2015-04-29 北京元心科技有限公司 操作移动终端显示的数据的方法
CN104765442A (zh) * 2014-01-08 2015-07-08 腾讯科技（深圳）有限公司 自动浏览方法及自动浏览装置
CN105045395A (zh) * 2015-08-28 2015-11-11 京东方科技集团股份有限公司 一种显示装置及画面显示方法
CN105046283A (zh) * 2015-08-31 2015-11-11 宇龙计算机通信科技(深圳)有限公司 终端操作方法和终端操作装置
CN105320255A (zh) * 2014-07-30 2016-02-10 腾讯科技（深圳）有限公司 数据加载方法及装置
CN105631280A (zh) * 2015-07-28 2016-06-01 宇龙计算机通信科技(深圳)有限公司 图标控制方法、图标控制装置和终端
EP2976692A4 (en) * 2013-03-21 2016-12-07 Lg Electronics Inc DISPLAY DEVICE FOR DETECTING LOOKING POSITIONS AND METHOD FOR CONTROLLING THEREOF
CN106325510A (zh) * 2016-08-19 2017-01-11 联想(北京)有限公司 信息处理方法及电子设备
CN106527693A (zh) * 2016-10-31 2017-03-22 维沃移动通信有限公司 一种应用程序控制方法及移动终端
CN106598257A (zh) * 2016-12-23 2017-04-26 北京奇虎科技有限公司 基于移动终端的阅读控制方法及装置
US9672421B2 (en) 2013-10-04 2017-06-06 Utechzone Co., Ltd. Method and apparatus for recording reading behavior
CN108510701A (zh) * 2018-03-20 2018-09-07 深圳市泰和安科技有限公司 一种智能烟雾报警方法、装置及***
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
CN111077994A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读场景下显示屏的控制方法及点读机设备
CN111124223A (zh) * 2019-12-11 2020-05-08 维沃移动通信有限公司 一种应用界面切换方法及电子设备
CN111190527A (zh) * 2019-12-18 2020-05-22 华为技术有限公司 屏幕显示方法和终端设备
CN114615394A (zh) * 2022-03-07 2022-06-10 云知声智能科技股份有限公司 一种提词方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291364A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种移动通信终端的交互方法、装置及移动通信终端
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN101377738A (zh) * 2007-08-27 2009-03-04 汉王科技股份有限公司 实现电子文档翻页的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101377738A (zh) * 2007-08-27 2009-03-04 汉王科技股份有限公司 实现电子文档翻页的方法
CN101291364A (zh) * 2008-05-30 2008-10-22 深圳华为通信技术有限公司 一种移动通信终端的交互方法、装置及移动通信终端
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102551385A (zh) * 2011-12-29 2012-07-11 广东工业大学 基于视线追踪的自动翻页阅读椅及其控制装置及控制方法
CN103197755A (zh) * 2012-01-04 2013-07-10 ***通信集团公司 一种翻页方法、装置及终端
CN102880290A (zh) * 2012-08-24 2013-01-16 中兴通讯股份有限公司 一种显示控制方法、装置及终端
US20150192990A1 (en) * 2012-08-24 2015-07-09 Zte Corporation Display control method, apparatus, and terminal
WO2014029229A1 (zh) * 2012-08-24 2014-02-27 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN102880290B (zh) * 2012-08-24 2016-06-22 中兴通讯股份有限公司 一种显示控制方法、装置及终端
CN102917120A (zh) * 2012-09-20 2013-02-06 北京百纳威尔科技有限公司 移动终端显示信息的刷新方法及移动终端
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US9740281B2 (en) 2012-11-13 2017-08-22 Huawei Technologies Co., Ltd. Human-machine interaction method and apparatus
CN103841250A (zh) * 2012-11-22 2014-06-04 纳讯（青岛）通信有限公司 一种手机
CN102999164B (zh) * 2012-11-30 2016-08-03 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN102999164A (zh) * 2012-11-30 2013-03-27 广东欧珀移动通信有限公司 一种电子书翻页控制方法及智能终端
CN103853419A (zh) * 2012-12-04 2014-06-11 联想(北京)有限公司 信息处理的方法及电子设备
CN103870164A (zh) * 2012-12-17 2014-06-18 联想(北京)有限公司 一种处理方法及电子设备
CN103064520B (zh) * 2013-01-31 2016-03-09 东莞宇龙通信科技有限公司 移动终端及其控制页面滚动的方法
CN103064520A (zh) * 2013-01-31 2013-04-24 东莞宇龙通信科技有限公司 移动终端及其控制页面滚动的方法
EP2976692A4 (en) * 2013-03-21 2016-12-07 Lg Electronics Inc DISPLAY DEVICE FOR DETECTING LOOKING POSITIONS AND METHOD FOR CONTROLLING THEREOF
CN103257712A (zh) * 2013-05-30 2013-08-21 苏州福丰科技有限公司 基于面部识别的阅读标记终端
CN104464769A (zh) * 2013-09-18 2015-03-25 布克查克控股有限公司 用于电子媒体内容的同步声道回放***
US9672421B2 (en) 2013-10-04 2017-06-06 Utechzone Co., Ltd. Method and apparatus for recording reading behavior
CN103699308A (zh) * 2013-12-24 2014-04-02 惠州Tcl移动通信有限公司 一种自动翻页的方法及装置
CN104765442A (zh) * 2014-01-08 2015-07-08 腾讯科技（深圳）有限公司 自动浏览方法及自动浏览装置
CN104090657A (zh) * 2014-06-27 2014-10-08 小米科技有限责任公司 控制翻页的方法及装置
CN104089606A (zh) * 2014-06-30 2014-10-08 天津大学 一种自由空间视线跟踪测量方法
CN105320255A (zh) * 2014-07-30 2016-02-10 腾讯科技（深圳）有限公司 数据加载方法及装置
CN105320255B (zh) * 2014-07-30 2019-11-19 腾讯科技（深圳）有限公司 数据加载方法及装置
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
CN104536687B (zh) * 2014-12-22 2019-04-23 深圳市金立通信设备有限公司 一种翻页终端
CN104536663A (zh) * 2014-12-22 2015-04-22 深圳市金立通信设备有限公司 一种翻页方法
CN104536687A (zh) * 2014-12-22 2015-04-22 深圳市金立通信设备有限公司 一种终端
CN104484044B (zh) * 2014-12-23 2018-07-31 上海斐讯数据通信技术有限公司 一种广告推送方法和***
CN104484044A (zh) * 2014-12-23 2015-04-01 上海斐讯数据通信技术有限公司 一种广告推送方法和***
CN104571508A (zh) * 2014-12-29 2015-04-29 北京元心科技有限公司 操作移动终端显示的数据的方法
CN105631280A (zh) * 2015-07-28 2016-06-01 宇龙计算机通信科技(深圳)有限公司 图标控制方法、图标控制装置和终端
CN105631280B (zh) * 2015-07-28 2018-08-24 宇龙计算机通信科技(深圳)有限公司 图标控制方法、图标控制装置和终端
CN105045395A (zh) * 2015-08-28 2015-11-11 京东方科技集团股份有限公司 一种显示装置及画面显示方法
CN105046283A (zh) * 2015-08-31 2015-11-11 宇龙计算机通信科技(深圳)有限公司 终端操作方法和终端操作装置
CN106325510A (zh) * 2016-08-19 2017-01-11 联想(北京)有限公司 信息处理方法及电子设备
CN106325510B (zh) * 2016-08-19 2019-09-24 联想(北京)有限公司 信息处理方法及电子设备
CN106527693A (zh) * 2016-10-31 2017-03-22 维沃移动通信有限公司 一种应用程序控制方法及移动终端
CN106598257A (zh) * 2016-12-23 2017-04-26 北京奇虎科技有限公司 基于移动终端的阅读控制方法及装置
CN108510701A (zh) * 2018-03-20 2018-09-07 深圳市泰和安科技有限公司 一种智能烟雾报警方法、装置及***
CN108510701B (zh) * 2018-03-20 2019-11-22 深圳市泰和安科技有限公司 一种智能烟雾报警方法、装置及***
CN111077994A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读场景下显示屏的控制方法及点读机设备
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
CN111124223A (zh) * 2019-12-11 2020-05-08 维沃移动通信有限公司 一种应用界面切换方法及电子设备
CN111190527A (zh) * 2019-12-18 2020-05-22 华为技术有限公司 屏幕显示方法和终端设备
WO2021121103A1 (zh) * 2019-12-18 2021-06-24 华为技术有限公司 屏幕显示方法和终端设备
CN114615394A (zh) * 2022-03-07 2022-06-10 云知声智能科技股份有限公司 一种提词方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN102081503B (zh) 2013-06-26

Similar Documents

Publication Publication Date Title
CN102081503B (zh) 基于视线追踪自动翻页的电子阅读器及其方法
US11599201B2 (en) Data and user interaction based on device proximity
EP2879020B1 (en) Display control method, apparatus, and terminal
US10082863B2 (en) Gaze-based automatic scrolling
CN107077197B (zh) 3d可视化图
US10665022B2 (en) Augmented reality display system for overlaying apparel and fitness information
US9575559B2 (en) Gaze-assisted touchscreen inputs
CN110555358B (zh) 用于检测和识别ar/vr场景中的特征部的方法和设备
CN109375765B (zh) 眼球追踪交互方法和装置
US10664215B2 (en) Controlling multiple shared displays in an electronic collaboration setting
CN103838365A (zh) 穿透型头部穿戴式显示***与互动操作方法
CN103139463A (zh) 扩增实境的方法、***及移动装置
US20140085342A1 (en) Techniques for occlusion accomodation
CN102830797A (zh) 一种基于视线判断的人机交互方法及***
US20180107440A1 (en) Dynamic User Interface for Multiple Shared Displays in an Electronic Collaboration Setting
US20210241477A1 (en) Enabling automatic measurements
CN109409319A (zh) 一种宠物图像美化方法、装置及其存储介质
US20180107341A1 (en) Volumetric Tracking for Orthogonal Displays in an Electronic Collaboration Setting
CN102830800B (zh) 利用手势识别控制数字标牌的方法和***
Pires et al. Unwrapping the eye for visible-spectrum gaze tracking on wearable devices
CN108762497A (zh) 体感交互方法、装置、设备及可读存储介质
TW201415376A (zh) 以自然影像進行的手勢辨識方法
CN102799271A (zh) 一种基于人手手势的交互命令识别方法及***
CN103399629A (zh) 获取手势屏幕显示坐标的方法和装置
CN106570747A (zh) 结合手势识别的眼镜在线适配方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant