CN106802714A - 终端及其控制方法和装置 - Google Patents

终端及其控制方法和装置 Download PDF

Info

Publication number
CN106802714A
CN106802714A CN201611120336.7A CN201611120336A CN106802714A CN 106802714 A CN106802714 A CN 106802714A CN 201611120336 A CN201611120336 A CN 201611120336A CN 106802714 A CN106802714 A CN 106802714A
Authority
CN
China
Prior art keywords
human eye
presumptive area
information
user
option
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611120336.7A
Other languages
English (en)
Inventor
林晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201611120336.7A priority Critical patent/CN106802714A/zh
Publication of CN106802714A publication Critical patent/CN106802714A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提供一种终端及其控制方法和装置。所述方法包括：每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉；根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，其中，所述终端屏幕划分为多个预定区域；若是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令；根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。根据本发明的上述方案，实现了通过人眼控制终端的操作。

Description

终端及其控制方法和装置
技术领域
本发明涉及通信技术领域，尤其涉及一种终端及其控制方法和装置。
背景技术
目前，各种触控终端已被普遍使用，例如触屏手机、平板电脑等。然而触屏手机、平板电脑等需要通过手指在屏幕上点击、滑动等操作进行控制，对于手指不灵活的残疾人或老年人仍然不是很方便。冬季在寒冷的北方室外，用户往往需要戴手套，这种情况下使用触屏终端也不是很方便。
综上，需要一种不用人手操作即可控制触控终端的方案。
发明内容
有鉴于此，本发明提供一种终端及其控制方法和装置，能实现人眼控制终端的操作。
根据本发明的第一方面，提供一种终端控制方法，包括：每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉；根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，其中，所述终端屏幕划分为多个预定区域；若是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令；根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。
进一步地，根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，包括：步骤A、判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配；步骤B、若所述捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则确定所述捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域为匹配区域，并判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配；步骤C、若是，则确定用户正在注视所述匹配区域；若否，则返回执行步骤A。
进一步地，判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配，包括：比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；若是，则确定所述捕捉到的人眼信息与所述预定区域对应的人眼特征信息相匹配。
进一步地，所述多个预定区域中每个预定区域对应的人眼特征信息通过如下方式进行设置：对所述多个预定区域分别进行突出显示,并采集所述多个预定区域突出显示时的人眼信息；对采集到的人眼信息进行处理，生成所述多个预定区域对应的人眼特征信息。
进一步地，接收对用户注视的预定区域中的按钮/选项/链接进行点击的人眼控制命令，包括：对所述用户注视的预定区域进行突出显示，并接收在所述预定区域突出显示时对所述预定区域中的按钮/选项/链接进行点击的人眼控制命令。
进一步地，对所述用户注视的预定区域进行突出显示，包括：将所述用户注视的预定区域以不同于其他预定区域的颜色和/或亮度显示；或者，将所述用户注视的预定区域以凸出于其他预定区域的效果显示。
进一步地，所述人眼控制命令包括：点击命令；所述点击命令用于在所述预定区域中只有一个按钮/选项/链接的情况下，对所述按钮/选项/链接进行点击。
进一步地，所述人眼控制命令包括：点击命令和切换命令；所述点击命令用于对所述预定区域中处于选中状态的按钮/选项/链接进行点击；所述切换命令用于在所述预定区域中有多个按钮/选项/链接的情况下，对所述多个按钮/选项/链接的选中状态进行切换。
根据本发明第二方面，提供一种终端控制装置，包括：捕捉单元，用于每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉，所述图像采集设备包括：眼动仪或摄像头；判断单元，用于根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，其中，所述终端屏幕划分为多个预定区域；接收单元，用于若所述判断单元判断为是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令；操作单元，用于根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。
进一步地，所述判断单元，包括：判断子单元，用于判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配；若所述捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则确定所述捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域为匹配区域，并判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配；确定子单元，用于若判断子单元判断接下来连续预定次数捕捉到的人眼信息均与所述匹配区域对应的人眼特征信息匹配，则确定用户正在注视所述匹配区域。
进一步地，所述判断子单元进一步用于：比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；确定子单元，用于若是，则确定所述捕捉到的人眼信息与所述预定区域对应的人眼特征信息相匹配。
进一步地，所述多个预定区域中每个预定区域对应的人眼特征信息通过如下方式进行设置：对所述多个预定区域分别进行突出显示,并采集所述多个预定区域突出显示时的人眼信息；对采集到的人眼信息进行处理，生成所述多个预定区域对应的人眼特征信息。
进一步地，所述接收单元包括：显示子单元，用于对所述用户注视的预定区域进行突出显示；接收子单元，用于接收在所述预定区域突出显示时对所述预定区域中的按钮/选项/链接进行点击的人眼控制命令。
进一步地，所述显示子单元进一步用于：将所述用户注视的预定区域以不同于其他预定区域的颜色和/或亮度显示；或者，将所述用户注视的预定区域以凸出于其他预定区域的效果显示。
进一步地，所述人眼控制命令包括：点击命令；所述点击命令用于在所述预定区域中只有一个按钮/选项/链接的情况下，对所述按钮/选项/链接进行点击。
进一步地，所述人眼控制命令包括：点击命令和切换命令；所述点击命令用于对所述预定区域中处于选中状态的按钮/选项/链接进行点击；所述切换命令用于在所述预定区域中有多个按钮/选项/链接的情况下，对所述多个按钮/选项/链接的选中状态进行切换。
根据本发明的第三方面，提供一种终端，包括上述任一项所述的装置。
根据本发明的上述方案，通过捕捉人眼信息，并根据捕捉到的人眼信息判断用户是否正在注视终端屏幕的预定区域，并通过接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令，从而根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作，实现了通过人眼控制终端的操作。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明一实施例的终端控制方法的流程图；
图2a示出了根据本发明一具体实施方式的终端屏幕(竖屏)划分为多个预定区域的示例图；
图2b示出了根据本发明另一具体实施方式的终端屏幕(竖屏)划分为多个预定区域的示例图；
图3a示出了根据本发明一具体实施方式的终端屏幕(横屏)划分为多个预定区域的示例图；
图3b示出了根据本发明另一具体实施方式的终端屏幕(横屏)划分为多个预定区域的示例图；
图4示出了根据本发明一具体实施方式的设置所述多个预定区域中每个预定区域对应的人眼特征信息的步骤的流程图；
图5示出了根据本发明一具体实施例的基于采集到的人眼图片建立直角坐标系以标记瞳孔位置作为人眼特征信息的示例图；
图6示出了根据本发明一实施例的终端及其所包括的终端控制装置的结构框图；
图7示出了根据本发明一具体实施方式的判断单元的结构框图；
图8示出了根据本发明一具体实施方式的接收单元的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先结合附图对本发明的终端控制方法进行描述。本发明尤其适用于触屏终端。图1示出了根据本发明一实施例的所述终端控制方法的流程图。所述终端包括但不限于智能手机、平板电脑、PC机等。
如图1所示，所述终端控制方法包括步骤S110、步骤S120、步骤S130和步骤S140。
步骤S110，每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉。
例如，在人眼控制模式下，每隔0.2S通过图像采集设备捕捉一次设备采集范围内的人眼信息，例如人眼图像。所述图像采集设备例如包括眼动仪、摄像头等。例如，摄像头每隔0.2S对人脸进行拍照。
步骤S120，根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域。
其中，所述终端屏幕划分为多个预定区域。例如，以手机屏幕为例，如图2a所示将手机屏幕等分为2×2个预定区域；或者，如图2b所示将手机屏幕等分为3×3个预定区域。本发明终端屏幕的划分方式并不限于此，终端(例如手机、平板电脑)横屏和竖屏时的划分方式可以不同，如图3a、图3b所示，分别为手机横屏时将手机屏幕等分为2×2个预定区域和3×3个预定区域的示例图。
在一种具体实施方式中，步骤S120通过如下步骤实现：
步骤A、判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配；
步骤B、若所述捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则确定所述捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域为匹配区域，并判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配；
步骤C、若是，则确定用户正在注视所述匹配区域；若否，则返回执行步骤A。
其中，所述多个预定区域中每个预定区域对应一组预设的人眼特征信息；每个预定区域具有对应的编号(如图2a、图2b所示)，在终端中预先保存有所述多个预定区域中每个区域的编号与人眼特征信息的对应关系。例如，如图2b所示手机屏幕的3×3个预定区域中，区域1、2、3、…、9，分别对应人眼特征信息I-1、I-2、I-3、…、I-9。
具体地，设预定次数为N，当捕捉到人眼信息时执行步骤A，将捕捉到的人眼信息分别与所述多个预定区域中每个预定区域对应的人眼特征信息进行比对，判断该捕捉到的人眼信息是否与任意一个预定区域对应的人眼特征信息匹配，若捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则执行步骤B，将该捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域作为匹配区域，并判断接下来捕捉到的人眼信息是否也与该匹配区域对应的人眼特征信息匹配；接着执行步骤C，若接下来连续N次捕捉到的人眼信息均与该匹配区域对应的人眼特征信息匹配，则确定用户正在注视该匹配区域；若接下来判断捕捉到的人眼信息与该匹配区域对应的人眼特征信息不匹配，且连续判断的次数未达到N次，则返回步骤A，即，下一次捕捉到的人眼信息与所述多个预定区域中每个预定区域对应的人眼特征信息进行比对。
例如，预先配置一匹配次数n，并置为0，即n＝0，将当前捕捉到的人眼信息与每个预定区域对应的人眼特征信息I-1、I-2、I-3、…、I-9进行一一比对，若判断当前捕捉到的人眼信息X0与人眼特征信息I-8匹配，则将I-8对应的区域8作为匹配区域，继续捕捉人眼信息，并判断捕捉到的人眼信息X1是否也与该人眼特征信息I-8匹配，若匹配，则将匹配次数加1，即n＝1；再继续捕捉人眼信息，并判断捕捉到的人眼信息X2是否与人眼特征信息I-8匹配，若匹配，将匹配次数再加1，即n＝2，……，以此类推；若不匹配，则该匹配次数归0，下一次捕捉到的人眼信息重新与人眼特征信息I-1、I-2、I-3、…、I-9进行一一比对；若该匹配次数累计到N，则确定用户正在注视人眼特征信息I-8对应的预定区域，即区域8。
步骤A中判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配，可比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；若是，则确定所述捕捉到的人眼信息与所述预定区域对应的人眼特征信息相匹配。
在一种具体的实施方式中，所述瞳孔位置为瞳孔相对于内眼角的位置，所述人眼特征信息为记录瞳孔相对于内眼角位置的信息。
如图4所示，所述多个预定区域中每个预定区域对应的人眼特征信息可以通过如下步骤进行设置：
步骤S1，对所述多个预定区域分别进行突出显示，并采集所述多个预定区域突出显示时的人眼信息。
具体而言，可以按照预定次序对所述多个预定区域分别进行突出显示。所述预定次序例如为所述多个预定区域的编号从大到小的次序。例如，设置如图2a所示的终端屏幕，当进入设置模式时，先对区域1进行突出显示，以提示用户注视该区域并保持一定时间(例如2s)，采集用户注视区域1时的人眼信息，并作为区域1对应的人眼特征信息I-1记录下来；接下来对区域2进行突出显示，采集用户注视区域2时的人眼信息，并作为区域2对应的人眼特征信息I-2记录下来，以此类推，直到记录下所有预定区域的人眼特征信息，其中，可对每个预定区域对应的人眼信息进行多次采集。可选地，在对任意一个预定区域进行突出显示时，还可以在该预定区域中显示文字提示，例如，显示“请注视此区域”，从而更加明确的提示用户注视该预定区域。
进一步地，为避免用户注视预定区域时视线发生变化导致采集到的人眼信息不准确，对每个预定区域进行突出显示时，在该预定区域中显示一确定按钮，在所述确定按钮被点击后的预定时长内采集人眼信息，作为该预定区域的人眼特征信息。具体地，在一种具体实施方式中，用户在该预定区域突出显示的情况下注视该区域时，点击该确定按钮，并保持视线不变(眼球不动)预定时长(例如2秒)，接收到用户的确定操作后，在该预定时长内采集人眼信息。在另一种具体实施方式中，在对该预定区域进行突出显示时，以预定时间间隔(例如，0.2S)显示一系列预定字符和/或图形(例如，倒序显示5、4、3、2、1或倒序显示F、E、D、C、B、A)，并在显示所述预定字符和/或图形时进行人眼信息采集，并确定用户在显示特定字符和/或图形时是否正在注视该预定区域，若是，则将采集到的人眼信息作为该预定区域的人眼特征信息。例如，对某一预定区域进行突出显示时，先显示“请注视此区域”，间隔一定时间(例如3S)之后倒序显示5、4、3、2、1，显示完毕后，显示文字提示“请确认倒数至‘1’时，是否正在注视此区域”，并分别显示“是”和“否”的按键或选项，若用户选择“是”，则将采集到的人眼信息作为该区域的人眼特征信息。
所述人眼特征信息具体可以包括左眼特征信息和/或右眼特征信息。当采集一个预定区域突出显示时的人眼信息，可以分别采集左眼信息和右眼信息，再分别对采集到的左眼信息和右眼信息进行识别和处理生成该预定区域的左眼特征信息和右眼特征信息。或者同时采集两眼的人眼特征信息。
步骤S2，对采集到的人眼信息进行处理，生成所述多个预定区域对应的人眼特征信息。
在一种具体的实施方式中，采集到的人眼信息为人眼图片，对采集到的人眼图片进行图像识别以识别出人眼的眼角(包括内眼角和外眼角)和瞳孔，具体地，可以先进行人脸识别(例如利用模板匹配算法或肤色模型算法识别出人脸)，再进行人眼区域识别(例如利用三庭五眼法、水平边缘投影法、灰度积分投影等识别出人眼区域)，再进一步识别出人眼的瞳孔和眼角(例如，利用边缘特征法、变形模板法等算法识别出人眼瞳孔和眼角)。以内眼角(靠近鼻梁一侧的眼角)为坐标原点，以内眼角和外眼角的连线为X轴，经过坐标原点并垂直于X轴的直线为Y轴，建立直角坐标系(如图5所示)，获取瞳孔在所述直角坐标系中的坐标(多次采集时可取坐标平均值)，将获取到的坐标保存为相应预定区域的人眼特征信息。
在另一种具体实施方式中，对采集到的人眼图片进行图像识别，分别识别出左眼瞳孔和右眼瞳孔(识别方法与前述实施方式基本相同，此处不加赘述)，以所述左眼瞳孔和右眼瞳孔连线的中心点作为坐标原点，经过坐标原点的水平轴为X轴，竖直轴为Y轴建立直角坐标系，分别获取左眼瞳孔和右眼瞳孔在所述直角坐标系中的坐标(多次采集时可取坐标平均值)，并将获取到的左眼瞳孔坐标和右眼瞳孔坐标保存为相应预定区域对应的人眼特征信息。
基于上述的人眼特征信息的设置方式，在比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值时，先将捕捉到的人眼图片进行图像识别和处理，识别出人眼的眼角(包括内眼角和外眼角)和瞳孔，并以内眼角为坐标原点，以内眼角和外眼角的连线为X轴，建立直角坐标系，获取瞳孔在所述直角坐标系中的坐标，再将该坐标与每个预定区域对应的人眼特征信息中瞳孔的坐标进行比较，若差距小于预设阈值，则该捕捉到的人眼信息与该人眼特征信息匹配。或者，先将捕捉到的人眼图片进行图像识别和处理，分别识别出左眼瞳孔和右眼瞳孔，并以左眼瞳孔和右眼瞳孔连线的中心点作为坐标原点，经过坐标原点的水平轴为X轴，竖直轴为Y轴建立直角坐标系，分别获取左眼瞳孔和右眼瞳孔在所述直角坐标系中的坐标，再将左眼瞳孔和右眼瞳孔在所述直角坐标系中的坐标与每个预定区域对应的人眼特征信息中的左眼瞳孔坐标和右眼瞳孔坐标进行相应比较，若差距小于预设阈值，则该捕捉到的人眼信息与该人眼特征信息匹配。
所述预设阈值具体可以包括横坐标阈值和纵坐标阈值，也就是说，在判断时分别判断捕捉到的人眼信息与该人眼特征信息的横坐标差距是否小于所述横坐标阈值，以及纵坐标差距是否小于所述纵坐标阈值。步骤C中判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配的具体实施方式，与前述步骤A中判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配的具体实施方式基本类似，即，比较接下来捕捉到的人眼信息中瞳孔位置与所述匹配区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；若是，则确定所述捕捉到的人眼信息与所述匹配区域对应的人眼特征信息相匹配，因此，可参考对步骤A的描述，此处不加赘述。
步骤S130，若是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令。
在一种具体的实施方式中，对所述用户注视的预定区域进行突出显示，并接收在所述预定区域突出显示时对所述预定区域中的按钮/选项/链接的人眼控制命令。
具体而言，若确定用户正在注视终端屏幕的一个预定区域，则可以先对该预定区域进行突出显示，以提示用户当前可通过人眼控制命令对该预定区域中的按钮/选项/链接进行操作，并通过图像采集设备接收用户对该预定区域中的按钮/选项/链接的人眼控制命令。
其中，对所述用户注视的预定区域进行突出显示的实现方式包括但不限于以下两种：
(1)将所述用户注视的预定区域以不同于其他预定区域的颜色和/或亮度显示。
例如，将其他预定区域以原来的颜色显示，将该用户注视的预定区域以不同于其他预定区域的颜色显示。
又例如，将其他预定区域以正常亮度显示，或者以低于正常亮度的亮度显示，将该用户注视的预定区域以高亮(高于正常亮度)显示，如图2b所示，区域8为用户注视的预定区域。
再例如，将其他预定区域以原来的颜色和正常亮度显示，或者以低于正常亮度的亮度显示，将该用户注视的预定区域以不同于其他预定区域的颜色、和高于正常亮度的亮度显示。
(2)将所述用户注视的预定区域以凸出于其他预定区域的效果显示。
通过将用户注视的预定区域以特定的不同于其他预定区域的颜色、亮度、线条、阴影的组合进行显示，可以实现使该用户注视的预定区域凸出于其他预定区域而浮现显示的立体效果，即，该用户注视的预定区域并不是真的凸出于其他预定区域，而是在终端显示屏上呈现出该用户注视的预定区域凸出于其他预定区域的立体视觉效果。
在一种具体实施方式中，在人眼控制模式下对终端屏幕中的显示内容进行处理，使得在终端屏幕的每个预定区域中只显示一个按钮/选项/链接；所述人眼控制命令为点击命令，所述点击命令用于在所述预定区域只有一个按钮/选项/链接的情况下，对所述按钮/选项/链接进行点击。其中，该点击命令可以通过设置预定时间内连续眨眼次数来设置，例如，可以设置为1S内连续眨眼3次。
在另一种具体的实施方式中，在终端屏幕的每个预定区域中可以显示一个或多个按钮/选项/链接；所述人眼控制命令包括：点击命令和切换命令。所述点击命令用于对所述预定区域中处于选中状态的按钮/选项/链接进行点击；所述切换命令用于在所述预定区域中有多个按钮/选项/链接时，对所述多个按钮/选项/链接的选中状态进行切换。其中，不同的人眼控制命令可以通过设置预定时间内连续眨眼次数来设置，例如，可以设置1S内连续眨眼3次为点击命令，1S内连续眨眼2次为切换命令，所述预定时间和/或眨眼次数可以由用户预先进行设置。
具体地，若预定区域中只有一个按钮/选项/链接，则可以直接接收对预定区域中的按钮/选项/链接进行点击的点击命令。若预定区域中有多个按钮/选项/链接，则先将其中的任意一个按钮/选项/链接以选中状态显示(例如对该按钮/选项/链接进行突出显示)，若用户想要点击该处于选中状态的按钮/选项/链接，则通过眨眼发出点击命令，若用户不想点击该按钮/选项/链接，则通过眨眼发出切换命令。
步骤S140，根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。
所述相应操作是指与人眼控制命令相应的操作，例如，若人眼控制命令为点击命令，则对所述用户注视的预定区域中的按钮/选项/链接进行点击操作。若人眼控制命令为按下命令，则对所述用户注视的预定区域中的按钮按下，若人眼控制命令为选中命令，则对所述用户注视的预定区域中的选项进行选中。
具体地，在终端屏幕的每个预定区域中只显示一个按钮/选项/链接的情况下，若采集到用户通过眨眼发出的点击命令，则触发用户注视的预定区域中的按钮/选项/链接。在终端屏幕的每个预定区域中显示一个或多个按钮/选项/链接的情况下，在任意一个按钮/选项/链接处于选中状态时，若采集到用户通过眨眼发出的点击命令，则触发该按钮/选项/链接；若采集到用户通过眨眼发出的切换命令，则切换该用户注视的预定区域中的按钮/选项/链接的选中状态，即将当前处于选中状态的按钮/选项/链接切换到正常显示状态，并将另一个按钮/选项/链接以选中状态显示，其中，当需要切换选中状态时可以按照预定顺序切换所述多个按钮/选项/链接的选中状态，例如按照从左到右的顺序切换。
以下结合附图说明本发明的终端及终端控制装置。
图6示出了根据本发明一实施例的所述终端及其所包括的终端控制装置的结构框图。所述终端包括但不限于智能手机、平板电脑、PC机等。
如图6所示，该终端1包括终端控制装置100，装置100包括：捕捉单元110、判断单元120、接收单元130和操作单元140。
捕捉单元110用于每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉。所述图像采集设备包括：眼动仪或摄像头。判断单元120用于根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，其中，所述终端屏幕划分为多个预定区域。接收单元130用于若所述判断单元判断为是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令；操作单元140用于根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。
具体地，在人眼控制模式下，捕捉单元110每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉。所述图像采集设备包括：眼动仪或摄像头等。例如，捕捉单元110每隔0.2S通过图像采集设备捕捉一次设备采集范围内的人眼信息，例如人眼图像。所述图像采集设备例如包括眼动仪、摄像头等。例如，摄像头每隔0.2S对人脸进行拍照。
判断单元120根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域。
具体地，所述终端屏幕划分为多个预定区域。例如，以手机屏幕为例，如图2a所示将手机屏幕等分为2×2个预定区域；或者，如图2b所示将手机屏幕等分为3×3个预定区域。本发明终端屏幕的划分方式并不限于此，终端(例如手机、平板电脑)横屏和竖屏时的划分方式可以不同，如图3a、图3b所示，分别为手机横屏时将手机屏幕等分为2×2个预定区域和3×3个预定区域的示例图。
图7示出了根据本发明一具体实施方式的判断单元的结构框图。如图7所示，在一种具体实施方式中，判断单元120包括判断子单元121和确定子单元122。判断子单元121用于判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配；若所述捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则确定所述捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域为匹配区域，并判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配；确定子单元122用于若判断子单元121判断接下来连续预定次数捕捉到的人眼信息均与所述匹配区域对应的人眼特征信息匹配，则确定用户正在注视所述匹配区域。
其中，所述多个预定区域中每个预定区域对应一组预设的人眼特征信息；每个预定区域具有对应的编号，如图2a、图2b所示，在终端中预先保存有所述多个预定区域中每个区域的编号与人眼特征信息的对应关系。例如，如图2b所示手机屏幕的3×3个预定区域中，区域1、2、3、…、9，分别对应人眼特征信息I-1、I-2、I-3、…、I-9。
具体地，设预定次数为N，当捕捉单元110捕捉到人眼信息时，判断子单元121将捕捉到的人眼信息分别与所述多个预定区域中每个预定区域对应的人眼特征信息进行比对，判断该捕捉到的人眼信息是否与任意一个预定区域对应的人眼特征信息匹配，若捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则将该捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域作为匹配区域，并进一步判断接下来捕捉到的人眼信息是否也与该匹配区域对应的人眼特征信息匹配；若接下来连续N次捕捉到的人眼信息均与该匹配区域对应的人眼特征信息匹配，则确定子单元122确定用户正在注视该匹配区域；若接下来判断捕捉到的人眼信息与该匹配区域对应的人眼特征信息不匹配，且连续判断的次数未达到N次，则判断子单元121继续将捕捉到的人眼信息与所述多个预定区域中每个预定区域对应的人眼特征信息进行比对。
例如，预先配置一匹配次数n，并置为0，即n＝0，将当前捕捉到的人眼信息与每个预定区域对应的人眼特征信息I-1、I-2、I-3、…、I-9进行一一比对，若判断当前捕捉到的人眼信息X0与人眼特征信息I-8匹配，则将I-8对应的区域8作为匹配区域，继续捕捉人眼信息，并判断捕捉到的人眼信息X1是否也与该人眼特征信息I-8匹配，若匹配，则将匹配次数加1，即n＝1；再继续捕捉人眼信息，并判断捕捉到的人眼信息X2是否与人眼特征信息I-8匹配，若匹配，将匹配次数再加1，即n＝2，……，以此类推；若不匹配，则该匹配次数归0，下一次捕捉到的人眼信息重新与人眼特征信息I-1、I-2、I-3、…、I-9进行一一比对；若该匹配次数累计到N，则确定用户正在注视人眼特征信息I-8对应的预定区域，即区域8。
在一种具体实施方式中，所述判断子单元121判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配，具体包括：比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；若是，则确定所述捕捉到的人眼信息与所述预定区域对应的人眼特征信息相匹配。
具体地，所述多个预定区域中每个预定区域对应的人眼特征信息通过如下方式进行设置：
对所述多个预定区域分别进行突出显示，并采集所述多个预定区域突出显示时的人眼信息；对采集到的人眼信息进行处理，生成所述多个预定区域对应的人眼特征信息。
具体而言，可以按照预定次序对所述多个预定区域分别进行突出显示。所述预定次序例如为所述多个预定区域的编号从大到小的次序。例如，设置如图2a所示的终端屏幕，当进入设置模式时，先对区域1进行突出显示，以提示用户注视该区域并保持一定时间(例如2s)，采集用户注视区域1时的人眼信息，并作为区域1对应的人眼特征信息I-1记录下来；接下来对区域2进行突出显示，采集用户注视区域2时的人眼信息，并作为区域2对应的人眼特征信息I-2记录下来，以此类推，直到记录下所有预定区域的人眼特征信息，其中，可对每个预定区域对应的人眼信息进行多次采集。可选地，在对任意一个预定区域进行突出显示时，还可以在该预定区域中显示文字提示，例如，显示“请注视此区域”，从而更加明确的提示用户注视该预定区域。
进一步地，为避免用户注视预定区域时视线发生变化导致采集到的人眼信息不准确，对每个预定区域进行突出显示时，在该预定区域中显示一确定按钮，在所述确定按钮被点击后的预定时长内采集人眼信息，作为该预定区域的人眼特征信息。具体地，在一种具体实施方式中，用户在该预定区域突出显示的情况下注视该区域时，点击该确定按钮，并保持视线不变(眼球不动)预定时长(例如2秒)，接收到用户的确定操作后，在该预定时长内采集人眼信息。在另一种具体实施方式中，在对该预定区域进行突出显示时，以预定时间间隔(例如，0.2S)显示一系列预定字符和/或图形(例如，倒序显示5、4、3、2、1或倒序显示F、E、D、C、B、A)，并在显示所述预定字符和/或图形时进行人眼信息采集，并确定用户在显示特定字符和/或图形时是否正在注视该预定区域，若是，则将采集到的人眼信息作为该预定区域的人眼特征信息。例如，对某一预定区域进行突出显示时，先显示“请注视此区域”，间隔一定时间(例如3S)之后倒序显示5、4、3、2、1，显示完毕后，显示文字提示“请确认倒数至‘1’时，是否正在注视此区域”，并分别显示“是”和“否”的按键或选项，若用户选择“是”，则将采集到的人眼信息作为该区域的人眼特征信息。
所述人眼特征信息具体可以包括左眼特征信息和/或右眼特征信息。当采集一个预定区域突出显示时的人眼信息，可以分别采集左眼信息和/或右眼信息，再对采集到的左眼信息和/或右眼信息进行识别和处理生成该预定区域的左眼特征信息和/或右眼特征信息。
在一种具体的实施方式中，采集到的人眼信息为人眼图片，对采集到的人眼图片进行图像识别以识别出人眼的眼角(包括内眼角和外眼角)和瞳孔，具体地，可以先进行人脸识别(例如利用模板匹配算法或肤色模型算法识别出人脸)，再进行人眼区域识别(例如利用三庭五眼法、水平边缘投影法、灰度积分投影等识别出人眼区域)，再进一步识别出人眼的瞳孔和眼角(例如，利用边缘特征法、变形模板法等算法识别出人眼瞳孔和眼角)。以内眼角(靠近鼻梁一侧的眼角)为坐标原点，以内眼角和外眼角的连线为X轴，经过坐标原点并垂直于X轴的直线为Y轴，建立直角坐标系(如图5所示)，获取瞳孔在所述直角坐标系中的坐标(多次采集时可取坐标平均值)，将获取到的坐标保存为相应预定区域的人眼特征信息。
在另一种具体实施方式中，对采集到的人眼图片进行图像识别，分别识别出左眼瞳孔和右眼瞳孔(识别方法与前述实施方式基本相同，此处不加赘述)，以所述左眼瞳孔和右眼瞳孔连线的中心点作为坐标原点，经过坐标原点的水平轴为X轴，竖直轴为Y轴建立直角坐标系，分别获取左眼瞳孔和右眼瞳孔在所述直角坐标系中的坐标(多次采集时可取坐标平均值)，并将获取到的左眼瞳孔坐标和右眼瞳孔坐标保存为相应预定区域对应的人眼特征信息。
基于上述的人眼特征信息的设置方式，判断子单元121在比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值时，先将捕捉到的人眼图片进行图像识别和处理，识别出人眼的眼角(包括内眼角和外眼角)和瞳孔，并以内眼角为坐标原点，以内眼角和外眼角的连线为X轴，建立直角坐标系，获取瞳孔在所述直角坐标系中的坐标，再将该坐标与每个预定区域对应的人眼特征信息中瞳孔的坐标进行比较，若差距小于预设阈值，则该捕捉到的人眼信息与该人眼特征信息匹配。或者，判断子单元121先将捕捉到的人眼图片进行图像识别和处理，分别识别出左眼瞳孔和右眼瞳孔，并以左眼瞳孔和右眼瞳孔连线的中心点作为坐标原点，经过坐标原点的水平轴为X轴，竖直轴为Y轴建立直角坐标系，分别获取左眼瞳孔和右眼瞳孔在所述直角坐标系中的坐标，再将左眼瞳孔和右眼瞳孔在所述直角坐标系中的坐标与每个预定区域对应的人眼特征信息中的左眼瞳孔坐标和右眼瞳孔坐标进行相应比较，若差距小于预设阈值，则该捕捉到的人眼信息与该人眼特征信息匹配。
所述预设阈值具体可以包括横坐标阈值和纵坐标阈值，也就是说，在判断时分别判断捕捉到的人眼信息与该人眼特征信息的横坐标差距是否小于所述横坐标阈值，以及纵坐标差距是否小于所述纵坐标阈值。判断子单元121判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配的具体实施方式，与前述判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配的具体实施方式基本类似，即，比较接下来捕捉到的人眼信息中瞳孔位置与所述匹配区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；若是，则确定所述捕捉到的人眼信息与所述匹配区域对应的人眼特征信息相匹配，因此，此处不加赘述。
若所述判断单元120判断用户正在注视一预定区域，则接收单元130接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令。
图8示出了根据本发明一具体实施方式的接收单元的结构框图。如图8所示，在一种具体的实施方式中，接收单元130包括显示子单元131和接收子单元132。
显示子单元131用于对所述用户注视的预定区域进行突出显示；接收子单元132用于接收在所述预定区域突出显示时对所述预定区域中的按钮/选项/链接进行点击的人眼控制命令。
具体而言，若确定用户正在注视终端屏幕的一个预定区域，则显示子单元131对该预定区域进行突出显示，以提示用户当前可通过人眼控制命令对该预定区域中的按钮/选项/链接进行操作，显示子单元131通过图像采集设备接收用户对该预定区域中的按钮/选项/链接的人眼控制命令。
其中，显示子单元131对所述用户注视的预定区域进行突出显示具体包括但不限于以下两种实现方式：
(1)将所述用户注视的预定区域以不同于其他预定区域的颜色和/或亮度显示。
例如，显示子单元131将其他预定区域以原来的颜色显示，将该用户注视的预定区域以不同于其他预定区域的颜色显示。又例如，显示子单元131将其他预定区域以正常亮度显示，或者以低于正常亮度的亮度显示，将该用户注视的预定区域以高亮(高于正常亮度)显示，如图2b所示，区域8为用户注视的预定区域。再例如，显示子单元131将其他预定区域以原来的颜色和正常亮度显示，或者以低于正常亮度的亮度显示，将该用户注视的预定区域以不同于其他预定区域的颜色、和高于正常亮度的亮度显示。
(2)将所述用户注视的预定区域以凸出于其他预定区域的效果显示。
通过将用户注视的预定区域以特定的不同于其他预定区域的颜色、亮度、线条、阴影等的组合进行显示，可以实现使该用户注视的预定区域凸出于其他预定区域而浮现显示的立体效果，即，该用户注视的预定区域并不是真的凸出于其他预定区域，而是在终端显示屏上呈现出该用户注视的预定区域凸出于其他预定区域的立体视觉效果。
在一种具体实施方式中，在人眼控制模式下对终端屏幕中的显示内容进行处理，使得在终端屏幕的每个预定区域中只显示一个按钮/选项/链接；所述人眼控制命令为点击命令，所述点击命令用于在所述预定区域只有一个按钮/选项/链接的情况下，对所述按钮/选项/链接进行点击。其中，该点击命令可以通过设置预定时间内连续眨眼次数来设置，例如，可以设置为1S内连续眨眼3次。
在另一种具体的实施方式中，在终端屏幕的每个预定区域中可以显示一个或多个按钮/选项/链接；所述人眼控制命令包括：点击命令和切换命令。所述点击命令用于对所述预定区域中处于选中状态的按钮/选项/链接进行点击；所述切换命令用于在所述预定区域中有多个按钮/选项/链接时，对所述多个按钮/选项/链接的选中状态进行切换。其中，不同的人眼控制命令可以通过设置预定时间内连续眨眼次数来设置，例如，可以设置1S内连续眨眼3次为点击命令，1S内连续眨眼2次为切换命令，所述预定时间和/或眨眼次数可以由用户预先进行设置。
具体地，若预定区域中只有一个按钮/选项/链接，则接收子单元132可以直接接收对预定区域中的按钮/选项/链接进行点击的点击命令。若预定区域中有多个按钮/选项/链接，则接收子单元132先将其中的任意一个按钮/选项/链接以选中状态显示(例如对该按钮/选项/链接进行突出显示)，若用户想要点击该处于选中状态的按钮/选项/链接，则通过眨眼发出点击命令，若用户不想点击该按钮/选项/链接，则通过眨眼发出切换命令，接收子单元132接收用户通过眨眼发出的点击命令或切换命令。
操作单元140根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。所述相应操作是指与人眼控制命令相应的操作，例如，若人眼控制命令为点击命令，则对所述用户注视的预定区域中的按钮/选项/链接进行点击操作。若人眼控制命令为按下命令，则对所述用户注视的预定区域中的按钮按下，若人眼控制命令为选中命令，则对所述用户注视的预定区域中的选项进行选中。
具体地，在任意一个按钮/选项/链接处于选中状态时，若接收单元130采集到用户通过眨眼发出的点击命令，则操作单元140触发该按钮/选项/链接；若采集到用户通过眨眼发出的切换命令，则操作单元140切换该用户注视的预定区域中的按钮/选项/链接的选中状态，即将当前处于选中状态的按钮/选项/链接切换到正常显示状态，并将另一个按钮/选项/链接以选中状态显示，其中，当需要切换选中状态时可以按照预定顺序切换所述多个按钮/选项/链接的选中状态，例如按照从左到右的顺序切换。
以上对本发明的终端控制方法及装置进行了描述。根据本发明的上述方案，通过捕捉人眼信息，并根据捕捉到的人眼信息判断用户是否正在注视终端屏幕的预定区域，并通过接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令，从而根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作，实现了通过人眼控制终端的操作。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (17)

1.一种终端控制方法，其特征在于，包括：
每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉；
根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，其中，所述终端屏幕划分为多个预定区域；
若是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令；
根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。
2.如权利要求1所述的方法，其特征在于，根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，包括：
步骤A、判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配；
步骤B、若所述捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则确定所述捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域为匹配区域，并判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配；
步骤C、若是，则确定用户正在注视所述匹配区域；若否，则返回执行步骤A。
3.如权利要求2所述的方法，其特征在于，判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配，包括：
比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；
若是，则确定所述捕捉到的人眼信息与所述预定区域对应的人眼特征信息相匹配。
4.如权利要求2或3所述的方法，其特征在于，所述多个预定区域中每个预定区域对应的人眼特征信息通过如下方式进行设置：
对所述多个预定区域分别进行突出显示,并采集所述多个预定区域突出显示时的人眼信息；
对采集到的人眼信息进行处理，生成所述多个预定区域对应的人眼特征信息。
5.如权利要求1-4任一项所述的方法，其特征在于，接收对用户注视的预定区域中的按钮/选项/链接进行点击的人眼控制命令，包括：
对所述用户注视的预定区域进行突出显示，并接收在所述预定区域突出显示时对所述预定区域中的按钮/选项/链接进行点击的人眼控制命令。
6.如权利要求5所述的方法，其特征在于，对所述用户注视的预定区域进行突出显示，包括：
将所述用户注视的预定区域以不同于其他预定区域的颜色和/或亮度显示；或者，
将所述用户注视的预定区域凸出于其他预定区域的效果显示。
7.如权利要求1-6任一项所述的方法，其特征在于，所述人眼控制命令包括：点击命令；
所述点击命令用于在所述预定区域中只有一个按钮/选项/链接的情况下，对所述按钮/选项/链接进行点击。
8.如权利要求1-6任一项所述的方法，其特征在于，所述人眼控制命令包括：点击命令和切换命令；
所述点击命令用于对所述预定区域中处于选中状态的按钮/选项/链接进行点击；
所述切换命令用于在所述预定区域中有多个按钮/选项/链接的情况下，对所述多个按钮/选项/链接的选中状态进行切换。
9.一种终端控制装置，其特征在于，包括：
捕捉单元，用于每隔预定时间间隔通过图像采集设备进行一次人眼信息捕捉；
判断单元，用于根据捕捉到的人眼信息，判断用户是否正在注视终端屏幕的预定区域，其中，所述终端屏幕划分为多个预定区域；
接收单元，用于若所述判断单元判断为是，则接收对用户注视的预定区域中的按钮/选项/链接的人眼控制命令；
操作单元，用于根据所述人眼控制命令对用户注视的预定区域中的按钮/选项/链接进行相应操作。
10.如权利要求9所述的装置，其特征在于，所述判断单元，包括：
判断子单元，用于判断捕捉到的人眼信息是否与预设的所述多个预定区域中任意一个预定区域对应的人眼特征信息匹配；
若所述捕捉到的人眼信息与任意一个预定区域对应的人眼特征信息匹配，则确定所述捕捉到的人眼信息所匹配的人眼特征信息对应的预定区域为匹配区域，并判断接下来连续预定次数捕捉到的人眼信息是否均与所述匹配区域对应的人眼特征信息匹配；
确定子单元，用于若判断子单元判断接下来连续预定次数捕捉到的人眼信息均与所述匹配区域对应的人眼特征信息匹配，则确定用户正在注视所述匹配区域。
11.如权利要求10所述的装置，其特征在于，所述判断子单元进一步用于：
比较所述捕捉到的人眼信息中瞳孔位置与任意一个预定区域对应的人眼特征信息中瞳孔位置的差距是否小于预设阈值；
若是，则确定所述捕捉到的人眼信息与所述预定区域对应的人眼特征信息相匹配。
12.如权利要求10或11所述的装置，其特征在于，所述多个预定区域中每个预定区域对应的人眼特征信息通过如下方式进行设置：
对所述多个预定区域分别进行突出显示,并采集所述多个预定区域突出显示时的人眼信息；
对采集到的人眼信息进行处理，生成所述多个预定区域对应的人眼特征信息。
13.如权利要求9-12任一项所述的装置，其特征在于，所述接收单元包括：
显示子单元，用于对所述用户注视的预定区域进行突出显示；
接收子单元，用于接收在所述预定区域突出显示时对所述预定区域中的按钮/选项/链接进行点击的人眼控制命令。
14.如权利要求13所述的装置，其特征在于，所述显示子单元进一步用于：
将所述用户注视的预定区域以不同于其他预定区域的颜色和/或亮度显示；或者，
将所述用户注视的预定区域以凸出于其他预定区域的效果显示。
15.如权利要求9-14任一项所述的方法，其特征在于，所述人眼控制命令包括：点击命令；
所述点击命令用于在所述预定区域中只有一个按钮/选项/链接的情况下，对所述按钮/选项/链接进行点击。
16.如权利要求9-14任一项所述的装置，其特征在于，所述人眼控制命令包括：点击命令和切换命令；
所述点击命令用于对所述预定区域中处于选中状态的按钮/选项/链接进行点击；
所述切换命令用于在所述预定区域中有多个按钮/选项/链接的情况下，对所述多个按钮/选项/链接的选中状态进行切换。
17.一种终端，其特征在于，包括如权利要求9-16任一项所述的装置。
CN201611120336.7A 2016-12-08 2016-12-08 终端及其控制方法和装置 Pending CN106802714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611120336.7A CN106802714A (zh) 2016-12-08 2016-12-08 终端及其控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611120336.7A CN106802714A (zh) 2016-12-08 2016-12-08 终端及其控制方法和装置

Publications (1)

Publication Number Publication Date
CN106802714A true CN106802714A (zh) 2017-06-06

Family

ID=58984727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611120336.7A Pending CN106802714A (zh) 2016-12-08 2016-12-08 终端及其控制方法和装置

Country Status (1)

Country Link
CN (1) CN106802714A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064481A (zh) * 2020-01-02 2021-07-02 广州汽车集团股份有限公司 车载屏幕控制方法、装置、计算机设备及存储介质
CN114706484A (zh) * 2022-04-18 2022-07-05 Oppo广东移动通信有限公司 视线坐标确定方法及装置、计算机可读介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及***
CN103181180A (zh) * 2011-07-29 2013-06-26 松下电器产业株式会社 提示控制装置以及提示控制方法
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103699308A (zh) * 2013-12-24 2014-04-02 惠州Tcl移动通信有限公司 一种自动翻页的方法及装置
US20150261292A1 (en) * 2014-03-12 2015-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking for automatically updating document status
US20160034141A1 (en) * 2012-09-05 2016-02-04 Apple Inc. Delay of display event based on user gaze

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102402287A (zh) * 2010-09-16 2012-04-04 Lg电子株式会社 透明显示设备和提供对象信息的方法
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN103181180A (zh) * 2011-07-29 2013-06-26 松下电器产业株式会社 提示控制装置以及提示控制方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及***
US20160034141A1 (en) * 2012-09-05 2016-02-04 Apple Inc. Delay of display event based on user gaze
CN103699308A (zh) * 2013-12-24 2014-04-02 惠州Tcl移动通信有限公司 一种自动翻页的方法及装置
US20150261292A1 (en) * 2014-03-12 2015-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking for automatically updating document status

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064481A (zh) * 2020-01-02 2021-07-02 广州汽车集团股份有限公司 车载屏幕控制方法、装置、计算机设备及存储介质
CN114706484A (zh) * 2022-04-18 2022-07-05 Oppo广东移动通信有限公司 视线坐标确定方法及装置、计算机可读介质和电子设备

Similar Documents

Publication Publication Date Title
CN105487652B (zh) 显示装置及其控制方法
EP2879020B1 (en) Display control method, apparatus, and terminal
CN103873959B (zh) 一种控制方法和电子设备
CN109074819A (zh) 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN106020478B (zh) 一种智能终端操控方法、装置和智能终端
CN104933344A (zh) 基于多生物特征模态的移动终端用户身份认证装置及方法
CN102799277A (zh) 一种基于眨眼动作的人机交互方法及***
CN103324899A (zh) 电子设备及其显示屏防窥视方法
CN105022981A (zh) 一种检测人眼健康状态的方法、装置及移动终端
CN204791017U (zh) 基于多生物特征模态的移动终端用户身份认证装置
CN106708412A (zh) 智能终端的控制方法和装置
CN107390863A (zh) 设备的控制方法及装置、电子设备、存储介质
CN107333047B (zh) 一种拍摄方法、移动终端及计算机可读存储介质
US20170068449A1 (en) Method, computer program and device for providing cognitive support of a user interface
JP2012079138A (ja) ジェスチャ認識装置
CN106802714A (zh) 终端及其控制方法和装置
CN106406535B (zh) 一种移动设备操作方法、装置及移动设备
CN110244894A (zh) 一种屏幕锁定的控制方法、装置、手持终端以及存储介质
CN111596760A (zh) 操作控制方法、装置、电子设备及可读存储介质
JP2003196017A (ja) データ入力方法及び同装置等
CN109032334A (zh) 一种基于指纹和手势识别的交互方法及交互***
KR20140132906A (ko) 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치
CN103150021A (zh) 电子书阅读控制***及电子书阅读控制方法
JP2010239327A (ja) 会議装置、会議支援方法、会議支援プログラム
CN113891002B (zh) 拍摄方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170606

RJ01 Rejection of invention patent application after publication