CN103631365A - 一种终端输入控制方法及装置 - Google Patents

Abstract

本发明公开了一种终端输入控制方法及装置，用以丰富终端输入控制方式，为用户提供更加自然、直观的交互操作。其中，所述终端输入控制方法，包括：利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；识别所述实时图像中的眨眼操作；以及确定眼仁区域相对于眼白区域的位置信息；根据眨眼操作或者根据眨眼操作和所述位置信息确定终端输入操作。

Description

一种终端输入控制方法及装置

技术领域

本发明涉及终端操作控制技术领域，尤其涉及一种终端输入控制方法及装置。

背景技术

随着终端技术，尤其是移动终端技术的不断发展，终端功能越来越强大,终端输入控制方式也越来越方便、自然、友好。目前，大部分终端都支持以下三类输入方式：

1)键盘输入：键盘是最常用也是最主要的输入设备，通过键盘，可以将上下左右方向控制、英文字母、数字、标点符号等输入到终端中，从而向终端发出命令、输入数据等。

2)触摸屏输入

随着大屏幕的移动终端技术的不断发展，现在的触摸屏技术已经比较成熟，支持单点和多点触摸输入，使用起来简单方便，并能为使用者带来良好的用户体验。

3)语音输入

随着语音识别技术的不断发展与成熟，语音输入为移动终端提供了一种更加方便、智能的人机交互途径。

通过上述多种输入方式，用户可以实现点击、上下左右滑动、放大、缩小、旋转等各种信息输入操作。为了更加方便用户与终端之间的交互操作，丰富终端输入控制方式，提供一种新的终端输入控制方式成为现有技术亟待解决的技术问题之一。

发明内容

本发明实施例提供一种终端输入控制方法及装置，用以丰富终端输入控制方式，为用户提供更加自然、直观的交互操作。

本发明实施例提供一种终端输入控制方法，包括：

利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；

识别所述实时图像中的眨眼操作；以及

确定眼仁区域相对于眼白区域的位置信息；

根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。

本发明实施例提供一种终端输入控制装置，包括：

第一识别单元，用于利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；

第二识别单元，用于识别所述实时图像中的眨眼操作；

第一确定单元，用于确定眼仁区域相对于眼白区域的位置信息；

第二确定单元，用于根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。

本发明实施例提供的终端输入控制方法及装置，通过摄像头识别出眼球区域，该眼球区域包括眼白区域和眼仁区域，根据识别出的眨眼操作，并结合眼仁区域相对于眼白区域的位置信息，来确定终端输入操作。本发明实施例中，将基于传统的计算机视觉的眼球识别技术应用于终端，并基于眼球动作识别对终端输入进行控制，提供了一种新的终端输入控制方法，丰富了终端输入控制方式，为用户提供了更加自然、直观的交互操作。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本发明实施例中，终端输入控制方法的实施流程示意图；

图2为本发明实施例中，为眼白和眼仁颜色采集示意图；

图3本发明实施例中，眼白区域划分示意图；

图4为本发明实施例中，眼仁区域相对于眼白区域的位置信息示意图；

图5为本发明实施例中，终端输入控制装置的结构示意图。

具体实施方式

为了丰富终端输入控制方式，为用户提供更加自然、直观的交互操作，本发明实施例提供了一种终端输入控制方法及装置。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，为本发明实施例提供的终端输入控制方法的实施流程示意图，包括以下步骤：

S101、利用摄像头获得的实时图像，识别该实时图像中的眼球区域；

其中，眼球区域包括眼白区域和眼仁区域。具体实施时，由于人的眼白和眼仁的颜色各不相同，为了提高眼球区域识别准确度，在用户首次使用通过眼球运动控制终端输入方式时，需要采集眼白和眼仁的颜色并存储相应的眼白颜色信息和眼球颜色信息。如图2所示，为眼白颜色信息和眼仁颜色信息采集示意图，具体的，首先启动移动终端摄像头，并使人脸正对移动终端的摄像头，其次，分别将眼球和眼仁放置在移动终端显示界面的小方框内，以采集眼白和眼仁的颜色，对准后，移动终端记录眼白颜色和眼仁颜色，为了便于描述，分别以Cr1和Cr2表示眼白颜色信息和眼仁颜色信息。

这样，当用户使用眼球运动控制终端输入时，利用摄像头实时获得的图像，根据记录的眼白颜色信息和眼仁颜色信息，在图像中识别可能的眼白区域和眼仁区域，当检测到与记录的眼白颜色信息匹配的区域时，确定该区域为准眼白区域，当检测到与记录的眼仁颜色信息匹配的区域时，确定该区域为准眼仁区域。由于人有两只眼睛，因此，一般可以识别出2个眼白区域和2个眼仁区域，但是，由于颜色识别受光线影响比较大，容易出现识别错误，因此，实际识别出的眼白及眼仁区域可能超过2个。较佳地，为了解决上述问题，本发明实施例中，可以按照以下方式进一步确定识别出的准眼白区域和准眼仁区域是否为真正的眼白区域和眼仁区域：

定义识别出的每一准眼白区域的外接矩形为Rw_i（i=1,2,3……），任一准眼白区域的外接矩形的四个顶点坐标分别为LTw_i(LTwx_i,LTwy_i)，RTw_i(RTwx_i,RTwy_i)，LBw_i(LBwx_i,LBwy_i)，RBw_i(RBwx_i,RBwy_i)，其中，LTw_i，RTw_i，LBw_i，RBw_i分别为该准眼白区域外接矩形的左上、右上、左下、右下顶点的坐标，通常来说，LTwx_i＝LBwx_i，RTwx_i＝RBwx_i，LTwy_i＝RTwy_i，LBwy_i＝RBwy_i。基于此，可以确定眼白区域中心点坐标Ew_i（Ewx_i，Ewy_i）分别为：

$\mathrm{Ew}{x}_i=\frac{\frac{|{\mathrm{LTwx}}_i+{\mathrm{RTwx}}_i|}{2}+\frac{|{\mathrm{LBwx}}_i+{\mathrm{RBwx}}_i|}{2}}{2};$

$\mathrm{Ew}{y}_i=\frac{\frac{|{\mathrm{LTwy}}_i+{\mathrm{RTwy}}_i|}{2}+\frac{|{\mathrm{LBwy}}_i+{\mathrm{RBwy}}_i|}{2}}{2}.$

定义识别出的每一准眼仁区域的外接矩形为Rk_i（i=1,2,3……），任一准眼仁区域的外接矩形的四个顶点坐标分别为LTk_i(LTkx_i,LTky_i)，RTk_i(RTkx_i,RTky_i)，LBk_i(LBkx_i,LBky_i)，RBk_i(RBkx_i,RBky_i)，其中，LTk_i，RTk_i，LBk_i，RBk_i分别为该准仁白区域外接矩形的左上、右上、左下、右下顶点的坐标，通常来说，LTkx_i＝LBkx_i，RTkx_i＝RBkx_i，LTky_i＝RTky_i，LBky_i＝RBky_i。基于此，可以确定眼白区域中心点坐标Ek_i（Ekx_i，Eky_i）分别为：

$\mathrm{Ek}{x}_i=\frac{\frac{|{\mathrm{LTkx}}_i+{\mathrm{RTkx}}_i|}{2}+\frac{|{\mathrm{LBkx}}_i+{\mathrm{RBkx}}_i|}{2}}{2};$

$\mathrm{Ek}{y}_i=\frac{\frac{|{\mathrm{LTky}}_i+{\mathrm{RTky}}_i|}{2}+\frac{|{\mathrm{LBky}}_i+{\mathrm{RBky}}_i|}{2}}{2}.$

由于眼仁区域应当位于眼白区域内部，据此，针对识别出的每一准眼仁区域，计算该眼仁区域与每一眼白区域的位置关系，若该眼仁区域的中心点位于某一眼白区域的外接矩形内部时，则将该准眼仁区域和该准眼白区域形成配对，形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域。例如，当该准眼仁区域的中心点坐标与某一准眼白区域的外接矩形四个顶点坐标满足以下条件时，可以确定该准眼仁区域位于该准眼白区域内部：LBwx_i＜Ekx_i＜RBwx_i且LBwy_i＜Eky_i＜LTwy_i。

较佳地，具体实施时，为了进一步提高识别准确度，还可以结合眼球形状特征进行判断。由于眼球形状为椭圆形，而人脸上有多个椭圆形状特征，例如，嘴唇等，因此，摄像头获得的图像中可能包含多个符合椭圆形状的区域S_i（i=1，2,3……）。具体的，可以将识别出形状为椭圆形的区域S_i与存储的眼球（眼白）区域进行一一比对，计算S_i的中心点Sp_i与眼白区域中心点Ew_i之间的距离，假设Sp_i坐标为(Spx_i,Spy_i)，则两点之间的距离d为：

若d小于等于预设阈值，确定该椭圆形的区域为眼球区域。

S102、识别实时图像中的眼睛眨眼操作；

一次眨眼即一次闭眼和睁眼，根据摄像头获得的图像，当在图像中检测不到眼仁区域时，可以确定为闭眼操作，后续在检测到眼仁区域时，可以确定这一过程为眨眼操作。本发明实施例中，将眨眼操作作为一种触发条件，即每次在识别出眨眼操作之后，结合眼球运动来判断终端输入操作。

S103、确定眼仁区域相对于眼白区域的位置信息；

为了实现通过识别眼球运动来控制终端输入操作的目的，如图3所示，本发明实施例中，将眼白区域划分为以下九个区域，分别为：静止区域、上区域、下区域、左区域、右区域、左上区域、左下区域、右上区域和右下区域，通过判断眼仁区域的中心点位于那一区域内，可以确定出眼仁区域相对于眼白区域的位置信息，具体的，当眼仁区域的中心点位于眼白区域的静止区域时，确定眼仁区域相对于眼白区域的位置信息为静止；当眼仁区域的中心点位于眼白区域的上区域时，确定眼仁区域相对于眼白区域的位置信息为上；当眼仁区域的中心点位于眼白区域的下区域时，确定眼仁区域相对于眼白区域的位置信息为下；当眼仁区域的中心点位于眼白区域的左区域时，确定眼仁区域相对于眼白区域的位置信息为左；当眼仁区域的中心点位于眼白区域的右区域时，确定眼仁区域相对于眼白区域的位置信息为右；当眼仁区域的中心点位于眼白区域的左上区域时，确定眼仁区域相对于眼白区域的位置信息为左上；当眼仁区域的中心点位于眼白区域的左下区域时，确定眼仁区域相对于眼白区域的位置信息为左下；当眼仁区域的中心点位于眼白区域的右上区域时，确定眼仁区域相对于眼白区域的位置信息为右上；当眼仁区域的中心点位于眼白区域的右下区域时，确定眼仁区域相对于眼白区域的位置信息为右下，如图4所示，为眼仁区域相对于眼白区域的位置信息示意图。

S104、根据眨眼操作或者根据眨眼操作和确定出的位置信息确定终端输入操作。

具体实施时，为了保证终端输入控制的可靠性，本发明实施例中，对于眨眼操作中的闭眼时长大于等于预设时长阈值时，才判断为识别出一次眨眼操作，若闭眼时长小于预设时长阈值时，将判断为误操作而忽略，其中预设时长阈值可以根据实际需要确定，主要原则为大于人眼的正常眨眼时长，例如，可以设置为1s。

较佳地，本发明实施例中，根据眨眼操作可以实现以下两种终端输入操作：

操作一、在首次识别出眨眼操作时，确定终端输入操作为触发类似触摸屏的接触事件，当在预设时间间隔内再次识别出眨眼操作时，确定终端输入操作为触发类似触摸屏的非接触事件；

操作二、在预设时间间隔内，连续识别出两次眨眼事件时，确定终端输入操作为点击操作。

需要说明的是，方式二中的预设时间间隔可以设置的小于操作一种的预设时间间隔，例如，在小于4s内两次识别出眨眼操作时，确定终端u操作为点击操作，而在首次识别出眨眼操作后超过4s的时间内，再次识别出眨眼操作时，可以确定终端输入操作为触发类似触摸屏的非接触事件。

对于操作二，本发明实施例中，可以按照以下步骤执行：

步骤一、在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；

步骤二、若首次闭眼时长大于等于预设时长阈值，且在预设时间间隔内再次识别到眨眼操作，记录再次眨眼操作的再次闭眼时长；

步骤三、若再次闭眼时长大于等于预设时长阈值，确定终端输入操作为点击操作。

具体实施时，根据眨眼操作和眼仁区域相对于眼白区域的位置信息可以实现以下三种终端输入操作：

操作三滑动操作

在一定的时间间隔内，当首次识别出眨眼操作时，触发类似触摸屏的接触事件，同时，根据眼仁区域相对于眼白区域的位置信息，开始执行类似触摸屏的上、下、左、右4个方向的滑动操作，当再次识别出眨眼操作时，触发类似触摸屏的非接触事件，结束上、下、左、右滑动操作，其中，操作三中的时间间隔可以设置的稍长，这是因为短时间内不经意的眨眼是很难控制的，设置的时间间隔稍长，可以过滤掉一些不经意的眨眼，例如，时间间隔可以设置为4秒。

基于此，本发明实施例中，可以按照以下步骤执行：

步骤一、记录首次眨眼操作的首次闭眼时长；

步骤二、若首次闭眼时长大于等于预设时长阈值，且若眼仁区域相对于眼白区域的位置信息为上，确定终端输入操作为向上滑动操作；若眼仁区域相对于眼白区域的位置信息为下，确定终端输入操作为向下滑动操作；若眼仁区域相对于眼白区域的位置信息为左，确定终端输入操作为向左滑动操作；若眼仁区域相对于眼白区域的位置信息为右，确定终端输入操作为向右滑动操作。

更佳地，还可以包括以下步骤：

步骤四、在首次识别出眨眼操作时，记录首次识别出眨眼操作的时间；

步骤五、在预设时间间隔内再次识别出眨眼操作时，记录在此眨眼操作的再次闭眼时长；

步骤六、若再次闭眼时长大于等于预设时长阈值，结束当前终端输入操作。

操作四放大操作和缩小操作

具体实施时，当用户将移动终端靠近脸部时，利用摄像头获得的图像中的眼白区域比移动终端远离脸部时要大，因此，通过检测眼白区域的大小变化，可以实现类似触摸屏操作的放大、缩小操作。例如，在一定的时间间隔内，当首次识别出眨眼操作时，触发类似触摸屏的接触事件，开始记录眼白区域的大小Aw1，当再次识别出眨眼操作时，记录眼白区域的大小Aw2，比较Aw1和Aw2，若Aw1>Aw2，执行放大操作，若Aw1<Aw2，执行缩小操作。其中，时间间隔的设置方式与上述操作三中类似，这里不再赘述。

基于此，本发明实施例中，可以按照以下步骤执行：

步骤一、在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；

步骤二、若首次闭眼时长大于等于预设时长阈值，记录眼白区域大小第一参数值；

步骤三、在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；

步骤四、若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域大小第二参数值；

步骤五、比较第一参数值与第二参数值，若第一参数值大于第二参数值，确定终端输入操作为放大操作，若第一参数值小于第二参数值，确定终端输入操作为缩小操作。

操作五旋转操作

具体实施时，当用户头部左转或者右转时，利用摄像头获得的图像中的眼白区域的长轴也会发生一定角度的旋转，因此，通过检测眼白区域长轴的旋转角度变化，可以实现类似触摸屏的旋转操作。例如，在预设时间间隔内，当首次识别出眨眼操作时，触发类似触摸屏的接触事件，记录眼白区域长轴Line1，当再次识别出眨眼操作时，记录眼白区域长轴Line2，如果Line2相对于line1的旋转角度大于0时，执行顺时针旋转操作，如果Line2相对于line1的旋转角度小于0时，执行逆时针旋转操作。

具体实施时，由于两只眼球运动趋势和方向都是一致的，因此，只需要通过识别一个眼球的运动来确定终端输入操作。两外，由于用户通常会在移动的过程中使用移动终端，这就不可避免地带来抖动，影响通过眼球运动控制终端输入的可靠性，容易引起误操作，抖动的主要特点是移动距离比较小，即两个位置之间的距离比较小和移动速度比较快，即从一个位置移动到另一个位置之间的时间比较短，针对抖动的以上两个特点，本发明实施例中，可以采用以下方法检测抖动，并在采用眼球运动控制终端输入操作过程中，过滤掉这些抖动。例如，当满足以下条件时，可以识别为抖动： $\sqrt{{({\mathrm{Ewx}}_1-{\mathrm{Ewx}}_2)}^2+{({\mathrm{Ewy}}_1-{\mathrm{Ewy}}_2)}^2}\&times;|\mathrm{Pi}1-\mathrm{Pi}2|<\mathrm{Ts},$ 其中，(Ewx₁,Ewy₁)为移动前眼白区域外接矩形中心点坐标，(Ewx₂,Ewy₂)为移动后眼白区域外接矩形中心点坐标，Pi1、Pi2分别代表移动前后的时间值，Ts为预设抖动阈值，即当同时满足移动距离较小和移动速度较快这两个条件时，识别为抖动，并忽略此操作，以避免一些误操作。

本发明实施例中，通过识别摄像头获得的实时图像中的眨眼操作以及眼仁区域相对于眼白区域的位置，来控制终端执行不同的输入操作，从而能够解放用户双手，为终端输入提供了一种新的输入控制方式，实现了更加自然、直观的交互操作。

基于同一发明构思，本发明实施例中还提供了一种终端输入控制装置，由于该装置解决问题的原理与上述终端输入控制方法相似，因此该装置的实施可以参见的终端输入控制方法的实施，重复之处不再赘述。

如图5所示，为本发明实施例提供的终端输入控制装置的结构示意图，包括：

第一识别单元501，用于利用摄像头获得的实时图像，识别该实时图像中的眼球区域，其中，眼球区域包括眼白区域和眼仁区域；

第二识别单元502，用于识别实时图像中的眨眼操作；

第一确定单元503，用于确定眼仁区域相对于眼白区域的位置信息；

第二确定单元504，用于根据眨眼操作或者根据眨眼操作和所述位置信息确定终端输入操作。

具体实施时，第一识别单元501，可以包括：

第一确定子单元，用于根据存储的眼白颜色信息和眼仁颜色信息，确定与存储的眼白颜色信息匹配的区域为准眼白区域，确定与存储的眼仁颜色信息匹配的区域为准眼仁区域；以及分别确定确定每一准眼白区域的外接矩形和每一准眼仁区域的中心点；

配对子单元，用于针对每一准眼仁区域，若该准眼仁区域的中心点位于任一准眼白区域的外接矩形内部，形成准眼仁区域和准眼白区域配对；

第二确定子单元，用于确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域。

其中，第二确定子单元，还可以用于在确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域之前，确定与该准眼仁区域形成配对的准眼白区域的中心点；并确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等于预设距离阈值。

具体实施时，眼白区域包括静止区域、上区域、下区域、左区域、右区域、左上区域、左下区域、右上区域和右下区域，基于此，第一确定单元502，可以包括：

第三确定子单元，用于确定眼仁区域的中心点；

第四确定子单元，用于当眼仁区域的中心点位于眼白区域的静止区域时，确定眼仁区域相对于眼白区域的位置信息为静止；当眼仁区域的中心点位于眼白区域的上区域时，确定眼仁区域相对于眼白区域的位置信息为上；当眼仁区域的中心点位于眼白区域的下区域时，确定眼仁区域相对于眼白区域的位置信息为下；当眼仁区域的中心点位于眼白区域的左区域时，确定眼仁区域相对于眼白区域的位置信息为左；当眼仁区域的中心点位于眼白区域的右区域时，确定眼仁区域相对于眼白区域的位置信息为右；当眼仁区域的中心点位于眼白区域的左上区域时，确定眼仁区域相对于眼白区域的位置信息为左上；当眼仁区域的中心点位于眼白区域的左下区域时，确定眼仁区域相对于眼白区域的位置信息为左下；当眼仁区域的中心点位于眼白区域的右上区域时，确定眼仁区域相对于眼白区域的位置信息为右上；当眼仁区域的中心点位于眼白区域的右下区域时，确定眼仁区域相对于眼白区域的位置信息为右下。

具体实施时，第二确定单元504，可以包括：

第一记录子单元，用于记录首次眨眼操作的首次闭眼时长；

第五确定子单元，用于若首次闭眼时长大于等于预设时长阈值，且若眼仁区域相对于眼白区域的位置信息为上，确定终端输入操作为向上滑动操作；若眼仁区域相对于眼白区域的位置信息为下，确定终端输入操作为向下滑动操作；若眼仁区域相对于眼白区域的位置信息为左，确定终端输入操作为向左滑动操作；若眼仁区域相对于眼白区域的位置信息为右，确定终端输入操作为向右滑动操作。

或者，具体实施时，第二确定单元504，可以包括：

第二记录子单元，用于在首次识别出眨眼操作时，记录首次识别出眨眼操作的时间；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；

结束子单元，用于若再次闭眼时长大于等于预设时长阈值，结束当前终端输入操作。

或者，第二确定单元504，可以包括：

第三记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，记录眼白区域大小第一参数值；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域大小第二参数值；

第一比较子单元，用于比较第一参数值与第二参数值，若第一参数值大于第二参数值，确定终端输入操作为放大操作，若第一参数值小于第二参数值，确定终端输入操作为缩小操作。

或者，第二确定单元504，可以包括：

第四记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，记录眼白区域第一长轴值；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域第二长轴值；

第二比较子单元，用于比较第一长轴值与第二长轴值，若第一长轴值相对于第二长轴值的旋转角度大于0，确定终端输入操作为顺时针旋转操作；若第一长轴值相对于第二长轴值的旋转角度小于0，确定终端输入操作为逆时针旋转操作。

或者，第二确定单元504可以包括：

第五记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，且在预设时间间隔内再次识别到眨眼操作，记录再次眨眼操作的再次闭眼时长；

第六确定子单元，用于若再次闭眼时长大于等于所述预设时长阈值，确定终端输入操作为点击操作。

本发明实施例提供的终端输入控制方法及装置，通过摄像头识别出眼球区域，该眼球区域包括眼白区域和眼仁区域，根据识别出的眨眼操作，并结合眼仁区域相对于眼白区域的位置信息，来确定终端输入操作。本发明实施例中，将基于传统的计算机视觉的眼球识别技术应用于终端，并基于眼球动作识别对终端输入进行控制，提供了一种新的终端输入控制方法，丰富了终端输入控制方式，为用户提供了更加自然、直观的交互操作。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种终端输入控制方法，其特征在于，包括：

利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；

识别所述实时图像中的眨眼操作；以及

确定眼仁区域相对于眼白区域的位置信息；

根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。

2.如权利要求1所述的方法，其特征在于，利用摄像头获得的图像，识别眼睛的眼球区域，具体包括：

根据存储的眼白颜色信息和眼仁颜色信息，确定与存储的眼白颜色信息匹配的区域为准眼白区域，确定与存储的眼仁颜色信息匹配的区域为准眼仁区域；

确定每一准眼白区域的外接矩形；以及

确定每一准眼仁区域的中心点；

针对每一准眼仁区域，若该准眼仁区域的中心点位于任一准眼白区域的外接矩形内部，形成准眼仁区域和准眼白区域配对；

确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域。

3.如权利要求2所述的方法，其特征在于，确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域之前，还包括：

确定与该准眼仁区域形成配对的准眼白区域的中心点；并

确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等于预设距离阈值。

4.如权利要求1所述的方法，其特征在于，所述眼白区域包括静止区域、上区域、下区域、左区域、右区域、左上区域、左下区域、右上区域和右下区域；以及

确定眼仁区域相对于眼白区域的位置信息，具体包括：

确定眼仁区域的中心点；

当眼仁区域的中心点位于眼白区域的静止区域时，确定眼仁区域相对于眼白区域的位置信息为静止；

当眼仁区域的中心点位于眼白区域的上区域时，确定眼仁区域相对于眼白区域的位置信息为上；

当眼仁区域的中心点位于眼白区域的下区域时，确定眼仁区域相对于眼白区域的位置信息为下；

当眼仁区域的中心点位于眼白区域的左区域时，确定眼仁区域相对于眼白区域的位置信息为左；

当眼仁区域的中心点位于眼白区域的右区域时，确定眼仁区域相对于眼白区域的位置信息为右；

当眼仁区域的中心点位于眼白区域的左上区域时，确定眼仁区域相对于眼白区域的位置信息为左上；

当眼仁区域的中心点位于眼白区域的左下区域时，确定眼仁区域相对于眼白区域的位置信息为左下；

当眼仁区域的中心点位于眼白区域的右上区域时，确定眼仁区域相对于眼白区域的位置信息为右上；

当眼仁区域的中心点位于眼白区域的右下区域时，确定眼仁区域相对于眼白区域的位置信息为右下。

5.如权利要求4所述的方法，其特征在于，根据眼睛眨眼操作和所述位置区域信息确定终端输入操作，具体包括：

记录首次眨眼操作的首次闭眼时长；

若首次闭眼时长大于等于预设时长阈值，且

若眼仁区域相对于眼白区域的位置信息为上，确定终端输入操作为向上滑动操作；

若眼仁区域相对于眼白区域的位置信息为下，确定终端输入操作为向下滑动操作；

若眼仁区域相对于眼白区域的位置信息为左，确定终端输入操作为向左滑动操作；

若眼仁区域相对于眼白区域的位置信息为右，确定终端输入操作为向右滑动操作。

6.如权利要求5所述的方法，其特征在于，还包括：

在首次识别出眨眼操作时，记录首次识别出眨眼操作的时间；以及

在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；

若再次闭眼时长大于等于预设时长阈值，结束当前终端输入操作。

7.如权利要求1所述的方法，其特征在于，根据眼睛眨眼操作和所述位置区域信息确定终端输入操作，具体包括：

在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；

若首次闭眼时长大于等于预设时长阈值，记录眼白区域大小第一参数值；

在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；

若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域大小第二参数值；

比较第一参数值与第二参数值，若第一参数值大于第二参数值，确定终端输入操作为放大操作，若第一参数值小于第二参数值，确定终端输入操作为缩小操作。

8.如权利要求1所述的方法，其特征在于，根据眼睛眨眼操作和所述位置区域信息确定终端输入操作，具体包括：

在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；

若首次闭眼时长大于等于预设时长阈值，记录眼白区域第一长轴值；

在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；

若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域第二长轴值；

比较第一长轴值与第二长轴值，若第一长轴值相对于第二长轴值的旋转角度大于0，确定终端输入操作为顺时针旋转操作；若第一长轴值相对于第二长轴值的旋转角度小于0，确定终端输入操作为逆时针旋转操作。

9.如权利要求1所述的方法，其特征在于，根据眼睛眨眼操作确定终端输入操作，具体包括：

在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；

若首次闭眼时长大于等于预设时长阈值，且

在预设时间间隔内再次识别到眨眼操作，记录再次眨眼操作的再次闭眼时长；

若再次闭眼时长大于等于所述预设时长阈值，确定终端输入操作为点击操作。

10.一种终端输入控制装置，其特征在于，包括：

第一识别单元，用于利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；

第二识别单元，用于识别所述实时图像中的眨眼操作；

第一确定单元，用于确定眼仁区域相对于眼白区域的位置信息；

第二确定单元，用于根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。

11.如权利要求10所述的装置，其特征在于，所述第一识别单元，包括：

第一确定子单元，用于根据存储的眼白颜色信息和眼仁颜色信息，确定与存储的眼白颜色信息匹配的区域为准眼白区域，确定与存储的眼仁颜色信息匹配的区域为准眼仁区域；以及分别确定确定每一准眼白区域的外接矩形和每一准眼仁区域的中心点；

配对子单元，用于针对每一准眼仁区域，若该准眼仁区域的中心点位于任一准眼白区域的外接矩形内部，形成准眼仁区域和准眼白区域配对；

第二确定子单元，用于确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域。

12.如权利要求11所述的装置，其特征在于，

所述第二确定子单元，还用于在确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域之前，确定与该准眼仁区域形成配对的准眼白区域的中心点；并确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等于预设距离阈值。

13.如权利要求10所述的装置，其特征在于，所述眼白区域包括静止区域、上区域、下区域、左区域、右区域、左上区域、左下区域、右上区域和右下区域；以及

所述第一确定单元，包括：

第三确定子单元，用于确定眼仁区域的中心点；

第四确定子单元，用于当眼仁区域的中心点位于眼白区域的静止区域时，确定眼仁区域相对于眼白区域的位置信息为静止；当眼仁区域的中心点位于眼白区域的上区域时，确定眼仁区域相对于眼白区域的位置信息为上；当眼仁区域的中心点位于眼白区域的下区域时，确定眼仁区域相对于眼白区域的位置信息为下；当眼仁区域的中心点位于眼白区域的左区域时，确定眼仁区域相对于眼白区域的位置信息为左；当眼仁区域的中心点位于眼白区域的右区域时，确定眼仁区域相对于眼白区域的位置信息为右；当眼仁区域的中心点位于眼白区域的左上区域时，确定眼仁区域相对于眼白区域的位置信息为左上；当眼仁区域的中心点位于眼白区域的左下区域时，确定眼仁区域相对于眼白区域的位置信息为左下；当眼仁区域的中心点位于眼白区域的右上区域时，确定眼仁区域相对于眼白区域的位置信息为右上；当眼仁区域的中心点位于眼白区域的右下区域时，确定眼仁区域相对于眼白区域的位置信息为右下。

14.如权利要求13所述的装置，其特征在于，所述第二确定单元，包括：

第一记录子单元，用于记录首次眨眼操作的首次闭眼时长；

第五确定子单元，用于若首次闭眼时长大于等于预设时长阈值，且若眼仁区域相对于眼白区域的位置信息为上，确定终端输入操作为向上滑动操作；若眼仁区域相对于眼白区域的位置信息为下，确定终端输入操作为向下滑动操作；若眼仁区域相对于眼白区域的位置信息为左，确定终端输入操作为向左滑动操作；若眼仁区域相对于眼白区域的位置信息为右，确定终端输入操作为向右滑动操作。

15.如权利要求14所述的装置，其特征在于，所述第二确定单元，包括：

第二记录子单元，用于在首次识别出眨眼操作时，记录首次识别出眨眼操作的时间；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；

结束子单元，用于若再次闭眼时长大于等于预设时长阈值，结束当前终端输入操作。

16.如权利要求10所述的装置，其特征在于，所述第二确定单元，包括：

第三记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，记录眼白区域大小第一参数值；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域大小第二参数值；

第一比较子单元，用于比较第一参数值与第二参数值，若第一参数值大于第二参数值，确定终端输入操作为放大操作，若第一参数值小于第二参数值，确定终端输入操作为缩小操作。

17.如权利要求10所述的装置，其特征在于，所述第二确定单元，包括：

第四记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，记录眼白区域第一长轴值；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域第二长轴值；

第二比较子单元，用于比较第一长轴值与第二长轴值，若第一长轴值相对于第二长轴值的旋转角度大于0，确定终端输入操作为顺时针旋转操作；若第一长轴值相对于第二长轴值的旋转角度小于0，确定终端输入操作为逆时针旋转操作。

18.如权利要求10所述的装置，其特征在于，所述第二确定单元，包括：

第五记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，且在预设时间间隔内再次识别到眨眼操作，记录再次眨眼操作的再次闭眼时长；

第六确定子单元，用于若再次闭眼时长大于等于所述预设时长阈值，确定终端输入操作为点击操作。

Images