CN103324290A - 终端设备及其眼睛操控方法 - Google Patents

Abstract

本发明公开了一种终端设备及其眼睛操控方法，所述眼睛操控方法包括步骤：获取眼睛注视于屏幕的注视位置，以及眼睛注视于该注视位置时预设时间内的眨眼动作；根据预设的眨眼动作与操控指令的对应关系，判断获取的眨眼动作是否有对应的操控指令；若是，则触发对应的操控指令。由于在注视屏幕时还辅以眨眼动作来触发操控，因此不容易产生误操作；同时眨眼动作种类繁多，因此操控范围广。从而极大的拓展了眼睛对终端设备的操控范围，实现了眼睛对终端设备的随意操控，彻底解放了人的双手，极大的提升了用户体验。

Description

终端设备及其眼睛操控方法

技术领域

本发明涉及通信技术领域，尤其是涉及一种终端设备及其操控方法。

背景技术

目前针对终端设备的屏幕解锁方式主要有触控解锁、感应解锁、面部识别解锁，而对于终端设备的操作主要是触控操作和键盘操作，均必须借助人手操作。现有技术中有一种利用眼睛进行屏幕解锁的方法，其通过获取眼睛注视于屏幕的注视位置，并检测注视位置处是否有相应的指令，若有相应的指令则触发该指令，从而解锁屏幕，实现了解锁时解放人的双手的目的。

然而该方法中，在眼睛注视到屏幕的某个位置时，就相应的触发该位置处的指令，当屏幕上的指令分布较多时，极易引起误操作；而且其操控方式极其单一，对于终端设备的操控范围极小，因此只能用于屏幕解锁，无法在解锁后对终端设备进行其他操控。因此现有技术中，眼睛对终端设备的操控范围极其狭小。

发明内容

本发明的主要目的在于提供一种终端设备及其眼睛操控方法，旨在拓展眼睛对终端设备的操控范围，实现眼睛对终端设备的随意操控。

为达以上目的，本发明提出一种终端设备的眼睛操控方法，包括步骤：

获取眼睛注视于屏幕的注视位置，以及眼睛注视于该注视位置时预设时间内的眨眼动作；

根据预设的眨眼动作与操控指令的对应关系，判断获取的眨眼动作是否有对应的操控指令；

若是，则触发对应的操控指令。

优选地，所述获取眼睛注视于所述注视位置时预设时间内的眨眼动作包括：

在眼睛注视于所述注视位置时的预设时间内，检测双眼或单眼的眼球消失的次数或者眼睑闭合的次数，据此获取眨眼动作。

优选地，所述预设时间包括第一子预设时间和第二子预设时间，所述获取眼睛注视于所述注视位置时预设时间内的眨眼动作包括：

待眼睛注视于所述注视位置第一子预设时间后，获取眼睛继续注视于该注视位置时第二子预设时间内的眨眼动作。

优选地，所述获取眼睛注视于屏幕的注视位置的步骤之前还包括：

接收到眼睛操控功能启动指令后，启动所述眼睛操控功能。

优选地，所述眨眼动作包括双眼眨动及其眨动次数或单眼眨动及其眨动次数。

本发明同时提出一种终端设备，包括获取模块、设置模块、存储模块和识别模块，其中：

获取模块，用于获取眼睛注视于屏幕的注视位置，以及眼睛注视于该注视位置时预设时间内的眨眼动作；

设置模块，用于设置眨眼动作与操控指令的对应关系并存储于所述存储模块；

识别模块，用于根据所述存储模块中的眨眼动作与操控指令的对应关系，判断所述获取模块获取的眨眼动作是否有对应的操控指令；若是，则触发对应的操控指令。

优选地，所述获取模块用于：

在眼睛注视于所述注视位置时的预设时间内，通过检测双眼或单眼的眼球消失的次数或者眼睑闭合的次数来获取眨眼动作。

优选地，所述预设时间包括第一子预设时间和第二子预设时间，所述获取模块用于：

待眼睛注视于所述注视位置第一子预设时间后，获取眼睛继续注视于该注视位置时第二子预设时间内的眨眼动作。

优选地，所述终端设备还包括开关模块，其用于接收到眼睛操控功能开启或关闭指令后，开启或关闭所述眼睛操控功能。

本发明所提供的一种眼睛操控方法，通过获取眼睛注视于屏幕的注视位置以及注视于该注视位置时的眨眼动作，匹配出于该眨眼动作对应的操控指令，进而触发该操控指令。由于在注视屏幕时还辅以眨眼动作来触发操控，因此不容易产生误操作；同时眨眼动作种类繁多，因此操控范围广。从而极大的拓展了眼睛对终端设备的操控范围，实现了眼睛对终端设备的随意操控，彻底解放了人的双手，极大的提升了用户体验。

附图说明

图1是本发明的眼睛操控方法第一实施例的流程图；

图2是本发明的眼睛操控方法第二实施例的流程图；

图3是本发明的终端设备第一实施例的结构框图；

图4是本发明的终端设备第二实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明所述的终端设备，包括固定终端如台式计算机和移动终端如手机、平板电脑等，终端设备的屏幕可以是触摸屏，也可以是非触摸屏。

参见图1，提出本发明的终端设备的眼睛操控方法第一实施例，所述眼睛操控方法包括以下步骤：

步骤S101、设置眨眼动作与操控指令的对应关系。

眨眼动作与操控指令的对应关系可以出厂预设置并存储于终端设备，之后用户可以重新自定义设置；或者由用户首次使用时自定义设置。终端设备通过设置界面一步步引导用户对眨眼动作与操控指令的对应关系进行自定义设置，设置完成后存储于终端设备。所述眨眼动作包括双眼眨动及其眨动的次数或单眼眨动及其眨动的次数，眨动次数为N次，且N为大于等于0的自然数。所述操控指令包括激活、选中、拾取或删除眼睛注视于屏幕的注视位置处的对象或放置已拾取的对象于所述注视位置处，或者取消上一次操作、返回上一级菜单或返回主界面等。其中，激活注视位置处的对象是指，当对象为应用程序时，启动相应的应用程序；当对象为指令图标时，触发相应的指令。

建立眨眼动作与操控指令的对应关系。例如，双眼眨动0次的眨眼动作对应选中注视位置处的对象的操控指令，双眼眨动1次的眨眼动作对应激活注视位置处的对象的操控指令，双眼眨动2次的眨眼动作对应拾取注视位置处的对象的操控指令，双眼眨动3次的眨眼动作对应将拾取的对象放置于注视位置处的操控指令，双眼眨动4次的眨眼动作对应删除注视位置处的对象的操控指令，单眼眨动1次的眨眼动作对应取消上一次操作的操控指令，单眼眨动2次的眨眼动作对应返回上一级菜单的操控指令，单眼眨动3次的眨眼动作对应返回主界面的操控指令等等。设置好对应关系后，将对应关系存储于终端设备。

对于单眼眨动，还可以进一步细分右眼或左眼眨动及其眨动的次数，或者右眼和左眼交替眨动的次数等，甚至还可以设置双眼眨动和单眼眨动的组合动作，从而可进一步拓宽眼睛操控的范围。例如，左右眼交替眨动1次的眨眼动作对应退出应用的操控指令。

步骤S102、获取眼睛注视于屏幕的注视位置。

终端设备可利用摄像头或红外线获取用户的眼睛注视于屏幕的注视位置，本发明优选摄像头及相应的分析计算单元来获取注视位置。

步骤S103、获取眼睛注视于所述注视位置时预设时间内的眨眼动作。

实时检测眼睛对着注视位置做出的眨眼动作，如是否双眼眨动以及眨动多少次，是否单眼眨动以及眨动的次数。对于单眼眨动，如果设置对应关系时还细分了左眼和右眼眨动，则进一步检测是否左眼眨动以及眨动的次数，是否右眼眨动以及眨动的次数，是否左右眼交替眨动以及眨动的次数，甚至双眼眨动和单眼眨动的组合动作等等。眨眼动作的获取，可以通过摄像头或红外线检测双眼或单眼的眼球消失的次数，或者双眼或单眼的眼睑闭合的次数等方式，来获取眨眼动作。为了避免人眼无意间扫描屏幕而导致误操作，本发明还进一步将上述眨眼动作限制在预设预设时间内作出，如在眼睛注视于屏幕的注视位置起3～5S内作出上述眨眼动作。

步骤S104、判断获取的眨眼动作是否有对应的操控指令。

查询终端设备中存储的眨眼动作与操控指令的对应关系，判断当前获取的眨眼动作是否有匹配的操控指令，如果没有，则不做响应，返回步骤S102重新检测下一个眨眼动作；如果有匹配的操控指令，则进入步骤S105。

步骤S105、触发对应的操控指令。

获取的眨眼动作为双眼眨动0次，其对应的操控指令为选中注视位置处的对象，则触发操控指令选中注视位置处的对象；获取的眨眼动作为双眼眨动1次，其对应的操控指令为激活注视位置处的对象，则触发操控指令激活注视位置处的对象，如启动应用程序、触发相应的指令等；获取的眨眼动作为双眼眨动2次，其对应的操控指令为拾取注视位置处的对象，则触发操控指令拾取注视位置处的对象；获取的眨眼动作为双眼眨动3次，其对应的操控指令为将拾取的对象放置于注视位置处，则触发操控指令将拾取的对象放置于注视位置处；获取的眨眼动作为双眼眨动4次，其对应的操控指令为删除注视位置处的对象，则触发操控指令删除注视位置处的对象；获取的眨眼动作为单眼眨动1次，其对应的操控指令为取消上一次操作的操控指令，则触发操控指令取消上一次操作；获取的眨眼动作为单眼眨动2次，其对应的操控指令为返回上一级菜单，则触发操控指令返回上一级菜单；获取的眨眼动作为单眼眨动3次，其对应的操控指令为返回主界面，则触发操控指令返回主界面；获取的眨眼动作为左右眼交替眨动1次，其对应的操控指令为退出应用，则触发操控指令退出应用。

以利用眼睛对屏幕进行解锁为例。对于滑动解锁，眼睛注视滑动图标双眼眨动2次以拾取该滑动图标，然后眼睛再注视上下左右任一解锁位置处双眼眨动3次以将拾取的滑动图标放置于解锁位置，从而实现解锁。对于指令图标解锁，眼睛注视指令图标双眼眨动1次以激活该指令图标，进而触发解锁指令实现对屏幕解锁。对于图案解锁，眼睛依次注视解锁图案的各个解锁点双眼眨动1次，依次激活各个解锁点实现解锁。

终端设备解锁进入主界面后，眼睛注视任意应用图标双眼眨动1次，则启动相应的应用程序，进入应用程序后左右眼交替眨动一次则退出该应用程序。眼睛注视图库中的图片双眼眨动0次（即持续凝视3～5S），则选中该图片，然后注视相应的指令图标双眼眨动1次以对图片进行相应的操作，或者单眼眨动1次以取消选中的图片，或者注视图片双眼眨动4次以删除该图片。

参见图2，提出本发明终端设备的眼睛操控方法第二实施例，所述眼睛操控方法包括以下步骤：

步骤S201、设置眨眼动作与操控指令的对应关系。

出厂设置或者用户自定义设置眨眼动作与操控指令的对应关系。设置方法与上述实施例类似，在此不再赘述。

步骤S202、启动眼睛操控功能。

为进一步防止误操作，避免终端设备将用户不经意扫视屏幕的行为误识别为用户对终端设备的操控，本实施例在利用眼睛进行操控前，还需要启动眼睛操控功能，终端设备才能对眨眼动作进行识别。当用户需要启用眼睛操控功能时，向终端设备发送眼睛操控功能启动指令，可以通过触发物理键盘上的预设按键启动眼睛操控功能，或者触摸屏幕上的预设位置启动眼睛操控功能，亦或者轻轻摇动终端设备启动眼睛操控功能。当终端设备接收到启动指令后，启动眼睛操控功能，开始执行后续步骤。

此外，关闭眼睛操控功能也可以采用上述方式。

步骤S203、获取眼睛注视于屏幕的注视位置。

步骤S204、待眼睛注视于所述注视位置第一子预设时间后，获取眼睛在第二子预设时间内的眨眼动作。

为了避免用户无意间扫过屏幕时眨动眼睛而导致误操作，本实施例设置了一个缓冲时间，即在眼睛停留于屏幕的某个注视位置一段时间后，且眼睛还在继续注视该注视位置时，才开始检测其眨眼动作，从而避免误操作。所述第一子预设时间可以设置为1S左右，第二子预设时间待第一子预设时间计时结束后再开始计时3～5S。即待眼睛停留于注视位置达1S左右的第一子预设时间后，且眼睛继续注视着该注视位置时，再在3～5S内的第二子预设时间内获取眼睛的眨眼动作。

步骤S205、判断获取的眨眼动作是否有对应的操控指令。

步骤S206、触发对应的操控指令。

步骤S205～步骤S206与上述实施例中步骤S104～步骤S105相同，在此不再赘述。

据此，本发明的眼睛操控方法，通过获取眼睛注视于屏幕的注视位置以及注视于该注视位置时的眨眼动作，匹配出于该眨眼动作对应的操控指令，进而触发该操控指令。由于在眼睛注视屏幕时还辅以眨眼动作来触发操控，因此不容易产生误操作；同时眨眼动作种类繁多，因此操控范围广。从而极大的拓展了眼睛对终端设备的操控范围，实现了眼睛对终端设备的随意操控，彻底解放了人的双手，极大的提升了用户体验。

参见图3，提出本发明的终端设备第一实施例，所述终端设备包括设置模块110、获取模块140、存储模块120和识别模块130，其中;

设置模块110：用于设置眨眼动作与操控指令的对应关系并存储于所述存储模块。设置模块110通过设置界面一步步引导用户对眨眼动作与操控指令的对应关系进行自定义设置。所述眨眼动作包括双眼眨动及其眨动的次数或单眼眨动及其眨动的次数，眨动次数为N次，且N为大于等于0的自然数。所述操控指令包括激活、选中、拾取或删除眼睛注视于屏幕的注视位置处的对象或放置已拾取的对象于所述注视位置处，或者取消上一次操作、返回上一级菜单或返回主界面等。其中，激活注视位置处的对象是指，当对象为应用程序时，启动相应的应用程序；当对象为指令图标时，触发相应的指令。

设置模块110建立眨眼动作与操控指令的对应关系。例如，双眼眨动0次的眨眼动作对应选中注视位置处的对象的操控指令，双眼眨动1次的眨眼动作对应激活注视位置处的对象的操控指令，双眼眨动2次的眨眼动作对应拾取注视位置处的对象的操控指令，双眼眨动3次的眨眼动作对应将拾取的对象放置于注视位置处的操控指令，双眼眨动4次的眨眼动作对应删除注视位置处的对象的操控指令，单眼眨动1次的眨眼动作对应取消上一次操作的操控指令，单眼眨动2次的眨眼动作对应返回上一级菜单的操控指令，单眼眨动3次的眨眼动作对应返回主界面的操控指令等等。设置好对应关系后，将对应关系存储于终端设备。

对于单眼眨动，还可以进一步细分右眼或左眼眨动及其眨动的次数，或者右眼和左眼交替眨动的次数等，甚至还可以设置双眼眨动和单眼眨动的组合动作，从而可进一步拓宽眼睛操控的范围。例如，左右眼交替眨动1次的眨眼动作对应退出应用的操控指令。

获取模块140：用于获取眼睛注视于屏幕的注视位置，以及眼睛注视于该注视位置时预设时间内的眨眼动作。获取模块140利用摄像头或红外线及其相应的分析计算单元来获取用户的眼睛注视于屏幕的注视位置，并在眼睛注视于所述注视位置的预设时间（如3～5S）内，通过检测双眼或单眼的眼球消失的次数，或者双眼或单眼的眼睑闭合的次数等方式，来获取眨眼动作。

获取模块140实时检测眼睛对着注视位置做出的眨眼动作，如是否双眼眨动以及眨动多少次，是否单眼眨动以及眨动的次数。对于单眼眨动，如果设置模块110设置对应关系时还细分了左眼和右眼眨动，则进一步检测是否左眼眨动以及眨动的次数，是否右眼眨动以及眨动的次数，是否左右眼交替眨动以及眨动的次数，甚至双眼眨动和单眼眨动的组合动作等等。

进一步，为了避免用户无意间扫过屏幕时眨动眼睛而导致误操作，本实施例设置了一个缓冲时间，即在眼睛停留于屏幕的某个注视位置一段时间后，且眼睛还在继续注视该注视位置时，才开始检测其眨眼动作。具体的，所述预设时间包括第一子预设时间和第二子预设时间，所述第一子预设时间可以设置为1S左右，第二子预设时间待第一子预设时间计时结束后再开始计时3～5S。获取模块140待眼睛停留于注视位置达1S左右的第一子预设时间后，且检测到眼睛继续注视着该注视位置时，再在3～5S内的第二子预设时间内获取眼睛的眨眼动作。从而有效避免了误操作，提高了终端设备的可靠性。

识别模块130：用于根据所述存储模块120中的眨眼动作与操控指令的对应关系，判断所述获取模块140获取的眨眼动作是否有对应的操控指令；若是，则触发对应的操控指令；若否，则不作响应。

所述识别模块130通过查询眨眼动作与操控指令的对应关系，来匹配出与当前获取的眨眼动作对应的操控指令，进而触发对应的操控指令。如：获取的眨眼动作为双眼眨动0次，其对应的操控指令为选中注视位置处的对象，则触发操控指令选中注视位置处的对象；获取的眨眼动作为双眼眨动1次，其对应的操控指令为激活注视位置处的对象，则触发操控指令激活注视位置处的对象，如启动应用程序、触发相应的指令等；获取的眨眼动作为双眼眨动2次，其对应的操控指令为拾取注视位置处的对象，则触发操控指令拾取注视位置处的对象；获取的眨眼动作为双眼眨动3次，其对应的操控指令为将拾取的对象放置于注视位置处，则触发操控指令将拾取的对象放置于注视位置处；获取的眨眼动作为双眼眨动4次，其对应的操控指令为删除注视位置处的对象，则触发操控指令删除注视位置处的对象；获取的眨眼动作为单眼眨动1次，其对应的操控指令为取消上一次操作的操控指令，则触发操控指令取消上一次操作；获取的眨眼动作为单眼眨动2次，其对应的操控指令为返回上一级菜单，则触发操控指令返回上一级菜单；获取的眨眼动作为单眼眨动3次，其对应的操控指令为返回主界面，则触发操控指令返回主界面；获取的眨眼动作为左右眼交替眨动1次，其对应的操控指令为退出应用，则触发操控指令退出应用。

以利用眼睛对本发明中的终端设备的屏幕进行解锁为例。对于滑动解锁，眼睛注视滑动图标双眼眨动2次以拾取该滑动图标，然后眼睛再注视上下左右任一解锁位置处双眼眨动3次以将拾取的滑动图标放置于解锁位置，从而实现解锁。对于指令图标解锁，眼睛注视指令图标双眼眨动1次以激活该指令图标，进而触发解锁指令实现对屏幕解锁。对于图案解锁，眼睛依次注视解锁图案的各个解锁点双眼眨动1次，依次激活各个解锁点实现解锁。

终端设备解锁进入主界面后，眼睛注视任意应用图标双眼眨动1次，则启动相应的应用程序，进入应用程序后左右眼交替眨动一次则退出该应用程序。眼睛注视图库中的图片双眼眨动0次（即持续凝视3～5S），则选中该图片，然后注视相应的指令图标双眼眨动1次以对图片进行相应的操作，或者单眼眨动1次以取消选中的图片，或者注视图片双眼眨动4次以删除该图片。

参见图4，提出本发明的终端设备第二实施例，本实施例与上一实施例的区别在于增加了开关模块150，所述开关模块150用于实时监测眼睛操控功能的开启或关闭指令，在接收到相应的指令后，则开启或关闭获取模块140，进而实现开启或关闭终端设备的眼睛操控功能。可以通过触发物理键盘上的预设按键、触摸屏幕上的预设位置或者轻轻摇动终端设备等方式向开关模块150发送开启或关闭指令。从而用户可以随时开启或关闭眼睛操控功能，进一步防止误操作，提高终端设备的可靠性。

据此，本发明的终端设备，通过获取模块140获取眼睛注视于屏幕的注视位置以及注视于该注视位置时的眨眼动作，识别模块130匹配出与该眨眼动作对应的操控指令，从而触发该操控指令。由于在眼睛注视屏幕时还辅以眨眼动作来触发操控，因此不容易产生误操作；同时眨眼动作种类繁多，因此操控范围广。从而极大的拓展了眼睛对终端设备的操控范围，实现了眼睛对终端设备的随意操控，彻底解放了人的双手，极大的提升了用户体验。

应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种终端设备的眼睛操控方法，其特征在于，包括步骤：

获取眼睛注视于屏幕的注视位置，以及眼睛注视于该注视位置时预设时间内的眨眼动作；

根据预设的眨眼动作与操控指令的对应关系，判断获取的眨眼动作是否有对应的操控指令；

若是，则触发对应的操控指令。

2.根据权利要求1所述的眼睛操控方法，其特征在于，所述获取眼睛注视于所述注视位置时预设时间内的眨眼动作包括：

在眼睛注视于所述注视位置时的预设时间内，检测双眼或单眼的眼球消失的次数或者眼睑闭合的次数，据此获取眨眼动作。

3.根据权利要求1所述的眼睛操控方法，其特征在于，所述预设时间包括第一子预设时间和第二子预设时间，所述获取眼睛注视于所述注视位置时预设时间内的眨眼动作包括：

待眼睛注视于所述注视位置第一子预设时间后，获取眼睛继续注视于该注视位置时第二子预设时间内的眨眼动作。

4.根据权利要求1-3所述的眼睛操控方法，其特征在于，所述获取眼睛注视于屏幕的注视位置的步骤之前还包括：

接收到眼睛操控功能启动指令后，启动所述眼睛操控功能。

5.根据权利要求1-3任一项所述的眼睛操控方法，其特征在于，所述眨眼动作包括双眼眨动及其眨动次数或单眼眨动及其眨动次数。

6.一种终端设备，其特征在于，包括获取模块、设置模块、存储模块和识别模块，其中：

获取模块，用于获取眼睛注视于屏幕的注视位置，以及眼睛注视于该注视位置时预设时间内的眨眼动作；

设置模块，用于设置眨眼动作与操控指令的对应关系并存储于所述存储模块；

识别模块，用于根据所述存储模块中的眨眼动作与操控指令的对应关系，判断所述获取模块获取的眨眼动作是否有对应的操控指令；若是，则触发对应的操控指令。

7.根据权利要求6所述的终端设备，其特征在于，所述获取模块用于：

在眼睛注视于所述注视位置时的预设时间内，通过检测双眼或单眼的眼球消失的次数或者眼睑闭合的次数来获取眨眼动作。

8.根据权利要求6所述的终端设备，其特征在于，所述预设时间包括第一子预设时间和第二子预设时间，所述获取模块用于：

待眼睛注视于所述注视位置第一子预设时间后，获取眼睛继续注视于该注视位置时第二子预设时间内的眨眼动作。

9.根据权利要求6-8任一项所述的终端设备，其特征在于，所述终端设备还包括开关模块，其用于接收到眼睛操控功能开启或关闭指令后，开启或关闭所述眼睛操控功能。

10.根据权利要求6-8任一项所述的终端设备，其特征在于，所述眨眼动作包括双眼眨动及其眨动次数或单眼眨动及其眨动次数。

Images