CN110554768A - 一种智能穿戴设备控制方法、设备和计算机可读存储介质 - Google Patents

一种智能穿戴设备控制方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110554768A
CN110554768A CN201810556831.5A CN201810556831A CN110554768A CN 110554768 A CN110554768 A CN 110554768A CN 201810556831 A CN201810556831 A CN 201810556831A CN 110554768 A CN110554768 A CN 110554768A
Authority
CN
China
Prior art keywords
wearable device
intelligent wearable
control instruction
user
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810556831.5A
Other languages
English (en)
Inventor
李�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201810556831.5A priority Critical patent/CN110554768A/zh
Publication of CN110554768A publication Critical patent/CN110554768A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种智能穿戴设备控制方法、智能穿戴设备,本发明提供的智能穿戴设备通过执行智能穿戴设备控制方法实现了智能穿戴设备非触控方式的操控方式;本发明提供的智能穿戴设备控制方法包括:采集用户眼部动作,处理得到用户眼部动作识别结果,根据眼部动作识别结果与对应的设别控制指令进行匹配,实现对设备相应指令的操控;本发明还公开了一种计算机可读取存储介质,通过实施上述方案,解决了用户无法进行点触操控时的非触控式操控。

Description

一种智能穿戴设备控制方法、设备和计算机可读存储介质
技术领域
本发明实施例涉智能穿戴设备领域,更具体地说,涉及一种智能穿戴设备控制方法、智能穿戴设备和计算机可读存储介质。
背景技术
近年来,随着移动互联网的发展、技术进步和高性能低功耗处理器的推出,智能穿戴已经开始逐渐普及,智能穿戴设备泛指内嵌在服装中,或以饰品、随身佩戴物品形态存在的电子通信内设备,具体来说,智能穿戴设备是把信息的采集、记录、存储、显示、传输、分析、解决方案等功能与我们的日常穿戴向结合,成为我们穿戴的一部分。智能穿戴设备具备两个特点:首先它是一种拥有计算、存储或传输功能的硬件终端;其次它创新性地将多媒体、传感器和无线通信等技术嵌入人们的生活中便于携带,并能创造出颠覆式的应用和交互体验。
目前,人们日常生活中最常接触的智能穿戴设备是智能手表,智能手表是以环状形态佩戴于人手腕上的一种设备,因为其体积小、方便携带和贴近生活习惯的特点成为了人们智能穿戴设备的首选,但是,智能手表因为体积小,导致其上设置的操作键以及触控屏幕较小,导致用户在智能手表上的操控不方便。同时智能手表会牺牲一只手作为操控手会导致另一只手被占用的情况下无法操控设备;因此针对上述问题,提出一种智能穿戴设备上的控制方法变得十分重要。
发明内容
本发明的目的在于提供了一种智能穿戴设备控制方法、智能穿戴设备和计算机可读存储介质,解决现有技术中智能穿戴设备操控不便的问题。
为解决上述技术问题,本发明提供了一种智能穿戴设备控制方法,智能穿戴设备控制方法包括:
采集智能穿戴设备当前使用的用户的眼部动作;
根据预设的眼部动作与设备控制指令对应关系,对采集到的的所述眼部动作与所对应的设备控制指令进行匹配;
若匹配成功,则根据匹配到的设备控制指令对智能穿戴设备进行控制。
可选的,眼部动作与设备控制指令对应关系中包括:眼部动作与设备状态控制指令对应关系;
眼部动作与设备状态控制指令对应关系中至少包括以下设备状态控制指令中的至少一种:
用于智能穿戴设备亮屏的亮屏控制指令;
用于智能穿戴设备解锁的解锁控制指令;
用于智能穿戴设备锁屏的锁屏控制指令;
用于智能穿戴设备关机的关机控制指令。
可选的,眼部动作与设备控制指令对应关系中包括:眼部动作与设备页面控制指令对应关系;
眼部动作与设置页面控制指令对应关系中至少包括以下设备页面控制指令中的至少一种:
用于控制智能穿戴设备的预设显示页面上移的页面上滑控制指令;
用于控制智能穿戴设备的预设显示页面下移的页面下滑控制指令;
用于控制智能穿戴设备的预设显示页面向后翻页的页面后翻控制指令;
用于控制智能穿戴设备的预设显示页面向前翻页的页面前翻控制指令;
用于控制智能穿戴设备的预设显示页面返回预设位置页面的页面返回控制指令。
可选的,眼部动作与设备控制指令对应关系中包括:眼部动作与设备应用控制指令对应关系;
眼部动作与设备应用控制指令对应关系中至少包括以下设备应用控制指令中的至少一种:
用于控制在智能穿戴设备的预设界面上进行应用图标选择的应用选择控制指令;
用于控制在智能穿戴设备上被选中应用开启的应用开启控制指令;
用于控制在智能穿戴设备上被选中应用的开启应用菜单的开启应用菜单控制指令。
可选的,眼部动作与设备控制指令对应关系中包括:眼部动作与设备及时消息通知控制指令对应关系;
眼部动作与设备及时消息通知控制指令对应关系中至少包括以下设备及时消息通知控制指令中的至少一种:
用于控制接听智能穿戴设备通话的通话接听控制指令;
用于控制挂断智能穿戴设备通话的通话挂断控制指令;
用于控制智能穿戴设备回复快捷短信息的回复快捷短消息控制指令;
用于控制显示智能穿戴设备上消息通知的通知显示控制指令;
用于控制清除智能穿戴设备上消息通知的通知清除控制指令。
可选的,眼部动作与设备控制指令对应关系中,至少包括以下眼部动作中的至少一种:
眨眼动作;
眼球移动动作。
可选的,眼部动作包括眨眼动作时,眨眼动作包括一下眨眼信息中的至少一种:
预设单眼在预设时间内的眨眼次数;
双眼联合在预设时间内的眨眼次数及顺序;
眼部动作包括眼球移动动作时,眼球移动动作包括以下眼球移动信息中的至少一种:
预设单眼的眼球移动方向和移动速度中的至少一种;
双眼眼球的移动组合,所述移动组合包括眼球移动方向、移动速度中的至少一种的组合。
可选的,眼部动作包括眨眼动作时,采集智能穿戴设备当前使用的用户当前的眼部动作包括:
当采集到用户发生眨眼动作时,获取该眨眼动作中眼睑从闭上到睁开的持续时间,在获取的持续时间值大于预设眨眼持续时间阈值时,将该眨眼动作计为有效眨眼动作;否则,将该眨眼动作作为无效眨眼动作。
进一步的,本发明还提供了一种智能穿戴设备,智能穿戴设备包括处理器、存储器以及通信总线;
通信总线用于实现所述处理器与所述存储器之间的通信连接;
处理器用于执行存储器中存储的一个或者多个程序,以实现上述任一项的智能穿戴设备控制方法的步骤。
进一步的,本发明还提供了一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现上述任一项的智能穿戴设备控制方法的步骤。
本发明的有益效果是:
本发明实施例提供了一种智能穿戴设备控制方法、智能穿戴设备,包括:采集智能穿戴设备当前使用的用户的眼部动作,并将眼部动作与设备内对应的设备控制指令进行匹配,匹配完成以后根据匹配得到的设备控制指令执行影响的设备控制操作,实现了根据用户的眼部动作对智能穿戴设备进行操作控制,避免用户采用传统的触控或按键操作需要占用另外一只手,或因智能穿戴设备体积较小等因素导致的操作不便的问题,既丰富了智能穿戴设备的操控方式,又能在很大程度上提升用户体验满意度。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为实现本发明各实施例的可选智能穿戴设备的硬件结构示意图;
图2为本发明实施例一中的智能穿戴设备控制方法的流程图;
图3为本发明实施例二中的智能穿戴设备从唤醒到进行用户眼部动作识别过程的流程图;
图4为本发明实施例二中的智能穿戴设备处于解锁界面并且解锁成功时用户眼部动作识别结果对应的操控方式;
图5为本发明实施例二中的智能穿戴设备处于桌面时用户眼部动作识别结果对应的操控方式;
图6为本发明实施例二中的智能穿戴设备处于应用软件内时用户眼部动作识别结果对应的操控方式;
图7为本发明实施例三中的智能手表的主视图;
图8为本发明实施例三中的智能手表处于解锁界面时的显示内容演示图;
图9为本发明实施例三中的智能手表处于桌面时的显示内容演示图;
图10为本发明实施例三中的智能手表处于应用软件内时的显示内容演示图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
此处的智能穿戴设备可以以各种能够佩戴到手臂上的设备来实施。例如,本发明中描述的智能穿戴设备可以包括诸如智能手表、智能手环、具备弯折功能能够佩戴到手臂上的手机、佩戴到手臂上具备投影功能的手环等智能穿戴设备,之后的智能穿戴设备在后续描述中将根据具体的实施例进行一些变化。
请参阅图1,其为实现本发明各个实施例的一种智能穿戴设备的硬件结构示意图,该智能穿戴设备100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的智能穿戴设备结构并不构成对智能穿戴设备的限定,智能穿戴设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
智能穿戴设备100可以是一个独立的设备,同时也可以和手机、平板、便携式电脑等移动终端配对进行数据和信息的共享,具体的,当智能穿戴设备100为一独立设备时,智能穿戴设备100具备和外界进行数据和信息交换的能力,包括,通过安装SIM卡或e-SIM卡的方式与外界其他设备进行语音和短信的接收和发送功能,通过SIM卡或e-SIM卡的数据流量功能进行数据交换,当处于WIFI环境中时还可以通过连接WIFI的方式实现数据交换;当智能穿戴设备100与其他移动终端进行配对时,配对设备需经过同一用户的身份认证,认证通过以后才能进行配对,配对成功以后智能穿戴设备能够与其他移动终端进行信息和数据的共享,设备之间通过蓝牙连接。
下面结合图1对智能穿戴设备的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯***)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)等。
WiFi属于短距离无线传输技术,智能穿戴设备通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于智能穿戴设备的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在智能穿戴设备100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与智能穿戴设备100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
智能穿戴设备100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度;运动传感器可在智能穿戴设备100检测到用户放下手臂时,关闭显示面板1061和/或背光作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与智能穿戴设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括眼部动作采集模块1071以及其他输入设备1072。眼部动作采集模块1071又包括:摄像头和虹膜识别模组;
摄像头用于智能穿戴设备100的人脸识别解锁、拍摄、扫描二维码和光线充足情况下对人眼部动作识别的功能,具体的,当智能穿戴设备100在光线充足的情况下显示单元被点亮以后,摄像头检测用户是否看向屏幕,若是,则启动人脸识别指令,对识别到的脸部特征与本机内存储器109存储的用户脸部特征进行比对,比对通过实现设备的解锁,解锁成功以后进行人眼部动作的识别,根据识别到的眼部动作结果执行***预设的操控;当智能穿戴设备100打开拍摄界面时,摄像头作为拍照和视频录制的输入设备;当需要扫描二维码时,***会调用摄像头对二维码进行识别;
虹膜识别模组用于智能穿戴设备100的虹膜识别解锁、支付和安全认证时的个人身份认证,以及光线不足情况下对人眼部动作识别的功能,为了实现光线不足情况下的虹膜识别,优选的虹膜识别模组为红外辅助识别红外模组;具体的,当智能穿戴设备100在光线不足的情况下显示单元106被点亮以后,虹膜识别模组检测用户是否看向屏幕,若是,则启动虹膜识别指令,对识别到的虹膜特征与本机内存储器109中存储的用户虹膜特征进行比对,比对通过实现设备的解锁,解锁成功以后进行人眼部动作的识别,根据识别到的眼部动作结果执行***预设的操控;当智能穿设备需要进行支付时,提醒用户进行虹膜识别,识别通过完成支付;当设备进行配对操作等需要进行身份认证的操作时,提醒用户进行虹膜识别,识别通过执行相应的操作。
除了眼部动作采集模块1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于触摸屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
接口单元108用作至少一个外部装置与智能穿戴设备100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到智能穿戴设备100内的一个或多个元件或者可以用于在智能穿戴设备100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是智能穿戴设备的控制中心,利用各种接口和线路连接整个智能穿戴设备的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行智能穿戴设备的各种功能和处理数据,从而对智能穿戴设备进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器、调制解调处理器和神经网络处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信,神经网络处理器用于处理和识别用户眼部动作。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
智能穿戴设备100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理***与处理器110逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,智能穿戴设备100还可以包括蓝牙模块等,在此不再赘述。
为了便于理解本发明实施例,下面对本发明的智能穿戴设备所基于用户眼部动作识别并进行设备控制的过程进行描述。
当设备眼部识别模块处于运行状态以后,眼部识别模块开始采集用户眼部视频,并将视频通过视屏总线发送到处理器110,处理器110将采集到的用户眼部视屏分配给内部的神经网络处理器单元进行处理;
神经网络处理器单元对采集到的用户眼部视屏图像进行分析的出相应的图像分析结果,包括:眨眼动作、眨眼次数、眨眼顺序、眨眼持续时间和眼球移动方向等结果,之后将处理结果发送给处理器110,处理器110将得到的处理结果与存储器109内存储的设备控制指令进行匹配,匹配成功执行对应的设备控制指令实现对智能穿戴设备的控制。
基于上述智能穿戴设备硬件结构以及智能穿戴设备控制过程,提出本发明方法各个实施例。
实施例一:
本实施例提供的智能穿戴设备控制方法可通过根据用户的眼部动作实现对智能穿戴设备的智能控制,相对现有传统的触控操作或物理按键操作,其至少具备应用场景广,受外界因素干扰小的优点。其中,一种示例的智能穿戴设备控制方法参见图2所示,包括:
S201:采集智能穿戴设备当前用户的眼部动作;
本实施例中对智能穿戴设备当前用户的眼部动作进行采集时,可以采用智能穿戴设备自身的采集模块进行采集,也可采用其他可与智能穿戴设备通信连接的设备进行眼部动作的采集,这些设备可将采集到的眼部动作发给与之通信连接的智能穿戴设备。例如当智能穿戴设备与手机等智能终端配对连接时,则可通过智能终端对用户的眼部动作进行采集,并将采集到的眼部动作(可以是智能设备对采集到的数据进行分析之后得到的有效部分的数据,也可以是智能设备采集的原始数据)发给智能穿戴设备。
S202:根据预设的眼部动作与设备控制指令对应关系,对采集到的眼部动作与所对应的设备控制指令进行匹配,匹配失败,转至S203;匹配成功,转至S204;
可选地,本实施例中的眼部动作与设备控制指令对应关系可由厂商或应用提供商或用户预先设置,且可选地的可支持用户自定义,或者支持用户动态更新。
另外,本实施例中的眼部动作与设备控制指令对应关系可以存储在智能穿戴设备本地,在需要时智能穿戴设备可直接从本地调用;眼部动作与设备控制指令对应关系也可以存储在网络侧,在需要时智能穿戴设备可从网络侧调用;或者可选地,眼部动作与设备控制指令对应关系也可存储在智能穿戴设备配对连接的手机等智能终端上,在需要时智能穿戴设备可直接从与之配对连接的智能终端上调用。
S203:在匹配失败时,设备提示为无效动作;
可选的,当匹配失败时,设备提示用户当前眼部动作为无效动作,同时设备会将与当前用户所眼部做动作近似的动作提示给用户,方便用户学习和参考。
另外,对上述近似动作的提示用户可以根据需求,例如安全和个人隐私,对用户自定义的动作不进行显示,只对***默认动作进行提示。
S204:在匹配成功时,根据匹配到的设备控制指令对智能穿戴设备进行控制。
本实施例中,具体对智能穿戴设备进行哪些功能的控制可以根据需求灵活设定,且可选地,可支持用户自定义设置或更新等。例如,本实施例中可以对智能穿戴设备的设备状态进行控制,包括:控制智能穿戴设备进行亮屏的指令、控制智能穿戴设备进行解锁的指令、控制智能穿戴设备进行锁屏的指令和控制智能穿戴设备进行关机的指令的至少一种状态进行控制。
本实施例中,具体对智能穿戴设备进行哪些功能的控制可以根据需求灵活设定,且可选地,可支持用户自定义设置或更新等。例如,本实施例中可以对智能穿戴设备所处页面进行控制,包括:控制智能穿戴设备的预设显示页面上移的上滑指令、控制智能穿戴设备的预设显示页面下移的页面下滑控制指令、控制智能穿戴设备的预设显示页面向后翻页的页面后翻控制指令、控制智能穿戴设备的预设显示页面向前翻页的页面前翻控制指令和控制智能穿戴设备的预设显示页面返回预设位置页面的页面返回控制指令的至少一种控制指令进行执行。
本实施例中,具体对智能穿戴设备进行哪些功能的控制可以根据需求灵活设定,且可选地,可支持用户自定义设置或更新等。例如,本实施例中可以对智能穿戴设备中的应用进行控制,包括:控制在智能穿戴设备的预设界面上进行应用图标选择的应用选择控制指令、控制在智能穿戴设备上被选中应用开启的应用开启控制指令、控制在智能穿戴设备上被选中应用的开启应用菜单的开启应用菜单控制指令。
本实施例中,具体对智能穿戴设备进行哪些功能的控制可以根据需求灵活设定,且可选地,可支持用户自定义设置或更新等。例如,本实施例中可以对智能穿戴设备及时消息通知界面进行控制,包括:控制接听智能穿戴设备通话的通话接听控制指令、控制挂断智能穿戴设备通话的通话挂断控制指令、控制智能穿戴设备回复快捷短信息的回复快捷短消息控制指令、控制显示智能穿戴设备上消息通知的通知显示控制指令和控制清除智能穿戴设备上消息通知的通知清除控制指令。
上述对用当前户眼部动作识别的识别结果包括:眨眼动作、眼球移动动作和瞪眼的动作;
识别眨眼动作又包括:左眼在预设时间内的眨眼次数、右眼在预设时间内的眨眼次数和左右眼联合在预设时间内的眨眼次数和眨眼顺序;
需要说明的是,为避免用户自然的无意识的眨眼动作对识别结果产生干扰,在识别用户眼部眨眼动作的同时还需要识别用户眨眼持续的时间,只有当用户眨眼持续的时间大于预设阈值时才将此次动作作为有效动作;
眼球移动动作又包括:眼球的移动方向和移动的速度;
对瞪眼动作进行识别时,需要智能穿戴设备预先记录用户正常情况下睁眼时眼睑的打开角度,当识别到用户的眼部动作眼睑的打开角度大于记录的正常情况下的眼睑打开角度时,则将该眼部动作计为瞪眼动作。
采用本实施例的智能穿戴设备控制方法,采用对当前用户的眼部动作识别来对设备进行操控的方式,实现了对设备非接触式的控制,解决了智能穿戴设备由于触控面积小不方便操控的问题,大大提升了用户体验。
实施例二:
本实施例提供的智能穿戴设备进行唤醒的方式,至少还包括:眼部动作识别控制指令进行唤醒、按键唤醒、语音唤醒和特定动作唤醒的至少一种;本实施例对特定动作唤醒设备方式中的一种经典的动作,识别用户抬腕加翻腕动作唤醒设备进行说明。
参见图3,为本实施例的智能穿戴设备从锁定状态到进行用户眼部识别过程的流程图,包括:
S301、处理器调用加速度传感器数据,检测用户是否存在抬手臂和翻腕的动作,若没有,转至S302;否则,转至S303;
S302、屏幕不被点亮,设备处于锁定状态;
S303、点亮屏幕并根据光线传感器获取的光线强弱信号判断屏幕调整的亮度和眼部识别模块的调用,若光线充足,转至S304;否则,转至S305;;
具体的,根据光线传感器对光线强弱的判断对屏幕亮度的调整采取连续不间断的调整方式,光线变化多少屏幕亮度相应的调整多少;
根据光线传感器对光线强弱的判断对识别模块的调用包括摄像头和虹膜识别模组,当光线传感器获取的光线强度大于***预设值时判断为光线充足,此时调用摄像头进行人脸解锁和采集用户眼部动作;当光线传感器获取的光线强度小于***预设值时判断为光线不充足,此时调用虹膜识别模组进行虹膜识别解锁和采集用户眼部动作,为了实现光线不充足情况下的眼部动作采集功能,虹膜识别模组优选为红外辅助虹膜识别模组。
S304、当光线传感器获取的信号处理结果为光线充足时,智能穿戴设备点亮屏幕以后会调用摄像头进行采集用户眼部动作视频图像的工作;
进一步的,摄像头只对用户眼部动作的视频图像进行采集,视频图像的分析以及控制命令的执行由处理器和寄存器进行处理。
S305、当光线传感器获取的信号处理结果为光线不充足时,智能穿戴设备点亮屏幕以后会调用虹膜识别模组进行采集用户眼部动作视频图像的工作;
进一步的,为了满足光线不充足情况下对用户眼部动作的视频图像采集,虹膜识别模组优选为红外辅助虹膜识别模组,采集到的视频图像为红外视频图像,具体的红外视频图像分析以及控制命令的执行由处理器和寄存器进行处理。
S306、成功调用眼部动作采集模块以后,眼部动作采集模块会捕捉用户眼部动作视频图像传输给处理器进行处理,通过处理结果处理判断用户此时是否看向屏幕,若没有,转至S307;否则,转至S308;;
进一步的,判断用户是否看向屏幕的判断方法为,识别用户眼球中虹膜区域的位置以及角度和屏幕垂直方向上的角度是否处在***预设范围内,若在范围角度内则认为用户是看向屏幕,若不在范围内则认为用户没有看向屏幕。
S307、不执行识别用户脸部特征/虹膜特征指令;
S308、执行识别用户脸部特征/虹膜特征指令,对比识别到的脸部特征/虹膜特征判断是否为本人,若不是,转至S309;否则,转至S310;;
进一步的,判断用户是否为本人的方法包括:摄像头/虹膜识别模块采集用户的眼部图像/虹膜图像,将脸部图像/虹膜图像与存储器内存储的用户之前录入的脸部图像/虹膜图像进行比对,比对结果两者相同特征点符合***预设比例值则判定为用户本人。
S309、显示智能穿戴设备解锁失败,不再进行用户眼部动作识别;
S310,显示智能穿戴设备解锁成功,并继续执行识别用户眼部动作,根据识别结果进行相应的操控。具体的,当设备眼部动作识别模块处与运行状态以后,眼部识别模块开始采集用户眼部动作视频图像,并将视频图像通过网络总线传输给处理器110,处理器110将采集到的用户眼部动作视屏图像分配给内部的神经网络处理器单元进行处理;
神经网络处理器单元对采集到的用户眼部动作视屏图像进行分析得出相应的图像分析结果,然后将处理结果发送给处理器110,处理器110将得到的处理结果与存储器109内存储的设备控制指令进行匹配,匹配成功执行对应的设备控制指令实现对智能穿戴设备的控制。
智能穿戴设备对用户眼部动作识别的结果,至少包括:用户左眼眨眼、用户右眼眨眼、用户双眼眨眼、用户眼球向左移动、用户眼球向右移动、用户眼球向上移动和用户眼球向下移动的至少一种;
具体的识别方式为:摄像头/虹膜识别模块采集用户眼部的视频图像,并将视屏图像传输给处理器内的神经网络处理器进行处理,神经网络处理器将用户眼部视频图像分为左眼图像和右眼图像,左眼图像和右眼图像又分别分为眼睑和眼球,眼睑的闭上和睁开即判断为眨眼动作,眼球以中间的染色区(虹膜和瞳孔)作为定位点,根据染色区位置的移动速度和变化方向判断出用户眼球的移动速度和移动方向。
下面将针对智能穿戴设备的常用的应用场景对本实施例智能穿戴设备的控制方法进行说明,包括:如图4所示,智能穿戴设备处于解锁界面并且解锁成功时用户眼部动作识别结果对应的操控方式T4;如图5所示,智能穿戴设备处于桌面时用户眼部动作识别结果对应的操控方式T5;如图6所示,智能穿戴设备处于应用软件内时用户眼部动作识别结果对应的操控方式T6。
如图4所示,为智能穿戴设备处于解锁界面并且解锁成功时用户眼部动作识别结果对应的操控方式T4,根据用户眼部动作识别结果执行相应的操控包括:
T401,当识别到用户左眼眨眼时,展开智能穿戴设备显示屏上的未读消息通知内的具体内容,便于用户快速读取消息内容;
T402,当识别到用户右眼眨眼时,清除消息通知图片,让显示界面变得更加的简洁;
T403,当识别到用户双眼一起眨眼时,退出解锁界面进入智能穿戴设备上次解锁之前的界面,让用户进入智能穿戴设备进行其他软件的操控,例如通话、发短信和使用第三方应用软件服务等;
T404,当识别到用户眼球向左移动(相当于执行向左滑动的操控),智能穿戴设备进入解锁界面右侧的快捷窗口,例如拍照界面等,便于实现用户快速的进入常用应用软件;
T405,当识别到用户眼球向右移动(相当于执行向右滑动操控),智能穿戴设备进入解锁界面右侧的快捷界面窗口,例如支付宝付款码,通讯录等,便于实现用户访问一些常用信息;
T406,当识别到用户眼球向下移动,当前界面的显示内容向下移动,用于实现当前界面未显示内容的阅读;
T407,当识别到用户眼球向上移动,当前界面的显示内容向上移动,用于实现当前界面未显示内容的阅读;
如图5所示,为智能穿戴设备处于桌面时用户眼部动作识别结果对应的操控方式T5,根据用户眼部动作识别结果执行相应的操控包括:
T501,识别到用户左眼眨眼,点开应用软件选择框内的应用软件,用于实现打开应用的操控;
T502,识别到用户右眼眨眼,点开应用软件悬着框内应用软件的菜单选项,用于实现应用软件的排序和卸载等操控;
T503,识别到用户双眼一起眨眼,应用软件选择框返回到桌面上第一个应用软件,用于实现快速返回应用软件首页;
T504,识别到用户眼球向左移动,应用软件选择框向左移动,用于实现不同应用软件的选择;
T505,识别到用户眼球向右移动,应用软件选择框向右移动,用于实现不同应用软件的选择;
T506,识别到用户眼球向下移动,应用软件选择框向下移动,用于实现不同应用软件的选择;
T507,识别到用户眼球向上移动,应用软件选择框向上移动,用于实现不同应用软件的选择;
如图6所示,为智能穿戴设备处于应用软件内时用户眼部动作识别结果对应的操控方式T6,根据用户眼部动作识别结果执行相应的操控包括:
T601,识别到用户左眼眨眼,点开应用软件内本页面选择框中的网站链接或应用内的子选项,用于实现点击操控;
T602,识别到用户右眼眨眼,返回之前的界面,用于实现返回操控;
T603,识别到用户双眼一起眨眼,返回桌面,用于实现HOME键的功能;
T604,识别到用户眼球向左移动,应用软件内同一显示界面同时存在多个网址链接或应用内子选项时选择框向下一个网址链接或子选项移动,用于实现软件内不同目标的选择;
T605,识别到用户眼球向右移动,应用软件内同一显示界面同时存在多个网址链接或应用内子选项时选择框向上一个网址链接或子选项移动,用于实现软件内不同目标的选择;
T606,识别到用户眼球向下移动,应用软件内显示内容向下移动,用于实现当前界面未显示内容的阅读;
T607,识别到用户眼球向上移动,应用软件内显示内容向上移动,用于实现当前界面未显示内容的阅读;
进一步的,上述执行识别用户眼部指令得到的识别用户眼部动过结果还包括用户眨眼持续时间,眨眼持续时间为眼睑从闭上到睁开所用的时长,当眨眼持续时间在设置范围内时才能触发相应操控,用于避免自然的眨眼动作导致的设备误操控问题。
应当理解,上述举例的智能穿戴设备应用场景并不能代表该设备的全部应用场景,上述眼部动作识别得到的结果也并不代表本发明中给出的全部识别结果,还至少包括:识别用户眨眼顺序、眨眼次数以及它们之间的组合等;同时,上述智能穿戴设备对用户眼部动作识别得到的识别结果进行的对应操控,是为了便于实施例一的阐述所进行的限定,在实际使用过程中,用户可以根据自己的使用习惯进行灵活设置。
采用本实施例的智能穿戴设备控制方法,实现了对用户眼动作的识别,并根据眼部动作识别结果对智能穿戴设备进行响应的控制,实现了对智能穿戴设备非触控方式下的操控方式。
实施例三:
如图7所示,本实施例给出了本发明实施例二在智能手表上的一种实施方案,包括智能手表本体701、显示器702、摄像头703和虹膜识别模组704;
智能手表本体701内安装有图1所示智能穿戴设备100所包含的所有组件、功能模块和单元,包括:射频单元101、WiFi模块102、音频输出单元103、A/V输出单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110和电源111;
显示器702为本智能手表的主要信息输出平台和显示设备;
摄像头703为本智能手表的图像输入设备,用于脸部解锁、眼部动作采集、拍摄和二维码扫描;
虹膜识别模组704用于虹膜识别解锁、眼部动作采集和用户身份认证;
进一步的,上述所用到的虹膜识别模组704为红外辅助虹膜识别模块,包括:LED红外发射器7041和红外感光摄像头7042,LED红外发射器7041用于向用户眼部发射红外线,红外感光摄像头7042用于采集用户眼部的红外图像。
进一步的,上述智能手表本体701内还包括距离传感器和心率传感器,均安装于智能手表本体701的背面与皮肤接触的一面,距离传感器用于检测用户是否将智能手表佩戴到到手上,心率传感器用于监测用户的心跳,可以配合加速度传感器实现对用户健康状况的监测。
当用户将本智能手表佩戴到手臂上以后,加速度传感器开始检测用户运动情况,并传输给处理器110处理,当处理结果为用户抬起手臂并有翻腕的动作时点亮显示器702方便用户查看时间、天气和通知内容等信息,当处理结果为用户放下手臂时关闭显示器702,以达到省电目的的同时提升用户使用体验。
进一步的,当加速度传感器检测到用户的动作结果为用户抬起手臂并有翻腕动作时,显示器702亮起,处理器110根据光线传感器获取到的光线强度数据对显示器702的亮度进行调整,以达到无论用户处于何种光线环境下均能舒适的查看屏幕内容的目的。
进一步的,当加速度传感器检测到用户的动作结果为用户抬起手臂并有翻腕动作时,显示器702亮起,处理器110根据光线传感器获取到的光线强度数据与存储器109中存储的预设数值进行对比,当数据大于预设数值时判定为光线充足,此时会打开摄像头703;当数据小于预设数值时判定为光线不充足,此时会打开虹膜识别模组704。
当显示器702点亮并打开相应的识别模块摄像头703或虹膜识别模组704以后开始对用户眼部动作进行是视频图像采集,传输给处理器110,处理器110会将视频图像分配给神经网络处理器单元进行处理并得出处理结果,当处理哦结果为用户看向屏幕时首先对用户身份进行确认,确认通过解锁成功,内容正常显示;确认不通过解锁失败,根据用户设置情况显示部分内容。
进一步的,当光线充足时打开的是摄像头703,摄像头703首先会采集用户眼部动作视频图像,将用户眼部图像传输给处理器110进行图像分析,当分析结果为用户看向显示器702时,开始记录用户脸部信息,并将用户脸部信息传输给处理器110,处理器110会将此时的脸部信息与存储器109内的加密存储单元中存储的用户脸部信息进行比对,比对通过解锁成功,比对不通过解锁失败。
进一步的,当光线不充足时打开的是虹膜识别模组704,虹膜识别模组704首先会采集用户眼部动作的红外视频图像,将用户眼部视频图像传输给处理器110进行图像分析,当分析结果为用户看向显示器702时,开始记录用户虹膜信息,并将用户虹膜信息传输给处理器110,处理器110此时会调用存储器109中的虹膜识别算法得到虹膜特征数据,并将得到的虹膜特征数据与存储器109内的加密存储单元中存储的用户虹膜特征数据进行比对,比对通过解锁成功,比对不通过解锁失败。
进一步的,上述调用虹膜识别算法识别用户虹膜特征的过程只在使用虹膜进行身份认证时才会进行,当使用虹膜识别模组采集用户眼部动作视频图像时并不会使用该过程。
如图8所示,为本实施例智能手表点亮屏幕以后的解锁界面,包括:解锁界面801、解锁标志802、天气显示区域803、时间显示区域804、日期显示区域805、消息通知显示区域806和页码标志807。
若解锁失败,解锁标志802为锁定状态,消息通知显示区域806为隐藏状态;若解锁成功,则解锁标志802为打开状态,消息通知显示区域806显示未读消息数。
进一步的,当解锁标志802打开,显示为解锁成功以后智能手表开始调用摄像头/虹膜识别模块采集用户眼部动作视频图像,并将用户眼部视频图像传输给处理器110,处理器110对用户眼部视频图像进行处理得出眼部动作识别结果,至少包括:左眼眨眼、右眼眨眼,双眼一起眨眼、眼球向下移动、眼球向上移动、眼球向左移动和眼球向右移动以及用户眨眼的时间的至少一种,并根据用户眼部动作识别结果匹配存储器109内存储的控制指令,同时执行控制指令完成相应的操控,操控方式包括:
当识别到用户左眼眨眼,并且眨眼时间在***预设范围内时,消息通知显示区域806内的未读消息通知的内容便会展开,便于用户查看消息内容;
当识别到用户右眼眨眼,并且眨眼时间在***预设范围内时,会让消息通知显示区域806内的未读消息通知改变为已读状态,从而清除未读标志;
当识别到用户双眼一起眨眼,并且时间在***预设范围内时,此时会退出解锁界面进入智能手表上一次解锁前的界面;
当识别到用户眼球向下移动时,消息通知显示区域806内的显示内容会向下移动,便于用户查看未显示完全的内容;
当识别到用户眼球向上移动时,消息通知显示区域806内的显示内容会向上移动,便于用户返回查看之前的内容;
当识别到用户眼球向左移动时,解锁界面801进入右边的显示界面,可以为拍照界面或者快捷打开应用等;
当识别到用户眼球向右移动时,解锁界面801进入右边的显示界面,可以为便捷按键区、支付码快捷区、运动状态显示区等;
进一步的,上述识别结果对应的控制指令在本发明中并不固定,此处的限定只是为了便于本实施例的说明,在实际情况下,用户可以根据自身习惯对相应动作对应的控制指令进行设置,也包括解锁界面801上的各显示区域布局用户可以进行灵活的改变,还包括当识别到用户做出特定的眨眼动作组合时可以打开预设的软件或到达预设的界面。
如图9所示,为本实施例智能手表点亮屏幕以后的桌面显示界面,包括:桌面主界面901、应用软件902和应用软件选择框903.
当用户进入智能手表的桌面以后,摄像头/虹膜识别模块采集用户眼部动作视频图像,并将用户眼部动作视频图像传输给处理器110,处理器110对用户眼部图像进行处理得出眼部动作识别结果,至少包括:左眼眨眼、右眼眨眼,双眼一起眨眼、眼球向下移动、眼球向上移动、眼球向左移动和眼球向右移动以及用户眨眼的时间的至少一种,并根据眼部动作识别结果选择存储器109内存储的控制指令,同时执行控制指令完成相应的操控,操控方式包括:
当识别到用户左眼眨眼,并且眨眼时间在***预设范围内时,点开应用软件903,用于实现点击操作;
当识别到用户右眼眨眼,并且眨眼时间在***预设范围内时,点开应用软件903的菜单选项,用于实现应用软件903的卸载、移动、编辑和使用快捷按钮等操作;
当识别到用户双眼一起眨眼,并且时间在***预设范围内时,应用软件选择框返回到选择第一个应用软件,当桌面处于编辑状态时还可以实现应用软件的智能排布;
当识别到用户眼球向下移动时,应用软件选择框903向下边的应用软件移动,用于实现不同应用软件的选择;
当识别到用户眼球向上移动时,应用软件选择框903向上边的应用软件移动,用于实现不同应用软件的选择;
当识别到用户眼球向左移动时,应用软件选择框903向左边的应用软件移动,用于实现不同应用软件的选择;
当识别到用户眼球向右移动时,应用软件选择框903向右边的应用软件移动,用于实现不同应用软件的选择;
进一步的,上述识别结果对应的控制指令在本发明中并不固定,此处的限定只是为了便于本实施例的说明,在实际情况下,用户可以根据自身习惯对相应动作对应的控制指令进行设置,也包括解锁界面801上的各显示区域布局用户可以进行灵活的改变,还包括当识别到用户做出特定的眨眼动作组合时可以打开预设的软件或到达预设的界面。
如图10所示,为本实施例智能手表点亮屏幕以后处于其中某一个应用软件内的显示界面,包括:显示界面1001、选择框1002、网址1003、显示文字1004、应用内子选项栏1005和操控菜单栏1006;操控菜单栏1006包括返回按键、HOME按键和多任务按键,操控菜单栏1006用于当用户处于未佩戴状态或者用户选择手动触摸控制模式时实现对智能手表的操控。
当用户进入智能手表的应用软件内以后,摄像头/虹膜识别模块采集用户眼部动作视频图像,并将用户眼部动作视频图像传输给处理器110,处理器110对用户眼部图像进行处理得出眼部动作识别结果,至少包括:左眼眨眼、右眼眨眼,双眼一起眨眼、眼球向下移动、眼球向上移动、眼球向左移动和眼球向右移动以及用户眨眼的时间的至少一种,并根据眼部动作识别结果选择存储器109内存储的控制指令,同时执行控制指令完成相应的操控,操控方式包括:
当识别到用户左眼眨眼,并且眨眼时间在***预设范围内时,点开应用内选择框1002选中的网址,用于实现点击操作;
当识别到用户右眼眨眼,并且眨眼时间在***预设范围内时,应用返回到上一级应用界面,用于实现返回操作;
当识别到用户双眼一起眨眼,并且时间在***预设范围内时,退出应用软件返回桌面,用于实现HOME键的操作;
当识别到用户眼球向下移动时,应用内的选择框1002向下一个网址或可点击的选项移动,用于实现不同选择项目的选择操作;
当识别到用户眼球向上移动时,应用内的选择框1002向上一个网址或可点击的选项移动,用于实现不同选择项目的选择操作;
当识别到用户眼球向左移动时,应用内的子选项栏1005内的子选项选择向左移动,用于实现应用内不同子选项的选择;
当识别到用户眼球向右移动时,应用内的子选项栏1005内的子选项选择向右移动,用于实现应用内不同子选项的选择;
进一步的,上述执行识别结果向左移动对应的操作、向右移动对应的操作和执行识别结果向上移动对应的操作、向右移动对应的操作同时只能存在一种情况,例如:当第一个识别结果为用户眼球向下移动时,应用内选择框1002移动到下一个网址选项;当第二个识别结果为用户眼球向右移动时,选择框1002会移动到子选项的右边一个子选项,而之前网址上的选择框会被取消;当第三个识别结果为用户眼球向上移动时,***会根据第一个操作结果的记录,将选择框返回到上一个网址的位置,此时子选项上的选择框会被取消;当第四个识别结果为用户眼球向左移动时,***会根据第二个操作结果的记录,将选择框返回到之前位置的左边一个子选项,同时网站上的选择框会消失;这样设定的目的在于,避免同一界面上同时出现多个选择框,导致执行确认操作时出现多个不同的结果。
进一步的,上述识别结果对应的控制指令在本发明中并不固定,此处的限定只是为了便于本实施例的说明,在实际情况下,用户可以根据自身习惯对相应动作对应的控制指令进行设置,也包括解锁界面801上的各显示区域布局用户可以进行灵活的改变,还包括当识别到用户做出特定的眨眼动作组合时可以打开预设的软件或到达预设的界面。
应当理解,上述举例的智能手表使用场景并不能代表该设备的全部使用场景,上述眼部动作识别得到的结果也并不代表本发明中给出的全部识别结果,还至少包括:识别用户眨眼顺序、眨眼次数以及它们之间的组合等;同时,上述智能穿戴设备对用户眼部动作识别得到的识别结果进行的对应操作,是为了便于实施例一的阐述所进行的限定,在实际使用过程中,用户可以根据自己的使用习惯进行灵活设置。
本实施例通过在智能手表上对本发明的实施,实现智能手表了对用户眼动作的识别,并根据眼部动作识别结果对智能手表进行相应的控制,实现了对智能手表非触控方式下的操控方式,或用户手被占用情况下对智能手表的操控,大大提升了用户的使用体验。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得智能穿戴设备执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (10)

1.一种智能穿戴设备控制方法,其特征在于,所述智能穿戴设备控制方法包括:
采集智能穿戴设备当前使用的用户的眼部动作;
根据预设的眼部动作与设备控制指令对应关系,对采集到的的所述眼部动作与所对应的设备控制指令进行匹配;
若匹配成功,则根据匹配到的所述设备控制指令对所述智能穿戴设备进行控制。
2.如权利要求1所述的智能穿戴设备控制方法,其特征在于,所述眼部动作与设备控制指令对应关系中包括:眼部动作与设备状态控制指令对应关系;
所述眼部动作与设备状态控制指令对应关系中至少包括以下设备状态控制指令中的至少一种:
用于智能穿戴设备亮屏的亮屏控制指令;
用于智能穿戴设备解锁的解锁控制指令;
用于智能穿戴设备锁屏的锁屏控制指令;
用于智能穿戴设备关机的关机控制指令。
3.如权利要求1所述智能穿戴设备控制方法,其特征在于,所述眼部动作与设备控制指令对应关系中包括:眼部动作与设备页面控制指令对应关系;
所述眼部动作与设置页面控制指令对应关系中至少包括以下设备页面控制指令中的至少一种:
用于控制智能穿戴设备的预设显示页面上移的页面上滑控制指令;
用于控制智能穿戴设备的预设显示页面下移的页面下滑控制指令;
用于控制智能穿戴设备的预设显示页面向后翻页的页面后翻控制指令;
用于控制智能穿戴设备的预设显示页面向前翻页的页面前翻控制指令;
用于控制智能穿戴设备的预设显示页面返回预设位置页面的页面返回控制指令。
4.如权利要求1所述的智能穿戴设备控制方法,其特征在于,所述眼部动作与设备控制指令对应关系中包括:眼部动作与设备应用控制指令对应关系;
所述眼部动作与设备应用控制指令对应关系中至少包括以下设备应用控制指令中的至少一种:
用于控制在智能穿戴设备的预设界面上进行应用图标选择的应用选择控制指令;
用于控制在智能穿戴设备上被选中应用开启的应用开启控制指令;
用于控制在智能穿戴设备上被选中应用的开启应用菜单的开启应用菜单控制指令。
5.如权利要求1所述的智能穿戴设备控制方法,其特征在于,所述眼部动作与设备控制指令对应关系中包括:眼部动作与设备及时消息通知控制指令对应关系;
所述眼部动作与设备及时消息通知控制指令对应关系中至少包括以下设备及时消息通知控制指令中的至少一种:
用于控制接听智能穿戴设备通话的通话接听控制指令;
用于控制挂断智能穿戴设备通话的通话挂断控制指令;
用于控制智能穿戴设备回复快捷短信息的回复快捷短消息控制指令;
用于控制显示智能穿戴设备上消息通知的通知显示控制指令;
用于控制清除智能穿戴设备上消息通知的通知清除控制指令。
6.如权利要求1-5任一项所述的智能穿戴设备控制方法,其特征在于,所述眼部动作与设备控制指令对应关系中,至少包括以下眼部动作中的至少一种:
眨眼动作;
眼球移动动作。
7.如权利要求6所述的智能穿戴设备控制方法,其特征在于,所述眼部动作包括眨眼动作时,所述眨眼动作包括以下眨眼信息中的至少一种:
预设单眼在预设时间内的眨眼次数;
双眼联合在预设时间内的眨眼次数及顺序;
所述眼部动作包括所述眼球移动动作时,所述眼球移动动作包括以下眼球移动信息中的至少一种:
预设单眼的眼球移动方向和移动速度中的至少一种;
双眼眼球的移动组合,所述移动组合包括眼球移动方向、移动速度中的至少一种的组合。
8.如权利要求6所述的智能穿戴设备控制方法,其特征在于,所述眼部动作包括眨眼动作时,所述采集智能穿戴设备当前使用的用户当前的眼部动作包括:
当采集到用户发生眨眼动作时,获取该眨眼动作中眼睑从闭上到睁开的持续时间,在获取的持续时间值大于预设眨眼持续时间阈值时,将该眨眼动作计为有效眨眼动作;否则,将该眨眼动作作为无效眨眼动作。
9.一种智能穿戴设备,其特征在于,所述智能穿戴设备包括处理器、存储器以及通信总线;
所述通信总线用于实现所述处理器与所述存储器之间的通信连接;
所述处理器用于执行所述存储器中存储的一个或者多个程序,以实现如权利要求1-8任一项所述的智能穿戴设备控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-8任一项所述的智能穿戴设备控制方法的步骤。
CN201810556831.5A 2018-05-31 2018-05-31 一种智能穿戴设备控制方法、设备和计算机可读存储介质 Pending CN110554768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810556831.5A CN110554768A (zh) 2018-05-31 2018-05-31 一种智能穿戴设备控制方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810556831.5A CN110554768A (zh) 2018-05-31 2018-05-31 一种智能穿戴设备控制方法、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110554768A true CN110554768A (zh) 2019-12-10

Family

ID=68734491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810556831.5A Pending CN110554768A (zh) 2018-05-31 2018-05-31 一种智能穿戴设备控制方法、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110554768A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552526A (zh) * 2020-03-25 2020-08-18 维沃移动通信有限公司 一种未读消息的处理方法及电子设备
CN111625089A (zh) * 2020-04-28 2020-09-04 宇龙计算机通信科技(深圳)有限公司 智能眼镜控制方法、装置、存储介质及智能眼镜
CN111752388A (zh) * 2020-06-19 2020-10-09 深圳振科智能科技有限公司 应用控制方法、装置、设备及存储介质
CN112633473A (zh) * 2020-12-18 2021-04-09 展讯通信(上海)有限公司 基于ai的可穿戴设备及其应用数据处理方法
CN113589727A (zh) * 2021-07-29 2021-11-02 深圳市于斯为盛科技有限公司 一种加热鞋垫及其控制方法
WO2021218764A1 (zh) * 2020-04-27 2021-11-04 华为技术有限公司 终端的消息处理方法、终端、介质和电子设备
CN114237119A (zh) * 2021-12-16 2022-03-25 珠海格力电器股份有限公司 显示屏控制方法及装置
CN114816199A (zh) * 2022-04-29 2022-07-29 西安歌尔泰克电子科技有限公司 可穿戴设备的控制方法、可穿戴设备以及计算机存储介质
CN116415951A (zh) * 2021-12-28 2023-07-11 荣耀终端有限公司 显示二维码的方法和电子设备
CN118092669A (zh) * 2024-04-22 2024-05-28 江西科技学院 一种智能眼镜操控方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685731A (zh) * 2013-11-15 2014-03-26 北京奇虎科技有限公司 一种消息通信方法及消息通信客户端
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN104793732A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 一种智能眼镜的操作方法及智能眼镜
CN104834462A (zh) * 2015-03-31 2015-08-12 努比亚技术有限公司 终端设备的解锁方法及终端设备
US20150323990A1 (en) * 2010-07-23 2015-11-12 Telepatheye Inc. Eye-wearable device user interface and method
CN105786375A (zh) * 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
CN105843395A (zh) * 2016-04-06 2016-08-10 上海斐讯数据通信技术有限公司 一种实现与电子设备交互的眼镜及交互方法
CN103282847B (zh) * 2010-12-22 2016-09-07 Abb研究有限公司 带有眼睛追踪***的用于监视工业***的方法和***
CN106406535A (zh) * 2016-09-29 2017-02-15 深圳天珑无线科技有限公司 一种移动设备操作方法、装置及移动设备
CN106507323A (zh) * 2017-01-04 2017-03-15 京东方科技集团股份有限公司 一种通话处理方法和设备
CN106774857A (zh) * 2016-11-30 2017-05-31 歌尔科技有限公司 智能腕戴式设备控制方法和智能腕戴式设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150323990A1 (en) * 2010-07-23 2015-11-12 Telepatheye Inc. Eye-wearable device user interface and method
CN103282847B (zh) * 2010-12-22 2016-09-07 Abb研究有限公司 带有眼睛追踪***的用于监视工业***的方法和***
CN103685731A (zh) * 2013-11-15 2014-03-26 北京奇虎科技有限公司 一种消息通信方法及消息通信客户端
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN105786375A (zh) * 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
CN104793732A (zh) * 2015-01-04 2015-07-22 北京君正集成电路股份有限公司 一种智能眼镜的操作方法及智能眼镜
CN104834462A (zh) * 2015-03-31 2015-08-12 努比亚技术有限公司 终端设备的解锁方法及终端设备
CN105843395A (zh) * 2016-04-06 2016-08-10 上海斐讯数据通信技术有限公司 一种实现与电子设备交互的眼镜及交互方法
CN106406535A (zh) * 2016-09-29 2017-02-15 深圳天珑无线科技有限公司 一种移动设备操作方法、装置及移动设备
CN106774857A (zh) * 2016-11-30 2017-05-31 歌尔科技有限公司 智能腕戴式设备控制方法和智能腕戴式设备
CN106507323A (zh) * 2017-01-04 2017-03-15 京东方科技集团股份有限公司 一种通话处理方法和设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552526A (zh) * 2020-03-25 2020-08-18 维沃移动通信有限公司 一种未读消息的处理方法及电子设备
WO2021218764A1 (zh) * 2020-04-27 2021-11-04 华为技术有限公司 终端的消息处理方法、终端、介质和电子设备
CN111625089A (zh) * 2020-04-28 2020-09-04 宇龙计算机通信科技(深圳)有限公司 智能眼镜控制方法、装置、存储介质及智能眼镜
CN111625089B (zh) * 2020-04-28 2024-04-16 宇龙计算机通信科技(深圳)有限公司 智能眼镜控制方法、装置、存储介质及智能眼镜
CN111752388A (zh) * 2020-06-19 2020-10-09 深圳振科智能科技有限公司 应用控制方法、装置、设备及存储介质
CN112633473A (zh) * 2020-12-18 2021-04-09 展讯通信(上海)有限公司 基于ai的可穿戴设备及其应用数据处理方法
CN113589727B (zh) * 2021-07-29 2023-09-26 深圳市于斯为盛科技有限公司 一种加热鞋垫及其控制方法
CN113589727A (zh) * 2021-07-29 2021-11-02 深圳市于斯为盛科技有限公司 一种加热鞋垫及其控制方法
CN114237119A (zh) * 2021-12-16 2022-03-25 珠海格力电器股份有限公司 显示屏控制方法及装置
CN116415951A (zh) * 2021-12-28 2023-07-11 荣耀终端有限公司 显示二维码的方法和电子设备
CN116415951B (zh) * 2021-12-28 2024-06-07 荣耀终端有限公司 显示二维码的方法和电子设备
CN114816199A (zh) * 2022-04-29 2022-07-29 西安歌尔泰克电子科技有限公司 可穿戴设备的控制方法、可穿戴设备以及计算机存储介质
CN118092669A (zh) * 2024-04-22 2024-05-28 江西科技学院 一种智能眼镜操控方法及***

Similar Documents

Publication Publication Date Title
CN110554768A (zh) 一种智能穿戴设备控制方法、设备和计算机可读存储介质
US20190187802A1 (en) Method for displaying content and electronic device therefor
US9763049B2 (en) Contextual information usage in systems that include accessory devices
CN108509168A (zh) 设备及其控制方法
US20140126782A1 (en) Image display apparatus, image display method, and computer program
CN107111131A (zh) 可穿戴电子设备
CN108628217B (zh) 穿戴设备功耗控制方法、穿戴设备及计算机可读存储介质
KR102651726B1 (ko) 발광 장치를 포함하는 전자 장치 및, 이의 발광 방법
CN108154121A (zh) 基于智能镜的化妆辅助方法、智能镜及存储介质
JP2015090569A (ja) 情報処理装置及び情報処理方法
KR20160052309A (ko) 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
CN110013260B (zh) 一种情绪主题调控方法、设备及计算机可读存储介质
CN108650408B (zh) 一种屏幕解锁方法和移动终端
CN109982179A (zh) 音频信号输出方法、装置、可穿戴设备及存储介质
KR20150099678A (ko) 전자 장치 운용 방법 및 이를 지원하는 전자 장치
CN109871125A (zh) 一种显示控制方法及终端设备
CN110007758A (zh) 一种终端的控制方法及终端
CN108874352A (zh) 一种信息显示方法及移动终端
CN108628515A (zh) 一种多媒体内容的操作方法和移动终端
CN109062405A (zh) 移动终端显示方法、移动终端及计算机可读存储介质
KR102163996B1 (ko) 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
CN109445731A (zh) 一种显示模式控制方法、终端和计算机可读存储介质
CN110213810A (zh) 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN109543474A (zh) 一种移动终端控制方法及移动终端
CN109743448B (zh) 提示方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210