CN108733203A - 一种眼球追踪操作的方法和装置 - Google Patents

一种眼球追踪操作的方法和装置 Download PDF

Info

Publication number
CN108733203A
CN108733203A CN201710260268.2A CN201710260268A CN108733203A CN 108733203 A CN108733203 A CN 108733203A CN 201710260268 A CN201710260268 A CN 201710260268A CN 108733203 A CN108733203 A CN 108733203A
Authority
CN
China
Prior art keywords
information
ocular movemeut
operational order
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710260268.2A
Other languages
English (en)
Inventor
黄建东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ploughed Rock Intelligent Technology Co Ltd
Shanghai Harvest Intelligence Tech Co Ltd
Original Assignee
Shanghai Ploughed Rock Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ploughed Rock Intelligent Technology Co Ltd filed Critical Shanghai Ploughed Rock Intelligent Technology Co Ltd
Priority to CN201710260268.2A priority Critical patent/CN108733203A/zh
Priority to US16/607,091 priority patent/US11507182B2/en
Priority to PCT/CN2018/078090 priority patent/WO2018192311A1/zh
Priority to TW107110822A priority patent/TWI730227B/zh
Publication of CN108733203A publication Critical patent/CN108733203A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种眼球追踪操作的方法和装置，通过在显示单元的眼球识别区下方设置传感单元，相较于摄像头独立于显示屏外设置在边缘位置的结构，本发明的传感单元既可以发出红外光也可以侦测人眼反射回的红外光信号，以便及时捕捉到用户眼球活动信息，进而与预设的眼球活动信息进行比对，执行该眼球活动信息对应的操作指令，使得用户通过眼球活动就可快速对设备进行操控，有效提升用户体验。此外，将传感单元设置于显示单元的下方，相较于摄像头独立突出设置于显示屏区域外的结构，可以有效缩小移动设备的整体厚度，使得穿戴式设备或是移动设备更加轻薄、更适用于柔性穿戴式设备或是移动设备、满足市场的需求。

Description

一种眼球追踪操作的方法和装置
技术领域
本发明涉及电子设备控制领域，特别涉及一种眼球追踪操作的方法和装置。
背景技术
随着科技的发展和技术的进步，触控显示面板已经广泛应用在需要进行人机交互界面的装置中，如工业计算机的操作屏幕、平板计算机、智能手机的触控屏幕等等。然而以穿戴式电子装置而言，人机交互界面技术仍有众多进步空间。以虚拟现实或增强现实(VR/AR)装置为例，为了提高用户使用这些装置时的感官体验，通常会将用户的眼球活动与操作指令相结合，因此眼球追踪就是其中一项重要的人机交互界面技术。
眼球追踪是指对用户眼球和眼球周边的特征变化进行追踪，以预测用户的状态和需求，并进行响应，达到用户以眼睛主动或被动控制设备的目的。目前，一般采用VR/AR装置或是移动设备上显示屏外的摄像头来捕捉眼球特征变化信息，由于此类装置设备的显示屏外摄像头往往独立设置于设备的边缘位置(如设置于手机的顶部)，偏离了眼球成像的光轴，而用户眼球特征变化又十分快速，采用现有的屏外摄像头无法精确且快速捕捉到用户的眼球特征变化。
以画面切换为例，目前乃是采用现有的屏外摄像头结构来进行眼球追踪，然而用户眼睛在使用装备的过程当中是聚焦于屏幕画面，若用户眼球察觉画面不同位置的细节而开始进行了活动，而由于偏离光轴的屏外摄像头采集的眼球特征信息精确度不够高、或是响应时间不够快，这段期间内画面无法随着用户眼球聚焦之视角进行精准且实时地切换，巨大的画面延迟给用户带来了不良的感官体验，甚至引发头晕、呕吐等症状。
发明内容
本发明所要解决的技术问题是提供一种眼球追踪操作的技术方案，用以解决由于显示屏外摄像头设置位置偏离光轴、无法精准且及时捕捉到用户眼球的特征信息，导致眼球追踪视角不够精准、延迟时间久、操作指令无法快速得到响应、用户感官体验差等人因工程(Human Factor Engineering)的问题。
为解决上述技术问题，本发明采取的技术方案为：一种眼球追踪操作的方法，所述方法应用于眼球追踪操作的装置，所述装置包括显示单元和传感单元；所述显示单元上设置有眼球活动识别区，所述传感单元位于所述眼球活动识别区的下方；所述传感单元包括红外感应层，所述红外感应层用于在接收到光源触发信号时，发出红外光，以及用于在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息，所述方法包括以下步骤：
预先设置操作配置信息，所述操作配置信息包括眼球活动信息与操作指令的对应关系；
捕捉用户在眼球活动识别区上的眼球活动信息，判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息，若是则执行操作配置信息中该眼球活动信息对应的操作指令，否则不执行所述操作指令。
进一步地，所述步骤“预先设置操作配置信息”包括：
接收用户设置命令，显示眼球活动识别区；
接收用户选择的眼球操作项目，以及捕捉用户在所述眼球识别区上的眼球活动信息并保存；
显示一操作指令标识列表，所述操作指令标识列表中包含着一个或多个操作指令对应的标识，每一操作指令标识对应一操作指令；
接收用户对操作指令标识的选择指令，建立所选中的操作指令标识对应的操作指令与所护球的用户的眼球活动信息的对应关系并保存。
进一步地，所述操作指令包括文字操作指令、图像操作指令、视频操作指令、应用操作指令中的一种或多种。
进一步地，光源触发信号与侦测触发信号交替切换，并符合一预设频率。
进一步地，所述操作指令为画面切换指令，则步骤“判断操作配置信息中是否存在与所捕捉的眼球活动相匹配的眼球活动信息，若是则执行操作配置信息中该眼球活动信息对应的操作指令，否则不执行所述操作指令”包括：
判断捕捉到的用户的眼球活动信息与画面切换指令对应的眼球活动信息是否匹配，若是则对画面进行切换，否则不对画面进行切换。
进一步地，所述传感单元包括TFT影像感测阵列薄膜，所述红外感应层为红外光敏二极管所形成的阵列。
进一步地，步骤“判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息”具体包括：
根据捕捉到的用户的眼球活动信息计算其特征值，并与配置信息中预设的眼球活动信息的特征值进行对比；当误差小于预设值时，判定为相匹配，否则判定为不匹配。
进一步地，所述方法还包括步骤：
当判定操作配置信息中不存在与所捕捉的眼球活动信息相匹配的眼球活动信息时，出提示信息。
进一步地，所述提示信息包括声音提示信息、图像提示信息、光线提示信息、视频提示信息中的一种或多种。
进一步地，所述显示单元包括AMOLED显示屏或LCD液晶显示屏。
进一步地，当所述显示单元为LCD液晶显示屏时，所述传感单元的下方还设置有背光单元，所述传感单元设置于背光单元和LCD液晶显示屏之间。
进一步地，所述眼球活动识别区包括多个眼球活动识别子区域，每一眼球活动识别子区域的下方对应设置一传感单元。
进一步地，所述装置还包括传感单元控制电路，所述方法还包括：
接收用户对眼球活动识别子区域的启动指令，传感单元控制电路开启所述眼球活动识别子区域的下方的传感单元，以及接收用户对眼球活动识别子区域的关闭指令，传感单元控制电路关闭所述眼球活动识别子区域的下方的传感单元。
发明人还提供了一种眼球追踪操作的装置，所述装置包括显示单元和传感单元；所述显示单元上设置有眼球活动识别区，所述传感单元位于所述眼球活动识别区的下方；所述传感单元包括红外感应层，所述红外感应层用于在接收到光源触发信号时，发出红外光，以及用于在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息；所述装置还包括操作信息设置单元、判断单元和处理单元；
所述操作信息设置单元用于预先设置操作配置信息，所述操作配置信息包括眼球活动信息与操作指令的对应关系；
所述传感单元用于捕捉用户在眼球活动识别区上的眼球活动信息，所述判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息，若是则处理单元用于执行操作配置信息中该眼球活动信息对应的操作指令，否则处理单元不执行所述操作指令。
进一步地，所述装置包括操作指令接收单元，所述“操作信息设置单元用于预先设置操作配置信息”包括：
所述操作信息设置单元用于接收用户设置命令，所述显示单元用于显示眼球活动识别区；
所述操作指令接收单元用于接收用户选择的眼球操作项目，所述传感单元用于捕捉用户在所述眼球识别区上的眼球活动信息并保存；
所述显示单元用于显示一操作指令标识列表，所述操作指令标识列表中包含着一个或多个操作指令对应的标识，每一操作指令标识对应一操作指令；
所述操作指令接收单元还用于接收用户对操作指令标识的选择指令，建立所选中的操作指令标识对应的操作指令与所捕捉的用户的眼球活动信息的对应关系并保存。
进一步地，所述操作指令包括文字操作指令、图像操作指令、视频操作指令、应用操作指令中的一种或多种。
进一步地，光源触发信号与侦测触发信号交替切换，切换的频率符合一预设频率。
进一步地，所述操作指令为画面切换指令，所述“判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动相匹配的眼球活动信息，若是则处理单元用于执行操作配置信息中该眼球活动信息对应的操作指令，否则处理单元不执行所述操作指令”包括：
判断单元用于判断捕捉到的用户的眼球活动信息与画面切换指令对应的眼球活动信息是否匹配，若是则处理单元用于对画面进行切换，否则处理单元不对画面进行切换。
进一步地，所述传感单元包括TFT影像感测阵列薄膜，所述红外感应层为红外光敏二极管所形成的阵列。
进一步地，“判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息”具体包括：
判断单元用于根据捕捉到的用户的眼球活动信息计算其特征值，并与配置信息中预设的眼球活动信息的特征值进行对比；当误差小于预设值时，判定为相匹配，否则判定为不匹配。
进一步地，所述处理单元还用于在判断单元判定操作配置信息中不存在与所捕捉的眼球活动信息相匹配的眼球活动信息时，发出提示信息。
进一步地，所述提示信息包括声音提示信息、图像提示信息、光线提示信息、视频提示信息中的一种或多种。
进一步地，所述显示单元包括AMOLED显示屏或LCD液晶显示屏。
进一步地，当所述显示单元为LCD液晶显示屏时，所述传感单元的下方还设置有背光单元，所述传感单元设置于背光单元和LCD液晶显示屏之间。
进一步地，所述眼球活动识别区包括多个眼球活动识别子区域，每一眼球活动识别子区域的下方对应设置一传感单元。
进一步地，所述装置还包括传感单元控制电路和操作指令接收单元，所述操作指令接收单元用于接收用户对眼球活动识别子区域的启动指令，所述传感单元控制电路用于开启所述眼球活动识别子区域的下方的传感单元，以及所述操作指令接收单元用于接收用户对眼球活动识别子区域的关闭指令，所述传感单元控制电路用于关闭所述眼球活动识别子区域的下方的传感单元。
采用以上技术方案后的有益效果为：通过在显示单元的眼球识别区下方设置传感单元，用户眼球活动通过光学器件成像的投影位于所述眼球识别区上，传感单元设置于眼球成像光轴位置或是近轴位置，相较于摄像头独立于显示屏外设置在边缘位置的结构，本发明的传感单元既可以发出红外光也可以侦测人眼反射回的红外光信号，以便及时捕捉到用户眼球活动信息，进而与预设的眼球活动信息进行比对，执行该眼球活动信息对应的操作指令，使得用户通过眼球活动就可快速对设备进行操控，有效提升用户体验。此外，将传感单元设置于显示单元的下方，相较于摄像头独立突出设置于显示屏区域外的结构，可以有效缩小移动设备的整体厚度，使得穿戴式设备或是移动设备更加轻薄、更适用于柔性穿戴式设备或是移动设备、满足市场的需求。
附图说明
图1为本发明一实施方式涉及的眼球追踪操作的方法的流程图；
图2为本发明另一实施方式涉及的眼球追踪操作的方法的流程图；
图3为本发明一实施方式涉及的眼球追踪操作的装置的示意图；
图4为本发明另一实施方式涉及的眼球追踪操作的装置的示意图；
图5为本发明一实施方式涉及的眼球追踪操作的装置应用场景的示意图；
图6为现有的传感单元的示意图；
图7为本发明一实施方式涉及的传感单元的示意图。
标号说明：
101、显示单元；
102、传感单元；
103、背光单元；
104、操作信息设置单元；
105、操作指令接收单元；
106、处理单元；
107、存储单元；
108、判断单元。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，为本发明一实施方式涉及的眼球追踪操作的方法的流程图。所述方法应用于眼球追踪操作的装置，所述装置为具有显示屏或触摸显示屏的电子设备，如是手机、平板电脑、个人数字助理等智能移动设备，还可以是个人计算机、工业装备用计算机等电子设备。当然所述装置还可以与光学成像器件相结合，光学成像器件设置于所述显示单元与用户眼睛之间，如图5所示，用户眼球投影先在光学成像器件中成像，成像的投影位于显示单元上眼球活动识别区范围内，进而被眼球活动识别下方的传感单元捕捉，通过光学成像器件与显示单元之间的配合，可以达到模拟VR/AR设备的效果。
所述装置包括显示单元和传感单元；所述显示单元上设置有眼球活动识别区，所述传感单元位于所述眼球活动识别区的下方；所述传感单元包括红外感应层，所述红外感应层用于在接收到光源触发信号时，发出红外光，以及用于在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息。在本实施方式中，所述显示单元包括AMOLED显示屏或LCD液晶显示屏。所述方法包括以下步骤：
首先进入步骤S101预先设置操作配置信息，所述操作配置信息包括眼球活动信息与操作指令的对应关系。在本实施方式中，所述操作指令包括文字操作指令、图像操作指令、视频操作指令、应用操作指令中的一种或多种。所述文字操作指令包括选中文字指令、删除文字指令、复制文字指令等；所述图像操作指令包括选中图像指令、复制图像指令、截取图像指令、删除图像指令、切换图像画面等；所述视频操作指令包括对视频进行截取、暂停、保存、删除、快进、快退、缩放画面、音量调整等；所述应用操作指令包括对软件应用程序(如手机APP)进行启动、删除、选中、移动等。所述眼球活动信息可以是眼球任意方向上进行运动的信息，包括用户双眼或单眼眼球从上向下或从下向上的直线运动、从左向右或从右向左的直线运动；眼球顺时针或逆时针转一圈或数圈的运动；上述眼球直线运动与直线运动的组合、转圈运动的组合、直线运动与转圈运动的组合，或者任何其他设备可以辨别的眼球运动。
操作配置信息中的眼球活动信息即为用户事先录入存储的眼球活动信息，每一眼球活动信息对应一操作指令，每一个操作指令可以与多个眼球活动信息相对应。操作配置信息可以存储于装置的存储单元，如手机的内存、计算机的硬盘中，也可以存储于服务器的存储单元中，当需要获取操作配置信息时，只需让装置与服务器建立通讯连接，而后再从服务器获取到事先存储的操作配置信息，所述通讯连接包括有线通讯连接或无线通信连接。
而后进入步骤S102捕捉用户在眼球活动识别区上的眼球活动信息。在本实施方式中，传感单元的覆盖的范围与显示单元的大小相适配，优选的，传感单元的形状为矩形，矩形的大小位于显示单元的中心，保证不偏移眼球活动成像的光轴。这样可以保证只要用户眼睛对准显示单元，无论用户眼球如何活动，传感单元都能及时采集到用户的眼球活动信息。
而后进入步骤S103判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息，若是则进入步骤S104执行操作配置信息中该眼球活动信息对应的操作指令，否则进入步骤S105不执行所述操作指令。眼球活动信息的比对可以通过眼球特征识别算法来实现，眼球特征识别算法可以实现存储于装置的存储单元中，当传感单元获取到眼球活动识别区上的眼球活动信息后，装置的处理器将调用存储单元中的眼球特征识别算法，将所获取的眼球活动信息与预设的操作配置信息中的眼球活动信息进行比对，判断两者是否匹配。眼球特征算法包括对眼球特征信息进行预处理、数据特征提取、特征匹配、眼球运动轨迹识别等步骤，可以用多种算法来实现，这些算法都是成熟的现有技术，现已被应用于各个领域中，此处不再展开赘述。
请参阅图2，为本发明另一实施方式涉及的眼球追踪操作的方法的流程图。所述步骤“预先设置操作配置信息”包括：
首先进入步骤S201接收用户设置命令，显示眼球活动识别区。设置指令可以通过用户点击屏幕上设置栏中的某一按钮触发，装置接收到设置指令后，将对眼球活动识别区进行显示，便于用户输入眼球活动信息。在本实施方式中，显示眼球活动识别区可以包括：提高眼球活动识别区的亮度或在眼球活动识别区上显示一提示输入框。在某些实施例中，在接收用户设置指令之前，还包括接收用户的账号信息，所述账号信息包括用户ID及密码。用户需要以语音控制、眼球控制、或是按键密码控制等方式输入正确的用户ID及密码，登录用户账号后，才可触发所述设置指令，这样一方面可以提高操作配置信息设置的安全性，另一方面也可以达到在一个装置上区分不同用户、保存不同的眼球活动信息以及与之相对应的操作指令的效果。
而后进入步骤S202接收用户选择的眼球操作项目，以及捕捉用户在所述眼球识别区上的眼球活动信息并保存。眼球操作项目可以是***默认的眼球操作项目，也可以通过用户自定义决定。眼球操作项目可以以文字、图片或视频的方式展现给用户，让用户点击选择。例如可以显示“两个眼球同时向左运动”、“两个眼球同时向右运动”、“两个眼球同时向上运动”、“两个眼球顺时针转动一圈”等等文字供用户选择，也可以将眼球操作项目绘制成图片或制作成教程的视频展现给用户，以便用户可以准确地选择眼球操作项目。当眼球操作项目确认后，就可以对用户当前的眼球活动信息进行采集，所采集到的眼球活动信息即为预设眼球活动信息，可以将其存储于存储单元中。本实施方式中，所述步骤“捕捉用户在所述眼球识别区上的眼球活动信息并保存”包括：判断用户设置过程中的眼球活动信息是否已存储于存储单元，当判定为是时提示用户该眼球活动信息已录入；当判定为否时将该眼球活动信息保存至存储单元。这样可以有效避免眼球活动信息的重复录入。
而后进入步骤S203显示一操作指令标识列表，接收用户对操作指令标识的选择指令，建立所选中的操作指令标识对应的操作指令与所捕捉的用户的眼球活动信息的对应关系并保存。所述操作指令标识列表中包含着一个或多个操作指令对应的标识，每一操作指令标识对应一操作指令，操作指令标识可以以文字或图片的形式予以显示。选择指令可以通过用户点击勾选、双击等方式触发。
为了给用户呈现更好的视频画面场景，所述装置可以与VR头盔相结合，提供相对封闭黑暗的操作空间，给用户身临其境之感，由于在黑暗条件下，可见光没有进入人眼，也就无法捕捉到用户反射回来的光信号。在这种情况下，本发明的传感单元的红外感应层在接收到光源触发信号时，将发出红外光，以便在相对封闭黑暗的条件下也可以侦测到用户眼球活动。同时，红外感应层还在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息。
如图6所示，在本实施方式中，所述传感单元包括TFT影像感测阵列薄膜。现有的液晶显示(LCD)面板或有机发光二极管(OLED)显示面板，皆是以TFT结构驱动扫描单一像素，以实现面板上像素阵列的显示功能。形成TFT开关功能的主要结构为金属氧化物半导体场效晶体管(MOSFET)，其中熟知的半导体层材料主要有非晶硅、多晶硅、氧化铟镓锌(IGZO)、或是混有碳纳米材料之有机化合物等等。由于光感测二极管的结构亦可采用此类半导体材料制备，且生产设备也兼容于TFT阵列的生产设备，因此近年来TFT光侦测二极管开始以TFT阵列制备方式进行生产。本实施方式所述的TFT影像感测阵列薄膜即为上述提到的TFT光侦测二极管(如图6中的光感测二极管区域部分)，具体结构可以参考美国专利US6943070B2、中华人民共和国专利CN204808361U中对传感单元结构的描述。TFT影像感测阵列薄膜的生产工艺与显示面板TFT结构不同的是：原本在显示面板的像素开口区域，在生产工艺上改为光感测区域。其TFT制备方式可以采用薄型玻璃为基材，亦可采用耐高温塑性材料为基材，如美国专利US6943070B2所述。
图6所示的传感单元易受周围环境光或者显示屏像素所发出的可见光的反射、折射等因素影响，造成光学干扰，严重影响内嵌于显示面板下方的TFT影像感测阵列薄膜的信号噪声比(SNR)，为了提高信号噪声比，本发明的传感单元在图6所示的传感单元的基础上做了进一步改进，使得TFT影像感测阵列薄膜可以侦测识别用户眼球反射回的红外信号，所述传感单元包括红外感应层，所述红外感应层用于接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息。
如图7所示，在某些实施例中，所述红外感应层为红外光敏二级管所形成的阵列。为了将TFT影像感测阵列薄膜能够识别的光信号波长从可见光范围扩展至红外光范围，对图6的TFT影像感测阵列薄膜进行改进，具体是采用红外光敏二级管替换图6中TFT影像感测阵列薄膜的光二极管层，红外光敏二极管包括微晶硅光电二极管或非晶硅光电二极管。
实施例一：将非结晶硅p型/i型/n型光电二极管结构(图6中的光二极管层)改由微晶硅p型/i型/n型光电二极管结构。在此实施例中，光电二极管的微结晶程度主要是在化学气象沉积过程中，以适当氢气浓度混入气体硅烷(SiH4)去控制氢原子键结非晶硅之悬空键(dangling bond)，以实现微晶硅p型/i型/n型光电二极管结构之镀膜。藉由调整化学气象沉积的氢气浓度，微晶光电二极管的操作波长范围可以扩展到光波长600nm到1000nm的范围。
在采用微晶光电二极管之实施例中，为了进一步地提高光电转换之量子效率，微晶硅光电二极管也可采用双结以上p型/i型/n型结构串接形成。该光电二极管第一结层p型/i型/n型材料仍然为非结晶结构，第二结层以上p型/i型/n型材料可以为微晶结构、多晶结构。
实施例二：将非结晶硅p型/i型/n型光电二极管结构(图6中的光二极管层)改为掺有可扩展光敏波长范围之非结晶硅化合物之p型/i型/n型光电二极管结构，优选之化合物实施例为非晶硅化锗。在此实施例中，光电二极管的本质层(i型)在以化学气象沉积镀膜过程中，通以气体锗烷(GeH4)混入硅烷(SiH4)，以实现非结晶硅化锗p型/i型/n型光电二极管之光敏范围达到光波长600nm到1000nm的范围。
在采用非结晶硅化合物光电二极管之实施例中，为了提高光电转换之量子效率，非晶硅光电二极管也可采用双结以上p型/i型/n型结构串接形成。该光电二极管第一结层p型/i型/n型材料仍然为非晶硅结构，第二结层以上p型/i型/n型材料可以为微晶结构、多晶结构或是掺有可扩展光敏波长范围之化合物材料。
当红外感应层为红外光敏二级管所形成的阵列时，在实际应用过程中，可藉由TFT作扫描驱动外加一偏压(包括正向偏压，或零偏压或负偏压)在p型/i型/n型光电二极管之间，实现TFT影像感测阵列薄膜发出红外光功能。
在某些实施例中，第一触发信号可以通过在p型/i型/n型红外光敏二极管之间施加正向偏压触发，第二触发信号可以通过在p型/i型/n型红外光敏二极管之间施加零偏压或负偏压触发。例如红外光敏二极管所形成的阵列假设有10列(假设编号为1-10)，那么可以对编号为奇数的像素点阵列施加正向偏压，以使得奇数列像素点阵列可发出红外光信号，并对编号为偶数的像素点阵施加零偏压或负偏压，以使得偶数列像素点阵列处于侦测红外光状态，以捕捉用户眼球反射回的红外光并转换为红外图像加以输出。当然，在另一些实施例中，第一触发信号可以通过在p型/i型/n型红外光敏二极管之间施加零偏压或负偏压触发，第二触发信号可以通过在p型/i型/n型红外光敏二极管之间施加正向偏压触发。
在某些实施例中，还可以交替在p型/i型/n型红外光敏二极管之间施加正向偏压，或零偏压或负偏压，以触发所述第一触发信号或第二触发信号。同样以红外光敏二极管所形成的阵列有10列像素点阵为例，在第一周期内对p型/i型/n型红外光敏二极管施加正向偏压，使得10列像素点阵均处于发出红外光状态；在第二周期内对p型/i型/n型红外光敏二极管施加零偏压或负偏压，使得10列像素点阵均处于红外光侦测状态，用于捕捉用户眼球反射回的红外光信息，并生成相应的红外图像输出；在第三周期内又对p型/i型/n型红外光敏二极管施加正向偏压，使得10列像素点阵均处于发出红外光状态，反复交替，以此类推。进一步地，光源触发信号(第一触发信号)与侦测触发信号(第二触发信号)交替切换，切换的频率符合一预设频率。相邻的周期之间的时间间隔可以根据实际需要而设置，优选时间间隔可以设置为TFT阵列驱动扫描每一帧(Frame)红外光敏二极管阵列至少能接收到一帧完整的影像信号所需的时间，即预设频率为每经过上述时间间隔进行一次切换。
在某些实施例中，所述操作指令为画面切换指令，则步骤“判断操作配置信息中是否存在与所捕捉的眼球活动相匹配的眼球活动信息，若是则执行操作配置信息中该眼球活动信息对应的操作指令，否则不执行所述操作指令”包括：判断捕捉到的用户的眼球活动信息与画面切换指令对应的眼球活动信息是否匹配，若是则对画面进行切换，否则不对画面进行切换。由于视频流数据是有一帧帧图像画面构成的，因而本实施例的方法同样也适用于对视频流数据的判断。
在某些实施例中，眼球追踪操作的方法，其特征在于，步骤“判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息”具体包括：根据捕捉到的用户的眼球活动信息计算其特征值，并与配置信息中预设的眼球活动信息的特征值进行对比；当误差小于预设值时，判定为相匹配，否则判定为不匹配。
在某些实施例中，所述方法还包括步骤：当判定操作配置信息中不存在与所捕捉的眼球活动信息相匹配的眼球活动信息时，发出提示信息。所述提示信息包括声音提示信息、图像提示信息、光线提示信息、视频提示信息中的一种或多种。所述声音提示信息包括提示用户再次操作眼球活动项目的语音提示信息，所述图像提示信息包括提示用户再次操作眼球活动项目的弹窗提示信息，所述视频提示信息包括提示用户再次操作眼球活动项目的动画提示信息，光线提示信息包括改变屏幕亮度或者让显示屏发出不同颜色的光线等。
如图4所示，在某些实施例中，当所述显示单元为LCD液晶显示屏时，所述传感单元的下方还设置有背光单元，所述传感单元设置于背光单元和LCD液晶显示屏之间。由于LCD液晶显示屏不属于自发光元件，因而在安装时需要在传感单元的下方增加背光单元。背光单元可以为LCD背光模组，也可以为其他具有自发光功能的电子元件。在另一些实施例中，当所述显示单元为AMOLED显示屏时，由于OLED显示屏属于自发光元件，因而无需设置背光单元。通过上述两种方案的设置，可以有效满足不同厂家的生产需求，提高装置的适用范围。
在本实施方式中，所述眼球活动识别区包括多个眼球活动识别子区域，每一眼球活动识别子区域的下方对应设置一传感单元。所述装置还包括传感单元控制电路，所述方法还包括：接收用户对眼球活动识别子区域的启动指令，传感单元控制电路开启所述眼球活动识别子区域的下方的传感单元，以及接收用户对眼球活动识别子区域的关闭指令，传感单元控制电路关闭所述眼球活动识别子区域的下方的传感单元。
以眼球活动识别子区域的数量为两个为例，两个眼球活动识别子区域可以一上一下或一左一右均匀分布于屏幕中，也可以以其他排列方式分布于屏幕中。下面对具有两个眼球活动识别子区域的装置的应用过程做具体说明：在使用过程中，用户通过启动指令，开启将两个眼球活动识别子区域都设置成开启状态，优选的实施例中，两个眼球活动识别子区域构成的范围覆盖了整个显示屏，这样可以保证当两个眼球活动识别子区域都设置成开启状态时，用户眼球的成像投影始终位于传感单元范围内，有效提高对用户眼球特征的捕捉，提升用户体验。在其他实施例中，两个眼球活动识别子区域构成的范围也可以占整个显示屏面积的2/3、3/4等，只需满足眼球活动识别子区域的中心不偏离眼球成像的光轴即可。当然，用户也可以根据自身喜好，设置某一个眼球识别子区域开启，另一个眼球识别子区域关闭。在不需要对装置进行操作时，还可以将两个识别子区域均设置为关闭状态。
在其他实施例中，眼球活动识别子区域的数量还可以为其他数值，可以根据实际需要进行设置。各个眼球活动识别子区域下方的传感单元处于开启或关闭，可以根据用户自身喜好进行设置。
请参阅图3，为本发明一实施方式涉及的眼球追踪操作的装置的示意图。所述装置为具有触摸显示屏的电子设备，如是手机、平板电脑、个人数字助理等智能移动设备，还可以是个人计算机、工业装备用计算机等电子设备。当然所述装置还可以与光学成像器件相结合，光学成像器件设置于所述显示单元与用户眼睛之间，如图5所示，用户眼球投影先在光学成像器件中成像，成像的投影位于显示单元上眼球活动识别区范围内，进而被眼球活动识别下方的传感单元捕捉，通过光学成像器件与显示单元之间的配合，可以达到模拟VR设备的效果。
所述装置包括显示单元101和传感单元102；所述显示单元101上设置有眼球活动识别区，所述传感单元102位于所述眼球活动识别区的下方；所述传感单元102包括红外感应层，所述红外感应层用于在接收到光源触发信号时，发出红外光，以及用于在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息。在本实施方式中，所述显示单元包括AMOLED显示屏或LCD液晶显示屏。所述装置还包括操作信息设置单元104、判断单元108和处理单元106；
所述操作信息设置单元104用于预先设置操作配置信息，所述操作配置信息包括眼球活动信息与操作指令的对应关系。在本实施方式中，所述操作指令包括文字操作指令、图像操作指令、视频操作指令、应用操作指令中的一种或多种。所述文字操作指令包括选中文字指令、删除文字指令、复制文字指令等；所述图像操作指令包括选中图像指令、复制图像指令、截取图像指令、删除图像指令、切换图像画面等；所述视频操作指令包括对视频进行截取、暂停、保存、删除、快进、快退、缩放画面、音量调整等；所述应用操作指令包括对软件应用程序(如手机APP)进行启动、删除、选中、移动等。所述眼球活动信息可以是眼球任意方向上进行运动的信息，包括用户双眼或单眼眼球从上向下或从下向上的直线运动、从左向右或从右向左的直线运动；眼球顺时针或逆时针转一圈或数圈的运动；上述眼球直线运动与直线运动的组合、转圈运动的组合、直线运动与转圈运动的组合，或者任何其他设备可以辨别的眼球运动。
操作配置信息中的眼球活动信息即为用户事先录入存储的眼球活动信息，每一眼球活动信息对应一操作指令，每一个操作指令可以与多个眼球活动信息相对应。操作配置信息可以存储于装置的存储单元，如手机的内存、计算机的硬盘中，也可以存储于服务器的存储单元中，当需要获取操作配置信息时，只需让装置与服务器建立通讯连接，而后再从服务器获取到事先存储的操作配置信息，所述通讯连接包括有线通讯连接或无线通信连接。
所述传感单元102用于捕捉用户在眼球活动识别区上的眼球活动信息。在本实施方式中，传感单元的覆盖的范围与显示单元的大小相适配，优选的，传感单元的形状为矩形，矩形的大小位于显示单元的中心，保证不偏移眼球活动成像的光轴。这样可以保证只要用户眼睛对准显示单元，无论用户眼球如何活动，传感单元都能及时采集到用户的眼球活动信息。
所述判断单元108用于判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息，若是则处理单元106用于执行操作配置信息中该眼球活动信息对应的操作指令，否则处理单元106不执行所述操作指令。眼球活动信息的比对可以通过眼球特征识别算法来实现，眼球特征识别算法可以实现存储于装置的存储单元中，当传感单元获取到眼球活动识别区上的眼球活动信息后，装置的处理器将调用存储单元中的眼球特征识别算法，将所获取的眼球活动信息与预设的操作配置信息中的眼球活动信息进行比对，判断两者是否匹配。眼球特征算法包括对眼球特征信息进行预处理、数据特征提取、特征匹配、眼球运动轨迹识别等步骤，可以用多种算法来实现，这些算法都是成熟的现有技术，现已被应用于各个领域中，此处不再展开赘述。
在某些实施例中，所述装置包括操作指令接收单元105，所述“操作信息设置单元用于预先设置操作配置信息”包括：
所述操作信息设置单元用于接收用户设置命令，所述显示单元用于显示眼球活动识别区。设置指令可以通过用户点击屏幕上设置栏中的某一按钮触发，装置接收到设置指令后，将对眼球活动识别区进行显示，便于用户输入眼球活动信息。在本实施方式中，显示眼球活动识别区可以包括：提高眼球活动识别区的亮度或在眼球活动识别区上显示一提示输入框。在某些实施例中，在接收用户设置指令之前，还包括接收用户的账号信息，所述账号信息包括用户ID及密码。用户需要以语音控制、眼球控制、或是按键密码控制等方式输入正确的用户ID及密码，登录用户账号后，才可触发所述设置指令，这样一方面可以提高操作配置信息设置的安全性，另一方面也可以达到在一个装置上区分不同用户、保存不同的眼球活动信息以及与之相对应的操作指令的效果。
所述操作指令接收单元用于接收用户选择的眼球操作项目，所述传感单元用于捕捉用户在所述眼球识别区上的眼球活动信息并保存。眼球操作项目可以是***默认的眼球操作项目，也可以通过用户自定义决定。眼球操作项目可以以文字、图片或视频的方式展现给用户，让用户点击选择。例如可以显示“两个眼球同时向左运动”、“两个眼球同时向右运动”、“两个眼球同时向上运动”、“两个眼球顺时针转动一圈”等等文字供用户选择，也可以将眼球操作项目绘制成图片或制作成教程的视频展现给用户，以便用户可以准确地选择眼球操作项目。当眼球操作项目确认后，就可以对用户当前的眼球活动信息进行采集，所采集到的眼球活动信息即为预设眼球活动信息，可以将其存储于存储单元中。本实施方式中，所述步骤“捕捉用户在所述眼球识别区上的眼球活动信息并保存”包括：判断用户设置过程中的眼球活动信息是否已存储于存储单元，当判定为是时提示用户该眼球活动信息已录入；当判定为否时将该眼球活动信息保存至存储单元。这样可以有效避免眼球活动信息的重复录入。
所述显示单元用于显示一操作指令标识列表，所述操作指令接收单元还用于接收用户对操作指令标识的选择指令，建立所选中的操作指令标识对应的操作指令与所捕捉的用户的眼球活动信息的对应关系并保存。所述操作指令标识列表中包含着一个或多个操作指令对应的标识，每一操作指令标识对应一操作指令。操作指令标识可以以文字或图片的形式予以显示。选择指令可以通过用户点击勾选、双击等方式触发。
为了给用户呈现更好的视频画面场景，所述装置可以与VR头盔相结合，提供相对封闭黑暗的操作空间，给用户身临其境之感，由于在黑暗条件下，可见光没有进入人眼，也就无法捕捉到用户反射回来的光信号。在这种情况下，本发明的传感单元的红外感应层在接收到光源触发信号时，将发出红外光，以便在相对封闭黑暗的条件下也可以侦测到用户眼球活动。同时，红外感应层还在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息。
如图6所示，在本实施方式中，所述传感单元包括TFT影像感测阵列薄膜。现有的液晶显示(LCD)面板或有机发光二极管(OLED)显示面板，皆是以TFT结构驱动扫描单一像素，以实现面板上像素阵列的显示功能。形成TFT开关功能的主要结构为金属氧化物半导体场效晶体管(MOSFET)，其中熟知的半导体层材料主要有非晶硅、多晶硅、氧化铟镓锌(IGZO)、或是混有碳纳米材料之有机化合物等等。由于光感测二极管的结构亦可采用此类半导体材料制备，且生产设备也兼容于TFT阵列的生产设备，因此近年来TFT光侦测二极管开始以TFT阵列制备方式进行生产。本实施方式所述的TFT影像感测阵列薄膜即为上述提到的TFT光侦测二极管(如图6中的光感测二极管区域部分)，具体结构可以参考美国专利US6943070B2、中华人民共和国专利CN204808361U中对传感单元结构的描述。TFT影像感测阵列薄膜的生产工艺与显示面板TFT结构不同的是：原本在显示面板的像素开口区域，在生产工艺上改为光感测区域。其TFT制备方式可以采用薄型玻璃为基材，亦可采用耐高温塑性材料为基材，如美国专利US6943070B2所述。
图6所示的传感单元易受周围环境光或者显示屏像素所发出的可见光的反射、折射等因素影响，造成光学干扰，严重影响内嵌于显示面板下方的TFT影像感测阵列薄膜的信号噪声比(SNR)，为了提高信号噪声比，本发明的传感单元在图6所示的传感单元的基础上做了进一步改进，使得TFT影像感测阵列薄膜可以侦测识别用户眼球反射回的红外信号，所述传感单元包括红外感应层，所述红外感应层用于接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息。
如图7所示，在某些实施例中，所述红外感应层为红外光敏二级管所形成的阵列。为了将TFT影像感测阵列薄膜能够识别的光信号波长从可见光范围扩展至红外光范围，对图6的TFT影像感测阵列薄膜进行改进，具体是采用红外光敏二级管替换图6中TFT影像感测阵列薄膜的光二极管层，红外光敏二极管包括微晶硅光电二极管或非晶硅光电二极管。
实施例一：将非结晶硅p型/i型/n型光电二极管结构(图6中的光二极管层)改由微晶硅p型/i型/n型光电二极管结构。在此实施例中，光电二极管的微结晶程度主要是在化学气象沉积过程中，以适当氢气浓度混入气体硅烷(SiH4)去控制氢原子键结非晶硅之悬空键(dangling bond)，以实现微晶硅p型/i型/n型光电二极管结构之镀膜。藉由调整化学气象沉积的氢气浓度，微晶光电二极管的操作波长范围可以扩展到光波长600nm到1000nm的范围。
在采用微晶光电二极管之实施例中，为了进一步地提高光电转换之量子效率，微晶硅光电二极管也可采用双结以上p型/i型/n型结构串接形成。该光电二极管第一结层p型/i型/n型材料仍然为非结晶结构，第二结层以上p型/i型/n型材料可以为微晶结构、多晶结构。
实施例二：将非结晶硅p型/i型/n型光电二极管结构(图6中的光二极管层)改为掺有可扩展光敏波长范围之非结晶硅化合物之p型/i型/n型光电二极管结构，优选之化合物实施例为非晶硅化锗。在此实施例中，光电二极管的本质层(i型)在以化学气象沉积镀膜过程中，通以气体锗烷(GeH4)混入硅烷(SiH4)，以实现非结晶硅化锗p型/i型/n型光电二极管之光敏范围达到光波长600nm到1000nm的范围。
在采用非结晶硅化合物光电二极管之实施例中，为了提高光电转换之量子效率，非晶硅光电二极管也可采用双结以上p型/i型/n型结构串接形成。该光电二极管第一结层p型/i型/n型材料仍然为非晶硅结构，第二结层以上p型/i型/n型材料可以为微晶结构、多晶结构或是掺有可扩展光敏波长范围之化合物材料。
当红外感应层为红外光敏二级管所形成的阵列时，在实际应用过程中，可藉由TFT作扫描驱动外加一偏压(包括正向偏压，或零偏压或负偏压)在p型/i型/n型光电二极管之间，实现TFT影像感测阵列薄膜发出红外光功能。
在某些实施例中，第一触发信号可以通过在p型/i型/n型红外光敏二极管之间施加正向偏压触发，第二触发信号可以通过在p型/i型/n型红外光敏二极管之间施加零偏压或负偏压触发。例如红外光敏二极管所形成的阵列假设有10列(假设编号为1-10)，那么可以对编号为奇数的像素点阵列施加正向偏压，以使得奇数列像素点阵列可发出红外光信号，并对编号为偶数的像素点阵施加零偏压或负偏压，以使得偶数列像素点阵列处于侦测红外光状态，以捕捉用户眼球反射回的红外光并转换为红外图像加以输出。当然，在另一些实施例中，第一触发信号可以通过在p型/i型/n型红外光敏二极管之间施加零偏压或负偏压触发，第二触发信号可以通过在p型/i型/n型红外光敏二极管之间施加正向偏压触发。
在某些实施例中，还可以交替在p型/i型/n型红外光敏二极管之间施加正向偏压，或零偏压或负偏压，以触发所述第一触发信号或第二触发信号。同样以红外光敏二极管所形成的阵列有10列像素点阵为例，在第一周期内对p型/i型/n型红外光敏二极管施加正向偏压，使得10列像素点阵均处于发出红外光状态；在第二周期内对p型/i型/n型红外光敏二极管施加零偏压或负偏压，使得10列像素点阵均处于红外光侦测状态，用于捕捉用户眼球反射回的红外光信息，并生成相应的红外图像输出；在第三周期内又对p型/i型/n型红外光敏二极管施加正向偏压，使得10列像素点阵均处于发出红外光状态，反复交替，以此类推。进一步地，光源触发信号(第一触发信号)与侦测触发信号(第二触发信号)交替切换，切换的频率符合一预设频率。相邻的周期之间的时间间隔可以根据实际需要而设置，优选时间间隔可以设置为TFT阵列驱动扫描每一帧(Frame)红外光敏二极管阵列至少能接收到一帧完整的影像信号所需的时间，即预设频率为每经过上述时间间隔进行一次切换。
在某些实施例中，所述操作指令为画面切换指令，所述“判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动相匹配的眼球活动信息，若是则处理单元用于执行操作配置信息中该眼球活动信息对应的操作指令，否则处理单元不执行所述操作指令”包括：判断单元用于判断捕捉到的用户的眼球活动信息与画面切换指令对应的眼球活动信息是否匹配，若是则处理单元用于对画面进行切换，否则处理单元不对画面进行切换。
在某些实施例中，“判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息”具体包括：判断单元用于根据捕捉到的用户的眼球活动信息计算其特征值，并与配置信息中预设的眼球活动信息的特征值进行对比；当误差小于预设值时，判定为相匹配，否则判定为不匹配。
在某些实施例中，所述方法还包括步骤：当判定操作配置信息中不存在与所捕捉的眼球活动信息相匹配的眼球活动信息时，发出提示信息。所述提示信息包括声音提示信息、图像提示信息、光线提示信息、视频提示信息中的一种或多种。所述声音提示信息包括提示用户再次操作眼球活动项目的语音提示信息，所述图像提示信息包括提示用户再次操作眼球活动项目的弹窗提示信息，所述视频提示信息包括提示用户再次操作眼球活动项目的动画提示信息，光线提示信息包括改变屏幕亮度或者让显示屏发出不同颜色的光线等。
在某些实施例中，当所述显示单元为LCD液晶显示屏时，所述传感单元的下方还设置有背光单元，所述传感单元设置于背光单元和LCD液晶显示屏之间。由于LCD液晶显示屏不属于自发光元件，因而在安装时需要在传感单元的下方增加背光单元。背光单元可以为LCD背光模组，也可以为其他具有自发光功能的电子元件。在另一些实施例中，当所述显示单元为AMOLED显示屏时，由于OLED显示屏属于自发光元件，因而无需设置背光单元。通过上述两种方案的设置，可以有效满足不同厂家的生产需求，提高装置的适用范围。
在某些实施例中，所述眼球活动识别区包括多个眼球活动识别子区域，每一眼球活动识别子区域的下方对应设置一传感单元。所述装置还包括传感单元控制电路，所述方法还包括：接收用户对眼球活动识别子区域的启动指令，传感单元控制电路开启所述眼球活动识别子区域的下方的传感单元，以及接收用户对眼球活动识别子区域的关闭指令，传感单元控制电路关闭所述眼球活动识别子区域的下方的传感单元。
以眼球活动识别子区域的数量为两个为例，两个眼球活动识别子区域可以一上一下或一左一右均匀分布于屏幕中，也可以以其他排列方式分布于屏幕中。下面对具有两个眼球活动识别子区域的装置的应用过程做具体说明：在使用过程中，用户通过启动指令，开启将两个眼球活动识别子区域都设置成开启状态，优选的实施例中，两个眼球活动识别子区域构成的范围覆盖了整个显示屏，这样可以保证当两个眼球活动识别子区域都设置成开启状态时，用户眼球的成像投影始终位于传感单元范围内，有效提高对用户眼球特征的捕捉，提升用户体验。在其他实施例中，两个眼球活动识别子区域构成的范围也可以占整个显示屏面积的2/3、3/4等，只需满足眼球活动识别子区域的中心不偏离眼球成像的光轴即可。当然，用户也可以根据自身喜好，设置某一个眼球识别子区域开启，另一个眼球识别子区域关闭。在不需要对装置进行操作时，还可以将两个识别子区域均设置为关闭状态。
在其他实施例中，眼球活动识别子区域的数量还可以为其他数值，可以根据实际需要进行设置。各个眼球活动识别子区域下方的传感单元处于开启或关闭，可以根据用户自身喜好进行设置。
本发明具有以下优点：通过在显示单元的眼球识别区下方设置传感单元，用户眼球活动通过光学器件成像的投影位于所述眼球识别区上，传感单元设置于眼球成像光轴位置或是近轴位置，相较于摄像头独立于显示屏外设置在边缘位置的结构，本发明的传感单元既可以发出红外光也可以侦测人眼反射回的红外光信号，以便及时捕捉到用户眼球活动信息，进而与预设的眼球活动信息进行比对，执行该眼球活动信息对应的操作指令，使得用户通过眼球活动就可快速对设备进行操控，有效提升用户体验。此外，将传感单元设置于显示单元的下方，相较于摄像头独立突出设置于显示屏区域外的结构，可以有效缩小移动设备的整体厚度，使得穿戴式设备或是移动设备更加轻薄、更适用于柔性穿戴式设备或是移动设备、满足市场的需求。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (26)

1.一种眼球追踪操作的方法，其特征在于，所述方法应用于眼球追踪操作的装置，所述装置包括显示单元和传感单元；所述显示单元上设置有眼球活动识别区，所述传感单元位于所述眼球活动识别区的下方；所述传感单元包括红外感应层，所述红外感应层用于在接收到光源触发信号时，发出红外光，以及用于在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息，所述方法包括以下步骤：
预先设置操作配置信息，所述操作配置信息包括眼球活动信息与操作指令的对应关系；
捕捉用户在眼球活动识别区上的眼球活动信息，判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息，若是则执行操作配置信息中该眼球活动信息对应的操作指令，否则不执行所述操作指令。
2.如权利要求1所述的眼球追踪操作的方法，其特征在于，所述步骤“预先设置操作配置信息”包括：
接收用户设置命令，显示眼球活动识别区；
接收用户选择的眼球操作项目，以及捕捉用户在所述眼球识别区上的眼球活动信息并保存；
显示一操作指令标识列表，所述操作指令标识列表中包含着一个或多个操作指令对应的标识，每一操作指令标识对应一操作指令；
接收用户对操作指令标识的选择指令，建立所选中的操作指令标识对应的操作指令与所护球的用户的眼球活动信息的对应关系并保存。
3.如权利要求1或2所述的眼球追踪操作的方法，其特征在于，所述操作指令包括文字操作指令、图像操作指令、视频操作指令、应用操作指令中的一种或多种。
4.如权利要求1所述的眼球追踪操作的方法，其特征在于，光源触发信号与侦测触发信号交替切换，并符合一预设频率。
5.如权利要求1所述的眼球追踪操作的方法，其特征在于，所述操作指令为画面切换指令，则步骤“判断操作配置信息中是否存在与所捕捉的眼球活动相匹配的眼球活动信息，若是则执行操作配置信息中该眼球活动信息对应的操作指令，否则不执行所述操作指令”包括：
判断捕捉到的用户的眼球活动信息与画面切换指令对应的眼球活动信息是否匹配，若是则对画面进行切换，否则不对画面进行切换。
6.如权利要求1所述的眼球追踪操作的方法，其特征在于，所述传感单元包括TFT影像感测阵列薄膜，所述红外感应层为红外光敏二极管所形成的阵列。
7.如权利要求1所述的眼球追踪操作的方法，其特征在于，步骤“判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息”具体包括：
根据捕捉到的用户的眼球活动信息计算其特征值，并与配置信息中预设的眼球活动信息的特征值进行对比；当误差小于预设值时，判定为相匹配，否则判定为不匹配。
8.如权利要求1或7所述的眼球追踪操作的方法，其特征在于，所述方法还包括步骤：
当判定操作配置信息中不存在与所捕捉的眼球活动信息相匹配的眼球活动信息时，出提示信息。
9.如权利要求8所述的眼球追踪操作的方法，其特征在于，所述提示信息包括声音提示信息、图像提示信息、光线提示信息、视频提示信息中的一种或多种。
10.如权利要求1所述的眼球追踪操作的方法，其特征在于，所述显示单元包括AMOLED显示屏或LCD液晶显示屏。
11.如权利要求10所述的眼球追踪操作的方法，其特征在于，当所述显示单元为LCD液晶显示屏时，所述传感单元的下方还设置有背光单元，所述传感单元设置于背光单元和LCD液晶显示屏之间。
12.如权利要求1所述的眼球追踪操作的方法，其特征在于，所述眼球活动识别区包括多个眼球活动识别子区域，每一眼球活动识别子区域的下方对应设置一传感单元。
13.如权利要求12所述的眼球追踪操作的方法，其特征在于，所述装置还包括传感单元控制电路，所述方法还包括：
接收用户对眼球活动识别子区域的启动指令，传感单元控制电路开启所述眼球活动识别子区域的下方的传感单元，以及接收用户对眼球活动识别子区域的关闭指令，传感单元控制电路关闭所述眼球活动识别子区域的下方的传感单元。
14.一种眼球追踪操作的装置，其特征在于，所述装置包括显示单元和传感单元；所述显示单元上设置有眼球活动识别区，所述传感单元位于所述眼球活动识别区的下方；所述传感单元包括红外感应层，所述红外感应层用于在接收到光源触发信号时，发出红外光，以及用于在接收到侦测触发信号时，处于红外信号侦测状态，并接收用户眼球反射的红外光信号以捕捉用户的眼球活动信息；所述装置还包括操作信息设置单元、判断单元和处理单元；
所述操作信息设置单元用于预先设置操作配置信息，所述操作配置信息包括眼球活动信息与操作指令的对应关系；
所述传感单元用于捕捉用户在眼球活动识别区上的眼球活动信息，所述判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息，若是则处理单元用于执行操作配置信息中该眼球活动信息对应的操作指令，否则处理单元不执行所述操作指令。
15.如权利要求14所述的眼球追踪操作的装置，其特征在于，所述装置包括操作指令接收单元，所述“操作信息设置单元用于预先设置操作配置信息”包括：
所述操作信息设置单元用于接收用户设置命令，所述显示单元用于显示眼球活动识别区；
所述操作指令接收单元用于接收用户选择的眼球操作项目，所述传感单元用于捕捉用户在所述眼球识别区上的眼球活动信息并保存；
所述显示单元用于显示一操作指令标识列表，所述操作指令标识列表中包含着一个或多个操作指令对应的标识，每一操作指令标识对应一操作指令；
所述操作指令接收单元还用于接收用户对操作指令标识的选择指令，建立所选中的操作指令标识对应的操作指令与所捕捉的用户的眼球活动信息的对应关系并保存。
16.如权利要求14或15所述的眼球追踪操作的装置，其特征在于，所述操作指令包括文字操作指令、图像操作指令、视频操作指令、应用操作指令中的一种或多种。
17.如权利要求14所述的眼球追踪操作的装置，其特征在于，光源触发信号与侦测触发信号交替切换，切换的频率符合一预设频率。
18.如权利要求17所述的眼球追踪操作的装置，其特征在于，所述操作指令为画面切换指令，所述“判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动相匹配的眼球活动信息，若是则处理单元用于执行操作配置信息中该眼球活动信息对应的操作指令，否则处理单元不执行所述操作指令”包括：
判断单元用于判断捕捉到的用户的眼球活动信息与画面切换指令对应的眼球活动信息是否匹配，若是则处理单元用于对画面进行切换，否则处理单元不对画面进行切换。
19.如权利要求17所述的眼球追踪操作的装置，其特征在于，所述传感单元包括TFT影像感测阵列薄膜，所述红外感应层为红外光敏二极管所形成的阵列。
20.如权利要求14所述的眼球追踪操作的装置，其特征在于，“判断单元用于判断操作配置信息中是否存在与所捕捉的眼球活动信息相匹配的眼球活动信息”具体包括：
判断单元用于根据捕捉到的用户的眼球活动信息计算其特征值，并与配置信息中预设的眼球活动信息的特征值进行对比；当误差小于预设值时，判定为相匹配，否则判定为不匹配。
21.如权利要求14或20所述的眼球追踪操作的装置，其特征在于，所述处理单元还用于在判断单元判定操作配置信息中不存在与所捕捉的眼球活动信息相匹配的眼球活动信息时，发出提示信息。
22.如权利要求21所述的眼球追踪操作的装置，其特征在于，所述提示信息包括声音提示信息、图像提示信息、光线提示信息、视频提示信息中的一种或多种。
23.如权利要求14所述的眼球追踪操作的装置，其特征在于，所述显示单元包括AMOLED显示屏或LCD液晶显示屏。
24.如权利要求23所述的眼球追踪操作的装置，其特征在于，当所述显示单元为LCD液晶显示屏时，所述传感单元的下方还设置有背光单元，所述传感单元设置于背光单元和LCD液晶显示屏之间。
25.如权利要求14所述的眼球追踪操作的装置，其特征在于，所述眼球活动识别区包括多个眼球活动识别子区域，每一眼球活动识别子区域的下方对应设置一传感单元。
26.如权利要求25所述的眼球追踪操作的装置，其特征在于，所述装置还包括传感单元控制电路和操作指令接收单元，所述操作指令接收单元用于接收用户对眼球活动识别子区域的启动指令，所述传感单元控制电路用于开启所述眼球活动识别子区域的下方的传感单元，以及所述操作指令接收单元用于接收用户对眼球活动识别子区域的关闭指令，所述传感单元控制电路用于关闭所述眼球活动识别子区域的下方的传感单元。
CN201710260268.2A 2017-04-20 2017-04-20 一种眼球追踪操作的方法和装置 Pending CN108733203A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710260268.2A CN108733203A (zh) 2017-04-20 2017-04-20 一种眼球追踪操作的方法和装置
US16/607,091 US11507182B2 (en) 2017-04-20 2018-03-06 Method and device for eyeball tracking operation
PCT/CN2018/078090 WO2018192311A1 (zh) 2017-04-20 2018-03-06 一种眼球追踪操作的方法和装置
TW107110822A TWI730227B (zh) 2017-04-20 2018-03-28 一種眼球追蹤操作的方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710260268.2A CN108733203A (zh) 2017-04-20 2017-04-20 一种眼球追踪操作的方法和装置

Publications (1)

Publication Number Publication Date
CN108733203A true CN108733203A (zh) 2018-11-02

Family

ID=63856334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710260268.2A Pending CN108733203A (zh) 2017-04-20 2017-04-20 一种眼球追踪操作的方法和装置

Country Status (4)

Country Link
US (1) US11507182B2 (zh)
CN (1) CN108733203A (zh)
TW (1) TWI730227B (zh)
WO (1) WO2018192311A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739344A (zh) * 2018-11-20 2019-05-10 平安科技（深圳）有限公司 基于眼球运动轨迹的解锁方法、装置、设备和存储介质
CN111596760A (zh) * 2020-04-30 2020-08-28 维沃移动通信有限公司 操作控制方法、装置、电子设备及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700656B (zh) * 2019-04-23 2020-08-01 鑽贏雲股份有限公司 利用眼球追蹤模組之銷售系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372587A (zh) * 2016-08-29 2017-02-01 乐视控股（北京）有限公司 一种指纹识别方法及装置
CN106468944A (zh) * 2015-08-18 2017-03-01 富泰华工业（深圳）有限公司 非接触式控制***及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836670A (en) * 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5331149A (en) * 1990-12-31 1994-07-19 Kopin Corporation Eye tracking system having an array of photodetectors aligned respectively with an array of pixels
US6456262B1 (en) * 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
TWI251330B (en) 2003-05-09 2006-03-11 Au Optronics Corp CMOS image sensor and method for producing the same
US9665767B2 (en) * 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US8987652B2 (en) * 2012-12-13 2015-03-24 Apple Inc. Electronic device with display and low-noise ambient light sensor with a control circuitry that periodically disables the display
US20140368508A1 (en) * 2013-06-18 2014-12-18 Nvidia Corporation Enhancement of a portion of video data rendered on a display unit associated with a data processing device based on tracking movement of an eye of a user thereof
CN103885589B (zh) * 2014-03-06 2017-01-25 华为技术有限公司 眼动追踪方法及装置
US10409366B2 (en) * 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
US20150346814A1 (en) * 2014-05-30 2015-12-03 Vaibhav Thukral Gaze tracking for one or more users
US9269737B1 (en) * 2014-10-17 2016-02-23 Dpix, Llc Flat panel image sensor and method of manufacturing thereof
CN105759945A (zh) * 2014-12-17 2016-07-13 富泰华工业（深圳）有限公司 穿戴设备控制***及方法
US20160224106A1 (en) * 2015-02-03 2016-08-04 Kobo Incorporated Method and system for transitioning to private e-reading mode
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及***
TWI533234B (zh) * 2015-07-24 2016-05-11 由田新技股份有限公司 基於眼部動作的控制方法及其應用之裝置
CN204808361U (zh) 2015-07-29 2015-11-25 京东方科技集团股份有限公司 一种基板、指纹识别传感器、指纹识别装置
CN105867605A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
JP6664512B2 (ja) * 2015-12-17 2020-03-13 ルキシド ラブズ インコーポレイテッド アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
EP3192434B1 (fr) * 2016-01-15 2018-10-03 Centre National de la Recherche Scientifique Dispositif et procédé de détermination des mouvements oculaires par interface tactile
US10063560B2 (en) * 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
CN106557737A (zh) * 2016-09-27 2017-04-05 北京无线电计量测试研究所 一种便携式虹膜识别装置
CN106503514A (zh) * 2016-09-28 2017-03-15 北京用友政务软件有限公司 基于虹膜识别的电子终端设备的解锁方法及***
EP3545388A4 (en) * 2017-03-21 2020-07-08 Hewlett-Packard Development Company, L.P. ESTIMATES WITHIN DISPLAYS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106468944A (zh) * 2015-08-18 2017-03-01 富泰华工业（深圳）有限公司 非接触式控制***及方法
CN106372587A (zh) * 2016-08-29 2017-02-01 乐视控股（北京）有限公司 一种指纹识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739344A (zh) * 2018-11-20 2019-05-10 平安科技（深圳）有限公司 基于眼球运动轨迹的解锁方法、装置、设备和存储介质
CN109739344B (zh) * 2018-11-20 2021-12-14 平安科技（深圳）有限公司 基于眼球运动轨迹的解锁方法、装置、设备和存储介质
CN111596760A (zh) * 2020-04-30 2020-08-28 维沃移动通信有限公司 操作控制方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US11507182B2 (en) 2022-11-22
TW201839551A (zh) 2018-11-01
WO2018192311A1 (zh) 2018-10-25
TWI730227B (zh) 2021-06-11
US20200064915A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN103945113B (zh) 便携式终端的用于拍摄的方法和设备
CN106027907A (zh) 一种自动调整摄像头的方法及移动终端
TWI703374B (zh) 折疊式顯示屏的觸點識別方法和裝置
CN109255278A (zh) 一种同步采集指纹信息的方法和装置
CN110266941A (zh) 一种全景拍摄方法及终端设备
CN110502177A (zh) 一种同步验证指纹信息的屏幕解锁方法和装置
CN108733203A (zh) 一种眼球追踪操作的方法和装置
CN109828732A (zh) 一种显示控制方法及终端设备
CN109040414A (zh) 一种终端及终端显示亮度调节的方法
CN108733204A (zh) 一种眼球追踪操作的方法和装置
TW202004276A (zh) 一種同步驗證指紋資訊的觸控元件操作方法和裝置
CN107948498A (zh) 一种消除相机摩尔条纹方法及移动终端
CN110245607A (zh) 眼球追踪方法及相关产品
CN114500837B (zh) 拍摄方法、装置及电子设备
TWI715832B (zh) 一種虹膜識別的方法和裝置
CN109947243A (zh) 基于触摸手检测的智能电子设备手势捕获与识别技术
US11250257B2 (en) Method and device for iris recognition
CN109192135A (zh) 环境光亮度确定装置及方法
CN108963015A (zh) 一种光侦测薄膜、器件、显示装置、光敏二极管的制备方法
CN109993059B (zh) 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN108965704B (zh) 一种图像传感器、移动终端及图像拍摄方法
CN104656882A (zh) 翻译装置及其控制方法
CN109960406A (zh) 基于双手手指之间动作的智能电子设备手势捕获与识别技术
CN110087002A (zh) 一种拍摄方法及终端设备
US20220038619A1 (en) Take-off capture method and electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102

RJ01 Rejection of invention patent application after publication