CN109683705A - 眼球注视控制交互控件的方法、装置和*** - Google Patents

眼球注视控制交互控件的方法、装置和*** Download PDF

Info

Publication number
CN109683705A
CN109683705A CN201811460215.6A CN201811460215A CN109683705A CN 109683705 A CN109683705 A CN 109683705A CN 201811460215 A CN201811460215 A CN 201811460215A CN 109683705 A CN109683705 A CN 109683705A
Authority
CN
China
Prior art keywords
attentively
duration
interactive controls
information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811460215.6A
Other languages
English (en)
Inventor
刘琳
秦林婵
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201811460215.6A priority Critical patent/CN109683705A/zh
Publication of CN109683705A publication Critical patent/CN109683705A/zh
Priority to US16/699,776 priority patent/US20200103965A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种眼球注视控制交互控件的方法、装置和***。其中，该方法包括：显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，信息确定模块被配置为接收对象发出的确认待交互控件的确认指令；通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长；在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长；在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作。本发明解决了现有的眼动交互方法对用户发出的眼动指令识别不准确的技术问题。

Description

眼球注视控制交互控件的方法、装置和***
技术领域
本发明涉及眼球追踪领域，具体而言，涉及一种眼球注视控制交互控件的方法、装置和***。
背景技术
随着计算机技术的快速发展，眼球追踪技术也得到了不断的发展。目前，眼球追踪技术可广泛应用在人机交互方面，例如，用户通过注视电脑显示器上的应用来控制电脑启动应用。在现有技术中，可通过眼控***来实现人机交互，其中，现有的眼控***主要是以用户注视特定目标的注视时间为基准来发出指令。例如，眼控***的显示设备可显示若干个应用程序或软件程序的图标，当用户的眼睛注视某个图标的注视时间达到预定时间时，眼控***识别用户发出了对该图标进行选择的确定指令。
然而，在进行人机交互之前，用户可能需要观察、浏览、阅读、理解眼控***所呈现给用户的交互界面，上述过程通常需要消耗一定的时间，从而使得用户对目标位置形成注视以发出指令所需的注视时间与用户实际注视的时间不匹配，例如，用户虽然注视图标A的时长达到预设时长，眼控***认为用户发出指令，但此时，用户并不想发出指令。尤其对于残疾人，由于身体原因其对交互界面的观察时间比较长，眼控***易误认为用户发出了指令，从而产生误操作。
针对上述现有的眼动交互方法对用户发出的眼动指令识别不准确的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种眼球注视控制交互控件的方法、装置和***，以至少解决现有的眼动交互方法对用户发出的眼动指令识别不准确的技术问题。
根据本发明实施例的一个方面，提供了一种眼球注视控制交互控件的方法，包括：显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，信息确定模块被配置为接收对象发出的确认待交互控件的确认指令；通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长；在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长；在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作。
进一步地，眼球注视控制交互控件的方法还包括：获取多个眼球图像；从多个眼球图像中提取眼球注视特征；通过眼球注视特征确定眼球注视的注视信息。
进一步地，注视信息配置为确定对象的注视位置以及注视时长。
进一步地，眼球注视控制交互控件的方法还包括：控制信息关联模块和信息确定模块同时显示。
进一步地，眼球注视控制交互控件的方法还包括：在第一注视时长满足信息关联模块关联的第一预定义时长的情况下，显示信息确定模块。
进一步地，眼球注视控制交互控件的方法还包括：对信息关联模块进行放大处理；显示放大后的信息关联模块。
进一步地，信息确定模块包含多个子单元，眼球注视控制交互控件的方法还包括：在第一注视时长满足第一预定义时长的情况下，显示多个子单元；从多个子单元中确定出对象注视的待交互单元；获取对象注视待交互单元的第二注视时长；在第二注视时长满足第二预定义时长的情况下，控制待交互单元对应的操作。
根据本发明实施例的另一方面，还提供了一种眼球注视控制交互控件的方法，包括：检测对目标应用的第三注视时长；在第三注视时长满足第三预定义时长时，显示与目标应用关联的交互控件；在注视交互控件的第四注视时长满足第四预定义时长时，确定选中目标应用，并运行目标应用。
根据本发明实施例的另一方面，还提供了一种眼球注视控制交互控件的***，包括：数据采集设备，用于采集对象的眼球注视的注视信息；显示设备，用于显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，信息确定模块被配置为接收对象发出的确认待交互控件的确认指令；处理设备，与数据采集设备和显示设备连接，用于通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长，在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长，然后在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作。
根据本发明实施例的另一方面，还提供了一种眼球注视控制交互控件的装置，包括：显示模块，用于显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，信息确定模块被配置为接收对象发出的确认待交互控件的确认指令；确定模块，用于通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长；获取模块，用于在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长；控制模块，用于在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行眼球注视控制交互控件的方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行眼球注视控制交互控件的方法。
在本发明实施例中，采用用户注视待交互控件不同部位的注视时长控制待交互控件的方式，通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长，然后在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长，最后在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作，其中，待交互控件包括信息关联模块和信息确定模块。上述过程达到了识别用户通过眼睛发出的控制指令的目的，从而实现了提高识别用户通过眼睛发出的控制指令的准确度的技术效果，进而解决了现有的眼动交互方法对用户发出的眼动指令识别不准确的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种眼球注视控制交互控件的方法流程图；
图2是根据本发明实施例的一种眼球注视控制交互控件的***结构示意图；
图3是根据本发明实施例的一种可选的交互界面的示意图；
图4是根据本发明实施例的一种可选的交互界面的示意图；
图5是根据本发明实施例的一种可选的交互界面的示意图；
图6是根据本发明实施例的一种可选的交互界面的示意图；
图7是根据本发明实施例的一种可选的交互界面的示意图；
图8是根据本发明实施例的一种可选的交互界面的示意图；
图9是根据本发明实施例的一种可选的交互界面的示意图；
图10是根据本发明实施例的一种眼球注视控制交互控件的装置结构示意图；以及
图11是根据本发明实施例的一种眼球注视控制交互控件的方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种眼球注视控制交互控件的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的眼球注视控制交互控件的方法流程图，如图1所示，该方法包括如下步骤：
步骤S102，显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块。
需要说明的是，眼控***可执行本实施例所提供的眼球注视控制交互控件的方法，其中，图2示出了一种可选的眼控***的结构示意图，由图2可知，眼控***包括显示设备、处理设备以及数据采集设备。数据采集设备至少包括红外灯以及图像传感器，其中，红外灯用于向用户的眼部投射红外光线，图像传感器用于采集红外光线投射在用户的角膜上形成的光斑图像。本领域技术人员可以理解的是，红外灯仅是用于制造角膜反射的光源的一个实例。
另外，显示设备(例如，显示屏)用于显示交互界面，其中，交互界面显示至少一个待交互控件，例如，如图3所示的交互界面中包含了三个待交互控件，分别为待交互控件1、待交互控件2和待交互控件3。需要说明的是，待交互控件可以为但不限于显示设备上应用程序或者软件程序的图标，例如，如图4所示的交互界面中，包含地图应用对应的图标、浏览器对应的图标以及音乐对应的图标。另外，上述应用程序或软件程序可以安装在眼控***中处理设备的存储介质上或者外部的存储介质上，并可被处理设备执行。
此外，还需要说明的是，上述步骤S102中的信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，其中，当用户注视信息关联模块的注视信息满足预设条件时，信息关联模块将接收到上述选择指令。信息确定模块被配置为接收对象发出的确认待交互控件的确认指令，其中，当用户注视信息确定模块的注视信息满足预设条件时，信息关联模块将接收到上述确认指令。
可选的，待交互控件的信息关联模块为主显示模块，信息确定模块为子显示模块，如图5所示，每个待交互控件均对应一个主显示模块和一个子显示模块，例如，主显示模块1和子显示模块1共同控制交互控件1，主显示模块2和子显示模块2共同控制待交互控件2，主显示模块3和子显示模块3共同控制待交互控件3。可选的，图6示出了一种可选的交互界面的示意图，其中，A为地图控件的主显示模块，B为地图控件的子显示模块。
步骤S104，通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长。
在上述步骤S104中，注视信息配置为确定对象的注视位置以及注视时长。可选的，眼控***中的数据采集设备可以采集眼球图像，并根据眼球图像得到眼球注视的注视信息。具体的，用户注视显示设备中应用程序或软件程序对应的图标，例如，用户注视图4中的音乐图标。此时，数据采集设备中的图像传感器可采集到红外灯投射至用户眼部的多张眼球图像，并根据多张眼球图像确定用户的眼球注视特征。然后，数据采集设备将得到的眼球注视特征发送至处理设备，处理设备根据眼球注视特征可计算出用户的注视信息，然后根据注视点的位置可确定用户是否正在注视某个应用的信息关联模块，例如，处理设备判定注视点位置位于地图控件的信息关联模块所在区域内，则可确定用户正在注视地图控件的信息关联模块，并获取用户注视信息关联模块的第一注视时长。
步骤S106，在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长。
需要说明的是，在确定用户注视待交互控件的信息关联模块之后，处理设备中的计时器开始计时，记录用户注视待交互控件的信息关联模块的时长。当用户注视待交互控件的信息关联模块的第一注视时长达到第一预定义时长的情况下，处理设备根据眼动数据判断用户是否在注视信息确定模块，其中，处理器判断用户是否注视信息确定模块的方法与判断用户是否注视信息关联模块的方法相同，在此不再赘述。在确定用户注视信息确定模块的情况下，处理器中的计时器开始计时，记录用户注视待交互控件的信息确定模块的第二注视时长。
步骤S108，在确定第二注视时长满足第二预定义时长，完成待交互控件对应的操作。
需要说明的是，只有在用户注视待交互控件的信息确定模块的第二注视时长大于第二预定义时长的情况下，才会控制该待交互控件。如果用户注视待交互控件的信息关联模块的时长已达到第一预定义时长，但注视信息确定模块的第二时长还未达到第二预定义时长，则处理设备也不会控制该待交互控件。
由上述内容可知，通过在现有的主显示模块的基础上设置子显示模块，使子显示模块单独接收并执行用户所发出的指令，只有在用户注视子显示模块的时长达到预设时长之后，才会执行用户的指令，从而有效避免了用户因无意注视交互控件的注视时长达到预设时长而导致误判的问题。
基于上述步骤S102至步骤S108所限定的方案，可以获知，通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长，然后在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长，最后在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作，其中，待交互控件包括信息关联模块和信息确定模块。
容易注意到的是，在本申请中单独设置待交互控件的信息确定模块用于接收用户的指令，即只有在用户注视待交互控件的信息确定模块的注视时长达到预设时长之后，才会执行用户的指令。由此可见，用户发出的指令仅与待交互控件的信息确定模块关联，通过用户与信息确定模块的交互，能够准确地接收用户发出指令的操作，避免与用户观察、浏览待交互控件的注视时长混淆，造成误判。
由上述内容可知，本申请所提供的眼球注视控制交互控件的方法可以达到识别用户通过眼睛发出的控制指令的目的，从而实现了提高识别用户通过眼睛发出的控制指令的准确度的技术效果，进而解决了现有的眼动交互方法对用户发出的眼动指令识别不准确的技术问题。
在一种可选的方案中，在通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长之前，眼控***还获取多个眼球图像，并从多个眼球图像中提取眼球注视特征，然后通过眼球注视特征确定眼球注视的注视信息。
需要说明的是，在上述过程中，眼球注视特征可以包括但不限于瞳孔的中心位置、瞳孔的大小、角膜上光斑的中心位置、角膜上光斑的数量等。
可选的，在通过眼球注视特征确定眼球注视的注视信息之后，处理设备可根据注视信息确定对象是否在注视待交互控件的相应部分(例如，信息关联模块或信息确定模块)，具体步骤可以包括：
步骤S1040，获取待交互控件的信息关联模块或信息确定模块所包含的范围；
步骤S1044，根据注视信息包含的注视位置以及信息关联模块或信息确定模块所包含的范围确定对象注视信息关联模块或信息确定模块。
具体的，处理设备可获取显示设备上所显示的每个待交互控件所在的区域范围，其中，每个待交互控件的区域范围包括信息关联模块所包含的第一区域以及信息确定模块所包含的第二区域。同时，处理设备可对注视信息进行处理，进而确定用户在处理设备上的注视位置。然后，处理设备将得到的注视位置与显示设备上的交互控件的信息关联模块所在的区域范围进行匹配，如果注视位置在信息关联模块所包含的第一区域内，则可确定用户正在注视该待交互控件。如果注视时长大于第一预定义时长，处理设备则确定用户向该待交互控件发出了选择指令。对于用户注视信息确定模块的情况，与上述内容相同，在此不再赘述。
需要说明的是，通常，待交互控件的信息关联模块一直在显示屏中显示，而在第一注视时长达到第一预定义时长之前，待交互控件的信息确定模块可以隐藏。在此种场景中，在用户(即对象)注视待交互控件的信息关联模块的第一注视时长达到第一预定义时长的情况下，处理设备需要控制待交互控件的信息确定模块显示，然后再根据用户注视信息确定模块的时长来判断用户是否发出确认指令。
在一种可选的方案中，处理设备控制待交互控件的信息关联模块和信息确定模块同时显示，即交互控件始终显示信息关联模块和信息确定模块所对应的显示内容，例如，如图7所示的一种交互界面的示意图，每个待交互控件均显示两部分，即用于接收用户发出确认指令的信息确定模块对应的显示内容(浏览器控件的区域A所显示的内容)，以及用于接收用户发出选择指令的信息关联模块对应的显示内容(浏览器控件的区域B所显示的内容)。如果用户希望启动浏览器，则用户仅需要注视浏览器控件的区域A，数据采集设备可采集用户的眼球图像，处理设备根据眼球图像判断出用户的注视位置，并且在用户注视区域A的注视时长达到第二预定义时长(例如，1秒)时，处理设备确定用户发出确定选择浏览器控件的指令，并运行浏览器。
在另一种可选的方案中，待交互控件的信息关联模块和信息确定模块对应的显示内容不同时显示，只有在用户注视信息关联模块一段时间之后，并且用户注视信息确定模块的时长也达到第二预定义时长，处理设备才会控制待交互控件，即在第一注视时长满足信息关联模块关联的第一预定义时长的情况下，显示信息确定模块。
具体的，数据采集设备通过采集用户的眼球图像，并将采集到的眼球图像发送至处理设备。处理设备在对眼球图像进行分析，并根据分析结果确定用户的注视信息。如果处理设备检测到用户注视待交互控件的信息关联模块对应的显示内容的注视时长大于第一预定义时长(例如，2秒)，则处理设备确定用户可能需要启动或运行该交互控件，此时，处理设备控制与信息确定模块对应的显示内容进行显示，如图8所示，用户注视浏览器控件的注视时长超过2秒，则显示设备上显示带有对勾“√”的图标，该图标与浏览器控件的信息确定模块相对应。然后，处理设备进一步检测用户是否注视信息确定模块对应的显示内容(例如，图8中带有对勾“√”的图标)，如果检测到用户注视信息确定模块对应的显示内容，则进一步统计用户的注视时长，如果注视时长大于第二预定义时长(例如，1秒)，则处理设备确定用户发出确定选择浏览器控件的指令，并运行浏览器。
需要说明的是，在信息确定模块包含多个子单元的情况下，还可通过如下方法控制待交互控件：
步骤S1080，在第一注视时长满足第一预定义时长的情况下，显示多个子单元；
步骤S1082，从多个子单元中确定出对象注视的待交互单元；
步骤S1084，获取对象注视待交互单元的第二注视时长；
步骤S1086，在第二注视时长满足第二预定义时长的情况下，控制待交互单元执行对应的操作。
具体的，信息确定模块所对应的显示内容以下拉框的形式显示，其中，每个子单元为待交互控件的备选内容，例如，图9中的浏览器控件对应的子单元为多个网页地址。可选的，以图9为例进行说明，数据采集设备通过采集用户的眼动数据，并将采集到的眼动数据发送至处理设备。处理设备在对眼动数据进行分析，并根据分析结果确定用户的注视点。如果处理设备检测到用户注视浏览器控件的信息关联模块对应的显示内容的注视时长大于第一预定义时长(例如，2秒)，则处理设备确定用户可能需要启动或运行该浏览器控件，此时，处理设备控制与信息确定模块对应的显示内容进行显示，如图9所示，用户注视浏览器控件的注视时长超过2秒，则浏览器控件显示下拉框的内容，下拉框内的每个显示内容(如图9中的网址)对应一个子单元(例如，图9中带有对勾“√”的图标)，当用户注视其中一个子单元，并且注视时长大于第二预定义时长(例如，1秒)时，处理设备确定用户发出确定选择浏览器控件的指令，运行浏览器，并控制浏览器跳转到用户所选择的网址对应的网页。
需要说明的是，为提高用户使用眼控***的用户体验，在根据眼动数据确定对象注视待交互控件的信息确定模块之后，即确定用户可能要发出确认指令之后，处理设备还对待交互控件的信息关联模块进行放大处理，并控制显示设备显示放大后的信息关联模块。例如，用户注视浏览器控件的信息关联模块的显示内容(注视时长可能还未达到第二预定义时长)，此时，处理设备确定用户可能发出确认指令，并使浏览器控件放大显示，以提醒用户即将启用该交互控件。
实施例2
根据本发明实施例，还提供了一种眼球注视控制交互控件的***实施例，该***可执行实施例1中的眼球注视控制交互控件的方法。另外，图2是根据本发明实施例的眼球注视控制交互控件的***结构示意图，如图2所示，该***包括：数据采集设备、处理设备以及显示设备。
其中，数据采集设备，用于采集对象的眼球注视的注视信息；显示设备，用于显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块；处理设备，与数据采集设备和显示设备连接，用于通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长，在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长，然后在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作。
需要说明的是，数据采集设备至少包括红外灯以及图像传感器，其中，红外灯用于向用户的眼部投射红外光线，图像传感器用于采集红外光线投射在用户的角膜上形成光斑图像。显示设备(例如，显示屏)用于显示交互界面，其中，交互界面用于显示至少一个待交互控件，例如，如图3所示的交互界面中包含了三个待交互控件，分别为待交互控件1、待交互控件2和待交互控件3。需要说明的是，待交互控件可以为但不限于显示设备上应用程序或者软件程序的图标，例如，如图4所示的交互界面中，包含地图应用对应的图标、浏览器对应的图标以及音乐对应的图标。另外，上述应用程序或软件程序可以安装在眼控***中处理设备的存储介质上或者外部的存储介质上，并可被处理设备执行。
此外，还需要说明的是，待交互控件包含两部分，即信息关联模块和信息确定模块，其中，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，其中，当用户注视信息关联模块的注视信息满足预设条件时，信息关联模块将接收到上述选择指令。信息确定模块被配置为接收对象发出的确认待交互控件的确认指令，其中，当用户注视信息确定模块的注视信息满足预设条件时，信息关联模块将接收到上述确认指令。
可选的，待交互控件的信息关联模块为主显示模块，信息确定模块为子显示模块，如图5所示，每个待交互控件均对应一个主显示模块和一个子显示模块，例如，主显示模块1和子显示模块1共同控制交互控件1，主显示模块2和子显示模块2共同控制待交互控件2，主显示模块3和子显示模块3共同控制待交互控件3。可选的，图6示出了一种可选的交互界面的示意图，其中，A为地图控件的主显示模块，B为地图控件的子显示模块。
由上可知，通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长，然后确定第一注视时长是否满足与信息关联模块关联的第一预定义时长，并在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长，最后确定第二注视时长是否满足与信息确定模块关联的第二预定义时长，并在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作，其中，待交互控件包括信息关联模块和信息确定模块。
容易注意到的是，在本申请中单独设置待交互控件的信息确定模块用于接收用户的指令，即只有在用户注视待交互控件的信息确定模块的注视时长达到预设时长之后，才会执行用户的指令。由此可见，用户发出的指令仅与待交互控件的信息确定模块关联，通过用户与信息确定模块的交互，能够准确地接收用户发出指令的操作，避免与用户观察、浏览待交互控件的注视时长混淆，造成误判。
由上述内容可知，本申请所提供的眼球注视控制交互控件的方法可以达到识别用户通过眼睛发出的控制指令的目的，从而实现了提高识别用户通过眼睛发出的控制指令的准确度的技术效果，进而解决了现有的眼动交互方法对用户发出的眼动指令识别不准确的技术问题。
在一种可选的方案中，在通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长之前，眼控***还获取多个眼球图像，并从多个眼球图像中提取眼球注视特征，然后通过眼球注视特征确定眼球注视的注视信息。其中，注视信息配置为确定对象的注视位置以及注视时长。
在一种可选的方案中，在确定第二注视时长是否满足与信息确定模块关联的第二预定义时长之前，处理设备需要控制信息确定模块进行显示。其中，处理设备可通过如下两种方式中的任意一种来控制信息确定模块的显示：
方式一：控制待交互控件的信息关联模块和信息确定模块同时显示。在该方式下，交互控件始终显示信息关联模块和信息确定模块所对应的显示内容
方式二：在第一注视时长满足信息关联模块关联的第一预定义时长的情况下，显示信息确定模块。
需要说明的是，在方式二的情况下，信息确定模块还可以包含多个子单元。如果第一注视时长满足第一预定义时长，则处理设备控制显示设备显示多个子单元，并从多个子单元中确定出对象注视的待交互单元，然后获取对象注视待交互单元的第二注视时长，进一步判断第二注视时长与第二预定义时长的大小，如果第二注视时长满足第二预定义时长，则处理设备启动该待交互单元，控制待交互单元对应的操作。
需要说明的是，为提高用户使用眼控***的用户体验，在根据眼动数据确定对象注视待交互控件的信息确定模块之后，即确定用户可能要发出确认指令之后，处理设备还对待交互控件的信息关联模块进行放大处理，并控制显示设备显示放大后的信息关联模块。例如，用户注视浏览器控件的信息关联模块的显示内容(注视时长可能还未达到第二预定义时长)，此时，处理设备确定用户可能发出确认指令，并使浏览器控件放大显示，以提醒用户即将启用该待交互控件。
实施例3
根据本发明实施例，还提供了一种眼球注视控制交互控件的装置实施例，该装置可执行实施例1中的眼球注视控制交互控件的方法，其中，图10是根据本发明实施例的眼球注视控制交互控件的装置结构示意图，如图10所示，该装置包括：显示模块1001、确定模块1003、获取模块1005以及控制模块1007。
其中，显示模块1001，用于显示目标应用的至少一个待交互控件，待交互控件包括信息关联模块和信息确定模块；确定模块1003，用于通过眼球注视的注视信息确定与信息关联模块关联的第一注视时长；获取模块1005，用于在确定第一注视时长满足第一预定义时长时，获取与信息确定模块关联的第二注视时长；控制模块1007，用于在确定第二注视时长满足第二预定义时长时，完成待交互控件对应的操作。
需要说明的是，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令。信息确定模块被配置为接收对象发出的确认待交互控件的确认指令。
需要说明的是，上述显示模块1001、确定模块1003、获取模块1005以及控制模块1007对应于实施例1中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的方案中，眼球注视控制交互控件的装置还包括，第一获取模块、提取模块以及第一确定模块。其中，第一获取模块，用于获取多个眼球图像；提取模块，用于从多个眼球图像中提取眼球注视特征；第一确定模块，用于通过眼球注视特征确定眼球注视的注视信息。其中，注视信息配置为确定对象的注视位置以及注视时长。
在一种可选的方案中，眼球注视控制交互控件的装置还包括：第一显示模块。其中，第一显示模块，用于控制信息关联模块和信息确定模块同时显示。
在一种可选的方案中，眼球注视控制交互控件的装置还包括：第二显示模块。其中，第二显示模块，用于在第一注视时长满足信息关联模块关联的第一预定义时长的情况下，显示信息确定模块。
在一种可选的方案中，眼球注视控制交互控件的装置还包括：处理模块以及第三显示模块。其中，处理模块，用于对信息关联模块进行放大处理；第三显示模块，用于显示放大后的信息关联模块。
在一种可选的方案中，信息确定模块包含多个子单元，控制模块包括：第四显示模块、第二确定模块、第二获取模块以及第一控制模块。其中，第四显示模块，用于在第一注视时长满足第一预定义时长的情况下，显示多个子单元；第二确定模块，用于从多个子单元中确定出对象注视的待交互单元；第二获取模块，用于获取对象注视待交互单元的第二注视时长；第一控制模块，用于在第二注视时长满足第二预定义时长的情况下，控制待交互单元对应的操作。
需要说明的是，上述第四显示模块、第二确定模块、第二获取模块以及第一控制模块对应于实施例1中的步骤S1080至步骤S1086，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
实施例4
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行实施例1中的眼球注视控制交互控件的方法。
实施例5
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行实施例1中的眼球注视控制交互控件的方法。
实施例6
根据本发明实施例，还提供了一种眼球注视控制交互控件的方法实施例，其中，图11是根据本发明实施例的眼球注视控制交互控件的方法流程图，如图11所示，该方法包括如下步骤：
步骤S1102，检测对目标应用的第三注视时长；
步骤S1104，在第三注视时长满足第三预定义时长时，显示与目标应用关联的交互控件；
步骤S1106，在注视交互控件的第四注视时长满足第四预定义时长时，确定选中目标应用，并运行目标应用。
需要说明的是，实施例2所提供的眼球注视控制交互控件的***，即实施例1中提及的眼控***可作为本实施例的执行主体。另外，目标应用包括至少一个待交互控件，其中，待交互控件包括信息关联模块和信息确定模块，信息关联模块被配置为接收对象发出的选择待交互控件的选择指令，信息确定模块被配置为接收对象发出的确认待交互控件的确认指令。
可选的，上述对目标应用的第三注视时长可以为用户对目标应用的信息关联模块的注视时长，例如，当用户注视信息关联模块的注视时长满足第三预定义时长时，信息关联模块将接收到上述选择指令。另外，上述步骤S1104中显示的与目标应用关联的交互控件可以为目标应用的信息确定模块。具体的，眼控***在接收到选择指令之后，控制与目标应用关联的信息确定模块显示，例如，图8中，用户注视浏览器控件的注视时长超过2秒，则显示设备上显示带有对勾“√”的图标，该图标与浏览器控件的信息确定模块相对应。然后，眼控***进一步检测用户是否注视信息确定模块对应的显示内容(例如，图8中带有对勾“√”的图标)，如果检测到用户注视信息确定模块对应的显示内容，则进一步统计用户的注视时长，如果注视时长大于第二预定义时长(例如，1秒)，则处理设备确定用户发出确定选择浏览器控件的指令，并运行浏览器。
基于上述步骤S1102至步骤S1106所限定的方案，可以获知，通过检测对目标应用的第三注视时长，并在在第三注视时长满足第三预定义时长时，显示与目标应用关联的交互控件，然后在注视交互控件的第四注视时长满足第四预定义时长时，确定选中目标应用，并运行目标应用。
容易注意到的是，在本申请中单独设置交互控件用于接收用户的指令，即只有在用户注视目标应用的注视时长达到预设时长之后，才会显示接收用户确认指令的交互控件显示，并在用户注视该交互控件的注视时长满足预设条件时，才执行用户的指令。由此可见，用户发出的指令仅与接收用户确认指令的交互控件关联，通过用户与接收用户确认指令的交互控件的交互，能够准确地接收用户发出指令的操作，避免与用户观察、浏览待交互控件的注视时长混淆，造成误判。
由上述内容可知，本申请所提供的眼球注视控制交互控件的方法可以达到识别用户通过眼睛发出的控制指令的目的，从而实现了提高识别用户通过眼睛发出的控制指令的准确度的技术效果，进而解决了现有的眼动交互方法对用户发出的眼动指令识别不准确的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种眼球注视控制交互控件的方法，其特征在于，包括：
显示目标应用的至少一个待交互控件，所述待交互控件包括信息关联模块和信息确定模块，所述信息关联模块被配置为接收对象发出的选择所述待交互控件的选择指令，所述信息确定模块被配置为接收对象发出的确认所述待交互控件的确认指令；
通过眼球注视的注视信息确定与所述信息关联模块关联的第一注视时长；
在确定所述第一注视时长满足第一预定义时长时，获取与所述信息确定模块关联的第二注视时长；
在确定所述第二注视时长满足第二预定义时长时，完成所述待交互控件对应的操作。
2.根据权利要求1所述的方法，其特征在于，通过眼球注视的注视信息确定与所述信息关联模块关联的第一注视时长之前，还包括，
获取多个眼球图像；
从所述多个眼球图像中提取眼球注视特征；
通过所述眼球注视特征确定所述眼球注视的注视信息。
3.根据权利要求2所述的方法，所述注视信息配置为确定对象的注视位置以及注视时长。
4.根据权利要求1所述的方法，其特征在于，在确定所述第二注视时长是否满足与所述信息确定模块关联的第二预定义时长之前，所述方法还包括：
控制所述信息关联模块和所述信息确定模块同时显示。
5.根据权利要求1所述的方法，其特征在于，在确定所述第二注视时长是否满足与所述信息确定模块关联的第二预定义时长之前，所述方法还包括：
在所述第一注视时长满足所述信息关联模块关联的第一预定义时长的情况下，显示所述信息确定模块。
6.根据权利要求4或5所述的方法，其特征在于，在显示所述信息确定模块之后，所述方法还包括：
对所述信息关联模块进行放大处理；
显示放大后的信息关联模块。
7.根据权利要求1所述的方法，其特征在于，所述信息确定模块包含多个子单元，其中，在确定所述第二注视时长满足所述第二预定义时长时，完成所述待交互控件对应的操作，包括：
在所述第一注视时长满足所述第一预定义时长的情况下，显示所述多个子单元；
从所述多个子单元中确定出对象注视的待交互单元；
获取对象注视所述待交互单元的第二注视时长；
在所述第二注视时长满足所述第二预定义时长的情况下，控制所述待交互单元对应的操作。
8.一种眼球注视控制交互控件的方法，其特征在于，包括：
检测对目标应用的第三注视时长；
在所述第三注视时长满足第三预定义时长时，显示与所述目标应用关联的交互控件；
在注视所述交互控件的第四注视时长满足第四预定义时长时，确定选中所述目标应用，并运行所述目标应用。
9.一种眼球注视控制交互控件的***，其特征在于，包括：
数据采集设备，用于采集对象的眼球注视的注视信息；
显示设备，用于显示目标应用的至少一个待交互控件，所述待交互控件包括信息关联模块和信息确定模块，所述信息关联模块被配置为接收对象发出的选择所述待交互控件的选择指令，所述信息确定模块被配置为接收对象发出的确认所述待交互控件的确认指令；
处理设备，与所述数据采集设备和所述显示设备连接，用于通过眼球注视的注视信息确定与所述信息关联模块关联的第一注视时长，在确定所述第一注视时长满足第一预定义时长时，获取与所述信息确定模块关联的第二注视时长，然后在确定所述第二注视时长满足第二预定义时长时，完成所述待交互控件对应的操作。
10.一种眼球注视控制交互控件的装置，其特征在于，包括：
显示模块，用于显示目标应用的至少一个待交互控件，所述待交互控件包括信息关联模块和信息确定模块，所述信息关联模块被配置为接收对象发出的选择所述待交互控件的选择指令，所述信息确定模块被配置为接收对象发出的确认所述待交互控件的确认指令；
确定模块，用于通过眼球注视的注视信息确定与所述信息关联模块关联的第一注视时长；
获取模块，用于在确定所述第一注视时长满足第一预定义时长时，获取与所述信息确定模块关联的第二注视时长；
控制模块，用于在确定所述第二注视时长满足第二预定义时长时，完成所述待交互控件对应的操作。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至8中任意一项所述的眼球注视控制交互控件的方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行权利要求1至8中任意一项所述的眼球注视控制交互控件的方法。
CN201811460215.6A 2018-11-30 2018-11-30 眼球注视控制交互控件的方法、装置和*** Pending CN109683705A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811460215.6A CN109683705A (zh) 2018-11-30 2018-11-30 眼球注视控制交互控件的方法、装置和***
US16/699,776 US20200103965A1 (en) 2018-11-30 2019-12-02 Method, Device and System for Controlling Interaction Control Object by Gaze

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811460215.6A CN109683705A (zh) 2018-11-30 2018-11-30 眼球注视控制交互控件的方法、装置和***

Publications (1)

Publication Number Publication Date
CN109683705A true CN109683705A (zh) 2019-04-26

Family

ID=66185979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811460215.6A Pending CN109683705A (zh) 2018-11-30 2018-11-30 眼球注视控制交互控件的方法、装置和***

Country Status (2)

Country Link
US (1) US20200103965A1 (zh)
CN (1) CN109683705A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456964A (zh) * 2019-07-26 2019-11-15 天脉聚源(杭州)传媒科技有限公司 一种自适应的聊天气泡显示方法、***、装置和存储介质
CN110941344A (zh) * 2019-12-09 2020-03-31 Oppo广东移动通信有限公司 获取注视点数据的方法及相关装置
CN111880663A (zh) * 2020-02-06 2020-11-03 北京师范大学 一种应用于交互式地图的眼动控制方法及装置
CN112967796A (zh) * 2019-12-13 2021-06-15 深圳迈瑞生物医疗电子股份有限公司 体外诊断设备的非接触式控制方法、设备及存储介质
WO2022193989A1 (zh) * 2021-03-16 2022-09-22 展讯通信（上海）有限公司 电子设备的操作方法、装置和电子设备
CN117755076A (zh) * 2023-12-26 2024-03-26 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164017A (zh) * 2011-12-12 2013-06-19 联想(北京)有限公司 一种眼控输入方法及电子设备
CN105046283A (zh) * 2015-08-31 2015-11-11 宇龙计算机通信科技(深圳)有限公司 终端操作方法和终端操作装置
CN105807899A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备及信息处理方法
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
CN106020613A (zh) * 2016-05-25 2016-10-12 维沃移动通信有限公司 一种未读消息的操作方法及移动终端
CN107003738A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 注视目标应用启动器
CN107390863A (zh) * 2017-06-16 2017-11-24 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
CN108803866A (zh) * 2018-03-27 2018-11-13 北京七鑫易维信息技术有限公司 输出信息的方法、装置和***

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20120086645A1 (en) * 2010-10-11 2012-04-12 Siemens Corporation Eye typing system using a three-layer user interface
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9317113B1 (en) * 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
GB2504492A (en) * 2012-07-30 2014-02-05 John Haddon Gaze detection and physical input for cursor symbol
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20160005013A (ko) * 2013-03-01 2016-01-13 토비 에이비 지연 워프 시선 상호작용
US20140354533A1 (en) * 2013-06-03 2014-12-04 Shivkumar Swaminathan Tagging using eye gaze detection
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164017A (zh) * 2011-12-12 2013-06-19 联想(北京)有限公司 一种眼控输入方法及电子设备
CN107003738A (zh) * 2014-12-03 2017-08-01 微软技术许可有限责任公司 注视目标应用启动器
CN105807899A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备及信息处理方法
CN105046283A (zh) * 2015-08-31 2015-11-11 宇龙计算机通信科技(深圳)有限公司 终端操作方法和终端操作装置
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
CN106020613A (zh) * 2016-05-25 2016-10-12 维沃移动通信有限公司 一种未读消息的操作方法及移动终端
CN107390863A (zh) * 2017-06-16 2017-11-24 北京七鑫易维信息技术有限公司 设备的控制方法及装置、电子设备、存储介质
CN108803866A (zh) * 2018-03-27 2018-11-13 北京七鑫易维信息技术有限公司 输出信息的方法、装置和***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456964A (zh) * 2019-07-26 2019-11-15 天脉聚源(杭州)传媒科技有限公司 一种自适应的聊天气泡显示方法、***、装置和存储介质
CN110941344A (zh) * 2019-12-09 2020-03-31 Oppo广东移动通信有限公司 获取注视点数据的方法及相关装置
CN110941344B (zh) * 2019-12-09 2022-03-15 Oppo广东移动通信有限公司 获取注视点数据的方法及相关装置
CN112967796A (zh) * 2019-12-13 2021-06-15 深圳迈瑞生物医疗电子股份有限公司 体外诊断设备的非接触式控制方法、设备及存储介质
CN111880663A (zh) * 2020-02-06 2020-11-03 北京师范大学 一种应用于交互式地图的眼动控制方法及装置
WO2022193989A1 (zh) * 2021-03-16 2022-09-22 展讯通信（上海）有限公司 电子设备的操作方法、装置和电子设备
CN117755076A (zh) * 2023-12-26 2024-03-26 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备
CN117755076B (zh) * 2023-12-26 2024-05-31 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20200103965A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
CN109683705A (zh) 眼球注视控制交互控件的方法、装置和***
CN112034977B (zh) Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US10915180B2 (en) Systems and methods for monitoring a user's eye
CN112181152B (zh) 基于mr眼镜的广告推送管理方法、设备及应用
CN106537290B (zh) 与真实和虚拟对象交互的基于生物力学的眼球信号的***和方法
JP5863423B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6253311B2 (ja) 画像処理装置、画像処理方法
KR101660157B1 (ko) 시선 추적 기반 재활 시스템
CN105768720A (zh) 一种镜面显示的智能健康监控***及方法
WO2018127782A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
CN109683703A (zh) 一种显示控制方法、终端及计算机可读存储介质
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109982616A (zh) 用于支持至少一个用户执行个人护理活动的装置和方法
CN106681509A (zh) 界面操作的方法和***
CN110348927A (zh) 信息展示处理方法、装置及门店***
EP4161387B1 (en) Sound-based attentive state assessment
CN110174937A (zh) 注视信息控制操作的实现方法及装置
CN110441923B (zh) 一种应用于智能眼镜设备上的防沉迷方法、装置、智能眼镜设备以及计算机存储介质
CN110262663B (zh) 基于眼球追踪技术的日程生成方法及相关产品
US11328187B2 (en) Information processing apparatus and information processing method
CN206003051U (zh) 显示设备及***
JP5989725B2 (ja) 電子機器及び情報表示プログラム
CN108537113B (zh) 眼睛伤害度评估方法
CN110058693B (zh) 数据采集方法、装置、电子设备及存储介质
CN109285026A (zh) 一种货架数据处理***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40005136

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426