CN101405680A - 用于图像操作的眼睛跟踪控制的热区 - Google Patents

用于图像操作的眼睛跟踪控制的热区 Download PDF

Info

Publication number
CN101405680A
CN101405680A CNA2007800100332A CN200780010033A CN101405680A CN 101405680 A CN101405680 A CN 101405680A CN A2007800100332 A CNA2007800100332 A CN A2007800100332A CN 200780010033 A CN200780010033 A CN 200780010033A CN 101405680 A CN101405680 A CN 101405680A
Authority
CN
China
Prior art keywords
zone
hot
user
roi
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800100332A
Other languages
English (en)
Inventor
G-J·布勒姆
N-Z·陈
G·C·约尔纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101405680A publication Critical patent/CN101405680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及用于操作图像或图形的***,其中要执行的操作使用眼睛跟踪来选择或者激活。一些热区被设置在感兴趣区域(ROI)周围并与其相邻,每个都与图像参数调节(例如对比度或者亮度)有关。眼睛跟踪设备确定用户的凝视点,并且当凝视点落入热区内时***自动执行相关调节。围绕ROI的热区的封闭边界允许用户保持对ROI的聚焦并仅仅稍稍到或者朝向热区移开他/她的注视以便调节图像参数。因此,可以控制调节,同时仍保持使ROI在焦点上,使得可以同时跟踪调节的效果。

Description

用于图像操作的眼睛跟踪控制的热区
本发明涉及使用眼睛跟踪的激活功能。尤其,本发明涉及用于操作图像或图形的***,其中要执行的操作使用眼睛跟踪来选择或者激活。
用于选择或者激活图形用户界面(GUI)中的任务的眼睛跟踪应用典型地在其中用户失去能力或者以其他方式防止使用标准GUI指向设备(例如鼠标)的情况下使用。
使用眼睛跟踪的选择或激活功能典型地分成两个子功能;指向和选择。与使用鼠标将光标移动到图标上方的位置相比,指向使GUI关注所需的任务。指向常常通过在表示所需任务的图形对象处开始,或者通过沿着与所需移动对应的方向移动眼睛而移动光标来进行。与在光标下(双击)点击图标相比较,选择通过确认所指向的任务是实际的所需任务来执行使该任务在焦点上。选择例如可通过眨眼或者通过输入手段(声音、键盘等)来执行。
在用于操作数据容量和显示的程序中,例如图像处理软件中,要执行的动作典型地由定位在显示器边缘处的按钮和工具栏控制。用户必须刚好使他/她聚集到显示器的另一部分以指向和选择,从而忽略了对感兴趣区域中发生的变化的感知,这是应用眼睛跟踪的现有技术的GUI的缺点。
因此,其中用户不必须将他/她的注视从感兴趣区域移开以选择或激活控制感兴趣区域的操作的功能改进***将是有利的。
US5,850,211公开了用于文本页面的眼睛跟踪控制滚动***。关于图3,US5,850,211描述了自动调节作为用户眼睛阅读的文本的位置的函数的滚动速度。当用户阅读屏幕较上部的文本时,不执行或者执行非常慢的滚动,如果用户的眼睛接近屏幕的底部,则开始滚动或者增加滚动速度。通过将用户精细地定位在屏幕中央,对象将自动保持文本阅读。因此,当用户的眼睛的注视离开一部分文本时,这部分文本将自动脱离用户眼睛的聚焦区域。与不同滚动场景相关的参考区域被隐藏在文本后面并且对用户来说是不可见的。
在本发明的上下文中,人的焦点或者聚焦范围是由人眼的视网膜中央凹敏锐观察到的范围。视网膜中央凹是定位在黄斑区中心的圆点,负责人类阅读、看电视或者电影、驾驶以及其中可视细节非常重要的任何活动所需的敏锐的中央视觉。在凝视期间可得到来自眼睛的大多数信息,但在飞快扫视(眼睛的迅速运动)期间不能得到。在凝视期间,视网膜中央凹,即聚焦范围的对向的视角提供了大量的视觉信息(典型地被估计为由1.5-2°的立体角限定的区域);来自较大的偏心区(周边)的输入信息较少。
因此,本发明优选寻求减轻、减少或消除单个或任何组合的一种或多种上面提到的缺点。尤其,本发明的目的可以看作是通过允许用户执行基于眼睛跟踪的图像数据操作同时使得所操作图像数据在焦点上,即不将他/她的注视从要操作的图像数据移开,来提供解决现有技术的上述问题的眼睛跟踪交互***和方法以及软件应用程序。该目的在本发明的第一方面中通过提供用于控制数字图像中的图像参数调节的眼睛跟踪交互***来实现,所述眼睛跟踪交互***包括:
-用于显现数字图像的显示器,所述图像具有要调节图像参数的感兴趣区域(ROI);
-用于确定用户眼睛在显示器上的凝视点的眼睛跟踪***;
-可视地描绘了范围的轮廓的装置,该范围限定了显示器上与ROI有关的两个或多个热区,其中:
-热区设置在与ROI邻近并至少部分围绕ROI的区域中,并且当用户眼睛的凝视点位于热区中时,该区域允许用户使至少一部分ROI在焦点上,所述区域由内径d和外径D>d来限定;
-热区占据该区域的不同角度部分;
-每个热区与给定图像参数的给定调节相关联;
-当用户眼睛的凝视点落在热区内时用于执行与热区关联的图像参数调节的装置,关联图像参数调节至少在ROI中执行;
-当进行其关联图像参数调节时用于通过使热区高亮为用户提供反馈的装置。
数字图像可以是实际记录的任何形式的数字表示,诸如照片、X-射线图像、CT图像数据、超声图像或图像数据、MRI图像数据,包括3D图像数据的三维(3D)表示。将热区高亮意味着使其可视性更好或者更突出,例如通过增强轮廓,改变轮廓颜色、改变背景等。优选地,用于执行调节的装置被构造成只要用户眼睛的凝视点落在相关热区中就执行小参数值调节的重复步骤。
在一种可能的布置中,其中设置了热区的区域为圆形或者大体上为圆形,但其可以采取许多不同的形状,例如多边形,诸如矩形或者规则的多边形、卵圆形、椭圆形等。在任何情况下,术语“径向”和“角”将被用于描述与区域或者热区有关的方向,如稍后说明的。
热区设置在其中的区域的尺寸具有如下特征:内径为d,其为该区域的内轮廓上任意两点之间的最小距离;外径为D,其为该区域的外轮廓上任意两点之间的最大距离。当该区域边界接近ROI时,d也是ROI的外径。该区域的径向宽度优选但不必需沿着所有方向都相同,在这种情况下该区域是宽为(D-d)/2的带。
热区不需要形成围绕ROI的封闭形状,热区之间的角间隙可为用户的眼睛提供从该区域移开的方式,而不执行图像参数的任何调节。
本发明特别有利于进行图像参数的调节,同时保持图像在焦点上,也不排除其它。如同指定的那样,当用户凝视热区时,即可与典型的现有技术眼睛跟踪UI中指向相比的动作,用于进行调节的装置工作。在本发明中,使注视移动到热区选择了相关图像参数调节-不需要独立的指向和选择。这种简化的选择操作对于标准GUI工具栏的用户来说可能是非常迷惑的,该标准GUI工具栏中将一些功能组合在一起从而使得用户在指向和选择所需按钮之前扫描工具栏的按钮。这不表示由于邻近并至少部分围绕ROI的热区的布置引起的本发明中的问题。一般说来,必须避免当用户在寻找GUI对象时飞快扫视时的功能的错误选择,并且对眼睛跟踪本身来说固有的是平均、过滤和可能的超时。在眼睛跟踪中,超时是很好定义的时间段,在该时间段用户必须凝视热区以便将其激活。
在一种实施方式中,眼睛跟踪***应用非常短的超时,其如此之短以使得用户注意不到,诸如少于0.3秒或者少于0.2秒,或者少于0.1秒或0.05秒。从而,用户经历当凝视热区时立即进行选择的功能。超时可被设置在交互机构中,但其也可被包括在***本身的凝视位置计算中。
在另一种可能的实施方式中,没有应用专门的超时机构并且眼睛跟踪***的灵敏性使用初步平均和过滤来调整。
热区的设置适于允许用户聚焦在ROI上,并将他/她的注视略微偏移到或者朝向热区以便调节图像参数,同时仍保持ROI在焦点上,使调节的效果可被跟踪并控制,这是本发明的基本构思。这提供了用户不需要飞快扫视、扫描、摇摄(pan)显示器以指向热区的优点,进而允许在现有技术***中被认为高度不利的简化选择操作。优选限定热区的范围至少为半透明的,使ROI之外的一部分数字图像可从热区之后观察到。在这种情况下,通过在热区后面的图像部分中也进行图像参数调节,用户可以使用这些部分中的调节来得到在ROI中相同调节的效果的感觉。
在进一步的实施方式中,进行调节的装置配置为当用户眼睛的凝视点落在热区中时仅仅当用户眼睛的先前凝视点落在ROI中或者另一热区中时进行图像参数调节。这降低了用户偶然选择与热区相关的调节的风险。
如果区域或热区的径向宽度过大,则当用户将他的眼睛移到显示器的另一部分或者离开显示器(因为用户将飞速扫过热区)时,***可自然而然地调节图像参数。因此径向宽度优选保持相对较小。优选的是当用户眼睛的凝视点在热区中时使ROI的主要部分在焦点上,这为ROI的大小和热区的径向宽度施加了限制。而且,因为目标是当经过热区进行调节时用户应当能够使ROI在焦点上,径向宽度优选不大于允许用户使至少一部分ROI在焦点上同时注视区域或热点的外边界的宽度。由于焦点由立体角度界定,焦点的大小取决于从用户眼睛到显示器的距离L,例如估计或者典型的距离。优选地,一个或多个下列规格描述了区域或热区的尺寸:
I.D-d≤tan(1°)·L.
II.D-d≤d或者D≤2d.
III.d≤tan(2°)·L.
IV.D≤tan(4°)·L.
V.任何热区的径向宽度和角宽度大于精度δ,眼睛跟踪***可根据其确定显示器上的凝视点。
这些规格用作热区布置设计的指导方针,小的偏差也是可以接受的。
眼睛跟踪的无接触方法诸如使用红外光的角膜反射和瞳孔位置的光学方法可以构造成也确定并提供用户眼睛和显示器之间的距离。获得该距离的其他方式是加入另外的小设备,诸如IR接近度传感器中。在有利的实施方式中,用于描绘限定热区的范围的轮廓的装置包括用于根据用户眼睛和显示器之间提供的距离来调节通用参数的装置。因此,眼睛跟踪交互***将能够自动调节热区的尺寸,并可能调节ROI,以适应用户和显示器之间的距离。
眼睛跟踪交互***用于控制数字图像中图像参数的调节,其中重要的是用户可以在调节过程中得到可视反馈。所述图像参数可以是但不限于对比度(窗口宽度)、亮度(窗口水平)、颜色、缩放、旋转和摇摄(panning)。
优选地,热区可调节ROI的这些图像参数中的一个或多个。
在第二方面,本发明涉及用于数字图像中图像参数的眼睛跟踪控制调节方法,所述方法包括下列步骤:
-提供用于显现数字图像的显示器,所述图像具有要调节图像参数的感兴趣区域(ROI);
-提供用于确定用户眼睛在所述显示器上的凝视点的眼睛跟踪***;
-可视地描绘范围的轮廓,该范围限定了所述显示器上与所述ROI有关的两个或多个热区,从而使得:
-所述热区设置在与所述ROI邻近并至少部分围绕所述ROI的区域中,并且当所述用户眼睛的凝视点位于热区中时,所述区域允许用户使至少一部分所述ROI在焦点上,所述区域由内径d和外径D>d来限定;
-所述热区占据所述区域的不同角度部分;
-使每个热区与给定图像参数的给定调节相关联;
-当用户眼睛的所述凝视点落在所述热区中时执行与热区关联的图像参数调节,关联图像参数调节至少在所述ROI中执行;
-当执行其关联图像参数调节时通过使热区高亮向所述用户提供反馈。
在第三方面,本发明涉及计算机程序产品,其适于使计算机***控制根据本发明第一方面的眼睛跟踪交互***,该计算机***包括至少一个计算机,其具有与其关联的数据存储装置。根据该第三方面,本发明提供了配置为适于在包括如下的***中使用处理硬件的软件应用程序:
-计算机,或者类似电子数据处理器,其能够进行数字图像处理;
-用于显现数字图像的显示器,所述图像具有要调节图像参数的感兴趣区域(ROI);
-用于确定用户眼睛在显示器上的凝视点的眼睛跟踪***;以进行数字图像参数的眼睛跟踪控制调节,所述软件应用程序包括:
-可视地描绘了范围的轮廓的模块,所述范围限定了显示器上与所述ROI有关的两个或多个热区,其中:
-所述热区设置在与所述ROI邻近并至少部分围绕所述ROI的区域中,并且当所述用户眼睛的凝视点位于热区中时,所述区域允许用户使至少一部分所述ROI在焦点上,所述区域由内径d和外径D>d来限定;
-所述热区占据所述区域的不同角度部分;
-每个热区与给定图像参数的给定调节相关联;
-当用户眼睛的所述凝视点落在所述热区内时用于执行与热区关联的图像参数调节的模块,所述关联图像参数调节至少在所述ROI中执行;
-当执行其关联图像参数调节时用于通过使热区高亮向所述用户提供反馈的模块。
本发明的该方面特别的优点在于本发明可通过使图像处理***进行本发明的第一方面的操作的软件应用程序来实现,但也不排除其它。因此,可以预期,一些图像处理***可通过将软件应用程序安装在保持图像处理***的电子处理***上而改变以便根据本发明来操作。所述软件应用程序可在任何种类的可读数据载体上提供,例如以磁或光为基础的介质,或者通过以计算机为基础的网络例如因特网。
在所有方面,本发明涉及提供图像参数的眼睛跟踪控制调节,其中用户可以调节图像参数同时聚焦图像。在各个方面,本发明作为***、方法和软件应用程序来实现。在前述和下列描述中,描述了一些优选的额外特征和元件以及本发明的实现方式和实施方式。虽然关于第一方面进行了描述,对本领域技术人员来说显而易见的是,这些特征、元件、实现方式和实施方式也可在本发明的所有不同方面实现或体现。
本发明的第一、第二和第三方面每个都可与任一其他方面组合。通过对此后描述的实施方式的阐述,本发明的这些和其他方面都将显而易见。
现在将参照附图仅仅通过例子对本发明进行描述,附图中:
图1示出了具有根据本发明实施方式的眼睛跟踪交互***的用户;
图2示出了包括热区的区域并限定了相关概念和尺寸;
图3A-C和4A-C示出了显示不同热区布置的实施方式;
图5显示了描述根据本发明实施方式的描绘了热区轮廓的显示;
图6是根据本发明的方法的流程图。
图1示出了具有根据本发明实施方式的眼睛跟踪交互***2的用户1。眼睛跟踪交互***2包括眼睛跟踪***3、4和用于显现数字图像的显示器5。该***还包括电子处理器或者微处理器芯片6,例如CPU(中央处理单元),其可以执行可利用的软件程序7。所示的眼睛跟踪***具有红外光源3和用于检测由用户眼睛反射的红外光的摄影机。通过处理检测到的信息,眼睛跟踪***可以确定用户眼睛在显示器5上的凝视点8。圆圈9示出了用户的聚焦范围,凝视点8典型地与聚焦范围的中心相符。
图2示出了用于限定热区的保持了范围24的区域20。区域20由直径d的内轮廓22和直径D的外轮廓23限定。内轮廓内部的区域21是感兴趣区域(ROI)。在所示的例子中,区域为具有沿径向方向15的径向宽度为(D-d)/2的环形带。类似地,范围24具有沿角方向16的角宽度π/2弧度或者90°的宽度。与区域20有关显示的是用户的聚焦范围9以及用户眼睛的凝视点8,如同由眼睛跟踪***或设备确定的那样。眼睛跟踪***以某个给定精确度δ确定凝视点8的坐标,如圆圈19所示。
图3A-C显示了在圆形区域20内部和围绕ROI 21以不同布置设置的热区25-30。取决于所需的通过热区可调节的图像参数的数目,区域20可以包括例如2、4、和6个热区,如图所示,但可以包括由前面讨论的大小限制允许的任意数目的热区。
图4A-C显示了分别以不同布置设置在区域40、42和44中以及至少部分围绕ROI 21的热区25-30。图4A显示了椭圆或卵圆形区域40,其中设置有热区25和26。对于非圆形区域40(在图4C中为44),如图所示,内径d为内轮廓的最小直径,外径D为外轮廓的最大直径。如图所示,在热区之间可以存在间隙或者空隙,其帮助用户区分它们并减少在无意中凝视热区内的机会。如图4B所示,热区可具有不同的角宽度,并如图4C所示,热区可具有不同的径向宽度。
图5显示了显现数字图像50的显示器5。在显示器5上,一些热区被描绘出轮廓并设置在区域52中。在所示的例子中,上部和下部的热区分别与图像对比度的增加和降低相关。类似地,右侧和左侧热区分别与图像亮度的增加和下降有关。在图5中,用户眼睛的凝视点落在下部热区27中。根据本发明,使热区高亮,从而为用户提供反馈,同时进行图像对比度的降低。在该例子中,加强热区轮廓提供了高亮显示。
为了调节不同的图像参数,用户可能需要不同的热区模式,例如与其中热区与调节对比度和亮度相关的区域52对应的一种模式,和其中同一热区与调节缩放和旋转相关的另一相似菜单。优选地,交互***的GUI包括允许用户选择与热区相关的图像参数调节的输入装置。输入装置可以是具有可通过眼睛跟踪选择的不同热区模式的工具栏。当进行可能图像参数调节之间的选择时,聚焦ROI不是重要的,因此这样的工具栏可远离ROI定位。在另一种实施方式中,用户可在两种或多种不同热区模式之间切换,例如通过眼睛跟踪、声音或者指向设备,诸如鼠标。在一种例子中,一种专用热区可以与热区模式之间的切换关联。
在调节具有热区的ROI的图像参数之前,区域20、40、42或者44可由用户选择。这可以与定位关于所需ROI的区域相对应,使得区域的内轮廓围绕ROI。优选地,交互***的GUI包括允许用户定位与数字图像有关的区域/热区以围绕所需ROI并与其邻近的输入装置。在一种实施方式中,用户例如可以使用眼睛跟踪、声音或者指向设备,诸如鼠标来移动区域/热区。在一种例子中,一种专用热区可以与移动区域/热区相关联。
图6是根据本发明的方法的优选实施方式的概念性图示。基于与眼睛跟踪***和热区轮廓(框60)提供的凝视点(框62)的坐标有关的输入,确定用户是否注视热区(框64)。如果用户注视热区,就执行图像参数调节(框66);如果没有,则该方法再次从头开始(箭头67)。所述方法可以以预定速度连续启动(诸如以非常短的间隔),或者由诸如由眼睛跟踪***确定的凝视点变化的事件触发。
根据本发明的上述方法可以任何合适的形式实现,包括硬件、软件、固件或者这些形式的任意组合。本发明或者本发明的一些特征可以以在一个或多个数据处理器和/或数字信号处理器上运行的软件应用程序来实现。在图1中,电子处理器6和可利用的软件7实现为执行各种方法步骤的装置。本发明的实施方式的元件和部件在物理、功能和逻辑上可以以任何合适的方式执行。事实上,功能性可以以单个单元、多个单元或者作为其他功能单元的一部分来实现。同样,本发明可以以单个单元实现,或者可以在物理上和功能上分布在不同的单元和处理器之间。
虽然已经结合特定实施方式对本发明进行了描述,但这并不是想将本发明限定为在本文中阐明的特定形式。而是,本发明的范围仅仅由所附的权利要求书来限定。在权利要求书中,术语“包括”不排除其他元件或步骤的存在。另外,虽然各个特征可包括在不同权利要求中,这些可能有利地组合在一起,并且不同权利要求中这种包括的特征不意味着特征的组合不可行和/或不是有利的。此外,单数形式不排除多数。因此,“一个”、“第一”、“第二”等不排除多个。此外,权利要求书中的附图标记不构成对范围的限制。

Claims (16)

1、一种用于控制数字图像参数调节的眼睛跟踪交互***(2),所述眼睛跟踪交互***包括:
-用于向用户(1)显现数字图像(50)的显示器(5),所述图像具有要调节图像参数的感兴趣区域(ROI)(21);
-用于确定用户眼睛在所述显示器上的凝视点(8)的眼睛跟踪***(3、4);
-可视地描绘了范围(24)的轮廓的装置(6,7),所述范围(24)限定了所述显示器上与所述ROI有关的两个或多个热区(25、26、27、28、29、30),其中:
-所述热区设置在与所述ROI邻近并至少部分围绕所述ROI的区域(20、40、42、44、52)中,并且当用户眼睛的凝视点位于热区中时,所述区域允许所述用户使至少一部分所述ROI在焦点上,所述区域由内径d和外径D来限定,并且D大于d(D>d);
-所述热区占据所述区域的不同角度部分;
-每个热区与给定图像参数的给定调节相关联;
-当用户眼睛的所述凝视点落在热区内时用于执行与所述热区关联的图像参数调节的装置(6、7),所述关联图像参数调节至少在所述ROI中执行;
-当执行热区关联图像参数调节时用于通过使所述热区高亮向所述用户提供反馈的装置(6、7)。
2、根据权利要求1所述的眼睛跟踪交互***,其中,所述眼睛跟踪***可以以精度δ(19)确定所述显示器上的凝视点;并且其中,任何热区的径向宽度和角宽度大于δ。
3、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,D减去d小于或等于1度的正切乘以所述用户眼睛和所述显示器之间的距离(D-d≤tan(1°)(所述用户眼睛和所述显示器之间的距离))。
4、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,D减去d小于或等于d(D-d≤d)。
5、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,d小于或等于2度的正切乘以所述用户眼睛和所述显示器之间的距离(d≤tan(2°)(所述用户眼睛和所述显示器之间的距离)),以保证当所述用户眼睛的凝视点位于热区中时使部分所述ROI在焦点上。
6、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,D小于或等于4度的正切乘以所述用户眼睛和所述显示器之间的距离(D≤tan(4°)(所述用户眼睛和所述显示器之间的距离))。
7、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,所述眼睛跟踪***配置为确定并提供所述用户眼睛和所述显示器之间的距离。
8、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,用于描绘限定了所述热区的范围的轮廓的所述装置包括用于根据所提供的所述用户眼睛和所述显示器之间的距离来调节所述区域的广义直径的装置。
9、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,所述两个或多个热区包括用于调节选自下组的所述ROI的一个或多个图像参数的热区,所述组包括对比度、亮度、颜色、缩放、旋转和摇摄。
10、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,用于执行调节的所述装置配置为当用户眼睛的所述凝视点落在所述热区中时仅仅当用户眼睛的先前凝视点落在所述ROI中或者另一热区中时执行图像参数调节。
11、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,用于执行调节的所述装置配置为只要用户眼睛的所述凝视点落在所述相关热区中就执行参数值调节的重复步骤。
12、根据前述任意一项权利要求所述的眼睛跟踪交互***,还包括输入装置,其允许所述用户选择与热区相关的所述图像参数调节。
13、根据前述任意一项权利要求所述的眼睛跟踪交互***,还包括输入装置,其允许所述用户定位与所述数字图像有关的所述区域以围绕并邻近所需ROI。
14、根据前述任意一项权利要求所述的眼睛跟踪交互***,其中,限定了所述热区的范围至少为半透明的,从而使得所述ROI之外的所述数字图像的区域可以在所述热区后面看到。
15、一种用于数字图像中图像参数的眼睛跟踪控制调节的方法,所述方法包括如下步骤:
-提供用于显现数字图像(50)的显示器(5),所述图像具有要调节图像参数的感兴趣区域(ROI)(21);
-提供用于确定用户眼睛在所述显示器上的凝视点(8)的眼睛跟踪***(3、4);
-可视地描绘范围(24)的轮廓,所述范围(24)限定了所述显示器上与所述ROI有关的两个或多个热区(25、26、27、28、29、30),从而使得:
-所述热区设置在与所述ROI邻近并至少部分围绕所述ROI的区域(20、40、42、44、52)中,并且当用户(1)眼睛的凝视点位于热区中时,所述区域允许所述用户使至少一部分所述ROI在焦点上,所述区域由内径d和外径D来限定,D大于d(D>d);
-所述热区占据所述区域的不同角度部分;
-使每个热区与给定图像参数的给定调节相关联;
-当用户眼睛的所述凝视点落在热区中时执行与所述热区关联的图像参数调节,所述关联图像参数调节至少在所述ROI中执行;
-当执行热区关联图像参数调节时通过使所述热区高亮向所述用户提供反馈。
16、一种配置为适于***中的处理硬件的软件应用程序,所述***包括:
-电子处理器(6),其能够进行数字图像处理;
-用于显现数字图像(50)的显示器(5),所述图像具有要调节图像参数的感兴趣区域(ROI)(21);
-用于确定用户眼睛在所述显示器上的凝视点(8)的眼睛跟踪***(3、4);
以执行数字图像参数的眼睛跟踪控制调节,所述软件应用程序包括:
-可视地描绘了范围(24)的轮廓的模块(7),所述范围(24)限定了显示器上与所述ROI有关的两个或多个热区(25、26、27、28、29、30),其中:
-所述热区设置在与所述ROI邻近并至少部分围绕所述ROI的区域(20、40、42、44、52)中,并且当用户(1)眼睛的凝视点位于热区中时,所述区域允许所述用户使至少一部分所述ROI在焦点上,所述区域由内径d和外径D来限定,D大于d(D>d);
-所述热区占据所述区域的不同角度部分;
-每个热区与给定图像参数的给定调节相关联;
-当用户眼睛的所述凝视点落在热区内时用于执行与所述热区关联的图像参数调节的模块(7),所述关联图像参数调节至少在所述ROI中执行;
-当执行热区关联图像参数调节时用于通过使所述热区高亮向所述用户提供反馈的模块(7)。
CNA2007800100332A 2006-03-23 2007-03-19 用于图像操作的眼睛跟踪控制的热区 Pending CN101405680A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06111626.5 2006-03-23
EP06111626 2006-03-23

Publications (1)

Publication Number Publication Date
CN101405680A true CN101405680A (zh) 2009-04-08

Family

ID=38263708

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800100332A Pending CN101405680A (zh) 2006-03-23 2007-03-19 用于图像操作的眼睛跟踪控制的热区

Country Status (6)

Country Link
US (1) US20100231504A1 (zh)
EP (1) EP2002322B1 (zh)
JP (1) JP2009530731A (zh)
CN (1) CN101405680A (zh)
DE (1) DE602007001600D1 (zh)
WO (1) WO2007107949A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011003303A1 (en) * 2009-07-10 2011-01-13 Peking University Image manipulation based on tracked eye movement
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
CN102404584A (zh) * 2010-09-13 2012-04-04 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
CN102483650A (zh) * 2009-09-11 2012-05-30 Sr兰博斯有限责任公司 通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置
CN102866776A (zh) * 2012-09-07 2013-01-09 广东电网公司电力调度控制中心 电网调度运行的眼控输入***及其应用方法
CN103207676A (zh) * 2013-04-09 2013-07-17 上海斐讯数据通信技术有限公司 计算机图像扫描控制***及方法
CN103383596A (zh) * 2012-05-02 2013-11-06 Lg电子株式会社 移动终端及其控制方法
CN103765346A (zh) * 2011-09-08 2014-04-30 英特尔公司 基于眼睛凝视的用于音频视觉回放的位置选择
CN104205101A (zh) * 2012-04-23 2014-12-10 英特尔公司 用于使用眼动跟踪来取回所观察到的信息和相关具体上下文的***、方法和计算机程序产品
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制***、方法及医疗设备
CN105359082A (zh) * 2013-06-25 2016-02-24 微软技术许可有限责任公司 用户接口导航
CN105393190A (zh) * 2013-06-25 2016-03-09 微软技术许可有限责任公司 经由位置信号选择用户界面元素
CN105573497A (zh) * 2015-12-15 2016-05-11 云南大学 一种基于眼球轨迹追踪的广告消除方法
CN105637570A (zh) * 2013-08-21 2016-06-01 依视路国际集团(光学总公司) 用于辅助患有导致暗点的视网膜病症的个人的视觉探索的方法
CN107105215A (zh) * 2017-03-28 2017-08-29 联想(北京)有限公司 呈现图像的方法和显示***
WO2017181429A1 (en) * 2016-04-22 2017-10-26 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
CN107615216A (zh) * 2016-01-25 2018-01-19 华为技术有限公司 一种标记方法及屏显设备
CN109683716A (zh) * 2013-06-11 2019-04-26 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN114556270A (zh) * 2019-10-17 2022-05-27 微软技术许可有限责任公司 放大用户界面的眼睛注视控制

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090037840A1 (en) * 2007-08-03 2009-02-05 Siemens Medical Solutions Usa, Inc. Location Determination For Z-Direction Increments While Viewing Medical Images
EP2108328B2 (de) * 2008-04-09 2020-08-26 Brainlab AG Bildbasiertes Ansteuerungsverfahren für medizintechnische Geräte
KR101644421B1 (ko) * 2008-12-23 2016-08-03 삼성전자주식회사 사용자의 관심 정도에 기반한 컨텐츠 제공장치 및 방법
KR101055924B1 (ko) * 2009-05-26 2011-08-09 주식회사 팬택 터치 기기에서의 유저 인터페이스 장치 및 방법
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
EP2490584B1 (en) * 2009-10-20 2019-02-20 Dignity Health Eye movements as a way to determine foci of covert attention
US9495697B2 (en) * 2009-12-10 2016-11-15 Ebay Inc. Systems and methods for facilitating electronic commerce over a network
US8830164B2 (en) * 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
CN103765374A (zh) * 2011-09-08 2014-04-30 英特尔公司 交互式屏幕观看
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
KR101348903B1 (ko) 2012-06-29 2014-01-07 한국과학기술원 시선 추적용 기하광학에 기반한 각막 반경 측정 알고리즘을 이용한 각막 반경 측정 장치 및 방법
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN103853419B (zh) * 2012-12-04 2017-08-29 联想(北京)有限公司 信息处理的方法及电子设备
JP6425884B2 (ja) * 2012-12-12 2018-11-21 キヤノンメディカルシステムズ株式会社 X線診断装置
CN103869946B (zh) * 2012-12-14 2018-01-23 联想(北京)有限公司 一种显示控制方法和电子设备
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US10354359B2 (en) 2013-08-21 2019-07-16 Interdigital Ce Patent Holdings Video display with pan function controlled by viewing direction
US9367117B2 (en) 2013-08-29 2016-06-14 Sony Interactive Entertainment America Llc Attention-based rendering and fidelity
FR3014572B1 (fr) * 2013-12-05 2016-01-01 Op3Ft Procede de commande de l'interaction avec un ecran tactile et equipement mettant en oeuvre ce procede
US9959317B2 (en) 2014-03-05 2018-05-01 Empire Technology Development Llc Semantic data generation
WO2015168833A1 (en) * 2014-05-04 2015-11-12 Empire Technology Development Llc Document interaction evaluator based on ontology
US9958947B2 (en) 2014-06-25 2018-05-01 Comcast Cable Communications, Llc Ocular focus sharing for digital content
CN107438407B (zh) * 2014-12-16 2023-09-15 皇家飞利浦有限公司 自动放射学阅读会话检测
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示制御方法、表示制御装置及び制御プログラム
US9452678B1 (en) 2015-11-17 2016-09-27 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US9469195B1 (en) 2015-11-17 2016-10-18 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US9457665B1 (en) * 2015-11-17 2016-10-04 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
CN106791353B (zh) * 2015-12-16 2019-06-14 深圳市汇顶科技股份有限公司 自动对焦的方法、装置和***
US20170309070A1 (en) * 2016-04-20 2017-10-26 Sangiovanni John System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments
SK289010B6 (sk) 2016-10-17 2022-11-24 Ústav experimentálnej fyziky SAV, v. v. i. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad
CN107562186B (zh) * 2017-07-14 2020-09-04 华侨大学 基于注意力辨识进行情感运算的3d校园导览方法
TWI630507B (zh) 2017-09-25 2018-07-21 仁寶電腦工業股份有限公司 目光偵測、辨識與控制方法
US11603527B2 (en) * 2017-12-27 2023-03-14 Global Life Sciences Solutions Usa Llc Method and kit for viral vector isolation
DE102019214459A1 (de) * 2019-09-23 2021-03-25 Siemens Healthcare Gmbh Computerimplementiertes Verfahren und Vorrichtung zur Registrierung von Bildern
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886683A (en) * 1996-06-25 1999-03-23 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven information retrieval
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5850211A (en) * 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797261B2 (en) 2009-07-10 2014-08-05 Peking University Image manipulation based on tracked eye movement
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US9081414B2 (en) 2009-07-10 2015-07-14 Peking University Image manipulation based on tracked eye movement
US8564533B2 (en) 2009-07-10 2013-10-22 Peking University Image manipulation based on tracked eye movement
WO2011003303A1 (en) * 2009-07-10 2011-01-13 Peking University Image manipulation based on tracked eye movement
CN102483650A (zh) * 2009-09-11 2012-05-30 Sr兰博斯有限责任公司 通过眼睛控制和合适的交互方法使用通用软件应用的方法及装置
CN102404584A (zh) * 2010-09-13 2012-04-04 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
CN102404584B (zh) * 2010-09-13 2014-05-07 腾讯科技(成都)有限公司 调整场景左右摄像机的方法及装置、3d眼镜、客户端
CN102176191A (zh) * 2011-03-23 2011-09-07 山东大学 一种基于视线跟踪的电视机操控方法
CN103765346B (zh) * 2011-09-08 2018-01-26 英特尔公司 基于眼睛凝视的用于音频视觉回放的位置选择
CN103765346A (zh) * 2011-09-08 2014-04-30 英特尔公司 基于眼睛凝视的用于音频视觉回放的位置选择
CN104205101A (zh) * 2012-04-23 2014-12-10 英特尔公司 用于使用眼动跟踪来取回所观察到的信息和相关具体上下文的***、方法和计算机程序产品
CN104205101B (zh) * 2012-04-23 2018-07-03 英特尔公司 用于使用眼动跟踪来取回所观察到的信息和相关具体上下文的***、方法和计算机程序产品
CN103383596A (zh) * 2012-05-02 2013-11-06 Lg电子株式会社 移动终端及其控制方法
CN104395857A (zh) * 2012-05-09 2015-03-04 英特尔公司 显示器的部分的基于眼球追踪的选择性强调
CN102866776B (zh) * 2012-09-07 2016-07-13 广东电网公司电力调度控制中心 电网调度运行的眼控输入***及其应用方法
CN102866776A (zh) * 2012-09-07 2013-01-09 广东电网公司电力调度控制中心 电网调度运行的眼控输入***及其应用方法
CN103207676A (zh) * 2013-04-09 2013-07-17 上海斐讯数据通信技术有限公司 计算机图像扫描控制***及方法
CN103207676B (zh) * 2013-04-09 2017-08-04 上海斐讯数据通信技术有限公司 计算机图像扫描控制***及方法
CN109739361A (zh) * 2013-06-11 2019-05-10 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN109683716B (zh) * 2013-06-11 2021-10-22 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
US11366516B2 (en) 2013-06-11 2022-06-21 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11194388B2 (en) 2013-06-11 2021-12-07 Samsung Electronics Co., Ltd. Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN109683716A (zh) * 2013-06-11 2019-04-26 三星电子株式会社 基于眼睛跟踪的可见度提高方法和电子装置
CN105393190A (zh) * 2013-06-25 2016-03-09 微软技术许可有限责任公司 经由位置信号选择用户界面元素
CN105359082A (zh) * 2013-06-25 2016-02-24 微软技术许可有限责任公司 用户接口导航
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
CN105359082B (zh) * 2013-06-25 2018-11-06 微软技术许可有限责任公司 用于用户接口导航的***和方法
CN105393190B (zh) * 2013-06-25 2018-12-07 微软技术许可有限责任公司 经由位置信号选择用户界面元素
CN105637570A (zh) * 2013-08-21 2016-06-01 依视路国际集团(光学总公司) 用于辅助患有导致暗点的视网膜病症的个人的视觉探索的方法
CN105637570B (zh) * 2013-08-21 2019-07-02 依视路国际公司 用于辅助患有导致暗点的视网膜病症的个人的视觉探索的方法
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制***、方法及医疗设备
CN105573497B (zh) * 2015-12-15 2018-08-24 云南大学 一种基于眼球轨迹追踪的广告消除方法
CN105573497A (zh) * 2015-12-15 2016-05-11 云南大学 一种基于眼球轨迹追踪的广告消除方法
CN107615216A (zh) * 2016-01-25 2018-01-19 华为技术有限公司 一种标记方法及屏显设备
CN107615216B (zh) * 2016-01-25 2020-06-09 华为技术有限公司 一种标记方法及屏显设备
WO2017181429A1 (en) * 2016-04-22 2017-10-26 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
US10936894B2 (en) 2016-04-22 2021-03-02 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (ROI) of a user
CN108139799A (zh) * 2016-04-22 2018-06-08 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的***和方法
CN108139799B (zh) * 2016-04-22 2022-01-14 深圳市大疆创新科技有限公司 基于用户的兴趣区(roi)处理图像数据的***和方法
CN107105215B (zh) * 2017-03-28 2020-02-21 联想(北京)有限公司 呈现图像的方法和显示***
CN107105215A (zh) * 2017-03-28 2017-08-29 联想(北京)有限公司 呈现图像的方法和显示***
CN114556270A (zh) * 2019-10-17 2022-05-27 微软技术许可有限责任公司 放大用户界面的眼睛注视控制
CN114556270B (zh) * 2019-10-17 2024-05-24 微软技术许可有限责任公司 放大用户界面的眼睛注视控制

Also Published As

Publication number Publication date
DE602007001600D1 (de) 2009-08-27
EP2002322B1 (en) 2009-07-15
EP2002322A1 (en) 2008-12-17
WO2007107949A1 (en) 2007-09-27
JP2009530731A (ja) 2009-08-27
US20100231504A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
CN101405680A (zh) 用于图像操作的眼睛跟踪控制的热区
US20220253149A1 (en) Gesture interaction with invisible virtual objects (as amended)
US10481757B2 (en) Eye gaze control system
AU2015297035B2 (en) Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US11740692B2 (en) Optical eye tracking
CN110162165B (zh) 用于校准可穿戴装置中的图像传感器的***和方法
KR20230048152A (ko) 환경에서 객체들을 조작하기 위한 방법들
US20180103194A1 (en) Image capture systems, devices, and methods that autofocus based on eye-tracking
WO2022066728A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP1943583B1 (en) Eye tracker with visual feedback
US20210124415A1 (en) Eye-based activation and tool selection systems and methods
US11662807B2 (en) Eye-tracking user interface for virtual tool control
KR20220137770A (ko) 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
Toet Gaze directed displays as an enabling technology for attention aware systems
US20210026444A1 (en) Glance and reveal within a virtual environment
KR20240091221A (ko) 미디어를 캡처 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
WO2021080926A1 (en) Eye-based activation and tool selection systems and methods
Skovsgaard Noise challenges in monomodal gaze interaction
Zhang Eye tracking and gaze interface design for pervasive displays
EP4388502A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090408