CN115605828A - 用于输入命令的眼睛跟踪*** - Google Patents

用于输入命令的眼睛跟踪*** Download PDF

Info

Publication number
CN115605828A
CN115605828A CN202180033386.4A CN202180033386A CN115605828A CN 115605828 A CN115605828 A CN 115605828A CN 202180033386 A CN202180033386 A CN 202180033386A CN 115605828 A CN115605828 A CN 115605828A
Authority
CN
China
Prior art keywords
pair
display
command
eyes
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180033386.4A
Other languages
English (en)
Inventor
M·埃尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcon Inc
Original Assignee
Alcon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcon Inc filed Critical Alcon Inc
Publication of CN115605828A publication Critical patent/CN115605828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Radiation-Therapy Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

在某些实施例中，一种用于输入命令的眼睛跟踪***包括计算机、一副三维眼镜和显示器。该计算机生成具有图形元素的三维图形用户界面，其中，每个图形元素与命令相对应。该一副三维眼镜将该三维图形用户界面朝向用户的一双眼睛引导。显示器向该用户显示这些图形元素。该显示器包括发光二极管和相机，该发光二极管被配置为照射该双眼睛，该相机被配置为跟踪该双眼睛相对于该三维图形用户界面的运动以产生一双被跟踪的眼睛。该计算机将该双被跟踪的眼睛相对于该三维图形用户界面的运动解释为与所选图形元素的交互，并且启动与该所选图形元素相对应的命令。

Description

用于输入命令的眼睛跟踪***
技术领域
本公开总体上涉及控制医疗***，更具体地涉及一种用于输入命令的双目***。
背景技术
医疗设备可以响应于来自操作者的命令来执行各种各样的动作。例如，操作者可以从命令面板中选择命令来改变显微镜的放大率、焦点和亮度。然而，向医疗设备输入命令具有特殊的问题。触摸命令面板可能会污染面板。此外，搜索面板中用于输入命令的部分耗费时间，并且会分散用户的注意力。因此，已知的命令面板有时不适用于某些情况。
发明内容
在某些实施例中，一种用于输入命令的眼睛跟踪***包括计算机、一副三维(3D)眼镜和显示器。计算机生成具有图形元素的3D图形用户界面(GUI)，其中，每个图形元素与命令相对应。该副3D眼镜将3D GUI朝向用户的一双眼睛引导。显示器向用户显示图形元素。显示器包括发光二极管(LED)和相机，该发光二极管被配置为通过照射一双眼睛而在这双眼睛上产生光反射，该相机被配置为跟踪一双眼睛相对于3D GUI的运动以产生一双被跟踪的眼睛。计算机将这双被跟踪的眼睛相对于3D GUI的运动解释为与所选图形元素的交互，并且启动与所选图形元素相对应的命令。
在某些实施例中，一种使用眼睛跟踪***输入命令的方法包括：由计算机生成包括一个或多个图形元素的三维(3D)图形用户界面(GUI)。每个图形元素与命令相对应。显示器显示3D GUI，并且一副3D眼镜将包括一个或多个图形元素的3D GUI朝向用户的一双眼睛引导。与显示器相关联的两个或更多个发光二极管(LED)照射用户的一双眼睛。与显示器相关联的至少一个相机跟踪一双眼睛相对于3D GUI的运动，以产生一双被跟踪的眼睛。这双被跟踪的眼睛可以由两个或更多个LED照射。计算机将一双被跟踪的眼睛相对于3D GUI的运动解释为与所选图形元素的交互，并且该计算机启动与该所选图形元素相对应的命令。
附图说明
参考附图通过举例方式更详细地描述本公开的实施例，在附图中：
图1展示了允许用户通过眼睛运动输入命令的眼睛跟踪***的实施例；
图2展示了包括一副3D眼镜的眼睛跟踪***的实施例；以及
图3展示了可以与图1的***一起使用的通过眼睛运动输入命令的方法的示例。
具体实施方式
现在参照说明书和附图，详细示出了所公开的装置、***和方法的示例性实施例。本领域普通技术人员将清楚，所公开的实施例是示例性的而非是所有可能的实施例的穷举。
图1展示了允许用户通过眼睛运动输入命令的眼睛跟踪***100的实施例。在图1所展示的实施例中，眼睛跟踪***100包括计算机126、显示器106和通信地耦接到设备122的脚踏板124。计算机126包括一个或多个处理器128、接口130、以及一个或多个存储器132，这些存储器存储比如用于3D图形用户界面(GUI)134、眼睛跟踪136和设备控制138的计算机程序等逻辑。显示器106包括发光二极管(LED)102-1和102-2(本文统称为“LED 102”)和相机104。另外，显示器106可以显示3D GUI 134的一个或多个图形元素140。在图2所展示的实施例中，图形元素140包括焦点元素112、亮度元素114、缩放元素116、过程元素118和操纵元素120。图形元素140可以另外包括上一个元素108和下一个元素110。在其他实施例中，3DGUI 134可以包括附加的、更少的或任何合适的图形元素140的组合，用于允许用户通过眼睛运动来输入命令。
在操作的示例中，眼睛跟踪***100允许用户向任何合适的设备122(例如，手术相机)输入命令。计算机126生成包括一个或多个图形元素140的3D GUI 134。每个图形元素140与命令相对应。显示器106显示包括一个或多个图形元素140的3D GUI 134，使得至少一副3D眼镜可以将3D GUI 134朝向用户(例如，执行眼科手术的外科医生)的一双眼睛引导。两个或更多个LED 102可以通信地耦接到显示器106，以照射用户的一双眼睛。至少一个相机104可以通信地耦接到显示器106，以跟踪一双眼睛相对于3D GUI 134的运动，以产生一双被跟踪的眼睛。该双被跟踪的眼睛可以由两个或更多个LED 102照射。计算机126可以将一双被跟踪的眼睛相对于3D GUI 134的运动解释为与所选图形元素140的交互，并且可以启动与所选图形元素140相对应的命令。
在一个实施例中，设备122可以是具有能够获得患者解剖结构的高质量图像的分辨率、图像深度、清晰度和对比度的手术相机。例如，可以使用高动态范围(HDR)手术相机来捕获用于在外科手术(例如，眼科手术)期间执行动作的眼睛的3D图像。设备122可以与显示器106通信地耦接(例如，经由有线连接、无线连接等)，并且显示器106可以显示为外科医生、工作人员、学生和/或其他观察者提供对眼睛解剖结构的深度感知的3D图像的立体表示。设备122也可以用于增加眼睛解剖结构的放大率，同时保持宽视野。可以通过3D眼镜在显示器106上观看3D图像的立体表示。通过在显示器106上显示的3D图像的立体表示，用户可以在舒适的位置对患者的眼睛执行外科手术，而不需要俯身在显微镜目镜上并损伤颈部。
在某些实施例中，计算机126生成经由显示器106朝向用户的一双眼睛引导的3DGUI 134。3D GUI 134包括一个或多个图形元素140，这些图形元素可以具有任何合适的大小或形状。每个图形元素140与到设备122的命令相对应，所述命令通常用于执行动作，例如，接受由用户定义的选择或设置、执行被编程到计算机126中的用户所选择的操作、显示用户所请求的信息、或者其他适当的动作。在图1所展示的实施例中，图形元素140包括上一个元素108、下一个元素110、焦点元素112、亮度元素114、缩放元素116、过程元素118和操纵元素120。上一个元素108与后退的命令(例如，移动到上一个菜单、移动到菜单列表上的上一个选项、和/或移动到外科手术中的上一个步骤)相对应。下一个元素110与前进的命令(例如，移动到下一个菜单、移动到菜单列表上的下一个选项、和/或移动到外科手术中的下一个步骤)相对应。焦点元素112与控制由设备122捕获的外科手术的一个或多个3D图像的焦点的命令相对应。亮度元素114与控制外科手术的一个或多个3D图像的亮度水平(例如，通过设备122的透镜接收的光量)的命令相对应。缩放元素116与控制外科手术的一个或多个3D图像的视角的命令相对应。过程元素118与在显示器106上显示包括与所述外科手术相关联的过程范例的一系列步骤的命令相对应。操纵元素120与在外科手术期间控制设备122的运动(例如，沿x、y和/或z轴)的命令相对应。用户可以通过使他/她的注视同与显示器106上显示的命令相对应的图形元素140进行交互来输入命令。
在一个实施例中，计算机126可以将交互解释为指示例如对图形元素140的选择的眼睛相对于图形元素140的运动(例如，移动或引导眼睛注视、或者眨眼)。在一个实施例中，用户可以将他/她的注视引导到图形元素140至少预定义秒数(例如，至少3秒、5秒或10秒)，使得预定义秒数指示对所选图形元素140的选择。在另一实施例中，用户可以将他/她的注视引导到图形元素140，并且可以眨眼预定次数(例如，1次、2次或3次)，以指示对所选图形元素140的选择。在其他实施例中，可以通过用户身体的另一部分的运动来确认交互。例如，用户可以将他/她的注视朝向图形元素140引导以选择图形元素140，然后通过用他/她的脚致动脚踏板124或者用他/她的手按压物理按钮来确认对图形元素140的选择。在图1所展示的实施例中，脚踏板124可以经由设备122通信地耦接到显示器106。在另一实施例中，脚踏板124可以直接通信地耦接到显示器106。在某些实施例中，3D GUI 134可以指示用户的注视是否已经与图形元素140进行了交互或者已经选择了该图形元素。例如，3D GUI 134可以突出显示(例如，使其更亮或改变其颜色)用户的注视已经选择的在显示器106上显示的图形元素140。用户可以通过例如眨眼、移动手或脚和/或致动脚踏板124来确认选择。
在一个实施例中，计算机126的眼睛跟踪程序136将一双被跟踪的眼睛相对于3DGUI 134的运动解释为与所选图形元素140的交互，并且设备控制程序138启动与所选图形元素140相对应的命令。眼睛跟踪程序136包括用于根据相机104生成的图像数据确定眼睛的注视方向的已知算法。处理器128基于这些算法执行计算以确定注视方向。另外，眼睛跟踪程序136可以检测眼睛的其他运动(例如，眨眼)。给定注视方向和3D GUI 134的位置，处理器128可以确定注视是否已经以指示对图形元素140的选择的方式与3D GUI 134的图形元素140进行了交互。如果选择了图形元素140，则设备控制程序138启动与所选元素相对应的命令。
在一个实施例中，显示器106可以显示由设备122捕获的外科手术的一个或多个3D图像的立体表示。显示器106可以另外显示3D GUI 134，使得3D GUI 134可以叠置在向用户显示的外科手术的一个或多个3D图像上。在一个实施例中，显示器106可以从设备122接收信息(例如，手术参数)，并且可以显示该信息以及一个或多个3D图像的立体表示。在另一实施例中，显示器106还可以从设备122接收信号以执行操作(例如，开始和停止视频记录)。在一个实施例中，显示器106可以是或者可以包括用于显示外科手术的一个或多个3D图像的立体表示的3D监视器。在图1所展示的实施例中，显示器106可以包括LED 102和相机104。
在一个实施例中，LED 102可以在外科手术期间照射一双被跟踪的眼睛。具体地，LED 102可以照射一双被跟踪的眼睛，以产生可以被相机104检测到的光反射，以生成图像数据。LED 102可以用任何合适的光(例如，可见光和/或红外(IR)光)进行照射。在一个实施例中，LED 102可以是或者可以包括在电磁辐射光谱的IR范围内(例如，700纳米(nm)至1毫米(mm)的范围)发射光的固态照明(SSL)设备。当与红外相机一起使用时，IR LED 102可以照射一双被跟踪的眼睛，同时保持对裸眼不可见。以这种方式，IR LED 102可以照射一双被跟踪的眼睛，而不会导致视觉干扰，例如，在外科手术期间向用户的该双被跟踪的眼睛中发射明亮的光。尽管在图1所展示的实施例中LED 102位于显示器106上方，但是LED 102可以位于任何合适的位置，以跟踪该双被跟踪的眼睛的运动。另外，任何合适数量的LED 102可以用于跟踪该双被跟踪的眼睛的运动。在其他实施例中，可以使用任何合适的照明器，例如，卤素灯、红外灯、过滤白炽灯等。
在一个实施例中，在外科手术期间，相机104可以跟踪一双被跟踪的眼睛相对于在显示器106上显示的3D GUI 134的图形元素140的运动。具体地，相机104可以检测来自由LED 102照射的一双被跟踪的眼睛的光反射，例如，来自该双被跟踪的眼睛的角膜(前表面)、瞳孔中心、角膜缘、晶状体(后表面)和/或任何其他合适的部分的光反射。相机104可以生成描述一双被跟踪的眼睛的图像数据并且可以将该图像数据发送到计算机126。特别地，相机104可以生成描述来自一双被跟踪的眼睛的光反射的图像数据，并且可以将该图像数据(例如，经由有线连接、无线连接等)传输到计算机126的眼睛跟踪程序136。响应于接收图像数据，眼睛跟踪程序136可以使用图像数据来将该双被跟踪的眼睛相对于3D GUI 134的运动解释为与所选图形元素140的交互。类似地，计算机126的设备控制程序138可以使用相机104生成的图像数据，以启动与所选图形元素140相对应的命令。尽管在图1所展示的实施例中相机104位于显示器106上方，但是相机104可以位于任何合适的位置，以跟踪该双被跟踪的眼睛的运动。另外，任何合适数量的相机104可以用于跟踪该双被跟踪的眼睛的运动。在其他实施例中，可以使用任何合适的相机，例如，热成像相机、短波红外相机、中波红外相机、长波红外相机等。
图2展示了包括一副3D眼镜200的眼睛跟踪***100的实施例。在图2所展示的实施例中，3D眼镜200可以将3D GUI 134朝向用户(例如，执行眼科手术的外科医生)的一双眼睛引导。LED 102可以通过发射光束(例如，光束202-1和202-2(本文统称为“光束202”))来照射用户的一双眼睛。这在图2中示出，其中，LED 102-1发射光束202-1，并且LED 102-2发射光束202-2。由LED 102发射的每个光束202可以穿过3D眼镜200的镜片，以从一双眼睛生成光反射204-1和204-2(本文统称为“光反射204”)。来自一双眼睛的光反射204可以被相机104跟踪，以产生一双被跟踪的眼睛。例如，光束202可以导致来自一双被跟踪的眼睛的角膜的光反射204，相机104可以使用这些光反射来跟踪该双被跟踪的眼睛相对于3D GUI 134的运动。在整个外科手术中，用户的一双被跟踪的眼睛可以被从LED 102发射的光束202连续照射，使得相机104可以基于光反射204跟踪该双被跟踪的眼睛的运动。该双被跟踪的眼睛相对于3D GUI 134的运动可以由计算机126(图中未示出)解释为与所选图形元素140的交互，并且计算机126可以启动与所选图形元素140相对应的命令。例如，相机104可以跟踪光反射204，以生成描述该双被跟踪的眼睛的图像数据。计算机126可以解释图像数据以确定一双被跟踪的眼睛启动了与焦点元素112的交互(例如，注视)。在将一双被跟踪的眼睛的运动解释为与焦点元素112的交互和/或接收预定义眨眼次数时，计算机126可以启动焦点命令，以指示设备122控制由设备122捕获的外科手术的一个或多个3D图像的焦点。在一个实施例中，3D眼镜200可以包括设置在3D眼镜200内的一个或多个传感器(图中未示出)，使得一个或多个传感器可以跟踪一双被跟踪的眼睛相对于3D GUI134的运动。例如，LED 102可以照射一双被跟踪的眼睛，并且一个或多个传感器可以确定该双被跟踪的眼睛是否启动了与所选图形元素140的交互。
在一些实施例中，可以在外科手术之前确定用户头部相对于显示器106的位置，以校准眼睛跟踪***100。在一个实施例中，用户可以校准相机104，使得相机104可以准确地生成描述一双被跟踪的眼睛的图像数据。例如，显示器106可以显示提示，该提示指示用户当用户处于在外科手术期间通常使用的坐姿时查看在显示器106上显示的特定图形元素140。计算机126可以将处于该坐姿的用户的一双被跟踪的眼睛的轨迹与在显示器106上显示的特定图形元素的位置相关联，以校准眼睛跟踪***100。在另一实施例中，眼睛跟踪***100可以在不从用户接收图像数据的情况下启动校准过程。例如，在***初始化时，眼睛跟踪***100可以采用内置自测(BIST)，用于相对于周围环境来校准相机104。
图3展示了可以与图1和图2的***100一起使用的通过眼睛运动输入命令的方法的示例。在步骤310处，方法开始，其中，计算机126生成包括一个或多个图形元素140的三维(3D)图形用户界面(GUI)134。每个图形元素140与命令相对应。在步骤320处，显示器106显示包括图形元素140的3D GUI 134。在步骤330处，一副3D眼镜200将3D GUI 134朝向用户的一双眼睛引导。在步骤340处，两个或更多个发光二极管(LED)102照射一双眼睛。这两个或更多个LED 102可以与显示器106相关联。例如，如图2所示，LED 102可以通信地耦接到显示器106。在步骤350处，相机104可以跟踪一双眼睛相对于3D GUI的运动，以产生一双被跟踪的眼睛。该双被跟踪的眼睛可以由两个或更多个LED 102照射。在步骤360处，计算机126将该双被跟踪的眼睛相对于3D GUI的运动解释为与所选图形元素140的交互。在步骤370处，计算机126启动与所选图形元素相对应的命令。
本文公开的***和装置的部件(例如，计算机)可以包括接口、逻辑和/或存储器，其中的任何一种都可以包括硬件和/或软件。接口可以接收给部件的输入、提供来自部件的输出、和/或处理所述输入和/或输出。逻辑可以执行部件的操作，例如，执行指令以从输入生成输出。逻辑可以是处理器，比如一个或多个计算机、或一个或多个微处理器(例如，位于计算机中的芯片)。逻辑可以是编码在存储器中的计算机可执行指令，这些指令可以通过计算机执行，比如计算机程序或软件。存储器可以存储信息，并且可以包括一个或多个有形的、非瞬态的、计算机可读的、计算机可执行的存储介质。存储器的实例包括计算机存储器(例如，随机存取存储器(RAM)或只读存储器(ROM))、大容量存储介质(例如，硬盘)、可移动存储介质(例如，光盘(CD)或数字视频光盘(DVD))和网络存储装置(例如，服务器或数据库)。
虽然本公开内容已经就某些实施例进行了描述，但是实施例的修改(诸如替换、添加、更改或省略)对本领域技术人员而言将是显而易见的。因此，可以在不脱离本发明范围的情况下对实施例做出修改。例如，可以对本文公开的***和装置做出修改。***和装置的部件可以是一体的或分开的，并且***和装置的操作可以由更多、更少或其他部件来执行。作为另一示例，可以对本文公开的方法做出修改。方法可以包括更多、更少或其他步骤，并且步骤可以以任何合适的顺序来执行。

Claims (20)

1.一种用于输入命令的眼睛跟踪***，所述***包括：
计算机，所述计算机被配置为生成包括一个或多个图形元素的三维3D图形用户界面GUI，每个图形元素与命令相对应；
至少一副3D眼镜，所述3D眼镜被配置为将所述包括一个或多个图形元素的3D GUI朝向用户的一双眼睛引导；
显示器，所述显示器被配置为向所述用户显示所述一个或多个图形元素，所述显示器包括：
两个或更多个发光二极管LED，所述发光二极管被配置为照射所述一双眼睛；以及
至少一个相机，所述相机被配置为跟踪所述一双眼睛相对于所述3D GUI的运动，以产生一双被跟踪的眼睛，所述一双被跟踪的眼睛由所述两个或更多个LED照射；
所述计算机进一步被配置为：
将所述一双被跟踪的眼睛相对于所述3D GUI的运动解释为与所选图形元素的交互；以及
启动与所选图形元素相对应的命令。
2.如权利要求1所述的眼睛跟踪***，进一步包括：
被配置为捕获外科手术的一个或多个3D图像的设备，所述设备通信地耦接到所述显示器，所述显示器被配置为向所述用户显示所述外科手术的一个或多个3D图像和所述一个或多个图形元素。
3.如权利要求2所述的眼睛跟踪***，其中，所述一个或多个图形元素叠置在所述显示器上向所述用户显示的所述外科手术的一个或多个3D图像上。
4.如权利要求2所述的眼睛跟踪***，其中，所述一个或多个图形元素包括以下中的至少一个：
焦点元素，所述焦点元素与控制所述外科手术的一个或多个3D图像的焦点的命令相对应；
亮度元素，所述亮度元素与控制所述外科手术的一个或多个3D图像的亮度水平的命令相对应；
缩放元素，所述缩放元素与控制所述外科手术的一个或多个3D图像的视角的命令相对应；
过程元素，所述过程元素与在所述显示器上显示包括与所述外科手术相关联的过程范例的一系列步骤的命令相对应；
操纵元素，所述操纵元素与控制所述设备运动的命令相对应。
5.如权利要求1所述的眼睛跟踪***，其中，所述一个或多个图形元素包括以下中的至少一个：
与后退命令相对应的上一个元素；以及
与前进命令相对应的下一个元素。
6.如权利要求1所述的眼睛跟踪***，其中，所述两个或更多个LED由红外(IR)LED组成。
7.如权利要求1所述的眼睛跟踪***，其中，与所选图形元素的交互包括由所述用户的所述一双被跟踪的眼睛生成的预定义眨眼次数，所述预定义眨眼次数指示对所选图形元素的选择。
8.如权利要求1所述的眼睛跟踪***，其中，与所选图形元素的交互包括预定义秒数，在所述秒数内，所述用户的一双被跟踪的眼睛与所选图形元素交互，所述预定义秒数指示对所选图形元素的选择。
9.如权利要求1所述的眼睛跟踪***，其中，与所选图形元素的交互包括用户经由脚踏板对所选图形元素的确认，所述脚踏板通信地耦接到所述显示器。
10.如权利要求1所述的眼睛跟踪***，进一步包括：
设置在所述至少一副3D眼镜内的一个或多个传感器，所述一个或多个传感器被配置为跟踪所述一双被跟踪的眼睛相对于所述3DGUI的运动。
11.一种使用眼睛跟踪***输入命令的方法，所述方法包括：
由计算机生成包括一个或多个图形元素的三维3D图形用户界面GUI，每个图形元素与命令相对应；
由显示器显示所述包括一个或多个图形元素的3D GUI；
由至少一副3D眼镜将所述包括一个或多个图形元素的3D GUI朝向用户的一双眼睛引导；
由与所述显示器相关联的两个或更多个发光二极管LED照射所述用户的一双眼睛；
由与所述显示器相关联的至少一个相机跟踪所述一双眼睛相对于所述3D GUI的运动，以产生一双被跟踪的眼睛，所述一双被跟踪的眼睛由所述两个或更多个LED照射；
将所述一双被跟踪的眼睛相对于所述3D GUI的运动解释为与所选图形元素的交互；以及
启动与所选图形元素相对应的命令。
12.如权利要求11所述的方法，进一步包括：
由设备捕获外科手术的一个或多个3D图像，所述设备通信地耦接到所述显示器，所述显示器被配置为向用户显示所述外科手术的一个或多个3D图像和所述一个或多个图形元素。
13.如权利要求12所述的方法，其中，所述一个或多个图形元素叠置在所述显示器上向所述用户显示的所述外科手术的一个或多个3D图像上。
14.如权利要求12所述的方法，其中，所述一个或多个图形元素包括以下中的至少一个：
焦点元素，所述焦点元素与控制所述外科手术的一个或多个3D图像的焦点的命令相对应；
亮度元素，所述亮度元素与控制所述外科手术的一个或多个3D图像的亮度水平的命令相对应；
缩放元素，所述缩放元素与控制所述外科手术的一个或多个3D图像的视角的命令相对应；
过程元素，所述过程元素与在所述显示器上显示包括与所述外科手术相关联的过程范例的一系列步骤的命令相对应；
操纵元素，所述操纵元素与控制所述设备运动的命令相对应。
15.如权利要求11所述的方法，其中，所述一个或多个图形元素包括以下中的至少一个：
与后退命令相对应的上一个元素；以及
与前进命令相对应的下一个元素。
16.如权利要求11所述的方法，其中，所述两个或更多个LED由红外(IR)LED组成。
17.如权利要求11所述的方法，其中，与所选图形元素的交互包括由所述用户的一双被跟踪的眼睛生成的预定义眨眼次数，所述预定义眨眼次数指示对所选图形元素的选择。
18.如权利要求11所述的方法，其中，与所选图形元素的交互包括预定义秒数，在所述秒数内，所述用户的一双被跟踪的眼睛与所选图形元素交互，所述预定义秒数指示对所选图形元素的选择。
19.如权利要求11所述的方法，其中，与所选图形元素的交互包括用户经由脚踏板对所选图形元素的确认，所述脚踏板通信地耦接到所述显示器。
20.如权利要求11所述的方法，进一步包括：
设置在所述至少一副3D眼镜内的一个或多个传感器，所述一个或多个传感器被配置为跟踪所述一双被跟踪的眼睛相对于所述3DGUI的运动。
CN202180033386.4A 2020-05-07 2021-05-08 用于输入命令的眼睛跟踪*** Pending CN115605828A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063021231P 2020-05-07 2020-05-07
PCT/IB2021/053921 WO2021224889A1 (en) 2020-05-07 2021-05-08 Eye-tracking system for entering commands

Publications (1)

Publication Number Publication Date
CN115605828A true CN115605828A (zh) 2023-01-13

Family

ID=75919354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180033386.4A Pending CN115605828A (zh) 2020-05-07 2021-05-08 用于输入命令的眼睛跟踪***

Country Status (7)

Country Link
US (1) US20210349534A1 (zh)
EP (1) EP4147116A1 (zh)
JP (1) JP2023525248A (zh)
CN (1) CN115605828A (zh)
AU (1) AU2021267423A1 (zh)
CA (1) CA3172938A1 (zh)
WO (1) WO2021224889A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220374067A1 (en) * 2021-05-19 2022-11-24 International Business Machines Corporation Augmented reality based power management
US20230050526A1 (en) * 2021-08-10 2023-02-16 International Business Machines Corporation Internet of things configuration using eye-based controls

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009153789A1 (en) * 2008-06-18 2009-12-23 Surgix Ltd. A method and system for stitching multiple images into a panoramic image
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
EP3445048A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US11190411B1 (en) * 2019-09-24 2021-11-30 Amazon Technologies, Inc. Three-dimensional graphical representation of a service provider network

Also Published As

Publication number Publication date
CA3172938A1 (en) 2021-11-11
US20210349534A1 (en) 2021-11-11
AU2021267423A1 (en) 2022-10-20
WO2021224889A1 (en) 2021-11-11
EP4147116A1 (en) 2023-03-15
JP2023525248A (ja) 2023-06-15

Similar Documents

Publication Publication Date Title
US11832901B2 (en) Surgical suite integration and optimization
CN107533362B (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
CN104094197B (zh) 利用投影仪的注视追踪
WO2017094343A1 (ja) 視線検出装置及び視線検出方法
JP2020529226A (ja) 眼科撮像の改良のためのシステムおよび方法
JP2003521950A (ja) 視標追跡システム
KR101742049B1 (ko) 적외선 마이봄샘 촬영장치 및 마이봄샘 촬영방법
JP6922358B2 (ja) 生体観察システムおよび生体観察制御プログラム
US20210349534A1 (en) Eye-tracking system for entering commands
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
AU2016278755A1 (en) Tracking system for surgical optical coherence tomography
US20220338733A1 (en) External alignment indication/guidance system for retinal camera
CN112368669A (zh) 用于输入命令的双目***
JP6556466B2 (ja) レーザ治療装置
WO2020075773A1 (en) A system, method and computer program for verifying features of a scene
US20230061334A1 (en) Dynamic Illumination for Eye-Tracking
JP7099855B2 (ja) 視標呈示装置
US10779729B2 (en) Ophthalmic apparatus
EP4238479A1 (en) Ophthalmological observation device
JP7091627B2 (ja) 眼科装置
JP6880683B2 (ja) 眼科装置
JP2022029592A (ja) 眼科画像処理プログラムおよび眼科画像処理装置
JP2019177044A (ja) 視標呈示装置
JP2021069714A (ja) 眼底撮像装置および眼疾検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination