CN103649874B - 使用眼睛跟踪隐形镜片的接口 - Google Patents
使用眼睛跟踪隐形镜片的接口 Download PDFInfo
- Publication number
- CN103649874B CN103649874B CN201280033470.7A CN201280033470A CN103649874B CN 103649874 B CN103649874 B CN 103649874B CN 201280033470 A CN201280033470 A CN 201280033470A CN 103649874 B CN103649874 B CN 103649874B
- Authority
- CN
- China
- Prior art keywords
- contact lens
- magnetic
- tracks
- magnetic contact
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
- G02B30/35—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C7/00—Optical parts
- G02C7/02—Lenses; Lens systems ; Methods of designing lenses
- G02C7/04—Contact lenses for the eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C2200/00—Generic mechanical aspects applicable to one or more of the groups G02C1/00 - G02C5/00 and G02C9/00 - G02C13/00 and their subgroups
- G02C2200/02—Magnetic means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Otolaryngology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Acoustics & Sound (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Cameras In General (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明提供了眼睛视线跟踪的方法,该方法使用通过磁传感器跟踪的磁化隐形镜片和/或通过基于视频的传感器跟踪的反射隐形镜片。从磁传感器和基于视频的传感器获得的隐形镜片的跟踪信息可用于改善眼睛跟踪和/或与其他传感器数据相结合以提高精确性。此外,反射隐形镜片改善了眨眼检测,同时眼睛视线跟踪也不会以其他方式受阻于磁化隐形镜片。此外,隐形镜片可适用于观看3D信息。
Description
相关申请案的交叉参考
本申请为2011年5月5日提交的序列号为13/101,868的美国申请的延续,并要求其权益,且该申请以全文引用方式并入本文以实现所有目的。
技术领域
本文所公开的各种实施方案涉及基于摄像头和传感器的物体跟踪,如对用户的头部和/或眼睛的跟踪。特别地,可通过一个或多个摄像头和/或传感器跟踪隐形镜片以解析跟踪信息,如物体的位置、物体和摄像头之间的距离等。进一步的实施方案涉及与提供三维(3D)信息的显示器一同使用的隐形镜片。
背景技术
随着技术的进步,视频游戏已变得更加逼真。通常,视频游戏控制台是使用最先进的处理器、极快速存储器和高端显卡进行生产的。输入控制器已从简单的基于旋钮、操纵杆和按钮的控制器发展为用户可在用户手中进行摆动或简单地进行佩戴的启用加速计的控制器。进一步的输入技术涉及跟踪用户身体的全部或部分,包括跟踪用户的头部或其他面部特征、躯干、手臂和腿。用户可通过简单地移动他们的身体或其部分而控制这种视频游戏。例如,滑板游戏的玩家可急剧下降,从而使他或她清除虚拟桥。
因此,所期待的是通过使用隐形镜片来解决与跟踪用户或用户身体的各部分相关的问题,其中的一些可在本文中进行讨论。此外,所期待的是通过使用隐形镜片来减少与和计算机***接口连接相关的缺点,其中的一些可在本文中进行讨论。
此外,三维(3-D或3D)电视和显示器有助于使用户沉浸于在他们的显示器屏幕上发生的事件中。对于这种3-D电视来说,用户有时要戴上3-D眼镜。此前的3-D眼镜包括用于分辨立体图像的红色和蓝色镜片。快门式3-D眼镜具有与快速显示左部和右部图像的显示器同步地在不透明和透明之间进行快速和交替切换的镜片。存在有其他类型的3-D演示技术。许多都是相似的,这是因为它们都同时或非常迅速地(例如:120Hz)为观众的左眼呈现单独的二维图像并为观众的右眼呈现单独的二维图像,从而迷惑观众的大脑使其将立体图像解释为3-D环境。
利用3-D显示技术的视频游戏和增强现实显示器能通过使用屏幕上的3-D效果使玩家沉浸在游戏中或使用户沉浸在增强现实体验中。此外,具有身体跟踪的视频游戏控制台和计算机***能使用3-D效果协调现实世界中用户的实际运动和在显示的虚拟世界中他或她的虚拟运动。例如,在用户走向他家客厅中的电视时,视频游戏控制台能渲染3-D虚拟物体以使它们看起来像用户在移动接近它们。因此,对一些视频游戏和增强现实体验来说,跟踪观众或其他用户的头部或身体部分的位置、方向和运动可能是很重要的。
因此,所期待的是使用隐形镜片与计算机***接口连接并观看3D信息来解决与3D显示技术相关的问题,其中的一些可在本文中进行讨论。此外,所期待的是使用隐形镜片与计算机***接口连接并观看3D信息来减少与3D显示技术相关的缺点,其中的一些可在本文中进行讨论。
发明内容
本公开的以下部分提出了在本公开中发现的一个或多个创新、实施方案和/或实例的简化概要以至少用于提供对主题的基本了解。本概要并不试图提供对任何特定实施方案或实例的广泛概述。此外,本概要不旨在标识实施方案或实例的关键/主要元件或描绘本公开主题的范围。相应地,本概要的一个目的可以是以简化的形式提出在本公开中发现的一些创新、实施方案和/或实例以作为后面所提供的更详细的描述的序言。
提供了使用隐形镜片进行眼睛视线跟踪和使用隐形镜片观看3D信息的方法、***、计算机可读介质和制造的物品。在一些实施方案中,可使用磁传感器和磁化隐形镜片和/或使用基于视频的传感器和反射隐形镜片跟踪眼睛视线。在一个实施方案中,磁传感器可被安置在视频游戏控制台上或靠近视频游戏控制台用户的头部以跟踪磁化隐形镜片的位置和偏振。在另一实施方案中,可使用基于视频的传感器跟踪对正常光透明且反射电磁波谱的一个或多个部分的反射隐形镜片的位置。
在进一步的实施方案中,可组合使用磁传感器和基于视频的传感器以跟踪具有一个或多个反射图案的磁化隐形镜片、提供眨眼检测并跟踪多个用户。其他基于视频的传感器可用于定位用户的头部位置并删除来自其他磁源或其他光源的噪声。此外,从双眼的隐形镜片获得的跟踪信息可用于提高精确性。
可利用磁化和反射隐形镜片浏览计算机应用的菜单、控制视频游戏的虚拟人物、选择-拖动-操纵物体并响应于用户的眼睛运动或眼睛视线而进行其他经培训的或学到的动作。在进一步的方面中,能够在受益于眼睛和/或视线跟踪的任何应用中利用磁化和反射隐形镜片。
在各种实施方案中,提供了用于观看3D信息的隐形镜片。实施方案中的隐形镜片能够是被动式的(例如:利用颜色或极性以用于3D观看)或主动式的,例如,使用通常是透明的但会在施加电压时变暗的液晶层。
除了上述部分外,应通过参考本公开的剩余部分、任何附图和权利要求而实现对本公开主题的性质和等同物(以及所提供的任何固有或明确的优点和改进)的进一步的理解。
附图说明
为了合理地描述和示出在本公开中发现的那些创新、实施方案和/或实例,可参照一个或多个附图。用于描述一个或多个附图的额外细节或实例不应被视为限制所要求发明中的任一个的范围、目前描述的实施方案和/或实例中的任一个的范围或在本公开中提出的任何创新的目前所理解的最佳模式的范围。
图1示出根据各实施方案的使用隐形镜片进行眼睛跟踪和/或使用隐形镜片观看3D信息的***。
图2示出根据实施方案的用户面部的视图。
图3示出根据实施方案的如图1所示***分辨的图2的识别特征。
图4为根据实施方案的用于跟踪全部或部分来自于隐形镜片的识别特征的方法的简化流程图。
图5为根据实施方案的使用隐形镜片进行眨眼检测的方法的简化流程图。
图6为根据实施方案的使用隐形镜片跟踪不同用户的识别特征的方法的简化流程图。
图7为描绘根据实施方案的磁化隐形镜片的图。
图8为描绘根据实施方案的另一磁化隐形镜片的图。
图9为描绘根据实施方案的用户可佩戴的具有被配置成跟踪磁化隐形镜片的一个或多个传感器的眼镜的图。
图10为描绘根据实施方案的可在用户颈部周围佩戴的用于跟踪具有磁极性的磁化隐形镜片的一个或多个传感器的图。
图11为描绘根据实施方案的被配置成反射电磁波谱中一部分的隐形镜片的图。
图12、图13和图14为描绘根据各种实施方案的可在用于反射电磁波谱中一部分的隐形镜片上提供的图案的不同实例的图。
图15为描绘根据实施方案的被配置成反射电磁波谱中一部分的磁化隐形镜片的图。
图16为根据实施方案的使用磁化和反射隐形镜片进行眼睛跟踪的方法的流程图。
图17A和图17B为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的彩色区域的隐形镜片的图。
图18A和图18B为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的水平和垂直偏振区域的隐形镜片的图。
图19A和图19B为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的圆形偏振区域的隐形镜片的图。
图20为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的电路的隐形镜片的图。
图21为可结合实施方案、并入实施方案或用于实践在本公开中发现的创新、实施方案和/或实例中的任一个的计算机***或信息处理装置的方块图。
具体实施方式
面部跟踪与身体运动的捕捉有关,但却更具挑战性,这是因为要经常检测和跟踪眼睛和嘴唇的小运动所可能表现的细微表情需要较高的分辨率要求。这些运动常常会小于几毫米,这要求更高的分辨率和保真度以及不同于全身捕捉中常使用的过滤技术。眼睛跟踪为测量注视点或眼睛相对于另一物体(如头部)的运动的过程。一个或多个传感器可测量眼睛的位置和眼睛的运动。
传统的基于标记的***将标记应用至用户的面部并使用一个或多个传感器(如高分辨率摄像头)跟踪标记的运动。不幸的是,这些传统的基于标记的***会是比较繁琐的,如在普通或工业场景中或用于在需要使玩家的整个面部被标记覆盖以玩视频游戏的情况下的家庭视频游戏控制台的玩家。无标记技术可使用面部和眼睛的特征(如鼻孔、嘴角、眼角和皱纹),并随后跟踪它们。虽然这些技术麻烦较少并允许更大的表情,但对于用户可用的用于家用计算机和视频游戏的硬件来说,它们大多是无效的。此外,购买所需的较高分辨率的摄像头以增强现有的家用计算机和视频游戏***则会成本过高。
使用隐形镜片进行眼睛跟踪和观看3D信息的优点之一是,与用于眼睛视线跟踪或3D信息观看的一些***设备相比,它们更实用(即:更小、重量轻且便于随身携带)。例如,通常用于3D信息观看的眼镜或通常用于眼睛视线跟踪的头部安装会是复杂和繁琐的。此外,隐形镜片能够以低成本提供高度精确的眼睛跟踪信息。例如,当使用隐形镜片进行眼睛视线跟踪时,其性能能够优于使用基于摄像头的眼睛跟踪的解决方案所能实现的性能。此外,与需要昂贵的高分辨率摄像头的基于摄像头的解决方案相比,隐形镜片能提供低成本的解决方案,这使它们更适合消费类产品。
相应地,在各实施方案中,使用隐形镜片的基于标记的和无标记的眼睛跟踪技术的组合提供了与视频游戏、投影虚拟用户接口、增强虚拟现实用户接口等的接口连接或控制其物体或菜单。在一些实施方案中,用户可配备有用于和/或增强对用户眼睛的跟踪的隐形镜片。在一个实施方案中,用户可配备有可通过位于或接近视频游戏控制台或用户头部的一个或多个磁传感器进行跟踪的磁化隐形镜片。在另一实施方案中,用户可配备有被配置成可通过一个或多个摄像头进行跟踪的反射电磁波谱中的一个或多个部分的隐形镜片。在一个方面,隐形镜片可以是提供给眼睛跟踪***的跟踪信息的唯一来源。在另一方面,可使用隐形镜片增强和改善现有的身体、面部或眼睛跟踪方法和可受益于增强的眼睛跟踪信息的其他技术。
图1示出根据各实施方案的使用隐形镜片进行眼睛跟踪和/或使用隐形镜片观看3D信息的***100。在该实例中,用户的眼睛配备有隐形镜片110(例如:一只眼睛一个)。隐形镜片110可进行适当的配置以提供增强的眼睛跟踪和/或观看3D信息。可选地,除隐形镜片110之外,用户的头部还可配备有眼镜120。
在***100操作的一个实例中,用户可使用常规的游戏控制器130来玩视频游戏控制台140所提供的视频游戏。视频游戏控制台140可在执行为视频游戏控制台140适当配置的一个或多个应用时提供一个或多个用户接口、虚拟现实接口、增强现实接口等。或者,或除了游戏控制器130以外,用户可使用身体运动、面部运动、眼睛运动或其组合以向视频游戏控制台140提供输入。例如,在本实施方案中位于显示器160顶部的传感器150可具体表现为捕捉用户的身体、头部、眼睛和其组合的位置和运动并将它们反馈给视频游戏控制台140。例如,随着用户摆动用户的头部和/或移动用户的眼睛以和视频游戏互动,传感器150使用面部和眼睛跟踪技术跟踪用户的头部和眼睛。眼睛跟踪数据可进一步地与其他身体运动、手势和跟踪信息相结合以控制游戏或与各种用户接口等互动(例如,如果对象盯着一个物体并向下移动他的手臂,这可表示使通过眼睛视线跟踪选择的物体下降)。
相应地,可通过一个或多个传感器在t1至t3的时间段内确定用户的身体、头部、眼睛和其他身体和面部特征的位置和方向。传感器的一些实例可包括基于视频的传感器(例如:摄像头)和磁传感器。在一个实例中,传感器可确定用户头部的位置和方向,其在时间t1上可位于一个位置p-head1和方向o-head1,在时间t2上位于另一位置p-head2和方向o-head2,且在时间t3上位于另一位置p-head3和方向o-head3。用户的左眼在时间t1上可位于一个位置p-leye1和方向o-leye1,在时间t2上位于另一位置p-leye2和方向o-leye2且在时间t3上位于另一位置p-leye3和方向o-leye3。用户的右眼在时间t1上可位于一个位置p-reye1和方向o-reye1,在时间t2上位于另一位置p-reye2和方向o-reye2且在时间t3上位于另一位置p-reye3和方向o-reye3。在t1至t3的时间段内,用户的头部和眼睛可在任何方向上和以任何旋转方式移动。通过与***100相关联的传感器可确定运动的其他位置、方向和范围。
面部和眼睛跟踪算法能够与摄像头150构成整体或成为视频游戏控制台140中的软件或硬件的一部分。在其他实施方案中,跟踪逻辑仍可存在于单独的装置中。如下面进一步所讨论的,可使用基于视觉的方法跟踪眼睛和瞳孔的运动、眼睑和眨眼。或者,或除了这种基于视觉的方法以外,另一传感器170(如具体表现为磁传感器)可用于跟踪眼睛和瞳孔的运动、眼睑等。
在***100操作的另一实例中,用户可使用隐形镜片110观看在显示器160上的3D信息。例如,显示器160包括能够传输3D信息的硬件和/或软件元件。在一个方面,显示器160向视频游戏***140主控的视频游戏的观众提供3-D深度的立体感。
在该实例中,***100包括符合视频游戏***以玩一个或多个视频游戏或符合家庭影院***以观看媒体(如3D信息)的硬件和/或软件元件。***100可包括更多或更少的元件且可具体表现为任何数量的计算机***、独立或合作装置、电视和/或监视器、便携或嵌入式装置等。
使用隐形镜片的眼睛跟踪
图2示出如一个或多个传感器(如摄像头)所观察到的根据实施方案的用户面部的视图。可使用一个或多个照明源(如阳光、正常的室内照明或直接或间接对着待摄像头观察的用户头部和/或面部的其他光源)照亮用户的头部和/或面部。用户的面部具有面部特征,如眼睛(在图中用隐形镜片110并通过眼镜120所观察到的)、鼻子和嘴。能够使用本领域中已知的摄像头识别其他面部或头部特征。例如,用户的耳垂可与其他特征一起被跟踪。
图3示出根据实施方案的经计算机分辨的图2的识别特征。眼睛区域310与隐形镜片110中置于用户右眼上的一个所覆盖或对应的区域相关联。眼睛区域320与隐形镜片110中置于用户左眼上的一个所覆盖或对应的区域相关联。其他特征,如鼻子区域可与用户的鼻子相关联,且嘴的区域可与用户的嘴相关联。用于面部跟踪的其他方法和特征也在考虑之中,且本领域的技术人员将认识到根据本公开的面部跟踪算法的适应性。
图4为根据实施方案的用于跟踪全部或部分来自于隐形镜片的识别特征的方法400的简化流程图。可通过由逻辑机(如计算机***或信息处理装置)的中央处理单元(CPU或处理器)执行时的软件(例如:指令或代码模块)、通过电子装置或专用集成电路的硬件组件或通过软件和硬件元件的组合来执行图4所示方法400的实施或其中的处理。图4所示方法400开始于步骤410。
在步骤420中,使用一个或多个传感器来跟踪与用户眼睛相关联的隐形镜片。在一些实施方案中,用户可配备有可通过位于或接近视频游戏控制台或用户头部的一个或多个磁传感器进行跟踪的磁化或磁隐形镜片。例如,一个或多个磁传感器可测量磁化隐形镜片的位置和偏振。在另一实例中,一个或多个磁传感器可测量磁隐形镜片是如何干扰现有磁场或与其互动的。在进一步的实例中,一个或多个磁传感器可测量隐形镜片在多个磁场中的相对位置之间的差异。
在进一步的实施方案中,用户可配备有被配置成可通过一个或多个基于视频的传感器进行跟踪的反射电磁波谱中的一个或多个部分的隐形镜片。传统上,摄像头或接收摄像头输入的另一计算机***可使用图像处理来定位瞳孔的中心并将其与红外和近红外的非准直光进行对比,从而创建角膜反射(CR)。在各实施方案中,隐形镜片可配置有一个或多个反射图案,其减少或以其他方式消除了用于定位瞳孔中心的处理需要。例如,摄像头可聚焦于一只或两只眼睛并记录其运动。基于视频的眼睛***可使用至少为30Hz的采样率。尽管50/60Hz是最常见的,但基于视频的眼睛***也可在240、350甚或1000/1250Hz运行以捕捉特定细节,如非常快速的眼睛运动。
在进一步的实施方案中,用户可配备有被配置成可通过一个或多个磁传感器和一个或多个基于视频的传感器进行跟踪的反射电磁波谱中的一个或多个部分的磁隐形镜片。
在步骤430中,基于跟踪确定隐形镜片的位置、方向或运动。眼睛运动通常可分为凝视和扫视,即分别为当眼睛视线停留在某个位置时,以及当眼睛视线移向另一位置时。所产生的一系列凝视和扫视被称为扫描路径。因此,沿扫描路径的凝视可用于与视频游戏***互动、控制视频游戏或参与增强现实体验。此外,沿扫描路径的扫视可用于与视频游戏***互动、控制视频游戏或参与增强现实体验。
在一些方面中,一个或多个传感器可测量眼睛相对于一个或多个传感器中每一个的旋转。如果传感器安装于头部,那么传感器则可测量眼睛在头部中的角度。对于在头部安装的***而言,可将头部的位置和方向添加至眼睛在头部中的方向以确定注视方向。如果在远离用户头部的位置安装传感器,那么传感器则可测量注视方向。对于远程安装的***而言,可从注视方向减去头部方向以确定眼睛在头部中的位置。
在步骤440中,从一个或多个传感器确定的信息被输出至计算机***。在步骤450中,使用得自一个或多个传感器的信息执行一个或多个动作。可执行动作的一些实例可包括启动应用、与应用互动、关闭应用、控制视频游戏人物、导航虚拟世界、选择菜单项目、形成词语、制图、滚动等。图4结束于步骤460。
图5为根据实施方案的使用隐形镜片进行眨眼检测的方法500的简化流程图。可通过由逻辑机(如计算机***或信息处理装置)的中央处理单元(CPU或处理器)执行时的软件(例如:指令或代码模块)、通过电子装置或专用集成电路的硬件组件或通过软件和硬件元件的组合来执行图5所示方法500的实施或其中的处理。图5所示方法500开始于步骤510。
在步骤520中,使用一个或多个传感器来跟踪与用户眼睛相关联的隐形镜片。在一些实施方案中,用户可配备有可通过位于或接近视频游戏控制台或用户头部的一个或多个磁传感器进行跟踪的磁化隐形镜片。在进一步的实施方案中,用户可配备有被配置成可通过一个或多个基于视频的眼睛***进行跟踪的反射电磁波谱中的一个或多个部分的隐形镜片。在更进一步的实施方案中,用户可配备有被配置成可通过一个或多个磁传感器和一个或多个基于视频的眼睛***的组合进行跟踪的反射电磁波谱中的一个或多个部分的磁化隐形镜片。
在步骤530中,基于跟踪确定一个或多个眼睛眨动。眼睛眨动可以指眼睛的全部或部分闭合。在一个方面,基于用户眼睛的跟踪信息中满足预定标准的间隙确定眼睛眨动。可通过用户眼睛的瞬间闭合引入跟踪信息中的间隙。在一些实施方案中,用户配备有通过一个或多个磁传感器和一个或多个基于视频的传感器进行跟踪的隐形镜片。当用户眼睛的闭合中断了对与隐形镜片相关联的一个或多个反射图案的检测时,可引入间隙。因此,每当用户眨眼时,从反射隐形镜片出来的反射光的强度就会降低,往往是急剧下降。在一些实施方案中,一个或多个基于视频的传感器能够检测用户眼睛的闭合,且同时即使当眼睛闭合时磁传感器也能保持跟踪眼睛所在的位置。摄像头输出与磁传感器输出的组合有助于提高跟踪和确定眼睛眨动。可限定一个或多个规则或标准以在磁场被检测到或受到干扰时或当从反射隐形镜片出来的反射光的强度下降至预定限值或阈值以下时和/或下降持续预定时间时检测眨眼。
在步骤540中,将眨眼检测信息从一个或多个传感器输出至计算机***。在各实施方案中,眨眼检测可能基于对从一个或多个传感器获得的原始传感器数据分析发生在计算机***上。如上所讨论的,当检测到一个或多个眨眼时,可执行一个或多个动作。这样动作的一些实例可包括控制视频游戏(即:选择或落下物体)、与应用交互等。图5结束于步骤550。
图6为根据实施方案的使用隐形镜片跟踪不同用户的识别特征的方法600的简化流程图。可通过由逻辑机(如计算机***或信息处理装置)的中央处理单元(CPU或处理器)执行时的软件(例如:指令或代码模块)、通过电子装置或专用集成电路的硬件组件或通过软件和硬件元件的组合来执行图6所示方法600的实施或其中的处理。图6所示方法600开始于步骤610。
在步骤620中,使用一个或多个传感器跟踪与多个用户的眼睛相关联的隐形镜片。在一些实施方案中,每个用户可配备有可通过位于或接近视频游戏控制台或每个用户头部的一个或多个磁传感器进行跟踪的磁化隐形镜片。在一些实施方案中,每个用户可配备有被配置成可通过一个或多个基于视频的眼睛***进行跟踪的反射电磁波谱中的一个或多个部分的隐形镜片。在一些实施方案中,每个用户可配备有被配置成可通过一个或多个磁传感器和一个或多个基于视频的传感器进行跟踪的反射电磁波谱中的一个或多个部分的磁隐形镜片。不同用户的隐形镜片可反射电磁波谱的不同部分。不同用户的隐形镜片可进一步反射不同图案。
在步骤630中,基于跟踪确定用户特定数据。例如,可基于跟踪确定每个个人用户的隐形镜片的位置、方向或运动。在另一实例中,可记录每个个人用户的凝视和扫视。
在步骤650中,将用户特定信息从一个或多个传感器输出至计算机***。图6结束于步骤650。
磁传感器和隐形镜片
一般来说,一个或多个磁传感器可被配置成检测通过某种方式附着于用户的隐形镜片的位置和/或运动。优选地,构造磁化隐形镜片以提供具有预定偏振的磁场且不阻碍用户的视野。此外,可构造磁隐形镜片以通过一个或多个磁传感器可检测到的方式干扰外部磁场且不阻碍用户视野。
图7为描绘根据实施方案的磁化隐形镜片700的图。在该实例中,隐形镜片700包括广泛分布于隐形镜片700的整个区域710中的几个磁元件。磁元件被配置成产生具有磁极720的磁场。磁极720可垂直于隐形镜片700。可通过磁元件的方向在各种偏振中配置磁极720。
在一些方面中,隐形镜片700的磁元件被配置成具有合适的尺寸并适当地分布以使磁元件不会显著地阻挡或以其他方式扰乱佩戴者的视力。隐形镜片700的磁元件还可被配置成采用透明或半透明的磁化材料。
在各实施方案中,隐形镜片700具有嵌入其中的磁化粒子。在进一步的实施方案中,隐形镜片700可具有附在隐形镜片700的一个或多个外表面上的磁化粒子。在一些方面中,在制造过程中可通过将磁化粒子嵌入隐形镜片700中而制造隐形镜片700。在其他方面中,在制造过程中可通过将随后通过外部磁场进行磁化的非磁化粒子嵌入隐形镜片700中而制造隐形镜片700。在某个方面中,可随意地设计磁化隐形镜片以使其可被戴在用户可能用于提高他/她视力的常规隐形镜片的顶部。
隐形镜片700中的磁元件或材料的不同分布通常会产生不同的磁场。因此,这些不同的分布可能会导致在传感器测量和眼睛位置之间的不同***关系。然而,本文所述的用于将传感器输出转换成眼睛位置的方法不依赖于与眼睛相关联的磁材料的精确布置,并因此可使用广泛的布置。具体地,图8为描绘根据实施方案的隐形镜片800的图。在该实例中,隐形镜片800包括在隐形镜片800的圆周周围均匀分布的磁元件的径向对称布置。
通常,产生较大磁场(更多更强的磁材料)的实施方案是优选实施方案,这是因为它们将随眼睛的移动在传感器的输出中产生最大的变化。在一些方面中,可在磁化隐形镜片的一侧或多侧上将磁元件更紧密地装在一起。在各实施方案中,聚集的磁元件可仅位于磁化隐形镜片中离磁传感器最近的一侧。
在实施方案中,磁化隐形镜片的磁元件可包括广泛供选择的材料,例如,任何铁磁材料,包括钕-铁-硼、FeCoB、FeCoNiB、包括铁、镍和/或钴的合金材料,和选自由Fe(铁)、Co(钴)、Ni(镍)、Ti(钛)、Zn(锌)、Cr(铬)、V(钒)、Mn(锰)、Sc(钪)和Cu(铜)组成的组中的至少一种元件。钕-铁-硼合金是优选的,这是因为它们通常会产生最强的磁场。在另一实施方案中,磁或磁化隐形镜片可包括表现出超顺磁性的材料。在另一实施方案中,磁或磁化隐形镜片可包括氧化铁纳米粒子。在另一实施方案中,磁或磁化隐形镜片可包括本领域已知的任何其他磁性材料。
在另一实施方案中,与佩戴者眼睛相关联的磁隐形镜片可能本身并不产生磁场,而是可能扭曲在磁隐形镜片附近的外部磁场。这种磁隐形镜片可包括广泛的具有磁导率的材料。
在各实施方案中,被配置成检测隐形镜片的位置和/或运动的一个或多个磁传感器可通过某种方式附着于用户。优选地,附有一个或多个磁传感器以不阻碍用户的视野或不干扰例如用户与视频游戏控制台的互动。当然,也可将任何数量的磁传感器附着于身体的任何部分或与身体的任何部分相关联的物品上。例如,一个或多个磁传感器可被附着于头盔、眼镜、护目镜、背包、腰带等。
图9为描绘根据实施方案的用户可佩戴的具有被配置成跟踪磁化隐形镜片的一个或多个传感器的眼镜900的图。在该实例中,磁传感器910和920被嵌入眼镜900的框架中或上。可提供磁传感器910和920在眼镜900中或上的布置以使对磁化隐形镜片提供的磁场中的变化的检测或磁隐形镜片在外部磁场中所导致的干扰的检测最大化。
图10为描绘根据实施方案的可在用户颈部周围佩戴的用于跟踪磁化隐形镜片的磁传感器1010和可选磁传感器1020的图。
示例性磁传感器可以是下列霍尼韦尔传感器中的任何传感器:HMC1001、HMC1002、HMC1021S、HMC1021Z、HMC1021D、HMC1022、HMC1023、HMC1041Z、HMC1051Z、HMC1051ZL、HMC1052、HMC1052L、HMC1053、HMC1055、HMC1501、HMC1512、HMC6352和HMC2003;以及下列NVE公司的磁传感器中的任何磁传感器:AA-系列、AAH-系列和AAL-系列的GMR磁力计传感器和AB-系列和ABH-系列的GMR梯度仪传感器,或本领域中已知的任何其他磁传感器。其他实例包括基于自旋相关的隧穿结的磁阻传感器和测量磁场所产生的霍尔效应的传感器(例如:霍尼韦尔SS4、SS5、SS400和SS500)。磁传感器的使用在本领域是公知的,且可例如从伴随有上述传感器中任何传感器的文献中获得。
在另一实施方案中,一组磁传感器可包括差分传感器。差分传感器还可包括多个单轴传感器,且单轴传感器具有相同或相似的方向。差分传感器通常为计算通过两个方向类似的传感器(在本文中被称为传感器的“差分对”)检测的磁场中差异的传感器。然而,差分传感器也可以是本领域中已知的任何其他类型的差分传感器。就“差分对”中的传感器在相似的方向上进行取向的方面来说,干扰磁源对所测量信号的影响可能更加类似(尤其是在干扰源在遥远的地方而该对中的两个传感器彼此靠近的情况下)。因此,获取差分对中传感器输出之间的差异可用于消除干扰磁源的效果中的一些。
在一个实施方案中,相对于差分对和干扰磁源(例如:地球的磁场、阴极射线管(CRT)监视器或建筑物的配电)之间的距离来说,差分对中传感器和磁化隐形镜片之间的距离可较小。这能够对磁化隐形镜片所产生的场进行精确的计算,这是因为与遥远的干扰源相比,差分对中的传感器从附近的(与眼睛相关联的)物品感测到的磁通之间的差异通常将更大。
基于视频的传感器和隐形镜片
一般来说,一个或多个基于视频的传感器可被配置成检测通过某种方式附着于用户的反射隐形镜片的位置和/或运动。优选地,构造反射隐形镜片以不阻碍用户的视野或不干扰例如用户与视频游戏控制台的互动。
图11为描绘根据实施方案的被配置成反射电磁波谱中一部分的隐形镜片1100的图。在该实例中,隐形镜片1100包括反射元件1110。反射元件1110被配置成对正常光透明以及反射红外(IR)或近红外(NIR)光。例如,IR或NIR光源(例如:源1120)可产生多条不连贯和/或连贯的光线1130以照亮反射元件1110。IR或NIR光的检测器(例如:传感器1140)可聚集从反射元件1110反射的多条不连贯和/或连贯的光线1150。
图12、图13和图14为描绘根据各种实施方案的可在用于反射电磁波谱中一部分的隐形镜片上提供的图案的不同实例的图。在图12中,隐形镜片1200包括圆带1210、1220和1230。圆带1210、1220和1230中的每一个都被配置成反射IR或NIR光。圆带1210、1220和1230的宽度能够是一致的或在带与带之间为可变的。
在各方面中,可改变一个隐形镜片至下一个中的反射区域的数量以限定特定的图案。在进一步的方面中,可改变从一个隐形镜片至下一个的反射区域的形状以限定特定的图案。在更进一步的方面中,可将反射区域视为固体区域或包含填充图案。可基于检测例程或为了在个人眼睛或个人用户之间区分而改变反射区域的数量、形状、填充图案等。在图13中,例如,隐形镜片1300包括至少4个方形反射区域。每个反射方形可置于方形图案中,其中每个反射方形置于方形图案的角落上。在图14中,例如,隐形镜片1400包括至少4个圆形反射区域。每个反射圆形区域可置于圆形图案中,其中每个反射圆形置于隐形镜片1400圆周的周围。可提供其他图案的反射区域以提高眼睛跟踪的精确性。
提高眼睛跟踪的精确性
在各实施方案中,能够使用具有一个或多个反射图案的磁隐形镜片提高使用隐形镜片的眼睛跟踪的精确性。图15为描绘根据实施方案的被配置成反射电磁波谱中一部分的磁化隐形镜片1500的图。在该实例中,隐形镜片1500包括广泛分布在整个隐形镜片1500中的几个磁元件。磁元件被配置成产生具有磁极1510的磁场。磁极1510可垂直于隐形镜片1500。在一些方面中,隐形镜片1500的磁元件被配置成具有合适的尺寸并适当地分布以使磁元件不会显著地阻挡或以其他方式扰乱佩戴者的视力。隐形镜片1500的磁元件还可被配置成采用透明或半透明的磁化材料。隐形镜片1500还包括圆带1520、1530和1540。圆带1520、1530和1540中的每一个都被配置成反射IR或NIR光。圆带1520、1530和1540的宽度能够是一致的或在带与带之间为可变的。
图16为根据实施方案的使用磁化和反射隐形镜片进行眼睛跟踪的方法1600的流程图。可通过由逻辑机(如计算机***或信息处理装置)的中央处理单元(CPU或处理器)执行时的软件(例如:指令或代码模块)、通过电子装置或专用集成电路的硬件组件或通过软件和硬件元件的组合来执行图16所示方法1600的实施或其中的处理。方向600可按先后发生顺序陈述步骤,然而,也可按任何顺序(包括同时地或并行地)进行或以其他方式执行步骤中的一些。图16所示方法1600开始于步骤1610。
在步骤1620中,使用一个或多个磁传感器来跟踪与用户眼睛相关联的隐形镜片。如图15所示,用户可配备有可通过位于或接近视频游戏控制台或用户头部的一个或多个磁传感器进行跟踪的磁化隐形镜片。在步骤1630中,使用一个或多个基于视频的传感器(如IR或NIR摄像头)来跟踪与用户眼睛相关联的隐形镜片。如图15所示,用户可配备有被配置成可通过一个或多个基于视频的眼睛***进行跟踪的反射电磁波谱中的一个或多个部分的隐形镜片。可并行地执行步骤1620和1630。
在步骤1640中,源自一个或多个磁传感器的跟踪信息与源自一个或多个基于视频的传感器的跟踪信息相结合。例如,可基于结合的跟踪确定隐形镜片的初始位置、方向或运动并随后将其更新至后续位置、方向或运动。在其他方面中,一个或多个基于视频的传感器可测量用户头部或眼睛的位置,同时一个或多个磁传感器则跟踪磁化隐形镜片的位置。在进一步的实施方案中,可使用两个传感器以提高彼此的精确性。在更进一步的实施方案中,可使用其他传感器以过滤噪声(例如:光和磁噪声)并提供路线位置信息以供磁化或基于视频的传感器改善。在其他实施方案中,可使用源自一只眼睛的信息以跟踪另一只眼睛。
在步骤1650中,使用源自一个或多个传感器的信息执行一个或多个动作。可执行动作的一个实例可包括响应于用户将其眼睛滚向左边、右边、上边或下边而浏览菜单。另一实例可包括使用眨眼控制视频游戏中的物体,如选择/取消选择物体、捡起或落下物品或双击。进一步的实例可包括使用眼睛的运动拖动物体、开始激活发射等。在一些方面中,可使用学习***将用户眼睛的跟踪信息映射至可执行的一个或多个动作。图16结束于步骤1660。
3D信息和隐形镜片
对于某些用途而言,隐形镜片具有比眼镜更轻和更小的优点。当观看/播放3D内容很长一段时间时,这些功能则可以特别有用。因此,在各实施方案中,隐形镜片可用于代替3D眼镜或与3D眼镜一起来观看3D信息。3D隐形镜片在其他领域(如外科医生实践各种程序或进行远程交互的医疗领域)以及观看3D信息或控制机器人的工业中可以是有用的。
在一些实施方案中,可使用隐形镜片观看立体图像。通常,当使用隐形镜片进行观看时,立体图像用于提供立体3D效果,其中两个隐形镜片具有不同的颜色(通常上色是相反的),如红色和青色。图片包含两个以不同方式进行过滤的彩色图像,且一个图像对应一只眼睛。当通过彩色编码的隐形镜片进行观看时,显示有集成立体图像。图17A和图17B为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的彩色区域的隐形镜片1700的图。在图17A中,隐形镜片1710包括被配置有或染有第一颜色的区域1730。选择第一颜色以过滤用于第二、优选为上色相反的颜色。在图17B中,隐形镜片1720包括被配置有或染有第二颜色的区域1740。选择第二颜色以过滤用于第一颜色。
在各实施方案中,隐形镜片1700具有嵌入其中的第一和第二颜色。在进一步的实施方案中,隐形镜片1700可具有附在隐形镜片1710和1720的一个或多个外表面上的第一和第二颜色。可能的颜色方案的一些实例包括红-绿、红-蓝、红-青、红-青的变体(例如:anachrome、mirachrome、Trioscopic、洋红-绿(例如:INFICOLOR)、琥珀-深蓝(例如:颜色代码3D)、洋红-青)和窄带干扰滤光片(例如:Infitec)。此外,可随意地设计用于观看3D信息的隐形镜片以使其可被戴在用户可能用于提高他/她视力的常规隐形镜片的顶部。
在一些实施方案中,可使用隐形镜片观看立体图像。通常,立体观视(也被称为立体或3-D成像)指通过分别向观看者的左眼和右眼提供两个偏移的图像以创建或增强图像中深度错觉的技术。可使用两种策略来实现该技术:使观看者戴上隐形镜片以结合从两个偏移的来源获得的单独的图像或使观看者戴上隐形镜片以过滤从与每只眼睛相分离的单个来源获得的偏移图像。
图18A和图18B为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的水平和垂直偏振区域的隐形镜片1800的图。在该实例中,隐形镜片1800为线性偏振的。在图18A中,隐形镜片1810包括配置有第一线性偏振滤光片的区域1830。选择第一线性偏振滤光片以在第一线性偏振处对光透明且在第二线性偏振处进行滤光。在图18B中,隐形镜片1820包括配置有第二线性偏振滤光片的区域1840。选择第二线性偏振滤光片以在第二线性偏振处对光透明且在第一线性偏振处进行滤光。
因此,能够通过偏振滤光片(例如:在45度和135度的正交滤光片)将两个图像显示和叠加在相同的屏幕上。观看者戴上线性偏振的隐形镜片1800,其中每个均含有与显示器进行相同定向的正交偏振滤光片。由于每个滤光片仅使同样偏振的光通过且阻挡正交偏振的光,因此每只眼睛只能看见投影图像之一,且实现了3D效果。
图19A和图19B为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的圆形偏振区域的隐形镜片的图。在该实例中,隐形镜片1900为圆形偏振的。在图19A中,隐形镜片1910配置有第一圆形偏振滤光片。选择第一圆形偏振滤光片以在第一圆形偏振处对光透明且在第二圆形偏振处进行滤光。在图19B中,隐形镜片1920配置有第二圆形偏振滤光片。选择第二圆形偏振滤光片以在第二圆形偏振处对光透明且在第一圆形偏振处进行滤光。
因此,能够通过具有相反旋向性的圆形偏振滤光片将两个图像显示和叠加在相同的屏幕上。观看者戴上隐形镜片1900,每个隐形镜片都包含具有相反旋向性的分析滤光片(反向安装的圆形偏振器)。左圆偏振的光受右旋析光器的阻挡,而右圆偏振的光则经左旋析光器熄灭。
在进一步的实施方案中,隐形镜片可包括活性元件,活性元件阻挡光或使光通过与3D显示器上的图像同步(例如:使用交替帧排序的概念)。图20为描绘根据一个实施方案的具有被配置成过滤3-D显示器的左部和右部图像的电路的隐形镜片2000的图。在该实例中,隐形镜片2000包括介质2010、活性材料2020、控制电路2030、电源2040和一个或多个天线元件2050。
介质2010可包括典型的隐形镜片材料且被配置为支撑活性材料2020、控制电路2030、电源2040和一个或多个天线元件2050。活性材料2020被配置成在透明状态和不透明状态之间交替。活性材料2020可具有当施加电压时变得不透明(或暗),否则就变得透明的特性。活性材料2020的一个实例可包括液晶层。
控制电路2030包括被配置成控制活性材料2020的状态的一个或多个元件。控制电路可包括液晶层控制器、存储器、收发器等。在某些实施方案中,控制电路2030由电源2040供电。电源2040可能是可选的,这是因为控制电路2030可在天线元件2050由无线电波提供能量时从天线元件2050提取电力。
在进一步的实施方案中,隐形镜片2000受控于红外射频DLP-Link或蓝牙发射器,其发送允许控制电路2030控制活性材料2020与3D显示器的刷新率同步地交替变暗的定时信号。相应地,3D显示器使用被称为交替帧排序的技术为每只眼睛交替地显示不同的透视图,这达到了使每只眼睛只能看到为其设计的图像的预期效果。在一些方面中,隐形镜片2000保持在透明状态,从而当其未通电时,用户能够使用隐形镜片2000进行正常观看。
硬件概要
图21为可结合实施方案、并入实施方案或用于实践在本公开中发现的创新、实施方案和/或实例中任一个的计算机***2100的方块图。图21仅用于说明根据一个或多个所公开的技术进行编程的计算装置、通用计算机***或用于结合发明的实施方案的特定信息处理装置,发明的教义可在本文提出且不用于限制如权利要求所述的发明范围。本领域的普通技术人员将意识到其他变化、修改和替换方式。
计算机***2100可包括被配置为执行逻辑运算和计算、输入/输出操作、机器通信等的硬件和/或软件元件。计算机***2100可包括常见的计算机组件,如一个或多个数据处理器或中央处理单元(CPU)2105、一个或多个图形处理器或图形处理单元(GPU)2110、存储器子***2115、存储子***2120、一个或多个输入/输出(I/O)接口2125、通信接口2130等。计算机***2100可包括***总线2135,***总线2135将上述组件相互连接起来并提供功能(如连接性和装置间的通信)。计算机***2100可具体表现为计算装置,如个人计算机(PC)、工作站、迷你计算机、主机、计算装置集群或场、笔记本电脑、手提式电脑、上网本、平板PC、PDA(个人数字助理)、智能手机、消费电子装置、电视、游戏控制台、便携式游戏装置、便携式媒体播放装置等。
一个或多个数据处理器或中央处理单元(CPU)2105可包括被配置成执行逻辑或程序代码或提供特定于应用的功能的硬件和/或软件元件。CPU2105的一些实例可包括一个或多个微处理器(例如:单核和多核)或微控制器。CPU2105可包括4位、8位、12位、16位、32位、64位等的具有类似或不同的内部和外部指令和数据设计的架构。CPU2105还可包括单核或多核。市售处理器可包括加利福尼亚州圣塔克拉拉的Intel公司提供的那些处理器(例如:x86、x86_64、奔腾、赛扬、酷睿、酷睿2、酷睿ix、安腾、至强等)和加利福尼亚州森尼韦尔的AdvancedMicroDevices公司提供的那些处理器(例如:x86、AMD_64、速龙、毒龙、炫龙、速龙XP/64、皓龙、飞鸿等)。市售处理器可进一步包括符合高级RISC机器(ARM)架构(例如:ARMv7-9)、POWER和POWERPC架构、CELL架构等的那些处理器。CPU2105也可包括一个或多个现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他微控制器。一个或多个数据处理器或中央处理单元(CPU)2105可包括任何数量的寄存器、逻辑单元、算术单元、缓存器、存储器接口等。一个或多个数据处理器或中央处理单元(CPU)2105还可无法移动地或可移动地集成至一个或多个主板或子板中。
一个或多个图形处理器或图形处理单元(GPU)2110可包括被配置成执行与图形相关联的逻辑或程序代码或提供特定于图形的功能的硬件和/或软件元件。GPU2110可包括任何常规的图形处理单元,如常规的视频卡所提供的那些图形处理单元。GPU的一些实例购自NVIDIA、ATI和其他厂商。在各实施方案中,GPU2110可以包括一个或多个向量或并行处理单元。这些GPU可以是用户可编程的并包括用于编码/解码特定类型的数据(例如:视频数据)或用于加速2D或3D绘图操作、纹理操作、着色操作等的硬件元件。一个或多个图形处理器或图形处理单元(GPU)2110可包括任何数量的寄存器、逻辑单元、算术单元、缓存器、存储器接口等。一个或多个数据处理器或中央处理单元(CPU)2105还可无法移动地或可移动地集成至包括专用视频存储器、帧缓存器等的一个或多个主板或子板中。
存储器子***2115可包括被配置成存储信息的硬件和/或软件元件。存储器子***2115可使用机器可读的物品、信息存储装置或计算机可读存储介质存储信息。存储器子***2170所使用的这些物品的一些实例可包括随机存取存储器(RAM)、只读存储器(ROMS)、易失性存储器、非易失性存储器和其他半导体存储器。在各实施方案中,存储器子***2115可包括隐形镜片眼睛跟踪/控制数据和程序代码2140。
存储子***2120可包括被配置成存储信息的硬件和/或软件元件。存储子***2120可使用机器可读的物品、信息存储装置或计算机可读存储介质存储信息。存储子***2120可使用存储介质2145存储信息。存储子***2120所使用的存储介质2145的一些实例可包括软盘、硬盘、光存储介质(如CD-ROMS、DVD和条形码)、可移动存储装置、联网存储装置等。在一些实施方案中,可使用存储子***2120存储隐形镜片眼睛跟踪/控制数据和程序代码2140中的全部或部分。
在各实施方案中,计算机***2100可包括一个或多个超级管理器或操作***,如华盛顿州雷德蒙的Microsoft公司的WINDOWS、WINDOWSNT、WINDOWSXP、VISTA、WINDOWS7等、加利福尼亚州库比蒂诺的AppleInc.的MacOS或MacOSX、SunMicrosystems公司的SOLARIS、LINUX、UNIX和其他基于UNIX或类似于UNIX的操作***。计算机***2100还可包括被配置成执行、进行或以其他方式实施本文所公开的技术的一个或多个应用。这些应用可具体表现为隐形镜片眼睛跟踪/控制数据和程序代码2140。此外,可在存储器子***2115和/或存储子***2120中存储计算机程序、可执行的计算机代码、人可读源代码、着色器代码、渲染引擎等以及数据(如图像文件、包括物体的几何描述、物体的有序几何描述的模型、模型的程序描述、场景描述符文件等)。
一个或多个输入/输出(I/O)接口2125可包括被配置成进行I/O操作的硬件和/或软件元件。一个或多个输入装置2150和/或一个或多个输出装置2155可通信地耦合至一个或多个I/O接口2125。
一个或多个输入装置2150可包括被配置成接收源自一个或多个来源的信息的硬件和/或软件元件用于计算机***2100。一个或多个输入装置2150的一些实例可包括计算机鼠标、轨迹球、轨迹板、操纵杆、无线遥控器、绘图板、语音命令***、眼睛跟踪***、外部存储***、适当配置为触摸屏的监视器/显示器、适当配置为收发器的通信接口等。在各实施方案中,一个或多个输入装置2150可允许计算机***2100的用户与一个或多个非图形或图形用户接口进行交互以输入注解、选择物体、图标、文本、用户接口小工具或经命令、点击按键等显示在监视器/显示器装置上的其他用户接口元件。
一个或多个输出装置2155可包括被配置成将信息输出至一个或多个目的地的硬件和/或软件元件用于计算机***2100。一个或多个输出装置2155的一些实例可包括打印机、传真机、用于鼠标或操纵杆的反馈装置、外部存储***、监视器或其他显示装置、电视、适当配置为收发器的通信接口等。一个或多个输出装置2155可允许计算机***2100的用户观看物体、图标、文本、用户接口小工具或其他用户接口元件。
显示器装置或监视器可与计算机***2100一同使用且可包括被配置成显示信息的硬件和/或软件元件。一些实例包括常见的显示装置,如电视监视器、阴极射线管(CRT)、液晶显示器(LCD)等。
通信接口2130可包括被配置成进行通信操作(包括发送和接收数据)的硬件和/或软件元件。通信接口2130的一些实例可包括网络通信接口、外部总线接口、以太网卡、调制解调器(电话、卫星、电缆、ISDN)、(异步)数字用户线(DSL)单元、火线接口、USB接口等。例如,通信接口2130可被耦合至通信网络/外部总线2180如计算机网络,以及耦合至火线总线、USB集线器等。在其他实施方案中,通信接口2130可作为硬件而被物理性地集成在计算机***2100的主板或子板上,可作为软件程序等予以实施或可作为其组合而予以实施。
在各实施方案中,计算机***2100可包括使用一个或多个通信协议(如HTTP、TCP/IP、RTP/RTSP协议等)在网络(如局域网或互联网)上进行通信的软件。在一些实施方案中,也可使用其他通信软件和/或传输协议(例如IPX、UDP等)以在网络上与主机进行通信或与直接连接至计算机***2100的装置进行通信。
作为建议,图21仅代表被适当地配置为执行或结合在本公开中提出的发明的各实施方案的通用计算机***或能够执行或结合在本公开中提出的发明的各实施方案的特定数据处理装置。对于本领域的技术人员而言,适合用于执行在本公开中提出的发明或与在本公开中提出的发明的各实施方案一同使用的许多其他硬件和/或软件配置都是明显的。例如,计算机***、游戏装置、电视或其他数据处理装置可包括台式、家庭影院式、便携式、机架安装的或平板的配置。此外,计算机***或信息处理装置可包括一系列联网计算机或并行处理装置集群/网格。在其他实施方案中,在芯片或辅助处理板上实施的计算机***或信息处理装置可执行上述技术。
可在本公开中提出其教义的一个或多个发明中的任一个的各种实施方案能够通过软件、固件、硬件或其组合中的逻辑形式予以实施。可将逻辑作为一组指令存储在机器可访问的存储器、机器可读的物品、有形的计算机可读介质、计算机可读存储介质或其他计算机/机器可读介质中或上,该组指令适于指示逻辑机的中央处理单元(CPU或处理器)执行可在本公开提出的发明的各实施方案中公开的一组步骤。逻辑可形成软件程序或计算机程序产品的一部分,这是因为在执行代码模块以执行在本公开中提出的发明的各实施方案中的方法或过程时,可通过计算机***的处理器或信息处理装置操作代码模块。基于本公开和本文所提供的教义,本领域中的普通技术人员将理解用于在软件、固件、硬件或其组合中实施提出的一个或多个发明的各实施方案中所公开的操作或功能中任一的其他方式、变化、修改、替代方式和/或方法。
可在本公开中提出其教义的那些发明中任一个的公开实例、实施和各实施方案仅用于向本领域的技术人员合理清楚地传达本公开的教义。由于可参照示例性图或特定附图描述这些实施和实施方案,对于本领域的那些技术人员来说,所述方法和/或特定结构的各种修改或改编则变得明显。依赖本公开和在本文中发现的这些教义的所有这样的修改、改编或变化都应视作位于可在本公开中提出其教义的一个或多个发明的范围之中,并且其中本领域已通过这些教义有所提升。因此,本说明书和附图不应被视为具有限制意义,如可理解的是在公开中提出的发明决不是用于限制具体说明的那些实施方案。
相应地,上述说明和任何附图、例证和图意在是说明性的而非限制性的。因此,不应通过简单地参照上述说明和附图中所示的那些实施方案确定在本公开中提出的任何发明的范围,而是应参照未决权利要求及其全部范围或等同物而确定在本公开中提出的任何发明的范围。
Claims (20)
1.一种眼睛视线跟踪的方法,所述方法包括:
在一个或多个计算机***中接收从跟踪与佩戴者的第一只眼睛相关联的第一磁隐形镜片的一个或多个磁传感器获得的第一跟踪信息;
在一个或多个计算机***中接收从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的第一组的所述第一磁隐形镜片的一个或多个基于视频的传感器获得的第二跟踪信息;
通过与所述一个或多个计算机***相关联的一个或多个处理器基于从跟踪所述第一磁隐形镜片的所述一个或多个磁传感器获得的所述第一跟踪信息以及从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的所述第一组的所述第一磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第二跟踪信息来生成增强的跟踪信息;
通过与所述一个或多个计算机***相关联的所述一个或多个处理器基于所述增强的跟踪信息确定眼睛视线信息;以及
通过所述一个或多个计算机***基于所述确定的眼睛视线信息执行一个或多个动作。
2.根据权利要求1所述的方法,其中基于从跟踪所述第一磁隐形镜片的所述一个或多个磁传感器获得的所述第一跟踪信息以及从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的所述第一组的所述第一磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第二跟踪信息来生成所述增强的跟踪信息包括:
建立与所述第一磁隐形镜片相关联的所述第一只眼睛的第一位置;以及
将所述第一只眼睛的所述第一位置精制成所述第一只眼睛的第二位置。
3.根据权利要求1所述的方法,其还包括:
接收从跟踪所述佩戴者头部的所述一个或多个基于视频的传感器获得的第三跟踪信息;以及
其中基于从跟踪所述第一磁隐形镜片的所述一个或多个磁传感器获得的所述第一跟踪信息以及从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的所述第一组的所述第一磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第二跟踪信息生成所述增强的跟踪信息包括确定所述第一磁隐形镜片相对于所述佩戴者头部的位置。
4.根据权利要求1所述的方法,其还包括:
接收从跟踪与所述佩戴者的第二只眼睛相关联的第二磁隐形镜片的一个或多个磁传感器获得的第三跟踪信息;
接收从跟踪使用所述第二磁隐形镜片的一个或多个反射图案中的第二组的所述第二磁隐形镜片的一个或多个基于视频的传感器获得的第四跟踪信息。
5.根据权利要求4所述的方法,其中基于从跟踪所述第一磁隐形镜片的所述一个或多个磁传感器获得的所述第一跟踪信息以及从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的所述第一组的所述第一磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第二跟踪信息生成所述增强的跟踪信息包括基于从跟踪所述第二磁隐形镜片的所述一个或多个磁传感器获得的所述第三跟踪信息以及从跟踪使用所述第二磁隐形镜片的一个或多个反射图案中的所述第二组的所述第二磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第四跟踪信息生成所述增强的跟踪信息。
6.根据权利要求1所述的方法,其中接收从跟踪所述第一磁隐形镜片的所述一个或多个磁传感器获得的所述第一跟踪信息或接收从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的所述第一组的所述第一磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第二跟踪信息包括接收与所述第一磁隐形镜片相关联的眼睛的位置、方向和运动中的至少一个。
7.根据权利要求1所述的方法,其还包括基于从跟踪使用所述第一磁隐形镜片的一个或多个反射图案中的所述第一组的所述第一磁隐形镜片的所述一个或多个基于视频的传感器获得的所述第二跟踪信息确定眨眼信息。
8.根据权利要求1所述的方法,其还包括:
接收从跟踪与第二磁隐形镜片的佩戴者的第一只眼睛相关联的所述第二磁隐形镜片的一个或多个磁传感器获得的第三跟踪信息;
接收从跟踪使用所述第二磁隐形镜片的一个或多个反射图案中的第二组的所述第二磁隐形镜片的一个或多个基于视频的传感器获得的第四跟踪信息,且所述第二磁隐形镜片的一个或多个反射图案中的所述第二组不同于所述第一磁隐形镜片的一个或多个反射图案中的所述第一组;以及
区分所述第一磁隐形镜片的所述佩戴者和所述第二磁隐形镜片的所述佩戴者。
9.根据权利要求1所述的方法,其中基于所述确定的眼睛视线信息执行所述一个或多个动作包括控制视频游戏、投影虚拟用户接口或增强现实用户接口中至少一个的虚拟人物、对象或菜单中的至少一个。
10.根据权利要求1所述的方法,其中基于所述确定的眼睛视线信息执行所述一个或多个动作包括控制与计算机应用相关联的一个或多个应用菜单。
11.一种眼睛跟踪隐形镜片,其包括:
材料,其形成具有合适尺寸以适合佩戴者眼睛并在所述佩戴者眼睛巩膜的至少一部分上延伸的镜片,所述镜片具有光区和***区;
与形成所述镜片的所述材料相关联的一个或多个磁元件,所述一个或多个磁元件形成磁场或被配置成干扰磁场;以及
与形成所述镜片的所述材料相关联的一个或多个反射元件,所述一个或多个反射元件被配置成反射电磁波谱的预定部分。
12.根据权利要求11所述的眼睛跟踪隐形镜片,其中与形成所述镜片的所述材料相关联的所述一个或多个磁元件包括嵌入形成所述镜片的所述材料中的多个磁化纳米粒子。
13.根据权利要求11所述的眼睛跟踪隐形镜片,其中与形成所述镜片的所述材料相关联的所述一个或多个磁元件包括在所述***区的一部分中聚集的多个磁元件。
14.根据权利要求11所述的眼睛跟踪隐形镜片,其中与形成所述镜片的所述材料相关联的所述一个或多个反射元件反射红外或近红外光。
15.根据权利要求11所述的眼睛跟踪隐形镜片,其中与形成所述镜片的所述材料相关联的所述一个或多个反射元件包括分布在所述***区中的一组圆带。
16.根据权利要求11所述的眼睛跟踪隐形镜片,其中与形成所述镜片的所述材料相关联的所述一个或多个反射元件包括分布在所述***区中的一组反射形状。
17.一种用于观看3D信息的隐形镜片,所述隐形镜片包括:
材料,其形成具有合适尺寸以适合佩戴者眼睛并在所述佩戴者眼睛巩膜的至少一部分上延伸的镜片,所述镜片具有光区和***区;
与形成所述镜片的所述材料相关联的一个或多个磁元件,所述一个或多个磁元件形成磁场或被配置成干扰磁场;以及
与形成所述镜片的所述材料相关联的一个或多个反射元件,所述一个或多个反射元件被配置成反射电磁波谱的预定部分;以及
至少与被配置成过滤所述3D信息以获得所述3D信息中指定用于所述佩戴者眼睛的一部分的所述光区相关联的材料。
18.根据权利要求17所述的隐形镜片,其中至少与被配置成过滤所述3D信息以获得所述3D信息中指定用于所述佩戴者眼睛的一部分的所述光区相关联的所述材料包括与多个上色相反的颜色中的至少一个相关联的颜色滤光片层。
19.根据权利要求17所述的隐形镜片,其中至少与被配置成过滤所述3D信息以获得所述3D信息中指定用于所述佩戴者眼睛的一部分的所述光区相关联的所述材料包括与多个光偏振中的至少一个相关联的偏振滤光片层。
20.根据权利要求17所述的隐形镜片,其中至少与被配置成过滤所述3D信息以获得所述3D信息中指定用于所述佩戴者眼睛的一部分的所述光区相关联的所述材料包括掩盖所述光区以阻挡所述3D信息中未指定用于所述佩戴者眼睛的一部分的液晶层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610098373.6A CN105640489B (zh) | 2011-05-05 | 2012-05-04 | 隐形镜片*** |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/101,868 | 2011-05-05 | ||
US13/101,868 US8632182B2 (en) | 2011-05-05 | 2011-05-05 | Interface using eye tracking contact lenses |
PCT/US2012/036618 WO2012151538A2 (en) | 2011-05-05 | 2012-05-04 | Interface using eye tracking contact lenses |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610098373.6A Division CN105640489B (zh) | 2011-05-05 | 2012-05-04 | 隐形镜片*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103649874A CN103649874A (zh) | 2014-03-19 |
CN103649874B true CN103649874B (zh) | 2016-03-16 |
Family
ID=47090019
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280033470.7A Active CN103649874B (zh) | 2011-05-05 | 2012-05-04 | 使用眼睛跟踪隐形镜片的接口 |
CN201610098373.6A Active CN105640489B (zh) | 2011-05-05 | 2012-05-04 | 隐形镜片*** |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610098373.6A Active CN105640489B (zh) | 2011-05-05 | 2012-05-04 | 隐形镜片*** |
Country Status (3)
Country | Link |
---|---|
US (2) | US8632182B2 (zh) |
CN (2) | CN103649874B (zh) |
WO (1) | WO2012151538A2 (zh) |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
RU2565482C2 (ru) * | 2010-03-22 | 2015-10-20 | Конинклейке Филипс Электроникс Н.В. | Система и способ для отслеживания точки взгляда наблюдателя |
EP2791790B1 (en) * | 2011-12-14 | 2019-08-14 | Intel Corporation | Gaze activated content transfer system |
US9082011B2 (en) | 2012-03-28 | 2015-07-14 | Texas State University—San Marcos | Person identification using ocular biometrics with liveness detection |
US20140024889A1 (en) * | 2012-07-17 | 2014-01-23 | Wilkes University | Gaze Contingent Control System for a Robotic Laparoscope Holder |
US10616049B2 (en) | 2013-01-25 | 2020-04-07 | Dell Products, L.P. | System and method for determining the configuration of switches in virtual link trunking environments |
US9407500B2 (en) * | 2013-01-25 | 2016-08-02 | Dell Products L.P. | System and method for determining the configuration of switches in virtual link trunking environments |
US9664916B2 (en) * | 2013-03-15 | 2017-05-30 | Johnson & Johnson Vision Care, Inc. | Stereoscopic ophthalmic lens viewing sets |
US9873233B2 (en) * | 2013-03-15 | 2018-01-23 | Johnson & Johnson Vision Care, Inc. | Ophthalmic lens viewing sets for three-dimensional perception of stereoscopic media |
US9113036B2 (en) * | 2013-07-17 | 2015-08-18 | Ebay Inc. | Methods, systems, and apparatus for providing video communications |
US9721383B1 (en) * | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9448421B2 (en) | 2013-09-04 | 2016-09-20 | Johnson & Johnson Vision Care, Inc. | Ophthalmic lens system capable of communication between lenses utilizing a secondary external device |
US9170646B2 (en) * | 2013-09-04 | 2015-10-27 | Johnson & Johnson Vision Care, Inc. | Ophthalmic lens system capable of interfacing with an external device |
US11343487B2 (en) | 2013-10-31 | 2022-05-24 | David Woods | Trackable glasses system for perspective views of a display |
US9986228B2 (en) | 2016-03-24 | 2018-05-29 | 3Di Llc | Trackable glasses system that provides multiple views of a shared display |
US10652525B2 (en) | 2013-10-31 | 2020-05-12 | 3Di Llc | Quad view display system |
WO2015076812A1 (en) * | 2013-11-21 | 2015-05-28 | Empire Technology Development Llc | Secure transparent display |
US9808157B2 (en) | 2013-12-30 | 2017-11-07 | Verily Life Sciences Llc | Hands-free interface |
US9993335B2 (en) | 2014-01-08 | 2018-06-12 | Spy Eye, Llc | Variable resolution eye mounted displays |
US10817051B2 (en) | 2014-03-13 | 2020-10-27 | Julian Michael Urbach | Electronic contact lenses and an image system comprising the same |
WO2015164807A1 (en) | 2014-04-25 | 2015-10-29 | Texas State University | Detection of brain injury and subject state with eye movement biometrics |
US10127927B2 (en) | 2014-07-28 | 2018-11-13 | Sony Interactive Entertainment Inc. | Emotional speech processing |
US9687181B2 (en) | 2014-09-17 | 2017-06-27 | International Business Machines Corporation | Semiconductor device to be embedded within a contact lens |
US9572488B2 (en) * | 2014-09-23 | 2017-02-21 | Gn Otometrics A/S | Head mountable device for measuring eye movement |
US20170364732A1 (en) * | 2014-12-05 | 2017-12-21 | Texas State University | Eye tracking via patterned contact lenses |
WO2016090379A2 (en) | 2014-12-05 | 2016-06-09 | Texas State University | Detection of print-based spoofing attacks |
US10108832B2 (en) * | 2014-12-30 | 2018-10-23 | Hand Held Products, Inc. | Augmented reality vision barcode scanning system and method |
US11016302B2 (en) | 2015-03-17 | 2021-05-25 | Raytrx, Llc | Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses |
US11956414B2 (en) | 2015-03-17 | 2024-04-09 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
US9888843B2 (en) | 2015-06-03 | 2018-02-13 | Microsoft Technology Licensing, Llc | Capacitive sensors for determining eye gaze direction |
US10444541B2 (en) * | 2016-09-16 | 2019-10-15 | Elwha Llc | Switchable lens devices, systems, and related methods |
US9870049B2 (en) * | 2015-07-31 | 2018-01-16 | Google Llc | Reflective lenses to auto-calibrate a wearable system |
CN105159450B (zh) * | 2015-08-25 | 2018-01-05 | 中国运载火箭技术研究院 | 一种便携式可交互桌面级虚拟现实*** |
US9894342B2 (en) * | 2015-11-25 | 2018-02-13 | Red Hat Israel, Ltd. | Flicker-free remoting support for server-rendered stereoscopic imaging |
US11044249B2 (en) * | 2016-01-08 | 2021-06-22 | Visa International Service Association | Secure authentication using biometric input |
EP3243429A1 (en) * | 2016-05-13 | 2017-11-15 | Erasmus University Medical Center Rotterdam | Method for measuring a subject's eye movement and scleral contact lens |
CN106101533B (zh) * | 2016-06-15 | 2019-09-13 | 努比亚技术有限公司 | 渲染控制方法、装置及移动终端 |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
US10643741B2 (en) * | 2016-11-03 | 2020-05-05 | RightEye, LLC | Systems and methods for a web platform hosting multiple assessments of human visual performance |
CN106527711A (zh) * | 2016-11-07 | 2017-03-22 | 珠海市魅族科技有限公司 | 一种虚拟现实设备的控制方法及虚拟现实设备 |
US10649233B2 (en) | 2016-11-28 | 2020-05-12 | Tectus Corporation | Unobtrusive eye mounted display |
CN110770636B (zh) * | 2017-04-25 | 2024-04-05 | 雷特克斯有限公司 | 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制*** |
TWI662316B (zh) * | 2017-07-24 | 2019-06-11 | 麥塔優光學股份有限公司 | 智慧型隱形眼鏡及其透光本體 |
LU100354B1 (en) * | 2017-08-01 | 2019-02-06 | Starbreeze Ip Lux Ii S A R L | Eye tracking system for head-mounted display |
US10514545B2 (en) * | 2017-12-08 | 2019-12-24 | Facebook Technologies, Llc | Selective tracking of a head-mounted display |
US10673414B2 (en) | 2018-02-05 | 2020-06-02 | Tectus Corporation | Adaptive tuning of a contact lens |
US10695667B2 (en) * | 2018-03-14 | 2020-06-30 | Sony Interactive Entertainment LLC | Pro gaming AR visor and method for parsing context specific HUD content from a video stream |
FR3079936B1 (fr) | 2018-04-04 | 2020-04-17 | Institut Mines-Telecom | Systeme optique de detection et de suivi de mouvements oculaires, monture externe et lentille de contact connectee associees |
US10505394B2 (en) | 2018-04-21 | 2019-12-10 | Tectus Corporation | Power generation necklaces that mitigate energy absorption in the human body |
US10895762B2 (en) | 2018-04-30 | 2021-01-19 | Tectus Corporation | Multi-coil field generation in an electronic contact lens system |
US10838239B2 (en) | 2018-04-30 | 2020-11-17 | Tectus Corporation | Multi-coil field generation in an electronic contact lens system |
US10790700B2 (en) | 2018-05-18 | 2020-09-29 | Tectus Corporation | Power generation necklaces with field shaping systems |
US10996769B2 (en) | 2018-06-11 | 2021-05-04 | Tectus Corporation | Contact lens-based eye tracking |
US11137622B2 (en) | 2018-07-15 | 2021-10-05 | Tectus Corporation | Eye-mounted displays including embedded conductive coils |
US10897705B2 (en) | 2018-07-19 | 2021-01-19 | Tectus Corporation | Secure communication between a contact lens and an accessory device |
US10602513B2 (en) * | 2018-07-27 | 2020-03-24 | Tectus Corporation | Wireless communication between a contact lens and an accessory device |
US11850514B2 (en) | 2018-09-07 | 2023-12-26 | Vulcan Inc. | Physical games enhanced by augmented reality |
US10529107B1 (en) | 2018-09-11 | 2020-01-07 | Tectus Corporation | Projector alignment in a contact lens |
US11670080B2 (en) * | 2018-11-26 | 2023-06-06 | Vulcan, Inc. | Techniques for enhancing awareness of personnel |
US10838232B2 (en) | 2018-11-26 | 2020-11-17 | Tectus Corporation | Eye-mounted displays including embedded solenoids |
US10644543B1 (en) | 2018-12-20 | 2020-05-05 | Tectus Corporation | Eye-mounted display system including a head wearable object |
TWI683132B (zh) * | 2019-01-31 | 2020-01-21 | 創新服務股份有限公司 | 人臉眼睛定位系統在顯微鏡的應用 |
US11950577B2 (en) | 2019-02-08 | 2024-04-09 | Vale Group Llc | Devices to assist ecosystem development and preservation |
US11912382B2 (en) | 2019-03-22 | 2024-02-27 | Vulcan Inc. | Underwater positioning system |
US11435845B2 (en) | 2019-04-23 | 2022-09-06 | Amazon Technologies, Inc. | Gesture recognition based on skeletal model vectors |
US20230144759A1 (en) * | 2019-08-02 | 2023-05-11 | King Abdullah University Of Science And Technology | Controlling devices using facial movements |
US10944290B2 (en) | 2019-08-02 | 2021-03-09 | Tectus Corporation | Headgear providing inductive coupling to a contact lens |
US11720170B2 (en) | 2019-12-26 | 2023-08-08 | Stmicroelectronics, Inc. | Method, device, and system of measuring eye convergence angle |
WO2021168449A1 (en) | 2020-02-21 | 2021-08-26 | Raytrx, Llc | All-digital multi-option 3d surgery visualization system and control |
IT202000017776A1 (it) * | 2020-07-22 | 2022-01-22 | Univ Degli Studi Di Siena | Sistema per eseguire il tracking di un oggetto |
US11747896B2 (en) | 2020-10-20 | 2023-09-05 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
US11609629B2 (en) | 2020-10-20 | 2023-03-21 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
US11320903B1 (en) | 2020-10-20 | 2022-05-03 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
US11281291B1 (en) | 2020-10-20 | 2022-03-22 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
US11392198B2 (en) | 2020-10-20 | 2022-07-19 | ROVl GUIDES, INC. | Methods and systems of extended reality environment interaction based on eye motions |
CN112269469B (zh) * | 2020-11-04 | 2022-03-08 | 北京航空航天大学 | 一种人机交互*** |
CN112451101B (zh) * | 2020-11-30 | 2022-04-29 | 福建医科大学附属协和医院 | 超声可视化达芬奇智能机器人手术*** |
US11762219B2 (en) * | 2021-04-06 | 2023-09-19 | Innovega, Inc. | Automated contact lens design through image capture of an eye wearing a reference contact lens |
US11972592B2 (en) | 2021-04-06 | 2024-04-30 | Innovega, Inc. | Automated eyewear frame design through image capture |
US20220404908A1 (en) * | 2021-06-18 | 2022-12-22 | Advanced Semiconductor Engineering, Inc. | Body-part tracking device and body-part tracking method |
US20230350203A1 (en) * | 2022-04-29 | 2023-11-02 | Snap Inc. | Ar/vr enabled contact lens |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4669834A (en) * | 1985-04-30 | 1987-06-02 | Richter Judy C | Light reflective contact lens |
EP1056049A2 (en) * | 1999-05-27 | 2000-11-29 | United Bristol Healthcare NHS Trust | Method and apparatus for displaying volumetric data |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5682210A (en) * | 1995-12-08 | 1997-10-28 | Weirich; John | Eye contact lens video display system |
US5936705A (en) | 1997-03-31 | 1999-08-10 | Wesley Jensen Corporation | Pattern for color modifying contact lens |
US20050219459A1 (en) * | 2003-09-02 | 2005-10-06 | Kazutora Yoshino | Beautiful eye |
WO2006102495A2 (en) | 2005-03-24 | 2006-09-28 | Massachusetts Institute Of Technology | Device and method for tracking eye gaze direction |
CA2587097A1 (en) | 2006-04-12 | 2007-10-12 | Rikke Dootjes | Lens |
US20090279736A1 (en) * | 2006-04-21 | 2009-11-12 | Laconte Stephen | Magnetic resonance eye tracking systems and methods |
US7572011B2 (en) * | 2006-07-27 | 2009-08-11 | Sony Computer Entertainment America Inc. | Contact lenses for use in motion capture |
WO2009094587A1 (en) * | 2008-01-23 | 2009-07-30 | Deering Michael F | Eye mounted displays |
US8786675B2 (en) * | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
US7758187B2 (en) * | 2008-02-04 | 2010-07-20 | University Of Washington | Contact lens for three dimensional visualization |
TWI398796B (zh) | 2009-03-27 | 2013-06-11 | Utechzone Co Ltd | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking |
-
2011
- 2011-05-05 US US13/101,868 patent/US8632182B2/en active Active
-
2012
- 2012-05-04 WO PCT/US2012/036618 patent/WO2012151538A2/en active Application Filing
- 2012-05-04 CN CN201280033470.7A patent/CN103649874B/zh active Active
- 2012-05-04 CN CN201610098373.6A patent/CN105640489B/zh active Active
-
2014
- 2014-01-21 US US14/160,429 patent/US9244285B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4669834A (en) * | 1985-04-30 | 1987-06-02 | Richter Judy C | Light reflective contact lens |
EP1056049A2 (en) * | 1999-05-27 | 2000-11-29 | United Bristol Healthcare NHS Trust | Method and apparatus for displaying volumetric data |
Also Published As
Publication number | Publication date |
---|---|
US20140198382A1 (en) | 2014-07-17 |
WO2012151538A3 (en) | 2013-01-24 |
CN103649874A (zh) | 2014-03-19 |
WO2012151538A2 (en) | 2012-11-08 |
US20120281181A1 (en) | 2012-11-08 |
CN105640489B (zh) | 2019-04-09 |
US8632182B2 (en) | 2014-01-21 |
US9244285B2 (en) | 2016-01-26 |
CN105640489A (zh) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103649874B (zh) | 使用眼睛跟踪隐形镜片的接口 | |
CN106255939B (zh) | 世界锁定显示质量反馈 | |
US20220206588A1 (en) | Micro hand gestures for controlling virtual and graphical elements | |
CN106462233B (zh) | 用于显示设备观看者视线吸引的方法和设备 | |
CN106662925B (zh) | 使用头戴式显示器设备的多用户注视投影 | |
WO2022216784A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
WO2022245765A1 (en) | Beacons for localization and content delivery to wearable devices | |
CN103347437B (zh) | 3d映射环境中的凝视检测 | |
WO2020132243A1 (en) | Multi-camera cross reality device | |
WO2020163663A1 (en) | Lightweight and low power cross reality device with high temporal resolution | |
CN108027652A (zh) | 信息处理设备、信息处理方法以及程序 | |
EP4157474A1 (en) | Interactive augmented reality experiences using positional tracking | |
EP4172955A1 (en) | Generating ground truth datasets for virtual reality experiences | |
EP3922010A1 (en) | Lightweight cross reality device with passive depth extraction | |
WO2022005946A1 (en) | Augmented reality experiences using social distancing | |
CN115735150A (zh) | 增强现实眼戴器与3d服装 | |
CN108830944A (zh) | 光学透视式三维近眼显示***及显示方法 | |
WO2024049578A1 (en) | Scissor hand gesture for a collaborative object | |
WO2024049585A1 (en) | Timelapse of generating a collaborative object | |
WO2024049580A1 (en) | Authenticating a selective collaborative object | |
WO2024049576A1 (en) | Real-world responsiveness of a collaborative object | |
US20240070299A1 (en) | Revealing collaborative object using countdown timer | |
US20240070298A1 (en) | Selective collaborative object access | |
US20240069643A1 (en) | Physical gesture interaction with objects based on intuitive design | |
WO2024049586A1 (en) | Collaborative object associated with a geographical location |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |