CN113785258A - 检测眼睛测量 - Google Patents
检测眼睛测量 Download PDFInfo
- Publication number
- CN113785258A CN113785258A CN201980095695.7A CN201980095695A CN113785258A CN 113785258 A CN113785258 A CN 113785258A CN 201980095695 A CN201980095695 A CN 201980095695A CN 113785258 A CN113785258 A CN 113785258A
- Authority
- CN
- China
- Prior art keywords
- eye
- reference points
- user
- hmd
- measure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title description 8
- 210000000744 eyelid Anatomy 0.000 claims abstract description 27
- 210000001747 pupil Anatomy 0.000 claims abstract description 20
- 210000003786 sclera Anatomy 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 claims description 19
- 230000010344 pupil dilation Effects 0.000 claims description 16
- 230000003340 mental effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims 1
- 210000004087 cornea Anatomy 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 5
- 208000004350 Strabismus Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 240000004371 Panax ginseng Species 0.000 description 1
- 235000002789 Panax ginseng Nutrition 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229920003051 synthetic elastomer Polymers 0.000 description 1
- 239000005061 synthetic rubber Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Evolutionary Biology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
在各种示例中，可以通过处理来自视觉传感器的用户眼睛的图像来生成多个参考点。所述多个参考点可以对应于例如用户的眼睛的巩膜和眼睑之间的边界、瞳孔和角膜之间的边界等。基于对应于巩膜和眼睑之间的边界的参考点，可以检测用户眼睛的度量。
Description
背景技术
在一些类型的沉浸式计算的情况下，个体佩戴头戴式显示器（“HMD”），以便具有增强现实（“AR”）和/或虚拟现实（“VR”）体验。眼睛跟踪是沉浸式计算的一个元素，其使得能够实现诸如对VR场景中呈现的虚拟对象的用户选择之类的特征。眼睛跟踪也可以在沉浸式计算的上下文之外使用。
附图说明
本公开的特征通过示例的方式图示，并且不限于（一个或多个）以下附图，其中类似的数字指示类似的元件。
图1描绘了其中可以实现本公开所选择的方面的示例环境。
图2展示了可以如何从图像数据的采集到眼睛姿态的确定以及最终在下游过程中眼睛姿态的应用来处理数据的示例。
图3A-C展示了可以如何使用所公开的技术在用户眼睛的图像中生成多个参考点的示例。
图4A-C展示了可以如何使用所公开的技术在用户眼睛的图像中生成多个参考点的另一个示例。
图5描绘了用于实践本公开所选择的方面的示例方法。
图6示出了根据本公开的示例的计算设备的示意性表示。
具体实施方式
为了简单性和说明性的目的，通过主要参考本公开的示例来描述本公开。在以下描述中，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，将容易显而易见的是，本公开可以在不限于这些具体细节的情况下实践。在其它实例中，没有详细描述一些方法和结构，以免不必要地模糊本公开。如本文中所使用的，术语“一”和“一个”意图标示特定元素中的至少一个，术语“包括”意味着包括但不限于，术语“包含”意味着包含但不限于，并且术语“基于”意味着至少部分地基于。
附加地，应当理解，随附的附图中描绘的元件可以包括附加组件，并且在不脱离本文中所公开的元件的范围的情况下，可以移除和/或修改那些附图中描述的一些组件。还应当理解，附图中描绘的元件可能不是按比例绘制的，并且因此，元件可以具有除了如附图中所示出的大小和/或配置之外的不同大小和/或配置。
现在参考图1，被配置有本公开所选择的方面的示例头戴式显示器（“HMD”）100被示意性地描绘为它可以由个体102佩戴，在本上下文中，所述个体102也可以被称为“用户”或“佩戴者”。在图1中，HMD 100包括第一外壳104和第二外壳106。然而，在其它示例中，可以提供其它外壳配置。除了其它事物之外，第一外壳104尤其包围个体102的眼睛108，所述眼睛108在这种情况下是个体的右眼。尽管由于视角而在图1中不可见，但是在许多示例中，第一外壳104也可以包围个体102的另一只眼睛，该另一只眼睛在这种情况下将是个体的左眼。
第二外壳106可以包括HMD 100的至少一些电子器件，所述电子器件可操作来向个体102提供沉浸式计算体验。例如，在图1中，第二外壳106包括至少一个显示器110，在许多情况下，其可以包括两个显示器，对于个体102的每只眼睛108有一个，它们共同以立体方式呈现内容。通过在显示器110上呈现虚拟内容，HMD 100向个体102提供基于VR的沉浸式计算体验，其中个体102可以例如使用他或她的注视与虚拟对象交互。在一些这样的示例中，第一外壳104可以例如使用橡胶、合成橡胶、硅树脂或其它相似材料的“裙边（skirt）”或“面对垫片（face gasket）”来完全包围个体102的眼睛，以便防止外部光干扰个体的VR体验。
在一些示例中，HMD 100可以向个体102提供增强现实体验。例如，显示器110可以是透明的，使得个体102可以看到显示器110之外的物理世界。同时，显示器110可以用于呈现虚拟内容，诸如由HMD 100的外部相机（未描绘）感测的真实世界对象的视觉注释。在一些这样的示例中，HMD 100可以采取具有相对紧凑和/或轻形状因数的一副“智能眼镜”的形式。在一些这样的示例中，图1的各种组件可以被省略、不同地定大小和/或不同地布置，以适应智能眼镜的相对小和/或轻的形状因数。
在一些示例（包括图1的示例）中，第二外壳106包括相对于第二外壳106成角度的镜112。镜112倾斜，使得视觉传感器114的视场（“FOV”）能够捕获个体102的眼睛108。也例如在第一外壳104中提供光源116A和116B，并且可能可操作以发射光，所述光从眼睛108反射到镜112，所述镜112朝向视觉传感器114将光重定向。
视觉传感器114可以采取各种形式。在一些示例中，视觉传感器114可以是红外（“IR”）相机，其检测400 nm到1 mm之间（或者就频率而言，从近似430 THz到300 GHz）的电磁辐射。在一些这样的示例中，光源116可以采用IR发光二极管（“LED”）的形式。附加地，镜112可以被特别设计成允许非IR光穿过，使得在显示器110上呈现的内容对于眼睛108是可见的，同时IR光朝向视觉传感器114被反射。例如，镜112可以采取电介质镜（例如，布拉格镜）的形式。在一些示例中，镜112可以涂覆有诸如银或金之类的各种材料以促进IR反射。在其它示例中，视觉传感器114（和光源116A/B）可以在诸如可见光谱之类的其它光谱中操作，在所述情况下，视觉传感器114可以是RGB相机。
图1的示例并不意味着是限制性的，并且视觉传感器114或多个视觉传感器可以部署在HMD 100上或内的其它地方。在一些示例中，增加视觉传感器的数量可以增加本文中所描述的技术和/或它们生成的测量的准确性。在一些示例中，可以部署两个视觉传感器，对于个体102的每只眼睛有一个。
在一些示例中，可以例如在第一外壳104和第二外壳106之间的接口处提供各种光学器件120。光学器件120可以用于各种目的，并且因此可以采取各种形式。在一些示例中，显示器110可以相对小，并且光学器件120可以用于放大显示器110，例如作为放大透镜。在一些示例中，120光学器件可以采取菲涅尔透镜的形式，其可以比非菲涅尔的放大透镜更轻、更紧凑和/或最具成本效益。使用菲涅尔透镜可以使得第一外壳104和/或第二外壳106能够被制造成更小的形状因数。
HMD 100可以以各种方式促进眼睛跟踪。在一些示例中，光源116A-B可以将光发射到第一外壳104中。该发射的光可以从眼睛108在各种方向上、包括朝向镜112反射。如先前解释的，镜112可以被设计成允许光源116A-B光谱之外发射的光穿过，并且可以将光源116A-B光谱内发射的光朝向视觉传感器114反射。视觉传感器114可以捕获视觉数据，该视觉数据然后被提供给与HMD 100集成或远离HMD 100的逻辑122。视觉数据可以采取例如由视觉传感器114捕获的图像序列的形式。逻辑122可以对这些图像施行各种类型的图像处理，以确定眼睛108的各个方面，诸如其姿态（或取向）、瞳孔扩张、瞳孔取向、眼睛睁开度的度量等。
逻辑122可以采取各种形式。在一些示例中，逻辑122可以与HMD 100集成，并且可以采取执行存储在存储器（未描绘）中的指令的处理器（或多个处理器）的形式。例如，逻辑122可以包括中央处理单元（“CPU”）和/或图形处理单元（“GPU”）。在一些示例中，逻辑122可以包括专用集成电路（“ASIC”）、现场可编程门阵列（“FPGA”）和/或可操作来施行逻辑操作的其它类型的电路。以这种方式，逻辑122可以是电路或者电路和可执行指令的组合。
在其它示例中，逻辑122可以不与HMD 100集成。在一些示例中，逻辑122可以与由个体102操作的另一设备（诸如智能电话、智能手表、膝上型计算机、台式计算机、机顶盒、形成通常称为“云”的一部分的远程服务器等等）集成。例如，逻辑122可以包括由个体102携带的智能电话的处理器。个体102可以使用各种有线或无线技术将智能电话与HMD 100可操作地耦合，所述有线或无线技术诸如通用串行总线（“USB”）、采用诸如电气和电子工程师协会（“IEEE”）802.11标准的技术的无线局域网（“LAN”）、个人区域网、网状网络、高清多媒体接口（“HDMI”）等等。一旦可操作地耦合，个体102就可以佩戴HMD 100，所述HMD 100可以在HMD100的显示器110上呈现由智能电话生成的内容。例如，个体102可以在智能电话上安装有VR能力的游戏，将智能电话与HMD 100可操作地耦合，并通过HMD 100玩有VR能力的游戏。
基于从视觉传感器114生成的视觉信息确定的眼睛108的方面（诸如眼睛108的姿态），逻辑122可以确定显示器110上眼睛108的中央凹所指向的点或目标。显示器100上的该点及其紧挨的周围环境可以涵盖个体102最关注的具体呈现内容。显示器110上个体中央凹的目标可以用于例如在显示器110上呈现光标或其它选择工具，例如，使得个体102可以转圈移动他的眼睛来与显示器110的各个部分上呈现的内容交互。例如，为了选择在显示器110上呈现的特定对象，个体102可以看着该对象，并且然后施行某个其它动作，诸如眨眼、按下按钮、盯着它看某个预确定的时间量（这可以类似于悬停）等，以便与呈现的对象进行交互。该数据也可以用于注视点渲染。
现有的眼睛跟踪解决方案未能提供足够的信息或者利用相对大量的计算能力二者任一，这在一些情况下可能导致相对资源受限的HMD将眼睛跟踪计算委托给远程计算设备（例如，云）。因此，本文中描述了用于确定眼睛的各种眼睛跟踪相关特征的相对低成本的技术。在各种示例中，这些技术可以使用大部分或全部HMD 100机载（onboard HMD 100）的逻辑122而可执行。在一些这样的示例中，可以例如远离HMD 100训练各种机器学习模型，以生成推断可用于施行眼睛跟踪的眼睛108的各个方面的输出。
图2示意性地描绘了可以如何使用相对少的计算资源来处理数据以查明眼睛108的各种眼睛跟踪相关特征的一个示例。视觉传感器114将其生成的视觉数据提供给逻辑122，如先前所描述的。也如先前所指出的，逻辑122可以全部或部分HMD 100机载、在由个体102操作的另一计算设备（诸如智能电话）上或者远离个体102和HMD 100托管。
逻辑122可以使用电路的任何组合或者电路和机器可执行指令的组合来操作各种模块。例如，在图2中，逻辑122操作推断模块220、眼睛特征模块222和HMD输入模块224。在其它示例中，模块220-224中的任何一个可以与其它模块组合和/或被省略。
推断模块220将从视觉传感器114接收的视觉数据的全部或所选择的部分作为输入跨从经训练机器学习模型数据库226获得的经训练机器学习模型应用，以生成输出。基于机器学习模型生成的输出可以指示眼睛108的各个方面，诸如眼睛108的多个参考点。
数据库226可以全部或部分在HMD 100的存储器中维护。例如，数据库226中的（一个或多个）机器学习模型可以存储在HMD 100的非易失性存储器中，直到需要为止，此时它们可以被加载到易失性存储器中。如本文中所使用的，存储器可以指代存储数字数据的任何电子、磁性、光学或其它物理存储设备。例如，易失性存储器可以包括随机存取存储器（“RAM”）。更一般地，存储器还可以采取电可擦除可编程只读存储器（“EEPROM”）、存储驱动器、光学驱动器以及诸如此类的形式。
例如，由推断模块220可以训练和使用各种类型的机器学习模型，以基于视觉数据做出关于眼睛108的各种推断。在一些示例中，机器学习模型可以是经训练的形状预测器模型，诸如回归树模型的综合，其可以替代地被称为级联回归树，或者更一般地，回归函数或“回归器”的级联。在一些这样的示例中，回归函数级联的每个回归函数可以使用梯度提升树技术来训练。在一些示例中，可以比较眼睛108的图像上的点的梯度，以使形状拟合眼睛的图像。根据该形状，确定眼睛的各种特征是可能的。
在一些示例中，机器学习模型可以采取其它形式，诸如卷积神经网络（“CNN”）、并入综合模型中的多个机器学习模型等等。更一般地，机器学习模型可以在训练阶段中利用适合于分类任务的各种机器学习技术来学习权重，所述机器学习技术可以包括例如线性回归、逻辑回归、线性判别分析、主成分分析、分类树、朴素贝叶斯、k近邻、学习向量量化、支持向量机、装袋（bagging）森林、随机森林、提升（boosting）、AdaBoost等。
推断模块220基于从数据库226获得的机器学习模型而推断的多个参考点被提供给眼睛特征模块222。眼睛特征模块222采用各种技术和/或启发法来分析参考点并确定眼睛108的各种眼睛跟踪相关特征。将关于图3A-C和图4A-C更详细地描述这些特征的示例。
由眼睛特征模块222确定的（一个或多个）眼睛跟踪相关特征被提供给HMD输入模块224。HMD输入模块224可以基于其接收的眼睛跟踪相关特征采取各种动作。在一些示例中，由眼睛特征模块222确定的（一个或多个）眼睛跟踪相关特征可以被封装为对应于眼睛108的状态的应用编程接口（“API”）状态。HMD输入模块224然后可以基于眼睛的状态来确定采取什么动作（如果有的话）。
使用本文中描述的技术检测的各种眼睛特征可以被采用以用于各种目的。眼睛108的取向（诸如它正向上看还是向下看、向左看还是向右看）可以用于各种目的，诸如改变图像处理焦点、启动或隐藏菜单、导航通过多个菜单、与显示器110上呈现的虚拟对象交互、打开或关闭HMD 100、改变诸如亮度、对比度之类的各种HMD设置、改变诸如音量之类的其它输出设置等等。
瞳孔扩张和/或取向的度量可以用于各种目的，诸如估计用户的精神或身体状态，包括但不限于焦虑、认知负荷、理解水平等。眼睛睁开度的度量也可以用于估计用户的身体或精神状态。例如，如果用户的眼睛睁开度的度量小于用户观察到的眼睛睁开度的平均度量（或某个其它阈值），则这可能暗示用户疲劳，在显示器上呈现的内容足够亮以使用户反射性地瞇着眼睛看，或者呈现的内容模糊或以其它方式变形——这可能使用户瞇着眼睛看以试图使图像更清晰。比往常更大的眼睛睁开度的度量可能暗示高水平的专注、惊讶、感兴趣、显示器太暗等。
图3A-C分别描绘了由视觉传感器114捕获的眼睛108的三个单独图像3501-3。这些图像3501-3已经用对应于眼睛108的各种可见特征的参考点进行了注释。在一些示例中，当推断模块220将图像3501-3作为输入跨来自数据库226的经训练机器学习模型应用时，这些参考点可以被生成为输出。每个参考点可以标识在其处检测到眼睛108的特定可见特征的相应图像上的（一个或多个）特定点或像素。眼睛特征模块222可以利用这些参考点和/或它们之间的空间关系来标识眼睛108的各种眼睛跟踪特征，诸如其取向、瞳孔扩张、瞳孔取向、注视方向、眼睛睁开度等等。
在图3A的图像3501中，眼睛108被捕获为直视前方。参考点3301标识眼睛108的左侧范围，并且参考点3302标识眼睛108的右侧范围。参考点3301-2可以对应于例如眼睛108的内侧和外侧连合。参考点3321-4对应于眼睛108的角膜341和眼睑342之间的边界或“角膜缘”340的交点。更特别地，参考点3321-2对应于角膜缘340与上眼睑342U的交点，并且参考点3323-4对应于角膜缘340与下眼睑342L的交点。参考点3341-4对应于眼睛108的瞳孔344的各种范围。更特别地，参考点3341对应于瞳孔344的顶部范围，参考点3342对应于瞳孔344的右侧范围，参考点3343对应于瞳孔344的底部范围，并且参考点3344对应于瞳孔344的左侧范围。
眼睛特征模块222可以使用至少一些参考点3341-4来确定瞳孔扩张和/或取向的度量。例如，参考点3341和3343之间的距离可以是瞳孔344的垂直直径，并且可以与瞳孔扩张的当前度量成比例或者以其它方式表示瞳孔扩张的当前度量。在一些示例中，参考点3342和3344之间的距离可以与瞳孔344的水平直径成比例或者以其它方式表示瞳孔344的水平直径，并且还可以表示瞳孔扩张的当前度量。在一些示例中，并且在瞳孔或多或少是圆形的假设下，水平直径可以用于确认垂直直径，或者反之亦然。
在图3A中，其中图像3501捕获直视前方的眼睛108，角膜缘340与上眼睑342U和下眼睑342L相交。因此，参考点3321和3322分离某个水平距离，并且参考点3323和3324也分离某个水平距离。眼睛特征模块222可以利用这些距离来确定眼睛108的垂直取向。例如，如果这些水平距离相对相似、例如在彼此的某个预确定阈值内，则那么眼睛特征模块222可以确定眼睛108既不向上看也不向下看，而是可能直视前方。在一些示例中，这些参考点3321-4和参考点3301-2中的一个或两个之间的距离也可以用于确定垂直取向。
这些参考点3321-4和3301-2也可以由例如眼睛特征模块222可用于确定眼睛108的水平取向。例如，点3321-4中的任何一个离参考点3301和3302的成比例的距离可以被眼睛特征模块222用作水平取向的指标，即，用户正向左看还是向右看，以及看多少。
与图3A形成对照，在图3B的图像3502中，眼睛108正向上看。并且在图3C的图像3503中，眼睛108正向下看。这种取向在各种参考点之间的空间关系中被捕获。例如，在图3B中，对应于角膜缘340和上眼睑342U之间的交点的参考点3321和3322离彼此的水平距离大于对应于角膜缘340和下眼睑342L之间的交点的参考点3323和3324离彼此的水平距离。事实上，因为角膜缘340根本不与下眼睑342L相交，所以参考点3323和3324是重合的。在一些示例中，眼睛特征模块222可以将这些水平距离之间的这种相对大的差异解释为意味着眼睛108向上取向。
在图3C中正好相反，其中参考点3323和3324之间的水平距离远大于参考点3321和3322之间的水平距离。事实上，因为角膜缘340根本不与上眼睑342U相交，所以参考点3321和3322重合。在一些示例中，眼睛特征模块222可以将这些水平距离之间的这种相对大的差异解释为意味着眼睛108向下取向。
在一些示例中，眼睛特征模块222可以使用这些水平距离之间的差异的幅度来估计眼睛108的相对垂直取向。如果差异相对大（如图3B和3C中的情况），则那么眼睛108的垂直取向可以被估计为强烈向上或向下，如适用的。另一方面，如果这些水平距离之间的差异的幅度相对低（如图3A的情况），则那么由眼睛特征模块222估计的垂直取向可以更接近中性。
图4A-C分别描绘了由视觉传感器114捕获的眼睛108的三个单独图像4501-3。如图3A-C中的图像3501-3的情况，图像4501-3已经用对应于眼睛108的各种可见特征的参考点进行了注释。在一些示例中，当推断模块220将图像4501-3作为输入跨来自数据库226的经训练机器学习模型应用时，这些参考点可以被生成为输出。每个参考点可以标识在其处检测到眼睛108的特定可见特征的相应图像上的（一个或多个）特定点或像素。如图3的参考点的情况，眼睛特征模块222可以利用图4的参考点和/或它们之间的空间关系来标识眼睛108的各种眼睛跟踪特征，诸如其取向、眼睛睁开度、瞳孔扩张、瞳孔取向、注视方向等等。
图4A-C中的一些参考点类似于图3A-C中描绘的那些。例如，参考点4301标识眼睛108的左侧范围，并且参考点4302标识眼睛108的右侧范围。参考点4301-2可以对应于例如眼睛108的内侧和外侧连合。参考点4341-4对应于眼睛108的瞳孔444的各种范围。更特别地，参考点4341对应于瞳孔444的顶部范围，参考点4342对应于瞳孔344的右侧范围，参考点4343对应于瞳孔444的底部范围，并且参考点4344对应于瞳孔444的左侧范围。
在图4A-C中，眼睛108的巩膜445被标识。巩膜445是眼睛108的围绕角膜441的白色部分。沿着眼睑442U、442L和巩膜445的边界的各种参考点4461-4也被标识。参考点4461-2在巩膜445和上眼睑442U的边界上被标识。参考点4463-4在巩膜445和下眼睑442L的边界上被标识。参考点4461-4的各种组合可以用于确定眼睛的特征，诸如眼睛睁开度的度量。
在一些示例中，参考点4461-4可以基于它们彼此和/或与其它参考点的空间关系来选择/标识。例如，在图4中，参考点4461与参考点4463垂直对齐。同样，参考点4462与参考点4464垂直对齐。在一些示例中，参考点对<4461，4463>或<4462，4464>可以基于它们与眼睛108的其它极端（诸如参考点4301和/或4302）之间的垂直线的距离（在图4A中Y处指示的一个示例）来选择。作为非限制性示例，该对参考点<4461，4463>可以与参考点4301间隔近似跨眼睛108的水平跨度的1/3。作为另一个非限制性示例，可以选择参考点对<4462，4464>，使得在图4A中它们之间的线Y与参考点4302间隔近似跨眼睛108的水平跨度的1/3。
在一些场景中，所有参考点可能都不容易可标识是可能的。例如，当采用菲涅尔透镜时，可能的是，眼睛108的一些部分可能变形，使得标识一些参考点具有挑战性。因此，本文中描述的技术可以与少于图4A（或图3A）中描绘的所有参考点一起使用，以确定眼睛108的特征。
例如，在图4B中，在巩膜445和眼睑442U、442L之间的边界上的参考点4461和4463被标识，但是参考点4462和4464没有被标识。尽管如此，参考点4461和4463可以例如与参考点4301组合（如图4B中所描绘的）或者与参考点4302组合使用，以确定眼睛睁开度的度量。在一些示例中，参考点4461和4463之间的垂直距离可以与参考点对<4461，4463>和参考点4301（或在其它示例中的参考点4302）之间的水平距离组合使用，以确定眼睛睁开度的度量。水平距离可以提供例如用于标度的参考，使得可以确定参考点4461和4463之间的垂直距离的幅度。
图4C描绘了与图4B类似的场景，除了代替标识角膜441左侧的参考点参考点4461和4463，标识角膜441右侧的参考点4462和4464。在一些示例中，参考点4462和4464之间的垂直距离可以与参考点对<4462，4464>和参考点4301（或其它示例中的参考点4302）之间的水平距离组合使用，以确定眼睛睁开度的度量。水平距离可以提供例如用于标度的参考，使得可以确定参考点4462和4464之间的垂直距离的幅度。
也可以使用少于所有四个参考点4341-4来确定瞳孔扩张和/或取向的度量。例如，在图4B中，位于瞳孔444的相对垂直范围的参考点4341和4343可以用于确定瞳孔扩张和/或取向的度量。并且在图4C中，位于瞳孔444的相对水平范围的参考点4342和4344可以用于确定瞳孔扩张和/或取向的度量。
在一些示例中，可以为特定用户校准参考点。例如，当新用户第一次戴上HMD 100时，可以运行校准例程，该校准例程测量图3A-C和/或图4A-C中描绘的各种参考点之间随着时间的推移（例如，佩戴HMD 100的最初几分钟）的各种距离。校准例程可以获得各种基线测量，诸如眼睛108的内侧和外侧连合之间的距离、眼睑与巩膜445之间的边界处的各个点（例如，4461-4）之间的垂直距离等等。这些（一个或多个）基线测量可以在稍后用于确定一般标度和/或其它度量。例如，可以在校准期间针对眼睛108的内侧和外侧连合之间的距离建立基线。稍后，可以将眼睛108的内侧和外侧连合之间的测量距离与该基线进行比较，以便确定要应用于其它度量的缩放因子，诸如眼睛睁开度的度量。
图5图示了用于实践本公开所选择的方面的示例方法500的流程图。图5的操作可以由处理器施行，所述处理器诸如本文中描述的各种计算设备/***的处理器，包括逻辑122。为了方便起见，方法500的操作将被描述为由配置有本公开所选择的方面的***来施行。其它实现可以包括除图5中图示的操作之外的附加操作，可以以不同的次序和/或并行施行图5的（一个或多个）操作，和/或可以省略图5的各种操作。
在框502处，该***可以从与HMD 100相关联的视觉传感器114接收用户眼睛的图像。在一些示例中（诸如图1中所描绘的），视觉传感器114与HMD 100集成。在其它示例中，视觉传感器114可以是单独的组件，诸如附件，其可以可操作地与HMD 100耦合。
在框504处，该***可以对图像施行图像处理，以在图像中生成多个参考点。如先前指出的，该图像处理可以采取各种形式，诸如将图像作为输入跨经训练机器学习模型（诸如回归树模型）应用，以推断多个参考点。在一些示例中，多个参考点包括参考点2321-4，其对应于眼睛108的角膜缘340和用户的眼睑342U、342L的交点。在一些示例中，参考点可以包括沿着眼睛108的巩膜445和用户的眼睑342U、342L之间的边界的参考点4461-4。
在框506处，该***例如通过眼睛特征模块222的方式，可以基于在框502处生成的多个参考点中的至少一些来确定眼睛108的各个方面或测量。在一些示例中，可以基于要取得的期望眼睛测量来选择多个参考点的子集。例如，可以生成图3A-C和/或图4A-C中描绘的所有参考点，但是可以仅选择对于诸如眼睛睁开度、瞳孔扩张/取向等之类的期望眼睛测量所需的那些点。
作为示例，该***可以使用多个参考点的各种组合来确定眼睛睁开度的度量。作为一个示例，在图4B中，分别对应于巩膜445与上和下眼睑442U、442L之间的边界的两个参考点4461和4463与标识眼睛108的左侧范围的参考点3301组合使用，以确定眼睛睁开度的度量。作为另一个示例，在图4C中，分别对应于巩膜445与上和下眼睑442U、442L之间的边界的两个其它参考点4462和4464与标识眼睛108的左侧范围的参考点3301组合使用，以确定眼睛睁开度的度量。
在一些示例中，眼睛特征模块222可以基于对应于角膜缘340和眼睑342的交点的参考点来确定用户的眼睛108的取向。可以如何确定这样的取向的非限制性示例先前参考图3A-C进行了描述。
在框508处，该***可以基于对应于眼睛的虹膜-瞳孔边界的两个附加参考点，诸如图3A-C中的两个参考点3341-4，来确定眼睛108的瞳孔扩张的度量。
在框510处，该***可以利用包括在框506处确定的眼睛睁开度的度量和在框508处确定的瞳孔扩张度量中的一个或两个的眼睛状态作为例如用于API的输入。作为非限制性示例，眼睛睁开度的度量可以用于估计用户的精神或身体状态，诸如用户是否疲劳、查看显示器上呈现的内容是否有困难等等。用户在查看显示器上呈现的内容有困难的事实可能暗示内容模糊或变形。这可能是由各种因素引起的，诸如HMD 100被不正确地安装在用户的头部上，或者针对具有不同大小和/或形状的头部的不同用户进行校准。眼睛睁开度的度量的另一个用途可以是控制由HMD 100呈现的虚拟化身的眼睛睁开度水平。例如，如果用户瞇着眼睛看，则虚拟化身瞇着眼睛看。如果用户的眼睛大大睁开，那么化身的眼睛大大睁开。如果基于用户眼睛睁开度的度量来预测用户疲惫，则化身可以被呈现为具有疲惫的外观。以此类推。瞳孔扩张的度量可以用于相同或不同的目的，诸如推断用户的情绪状态、认知负荷水平等。
在框512处，该***可以基于在框510处使用的输入来采取各种动作。例如，如果估计用户疲劳，则该***可以呈现听觉或视觉输出，从而建议用户暂停一会、小睡一下、休息一下等。如果确定用户在查看呈现的内容有困难，则该***可以采取各种动作，诸如施行立体成像校准例程、提供建议用户将HMD 100在他们的头部上重新取向的输出等等。
图6是示例计算机***610的框图，在一些示例中，其代表在HMD 100上发现的组件。计算机***610可以包括至少一个处理器614，其经由总线子***612与多个***设备通信。这些***设备可以包括存储子***626，包括例如存储器子***625和文件存储子***626、用户接口输出设备620、用户接口输入设备622和网络接口子***616。输入和输出设备允许与计算机***610的用户交互。网络接口子***616提供到外部网络的接口，并且耦合到其它计算机***中的对应接口设备。
用户接口输入设备622可以包括输入设备，诸如键盘、定点设备（诸如鼠标）、轨迹球、触摸交互表面、扫描仪、并入到显示器中的触摸屏、音频输入设备（诸如语音识别***）、麦克风、视觉传感器114和/或其它类型的输入设备。一般而言，术语“输入设备”的使用意图包括将信息输入到计算机***610中或输入到通信网络上的所有可能类型的设备和方式。
用户接口输出设备620可以包括显示子***，该显示子***包括左显示器110L和右显示器110R、打印机、传真机或者诸如音频输出设备之类的非视觉显示器。显示子***可以包括阴极射线管（“CRT”）、诸如液晶显示器（“LCD”）之类的平板设备、投影设备或用于创建可见图像的某种其它机制。显示子***还可以诸如经由音频输出设备提供非视觉显示。一般而言，术语“输出设备”的使用意图包括从计算机***610向用户或向另一机器或计算机***输出信息的所有可能类型的设备和方式。
存储子***624存储机器可读指令和数据构造，其提供本文中所描述的一些或所有模块的功能性。这些机器可读指令模块一般由处理器614单独执行或与其它处理器组合执行。存储子***624中使用的存储器625可以包括多个存储器。
例如，除了其它事物之外，主随机存取存储器（“RAM”）630可以在程序执行期间用于存储尤其指令631，用于检测和使用如本文中所描述的眼睛特征。存储子***624中使用的存储器625还可以包括只读存储器（“ROM”）632，其中存储固定指令。
文件存储子***626可以为程序和数据文件——包括用于检测和使用如本文中所描述的眼睛特征的指令627——提供永久或非易失性存储，并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移除介质、CD-ROM驱动器、光学驱动器或可移除介质盒。实现某些实现的功能性的模块可以由文件存储子***626存储在存储子***626中，或者存储在（一个或多个）处理器614可访问的其它机器中。
总线子***612提供了一种用于让计算机***610的各种组件和子***按照意图与彼此通信的机制。尽管总线子***612被示意性地示出为单个总线，但是总线子***的其它实现可以使用多个总线。
计算机***610可以具有变化的类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其它数据处理***或计算设备。由于计算机和网络的不断改变的性质，图6中描绘的计算机***610的描述仅意图作为出于说明一些实现的目的的特定示例。计算机***610的许多其它配置可能具有比图6中所描绘的计算机***更多或更少的组件。
尽管贯穿本公开的整体具体描述了本公开的代表性示例，但是本公开的代表性示例在广泛范围的应用内具有实用性，并且上面的讨论不意图且不应当被解释为是限制性的，而是作为对本公开的各方面的说明性讨论来提供。
本文中已经描述和图示的是本公开连同其一些变型的示例。本文中所使用的术语、描述和附图仅通过说明的方式进行阐述，并不意味着限制。在本公开的范围内许多变型是可能的，本公开的范围由以下权利要求及其等同物——其中除非另有指示否则所有术语都意味着其最广泛的合理含义——来限定。
Claims (15)
1.一种使用处理器实现的方法，包括：
从与头戴式显示器（“HMD”）相关联的视觉传感器接收用户眼睛的图像；
对图像施行图像处理以在图像中生成多个参考点，其中所述多个参考点对应于用户的眼睛的巩膜和眼睑之间的边界；以及
基于对应于巩膜与眼睑之间的边界的所述多个参考点，检测用户眼睛的度量。
2.根据权利要求1所述的方法，其中所述眼睛的度量包括用户的眼睛睁开度的度量。
3.根据权利要求1所述的方法，其中所述图像处理包括将图像作为输入跨经训练机器学习模型应用以生成输出，其中所述输出指示图像中的所述多个参考点。
4.根据权利要求2所述的方法，其中所述机器学习模型包括回归树模型。
5.根据权利要求2所述的方法，其中基于对应于巩膜和眼睑之间的边界的两个参考点之间的距离来确定眼睛睁开度的度量。
6.根据权利要求5所述的方法，其中基于对应于眼睛的内侧或外侧连合的附加参考点来进一步确定眼睛睁开度的度量。
7.根据权利要求1所述的方法，包括基于对应于眼睛的虹膜-瞳孔边界的两个附加参考点，确定眼睛的瞳孔扩张或瞳孔取向的度量。
8.根据权利要求1所述的方法，包括：
基于眼睛睁开度的度量来确定用户的精神或身体状态；和
基于所确定的精神或身体状态来生成并提供输出。
9.一种头戴式显示器（“HMD”），包括：
视觉传感器；
与视觉传感器可操作地耦合的逻辑，其中所述逻辑要：
对来自视觉传感器的HMD佩戴者的眼睛的图像施行图像处理，以在图像中生成多个参考点，其中所述多个参考点包括对应于眼睛的巩膜和佩戴者的眼睑之间的边界的第一参考点和对应于眼睛的内侧或外侧连合的第二参考点；和
基于所述多个参考点来检测佩戴者的眼睛睁开度的度量。
10.根据权利要求9所述的HMD，其中所述图像处理包括将图像作为输入跨经训练机器学习模型应用以生成输出，其中所述输出指示图像中的所述多个参考点。
11.根据权利要求10所述的HMD，其中所述机器学习模型包括回归树模型。
12.根据权利要求9所述的HMD，其中基于所述多个参考点之间的距离来确定眼睛睁开度的度量。
13.根据权利要求9所述的HMD，进一步包括基于对应于眼睛的虹膜-瞳孔边界的两个附加参考点，确定眼睛的瞳孔扩张的度量。
14.一种包括指令的非暂时性计算机可读介质，所述指令响应于处理器对指令的执行，使处理器进行以下操作：
通过处理来自视觉传感器的用户眼睛的图像来生成多个参考点，其中所述多个参考点中的至少一些对应于用户的眼睛的巩膜和眼睑之间的边界；和
基于对应于巩膜和眼睑之间的边界的参考点，检测用户眼睛的期望度量。
15.根据权利要求14所述的非暂时性计算机可读介质，进一步包括用于从所述多个参考点选择参考点子集的指令，其中所述子集是基于用户眼睛的期望度量来选择的。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2019/023585 WO2020197537A1 (en) | 2019-03-22 | 2019-03-22 | Detecting eye measurements |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113785258A true CN113785258A (zh) | 2021-12-10 |
Family
ID=72609636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980095695.7A Pending CN113785258A (zh) | 2019-03-22 | 2019-03-22 | 检测眼睛测量 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11402901B2 (zh) |
| EP (1) | EP3931666A4 (zh) |
| CN (1) | CN113785258A (zh) |
| WO (1) | WO2020197537A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10684681B2 (en) * | 2018-06-11 | 2020-06-16 | Fotonation Limited | Neural network image processing apparatus |
| WO2021174106A1 (en) * | 2020-02-28 | 2021-09-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for event-based gaze tracking |
| SE2250299A1 (en) * | 2022-03-04 | 2023-09-05 | Tobii Ab | Eye openness |
| WO2023195972A1 (en) * | 2022-04-05 | 2023-10-12 | Hewlett-Packard Development Company, L.P. | Determination of hmd wearer health condition from iris within hmd-captured eye image |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101523411A (zh) * | 2006-11-06 | 2009-09-02 | 丰田自动车株式会社 | 眼开度检测***及眼开度检测方法 |
| CN102985948A (zh) * | 2010-07-14 | 2013-03-20 | 爱信精机株式会社 | 眼睑检测装置以及程序 |
| US20140072230A1 (en) * | 2011-03-11 | 2014-03-13 | Omron Corporation | Image processing device and image processing method |
| US20170231490A1 (en) * | 2014-08-10 | 2017-08-17 | Autonomix Medical, Inc. | Ans assessment systems, kits, and methods |
| US20170365101A1 (en) * | 2016-06-20 | 2017-12-21 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
| US20180246320A1 (en) * | 2017-02-27 | 2018-08-30 | Tobii Ab | Lens position adjustment in a wearable device |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4309927B2 (ja) * | 2007-03-14 | 2009-08-05 | 株式会社豊田中央研究所 | まぶた検出装置及びプログラム |
| JP4974788B2 (ja) * | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| US8531355B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
| US8878749B1 (en) | 2012-01-06 | 2014-11-04 | Google Inc. | Systems and methods for position estimation |
| WO2013163090A1 (en) * | 2012-04-23 | 2013-10-31 | Sackett Solutions & Innovations, LLC | Cognitive biometric systems to monitor emotions and stress |
| US10216981B2 (en) * | 2015-06-14 | 2019-02-26 | Facense Ltd. | Eyeglasses that measure facial skin color changes |
| IL297610B2 (en) | 2015-10-16 | 2023-11-01 | Magic Leap Inc | Eye position detection using eye features |
| US10303246B2 (en) * | 2016-01-20 | 2019-05-28 | North Inc. | Systems, devices, and methods for proximity-based eye tracking |
| US20180190011A1 (en) * | 2017-01-04 | 2018-07-05 | Osterhout Group, Inc. | Content rendering systems for head-worn computers |
| JP7233927B2 (ja) | 2016-03-22 | 2023-03-07 | マジック リープ， インコーポレイテッド | バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム |
| US20170322679A1 (en) | 2016-05-09 | 2017-11-09 | John C. Gordon | Modifying a User Interface Based Upon a User's Brain Activity and Gaze |
| US10573042B2 (en) | 2016-10-05 | 2020-02-25 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
| WO2018095994A1 (en) | 2016-11-22 | 2018-05-31 | Delphinium Clinic Ltd. | Method and system for classifying optic nerve head |
| US10872272B2 (en) | 2017-04-13 | 2020-12-22 | L'oreal | System and method using machine learning for iris tracking, measurement, and simulation |
| US10859830B2 (en) * | 2018-01-31 | 2020-12-08 | Sony Interactive Entertainment LLC | Image adjustment for an eye tracking system |
| US10580133B2 (en) * | 2018-05-30 | 2020-03-03 | Viswesh Krishna | Techniques for identifying blepharoptosis from an image |
-
2019
- 2019-03-22 WO PCT/US2019/023585 patent/WO2020197537A1/en unknown
- 2019-03-22 US US17/056,866 patent/US11402901B2/en active Active
- 2019-03-22 EP EP19922011.2A patent/EP3931666A4/en active Pending
- 2019-03-22 CN CN201980095695.7A patent/CN113785258A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101523411A (zh) * | 2006-11-06 | 2009-09-02 | 丰田自动车株式会社 | 眼开度检测***及眼开度检测方法 |
| CN102985948A (zh) * | 2010-07-14 | 2013-03-20 | 爱信精机株式会社 | 眼睑检测装置以及程序 |
| US20140072230A1 (en) * | 2011-03-11 | 2014-03-13 | Omron Corporation | Image processing device and image processing method |
| US20170231490A1 (en) * | 2014-08-10 | 2017-08-17 | Autonomix Medical, Inc. | Ans assessment systems, kits, and methods |
| US20170365101A1 (en) * | 2016-06-20 | 2017-12-21 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
| US20180246320A1 (en) * | 2017-02-27 | 2018-08-30 | Tobii Ab | Lens position adjustment in a wearable device |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210405741A1 (en) | 2021-12-30 |
| US11402901B2 (en) | 2022-08-02 |
| EP3931666A1 (en) | 2022-01-05 |
| WO2020197537A1 (en) | 2020-10-01 |
| EP3931666A4 (en) | 2022-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880043B2 (en) | Display systems and methods for determining registration between display and eyes of user | |
| EP3571673B1 (en) | Method for displaying virtual image, storage medium and electronic device therefor | |
| KR102231910B1 (ko) | 초점 이동에 반응하는 입체적 디스플레이 | |
| EP3172649B1 (en) | Anti-trip when immersed in a virtual reality environment | |
| US11402901B2 (en) | Detecting eye measurements | |
| US10852817B1 (en) | Eye tracking combiner having multiple perspectives | |
| US10451875B2 (en) | Smart transparency for virtual objects | |
| US9699436B2 (en) | Display with eye-discomfort reduction | |
| TWI549505B (zh) | 用於擴展現實顯示的基於理解力和意圖的內容 | |
| US9690099B2 (en) | Optimized focal area for augmented reality displays | |
| KR20200080226A (ko) | 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스 | |
| CN112567287A (zh) | 具有帧调制功能的增强现实显示 | |
| US11972042B2 (en) | Variable intensity distributions for gaze detection assembly | |
| US20180190019A1 (en) | Augmented reality user interface visibility | |
| CN111670001B (zh) | 用于眼睛跟踪***的图像调整 | |
| US11308685B2 (en) | Rendering computer-generated reality text | |
| US20180158390A1 (en) | Digital image modification | |
| US9934583B2 (en) | Expectation maximization to determine position of ambient glints | |
| US20240104958A1 (en) | User Eye Model Match Detection | |
| CN113519154A (zh) | 检测眼睛跟踪校准误差 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |