CN103748599A - 用于测量头部、眼睛、眼睑和瞳孔的反应的***和方法 - Google Patents
用于测量头部、眼睛、眼睑和瞳孔的反应的***和方法 Download PDFInfo
- Publication number
- CN103748599A CN103748599A CN201280034244.0A CN201280034244A CN103748599A CN 103748599 A CN103748599 A CN 103748599A CN 201280034244 A CN201280034244 A CN 201280034244A CN 103748599 A CN103748599 A CN 103748599A
- Authority
- CN
- China
- Prior art keywords
- wearer
- eyes
- eye tracking
- head
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
- A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Ophthalmology & Optometry (AREA)
- Pathology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
提供测量头部、眼睛、眼睑运动的反应时间和/或响应和/或瞳孔几何形状的变化的***和方法。***包括眼睛佩戴物或头部佩戴物,眼睛佩戴物或头部佩戴物包括用于跟踪用户的至少一个眼睛和眼睛的组成部分的位置和几何形状的一个或多个眼睛跟踪摄像机、用于监测用户周围环境的一个或多个场景摄像机、和确定反应时间的一个或多个处理器。可选地,***可以包括监测头部运动的一个或多个多轴加速度计、触发视觉引发响应的光源、和/或可以用于指示外部参考事件出现的时间的电子输入。测量的反应时间和其他测量结果可以被监测以用在众多应用中。响应和反应时间可以在延长的时间段中,甚至在使用寿命中被连续地测量,以测量老化过程的后果。
Description
技术领域
本发明涉及不引人注意地测量在设备佩戴者的一般环境中产生事件之后的反应时间和/或其他响应和设备佩戴者的头部、眼睛、眼睑和/或瞳孔的随后变化的装置和方法。
背景技术
个体对自发地或有意地产生的事件的响应包括多个复杂的神经和生理步骤,这些步骤包括检测、传导神经通路、突触连接、知觉、认知和神经肌肉控制。在这些步骤中涉及的任意解剖学结构或化学反应的正常活动或紊乱、以及生理意识和训练,可以影响个体的响应幅度和反应时间。测量个体经过短暂(即,数秒至数分钟)或延长(即,数天甚至数年)时间段的反应时间和/或其他响应的不引人注意的设备具有多个医疗、体育训练、人为因素、安全、诊断、军事、法律实施、游戏和其他应用。
涉及感测和机器视觉的应用变得越来越普遍。部分地,这是由于电子和软件研发行业的技术进步,和传感器、摄像机和信息处理单元的成本降低。例如,基于微机电***(MEMS)技术的加速度计的最新进展已经使得这些加速度计不昂贵、小型化、灵敏、稳定、低功率、多轴(在单个封装内)、并且易于使用。加速度计可以用于感测重力方向以及多维运动。
类似地,采用互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)方法的摄像机可以不昂贵、小型化、光学灵敏、低功率、稳定且具有高分辨率。使用这些摄像机和图像处理单元,自动对象识别和跟踪变得越来越多地用在多种诊断、人的表现、商业和控制应用中。
除了出现引起头部损伤的事件之外,头部的大部分运动相对慢速(例如,小于约十赫兹(10Hz))。因此,用于精确地监测头部运动的采样率可以在几十样本/秒的范围内。类似地,对眼睛、眼睑和瞳孔响应和反应时间的大部分测量具有在零点几秒到数秒范围内的反应时间,这些测量需要现代家用摄像机和视频播放器通常可用的帧速率(即,30-120帧每秒)。研究实验室和某些其他应用需要来自能够在成本增加情况下实现更高采样率的加速度计和摄像机的测量结果;但是,眼睛佩戴物和头部佩戴物设备可以利用通常可用的小型化、低功率摄像机和感测部件。
很多头部和眼睛跟踪***使用距离佩戴者的头部位于相当远距离(例如,大于约十厘米(10cm))处的摄像机和照射器。随着离眼睛的距离增大,头部/眼睛跟踪装置一般变得不引人注目;但是,头部/眼睛跟踪装置变得越来越难以精确地测量佩戴者的头部和/或眼睛的位置,这是由于需要摄像机具有更高空间分辨率。此外,范围宽的头部运动会引起跟踪佩戴者的眼睛及眼睛的组成部分的位置的能力完全丧失。
随着现代微电子器件和微光学器件的到来,可以不显眼地将用于测量反应时间或其他响应的部件安装在眼睛佩戴物(例如,眼镜框)或头部佩戴物(例如,头盔、面罩、护目镜、虚拟现实显示装置)上,包括美国专利6,163,281、6,542,081、7,488,294或7,515,054中公开的那些装置。使用低功率和小型化摄像机、传感器和电子器件通过使用(可选地)电池电源而使得头部安装***能够不被束缚。此外,无线通信的最新进展允许反应时间结果被实时地传送到其他计算、数据存储或控制装置。由于很多领域中的技术进步,基于眼睛佩戴物或头部佩戴物的响应和反应时间***可以不引人注意、轻质、低功率、便携且便于使用。
用于生理监测和医疗诊断的非侵入式工具越来越普遍地出现在诊所、医院、研究实验室甚至家庭和公共区域,例如杂货店和药店。如果这些工具构造成不引人注意、使用简便且便携;则它们能获得一般公众接受并且随后应用于监测长期响应趋势(相对于一次性或“抽点”测量)的更进一步可能性。这是对它们如果遇到某些情况实时地作出反应的能力的补充;例如,如在驾车过程中确定出困倦的状态。
头部和眼睛的的监测响应特别有助于评估中枢和外周神经***生理功能和紊乱。例如,瞳孔的反应时间和/或其他响应受到解剖学结构链影响,该解剖学结构链包括视神经内的感光细胞和视网膜下丘脑通路、上部中脑内的顶盖前核、和具有沿着左右动眼神经行进的轴突的埃-韦二氏核,该轴突突触连接到睫状神经节神经,睫状神经节神经继而支配虹膜的缩肌。影响该链内的任意结构的紊乱或条件(例如,存在巴比妥类药物)会产生被非侵入且不引人注意地监测的反应时间和/或其他响应的相应变化。瞳孔受到酒精或阿片类药物的初始收缩或者受到范围广泛的药物的扩张也会影响测量的响应和反应时间,这些药物包括麦角酸酰二乙胺(LSD)、***、***、3,4-亚甲基二氧基甲基***(MDMA,也称作***)、墨斯卡灵等。
反应时间和/或其他响应可以用于更深入地研究到大脑的认知功能。用于基本连续地监测头部和眼睛的反应时间和/或其他响应的不引人注意的工具可以向我们都熟悉的认知提供有价值的定量测量结果,包括感测恐惧、警觉或某人是否在讲实话。这会产生多个应用,包括为诊断目的基本连续地监测老年人以及确定紧急情况的输入。临床医生利用这些测量结果的定量特性的应用的一个示例是评估很多焦虑症患者,例如创伤后精神紧张症(PTSD)。对回避行为和难以集中注意力以及对惊吓事件的过度响应的测量可以受到监测并且用于评估和跟踪这些症状。
对诱发瞳孔响应的测量已经用在对“思考负担”或“脑力劳动”和相关症状的范围广泛的评估中。在正常生理条件下,提供按照时间顺序的多个刺激可以增加瞳孔扩张响应。这种效果的增加可以表示各种形式的痴呆。
相反,体育训练的目标是通过减少反应时间来提高表现。预期和练习可以各自通过(一般认为的)减少任意决定时间和强化突触连接来减少反应时间。可以测量经过延长的时间段的反应时间和/或其他响应的不引人注意的设备在监测例如训练制度的有效性中很有价值。
发明内容
本发明涉及用于确定设备佩戴者的反应时间和/或其他响应的***、装置和方法。在示例性实施例中,本文的装置、***和方法可以提供用于各种应用的测量头部、眼睛、眼睑和/或瞳孔的反应时间和/或其他响应(例如,响应幅度)的方法和***。
例如,本文的装置、***和方法涉及使用机器视觉和其他技术来识别1)设备佩戴者的环境中发生的事件出现的时间、和/或2)设备佩戴者的头部的后续运动和/或至少一个眼睛的小运动(包括眼睑和眼球的移动)和/或瞳孔的几何形状的变化以例如测量、分析和/或确定佩戴者的响应。环境事件发生的时间和设备佩戴者的响应的时间之间的差通常称为“反应时间”或“响应时间”。术语“反应时间”经常用于描述对自然发生的事件的后续响应。在使用光源或某些其他手段有意地引起眼睛运动或瞳孔响应的情况下,术语“响应时间”在科学和医学文献中更普遍。
一般地,术语“反应时间”将在本文中用于表示事件的时间和对检测到超过预定阈值的事件的反应的时间之间的差,例如导致与反应中的二元变化相关的时间长度。应当理解,使用术语“反应时间”旨在包括“响应时间”、“响应延迟”、“放松时间”和其他等同术语。
类似地,除了响应的“反应时间”之外或替代响应的“反应时间”,还可以测量和/或分析响应的“幅度”。响应幅度的示例包括如设备使用者的解剖学结构(例如,眼睛或眼睑)的总空间位移、旋转运动(例如由转动头部产生的旋转运动)、解剖学结构的速度或加速度的变化的幅度、面积或体积的变化(例如在通孔扩张或收缩过程中经历的面积或体积变化)等测量结果。
类似地,在下面的描述中,提到感测设备佩戴者的头部的运动还可以包括可以同时运动并且在眼睛佩戴物或头部佩戴物由设备佩戴者佩戴时由眼睛佩戴物或头部佩戴物感测的头部的任意结构或组成部分。这包括例如颅骨、大脑、头发、耳朵、前额、眼窝、鼻子、脸颊、下巴、下颌等。同时,提到设备佩戴者的眼睛的响应和运动包括眼睛的所有子组成部分,包括眼球、虹膜、角膜、晶状体、巩膜、睫状体、玻璃体等。提到设备佩戴者的瞳孔的响应和变化包括可以被成像在瞳孔图像内的结构和组成部分,例如晶状体、视网膜、小凹、视盘、瞳孔***、瞳孔开大肌等。类似地,提到设备佩戴者的眼睑的运动和变化包括监测睫毛、眉毛、眼睑内的褶皱等。
可以重复地测量响应和反应时间的低成本不引人注意的便携平台具有范围广泛的应用。一小部分示例包括监测一个个体的疲劳度、评估驾驶员或飞行员的意识、评估药物或酒类的效果、诊断创伤后应激障碍、跟踪随着衰老的人的表现、确定训练或练习的效果、控制游戏的各种方面、获取基础临床数据以评估神经或认知障碍、诊断和监测退行性眼部状况、和监测以其他方式不能交流的个体或动物的意识。利用反应时间测量的部门和行业包括医药、军事、法律执行、安全、人的表现、运动医药、康复工程、警察、研究实验室和玩具。
在一个实施例中,一种用于确定反应时间和/或其他响应的***包括构造成被佩戴在佩戴者的头上的设备、用于确定参考时间的输入、安装在设备上并且定位成用于观察设备的佩戴者的第一个眼睛的眼睛跟踪摄像机、确定眼睛跟踪摄像机图像内解剖学结构的位置的处理器、和使用参考时间和眼睑跟踪位置来确定佩戴者的眼睛、眼睑和/或瞳孔的反应时间和/或其他响应的处理器。
在某些实施例中,可以通过确定参考事件发生的时间和设备佩戴者的后续响应来计算设备佩戴者的反应时间。本文的装置和***可以接收电子信号以提供时间参考标记或使用安装在眼睛佩戴物或头部佩戴物上的一个或多个场景摄像机来光学识别环境内的变化发生的时间。在示例性实施例中,显示装置可以包括加速度计以测量头部的多轴运动,一个或多个不引人注意的眼睛跟踪摄像机可以安装在眼睛佩戴物或头部佩戴物上以跟踪设备佩戴者的一个或多个眼睛的运动或变化。设备佩戴者的反应时间和/或其他响应测量结果可以用在范围广泛的领域中,包括医疗、法律、安全、体育、计算机游戏和人为因素。
例如,本文中的***和方法可以使用安装在眼睛佩戴物或头部佩戴物上的眼睛跟踪摄像机来跟踪一个或两个眼睛的位置,类似于利用本文中其他地方标识的附图标记所描述的实施例。眼睛跟踪摄像机和一个或多个相关处理单元可以用于识别和跟踪眼睛跟踪摄像机图像内的参考位置。参考位置可以包括例如瞳孔的中心、瞳孔的边缘、虹膜的中心、虹膜的边缘、和眼白或巩膜的位置。对于反应时间测量,应当特别关注参考位置开始显著运动的时间。
本文的***和方法可以附加地使用安装在眼睛佩戴物或头部佩戴物上的眼睛跟踪摄像机来跟踪一个或两个眼睑的位置。眼睛跟踪摄像机和一个或多个相关处理单元可以利用遮挡眼球(例如瞳孔、虹膜、巩膜)的结构和/或由眼睑闭合产生的眼睛的区域中颜色、亮度和/或肌理变化。一般地,没有神经肌肉障碍,眼睑扫过视场,作为眼睛监测摄像机图像内的干扰水平波。对于反应或响应时间测量,应当特别关注眼睛初始闭合的时间、眼睑覆盖眼睛(包括瞳孔)的时间和/或眼睛再次打开的时间。
本文的***和方法可以附加地使用安装在眼睛佩戴物或头部佩戴物上的眼睛跟踪摄像机来跟踪一个或两个瞳孔的尺寸。眼睛跟踪摄像机和一个或多个相关处理单元可以检测瞳孔的边缘,作为与虹膜相比的亮度或肌理中存在高空间对比度的区域。几何形状(例如圆形或椭圆形)可以被叠加在图像上以确定最佳覆盖瞳孔的边缘的尺寸。可以基于用于几何形状的已知公式来计算面积。
附加地或可替换地,可以通过确定满足特定图像识别标准(例如,在存在数量显著的其他暗像素的区域中超过某一暗度等级)的像素的数量来计算由瞳孔占据的面积。这利用在某些照明条件下瞳孔看起来暗淡并在一定尺寸范围内的事实。例如,然后可以基于对在相对大的暗像素区域内邻接的暗像素的数量的计数来计算面积。
附加地或可替换地,从头部侧面经皮地或直接地引导(例如,在垂直于角膜表面的约±3度(3°)内)至瞳孔中来谨慎地控制照明,可以产生所谓的“白眼”、“红眼”或“白瞳孔”效果。在这些条件下,可以基于亮像素的数量和/或通过检测亮瞳孔区域的边缘来计算面积。
对于反应或响应时间测量,应当特别关注瞳孔开始收缩或扩张的时间。与眼睛和眼睑的响应时间相比,瞳孔响应一般更加延迟,即具有更长的反应或响应时间。
为测量反应时间,必须确定作为反应的原因的事件的发生时间(即,参考时间)。存在很多可以产生头部、眼睛、眼睑和/或瞳孔的响应的事件的可能来源。这些来源可以包括图像、声音、闪光、运动、钝击力等。眼睛佩戴物或头部佩戴物平台设计成接收来自这些不同形态的用于参考时间测量的不同输入。
根据示例性实施例,提供使用一个或多个摄像机来光学监测设备佩戴者周围的环境的***和方法。场景摄像机和一个或多个相关处理单元用于识别和跟踪场景摄像机图像内的参考对象。本领域中已知的基于机器视觉技术的对象识别可以使用对象的图像内的可识别特征(例如,对象的亮度、尺寸、形状、颜色等);或者这些特征的组合。对象存在或不存在于场景内(例如,在计算机监视器上突然显示图像或暴露出图片)可以例如用作时间参考。
根据另一实施例,提供使用在场景摄像机图像中一个或多个对象的位置来确定参考时间的***和方法。例如,当对象进入场景摄像机图像内的某一位置或区域时,参考时间可以被触发。与运动有关的示例是当抛射体(例如棒球)到达场景摄像机图像内的选定位置(例如,接近接球手)时标示参考时间。类似地,当对象在场景摄像机图像内获得一定速度或加速度时,参考时间可以被标示。附加地,当在场景摄像机图像中对象的特征(例如亮度等级、颜色、尺寸、形状等)变化时,参考时间可以被触发。
附加地或可替换地,考察设备佩戴者周围的环境的一个或多个场景摄像机可以用于通过跟踪场景摄像机图像内的特定对象来确定参考时间,并且确定后续头部运动的发生。在由于设备佩戴者的头部运动引起一个或多个场景摄像机运动的示例中,场景摄像机图像内的大部分区域表现出逐渐地移位(即,整个场景移动)。在恒定的视频帧速率下,(除了当头部运动直接朝向或远离附近背景(例如墙)时)头部的更高速运动导致场景摄像机图像中背景的更大移位。这不同于可以用于进行参考时间确定的场景摄像机图像内的更小的特定对象的运动。
根据另一实施例,加速度计可以包括在一副眼睛佩戴物或头部佩戴物内以监测头部运动。头部响应于触发事件的运动可以用于测量头部反应时间和/或其他响应。多轴加速度计(例如,使用MEMS或其他技术来沿着高达三个(3)正交方向检测加速度的多轴加速度计)可以用于检测头部的加速度以及相对于地球重力场的整体头部取向。这些加速度可以相对于时间被求积分,以获得沿着每个维度的相对头部速度以及头部位移(即,进行相对于时间的二次积分)。对于很多应用,计算头部(即,附连到包括加速度计的眼睛佩戴物或头部佩戴物)绕颈部的转动很方便。
根据另一实施例,通用输入连接器可以包括在眼睛佩戴物或头部佩戴物内以使得更范围广泛的传感器信号能够用作参考时间的来源。例如,麦克风可以被连接并且用于产生来自听觉输入的参考时间。这使得设备能够测量对声音出现的反应时间和/或其他响应。触发音频参考时间的简单方法是监测尖锐声音的开始。这些声音来源的示例包括鼓掌、***、发令枪、鼓声、节拍器、咔哒声等。本领域已知的更复杂的声音识别技术和算法包括识别特定词语、声调或音频序列的出现。
在其他实施例中,模拟信号(即,表示为连续地改变电流或电压的幅度的变化的信号)可以用作参考时间的来源。例如,这些可以包括感测对象的位置(例如,门、杠杆)、环境光的强度、温度等。当模拟信号的幅度超过选定阈值时或者通过其他波形识别技术,可以标示时间参考。
在其他实施例中,数字信号可以用作参考时间的来源。一般地,这些信号中发生从低到高和/或从高到低转变(即,二元转变)的时间表示时间标示。数字信号例如可以通过其他控制装置(例如计算机)产生、通过开关或按钮产生、与图像的显示同步、与触觉或电刺激一致等。
根据其他实施例,可以直接在眼睛佩戴物或头部佩戴物上产生刺激以引起可测量的响应。这种构造特别有助于测量瞳孔响应和反应时间。例如,通过瞄准一个或两个眼睛的一个或多个低重量低功率发光二极管(LED)来提供光刺激。可以使得LED和/或其他光源改变波长和/或强度。附加地或可替换地,一个或多个扬声器例如可以设置在设备上或与设备分开,扬声器可以产生预定声音,可以监测后续反应时间。
测量存在或不存在瞳孔响应和反应时间特别有助于医疗诊断筛查。瞳孔响应的延迟或破坏可以表征多种神经肌肉或认知障碍。例如,在正常的生理条件下,充足的光向一个眼睛投射会产生另一个眼睛的瞳孔收缩。由于中枢神经***中的病变或存在某些类药物会产生这种响应不存在或延迟。
对反应时间和/或响应程度的精确评估还特别有助于例如在用于药物和/或酒精效果的筛查试验中的法律实施。在这种应用中,可以使用可见光或通常“不可见的”光(即,在可见光谱之外)来引起瞳孔响应。波长范围在从约390到750纳米的可见光可以用于引起瞳孔响应,其中报道称阈值幅度在一定程度上依赖波长。
使用近红外光谱中(例如,在800纳米附近)的不可见光还可以用于在设备佩戴者没有意识到正在进行测量时测量设备佩戴者的引起的瞳孔扩张。这种方案可以用于规避设备佩戴者例如通过尝试掩饰响应来欺骗法律实施的努力。引起的响应还可以例如产生在眼睛佩戴物或头部佩戴物上;或来自外部来源,例如常规法律实施方法,包括沿眼睛的区域扫过闪光灯,其中闪光灯对准眼睛的参考时间可以被场景摄像机或眼睛跟踪摄像机检测到并标示。
照明控制器可以连接到一个或多个光源,并且可以构造成基于存在或不存在可测量的瞳孔响应来确定亮度。通过重复地调节亮度等级,可以确定引起的瞳孔响应的阈值等级,即,在给定波长下引起瞳孔收缩或扩张的光度级的最小变化。这些测量结果可以用在医疗诊断和生理监测中。不引人注意的眼睛佩戴物平台特别有助于对在延长时间(即,月或甚至年)内退行性眼病或老化的某些形式的发展进行编目。场景处理单元和眼睛跟踪处理单元可以是具有单独的照明控制器的一个或多个处理器,或者可以是单一处理器并且包括照明控制器。
在一个实施例中,照明控制器可以构造成对光源的至少电流和/或电压进行幅度调制,以在眼睛中提供期望的亮度等级。附加地或可替换地,控制器可以构造成对光源的电流和电压中的至少一个进行脉宽调制以提供期望的亮度等级。
在这些示例中的任一个中,照明、反应时间测量、头部跟踪、眼睛跟踪和/或视线跟踪可以基本连续地或间歇地操作。处理器、摄像机、照明、和/或其他电子器件可以在不使用时被停用,以例如节约电力。照明源和其他电子器件还可以减小功率或关闭以增加安全性。
根据其他实施例,可选地,附加眼睛跟踪摄像机可以定位在眼睛佩戴物或头部佩戴物平台上,以例如同时跟踪两个眼睛的区域中的响应。在健康的个体中,两个眼睛的组成部分的反应时间应当大约相同。如果个体的左眼和右眼的反应时间有差异,测量可以用于帮助诊断生理异常或疾病。例如,两个眼睛中的延迟响应可以表征中枢神经***认知或***性障碍,而单个眼睛或眼睑中的延迟响应可以表征外周神经肌肉异常。
根据另一实施例,无线传输可以增加到眼睛佩戴物或头部佩戴物以将信息传送到远程站点或从远程站点传送信息。例如,图像和测量结果可以被传送到远程计算设备,以进一步分析和显示。相反,表示参考时间和/或将与头部、眼睛、眼睑和/或瞳孔的测量响应相关的触发事件幅度的无线信号可以被传输到眼睛佩戴物或头部佩戴物平台。
根据另一实施例,提供一种用于确定响应时间、响应幅度和/或其他响应的***,***包括:设备,设备构造成被佩戴在佩戴者的头上;眼睛跟踪摄像机,眼睛跟踪摄像机安装在设备上朝向佩戴者的第一个眼睛取向,以捕捉第一个眼睛的眼睛跟踪图像;和一个或多个处理器,所述一个或多个处理器连接到眼睛跟踪摄像机以识别在眼睛跟踪摄像机图像内第一个眼睛的解剖学结构。一个或多个处理器可以被构造成识别外部事件的参考时间并且在参考时间之后分析眼睛跟踪图像以确定第一个眼睛、眼睑和瞳孔对外部事件的响应。例如,(多个)处理器可以识别从下列各项选出的两个或更多个参数:a)瞳孔和虹膜中的至少一个沿一个或多个维度的位置,b)瞳孔的尺寸,c)瞳孔的形状和d)来自眼睛跟踪图像的眼睑的位置,并且处理器检测两个或更多个参数的变化以确定佩戴者对外部事件的反应时间或其他响应。
可选地,***可以包括一个或多个设备以检测外部事件,从而提供参考时间。例如,在一个实施例中,场景摄像机可以安装在设备上远离佩戴者取向,以观察佩戴者的环境并且捕捉环境的场景摄像机图像。(多个)处理器可以从场景摄像机图像中检测到的变化来识别参考时间。例如,(多个)处理器可以使用对象识别算法以从场景摄像机图像中对场景摄像机的视场内的对象的位置进行识别,并且基于预定对象何时存在于或不存在于场景摄像机图像中的预定位置来识别参考时间。附加地或可替换地,(多个)处理器可以分析针对场景移动的场景摄像机图像以确定佩戴者头部的运动,并且利用参考时间识别具体头部运动。
在另一实施例中,***可以包括检测器以监测佩戴者环境内的声音或其他活动。例如,麦克风可以安装在设备上以检测声音,(多个)处理器可以连接到麦克风以监测佩戴者的环境,从而识别预定声音并将参考时间与预定声音关联。
根据另一实施例,提供一种用于确定响应时间、响应幅度和/或其他响应的***,***包括:设备,设备构造成被佩戴在佩戴者的头上;眼睛跟踪摄像机,眼睛跟踪摄像机安装在设备上朝向佩戴者的第一个眼睛取向,以捕捉第一个眼睛的眼睛跟踪图像;和场景摄像机,场景摄像机安装在设备上远离佩戴者取向,以观察佩戴者的环境并且捕捉环境的场景摄像机图像。一个或多个处理器可以连接到眼睛跟踪摄像机以识别在眼睛跟踪图像内第一个眼睛的解剖学结构,和/或连接到场景摄像机以从场景摄像机图像识别佩戴者的环境中的预定事件。例如,一个或多个处理器可以识别从场景摄像机图像识别出预定事件的参考时间,并且可以监测在眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化,以确定佩戴者对预定事件的反应时间或其他响应。
在示例性实施例中,(多个)处理器可以监测场景摄像机图像以从场景摄像机图像识别佩戴者的环境中的对象,并且可以监测对象以识别对象何时存在于或不存在于场景摄像机图像中的预定位置。在本示例中,参考时间可以是(多个)处理器识别出对象存在于或不存在于预定位置的时间。在另一示例性实施例中,***可以包括电子对象,电子对象包括显示装置,(多个)处理器可以监测场景摄像机图像以识别何时预定图像被呈现在显示装置上。在本示例中,参考时间可以是显示预定图像的初始时间。
根据另一实施例,提供一种用于确定响应时间或其他响应的***,***包括:设备,设备构造成被佩戴在佩戴者的头上;眼睛跟踪摄像机,眼睛跟踪摄像机安装在设备上朝向佩戴者的第一个眼睛取向,以捕捉第一个眼睛的眼睛跟踪图像;和麦克风,麦克风用于检测佩戴者的环境内的声音。一个或多个处理器可以连接到眼睛跟踪摄像机以识别在眼睛跟踪图像内第一个眼睛的解剖学结构,并且连接到麦克风以检测在佩戴者的环境内产生的预定声音。例如,(多个)处理器可以识别检测到预定声音的参考时间并且监测在眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化,以确定佩戴者对预定声音的反应时间或其他响应。
根据另一实施例,提供一种用于确定响应时间或其他响应的***,***包括:设备,设备构造成被佩戴在佩戴者的头上;眼睛跟踪摄像机,眼睛跟踪摄像机安装在设备上朝向佩戴者的第一个眼睛取向,以捕捉第一个眼睛的眼睛跟踪图像;和发射器,发射器用于朝向佩戴者发出可检测信号;和传感器,传感器安装在设备上以提供佩戴者的头部的取向。一个或多个处理器可以连接到眼睛跟踪摄像机以识别在眼睛跟踪图像内第一个眼睛的解剖学结构并且连接到传感器以监测佩戴者的头部的取向。
(多个)处理器可以识别激发发射器的参考时间并且监测在参考时间之后在眼睛跟踪图像中识别出的解剖学特征中的一个或多个的变化,以确定第一个眼睛的反应时间或其他响应。此外,(多个)处理器可以在参考时间之后监测佩戴者的头部的取向的变化以确定佩戴者的头部的反应时间或其他响应。可选地,(多个)处理器可以分析一个或多个被确定的反应时间以确定与佩戴者有关的信息。例如,佩戴者的头部的反应时间可以与第一个眼睛的反应时间进行比较,以确定佩戴者的生理或精神状态中的至少一个。
在示例性实施例中,发射器可以包括一个或多个光源,光源安装在设备上以在被激发时朝向第一个眼睛发出光。在另一示例性实施例中,发射器可以包括一个或多个扬声器,扬声器安装在设备以产生预定声音。
可选地,一个或多个处理器可以包括连接到发射器以激发发射器的控制器。例如,控制器可以构造成间歇地激发发射器,从而提供一系列参考时间。(多个)处理器可以在每个参考时间之后比较佩戴者的头部的反应时间或其他响应与第一个眼睛的反应时间或其他响应,以例如确定佩戴者的生理或精神状态中的至少一个。在一个实施例中,控制器可以周期性地或随机地激发发射器。在另一实施例中,***可以包括接收器,接收器位于设备上连接到控制器,并且控制器可以接收来自远程位置的命令,例如指示控制器基于由接收器接收的命令来激发发射器。
根据另一实施例,提供一种用于确定反应时间或其他响应的方法,方法包括:将设备放置在佩戴者的头上,设备包括远离佩戴者取向的场景摄像机和朝向佩戴者的第一个眼睛取向的眼睛跟踪摄像机;监测来自眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构;和监测来自场景摄像机的场景摄像机图像以识别佩戴者的环境中的预定事件。例如,在从场景摄像机图像识别到预定事件时,可以识别出参考时间,可以监测在眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化,以确定佩戴者对预定事件的反应时间或其他响应。
根据另一实施例,提供一种用于确定反应时间或其他响应的方法,方法包括:将设备放置在佩戴者的头上,设备包括朝向佩戴者的至少一个眼睛取向的眼睛跟踪摄像机;监测来自眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构;和监测佩戴者的环境中的声音以识别环境中的预定事件。例如在环境中检测出预定声音时可以识别参考时间,并且可以监测在眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化,以确定佩戴者对预定声音的反应时间或其他响应。
根据另一实施例,提供一种用于确定反应时间或其他响应的方法,方法包括:将设备放置在佩戴者的头上,设备包括朝向佩戴者的至少一个眼睛取向的眼睛跟踪摄像机;监测来自眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构;和监测佩戴者的头部的取向。可以监测佩戴者和佩戴者的环境中的至少一个以例如识别预定事件,并且在检测到预定事件时可以识别参考时间。可以在参考时间之后监测在眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化以确定佩戴者对预定事件的反应时间或其他响应,和/或可以在参考时间之后监测佩戴者的头部的取向以确定佩戴者的头部对预定事件的反应时间或其他响应。例如,反应时间或其他响应可以被比较,以例如确定佩戴者的生理或精神状态中的至少一个。
根据另一实施例,提供一种用于确定反应时间或其他响应的方法,方法包括:将设备放置在佩戴者的头上,设备包括朝向佩戴者的至少一个眼睛取向的眼睛跟踪摄像机;和监测来自眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构。可以在参考时间朝向佩戴者发出可检测信号(例如声音或光),并且可以在参考时间之后监测在眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化以确定佩戴者对可检测信号的反应时间或其他响应。附加地或可替换地,可以在参考时间之后监测佩戴者的头部的取向的变化以确定佩戴者的头部对可检测信号的反应时间或其他响应,以例如确定佩戴者的生理和/或精神状态。
结合附图考虑下列描述,本发明的其他方面和特征将更加显而易见。
附图说明
附图示出本发明的示例性实施例,其中:
图1是用于测量佩戴者的头部、眼睛、眼睑和/或瞳孔的反应时间的安装在眼睛框架上的***的示例的透视图。
图2是是图1的***的部分剖视侧视图,示出处理单元、加速度计、场景摄像机、眼睛跟踪摄像机和其他部件之间的连接。
图3是佩戴者响应于闪光的眼睛运动、头部运动和瞳孔收缩的测量响应和反应时间的示例。
图4A是通过跟踪对象(例如棒球)的场景摄像机收集的摄像机图像的示例,图4B是示出用于在对象经过选择的场景参考位置时识别参考时间的示例性方法的图表。
图5是佩戴者响应于尖锐声音的眼睑、眼睛和头部的测量反应时间的示例。
图6A-图6C示出由在显示监视器上对虚拟对象的图像的显示所引起的佩戴者的眼睛运动和瞳孔反应时间的示例。
图7A和图7B示出在虚拟对象(即,光标)在显示监视器上来回运动时重复测量佩戴者响应于跟随虚拟对象的眼睛运动反应时间的示例。
具体实施方式
参考附图,图1示出***10的示例性实施例,***10包括具有场景摄像机12的一组眼镜框架11、和两个眼睛跟踪摄像机13a、13b。场景摄像机12在框架11上取向成观察远离设备佩戴者的头部14的区域,以跟踪设备佩戴者的区域中的环境15。例如,场景摄像机12可以用于识别对象(例如橄榄球16)的运动或者对象或者摄像机的子区域的尺寸、亮度、几何形状、颜色等的任意可识别变化,以例如建立用于反应时间测量的参考时间,如下文进一步所述。眼睛跟踪摄像机13a和13b在框架11上朝向佩戴者的头部14取向,以跟踪佩戴者的眼睑、瞳孔、和/或一个或两个眼睛上的其他参考点(例如,瞳孔、虹膜、或巩膜(未示出))的位置。
在本实施例中,单个处理单元17可以由框架11承载,以获取来自场景摄像机12以及眼睛跟踪摄像机13a、13b的图像,尽管应当领会可以将分开的处理器(未示出)设置在框架11上或与框架11通信的远程位置(未示出)。自包含的电源(例如电池)18可以由框架11承载,例如被包围在框架11的柄部中与容纳处理单元17的位置相对。
在示例性实施例中,场景摄像机12和眼睛跟踪摄像机13a、13b中的每一个可以包括CCD或CMOS或者例如具有矩形或其他有效面积阵列的像素的其他检测器,以拍摄图像并产生表示该图像的视频信号。摄像机12、13a、13b的有效面积可以具有任意期望形状,例如方形或矩形等。此外,如有必要,摄像机12、13a、13b可以包括一个或多个滤镜、透镜等,以例如将图像会聚在有效面积上、滤除不期望的光的强度和/或波长等。
在图1所示的实施例中,场景摄像机12不显眼地位于框架11的鼻梁上,从而尽量减小对佩戴者正常视觉的干扰。应当理解,可以包括多个场景摄像机,这些场景摄像机可以指向任意方向,包括佩戴者的头部14的后方、上方和侧方。例如除场景摄像机12之外或者替代场景摄像机12,例如,两个(2)场景摄像机19a、19b可以安装在框架11的外边缘附近的位置上。附加地或可替换地,场景摄像机可以位于框架11上,以例如观察设备佩戴者(未示出)的侧方和/或后方的环境。对于头部佩戴物来说,场景摄像机可以例如定位在佩戴者头部14的顶上。最后,静止的或可移动的完全或部分反射表面(未示出)也可以用于沿着不同方向将场景引导至一个或多个场景摄像机的有效面积。
应当理解,多个场景摄像机可以设置成彼此间隔开和/或指向设备佩戴者周围的多个区域,以提供分开或重叠的视场。例如除了场景摄像机12或代替场景摄像机12,多个场景摄像机可以提供更高的空间分辨率、增加在不同光条件下的灵敏度和/或提供更宽的视场。例如,多个场景摄像机可以用于检测从任意方向接近设备佩戴者的对象(例如抛射体)。附加地或可替换地,使用多个场景摄像机的另一可能的优点是对于每个摄像机使用不同的光学滤镜,以隔离开颜色不同或使用不同电磁辐射波长优先照射的感兴趣的对象。
图2示出图1所示的***10的剖视图和后侧。从该透视图可以轻易看出安装在框架11内的场景摄像机12和眼睛跟踪摄像机13b之间沿着X、Y和Z方向的固定空间位移。该位移可以用于计算以确定眼睛视线跟踪矢量,类似于本文其他地方识别的附图标记所描述的实施例。例如,在反应时间测量中的视线跟踪可以用于确定设备佩戴者是否看向环境15(图1)中的触发反应的事件或将目光从环境15(图1)中的触发反应的事件移开。看向对象或图像对比将目光从对象或图像移开可以例如用于评估佩戴者是否被场景吸引或者是否在避免特定类型的视觉图像。
图2还示出用于场景分析和眼睛跟踪的处理单元17可以嵌入在框架11的柄部24内的位置的示例。在本示例性实施例中,单一处理单元17是现场可编程门阵列(FPGA)的形式,尽管可替换地,处理单元17可以是专用集成电路(ASIC)或其他处理装置。
处理单元17可以包括一个或多个控制器或处理器,例如用于操作***10的各种部件的一个或多个硬件部件和/或软件模块。例如,处理单元17可以包括单独的(未示出)或集成的控制器,以控制光源或摄像机12、13b、接收和/或处理来自摄像机12、13b的信号、用于无线通信等。可选的,处理单元17的一个或多个部件可以被承载于柄部24上、框架11的镜片支撑件上、鼻梁、和/或眼睛佩戴物或头部佩戴物内的其他位置上,类似于利用本文中其他地方标识的附图标记所描述的实施例。在图2所示的示例性实施例中,单个处理单元17用于图像获取和用于处理场景识别与眼睛跟踪功能两者,以及其他传感器和电子器件,用于反应时间测量,。
(多个)线缆26可以包括连接到摄像机12、13b、电池18(图1)、光源和/或框架11的其他部件和/或处理单元17的单独的线缆或线组。例如,单独的线缆或线组(未示出)可以例如沿着从摄像机12、13b等的边缘嵌入在框架11中直到被捕获到线缆26内,以例如根据需要减少框架11的整体轮廓和/或将信号绕着任意铰接区域或角部27引导至眼睛佩戴物或头部佩戴物内。嵌入的线缆和小型化电子器件可以减少眼睛佩戴物或头部佩戴物的显著性(例如,减少重量、尺寸和/或对设备佩戴者的可能视场的阻挡)。
处理单元17还可以包括用于存储来自(多个)摄像机12、13b的图像信号、用于编辑和/或处理图像信号的滤波器的测量结果等等的存储器(未示出)。可选地,框架11和/或处理单元17可以包括用于传输数据、接收指令等的一个或多个发送器和/或接收器(未示出)。附加地或可替换地,至少某些处理可以由远离机载处理单元14和/或框架11的部件执行,类似于利用本文中其他地方标识的附图标记所公开的实施例。例如,***10可以包括位于远离处理单元17和/或框架11的远程位置的(例如在同一房间中、在监测站附近、或更远处的位置的)一个或多个接收器、处理器和/或显示器(未示出)。这些显示器可以包括由场景摄像机12和/或(多个)眼睛跟踪摄像机13b产生的视图、以及测量结果的曲线或图表。
加速度计28可以设置在框架11上,例如定位在接近处理单元17处或者眼睛佩戴物或头部佩戴物内的其他地方。沿着多达三个(3)正交方向检测加速度的多轴加速度计可以用于检测佩戴者的头部14(图1中示出)的运动以及整个佩戴者的头部相对于地球重力场的取向。加速度计28可以被调节到在佩戴者的头部14的运动期间正常遇到的重力(例如,小于两个(2)重力加速度)。应当理解,可以为特定情况开发专用设计。例如,更高的灵敏度是幼儿或小动物的需求;而为监测在瞬时力会超过九个(9)重力加速度的情况下的军事战斗机飞行员的头部运动可能需要更大的范围。
附加地参照图2,连接器29可以可选地设置在框架11上,以例如从通过连接器29连接到***10的设备获取具有反应时间信息的电子信号。例如,麦克风(未示出)可以连接到连接器29以提供输入信号,响应于产生声音或一系列声音,可以测量佩戴者的眼睛、眼睑、头部和/或瞳孔的反应时间或其他响应(例如,响应随时间的幅度)。可替换地,一个或多个麦克风(未示出)可以安装在框架11上连接到处理单元17,例如用于为预定声音基本连续地或间歇地监测佩戴者的环境或佩戴者。当声音强度达到阈值时,反应时间可以例如被标示出。在其他实施例中,波形识别技术可以用于响应于特定文字或语句来测量反应时间。例如,(多个)麦克风可以用于聆听佩戴者,处理单元17可以检测佩戴者何时讲出预定文字或声音,然后测量佩戴者在与检测的时间关联的参考时间之后的反应时间或其他响应。附加地或可替换地,处理单元17可以监测麦克风信号以检测在佩戴者的环境内何时产生预定声音,从与检测的事件关联的参考时间来确定佩戴者的反应时间或其他响应。
也可以使用其他基本连续或间歇的模拟信号,例如由位置传感器、应变计、气流传感器、温度计等产生的信号,其中当信号达到选择的阈值电压或电流时产生时间参考值。例如,还可以当遇到特定的一系列电压或电流或波形时产生时间参考值。附加地或可替换地,具有从低到高和/或从高到低转变(即,二元转变)的数字信号也可以用作参考时间输入。
附加地参考图2,可选地,一个或多个光源25可以被包括在眼睛佩戴物或头部佩戴物中,以在一个或多个选择的时间产生爆发的光,以例如引起瞳孔响应和/或测量设备佩戴者的反应时间和响应。在本示例性实施例中,参考时间(即,激活光源)可以由处理单元控制,该处理单元控制光源,光源25可以是发光二极管(LED)。
还可以包括定位在眼睛佩戴物或头部佩戴物的框架11周围的各种位置上的多个光源。具有类似照明特性的多个光源可以用于提供对佩戴者眼睛的更宽范围的照明以引起响应。多个光源也可以引起在单独一个眼睛中或者同时在两个眼睛中的响应。附加地或可替换地,也可以使用具有不相似的特性的多个光源,以例如利用不同波长的光来照射眼睛。电磁辐射的波长可以在可见光谱中或在可见光谱以外。
用于控制一个或多个光源25的电流或电压还可以在幅度或持续时间方面变化,以控制照射的强度。例如,改变光源的强度可以用于确定引起瞳孔响应的阈值强度(例如,在选择的波长下)。附加地或可替换地,,一个或多个扬声器(未示出)可以设置在例如设备上或与设备分开,这些扬声器可以与(多个)光源25的激发一起或分开地产生预定声音。
参考图3,示出示例性的一系列事件,这些事件可以用于测量佩戴者响应于闪光的眼睛运动、头部运动和/或瞳孔尺寸的反应时间。在本示例中,光通过发光二极管30c在选择的时刻30a产生,从而提供可以与随后检测的响应相比较的参考时间。例如,如图2所示,用于引起响应的一个或多个光源25可以根据需要安装在眼睛佩戴物或头部佩戴物上,以使得由(多个)光源25发出的光被导向佩戴者的(多个)眼睛。附加地或可替换地,光源还可以设置成与设备佩戴者分开或在设备佩戴者外部。在这些条件下,产生闪光的时间和光强度30b可以根据需要通过一个或多个场景摄像机来测量,以例如确定用于检测和/或监测佩戴者的一个或多个响应的参考时间。
图3示出设备佩戴者眼睛运动31c的示例,例如其中一个或多个眼睛跟踪摄像机13b(图2中示出)可以用于跟踪佩戴者眼睛上的一个或多个参考位置(例如,瞳孔或虹膜的边缘、瞳孔或虹膜的中心、巩膜区域的位置等),以例如沿着一个或两个维度监测眼睛运动31c。眼睛位置轨迹31b表示沿着一个这样的维度的运动,例如沿着竖直或“y”轴(如图2所示)。如图所示,显著的眼睛运动在激发光源30a之后的时刻31a开始发生。在时刻30a激发光源和在时刻31a检测到佩戴者眼睛的显著运动之间的时间差是从眼睛跟踪摄像机图像识别出的佩戴者眼睛(即,眼球的组成部分,例如瞳孔和虹膜)的反应时间或响应时间32。此外,如图所示,佩戴者眼睛的响应的幅度(例如,沿一个或多个维度的位置)可以随着时间进行测量,例如在检测到初始反应的时刻31a之后。
图3还示出监测和/或识别佩戴者头部运动33c的示例,例如其中多轴加速度计28(图2中示出)可以用于测量头部14(图1)沿一个或多个维度的相对位移。头部位移轨迹33b表示沿着一个这样的维度的运动,例如在水平面内和/或与竖直或“y”轴正交(图2示出)。如图所示,显著的头部运动在激发光源30a之后的时刻33a开始发生。在激发光源30a和在时刻33a检测到佩戴者头部的显著运动之间的时间差是佩戴者头部的反应时间34。与眼睛31类似,此外,根据需要,佩戴者头部的响应的幅度(例如,转动度数、转动速度等)可以随着时间进行测量,例如在检测到初始反应的时刻33a之后。
图3还示出针对增加的光等级的瞳孔响应35c,例如其中一个或多个眼睛跟踪摄像机13b(图2中示出)可以用于跟踪设备佩戴者的一个或两个瞳孔的尺寸和/或几何形状。瞳孔尺寸轨迹35b表示由眼睛跟踪摄像机13b测量的且与处理单元17(图2中示出)关联的由一个瞳孔占据的面积的变化。响应于激发光源30a,佩戴者的瞳孔在时刻35a开始收缩并且只要光保持亮着则继续收缩。在时刻30a激发光源和在时刻35a检测到显著瞳孔收缩开始之间的时间差是佩戴者的瞳孔反应时间36。此外,佩戴者瞳孔的响应的幅度(例如,瞳孔的尺寸和/或形状)可以随着时间进行测量,例如在检测到初始反应的时刻35a之后。
参考图4,示出使用场景摄像机12(例如图1所示)来基于场景内的对象的运动产生一个或多个时间参考点的示例性方法。示出从使用场景摄像机12(图1中示出)收集的视频序列中选出的一系列图像40a、40b、40c、40d。对象(在这种情况下表示为棒球41)经过场景,并且可以例如使用本领域已知的机器视觉技术在由场景摄像机12获取的图像中被识别出和/或定位。例如,处理单元17(例如,图1中示出)可以包括或以其他方式访问已知模板的数据库,例如,将已知对象与识别它们的形状和/或颜色的数据相关联的表。数据库可以包括已知对象的参考点、与映射到具体物理对象的参考对象等有关的详细颜色和/或形状信息,从而向处理单元提供足够的信息来识别遇到的对象,例如棒球41。当对象到达摄像机图像40a、40b、40c、40d中的选择的参考位置或区域42时,标示出参考时间。
附加地参考图4,可以使用时间轨迹43可视化地表示在摄像机图像中的选定位置42处存在或不存在对象41。在本示例中,时间轨迹中的低状态46表示在选定位置42处不存在可识别的对象。相反,高状态47表示在选定位置或区域42处存在可识别的对象。从低至高转变44提供用于对象到达位置处的时间参考点。从高至低转变45还可以用作根据需要表示对象离开的时间参考点。类似策略可以用于跟踪沿多个方向行进、穿过多个参考位置或区域、和/或在由一个或多个场景摄像机产生的图像内具有多种取向的多个对象。
参考图5,示出用于测量基于声音参考的响应时间(例如,在产生尖锐声音之后)的附加示例性方法。***10可以包括麦克风(未示出),该麦克风例如安装在框架12上或眼睛佩戴物或头部佩戴物上的其他地方或者远程定位,其中被供应至或导向眼睛佩戴物或头部佩戴物和/或佩戴者的信号可以用于产生由声音时间轨迹50b表示的声音。在轨迹50b上存在振动时(即,通过使压缩波在空气中行进并且被麦克风感测到),声音的存在可以被检测到,例如其中尖锐声音50a的开始可以用作时间参考点。具体波形也可以被识别以产生多个不同和/或周期性的时间参考点。例如,与形成文字相关的声音可以使用本领域中已知的语音识别技术来识别,以例如识别出具体文字并且触发一个或多个时间参考点。
安装在眼睛佩戴物或头部佩戴物上的一个或多个眼睛跟踪摄像机13b(图2)可以用于跟踪佩戴者的一个或两个眼睑的运动,以产生眼睑位置轨迹51b。在这种情况下,一个眼睑闭合表示为在时刻51a在眼睑位置轨迹51b中的向下偏转。在图5中,出现声音(例如,在时刻50a激发麦克风)和在时刻51a眼睑显著运动之间的时间差是眼睑的反应时间52。
安装在眼睛佩戴物或头部佩戴物上的相同(或不同)的(多个)眼睛跟踪摄像机(例如,图1中所示的摄像机13a、13b)可以用于跟踪佩戴者的一个或多个眼睛的参考位置(例如,瞳孔的边缘、具有虹膜的结构等,类似于本文的其他实施例)的运动,以例如产生一个或多个维度的眼睛位置轨迹。附加地参考图5,示出表示一个眼睛沿着一个维度的位置(例如,沿着竖直或“y”轴)的代表性轨迹,作为眼睛位置时间轨迹53b。产生声音50a和在时刻53a眼睛显著运动之间的时间差是眼睛的反应时间54。在本具体示例中,在轨迹51b中表示的眼睑在虹膜和瞳孔上闭合,产生眼睛运动不能被监测到的短暂时间(例如,在时间跨度55中),这是由于在眼睛跟踪摄像机图像内对瞳孔和虹膜的观察被阻挡。
如前所述,多维度加速度计28(图2中示出)可以安装在眼睛佩戴物或头部佩戴物上并且用于监测头部的运动。如之前所讨论的,例如基于MEMS技术的加速度计可以基本同时地沿着全部三个(3)正交维度监测加速度。附加地参考图5,示出表示沿着选定维度的头部运动的代表性轨迹,作为头部位置时间轨迹56b。在时刻50a产生声音和在时刻56a头部显著运动之间的时间差是头部的反应或响应时间57。
参考图6A-图6C,示出用于响应于对(例如,通过图片、书籍、计算机监视器、移动计算设备、电视、舞台屏幕、公告板等呈现出的)一个或多个虚拟对象的显示,测量眼睛的结构的反应时间(和/或可选地测量其他响应)的另一示例性方法。在本示例中,如图6A和图6B所示,***可以设置成包括眼睛佩戴物或头部佩戴物设备以监测用户或佩戴者(未示出,例如图1中所示的***10)和包括计算显示监视器60a、60b以向佩戴者显示图像的***。如图6B所示,监视器60b可以用于描绘***或其他突变图像61的出现,例如替换掉之前呈现在监视器60a上的其他图像(未示出),如图6A所示。***61的初始图像被显示在监视器60b上的时刻可以被记录或以其他方式被***获知作为参考时间,例如由计算机、处理器、或连接到监视器60以收集(多个)图像的其他电子设备提供。参考时间可以被传送到例如在***10的框架12(如图1所示)中或其他地方的处理器,使用一个或多个场景摄像机12(例如,图1示出)从场景图像进行图像识别可以用于测量突变图像61首次出现的时刻以标示出参考时间。***显示参考时间被描绘成在图6C的图像显示时间轨迹66b上的从低至高转变66a。
图6A-图6C还示出佩戴者的眼睛62对虚拟***61的显示的反应。例如,在显示虚拟***61之前,眼睛跟踪摄像机13a、13b(例如图1中示出)可以获取显示出具有(例如,用于室内灯光或其他环境条件的)典型尺寸的瞳孔63a的眼睛62a的图像。瞳孔63a由虹膜64围绕,虹膜64转而由“眼白”或巩膜65围绕。在显示***61之后,从由眼睛跟踪摄像机获取的图像对眼睛62b进行测量会揭示出瞳孔63b的中心已经移动和/或瞳孔63b已经显著地扩张。沿选定维度(例如,沿着竖直或“y”轴)的眼睛运动被描绘成图6C中的眼睛位置时间轨迹67b,而响应于虚拟***的初始眼睛运动发生的时间在时刻67a被标示出。在时刻66a显示***61和在时刻67a眼睛显著运动之间的时间差是眼睛的反应或响应时间67c。
附加地或可替换地,瞳孔63的尺寸可以使用眼睛跟踪摄像机13a、13b(例如图1中示出)来跟踪,并且被描绘成图6C中的时间轨迹68b,而响应于虚拟***61开始瞳孔扩张的时刻被标记为68a。在时刻66a显示***61和在时刻68a显著瞳孔扩张之间的时间差是瞳孔反应或响应时间68c。跟踪对图像显示的响应是否引起注意(即,聚焦到)或背离图像以及测量瞳孔扩张的程度的组合例如可以辅助诊断创伤后精神紧张症(PTSD)和/或测量广告的有效性。因此,佩戴者的反应时间和/或多种响应的幅度的综合可以被监测,以比监测眼睛运动或单独监测另一参数更精确地诊断、预测、和/或分析佩戴者的行为。
图7A和图7B示出本文描述的***和方法进行重复反应时间测量的能力。在本示例中,***(例如图1的***10)的设备佩戴者可以被要求视觉跟踪虚拟对象,例如显示监视器70的屏幕上的计算机光标71,如图7A所示。在光标71在一段时间内逐步通过一系列屏幕位置72a、72b、72c、72c、72e时,设备佩戴者可以被指令跟踪光标71。光标位置72a、72b、72c、72c、72e改变的时刻已由产生显示的计算机获知,并且可以被传送到***10,或者使用一个或多个场景摄像机12(例如,图1所示)的图像识别可以用于测量光标位置的移动以产生一系列参考时间。
附加地参考图7A,其中图像被显示在二维屏幕70上,光标位置72a、72b、72c、72c、72e可以通过一对正交的坐标(例如,表示为屏幕70的平面内的“X”(例如水平)和“Y”(例如竖直)维度)来描述在屏幕70的平面内。沿X维度的运动可以用于产生用于X轴位移的时间轨迹73,如图7B所示。眼睛运动可以使用眼睛跟踪摄像机13a、13b(例如,图1所示)来跟踪。眼睛沿X方向的位移可以用于产生眼睛位置时间轨迹74,同样如图7B所示。沿X方向光标运动发生的时刻和沿X方向眼睛的相应初始运动的时刻之间的差别可以用于产生一系列X方向反应时间75a、75b、75c。
类似地,眼睛沿Y方向的运动可以用于产生用于Y轴位移的眼睛位置时间轨迹76。沿Y方向测量的眼睛的位移可以用于产生附加的眼睛位置时间轨迹77,如图7B所示。沿Y方向光标运动发生的时刻和沿Y方向眼睛的相应初始运动的时刻之间的差别可以用于产生设备佩戴者的一系列Y方向反应时间78a、78b、78c。沿水平和竖直方向的反应时间的差别可以表示存在肌肉或神经紊乱。经过延长时间段沿X和Y方向反应时间的变化可以例如用于评估疲劳。
为举例和说明的目的已经呈现出对示例性实施例的上述公开。这不意在是穷举的,也不是要将本发明限制为公开的精确形式。根据上述公开内容,本文描述的实施例的很多变化和修改对于本领域技术人员是显而易见的。
此外,在描述代表性实施例时,说明书已经按照特定的步骤顺序呈现出方法和/或处理。但是,这些方法或处理不应当限于所述的步骤的具体顺序,而是要达到方法或处理不依赖于本文阐述的步骤的具体顺序的程度。本领域技术人员将领会,步骤的其他顺序是有可能的。因此,说明书中阐述的步骤的具体顺序不应当理解为限制权利要求书。
尽管本发明容许有各种修改和替换形式,本发明的特定示例已经在附图中示出并且详细地在本文中描述。但是,应当理解,本发明不限于公开的具体形式或方法,相反,本发明将覆盖落入所附权利要求书的范围内的所有修改、等同和替换形式。
Claims (85)
1.一种用于确定主体的响应的***,所述***包括:
设备,所述设备构造成被佩戴在佩戴者的头上;
眼睛跟踪摄像机,所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的第一个眼睛取向,以捕捉所述第一个眼睛的眼睛跟踪图像;和
一个或多个处理器,所述一个或多个处理器连接到所述眼睛跟踪摄像机以识别在所述眼睛跟踪摄像机图像内所述第一个眼睛的解剖学结构,所述一个或多个处理器被构造成识别外部事件的参考时间并且分析在所述参考时间之后的所述眼睛跟踪图像以确定所述第一个眼睛、眼睑和瞳孔对所述外部事件的响应幅度和反应时间中的至少一个。
2.根据权利要求1所述的***,其中,所述一个或多个处理器构造成识别从下列各项选出的两个或更多个参数:a)所述瞳孔和虹膜中的至少一个沿一个或多个维度的位置,b)所述瞳孔的尺寸,c)所述瞳孔的形状和d)来自所述眼睛跟踪图像的所述眼睑的位置,所述一个或多个处理器检测所述两个或更多个参数的变化以确定所述佩戴者的响应幅度和所述反应时间中的至少一个。
3.根据权利要求1所述的***,还包括场景摄像机,所述场景摄像机安装在所述设备上远离所述佩戴者取向,以观察所述佩戴者的环境并且捕捉所述环境的场景摄像机图像,所述一个或多个处理器从所述场景摄像机图像中检测到的变化来识别参考时间。
4.根据权利要求3所述的***,其中,所述一个或多个处理器使用对象识别算法从所述场景摄像机图像中识别所述场景摄像机的视场内的对象的位置,所述一个或多个处理器基于预定对象何时存在于或不存在于所述场景摄像机图像中的预定位置来识别所述参考时间。
5.根据权利要求4所述的***,其中,所述对象识别算法至少部分地基于对象的形状来识别对象。
6.根据权利要求4所述的***,其中,所述对象识别算法至少部分地基于对象的颜色来识别对象。
7.根据权利要求4所述的***,其中,所述对象识别算法至少部分地基于对象的亮度来识别对象。
8.根据权利要求4所述的***,其中,所述一个或多个处理器构造成产生二元信号,所述二元信号识别所述对象在所述场景摄像机图像中的选定位置上的存在对不存在来产生参考时间。
9.根据权利要求3所述的***,其中,所述一个或多个处理器构造成针对场景移动分析所述场景摄像机图像以确定所述佩戴者头部的运动。
10.根据权利要求9所述的***,所述一个或多个处理器构造成使用参考时间和所述佩戴者的头部运动来确定所述佩戴者的头部的响应幅度和反应时间中的至少一个。
11.根据权利要求1所述的***,还包括用于检测所述佩戴者的环境内的声音的麦克风,所述一个或多个处理器连接到所述麦克风以识别来自所述佩戴者的环境的预定声音,作为参考时间。
12.根据权利要求1所述的***,还包括用于产生数字信号的声音发生器,所述一个或多个处理器连接到所述声音发生器以识别对所述声音发生器的激发,作为参考时间。
13.根据权利要求1所述的***,还包括用于产生模拟信号的环境传感器,所述一个或多个处理器连接到所述环境传感器以识别对所述环境传感器的激发,作为参考时间。
14.根据权利要求1所述的***,其中,所述眼睛跟踪摄像机包括电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)检测器中的一个。
15.根据权利要求1所述的***,其中,所述处理器包括现场可编程门阵列(FPGA)和专用集成电路(ASIC)中的一个。
16.根据权利要求1所述的***,还包括至少一个附加场景摄像机以捕捉所述佩戴者的环境的图像。
17.根据权利要求1所述的***,还包括第二眼睛跟踪摄像机,所述第二眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的第二个眼睛取向,以捕捉所述第二个眼睛的眼睛跟踪图像,所述一个或多个处理器分析在所述参考时间之后的所述眼睛跟踪图像以确定所述第二个眼睛、眼睑和瞳孔对所述外部事件的响应幅度和参考时间中的至少一个。
18.根据权利要求1所述的***,还包括光源,所述光源安装在所述设备上以朝向所述第一个眼睛发出光,所述一个或多个处理器连接到所述光源以识别所述光源的激发,作为参考时间。
19.根据权利要求18所述的***,其中,所述光源包括一个或多个发光二极管(LED)。
20.根据权利要求18所述的***,还包括安装在所述设备上以朝向所述第一个眼睛发出光的一个或多个附加光源。
21.根据权利要求18所述的***,还包括安装在所述设备上以朝向所述第二个眼睛发出光的一个或多个附加光源。
22.根据权利要求18所述的***,还包括控制器,所述控制器连接到所述光源以调制所光源,从而调节亮度等级以提供期望的亮度等级,所述一个或多个处理器连接到所述控制器以测量在激发所述光源时所述第一个眼睛做出的响应。
23.根据权利要求22所述的***,其中,所述控制器构造成对所述光源的电流和电压中的至少一个进行幅度调制以提供期望的亮度等级。
24.根据权利要求22所述的***,其中,所述控制器构造成对所述光源的电流和电压中的至少一个进行脉宽调制以提供期望的亮度等级。
25.根据权利要求1所述的***,还包括加速度计,所述加速度计安装在所述设备上,所述一个或多个处理器连接到所述加速度计以监测所述设备和所述佩戴者的头部的运动。
26.根据权利要求25所述的***,其中,所述一个或多个处理器连接到所述加速度计以沿着高达三个(3)维度测量所述佩戴者的头部的加速度。
27.根据权利要求26所述的***,其中,所述一个或多个处理器构造成使用所述参考时间和测量的加速度来确定所述佩戴者的头部的响应幅度和反应时间中的至少一个。
28.一种用于确定主体的响应的***,所述***包括:
设备,所述设备构造成被佩戴在佩戴者的头上;
眼睛跟踪摄像机,所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的第一个眼睛取向,以捕捉所述第一个眼睛的眼睛跟踪图像;
场景摄像机,所述场景摄像机安装在所述设备上远离所述佩戴者取向,以观察所述佩戴者的环境并且捕捉所述环境的场景摄像机图像;和
一个或多个处理器,所述一个或多个处理器连接到所述眼睛跟踪摄像机以识别在所述眼睛跟踪图像内所述第一个眼睛的解剖学结构并且连接到所述场景摄像机以从所述场景摄像机图像识别所述佩戴者的环境中的预定事件,所述一个或多个处理器被构造成识别在从所述场景摄像机图像识别出预定事件时的参考时间,并且监测在所述眼睛跟踪图像中识别出的一个或多个组织特征中的变化,以确定所佩戴者对所述预定事件的响应幅度和反应时间中的至少一个。
29.根据权利要求28所述的***,其中,所述一个或多个处理器构造成监测所述场景摄像机图像以从所述场景摄像机图像识别所述佩戴者的环境中的对象,并且其中,所述一个或多个处理器监测所述对象以识别所述对象何时存在于或不存在于所述场景摄像机图像中的预定位置,所述参考时间是所述一个或多个处理器识别出所述对象存在于或不存在于所述预定位置的时间。
30.根据权利要求29所述的***,还包括模板的数据库,所述数据库将已知对象映射到与各个已知对象关联的形状、颜色和尺寸中的至少一个,所述一个或多个处理器连接到所述数据库以基于从所述场景摄像机图像识别出的所述对象的形状、颜色和尺寸中的至少一个来识别所述对象。
31.根据权利要求28所述的***,还包括电子设备,所述电子设备包括显示装置,所述一个或多个处理器构造成监测所述场景摄像机图像以识别何时预定图像被呈现在所述显示装置上,显示所述预定图像的初始时间包括所述参考时间。
32.根据权利要求28所述的***,还包括安装在所述设备上以提供所述佩戴者的头部的取向的传感器,所述一个或多个处理器连接到所述传感器以监测在所述参考时间之后所述佩戴者的头部的取向的变化,从而确定所述佩戴者的头部对所述预定事件的响应幅度和反应时间中的至少一个。
33.根据权利要求32所述的***,其中,所述一个或多个处理器构造成比较所述佩戴者的头部的反应时间与基于在所述眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化的所述佩戴者的反应时间,以确定所述佩戴者的生理或精神状态中的至少一个。
34.根据权利要求32所述的***,其中,所述传感器包括加速度计。
35.根据权利要求28所述的***,其中,所述一个或多个解剖学特征中的变化包括所述第一个眼睛的瞳孔或虹膜的位置的变化、瞳孔的尺寸的变化、和所述第一个眼睛的眼睑的位置的变化当中的至少一个。
36.根据权利要求28所述的***,其中,所述一个或多个处理器中的至少一个安装在由所述佩戴者佩戴的所述设备上。
37.根据权利要求28所述的***,其中,所述一个或多个处理器中的至少一个定位成远离由所述佩戴者佩戴的所述设备。
38.根据权利要求37所述的***,还包括位于所述设备上的发送器以与定位成远离所述设备的至少一个处理器通信。
39.一种用于确定主体的响应的***,所述***包括:
设备,所述设备构造成被佩戴在佩戴者的头上;
眼睛跟踪摄像机,所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的第一个眼睛取向,以捕捉所述第一个眼睛的眼睛跟踪图像;
麦克风,所述麦克风用于检测所述佩戴者的环境内的声音;和
一个或多个处理器,所述一个或多个处理器连接到所述眼睛跟踪摄像机以识别在所述眼睛跟踪图像内所述第一个眼睛的解剖学结构并且连接到所述麦克风以检测在所述佩戴者的环境内产生的预定声音,所述一个或多个处理器被构造成识别在检测到预定声音时的参考时间并且监测在所述眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化,以确定所佩戴者对所述预定声音的响应幅度和反应时间中的至少一个。
40.根据权利要求39所述的***,其中,所述麦克风安装在所述设备上以获取由所述佩戴者发出的声音,所述一个或多个处理器构造成识别何时所述佩戴者发出预定声音。
41.一种用于确定反应时间的***,所述***包括:
设备,所述设备构造成被佩戴在佩戴者的头上;
眼睛跟踪摄像机,所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的第一个眼睛取向,以捕捉所述第一个眼睛的眼睛跟踪图像;
发射器,所述发射器用于朝向所述佩戴者发出可检测信号;
传感器,所述传感器安装在所述设备上以提供所述佩戴者的头部的取向;和
一个或多个处理器,所述一个或多个处理器连接到所述眼睛跟踪摄像机以识别在所述眼睛跟踪图像内所述第一个眼睛的解剖学结构并且连接到所述传感器以监测所述佩戴者的头部的取向,所述一个或多个处理器被构造成识别在所述发射器被激发时的参考时间并且监测在所述参考时间之后在所述眼睛跟踪图像中识别出的一个或多个所述解剖学特征中的变化,以确定所述第一个眼睛的反应时间,所述一个或多个处理器监测在所述参考时间之后所述佩戴者的头部的取向的变化以确定所述佩戴者的头部的反应时间。
42.根据权利要求41所述的***,其中,所述一个或多个处理器构造成比较所述佩戴者的头部的反应时间与所述第一个眼睛的反应时间,以确定所述佩戴者的生理或精神状态中的至少一个。
43.根据权利要求41所述的***,其中,所述发射器包括光源,所述光源安装在所述设备上以在被激发时朝向所述第一个眼睛发出光。
44.根据权利要求41所述的***,其中,所述发射器包括扬声器,所述扬声器安装在所述设备以产生预定声音。
45.根据权利要求41所述的***,其中,所述一个或多个处理器包括连接到所述发射器以激发所述发射器的控制器。
46.根据权利要求45所述的***,其中,所述控制器构造成间歇地激发所述发射器,从而提供一系列参考时间,所述一个或多个处理器构造成在每个参考时间之后比较所述佩戴者的头部的反应时间与所述第一个眼睛的反应时间,以确定所述佩戴者的生理或精神状态中的至少一个。
47.根据权利要求46所述的***,其中,所述控制器构造成周期性地或随机地激发所述发射器。
48.根据权利要求46所述的***,还包括接收器,所述接收器位于所述设备上连接到所述控制器,并且所述接收器构造成接收来自远程位置的命令,所述控制器构造成基于由所述接收器接收的命令来激发所述发射器。
49.一种用于确定主体的响应的方法,所述方法包括:
将设备放置在佩戴者的头上,所述设备包括朝向所述佩戴者的第一个眼睛取向的眼睛跟踪摄像机;
利用输入来确定参考时间;
在由所述眼睛跟踪摄像机获取的眼睛跟踪摄像机图像内确定佩戴所述设备的人的解剖学结构的位置;和
使用所述参考时间和从所述眼睛跟踪摄像机图像确定的位置来确定所述佩戴者的眼睛、眼睑和瞳孔的响应幅度和反应时间中的至少一个。
50.根据权利要求49所述的方法,其中,所述设备包括场景摄像机,所述场景摄像机远离所述佩戴者取向以获取所述佩戴者的环境的场景摄像机图像。
51.根据权利要求50所述的方法,还包括从在所述场景摄像机图像中检测出的所述佩戴者的环境的变化中来确定参考时间。
52.根据权利要求51所述的方法,其中,所述输入包括使用对象识别来识别在视场内对象的位置,从而提供所述参考时间。
53.根据权利要求52所述的方法,其中,所述对象识别至少部分地基于对象的形状。
54.根据权利要求52所述的方法,其中,所述对象识别至少部分地基于对象的颜色。
55.根据权利要求52所述的方法,其中,所述对象识别至少部分地基于对象的亮度。
56.根据权利要求51所述的方法,其中,基于所述对象在所述场景摄像机图像内的选定位置上的存在对不存在来识别参考时间。
57.根据权利要求51所述的方法,其中,所述场景摄像机图像中的运动用于确定所述佩戴者的头部的运动。
58.根据权利要求57所述的方法,其中,所述佩戴者的头部的运动用于识别参考时间并且确定所述佩戴者的头部的反应时间。
59.根据权利要求49所述的方法,其中,麦克风用作参考时间输入。
60.根据权利要求49所述的方法,其中,数字信号用作参考时间输入。
61.根据权利要求49所述的方法,其中,产生模拟信号的环境传感器用作参考时间输入。
62.根据权利要求49所述的方法,其中,至少两个场景摄像机用于获取环境的场景摄像机图像。
63.根据权利要求49所述的方法,还包括利用第二眼睛跟踪摄像机来跟踪所述佩戴者的第二个眼睛的位置。
64.根据权利要求49所述的方法,还包括激发光源以将光指向所述第一个眼睛上,激发所述光源包括参考时间。
65.根据权利要求64所述的方法,还包括激发一个或多个光源以将光指向所述第一个眼睛上,激发所述一个或多个光源包括一个或多个参考时间。
66.根据权利要求65所述的方法,还包括激发一个或多个光源以将光指向所述佩戴者的第二个眼睛上。
67.根据权利要求65所述的方法,还包括调制所述光源以调节亮度等级,从而提供期望的亮度等级以测量所述第一个眼睛的响应。
68.根据权利要求67所述的方法,其中,至少部分地使用对所述光源的电流和电压中的至少一个的幅度调制来调制所述光源,以提供期望的亮度等级。
69.根据权利要求67所述的方法,其中,至少部分地使用对所述光源的电流和电压中的至少一个的脉宽调制来调制所述光源,以提供期望的亮度等级。
70.根据权利要求49所述的方法,还包括以沿着高达三个(3)维度测量所述佩戴者的头部的加速度。
71.根据权利要求70所述的方法,还包括使用参考时间和测量的加速度点来确定所述佩戴者的头部的反应时间。
72.一种用于确定主体的响应的方法,所述方法包括:
将设备放置在佩戴者的头上,所述设备包括远离所述佩戴者取向的场景摄像机和朝向所述佩戴者的第一个眼睛取向的眼睛跟踪摄像机;
监测来自所述眼睛跟踪摄像机的眼睛跟踪图像以识别所述第一个眼睛的解剖学结构;
监测来自所述场景摄像机的场景摄像机图像以识别所述佩戴者的环境中的预定事件;
识别在从所述场景摄像机图像中识别出预定事件时的参考时间;和
监测在所述眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化,以确定所述佩戴者对所述预定事件的响应幅度和反应时间中的至少一个。
73.根据权利要求72所述的方法,其中,所述场景摄像机图像被监测以识别所述佩戴者的环境中的对象,并且其中识别参考时间包括识别所述对象何时存在于或不存在于所述场景摄像机图像中的预定位置。
74.根据权利要求73所述的方法,其中,通过访问模板的数据库来识别所述对象,所述数据库将已知对象映射到与各个对象关联的形状、颜色和尺寸中的至少一个。
75.根据权利要求72所述的方法,还包括提供电子设备,所述电子设备包括显示装置,其中所述场景摄像机图像被监测以识别何时预定图像被呈现在所述显示装置上,显示所述预定图像的初始时间包括所述参考时间。
76.根据权利要求72所述的方法,其中,检测在所述参考时间之后所述佩戴者的头部的取向以确定所述佩戴者的头部对所述预定事件的反应时间,并且比较所述佩戴者的头部的反应时间与基于在所述眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化的所述佩戴者的反应时间,以确定所述佩戴者的生理或精神状态中的至少一个。
77.一种用于确定主体的响应的方法,所述方法包括:
将设备放置在佩戴者的头上,所述设备包括朝向所述佩戴者的至少一个眼睛取向的眼睛跟踪摄像机;
监测来自所述眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构;
监测所述佩戴者的环境中的声音以识别所述环境中的预定事件;
识别在所述环境中检测出预定声音时的参考时间;和
监测在所述眼睛跟踪图像中识别出的一个或多个所述解剖学特征中的变化,以确定所述佩戴者对所述预定声音的响应幅度和反应时间中的至少一个。
78.根据权利要求77所述的方法,其中,使用所述设备上的麦克风来监测所述环境内的声音。
79.一种用于确定反应时间的方法,所述方法包括:
将设备放置在佩戴者的头上,所述设备包括朝向所述佩戴者的至少一个眼睛取向的眼睛跟踪摄像机;
监测来自所述眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构;
监测所述佩戴者的头部的取向;
监测所述佩戴者和所述佩戴者的环境中的至少一个以识别预定事件;
识别在检测到预定事件时的参考时间;
检测在所述参考时间之后在所述眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化以确定所述佩戴者对所述预定事件的反应时间;和
检测在所述参考时间之后所述佩戴者的头部的取向以确定所述佩戴者的头部对所述预定事件的反应时间。
80.根据权利要求79所述的方法,还包括比较所述佩戴者的头部的反应时间与所述第一个眼睛的反应时间,以确定所述佩戴者的生理或精神状态中的至少一个。
81.一种用于确定反应时间的方法,所述方法包括:
将设备放置在佩戴者的头上,所述设备包括朝向所述佩戴者的至少一个眼睛取向的眼睛跟踪摄像机;
监测来自所述眼睛跟踪摄像机的眼睛跟踪图像以识别第一个眼睛的解剖学结构;
在参考时间朝向所述佩戴者发出可检测信号;
检测在所述参考时间之后在所述眼睛跟踪图像中识别出的一个或多个解剖学特征中的变化以确定所述佩戴者对所述可检测信号的反应时间;和
检测在所述参考时间之后所述佩戴者的头部的取向的变化以确定所述佩戴者的头部对所述可检测信号的反应时间。
82.根据权利要求81所述的方法,还包括比较所述佩戴者的头部的反应时间与所述第一个眼睛的反应时间,以确定所述佩戴者的生理或精神状态中的至少一个。
83.根据权利要求81所述的方法,其中,发出可检测信号包括朝向第一个眼睛发出光。
84.根据权利要求81所述的方法,其中,发出可检测信号包括朝向所述佩戴者产生声音。
85.一种用于确定响应幅度的***,所述***包括:
设备,所述设备构造成被佩戴在佩戴者的头上;
眼睛跟踪摄像机,所述眼睛跟踪摄像机安装在所述设备上朝向所述佩戴者的第一个眼睛取向,以捕捉所述第一个眼睛的眼睛跟踪图像;和
一个或多个处理器,所述一个或多个处理器连接到所述眼睛跟踪摄像机以识别在所述眼睛跟踪摄像机图像内所述第一个眼睛的解剖学结构,所述一个或多个处理器被构造成识别外部事件的参考时间并且分析在所述参考时间之后所述眼睛跟踪图像以确定所述第一个眼睛、眼睑和瞳孔对所述外部事件的响应幅度。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/113,006 US8911087B2 (en) | 2011-05-20 | 2011-05-20 | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
US13/113,006 | 2011-05-20 | ||
PCT/US2012/038744 WO2012162205A2 (en) | 2011-05-20 | 2012-05-19 | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103748599A true CN103748599A (zh) | 2014-04-23 |
CN103748599B CN103748599B (zh) | 2017-10-10 |
Family
ID=47174698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280034244.0A Active CN103748599B (zh) | 2011-05-20 | 2012-05-19 | 用于测量头部、眼睛、眼睑和瞳孔的反应的***和方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US8911087B2 (zh) |
EP (1) | EP2710515B1 (zh) |
JP (1) | JP6129161B2 (zh) |
CN (1) | CN103748599B (zh) |
CA (1) | CA2836779C (zh) |
WO (1) | WO2012162205A2 (zh) |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104325930A (zh) * | 2014-11-05 | 2015-02-04 | 无锡悟莘科技有限公司 | 一种防止疲劳驾驶的汽车控制*** |
CN105380590A (zh) * | 2015-10-27 | 2016-03-09 | 杭州镜之镜科技有限公司 | 一种具有眼位检测功能的设备及其实现方法 |
CN106037626A (zh) * | 2016-07-12 | 2016-10-26 | 吴越 | 一种头戴式视野检查仪 |
CN106125876A (zh) * | 2015-05-07 | 2016-11-16 | 现代自动车株式会社 | 电子设备及其显示器控制方法 |
CN106333643A (zh) * | 2015-07-10 | 2017-01-18 | 中兴通讯股份有限公司 | 用户健康的监测方法、监测装置以及监测终端 |
CN106669139A (zh) * | 2016-12-03 | 2017-05-17 | 西安科锐盛创新科技有限公司 | 一种电竞比赛选手的辅助选拔方法 |
CN106725290A (zh) * | 2017-03-10 | 2017-05-31 | 三峡大学 | 一种缆机驾驶员应激能力测试方法 |
CN106773069A (zh) * | 2017-03-30 | 2017-05-31 | 郭田生 | 一种自动调节光照强度与频率来缓解心理疾病的vr眼镜 |
CN106725530A (zh) * | 2016-12-03 | 2017-05-31 | 西安科锐盛创新科技有限公司 | 基于视线的心理辅助分析***和方法 |
CN106922182A (zh) * | 2014-11-14 | 2017-07-04 | 埃西勒国际通用光学公司 | 确定眼睛的显著点的位置和跟踪眼镜配戴者的注视方向的设备和方法 |
CN107072528A (zh) * | 2014-08-20 | 2017-08-18 | 加州浸会大学 | 用于监测眼睛健康的***和方法 |
CN107087431A (zh) * | 2014-05-09 | 2017-08-22 | 谷歌公司 | 用于辨别眼睛信号和连续生物识别的***和方法 |
CN107209384A (zh) * | 2015-01-20 | 2017-09-26 | 微软技术许可有限责任公司 | 具有抗压组件的头戴式显示器设备 |
CN107238003A (zh) * | 2017-07-19 | 2017-10-10 | 广州新诚生物科技有限公司 | 智能头灯 |
CN107392153A (zh) * | 2017-07-24 | 2017-11-24 | 中国科学院苏州生物医学工程技术研究所 | 人体疲劳度判定方法 |
CN107411701A (zh) * | 2014-05-23 | 2017-12-01 | Gn尔听美公司 | 测量眼球运动的可头戴装置 |
CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练***和方法 |
CN107518871A (zh) * | 2017-10-09 | 2017-12-29 | 中山大学中山眼科中心 | 眼组织测量装置及*** |
CN107536598A (zh) * | 2016-06-29 | 2018-01-05 | 沈阳新松机器人自动化股份有限公司 | 双目视觉瞳孔定位方法及相关设备 |
CN107847129A (zh) * | 2015-06-04 | 2018-03-27 | 王经富 | 脑疾病快速筛检装置 |
CN107944355A (zh) * | 2017-11-13 | 2018-04-20 | 李振芳 | 大数据采集和处理方法 |
CN108369448A (zh) * | 2015-09-18 | 2018-08-03 | 苏里科格公司 | 用于确定眼科参数的方法 |
CN108369338A (zh) * | 2015-12-09 | 2018-08-03 | 快图有限公司 | 图像采集*** |
CN108378820A (zh) * | 2017-02-03 | 2018-08-10 | 祥明大学校产学协力团 | 测量基于非接触视觉的认知疲劳的方法和*** |
CN108701227A (zh) * | 2016-03-07 | 2018-10-23 | 奇跃公司 | 用于生物安全的蓝光调节 |
CN109464236A (zh) * | 2017-09-08 | 2019-03-15 | 拉碧斯半导体株式会社 | 护目镜式显示装置、视线检测方法以及视线检测*** |
CN109602587A (zh) * | 2019-01-31 | 2019-04-12 | 河南云睛视光科技有限公司 | 一种智能化多功能视光训练仪 |
CN109716268A (zh) * | 2016-09-22 | 2019-05-03 | 苹果公司 | 眼部和头部跟踪 |
CN109839653A (zh) * | 2017-11-29 | 2019-06-04 | 中国辐射防护研究院 | 一种个人眼晶体剂量测量装置及测量方法 |
CN109863502A (zh) * | 2016-11-10 | 2019-06-07 | 纽诺创科技术公司 | 将图像拍摄设备与人类用户相关联以分析认知能力的方法和*** |
CN110119196A (zh) * | 2018-02-07 | 2019-08-13 | 罗克韦尔柯林斯公司 | 头部可佩戴装置、***和方法 |
CN110151184A (zh) * | 2019-04-19 | 2019-08-23 | 昆明依利科特科技有限公司 | 非接触式吸毒人员快速检测***及方法 |
CN110968189A (zh) * | 2018-09-28 | 2020-04-07 | 苹果公司 | 作为认知控制信号的瞳孔调制 |
CN111028599A (zh) * | 2019-12-24 | 2020-04-17 | 中国人民解放军第四军医大学 | 一种基于vr技术的军事飞行员口颌心理应激训练*** |
CN111656304A (zh) * | 2017-12-07 | 2020-09-11 | 艾弗里协助通信有限公司 | 通信方法及*** |
CN111714081A (zh) * | 2020-07-08 | 2020-09-29 | 岭南师范学院 | 基于多波长led光学无损特殊儿童检测仪及检测方法 |
CN112244763A (zh) * | 2020-10-20 | 2021-01-22 | 垒途智能教科技术研究院江苏有限公司 | 一种便于调整的头戴眼镜式眼动仪 |
CN112306226A (zh) * | 2019-07-29 | 2021-02-02 | 宏达国际电子股份有限公司 | 眼动跟踪方法、头戴式显示器以及计算机可读存储介质 |
CN112424790A (zh) * | 2018-07-19 | 2021-02-26 | 三星电子株式会社 | 混合式眼睛***的***和方法 |
CN113017632A (zh) * | 2021-03-17 | 2021-06-25 | 陈思 | 一种智慧校园心理咨询辅助方法及*** |
CN114690909A (zh) * | 2022-06-01 | 2022-07-01 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、***、计算机可读介质 |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11428937B2 (en) * | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US9658473B2 (en) | 2005-10-07 | 2017-05-23 | Percept Technologies Inc | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8781162B2 (en) * | 2011-01-05 | 2014-07-15 | Ailive Inc. | Method and system for head tracking and pose estimation |
JP5456791B2 (ja) * | 2009-01-26 | 2014-04-02 | トビー・テクノロジー・アーベー | 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法 |
US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
TW201330827A (zh) * | 2012-01-19 | 2013-08-01 | Utechzone Co Ltd | 依據駕駛反射動作之注意力偵測裝置及其方法 |
US9514664B2 (en) * | 2012-09-25 | 2016-12-06 | The Boeing Company | Measuring latency in a test system using captured images |
US9188644B1 (en) | 2012-09-25 | 2015-11-17 | The Boeing Company | Latency measurement system and method |
US20190272029A1 (en) * | 2012-10-05 | 2019-09-05 | Elwha Llc | Correlating user reaction with at least an aspect associated with an augmentation of an augmented view |
EP2929413B1 (en) | 2012-12-06 | 2020-06-03 | Google LLC | Eye tracking wearable devices and methods for use |
JP6068964B2 (ja) * | 2012-12-07 | 2017-01-25 | 公立大学法人首都大学東京 | 人の状態推定装置およびそれを備えた輸送機器 |
US11181740B1 (en) | 2013-03-15 | 2021-11-23 | Percept Technologies Inc | Digital eyewear procedures related to dry eyes |
WO2014144940A2 (en) * | 2013-03-15 | 2014-09-18 | Percept Technologies, Inc. | Enhanced optical and perceptual digital eyewear |
WO2014168492A1 (en) * | 2013-04-10 | 2014-10-16 | Auckland Uniservices Limited | Head and eye tracking |
WO2014179558A1 (en) * | 2013-05-01 | 2014-11-06 | Musc Foundation For Research Development | Monitoring neurological functional status |
CN103353663B (zh) | 2013-06-28 | 2016-08-10 | 北京智谷睿拓技术服务有限公司 | 成像调整装置及方法 |
CN103353677B (zh) * | 2013-06-28 | 2015-03-11 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
CN103353667B (zh) * | 2013-06-28 | 2015-10-21 | 北京智谷睿拓技术服务有限公司 | 成像调整设备及方法 |
DE102013212877A1 (de) * | 2013-07-02 | 2015-01-08 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zur Ermittlung des Zustandes eines Kraftfahrzeugführers |
EP2821839A1 (de) * | 2013-07-03 | 2015-01-07 | Airbus Defence and Space GmbH | HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung |
TWI505260B (zh) * | 2013-07-30 | 2015-10-21 | Univ Nat Chiao Tung | 頭戴式人眼追蹤系統 |
CN103424891B (zh) | 2013-07-31 | 2014-12-17 | 北京智谷睿拓技术服务有限公司 | 成像装置及方法 |
CN103439801B (zh) | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | 视力保护成像装置及方法 |
CN103605208B (zh) | 2013-08-30 | 2016-09-28 | 北京智谷睿拓技术服务有限公司 | 内容投射***及方法 |
CN103500331B (zh) | 2013-08-30 | 2017-11-10 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
US9851568B2 (en) | 2013-09-25 | 2017-12-26 | Logitech Europe S.A. | Retinal display projection device |
WO2015048839A1 (en) * | 2013-10-03 | 2015-04-09 | Neuroscience Research Australia (Neura) | Improved systems and methods for diagnosis and therapy of vision stability dysfunction |
US9736373B2 (en) * | 2013-10-25 | 2017-08-15 | Intel Corporation | Dynamic optimization of light source power |
JP6402718B2 (ja) * | 2013-11-08 | 2018-10-10 | ソニー株式会社 | 情報処理装置、制御方法およびプログラム |
CN104679226B (zh) * | 2013-11-29 | 2019-06-25 | 上海西门子医疗器械有限公司 | 非接触式医疗控制***、方法及医疗设备 |
JP6462209B2 (ja) | 2013-12-03 | 2019-01-30 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
JP6417676B2 (ja) * | 2014-03-06 | 2018-11-07 | ソニー株式会社 | 情報処理装置、情報処理方法、アイウェア端末および認証システム |
US20150289813A1 (en) * | 2014-04-15 | 2015-10-15 | Eugene Lipov | System and Method for the Biological Diagnosis of Post-Traumatic Stress Disorder: PTSD Electronic Device Application |
US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
CN105100580B (zh) * | 2014-05-12 | 2020-10-02 | 索尼公司 | 监视***以及用于监视***的控制方法 |
US20170156585A1 (en) * | 2014-07-02 | 2017-06-08 | Koninklijke Philips N.V. | Eye condition determination system |
TWI522257B (zh) * | 2014-07-09 | 2016-02-21 | 原相科技股份有限公司 | 車用安全系統及其運作方法 |
US9946361B2 (en) | 2014-08-14 | 2018-04-17 | Qualcomm Incorporated | Management for wearable display |
WO2016027215A1 (en) * | 2014-08-21 | 2016-02-25 | Cagno Andrea | Apparatus for detecting, diagnosing and exercising an individual's functionalities |
US11918375B2 (en) | 2014-09-05 | 2024-03-05 | Beijing Zitiao Network Technology Co., Ltd. | Wearable environmental pollution monitor computer apparatus, systems, and related methods |
US10448867B2 (en) | 2014-09-05 | 2019-10-22 | Vision Service Plan | Wearable gait monitoring apparatus, systems, and related methods |
US10617342B2 (en) | 2014-09-05 | 2020-04-14 | Vision Service Plan | Systems, apparatus, and methods for using a wearable device to monitor operator alertness |
TWI554246B (zh) * | 2014-12-23 | 2016-10-21 | 國立交通大學 | 雙瞳孔量測方法以及雙瞳孔量測裝置 |
JP6774136B2 (ja) | 2015-01-20 | 2020-10-21 | グリーン シー.テック リミテッド | 自動視力診断の方法およびシステム |
US10215568B2 (en) | 2015-01-30 | 2019-02-26 | Vision Service Plan | Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete |
NZ773818A (en) | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
KR102322029B1 (ko) * | 2015-03-27 | 2021-11-04 | 삼성전자주식회사 | 생체 정보 획득 방법 및 이를 위한 장치 |
WO2016170810A1 (ja) * | 2015-04-23 | 2016-10-27 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
US11158403B1 (en) * | 2015-04-29 | 2021-10-26 | Duke University | Methods, systems, and computer readable media for automated behavioral assessment |
US10741286B2 (en) * | 2015-05-27 | 2020-08-11 | Ryozo Saito | Stress evaluation program for mobile terminal and mobile terminal provided with program |
TWI580396B (zh) * | 2015-06-01 | 2017-05-01 | 國立交通大學 | 視覺生理用頭戴式系統 |
US9836895B1 (en) * | 2015-06-19 | 2017-12-05 | Waymo Llc | Simulating virtual objects |
USD772343S1 (en) * | 2015-06-22 | 2016-11-22 | Stichting Preventieve Merkenbescherming | Social game |
US9921645B2 (en) * | 2015-06-29 | 2018-03-20 | Logitech Europe S.A. | Retinal projection device and method for activating a display of a retinal projection device |
CN105740847A (zh) * | 2016-03-02 | 2016-07-06 | 同济大学 | 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法 |
WO2017176898A1 (en) | 2016-04-08 | 2017-10-12 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
EP3465536A1 (en) * | 2016-05-27 | 2019-04-10 | Jeff B. Pelz | System and method for eye tracking |
WO2018013398A1 (en) * | 2016-07-11 | 2018-01-18 | Jardeleza Maria Stephanie | Device, method and system for vertigo therapy |
US10043420B1 (en) * | 2016-08-04 | 2018-08-07 | Aldo Catsaros | Screwless system for supporting articles |
US9992487B1 (en) * | 2016-08-10 | 2018-06-05 | Integrity Applications Incorporated | Stereoscopic viewer |
CN106175663A (zh) * | 2016-08-29 | 2016-12-07 | 马敏 | 眼部检测装置、眼部检测方法及*** |
RU2638437C1 (ru) * | 2016-09-22 | 2017-12-13 | Автономная некоммерческая организация высшего образования "Межрегиональный открытый социальный институт" | Устройство оценки времени реакции человека на движущийся объект |
CN110381810B (zh) | 2016-09-23 | 2020-11-10 | 诺瓦赛特有限公司 | 筛查装置和方法 |
EP3300655A1 (en) * | 2016-09-28 | 2018-04-04 | Stichting IMEC Nederland | A method and system for emotion-triggered capturing of audio and/or image data |
WO2018100589A1 (en) * | 2016-11-30 | 2018-06-07 | Secretary, Department Of Biotechnology | Ocular screening |
JP6344747B2 (ja) * | 2016-12-26 | 2018-06-20 | ヤマハ発動機株式会社 | 演算処理装置及び人の状態推定方法 |
US20210401339A1 (en) * | 2017-01-10 | 2021-12-30 | Biostream Technologies, Llc | Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality |
CN110537122B (zh) | 2017-02-23 | 2022-04-29 | 奇跃公司 | 基于偏振转换的可变焦虚拟图像设备 |
WO2018187748A1 (en) * | 2017-04-07 | 2018-10-11 | Unveil, LLC | Systems and methods for mixed reality medical training |
US10726574B2 (en) * | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
US9910298B1 (en) | 2017-04-17 | 2018-03-06 | Vision Service Plan | Systems and methods for a computerized temple for use with eyewear |
RU175661U1 (ru) * | 2017-05-05 | 2017-12-13 | Автономная некоммерческая организация высшего образования "Межрегиональный открытый социальный институт" | Устройство тестирования сенсомоторной реакции |
RU2668463C1 (ru) * | 2017-07-03 | 2018-10-01 | Автономная некоммерческая организация высшего образования"Межрегиональный открытый социальный институт" | Способ тестирования реакции человека на движущийся объект |
USD898385S1 (en) * | 2017-12-29 | 2020-10-13 | Qiang Xu | Lighted glasses |
EP3750028B1 (en) * | 2018-02-09 | 2022-10-19 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
EP3750029A1 (en) | 2018-02-09 | 2020-12-16 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters using a neural network |
US11393251B2 (en) | 2018-02-09 | 2022-07-19 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US10949969B1 (en) * | 2018-03-20 | 2021-03-16 | Welch Allyn, Inc. | Pupil edge region removal in digital imaging |
US12004846B2 (en) | 2018-04-10 | 2024-06-11 | Cerenetex, Inc. | Non-invasive systems and methods for the improved evaluation of patients suffering from undiagnosed headaches |
AU2019251467A1 (en) | 2018-04-10 | 2020-11-26 | Cerenetex, Inc. | Systems and methods for the identification of medical conditions, and determination of appropriate therapies, by passively detecting acoustic signals generated from cerebral vasculature |
US10722128B2 (en) | 2018-08-01 | 2020-07-28 | Vision Service Plan | Heart rate detection system and method |
US11813054B1 (en) | 2018-11-08 | 2023-11-14 | Duke University | Methods, systems, and computer readable media for conducting an automatic assessment of postural control of a subject |
US11580874B1 (en) | 2018-11-08 | 2023-02-14 | Duke University | Methods, systems, and computer readable media for automated attention assessment |
CN109725714B (zh) | 2018-11-14 | 2022-06-14 | 北京七鑫易维信息技术有限公司 | 视线确定方法、装置、***、以及头戴式眼动设备 |
EP3912013A1 (en) * | 2019-01-16 | 2021-11-24 | Pupil Labs GmbH | Methods for generating calibration data for head-wearable devices and eye tracking system |
US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
GB201909175D0 (en) * | 2019-06-26 | 2019-08-07 | Royal College Of Art | Apparatus for monitoring |
US11224339B2 (en) | 2019-07-16 | 2022-01-18 | International Business Machines Corporation | Dynamic eye condition self-diagnosis |
CN112396805B (zh) * | 2019-07-31 | 2022-10-25 | Oppo广东移动通信有限公司 | 疲劳驾驶提醒的方法、装置、终端及存储介质 |
WO2021125992A1 (ru) * | 2019-12-16 | 2021-06-24 | федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" | Устройство определения направления взгляда |
WO2021125993A1 (ru) * | 2019-12-16 | 2021-06-24 | Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Инстиут (Национальный Исследовательский Университет)" | Способ определения направления взгляда |
US11918382B2 (en) | 2020-04-13 | 2024-03-05 | International Business Machines Corporation | Continual background monitoring of eye health |
WO2021228399A1 (en) * | 2020-05-14 | 2021-11-18 | Viewpoint Sicherheitsforschung-Blickforschung Gmbh | Spectacles and method for determining the pupil center |
US20230236441A1 (en) * | 2020-06-24 | 2023-07-27 | Nippon Telegraph And Telephone Corporation | Information Input Device |
WO2021260830A1 (ja) * | 2020-06-24 | 2021-12-30 | 日本電信電話株式会社 | 情報入力装置 |
WO2022162469A1 (en) * | 2021-01-29 | 2022-08-04 | Xr Health Il Ltd | Systems and methods for assessing partial impulsivity in virtual or augmented reality |
RU2771489C1 (ru) * | 2021-06-04 | 2022-05-05 | Общество с ограниченной ответственностью "Зеница" | Устройство для регистрации зрачковой реакции глаза |
WO2023021509A1 (en) * | 2021-08-17 | 2023-02-23 | Brainwatch Tech Ltd. | Methods, systems, and devices for determining a status of brain and/or nerve functions of a patient |
US11592899B1 (en) | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
JP2023102822A (ja) * | 2022-01-13 | 2023-07-26 | キヤノン株式会社 | 表示装置、ファインダ装置、および撮像装置 |
US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
US11806078B1 (en) | 2022-05-01 | 2023-11-07 | Globe Biomedical, Inc. | Tear meniscus detection and evaluation system |
US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
CN116982927B (zh) * | 2023-08-14 | 2024-05-03 | 深圳大学附属华南医院 | 一种多镜头眼科检查设备及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040239878A1 (en) * | 2001-06-05 | 2004-12-02 | Gordon Bradley | Apparatus and method for testing visual response |
WO2005094667A2 (en) * | 2004-04-01 | 2005-10-13 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
US20070066916A1 (en) * | 2005-09-16 | 2007-03-22 | Imotions Emotion Technology Aps | System and method for determining human emotion by analyzing eye properties |
US20070299362A1 (en) * | 2002-07-03 | 2007-12-27 | Epley Research, Llc | Stimulus-evoked vestibular evaluation system, method and apparatus |
US20080309616A1 (en) * | 2007-06-13 | 2008-12-18 | Massengill R Kemp | Alertness testing method and apparatus |
US20100118128A1 (en) * | 2008-11-10 | 2010-05-13 | Samsung Electronics Co., Ltd. | Display system, display apparatus and control method thereof |
Family Cites Families (163)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4595990A (en) | 1980-12-31 | 1986-06-17 | International Business Machines Corporation | Eye controlled information transfer |
US4439157A (en) | 1982-05-03 | 1984-03-27 | The United States Of America As Represented By The Secretary Of The Navy | Helmet mounted display projector |
US4568159A (en) | 1982-11-26 | 1986-02-04 | The United States Of America As Represented By The Secretary Of The Navy | CCD Head and eye position indicator |
EP0125808A3 (en) | 1983-04-18 | 1986-01-29 | Lee S. Weinblatt | Eye movement monitoring technique |
US4889422A (en) * | 1986-01-28 | 1989-12-26 | George Pavlidis | Method and means for detecting dyslexia |
FR2604732B1 (fr) | 1986-10-03 | 1989-02-03 | Inst Textile De France | Procede et dispositif d'ajustement et d'introduction automatique de deux angles de pieces textiles sur une machine a coudre |
US4852988A (en) | 1988-09-12 | 1989-08-01 | Applied Science Laboratories | Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system |
US4950069A (en) | 1988-11-04 | 1990-08-21 | University Of Virginia | Eye movement detector with improved calibration and speed |
US5231674A (en) | 1989-06-09 | 1993-07-27 | Lc Technologies, Inc. | Eye tracking method and apparatus |
JPH03109030A (ja) | 1989-09-22 | 1991-05-09 | Canon Inc | 注視点検出装置 |
JP3137375B2 (ja) | 1990-09-20 | 2001-02-19 | 株式会社東芝 | 圧接型半導体装置 |
US5367315A (en) | 1990-11-15 | 1994-11-22 | Eyetech Corporation | Method and apparatus for controlling cursor movement |
US5331149A (en) | 1990-12-31 | 1994-07-19 | Kopin Corporation | Eye tracking system having an array of photodetectors aligned respectively with an array of pixels |
US5270748A (en) | 1992-01-30 | 1993-12-14 | Mak Technologies, Inc. | High-speed eye tracking device and method |
US5583590A (en) | 1992-05-04 | 1996-12-10 | Wabash Scientific Corp. | Alert monitoring system |
US5345281A (en) | 1992-12-17 | 1994-09-06 | John Taboada | Eye tracking system and method |
US5517021A (en) | 1993-01-19 | 1996-05-14 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
FR2700938B1 (fr) * | 1993-01-29 | 1995-04-28 | Centre Nat Rech Scient | Procédé et dispositif d'analyse du mouvement de l'Óoeil. |
US5471542A (en) | 1993-09-27 | 1995-11-28 | Ragland; Richard R. | Point-of-gaze tracker |
GB9323970D0 (en) | 1993-11-22 | 1994-01-12 | Toad Innovations Ltd | Safety device |
US5481622A (en) | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US5689241A (en) | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
US5585871A (en) | 1995-05-26 | 1996-12-17 | Linden; Harry | Multi-function display apparatus |
US6373961B1 (en) | 1996-03-26 | 2002-04-16 | Eye Control Technologies, Inc. | Eye controllable screen pointer |
US5861936A (en) | 1996-07-26 | 1999-01-19 | Gillan Holdings Limited | Regulating focus in accordance with relationship of features of a person's eyes |
US6542081B2 (en) | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
US5748113A (en) * | 1996-08-19 | 1998-05-05 | Torch; William C. | Method and apparatus for communication |
US6847336B1 (en) | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
US6070098A (en) | 1997-01-11 | 2000-05-30 | Circadian Technologies, Inc. | Method of and apparatus for evaluation and mitigation of microsleep events |
WO1998049028A1 (en) | 1997-04-25 | 1998-11-05 | Applied Science Group, Inc. | An alertness monitor |
WO1999005988A2 (en) | 1997-07-30 | 1999-02-11 | Applied Science Laboratories | An eye tracker using an off-axis, ring illumination source |
CA2307877C (en) | 1997-10-30 | 2005-08-30 | The Microoptical Corporation | Eyeglass interface system |
US6055322A (en) | 1997-12-01 | 2000-04-25 | Sensor, Inc. | Method and apparatus for illuminating and imaging eyes through eyeglasses using multiple sources of illumination |
US6088470A (en) | 1998-01-27 | 2000-07-11 | Sensar, Inc. | Method and apparatus for removal of bright or dark spots by the fusion of multiple images |
US6152563A (en) | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
US6614408B1 (en) | 1998-03-25 | 2003-09-02 | W. Stephen G. Mann | Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety |
US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
US6091378A (en) | 1998-06-17 | 2000-07-18 | Eye Control Technologies, Inc. | Video processing methods and apparatus for gaze point tracking |
US6282553B1 (en) | 1998-11-04 | 2001-08-28 | International Business Machines Corporation | Gaze-based secure keypad entry system |
US6433760B1 (en) | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
US7120880B1 (en) | 1999-02-25 | 2006-10-10 | International Business Machines Corporation | Method and system for real-time determination of a subject's interest level to media content |
US6577329B1 (en) | 1999-02-25 | 2003-06-10 | International Business Machines Corporation | Method and system for relevance feedback through gaze tracking and ticker interfaces |
US6820979B1 (en) | 1999-04-23 | 2004-11-23 | Neuroptics, Inc. | Pupilometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, intracranial pressure detection capability, and ocular aberration measurement capability |
US6116736A (en) * | 1999-04-23 | 2000-09-12 | Neuroptics, Inc. | Pupilometer with pupil irregularity detection capability |
US6346887B1 (en) | 1999-09-14 | 2002-02-12 | The United States Of America As Represented By The Secretary Of The Navy | Eye activity monitor |
US6864912B1 (en) | 1999-12-16 | 2005-03-08 | International Business Machines Corp. | Computer system providing hands free user input via optical means for navigation or zooming |
US6758563B2 (en) | 1999-12-30 | 2004-07-06 | Nokia Corporation | Eye-gaze tracking |
WO2001088857A1 (de) | 2000-05-16 | 2001-11-22 | Swisscom Mobile Ag | Biometrisches identifizierungs- und authentifizierungsverfahren |
AUPQ896000A0 (en) | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
US6873314B1 (en) | 2000-08-29 | 2005-03-29 | International Business Machines Corporation | Method and system for the recognition of reading skimming and scanning from eye-gaze patterns |
GB0023172D0 (en) | 2000-09-20 | 2000-11-01 | Minter Kemp Martin J | Wakeup vizor |
JP2002143094A (ja) | 2000-11-07 | 2002-05-21 | Nac Image Technology Inc | 視線検出装置 |
WO2002064031A2 (en) | 2001-02-09 | 2002-08-22 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
DE10108064A1 (de) | 2001-02-20 | 2002-09-05 | Siemens Ag | Verknüpfte Eye-Tracking-Information innerhalb eines Augmented-Reality-Systems |
GB2372683A (en) | 2001-02-23 | 2002-08-28 | Ibm | Eye tracking display apparatus |
US6886137B2 (en) | 2001-05-29 | 2005-04-26 | International Business Machines Corporation | Eye gaze control of dynamic information presentation |
US6959102B2 (en) | 2001-05-29 | 2005-10-25 | International Business Machines Corporation | Method for increasing the signal-to-noise in IR-based eye gaze trackers |
US20030043268A1 (en) | 2001-06-26 | 2003-03-06 | Mann W. Stephen G. | EyeTap vehicle or vehicle controlled by headworn camera, or the like |
GB0119859D0 (en) | 2001-08-15 | 2001-10-10 | Qinetiq Ltd | Eye tracking system |
US6927694B1 (en) | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
US6997556B2 (en) | 2001-10-01 | 2006-02-14 | Ernst Pfleger | Method for detecting, evaluating, and analyzing look sequences |
AUPR872301A0 (en) | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
DE10297574B4 (de) | 2001-12-21 | 2009-09-10 | Sensomotoric Instruments Gmbh | Verfahren und Vorrichtung zur Augenerfassung |
US6659611B2 (en) | 2001-12-28 | 2003-12-09 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
US7197165B2 (en) | 2002-02-04 | 2007-03-27 | Canon Kabushiki Kaisha | Eye tracking using image data |
US7206435B2 (en) | 2002-03-26 | 2007-04-17 | Honda Giken Kogyo Kabushiki Kaisha | Real-time eye detection and tracking under various light conditions |
US6919907B2 (en) | 2002-06-20 | 2005-07-19 | International Business Machines Corporation | Anticipatory image capture for stereoscopic remote viewing with foveal priority |
US6800062B2 (en) * | 2002-07-03 | 2004-10-05 | Epley Research, L.L.C. | Comprehensive vertigo management |
US20040061680A1 (en) | 2002-07-10 | 2004-04-01 | John Taboada | Method and apparatus for computer control |
NL1021496C2 (nl) | 2002-09-19 | 2004-03-22 | Joannes Hermanus Heiligers | Signaleringsinrichting en werkwijze voor het monitoren van alertheid van personen. |
US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
SE524003C2 (sv) | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
US7206022B2 (en) | 2002-11-25 | 2007-04-17 | Eastman Kodak Company | Camera system with eye monitoring |
US6637883B1 (en) | 2003-01-23 | 2003-10-28 | Vishwas V. Tengshe | Gaze tracking system and method |
US7306337B2 (en) | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
AU2003901528A0 (en) | 2003-03-31 | 2003-05-01 | Seeing Machines Pty Ltd | Eye tracking system and method |
JP2004310470A (ja) | 2003-04-07 | 2004-11-04 | Advanced Telecommunication Research Institute International | 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム |
US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
US7391888B2 (en) | 2003-05-30 | 2008-06-24 | Microsoft Corporation | Head pose assessment methods and systems |
US7145550B2 (en) | 2003-08-08 | 2006-12-05 | Lucent Technologies Inc. | Method and apparatus for reducing repetitive motion injuries in a computer user |
US20050047629A1 (en) | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
US8064647B2 (en) | 2006-03-03 | 2011-11-22 | Honeywell International Inc. | System for iris detection tracking and recognition at a distance |
KR20050025927A (ko) | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
JP4179968B2 (ja) * | 2003-11-13 | 2008-11-12 | 花王株式会社 | リラックス感評価用瞳孔対光反応計測具 |
WO2005046465A1 (en) | 2003-11-14 | 2005-05-26 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
US7963652B2 (en) | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
US7365738B2 (en) | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
US7561143B1 (en) | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
GB2412431B (en) | 2004-03-25 | 2007-11-07 | Hewlett Packard Development Co | Self-calibration for an eye tracker |
US7331671B2 (en) | 2004-03-29 | 2008-02-19 | Delphi Technologies, Inc. | Eye tracking method based on correlation and detected eye movement |
US20110077548A1 (en) | 2004-04-01 | 2011-03-31 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
PT1607840E (pt) | 2004-06-18 | 2015-05-20 | Tobii Ab | Controlo ocular de um computador |
JP4560368B2 (ja) | 2004-10-08 | 2010-10-13 | キヤノン株式会社 | 眼検出装置および画像表示装置 |
WO2006074434A2 (en) * | 2005-01-06 | 2006-07-13 | University Of Rochester | Systems and methods for improving visual discrimination |
US7676063B2 (en) | 2005-03-22 | 2010-03-09 | Microsoft Corp. | System and method for eye-tracking and blink detection |
US7364306B2 (en) * | 2005-06-20 | 2008-04-29 | Digital Display Innovations, Llc | Field sequential light source modulation for a digital display system |
CA2613999C (en) | 2005-08-11 | 2013-01-15 | Sleep Diagnostics Pty Ltd | Alertness sensing spectacles |
US7580545B2 (en) | 2005-10-03 | 2009-08-25 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for determining gaze direction in a pupil detection system |
WO2007056287A2 (en) | 2005-11-04 | 2007-05-18 | Eye Tracking, Inc. | Generation of test stimuli in visual media |
JP4921486B2 (ja) | 2005-11-30 | 2012-04-25 | シーイング・マシーンズ・プロプライエタリー・リミテッド | 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡 |
US7522344B1 (en) | 2005-12-14 | 2009-04-21 | University Of Central Florida Research Foundation, Inc. | Projection-based head-mounted display with eye-tracking capabilities |
DE102006002001B4 (de) | 2006-01-16 | 2009-07-23 | Sensomotoric Instruments Gmbh | Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung |
US7747068B1 (en) | 2006-01-20 | 2010-06-29 | Andrew Paul Smyth | Systems and methods for tracking the eye |
ES2605367T3 (es) | 2006-01-26 | 2017-03-14 | Nokia Technologies Oy | Dispositivo de seguimiento ocular |
EP1979802A4 (en) | 2006-02-01 | 2013-01-09 | Tobii Technology Ab | CREATING GRAPHIC FEEDBACK IN A COMPUTER SYSTEM |
WO2007092512A2 (en) | 2006-02-07 | 2007-08-16 | Attention Technologies, Inc. | Driver drowsiness and distraction monitor |
WO2007125794A1 (ja) * | 2006-04-27 | 2007-11-08 | Konica Minolta Holdings, Inc. | データ測定装置及びデータ測定方法 |
JP4728886B2 (ja) * | 2006-06-20 | 2011-07-20 | 日本電信電話株式会社 | 知覚情報提示装置 |
US7542210B2 (en) | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
US7986816B1 (en) | 2006-09-27 | 2011-07-26 | University Of Alaska | Methods and systems for multiple factor authentication using gaze tracking and iris scanning |
US7646422B2 (en) | 2006-10-04 | 2010-01-12 | Branislav Kisacanin | Illumination and imaging system with glare reduction and method therefor |
US8225229B2 (en) | 2006-11-09 | 2012-07-17 | Sony Mobile Communications Ab | Adjusting display brightness and/or refresh rates based on eye tracking |
SE0602545L (en) | 2006-11-29 | 2008-05-30 | Tobii Technology Ab | Eye tracking illumination |
US7783077B2 (en) | 2006-12-01 | 2010-08-24 | The Boeing Company | Eye gaze tracker system and method |
KR100850357B1 (ko) | 2006-12-06 | 2008-08-04 | 한국전자통신연구원 | 시선 위치 추적 방법 및 그 장치 |
US20080166052A1 (en) | 2007-01-10 | 2008-07-10 | Toshinobu Hatano | Face condition determining device and imaging device |
US9618748B2 (en) | 2008-04-02 | 2017-04-11 | Esight Corp. | Apparatus and method for a dynamic “region of interest” in a display system |
CA2685976C (en) | 2007-05-23 | 2013-02-19 | The University Of British Columbia | Methods and apparatus for estimating point-of-gaze in three dimensions |
JP3137375U (ja) * | 2007-09-10 | 2007-11-22 | 株式会社ニューオプト | 瞳孔撮像装置 |
US7556377B2 (en) | 2007-09-28 | 2009-07-07 | International Business Machines Corporation | System and method of detecting eye fixations using adaptive thresholds |
US20090196460A1 (en) | 2008-01-17 | 2009-08-06 | Thomas Jakobs | Eye tracking system and method |
US8494229B2 (en) | 2008-02-14 | 2013-07-23 | Nokia Corporation | Device and method for determining gaze direction |
TW200947262A (en) | 2008-05-05 | 2009-11-16 | Utechzone Co Ltd | Non-contact type cursor control method using human eye, pupil tracking system and storage media |
TW201001236A (en) | 2008-06-17 | 2010-01-01 | Utechzone Co Ltd | Method of determining direction of eye movement, control device and man-machine interaction system |
WO2010003410A1 (en) | 2008-07-08 | 2010-01-14 | It-University Of Copenhagen | Eye gaze tracking |
US20100021806A1 (en) * | 2008-07-09 | 2010-01-28 | Mphase Technologies, Inc. | Reserve Battery |
RU2011106031A (ru) | 2008-07-18 | 2012-08-27 | Опталерт Пти Лтд (Au) | Чувствительное устройство активного состояния |
US7736000B2 (en) | 2008-08-27 | 2010-06-15 | Locarna Systems, Inc. | Method and apparatus for tracking eye movement |
JP2010063621A (ja) * | 2008-09-10 | 2010-03-25 | Koichi Kikuchi | 視認情景に対する視認者感性反応装置 |
TWI432172B (zh) | 2008-10-27 | 2014-04-01 | Utechzone Co Ltd | Pupil location method, pupil positioning system and storage media |
CA2743369C (en) | 2008-11-13 | 2016-09-06 | Queen's University At Kingston | System and method for integrating gaze tracking with virtual reality or augmented reality |
US20100128118A1 (en) | 2008-11-26 | 2010-05-27 | Locarna Systems, Inc. | Identification of visual fixations in a video stream |
WO2010071928A1 (en) | 2008-12-22 | 2010-07-01 | Seeing Machines Limited | Automatic calibration of a gaze direction algorithm from user behaviour |
JP5456791B2 (ja) | 2009-01-26 | 2014-04-02 | トビー・テクノロジー・アーベー | 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法 |
US7819525B2 (en) | 2009-02-15 | 2010-10-26 | International Business Machines Corporation | Automatic direct gaze detection based on pupil symmetry |
WO2010102037A2 (en) | 2009-03-03 | 2010-09-10 | The Ohio State University | Gaze tracking measurement and training system and method |
WO2010106414A1 (en) | 2009-03-16 | 2010-09-23 | Nokia Corporation | A controller for a directional antenna and associated apparatus and methods |
TWI398796B (zh) | 2009-03-27 | 2013-06-11 | Utechzone Co Ltd | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking |
EP2237237B1 (en) | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
EP2236074B1 (en) | 2009-04-01 | 2021-05-26 | Tobii AB | Visual display with illuminators for gaze tracking |
US20120105486A1 (en) | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
US20100295774A1 (en) | 2009-05-19 | 2010-11-25 | Mirametrix Research Incorporated | Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content |
GB0909126D0 (en) | 2009-05-27 | 2009-07-01 | Qinetiq Ltd | Eye tracking apparatus |
US8320623B2 (en) | 2009-06-17 | 2012-11-27 | Lc Technologies, Inc. | Systems and methods for 3-D target location |
ES2669058T3 (es) | 2009-07-16 | 2018-05-23 | Tobii Ab | Sistema y método de detección ocular que usa flujo de datos secuencial |
TWI397865B (zh) | 2009-08-12 | 2013-06-01 | Utechzone Co Ltd | Security personnel to monitor the degree of focus monitoring system |
US20120314045A1 (en) | 2009-08-26 | 2012-12-13 | Ecole Polytechnique Federale De Lausanne (Epfl) | Wearable systems for audio, visual and gaze monitoring |
US8323216B2 (en) | 2009-09-29 | 2012-12-04 | William Fabian | System and method for applied kinesiology feedback |
EP2309307B1 (en) | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
US20110170061A1 (en) | 2010-01-08 | 2011-07-14 | Gordon Gary B | Gaze Point Tracking Using Polarized Light |
US9507418B2 (en) | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
US8552850B2 (en) | 2010-02-17 | 2013-10-08 | Honeywell International Inc. | Near-to-eye tracking for adaptive operation |
US20110262887A1 (en) | 2010-04-21 | 2011-10-27 | Lc Technologies Inc. | Systems and methods for gaze based attention training |
CN101901485B (zh) | 2010-08-11 | 2014-12-03 | 华中科技大学 | 3d自由头动式视线跟踪*** |
WO2012021967A1 (en) | 2010-08-16 | 2012-02-23 | Tandemlaunch Technologies Inc. | System and method for analyzing three-dimensional (3d) media content |
US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
WO2012083415A1 (en) | 2010-11-15 | 2012-06-28 | Tandemlaunch Technologies Inc. | System and method for interacting with and analyzing media on a display using eye gaze tracking |
US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
JP6197613B2 (ja) | 2013-12-02 | 2017-09-20 | 富士通株式会社 | 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム |
-
2011
- 2011-05-20 US US13/113,006 patent/US8911087B2/en active Active
-
2012
- 2012-05-19 EP EP12789063.0A patent/EP2710515B1/en active Active
- 2012-05-19 CN CN201280034244.0A patent/CN103748599B/zh active Active
- 2012-05-19 CA CA2836779A patent/CA2836779C/en active Active
- 2012-05-19 JP JP2014512906A patent/JP6129161B2/ja active Active
- 2012-05-19 WO PCT/US2012/038744 patent/WO2012162205A2/en active Application Filing
-
2014
- 2014-12-12 US US14/569,303 patent/US9931069B2/en active Active
-
2018
- 2018-02-15 US US15/897,580 patent/US10820850B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040239878A1 (en) * | 2001-06-05 | 2004-12-02 | Gordon Bradley | Apparatus and method for testing visual response |
US20070299362A1 (en) * | 2002-07-03 | 2007-12-27 | Epley Research, Llc | Stimulus-evoked vestibular evaluation system, method and apparatus |
WO2005094667A2 (en) * | 2004-04-01 | 2005-10-13 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
US20070066916A1 (en) * | 2005-09-16 | 2007-03-22 | Imotions Emotion Technology Aps | System and method for determining human emotion by analyzing eye properties |
US20080309616A1 (en) * | 2007-06-13 | 2008-12-18 | Massengill R Kemp | Alertness testing method and apparatus |
US20100118128A1 (en) * | 2008-11-10 | 2010-05-13 | Samsung Electronics Co., Ltd. | Display system, display apparatus and control method thereof |
Cited By (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107087431A (zh) * | 2014-05-09 | 2017-08-22 | 谷歌公司 | 用于辨别眼睛信号和连续生物识别的***和方法 |
US10206568B2 (en) | 2014-05-23 | 2019-02-19 | Natus Medical Incorporated | Head mountable device for measuring eye movement |
CN112869702A (zh) * | 2014-05-23 | 2021-06-01 | 纳特斯医疗有限公司 | 测量眼球运动的可头戴装置 |
CN107411701A (zh) * | 2014-05-23 | 2017-12-01 | Gn尔听美公司 | 测量眼球运动的可头戴装置 |
CN107072528A (zh) * | 2014-08-20 | 2017-08-18 | 加州浸会大学 | 用于监测眼睛健康的***和方法 |
CN104325930A (zh) * | 2014-11-05 | 2015-02-04 | 无锡悟莘科技有限公司 | 一种防止疲劳驾驶的汽车控制*** |
CN106922182A (zh) * | 2014-11-14 | 2017-07-04 | 埃西勒国际通用光学公司 | 确定眼睛的显著点的位置和跟踪眼镜配戴者的注视方向的设备和方法 |
US10288910B2 (en) | 2014-11-14 | 2019-05-14 | ESSILOR INTERNATIONAL Charenton-le-Pont | Devices and methods for determining the position of a characterizing point of an eye and for tracking the direction of the gaze of a wearer of spectacles |
CN107209384A (zh) * | 2015-01-20 | 2017-09-26 | 微软技术许可有限责任公司 | 具有抗压组件的头戴式显示器设备 |
CN106125876A (zh) * | 2015-05-07 | 2016-11-16 | 现代自动车株式会社 | 电子设备及其显示器控制方法 |
CN107847129A (zh) * | 2015-06-04 | 2018-03-27 | 王经富 | 脑疾病快速筛检装置 |
CN106333643A (zh) * | 2015-07-10 | 2017-01-18 | 中兴通讯股份有限公司 | 用户健康的监测方法、监测装置以及监测终端 |
US11033204B2 (en) | 2015-09-18 | 2021-06-15 | Suricog | Method for determining an ophthalmological parameter |
CN108369448A (zh) * | 2015-09-18 | 2018-08-03 | 苏里科格公司 | 用于确定眼科参数的方法 |
CN105380590A (zh) * | 2015-10-27 | 2016-03-09 | 杭州镜之镜科技有限公司 | 一种具有眼位检测功能的设备及其实现方法 |
CN108369338A (zh) * | 2015-12-09 | 2018-08-03 | 快图有限公司 | 图像采集*** |
CN108369338B (zh) * | 2015-12-09 | 2021-01-12 | 快图有限公司 | 图像采集*** |
CN108701227A (zh) * | 2016-03-07 | 2018-10-23 | 奇跃公司 | 用于生物安全的蓝光调节 |
US11288350B2 (en) | 2016-03-07 | 2022-03-29 | Magic Leap, Inc. | Blue light adjustment for biometric security |
CN107536598A (zh) * | 2016-06-29 | 2018-01-05 | 沈阳新松机器人自动化股份有限公司 | 双目视觉瞳孔定位方法及相关设备 |
CN106037626A (zh) * | 2016-07-12 | 2016-10-26 | 吴越 | 一种头戴式视野检查仪 |
US11281288B2 (en) | 2016-09-22 | 2022-03-22 | Apple Inc. | Eye and head tracking |
CN109716268A (zh) * | 2016-09-22 | 2019-05-03 | 苹果公司 | 眼部和头部跟踪 |
CN109863502A (zh) * | 2016-11-10 | 2019-06-07 | 纽诺创科技术公司 | 将图像拍摄设备与人类用户相关联以分析认知能力的方法和*** |
CN106725530B (zh) * | 2016-12-03 | 2019-12-24 | 深圳市博沃思文化传播有限公司 | 基于视线的心理辅助分析***和方法 |
CN106725530A (zh) * | 2016-12-03 | 2017-05-31 | 西安科锐盛创新科技有限公司 | 基于视线的心理辅助分析***和方法 |
CN106669139A (zh) * | 2016-12-03 | 2017-05-17 | 西安科锐盛创新科技有限公司 | 一种电竞比赛选手的辅助选拔方法 |
CN106669139B (zh) * | 2016-12-03 | 2019-12-27 | 浙江大学台州研究院 | 一种电竞比赛选手的辅助选拔方法 |
CN108378820A (zh) * | 2017-02-03 | 2018-08-10 | 祥明大学校产学协力团 | 测量基于非接触视觉的认知疲劳的方法和*** |
CN106725290A (zh) * | 2017-03-10 | 2017-05-31 | 三峡大学 | 一种缆机驾驶员应激能力测试方法 |
CN106773069A (zh) * | 2017-03-30 | 2017-05-31 | 郭田生 | 一种自动调节光照强度与频率来缓解心理疾病的vr眼镜 |
CN107238003A (zh) * | 2017-07-19 | 2017-10-10 | 广州新诚生物科技有限公司 | 智能头灯 |
WO2019015612A1 (zh) * | 2017-07-19 | 2019-01-24 | 广州新诚生物科技有限公司 | 智能头灯 |
CN107392153B (zh) * | 2017-07-24 | 2020-09-29 | 中国科学院苏州生物医学工程技术研究所 | 人体疲劳度判定方法 |
CN107392153A (zh) * | 2017-07-24 | 2017-11-24 | 中国科学院苏州生物医学工程技术研究所 | 人体疲劳度判定方法 |
CN107519622A (zh) * | 2017-08-21 | 2017-12-29 | 南通大学 | 基于虚拟现实与眼动追踪的空间认知康复训练***和方法 |
CN109464236A (zh) * | 2017-09-08 | 2019-03-15 | 拉碧斯半导体株式会社 | 护目镜式显示装置、视线检测方法以及视线检测*** |
CN109464236B (zh) * | 2017-09-08 | 2022-08-02 | 拉碧斯半导体株式会社 | 护目镜式显示装置、视线检测方法以及视线检测*** |
CN107518871A (zh) * | 2017-10-09 | 2017-12-29 | 中山大学中山眼科中心 | 眼组织测量装置及*** |
CN107944355A (zh) * | 2017-11-13 | 2018-04-20 | 李振芳 | 大数据采集和处理方法 |
CN109839653A (zh) * | 2017-11-29 | 2019-06-04 | 中国辐射防护研究院 | 一种个人眼晶体剂量测量装置及测量方法 |
CN111656304A (zh) * | 2017-12-07 | 2020-09-11 | 艾弗里协助通信有限公司 | 通信方法及*** |
CN111656304B (zh) * | 2017-12-07 | 2023-10-17 | 艾弗里协助通信有限公司 | 通信方法及*** |
CN110119196A (zh) * | 2018-02-07 | 2019-08-13 | 罗克韦尔柯林斯公司 | 头部可佩戴装置、***和方法 |
CN112424790A (zh) * | 2018-07-19 | 2021-02-26 | 三星电子株式会社 | 混合式眼睛***的***和方法 |
CN110968189A (zh) * | 2018-09-28 | 2020-04-07 | 苹果公司 | 作为认知控制信号的瞳孔调制 |
CN109602587A (zh) * | 2019-01-31 | 2019-04-12 | 河南云睛视光科技有限公司 | 一种智能化多功能视光训练仪 |
CN110151184A (zh) * | 2019-04-19 | 2019-08-23 | 昆明依利科特科技有限公司 | 非接触式吸毒人员快速检测***及方法 |
CN112306226A (zh) * | 2019-07-29 | 2021-02-02 | 宏达国际电子股份有限公司 | 眼动跟踪方法、头戴式显示器以及计算机可读存储介质 |
CN112306226B (zh) * | 2019-07-29 | 2024-02-23 | 宏达国际电子股份有限公司 | 眼动跟踪方法、头戴式显示器以及计算机可读存储介质 |
CN111028599A (zh) * | 2019-12-24 | 2020-04-17 | 中国人民解放军第四军医大学 | 一种基于vr技术的军事飞行员口颌心理应激训练*** |
CN111714081A (zh) * | 2020-07-08 | 2020-09-29 | 岭南师范学院 | 基于多波长led光学无损特殊儿童检测仪及检测方法 |
CN112244763A (zh) * | 2020-10-20 | 2021-01-22 | 垒途智能教科技术研究院江苏有限公司 | 一种便于调整的头戴眼镜式眼动仪 |
CN113017632A (zh) * | 2021-03-17 | 2021-06-25 | 陈思 | 一种智慧校园心理咨询辅助方法及*** |
CN113017632B (zh) * | 2021-03-17 | 2022-11-11 | 陈思 | 一种智慧校园心理咨询辅助方法及*** |
CN114690909B (zh) * | 2022-06-01 | 2022-08-16 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、***、计算机可读介质 |
CN114690909A (zh) * | 2022-06-01 | 2022-07-01 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、***、计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2710515B1 (en) | 2018-04-11 |
EP2710515A2 (en) | 2014-03-26 |
CA2836779A1 (en) | 2012-11-29 |
US20160166190A1 (en) | 2016-06-16 |
WO2012162205A2 (en) | 2012-11-29 |
US10820850B2 (en) | 2020-11-03 |
US20120293773A1 (en) | 2012-11-22 |
JP2014515291A (ja) | 2014-06-30 |
US20180184958A1 (en) | 2018-07-05 |
US9931069B2 (en) | 2018-04-03 |
JP6129161B2 (ja) | 2017-05-17 |
WO2012162205A3 (en) | 2013-03-14 |
EP2710515A4 (en) | 2015-02-18 |
CA2836779C (en) | 2019-09-24 |
CN103748599B (zh) | 2017-10-10 |
US8911087B2 (en) | 2014-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103748599B (zh) | 用于测量头部、眼睛、眼睑和瞳孔的反应的***和方法 | |
US11389059B2 (en) | Ocular-performance-based head impact measurement using a faceguard | |
US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
US9101312B2 (en) | System for the physiological evaluation of brain function | |
US9895100B2 (en) | Eye movement monitoring of brain function | |
US11504051B2 (en) | Systems and methods for observing eye and head information to measure ocular parameters and determine human health status | |
US8668337B2 (en) | System for the physiological evaluation of brain function | |
US5880812A (en) | Method and apparatus for evaluating and mapping visual field | |
US10602927B2 (en) | Ocular-performance-based head impact measurement using a faceguard | |
CN105592798A (zh) | 用于多模态生理刺激和脑健康的评估的***及签名 | |
CN104159497A (zh) | 用于评估视觉***的功能的方法及其装置 | |
US20180206773A1 (en) | Dynamic assessment and rehabilitation system for vertigo patients and the application method thereof | |
US20210045628A1 (en) | Methods, systems, and computer readable media for testing visual function using virtual mobility tests | |
KR20210088898A (ko) | 가상현실 내 시선추적을 기반으로 하는 의식장애평가장치 및 방법 | |
US20230103276A9 (en) | Impairement screening system and method | |
US20240156189A1 (en) | Systems and methods for using eye imaging on face protection equipment to assess human health | |
KR102570505B1 (ko) | 가상현실 기반 시선추적을 통한 의식장애평가장치 | |
US12042294B2 (en) | Systems and methods to measure ocular parameters and determine neurologic health status | |
US20230210442A1 (en) | Systems and methods to measure ocular parameters and determine neurologic health status | |
EP4197425A1 (en) | Determining a visual performance of an eye of a person | |
Malla | Automated video-based measurement of eye closure using a remote camera for detecting drowsiness and behavioural microsleeps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20181105 Address after: American California Patentee after: Google limited liability company Address before: The United States Nevada Patentee before: EYEFLUENCE INC |