CN114503011A - 跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用 - Google Patents

跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用 Download PDF

Info

Publication number
CN114503011A
CN114503011A CN202080070378.2A CN202080070378A CN114503011A CN 114503011 A CN114503011 A CN 114503011A CN 202080070378 A CN202080070378 A CN 202080070378A CN 114503011 A CN114503011 A CN 114503011A
Authority
CN
China
Prior art keywords
retina
user
pupil
image
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080070378.2A
Other languages
English (en)
Inventor
约书亚·古尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ijetz Co ltd
Original Assignee
Ijetz Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ijetz Co ltd filed Critical Ijetz Co ltd
Publication of CN114503011A publication Critical patent/CN114503011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • A61B3/135Slit-lamp microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/12Scanning systems using multifaceted mirrors
    • G02B26/129Systems in which the scanning light beam is repeatedly reflected from the polygonal mirror
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/145Housing details, e.g. position adjustments thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • H04N3/08Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only having a moving reflector
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种跟踪扫描激光光学装置,其被配置用于安装在头戴装置中,该头戴装置具有用于定位在用户的眼睛前面的至少一个开口,该装置包括:安装单元、由安装单元支撑以用于引导不可见光穿过瞳孔的不可见光源和由安装单元支撑以用于引导可见光穿过瞳孔以用于写到视网膜上的由安装单元支撑的2D扫描光学器件扫描的视网膜的一部分内的至少一个可见光源。由安装单元支撑的成像装置接收由视网膜反射的至少不可见光并存储其图像,以及与2D扫描光学器件相结合地操作的校准单元确定在2D空间中的原点,该原点用作用于识别视网膜内的一部分的位置的参考点。

Description

跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用
相关申请
本申请要求于2019年10月3日提交的IL 269809的优先权,IL 269809及其附录的全部内容通过引用并入本文。
发明领域
本发明总体上涉及眼跟踪,且特别涉及跟踪扫描激光检眼镜(TSLO)及其应用。
发明背景
扫描激光检眼镜(SLO)利用水平和垂直扫描镜扫描视网膜的特定区域,并产生在电视监视器上可视的光栅图像。传统SLO的一个已知缺点是由眼动引起的数据损坏,使用跟踪扫描激光检眼镜(TSLO)可以克服这一缺点。TSLO***将来自光源的光引导通过受试者的瞳孔到达视网膜上,光从视网膜反射穿过瞳孔,使用合适的软件进行检测和分析,该软件被配置为计算和补偿眼动。然而,这种***仅限于眼睛的小角位移,因为如果受试者的瞳孔旋转得离其初始位置太远,则它将移动到与光源不对准。TSLO***主要用于补偿临床测量期间的轻微震颤,临床测量是在医生的手术中进行的,其中受试者的头部被夹住以防止头部移动,并且在此之前使用滴眼液使瞳孔扩大。这种扩大确保瞳孔足够宽,以致于即使考虑到轻微震颤,它仍将保持与光源对准。
然而,尽管这种假设在临床环境中是有效的,但是在户外环境中却是无效的,在户外环境中,受试者的头部没有被夹住,并且他的目光可以自由游走。在这些情况下,提出了其他形式的眼跟踪。例如,已知在诸如眼镜或头盔的专用头戴装置上安装眼***。瑞典斯德哥尔摩的Tobii AB(publ)市售了一个这样的***,https://www.tobiipro.com/,其使用相机跟踪眼动以在应用中确定视线,诸如识别消费者的视线中的消费产品和提供情境营销促销。
Tobii***通过将光反射到角膜上来跟踪眼动,光从角膜反射并成像,从而允许对注视的方向进行确定。然而,没有视网膜扫描或设备写到视网膜上。
US 20170188021公开了一种视网膜光扫描引擎,其将对应于图像的光写入观察者的视网膜上。视网膜光扫描引擎的光源在任意单个、离散的时刻在视网膜上形成单个光点。在一个示例中,为了形成完整图像,视网膜光扫描引擎使用一种模式来在视网膜上进行扫描或写入以向在一个时间段上对应于图像的数百万个这样的点提供光。
同样已知的是,扫描激光检眼镜(SLO)使用小于传统间接检眼镜所需的光的1/1000来提供视网膜的高质量电视图像。视网膜扫描为无创监测患者的血管提供了理想的工具,其可以作为青光眼、糖尿病、高血压和其他疾病的可靠生物识别。目前,使用SLO进行视网膜扫描的患者是由眼科医生进行检查的,通常需要反复和定期访问眼科医生的诊所。滴眼液用于扩大患者的瞳孔,这一过程通常需要长达十分钟,在此期间患者在候诊室等待,且然后才检查患者的眼睛。在这个检查过程中,患者的注视被引导向检眼镜,并且眼跟踪不是问题。但是,如果可能在医生的指导下患者能够在家进行检查,并将结果传输给医生进行分析,从而为双方节省大量时间,这显然对医生和患者都有很大的好处。到目前为止,还没有提出解决这一需要的办法。
确立注视方向在制导***中也很重要,对此,平视显示器通常用于允许飞行员或炮手将目标与平视显示器的瞄准线对准,因此制导***被配置成将炸弹或其他投射物指向目标。然而,这种***并不能帮助使用步枪的步兵士兵,他们的瞄准器必须与士兵的眼睛呈几何对准,且在这个过程中模糊了他的视力并使他容易受到攻击。
本发明解决的另一个问题涉及诸如蜂窝电话的移动装置显示屏的不良户外可见性以及它们的紧凑尺寸,这使得难以阅读大容量文本。在典型场景中,屏幕图像通过使用拇指和食指“缩放”来放大,但这减少了在任何给定时间显示的文本量。同样,智能手机通常有自动增加对比度的设置,以补偿高亮度的环境条件。但在实践中,它们的有效性有限,尤其是在明亮的阳光条件下。
发明概述
本发明的主要目的是提供一种高度紧凑的眼睛跟踪和扫描装置,该装置可以安装或改装到普通眼镜上。
在一个应用中,这种装置允许患者在家中执行视网膜扫描并将结果传送给他或她的医生。
在另一应用中,这种装置可以用于将视觉信息直接以电子方式传送到视网膜。
在另一应用中,这种装置可以与适用于步兵士兵的自动引导***集成,该自动引导***解决当前目标对准的缺陷。
根据本发明的一个广泛方面通过一种跟踪扫描激光光学装置实现了这些和其他目的,该跟踪扫描激光光学装置被配置用于安装在具有至少一个开口的头戴装置中,该至少一个开口用于定位在用户的眼睛前面,所述跟踪扫描激光光学装置包括:
安装单元,该安装单元与所述头戴装置集成或被配置用于附接到所述头戴装置,
不可见光源,该不可见光源由所述安装单元支撑,该不可见光源用于引导不可见光通过用户的瞳孔,以扫描和成像视网膜的一部分,
至少一个可见光源,该至少一个可见光源由安装单元支撑,该至少一个可见光源用于引导可见光通过瞳孔以写到视网膜上的所述一部分内,
2D扫描光学器件,所述2D扫描光学器件由安装单元支撑,所述2D扫描光学器件用于利用不可见光和可见光扫描视网膜的所述一部分,
成像装置,所述成像装置由安装单元支撑,所述成像装置用于接收由视网膜的所述一部分反射的至少不可见光并存储其图像;以及
校准单元,所述校准单元与2D扫描光学器件相结合地操作,用于在2D空间中确定原点,所述原点用作识别视网膜内的所述一部分的位置的参考点。
优选地,该头戴装置由一幅常规眼镜构成,该一幅常规眼镜包括眼镜框架,该眼镜框架限定一对开口并且具有一对侧臂,所述一对开口中的每个开口用于定位在用户的相应眼睛前面,该眼镜框架具有最大深度不超过5mm的低轮廓。实际上,这意味着根据本发明的装置可以安装在用于矫正视力障碍之类的一副常规眼镜中,使得扫描器与一副传统阅读眼镜难以区分。
不可见光源通常是低能红外激光二极管,其将光引导到受试者的瞳孔中,且光由视网膜通过瞳孔反射回来,并在适当的图像传感器上被检测到。可见光源是可见激光二极管,其直接写到视网膜上。如果需要彩色图像,那么可以采用三位一体的激光二极管来提供R、G、B彩色源。
该2D扫描光学器件包括微机电***,该微机电***可以集成到合适的安装单元中,该安装单元可以固定到常规眼镜框架上。当然,如果用户需要,眼镜框架可以具有矫正镜片;但它可以具有平面玻璃或者甚至是置空的。
校准单元通常包括微型相机,该微型相机用于对空间中的限定对象成像,该限定对象用作限定初始视线角的参考标记。应当记住,通过类比,视网膜可以与具有大量像素的大型图像传感器相比较,根据用户的视场,在任何给定时间,其只有相对小数量的像素可以被照亮。因此,如果用户阅读手持智能手机的显示屏,该显示屏的屏幕在50mm的距离上以3°的角度倾斜,那么与用户在无限大的视场下观察室外景观相比,视网膜暴露在光下的区域要小得多。
因此,当本发明用于医学目的扫描视网膜时,例如,医生必须知道正在扫描视网膜的哪个部分。医生也可能有必要指示患者改变他的注视角度,以便扫描视网膜的特定区域。因此需要校准以建立原点。
附图简述
为了理解本发明以及察看其如何可以在实践中被执行,现在将参照附图、仅通过非限制性示例的方式来对实施例进行描述,其中:
图1是安装在眼镜框架中的根据本发明的实施例的跟踪扫描激光光学装置的图形表示;
图2示意性地示出了跟踪扫描激光光学装置的光学结构;
图3a、图3b和图3c示意性地示出了一个实施例,其中装置被旋转以补偿眼睛的旋转,从而保持装置与瞳孔开口之间的对准;
图4a示意性地示出了相对于用户眼睛定位的装置光学器件的平面图;
图4b示出了图4a中所示的布置与眼镜框架的空间关系,显示了在用户面部和容纳装置光学器件的眼镜框架之间的体积间隙;
图5a到图5d示出了眼镜框架和装置光学器件的不同视图;
图6是在用户面部和眼镜框架之间形成的体积间隙的示意表示,该眼镜框架用于容纳装置光学器件;
图7示意性地示出了图4a中所示的装置光学器件旋转90°,以显示它适于在图6的体积间隙内;
图8a到图8c示出了眼镜框架和微型马达组件的不同视图;
图9示出了本发明用于测量对象范围的应用;
图10图解地示出了本发明用于远程监测战场并向士兵提供命令的应用;
图11a图解地示出了用户在小视场下看到的智能手机;
图11b和图11c图解地示出了佩戴根据本发明的头戴装置的用户在扩展的视场下看到的智能手机;
图11d图解地示出了在扩展的智能手机图像上显示的菜单图标的视线选择;
图12a和图12b示出了与传统视图相比在高环境光条件下使用根据本发明的头戴装置观看智能手机时智能手机的相应图像;
图13是示意性地示出用于与根据本发明的头戴装置一起使用的对象取向附件的框图;
图14图解地示出了士兵佩戴的头戴装置与图13的附件一起使用以用于辅助瞄准武器的用途;
图15图解地示出了本发明在开放空间中用于无GPS的精确导航的用途;
图16图解地示出了本发明在封闭空间中用于无GPS的精确导航的用途;
图17图解地示出了本发明用于对视网膜扫描的动态监测的用途;
图18a和图18b是将对增强现实的传统控制与结合根据本发明的跟踪装置提供的改进控制进行比较的图解表示;
图19是示出本发明用于使用对视网膜的IR扫描来自动校正眼视力和用于在不改变***透镜的情况下增加***放大率的示意表示;
图20示意性地示出了用于补偿眼睛旋转以保持装置和瞳孔开口之间的对准的替代实施例;
图21示意性地示出了由眼睛旋转引起的光学失调(optical misalignment);
图22a、图22b和图22c是解释如何确定眼睛的旋转的光线图;
图23示意性地示出了补偿由眼睛旋转引起的失调的光学***的细节;和
图24a和图24b示意性地示出了光学***的细节。
具体实施方式
在以下对一些实施例的描述中,出现在多于一个图中或共享类似功能的相同部件将通过相同的参考符号引用。
参考图1和图2,其示出了根据本发明的安装在眼镜框架11中的跟踪扫描激光光学装置10。装置10包括安装单元12,该安装单元12被配置用于附接到眼镜框架11,并且装置的各种光学部件固定到安装单元12上。为了说明,安装单元12示意性地在图2中示出。在实践中,如下所述,它可以是以恰当的相对配置支撑光学部件的适当的支架或框架或部分框架,并且其可以在眼镜框架的制造期间或在出售给最终用户之前由眼镜商或其他技术人员将其改装到眼镜框架上。
构成不可见光源的低能红外二极管13由安装单元12支撑,以用于引导不可见光通过用户的瞳孔14,从而扫描和成像视网膜的一部分。构成可见光源的红、绿和蓝(R、G、B)激光二极管15由安装单元12支撑,红、绿、蓝(R、G、B)激光二极管15彼此基本上共线并且与红外二极管13共线,用于引导可见光通过瞳孔以写到视网膜上的相同部分内。实际上,这是通过将每个光源从侧面引导通过与光源发射的光成45°角取向的相应半透明分束器16来实现的。红外二极管13和激光二极管15可以安装在眼镜框架的侧杆(side-bar)中。分束器将光反射90°,使得反射的光束与光源正交,并且每个光束穿过下一个分束器,该下一个分束器直接成直线安装,使得不可见和可见光束共线。为了充分谨慎起见,这里注意到,在优先申请IL 269809中,提交了彩色图纸,并以红、蓝和绿显示了光的代表性光束,从而可以更容易地辨别由眼睛的旋转引起的这些光束的断裂。每一光束都是所有四种光源的组合,并且颜色编码只是为了让光的三种代表性的光束更容易被识别。
构成2D扫描光学器件的微机械扫描器17由安装单元12支撑,用于利用不可见光和可见光扫描视网膜的部分。成像装置18(诸如CCD传感器)由安装单元12支撑,用于接收至少由视网膜反射的不可见光并存储其图像,该图像被用于计算瞳孔相对于已知参考的注视角。构成校准装置的相机19与微机械扫描器17相结合操作,用于确定2D空间中的原点,该原点用作识别视网膜的被扫描部分的位置的参考点。在一些实施例中,安装单元12刚性地附接到眼镜框架11,在这种情况下,相机19也可以由安装单元12支撑。然而,根据其他实施例,安装单元12能够相对于眼镜框架11进行有限的角度旋转。在这种情况下,(在图5中示出并参照图8a-8c描述的)微型马达20安装在眼镜框架11上,并且安装单元12可旋转地联接到马达上。
图2更详细地示意性示出了光学***。因此,不可见光束和可见光束共线地指向第一分束器21,该第一分束器21将它们反射90°到微机械扫描器17。在控制单元(未示出)的控制下,扫描器17沿着两个相互正交的轴反射光束,以覆盖平面半反射的第二分束器22,该第二分束器22在图中仅以横截面示出,并且其表面平行于第一分束器21。入射到第二分束器22的每个点上的光的一部分被反射到凸球面镜23,并由此被反射到平面半反射的第三分束器28,该第三分束器28的表面垂直于第二分束器22的表面。入射到第三分束器28的每个点上的光的一部分被反射到眼睛并通过瞳孔到达视网膜24。因此,当微机械扫描器17引导光穿过第二分束器22的表面时,它被球面镜23和第三分束器28重定向,并扫描视网膜的相对应的区域。这允许我们可以写到在扫描光学器件覆盖的一部分内的视网膜的表面上。
但是我们还需要能够至少将入射在视网膜上的红外光传送回成像装置18,因为这允许我们确定注视的方向。现在将解释实现这一目标的方式。由球面镜23反射的光仅由第三分束器28部分地反射。其余部分通过第三分束器28并会聚到平行于第三分束器28设置的反射器29上,使得其被反射到聚焦透镜30,该聚焦透镜30将其聚焦到成像装置18上。
在描述了装置10的光学器件之后,我们现在将描述使用该装置进行视网膜扫描并将结果传送给医生的示例,医生可能位于远离患者的地方。通常,医生需要扫描视网膜的不同区域,每个区域都具有对于特定疾病的特别相关性的生物特征。为此,必须首先对该装置进行校准,使得扫描光学器件能够对视网膜的特定部分成像。这是通过患者观看定义明确的对象上的固定点并将其位置输入控制器来完成的,该控制器未被示出,但将在后面参考不同应用进行描述。当瞳孔基本上被引导向正前方时,通过眼睛的轻微旋转运动使空间中的对象进入视野,眼睛的轻微旋转运动将瞳孔移动到具有对象的视线中。然后在视网膜的区域上形成对象的图像,当瞳孔完全直视前方时,该区域将位于中心,但当人将其目光向左或向右或向上或向下偏移时,该区域将横向和/或垂直偏移。在本发明的上下文中,应当理解,用户的目光是在不旋转用户的头部的情况下仅由瞳孔的运动确定的。一旦空间中的特定点已经与用户的视线对准,视网膜上的任何已知坐标都可以作为原点,瞳孔的运动可以相对于该原点进行关联。
校准要求医生或其他手术人员通过以下方式在视网膜上标记参考点:将限定原点的标线或等同标记到视网膜上,并指示患者将他的目光指向空间中的固定的且容易识别的点,我们将该固定的且容易识别的点称为校准点,并调整他的目光,直到两个点重合。可以确定引起瞳孔的旋转偏移的用户目光的任何偏移,因为穿过瞳孔并反射回来的红外光将击中图像传感器18上的不同点。由此产生的偏移允许对注视方向上的任何变化进行量化,并用于确定视网膜上相对于预定原点的相对应的偏移。
这允许我们写到视网膜的任何部分上,因为微机械扫描器17可以被控制成使得将光引导向视网膜上相对于已知原点的任何期望点。同时,从视网膜的不同坐标反射的不可见光允许注视的方向被确定。此外,当被用于远程视网膜扫描时,在首先校准装置之后,医生可以通过指示患者向右/向左或向上/向下看来扫描视网膜的其他部分。但是,他也可以将另一个参考点写到视网膜上,该另一个参考点对应于待扫描的新部分的起始部分,且然后指示用户将他的目光指向校准点,直到两个点重合。
在所有情况下,相比于周围组织,视网膜内的血管更容易吸收被引导向视网膜的扫描部分的不可见红外光,且因此从对由成像装置18接收的反射光的分析中容易识别该不可见红外光。
校准单元是外部处理单元的一部分,该外部处理单元也用作扫描组件、电子器件、微型马达和视频控件的控制器。校准执行两个单独的任务:(i)利用可见光将虚拟图像投射到视网膜上,以及然后将眼睛看到的图像与投射的图像进行比较。如果图像重合,则虚拟图像和真实图像被校准。这是通过反射镜的受控移动直到真实图像和虚拟图像重叠来实现的。
但是这样做之后,我们还需要关于注视的角度来校准外部图像(该外部图像现在与虚拟图像对准)。这样做的原因在于,如果瞳孔直视正前方,就会在视网膜的第一部分上形成图像。如果它现在移动一个角度,比如说10°,则将在视网膜的不同部分上形成不同图像——且因此我们需要知道视网膜的新部分在哪里,以便能够将虚拟图像投射到正确的部分上。为了做到这一点,我们用CCD成像装置对反射的不可见光成像,CCD成像装置给我们一张视网膜的图片或图。所以当用户直视前方的时候,我们可以在视网膜上标记与视神经盘相对应的一个点,视神经盘是视网膜的中心部分,其中血管和神经都从该中心部分进入大脑。如果瞳孔现在旋转,则扫描镜也需要旋转,以保持瞳孔在其视线内,并且不可见光将被反射镜反射到视网膜上的不同的点。为了能够写到这个新点,我们需要知道它相对于原点的位置。
因此,校准执行以下步骤:
(a)对从视网膜反射的不可见光成像,以获得视网膜的结构的图像;
(b)处理图像以识别视神经与视网膜交汇的视神经盘;
(c)当用户直视前方时,在视网膜上标记与视神经盘的中心相对应的原点;
(d)确定视网膜上对应于瞳孔的角运动的第二点,该角运动是通过将2D扫描光学器件旋转已知角度(α)来进行跟踪的;和
(e)将2D扫描光学器件旋转的已知角度(α)与在原点和第二点之间的视网膜上的测量位移(d)相关联。
一旦这样做了,可见光可以通过将2D扫描光学器件旋转角度(β),其中
Figure BDA0003583479680000101
而被引导到视网膜上的期望点,该期望点相对于原点移位了距离D。
上述布置适用于所描述的应用类型,原因有两个,这两个原因在一定程度上是重叠的。首先,因为在室内的低环境光条件下,瞳孔充分扩大,以允许不可见光和可见光进入瞳孔并照射视网膜,至少在视网膜的足够大的区域上是有用的。其次,因为只要用户的目光被引导向相当有限角度的视场,瞳孔开口就将足够宽到允许光进入瞳孔并从瞳孔出射到成像装置。当然,这一基本要求可以通过滴眼液来增强以使瞳孔扩大,就像眼科诊所通常做的那样。
但是存在本发明的其他应用,特别是室外用途,其中环境光强度使得瞳孔收缩到使其不可能成像超过视网膜的微小部分的程度。由于眼睛的任何轻微旋转都会使瞳孔偏离与光源的对准,这一缺点进一步加剧。由于瞳孔开口收缩,在眼睛甚至只是轻微旋转时,光斜入瞳孔的余地就更小了。因此,根据本发明的具有微型马达20的另一实施例,跟踪扫描激光光学装置10相对于眼镜框架旋转,以便以关于视网膜逐渐倾斜的角度引导红外光和可见光,从而逐渐扫描视网膜的连续部分。
图3a、图3b和图3c示意性地示出了三个连续扫描。图3a的配置与参照图2所示和描述的相同,即用户的目光直视前方。在这种情况下,如上所解释的扫描视网膜的中心部分。在图3b中,用户将他的目光移向左边,导致他的眼睛旋转约2°,从而使瞳孔与光源未对准。通过在与眼睛相同的方向上旋转扫描装置10,从而光源保持与瞳孔的中心对准,来补偿这种失调。图3b示出了移动的高级阶段,其中用户已经将他的目光进一步移向左侧,导致他的眼睛旋转更多,由此产生的失调通过将扫描装置10旋转等效量来补偿。
一旦如前所述校准了装置,由于成像装置18停止接收任何信号,因此容易确定瞳孔开口与光源之间的失调。由于显然已知在信号丢失之前成像装置上的哪些点被照亮了,因此容易推断出瞳孔的旋转方向。这允许控制器向微型马达20发送调节信号,使得装置旋转跟踪眼睛的旋转,并且成像装置18被连续照亮。
图4a示意性地示出了相对于用户眼睛定位的装置光学器件的平面图。图4b示出了图4a所示的布置与眼镜框架11的空间关系,显示了本发明可行性。图5a到图5d示出了眼镜框架和装置光学器件的不同视图。因此,眼镜框架包括用于支撑镜片的两个安装件35、35',该安装件由支撑在用户鼻子上的鼻梁架36连接。典型地,安装件35、35'是框架,其容纳镜片并且其相应的外边缘37支撑侧臂38,但是镜片也可以悬挂在眼镜框架的上部之下。眼镜框架的内表面和用户面部39之间的间隙(在图5b和图5c中以阴影示出)在鼻梁架的区域中通常可忽略不计,但是对于只有轻微曲率的大多数眼镜框架来说,由于用户面部的更主要曲率,间隙随着从鼻梁架36向框架的外边缘37前进而增加。因此,在用户面部的前面形成一个大致梯形横截面的体积间隙40,该体积间隙与在面部的每一侧和邻近的侧臂之间形成的体积间隙41邻接,并且在图6示意性示出的组合间隙体积42(其尺寸以mm为单位示出)用于容纳不同尺寸的光学部件。
眼镜框架有不同的尺寸,以适应不同体型的人。我们的可行性研究是基于从鼻梁架36的一端到邻近的侧臂的宽度为53mm的中型框架,如图5b所示。图6以内部和外部并列立方体的形式示出了关于右眼的组合体积间隙42,为左眼提供了对称布置。内部和外部立方分别标记为40和41,因为它们相当于前面描述的两个体积间隙。从角膜前部到矫正镜片的后表面的距离(如图所示为20mm的水平距离)称为顶点距离,并且对于给定用户,该顶点距离受眼镜框架在用户鼻子上的位置的影响。眼镜片的设计通常假设眼镜框架的鼻梁架处紧贴在鼻子的顶部,但它滑落下来的情况并不少见。在一些实施例中,本发明通过有意地将鼻梁架置于用户鼻子下方来增加顶点距离,从而允许内部体积间隙40的深度被扩大,尽管仅扩大几毫米,但当空间有限时,这可能是显著的。
为了进一步论证图4a所示光学布置的可行性,图7示出了旋转90°的相同光学布置,从而它出现在与图6相同取向上。球面镜23和第三分束器28位于内部立方体40中。具体地说,球面镜23和第三分束器28安装在眼镜框架的每个开口的相对两侧。在一个实施例中,扫描器17安装在眼镜框架11的鼻梁架36附近,并且球面镜23安装在眼镜框架的侧臂38附近。可选地,球面镜23可以安装在眼镜框架11的鼻梁架36附近,以及扫描器17安装在眼镜框架的侧臂38附近。
CCD传感器18、反射器29和聚焦透镜30位于外部立方体41内。第二分束器22桥接两个立方体。
图8a和图8b分别示出眼镜框架和微型马达组件的部分前视图和平面图,值得注意的是,这些图仅示出眼镜框架与用户的单个眼睛相对应的一侧。同样也可以为第二眼提供对称布置。具有大约4mm宽度的安装框架50附接到眼镜框架的下部镜框,或者提供具有用于支撑马达组件的适当平台的定制框架。为了减轻重量,安装框架50可以由具有与纬线相对应的板条50a、50b、50c的编织结构形成,为了简单起见,未示出经线。安装框架50具有中心孔51,围绕中心孔51的是轴承组件52,轴承组件52在其下表面上固定到安装框架50,并且其上表面支撑安装单元12,扫描器17的光学部件安装在安装单元12上。通过这种方式,安装单元12可以相对于安装框架50旋转。旋转是通过两个线性压电马达20、20'实现的,这两个线性压电马达20、20'能够执行几毫米的推挽冲程,并抵靠附接到安装框架50的配合表面的相应弹性垫54、54'施加力。弹性垫54、54'在由于线性马达的推动运动而作用时轻微压缩,并将线性力传递为旋转力,由此安装框架50在轴承组件52上旋转。旋转的方向是通过适当编程的处理单元(未示出)来控制两个马达中哪一个推动和哪一个拉动来确定的,该处理单元实际上可以在眼镜外部并经由导电滑环55电耦合到马达20、20',该导电滑环55被固定到安装框架的接触件擦刷,因此作为换向器操作。以类似方式,电功率信号和视频信号被输入到支撑在安装单元12上的光学部件并从其被提取,而不需要从马达和光学部件专门连接导线到外部处理器和电池。这允许将马达组件和扫描器组件以一个现成的单元被改装到适当适配的眼镜框架上,而不需要焊接或以其他方式将连接导线附接到马达组件和扫描器组件。
安装单元12支撑红外二极管13和CCD传感器18,其功率信号和视频信号经由滑环55耦合到外部处理器,以便当瞳孔旋转并被扫描组件跟踪时,视网膜的相对应的图像被CCD传感器18成像并被馈送到外部处理器用于后续处理和分析。
在描述了扫描装置之后,我们现在将描述可以使用该装置实现的多种应用,这些应用利用了本发明的非常高的视网膜扫描精度。在试验中,确定视网膜扫描可以在8μm的分辨率内被测量。因此,假设眼睛在无穷远聚焦时的焦距为25mm,这转化为以下的角分辨率:
Figure BDA0003583479680000131
这表明,本发明提供的视网膜扫描的角分辨率为32mrad,即扫描装置可以测量瞳孔的角位移,精度小于0.5mrad。
图9示意性地示出了一种测距仪,该测距仪允许佩戴根据本发明的装置的用户查看远处对象并确定其范围,即对象与用户的距离。当聚焦在远处对象的同时直视该对象时,每只眼睛的相应瞳孔都旋转一个小角度,直到两条视线会聚。如上所述,每个瞳孔的角运动导致在视网膜的相对于校准原点移位的一部分上形成相应图像,并且移位允许每个瞳孔的角旋转被确定。
由于瞳孔间距离已知,则对象的范围很容易如下进行计算:
Figure BDA0003583479680000141
Figure BDA0003583479680000142
其中:d是瞳孔间距离,
R是范围,并且
α是瞳孔的测量的角旋转。
当范围较大时,角度α较小,并且tan(α)近似等于α的弧度度量,即
Figure BDA0003583479680000143
与基于角膜测量的传统装置(其精度为0.5°,对应于8.5mrad)相比,根据本发明的装置能够以十分之几弧度的精度测量瞳孔角,在精度上产生了20倍的提高。
图10图解地示出了本发明的应用,该应用被指挥控制中心使用来远程监视战场以指挥一个或更多个基本上静止的士兵60a、60b,每个士兵佩戴根据本发明的头戴装置,以在包括两个或更多个目标62a-62d的射击范围61内向指定目标开火。指挥控制中心与所有士兵进行无线通信,并且远程控制如下所示:
(a)为每名士兵分配相应的唯一的身份和显示符号(63a、63);
(b)获得示出所有士兵的相应位置的战场的图像;
(c)依次引导每个士兵注视至少一名另外的士兵,并确定每对士兵之间的相应距离;
(d)依次引导每个士兵注视在士兵的射击范围内的所有目标;
(e)重复(c)和(d),直到知道所有士兵之间的相应距离,从而能够确定识别士兵和每个士兵的射击范围内的目标的战场平面图;和
(f)依次为每个士兵在相应士兵的射程内的所有目标中确定合适的目标,并传送预先分配的显示符号,使得该预先分配的显示符号被写到士兵的视网膜上指向所选目标的位置处。
指挥中心和士兵头戴装置之间的通信以无线方式实现,例如经由RF或IR。指挥中心可以远离战场,而对每名士兵的本地命令可以由战场上的指挥官传送。指挥官或遥控器可以配备有具有触摸屏的计算机,允许其操作者通过触摸选择目标并触摸所选士兵的图像,从而使适当的符号被写到所选士兵的视网膜上识别所选目标的位置处。
图11a图解地示出了传统智能手机65,其被手持在距用户66例如50cm的距离处。假设智能手机的宽度是7cm,视场在其屏幕对着大约8°的视角的角度上扩展,从而仅在用户的视网膜的窄部分上形成图像。每个菜单图标67仅占据图像的一小部分,并且显示的图标越多,它们显示得越小。这对可以同时有意义地显示的图标数量施加了实际限制。
图11b和图11c描绘了根据本发明的头戴装置的用途,借此通过在扩展角度上扫描屏幕的高分辨率数字图像以在视网膜的较大部分上形成图像来克服这一限制,从而呈现看起来从远程位置发出的放大虚拟图像68。这允许用户舒适地看到智能手机的虚拟图像69,该虚拟图像具有比正常使用下所能容纳的多得多的图标。
图11d示出了智能手机屏幕的放大细节70,其中当用户将她的视线71固定在期望图标上时,通过跟踪瞳孔,可以通过用户发出向头戴装置传送信号的适当控制来选择图标,由此可以根据屏幕的已知布局和所选图标在其上相对于预定原点的角位置来识别所选图标。
图12a示出了另一个优点在于因为智能手机的屏幕是直接写到视网膜上的虚拟图像,所以它的可见性不依赖于图像对比度,并且甚至在全日光下显示也是清晰的。图12b示出了其中图标难以辨认的传统智能手机。
图13示意性地示出了可以与图14中所示的士兵佩戴的根据本发明的头戴装置结合使用的对象取向附件80,以用于辅助瞄准武器,并从后部准确地射击远程目标,而不像传统的那样将武器对准眼睛进行瞄准。对象取向附件80被安装在头戴装置的侧臂上,并且允许在远离用户眼睛的空间中确定对象81(例如手持武器)的3D球面坐标(r,θ,φ)。对象取向附件80包括两个激光二极管82、82′,每个激光二极管被配置用于将光的相应光束83、83′导向对象上的不同点84、84′。提供了两个检测器85、85',每个检测器被配置用于检测来自对象上对应点的光束的相应反射86、86',并且提供区域传感器87来对对象的表面成像。处理器88耦合到检测器85、85'并且区域传感器87被配置为测量由光束83、83'传播的相应距离(r1,r2),并由此确定对象相对于头戴装置的偏航角(yaw)(θ),该处理器还被配置为扫描图像传感器并由此确定对象相对于头戴装置的间距(pitch)(φ)。
当头戴装置由如图5a所示的眼镜实现时,激光二极管82、82'、检测器85、85'和区域传感器87可以安装在眼镜框架11的侧臂38中,使得激光二极管82、82'、检测器85、85'被引导向武器。为了提高灵敏度,适当的光敏膜90(如图14所示)可以附接到武器的表面,使得当武器保持在适当的射击取向时,光敏膜被引导向眼镜框架的侧臂上。在使用中,两个目标符号在头戴式显示器(HMD)上呈现给士兵的眼睛。第一符号表示士兵眼睛的瞳孔的方向或显示器上参考线的方向,而第二符号表示枪相对于第一符号的取向。以此方式,士兵能够匹配两个目标符号并进行射击,从而在不使用武器瞄准器的情况下击中目标,该瞄准器隐藏视场并可能危及士兵。同样的技术可以被扩展成只要武器的光敏表面保持在激光二极管和检测器的视线内就允许士兵在不暴露自己的情况下引导其武器绕过拐角。
同样的原理也可以适用于装有用于拍摄在远处顺序出现的事件长焦镜头的相机,允许摄影师连续拍摄多个事件,如果使用相机取景器,这是不可能的,因为它隐藏了总的视场。例如,想要拍摄飞行中的鸟类的野生动物摄影师所面临的问题与追踪敌兵的狙击手所面临的问题基本相同(当然,虽然后果完全不同)。如果摄影师不得不把相机对准其眼睛并且通过长焦镜头跟踪鸟,那么他们也容易失去对鸟的跟踪。本发明为摄影师提供了额外的自由度,摄影师现在可以将相机和附加的长焦镜头保持在胸部高度,并通过眼睛跟踪鸟,同时调整相机和长焦镜头的取向,使鸟保持在照相机镜头的视线内。
图15图解地示出了本发明的在开放空间中在无GPS的情况下精确导航的用途。假设我们具有区域的高分辨率的精确地形图,诸如Street ViewTM。进一步假设我们具有图像处理软件,其可以识别所选对象上的参考的边缘或点。在使用中,在如上所述耦合到用户头戴装置的软件应用的控制下,用户被引导将他的视线设置在远处场景中的独特地标上,诸如建筑物、树、塔等。用户可以选择远处景观中具有至少三个独特特征的单个对象,或者可选地选择每个具有单个独特特征的三个不同对象,或者选择混合对象。重要的是,用户能够将他或她的视线与远处场景中的三个独特特征对准,并将这些特征识别给跟踪软件。在图中,用户95将她的目光引导向具有独特边缘的远处建筑物96,并且在软件应用的控制(该软件应用可以是智能手机应用或适当编程的手持计算机或PDA等)下,向软件应用发出所选建筑物的信号。这可以使用便携式装置中的专用软件键来完成,通常使用触摸屏。但它也可以是硬件装置,诸如鼠标按钮或等同物。该软件识别诸如拐角97的一个或更多个独特特征,且然后叠加具有与所识别的特征对准的十字线的引导标记98。用户95现在将她的视线与引导标记98对准,并向软件应用程序发出表明她的目光与特征97精确对准的信号。用户头戴装置中的扫描装置根据预校准法线(如上所述)确定目光的精确角度,并由此能够将所识别的特征在空间中的精确位置与用户视网膜上的坐标相关联。该相同过程重复至少两次,以便总共识别空间中的至少三个独特特征,并且它们的精确位置与用户视网膜上的已知坐标相关联。
使用三角测量,现在可以计算用户相对于所选地标的位置,并将用户的目光与远处场景映射。当用户现在将她的视线引导向场景中的任何其他特征时,软件通过使用扫描装置测量注视的角度,可以准确地确定用户在空间中正在看的位置。同时,用户可以将她需要引导到的地标识别给软件应用,并且软件可以确定合适的路线并相应地引导她。这样做不需要知道她在空间中的精确位置,且因此不需要GPS。
图16图解地示出了上述技术的扩展,其用于在封闭空间(诸如购物中心)中不使用GPS进行精确导航。同样,假设购物中心的内部被精确绘制地图。用户95向其智能手机中的软件应用识别诸如商店的建筑物100。该软件应用识别建筑物的独特特征并在其明确定义的几何特征处显示引导标记,用户在其视线内对准其中的每一个,并在该软件应用的控制下确认对准。这是针对至少三个特征完成的,因此软件能够计算用户相对于所选建筑物的位置。如在图15,用户可以在软件应用的控制下选择购物中心中的任何其他建筑物,以及该应用现在可以使用简单的视觉或声音命令来引导她。
图17图解地示出了本发明用于视网膜扫描的动态监测的用途,其中佩戴根据本发明的头戴装置的用户95在软件应用的引导下,使用诸如智能手机101的计算机装置在家中执行视网膜扫描,并通过因特网103将视网膜扫描传送到远程服务器102。远离用户的眼科医生接收视网膜扫描,并且可以远程地将引导标记写到其视网膜上,用于引导其使其视线与该引导标记对准。所产生的瞳孔旋转由2D扫描装置跟踪,从而允许视网膜的不同部分被扫描。通过这种方法,可以获得多个视网膜扫描,而不需要用户亲自参加医生的手术。
图18a和图18b是将增强现实的传统控制与结合根据本发明的跟踪装置提供的改进控制进行比较的图解表示。因此,如在图18a描绘的传统AR场景中所示,用户指向他想要移动的所选对象。在这样做时,他的手指模糊了图像。本发明允许佩戴根据本发明的跟踪装置的用户跟踪该对象,并在该对象与其注视方向对准时选择该对象,如图18b中所示。AR应用软件与跟踪装置结合操作以识别所选对象,并且可以跟随用户的目光将其重新定位在由用户的视线所识别的新位置。
图19是示出本发明用于使用视网膜的IR扫描来自动校正眼视力和用于在不改变***透镜的情况下增加***放大率的示意表示。如果用户的视力不佳,则眼睛看到的对象会在视网膜上形成模糊或失焦的图像。通常,这是通过靠近眼睛安装外部凸透镜或凹透镜,使来自对象的光聚焦在视网膜上来校正的。本发明如下操作以提供损伤的自动校正。光学扫描器17操作以将可见LED光引导向视网膜,从而创建位于无穷远处的虚拟对象的图像。但是,当利用IR激光在视网膜上写入时,眼睛的像差也会导致图像模糊,以及反射的光束穿过眼睛晶状体也会导致像差的产生。因此,眼睛在有或没有眼镜片的情况下看到的模糊出现在CCD传感器18上的图像中。为了避免这种情况,图19所示的***包括电子快门105,该电子快门105包括一对偏振元件105'和105”,该一对偏振元件105’和105”的偏振可以由处理器88以电子方式控制。当元件105'和105”的相应偏振相同时,快门105是光学透明的,并且用户看到外部场景的正常真实图像。当元件105'和105”的相应偏振相互正交时,快门105在光学上是不透明的,并且用户只看到写到视网膜上的虚拟图像。该虚拟图像由相机19(如图1所示)捕获,并经由扫描装置通过聚焦透镜(未示出)聚焦到视网膜24上,聚焦透镜可以安装在眼镜框架中或与眼镜框架具有适当的空间关系。聚焦透镜使得虚拟图像精确地聚焦到视网膜上,而不管眼睛的像差如何。现在可以通过将在光学宽门105关闭时聚焦良好的图像与如光学快门105打开所见的受损图像相比,解析地重建模糊。在解析地重建像差后,我们可以计算如何改变对象的扫描以使模糊最小化。这可以通过调整视场和分辨率来实现,以便产生具有更多像素的虚拟图像,并因此看起来比原本获得的更清晰。
类似地,为了改变***的放大率,我们相应地改变视场、扫描角度和扫描器分辨率。具体地,为了提高放大率,我们减小视场并提高分辨率。分辨率是扫描器17的扫描密度的函数。
图19的***还可以用于自动控制液体校正透镜的焦距,以确保由液体透镜聚焦到用户视网膜上的图像是清晰的。在这种情况下,用户看不到虚拟图像,而是通过液体校正透镜看到场景的真实图像,液体校正透镜的焦距被实时调整以在视网膜上产生聚焦良好的图像。
本发明的其他用途包括提醒佩戴该头戴装置的用户即将发生的危险,该危险表现为不自觉地偏离预定的注视方向。例如,跟踪软件可以确定司机的目光是否游离,并提醒他他在驾驶时睡着了。在另一应用中,检测前方障碍物的车辆引导***可以与司机的头戴装置中的跟踪装置相结合地操作,并在他将他的目光从障碍物上移开时提醒他。
在另一应用中,会议与会者可以远程参与有组织的电话会议。每个与会者的图像被传送给每个参与者,并投射到每个人的视网膜上,以便他们同时看到所有与会者。每个参与者都具有由会议组织者分配的唯一符号,并且主持人可以口头或者视觉上引导每个人何时发言。这可以通过以下方式来实现:将发言邀请写到受邀参与者的视网膜上;或通过在所有与会者都能看到的屏幕上显示识别受邀参与者的唯一符号。
在参照图3a、图3b和图3c描述的光学***中,整个扫描器装置被旋转,以便补偿眼睛的旋转,如果眼睛的旋转不被校正,则将阻止光束进入瞳孔。这要求装置相对于通常由眼镜框架构成的头戴装置旋转,并且在所描述的***中便于在单个平面内旋转,从而仅补偿围绕单个轴的眼睛旋转:最典型的垂直轴对应于瞳孔从左到右移动。当然,它还要求光学器件安装在一个模块中,然后该模块通过马达旋转地附接到眼镜框架上。
图20示意性地示出了用于补偿眼睛的旋转以保持装置和瞳孔开口之间的对准的替代实施例。相应的模块110附接到眼镜框架11的每个侧臂上,并且包括一对微型线性马达,该一对微型线性马达沿着相互正交的轴移动光学部件组,以调整由凸球面镜23反射的光的焦点,使得该焦点保持与瞳孔对准。
图21示意性地示出了由眼睛的旋转引起的光学失调。因此,如果我们考虑被反射镜23反射的光束111,可以看到光束照射分束器28,并因此作为反射束111'向眼睛反射,在此它作为聚焦在视网膜上的光束111'进入瞳孔。但是当瞳孔移动到与反射光束111'未对准时,可以看到光束111'和111”似乎断裂或失调。如下文将特别参考图24a和图24b所解释的,模块110有效地重对准光束,从而确保反射光束111'保持与瞳孔对准,而不管眼动如何。
图22a、图22b和图22c是解释如何确定眼睛的旋转的光线图。因此,在图22a中,瞳孔直视前方,使得来自中间光源15的光穿过分束器28,被凸球面镜23反射,照射分束器28,并在其直接进入瞳孔的地方以90°反射。图22b示出了眼睛已经向左旋转从而瞳孔不再与来自中间光源15的光对准的情况,该光因此照射虹膜而不是进入瞳孔。然而,可以看到,来自下部光源15'的光现在确实进入瞳孔。图22c示出了眼睛已经向右旋转并且来自上部光源15”的光进入瞳孔的情况。每个光源都是红、蓝、绿可见光和不可见红外光的组合。如图20中所见,红外光进入瞳孔,照射视网膜,并由视网膜内的血管向分束器113反射回来,分束器113将部分光重定向到成像装置18。由视网膜反射的光是漫射的,并且分束器113可以具有足够大的面积以收集大部分反射光,同时允许一些光穿过到模块110。可选地,检测器18可以与虚线所示的全反射器相结合地安装在下部,以便允许由视网膜反射的光经由分束器28直接到达模块。由于它是漫射的,因此视网膜反射的一些光仍然会到达反射器,但是没有使用分束器时到达的那么多。
在任一情况下,分束器(或反射器)113和检测器都是微型部件,允许可以容易地安装在眼镜框架的侧臂中的极其紧凑的布置。为了便于描述,我们只考虑了眼睛围绕垂直轴(即从左到右)的旋转。但是同样的原理适用于眼睛围绕水平轴(即向上和向下)的旋转,应注意的是,模块110补偿在两个方向上的旋转以及同时围绕两个轴的旋转。
图23示意性地示出包括一对背对背直角棱镜114和115的模块的部分的细节,该一对背对背直角棱镜114和115被配置用于通过线性马达(未示出)进行相对横向运动。在第一位置中,水平地进入第一棱镜114的光束在相对的面上被折射并照射第二棱镜115的垂直面,其中光束再次在相对的面上被折射并水平地出射。当第二棱镜略微向右移动,如虚线所示的棱镜115'所示,离开第一棱镜114的光束在其垂直面下方进入第二棱镜115',并因此以垂直位移量Δy从相对面出射。第一微型线性马达(未示出)可操作地耦合到第二棱镜115以根据需要使其朝向或远离第一棱镜114移动,如现在将参考图24a和图24b来解释的,图24a和图24b示意性地示出模块110及其相对于光源13和15、微机械扫描器17和凸球面镜23的空间布置的细节。
图24a和图24b分别示出了如从两个相互正交的轴看到的模块和相关联光学部件的细节。因此,图24a在沿眼镜框架的侧杆的方向x上示出光学部件;而图24a在垂直于侧杆的平面的方向y上示出光学部件(即,被引导向页面中)。反射镜116设置在扫描器17的下游,并耦合到第二线性马达117,用于沿y轴在任一方向上移动反射镜。图24b所示的棱镜114和115位于凸球面镜23和反射镜116之间。反射镜116的位移使垂直于瞳孔的平面内的焦点在第一方向上移动,而棱镜115的位移使同一平面内的焦点在垂直于第一方向的第二方向上移动。因此,通过移动棱镜115和反射镜116中的一者或两者,可以将由分束器28反射的光束重定向到瞳孔,而不管由上/下运动和/或右/左运动引起的瞳孔的运动如何。此外,校正可以非常快地实现,并且光学部件可以全部内置到眼镜框架的侧杆中,这些侧杆用作一个整体安装单元,因此不需要将它们支撑在单独的安装单元上。如上所述,通过成像装置18上的不可见红外光对视网膜的血管成像。连续图像帧之间的比较允许计算眼睛围绕两个正交轴的角旋转。然后使用该信息将棱镜115和反射镜116移动适当的量,以将由分束器28反射的光朝向瞳孔重新对准。
对上述实施例的描述并不旨在限制保护的范围,保护范围仅由所附权利要求书提供,所附权利要求书将被视为描述的组成部分。
应当认识的,虽然扫描和跟踪装置优选地被设计尺寸用于安装在普通眼镜框架上,但它可以作为一个单独物品制造,并因此可以安装在其他头戴装置中。例如,它可以根据用途安装在头戴式增强现实或虚拟现实***上,也可以安装在飞行员或狙击手的头盔上。
还将理解,本发明的一些特征可以是适当编程的计算机装置。同样地,本发明考虑了用于执行本发明的方法的机器可读程序。本发明还考虑了机器可读的存储器,该机器可读存储器有形地实施可由机器执行用于执行本发明方法的指令程序。
组合的概述:
应当注意,参考一个或更多个实施例描述的特征是通过示例的方式而不是通过对那些实施例的限制来描述的。因此,除非另有说明,或者除非特定的组合显然是不允许的,否则仅参考一些实施例描述的可选特征也被假定同样适用于所有其他实施例。
然而,为了足够清楚,并为在多个依赖关系被允许的司法管辖区中提供对多个依赖关系的明确支持,本发明包括以下陈述:
实施例1:一种跟踪扫描激光光学装置,其被配置用于安装在头戴装置中,所述头戴装置具有用于定位在用户的眼睛前面的至少一个开口,所述跟踪扫描激光光学装置包括:
安装单元,其与所述头戴装置集成或被配置用于附接到所述头戴装置,
不可见光源,其由所述安装单元支撑,用于引导不可见光通过所述用户的瞳孔,以扫描和成像视网膜的一部分,
至少一个可见光源,其由所述安装单元支撑,用于引导可见光通过所述瞳孔,以用于写到所述视网膜上的所述一部分内,
2D扫描光学器件,其由所述安装单元支撑,用于利用所述不可见光和可见光扫描所述视网膜的所述一部分,
成像装置,其由所述安装单元支撑,用于接收由所述视网膜的所述一部分反射的至少所述不可见光并存储其图像,以及
校准单元,其与所述2D扫描光学器件相结合地操作,用于确定在2D空间中的原点,所述原点用作识别所述视网膜内的所述一部分的位置的参考点。
实施例2:根据实施例1所述的装置,其中,所述校准单元被配置为:
(a)利用可见光将虚拟图像投射到所述视网膜上;
(b)将所述眼睛看到的真实图像与所投射的虚拟图像进行比较;和
(c)调整所述2D扫描光学器件,直到图像重合为止。
实施例3:根据实施例1或2所述的装置,其中,所述校准单元被配置为:
(d)对从所述视网膜反射的所述不可见光成像,以获得所述视网膜的结构的图像;
(e)处理所述图像以识别视神经与所述视网膜交汇的视神经盘;
(f)当所述用户直视前方时,在所述视网膜上标记与所述视神经盘的中心相对应的原点;
(g)确定所述视网膜上对应于所述瞳孔的角运动的第二点,所述角运动是通过将所述2D扫描光学器件旋转已知角度(α)来跟踪的;和
(h)将所述2D扫描光学器件的旋转的所述已知角度(α)与在所述原点和所述第二点之间的在所述视网膜上的测量位移(d)相关联;
由此,可见光可以通过将所述2D扫描光学器件旋转由
Figure BDA0003583479680000241
给出的角度(β)而被引导到所述视网膜上的期望点,所述期望点相对于所述原点移位距离D。
实施例4:根据实施例1至3中任一项所述的装置,其中,所述安装单元与所述头戴装置分离,并且还包括用于相对于所述头戴装置旋转所述安装单元的马达以跟踪所述瞳孔相对于所述头戴装置的运动。
实施例5:根据实施例1至4中任一项所述的装置,其中:
所述头戴装置是一幅眼镜,所述一幅眼镜包括眼镜框架,所述眼镜框架限定一对开口且具有一对侧臂,每个开口用于定位在用户的相应眼睛前面,
所述眼镜框架具有低轮廓,所述低轮廓的最大深度不超过5mm。
实施例6:根据实施例5所述的装置,包括:
不可见光源(11),所述不可见光源由所述安装单元(12)支撑,用于引导不可见光通过所述用户的瞳孔(14),以对所述视网膜的一部分进行扫描和成像,
可见光源(15),所述可见光源由所述安装单元(12)支撑,用于将可见光与所述不可见光共线地引导通过所述瞳孔,以写到所述视网膜上的相同部分内,
微机械扫描器(17),所述微机械扫描器由所述安装单元(12)支撑,用于利用所述不可见光和可见光扫描所述视网膜的一部分,
成像装置(18),所述成像装置由所述安装单元(12)支撑,用于接收由所述视网膜反射的至少所述不可见光并存储其图像,以及
相机(19),所述相机与所述微机械扫描器(17)相结合地操作,用于确定2D空间中的原点,所述原点用作识别所述视网膜的被扫描部分的位置的参考点。
实施例7:根据实施例6所述的装置,其中,所述可见光源(15)包括红色、蓝色和绿色部件,所述红色、蓝色和绿色部件都被配置成引导光与所述不可见光相互共线。
实施例8:根据实施例7所述的装置,其中:
所述可见光源中每一个从所述眼镜框架的一侧被引导通过与所述光源发射的光成45°的角度取向的相应半透明的分束器(16),
所述分束器将光以90°反射,使得所反射的光束与所述光源正交,并且每个光束都通过连续分束器,所述连续分束器直接成直线地被安装,使得不可见光束和可见光束共线。
实施例9:根据实施例7或8所述的装置,其中:
第一分束器(21),所述第一分束器用于将所述不可见光束和可见光束以90°反射到所述微机械扫描器(17),
控制单元,所述控制单元用于引导所述扫描器(17)沿两个相互正交的轴反射所述光束,以便覆盖平面半反射的第二分束器(22),所述第二分束器的表面平行于所述第一分束器(21),
凸球面镜(23),所述凸球面镜由安装板(12)支撑,用于接收入射在所述第二分束器(22)的每个点上并由此被反射的光;以及
平面半反射的第三分束器(28),所述平面半反射的第三分束器被设置在所述扫描器(17)和所述球面镜(23)之间,用于在所述平面半反射的第三分束器的表面上接收由所述第二分束器(22)反射的光,并向所述眼睛反射所述光通过所述瞳孔到达所述视网膜(24)。
实施例10:根据实施例5至9中任一项所述的装置,其中,所述扫描器(17)和所述球面镜(23)被安装在所述眼镜框架的每个开口的相对侧上。
实施例11:根据实施例10所述的装置,其中,所述扫描器(17)被安装在所述眼镜框架(11)的鼻梁架(36)附近,并且所述球面镜(23)被安装在所述眼镜框架的侧臂(38)附近。
实施例12:根据实施例10所述的装置,其中,所述球面镜(23)被安装在所述眼镜框架(11)的鼻梁架(36)附近,并且所述扫描器(17)被安装在所述眼镜框架的侧臂(38)附近。
实施例13:根据实施例6至12中任一项所述的装置,其中,所述安装单元(12)通过微型马达(20)能够旋转地耦合到所述眼镜框架(11),用于使所述安装单元能够相对于所述眼镜框架进行有限角度的旋转。
实施例14:根据实施例6至12中任一项所述的装置,还包括由所述安装单元(12)支撑的模块(110),并包括第一微型线性马达和第二微型线性马达(117),所述第一微型线性马达和第二微型线性马达沿着相互正交的轴移动光学部件组,以跟踪眼睛的旋转并保持与所述瞳孔的对准。
实施例15:根据实施例14所述的装置,其中:
所述模块(110)包括一对背对背直角的第一棱镜和第二棱镜(114、115),所述第一棱镜和所述第二棱镜被配置用于通过所述第一线性马达进行相对横向运动,
光的入射光束由所述扫描器(17)引导到所述第一棱镜(114)的垂直面,在相对面处被折射并照射所述第二棱镜(115)的垂直面,其中所述入射光束在相对面处再次被折射并以平行于所述入射光束的出射光束出射;
所述第二棱镜的横向运动引起所述出射光束的垂直位移(Δy)。
实施例16:根据实施例14或15所述的装置,还包括:
反射镜(116),所述反射镜被设置在所述扫描器(17)的下游,并耦合到所述第二线性马达117,用于在保持与所述瞳孔对准的方向和量上移动所述反射镜。
实施例17:根据实施例6至16中任一项所述的装置,还包括:
电子快门(105),所述电子快门用于控制所述用户是看到场景的真实图像还是由所述成像装置(19)看到的虚拟图像,
处理器(88),所述处理器用于接收在所述电子快门(105)打开和关闭的情况下获得的相应受损图像和清晰图像,所述处理器被配置为比较所述清晰图像与所述受损图像并且计算如何改变所述对象的扫描以减少模糊。
实施例18:根据实施例17所述的装置,其中,所述电子快门(105)包括一对偏振元件(105′、105″),所述一对偏振元件的相应偏振由所述处理器(88)以电子方式控制。
实施例19:根据实施例17或18所述的装置,其中,所述处理器被配置成通过调整视场和分辨率来减少模糊,以便产生具有更多像素的虚拟图像,并因此看起来比原本获得的更清晰。
实施例20:根据实施例17至19中任一项所述的装置,其中,所述处理器被配置成通过改变视场和扫描角度以调整所述扫描器的扫描器分辨率来改变放大率。
实施例21:根据实施例17所述的装置,还包括液体校正透镜,通过所述液体校正透镜获得受损视图,并且其中所述处理器被配置为接收在所述电子快门(105)打开和关闭的情况下获得的相应受损图像和清晰图像,以将所述清晰图像与所述受损图像进行比较,并调整所述液体透镜的焦距以减少模糊。
实施例22:一种头戴装置,包括:
框架,所述框架限定一对开口,每个开口用于定位在用户的相应眼睛的前面,以及
至少一个根据前述实施例中任一项所述的跟踪扫描激光光学装置,所述装置由相应的安装单元安装到所述头戴装置上,用于扫描和成像所述用户的相应眼睛的视网膜的一部分。
实施例23:根据实施例22所述的头戴装置,其中,所述框架是具有一对侧臂的眼镜框架。
实施例24:根据实施例22或23所述的头戴装置,还包括马达,所述马达由所述框架支撑,用于旋转所述安装单元以跟踪所述瞳孔相对于所述头戴装置的运动。
实施例25:根据实施例22或23所述的头戴装置,还包括(11)由所述安装单元(12)支撑的模块(110),并包括第一微型线性马达和第二微型线性马达(117),所述第一微型线性马达和所述第二微型线性马达沿着相互正交的轴移动光学部件组,以用于跟踪所述眼睛的旋转并保持与所述瞳孔的对准。
实施例26:根据实施例25所述的头戴装置,其中:
所述模块包括一对背对背直角的第一棱镜和第二棱镜(114、115),所述第一棱镜和所述第二棱镜被配置用于通过所述第一线性马达进行相对横向运动,
光的入射光束由所述扫描器(17)引导到所述第一棱镜(114)的垂直面,在相对面处被折射并照射所述第二棱镜(115)的垂直面,其中所述入射光束在相对面处再次被折射并以平行于所述入射光束的出射光束出射;
所述第二棱镜的横向运动引起所述出射光束的垂直位移(Δy)。
实施例27:根据实施例25或26所述的头戴装置,还包括:
反射镜(116),所述反射镜被设置在所述扫描器(17)的下游,并耦合到所述第二线性马达117,用于以保持与所述瞳孔对准的方向和量上移动所述反射镜。
实施例28:根据实施例22至27中任一项所述的头戴装置,还包括对象取向附件,所述对象取向附件用于确定空间中远离所述头戴装置的对象的3D球面坐标(r,θ,φ),所述附件包括:
两个激光二极管,每个激光二极管被配置用于将光的相应光束引导向所述对象上的不同点,
两个检测器,每个检测器被配置用于检测所述光束从所述对象上的对应点的相应反射,
区域传感器,所述区域传感器被配置用于对所述对象的表面成像,以及
处理器,所述处理器耦合到所述检测器和所述区域传感器,并被配置为测量由所述光束传播的相应距离(r1、r2),并由此确定所述对象相对于所述头戴装置的偏航角(θ),所述处理器还被配置为扫描所述图像传感器并由此确定所述对象相对于所述头戴装置的间距(φ)。
实施例29:根据从属于实施例22的实施例28所述的头戴装置,其中,所述激光二极管、检测器和区域传感器被安装在所述眼镜框架的所述侧臂中。
实施例30:根据实施例28或29所述的头戴装置,其中,所述校准装置包括安装在所述头戴装置上的前视相机,用于对所述用户观看的场景进行成像。
实施例31:一种用于辅助佩戴根据实施例28所述的头戴装置的用户将手持对象与用户的视线中的感兴趣点对准的方法,所述方法包括:
(a)对所述用户观看的所述场景进行成像;
(b)在所述视网膜上对应于所述瞳孔的注视方向的点处写第一引导标记,
(c)在所述视网膜上与所述对象的瞬时取向相对应的点处写第二引导标记;和
(d)当所述用户的视线固定在所述感兴趣点上时,改变所述对象的取向以使所述对象与所述感兴趣点对准,并重复(c),直到所述第一引导标记和所述第二引导标记重合。
实施例32:一种用于估计佩戴根据实施例22至30中任一项所述的头戴装置的用户的视线中的远处对象的范围(R)的方法,所述方法包括:
(a)利用至少一只眼睛对所述对象成像;
(b)基于所述扫描光学器件的旋转来确定所述眼睛的瞳孔的旋转角度(α);和
(c)根据
Figure BDA0003583479680000301
从测量的角度(α)和预定的瞳孔间距离(d)计算所述范围,其中,所述角度(α)以弧度为单位。
实施例33:一种用于远程引导各自佩戴根据实施例22至30中任一项所述的头戴装置的一个或更多个静止士兵向包含两个或更多个目标的战场中的指定目标射击的方法,所述士兵中每一个具有相应的唯一身份和显示符号,所述方法包括由远程指挥控制中心执行的以下步骤:
(a)获得显示所有士兵的相应位置的战场图像;
(b)依次引导每个士兵注视至少一个另外的士兵,并确定每一对士兵之间的相应的距离;
(c)依次引导每个士兵注视在所述士兵的射击范围内的所有目标;
(d)重复(c)和(d),直到知道所有士兵之间的相应的距离,从而能够确定识别所述士兵和在每个士兵的射击范围内的目标的战场平面图;和
(e)依次为每个士兵在相应士兵的射程内的所有目标中确定合适的目标,并传送预先分配的显示符号,使得所述预先分配的显示符号被写到所述士兵的视网膜上指向所选目标的位置处。
实施例34:一种用于向佩戴根据实施例22至30中任一项所述的头戴装置的用户提供对象的放大视图的方法,其中当在没有所述头戴装置的情况下观看时,所述对象在所述视网膜的窄部分上成像,所述方法包括:
(a)获得所述对象的数字图像;和
(b)将所述图像写在所述用户的视网膜的扩展部分上,以呈现扩大的视场。
实施例35:一种用于在不需要GPS的情况下为在开放空间或受限空间中的佩戴根据实施例22至30中任一项所述的头戴装置的用户精确导航的方法,对于所述开放空间或受限空间存在高分辨率的可访问地形图,所述方法包括:
(a)识别由用户选择的远距离场景中的一个或更多个独特的地标;
(b)确定所选一个或多个地标中总共至少三个独特特征,并通过在每一个所述独特特征上加上引导标记来为所述用户识别所述独特特征;
(c)引导所述用户将所述用户的视线设置在每一个所述独特特征上,使得所述视线与所述引导标记对准;
(d)基于所述用户的头戴装置中的2D扫描光学器件的测量的角度旋转来测量所述用户的视线方向;
(e)将每个识别的特征在空间中的精确位置与所述用户的视网膜上的坐标相关联;和
(f)计算所述用户相对于所选地标的当前位置,并将所述用户的视线与所述开放空间或受限空间映射。
实施例36:根据实施例35所述的方法,还包括:
(j)识别所述用户需要引导到的在所述开放空间或受限空间中的远程位置;
(k)根据所述地形图确定从所述用户的当前位置到所述远程位置的路线;和
(l)向所述用户提供到达所述远程位置的引导。
实施例37:一种用于提醒佩戴根据实施例22至30中任一项所述的头戴装置的司机不自觉地偏离预定注视方向的方法,所述方法包括:
(a)监视所述司机的注视方向;
(b)确定所述注视方向的波动是否指示有潜在危险的驾驶情况;和
(c)如果是,则提醒所述司机。
实施例38:一种用于控制佩戴根据实施例22至30中任一项所述的头戴装置的用户进行的增强现实(AR)应用的方法,所述方法包括:
(a)监视所述用户的注视方向,以识别所述AR应用中的对象;和
(b)跟随所述用户的注视方向,以将所述对象移动到新位置。
实施例39:一种用于远程引导远程会议中的多个远程互动的与会者何时发言的方法,每个远程与会者佩戴根据实施例22至30中任一项所述的头戴装置,并且每个与会者具有相应的唯一身份和显示符号,所述方法包括由会议组织者执行的以下步骤:
(a)传送每个参与者的图像,以投射到每个参与者的视网膜上,使得每个参与者同时看到所有参与者;和
(b)通过将发言邀请写到受邀参与者的视网膜上,或通过在所有与会者都看到的屏幕上显示识别所述受邀参与者的相应的唯一符号,来引导每个参与者何时发言。

Claims (39)

1.一种跟踪扫描激光光学装置,其被配置用于安装在头戴装置中,所述头戴装置具有用于定位在用户的眼睛前面的至少一个开口,所述跟踪扫描激光光学装置包括:
安装单元,其与所述头戴装置集成或被配置用于附接到所述头戴装置,
不可见光源,其由所述安装单元支撑,用于引导不可见光通过所述用户的瞳孔,以扫描和成像视网膜的一部分,
至少一个可见光源,其由所述安装单元支撑,用于引导可见光通过所述瞳孔,以用于写到所述视网膜上的所述一部分内,
2D扫描光学器件,其由所述安装单元支撑,用于利用所述不可见光和可见光扫描所述视网膜的所述一部分,
成像装置,其由所述安装单元支撑,用于接收由所述视网膜的所述一部分反射的至少所述不可见光并存储所述视网膜的图像,以及
校准单元,其与所述2D扫描光学器件相结合地操作,用于确定在2D空间中的原点,所述原点用作识别所述视网膜内的所述一部分的位置的参考点。
2.根据权利要求1所述的装置,其中,所述校准单元被配置为:
(a)利用可见光将虚拟图像投射到所述视网膜上;
(b)将所述眼睛看到的真实图像与所投射的虚拟图像进行比较;和
(c)调整所述2D扫描光学器件,直到所述图像重合为止。
3.根据权利要求1所述的装置,其中,所述校准单元被配置为:
(a)对从所述视网膜反射的所述不可见光成像,以获得所述视网膜的结构的图像;
(b)处理所述图像以识别视神经与所述视网膜交汇的视神经盘;
(c)当所述用户直视前方时,在所述视网膜上标记与所述视神经盘的中心相对应的原点;
(d)确定所述视网膜上对应于所述瞳孔的角运动的第二点,所述角运动是通过将所述2D扫描光学器件旋转已知角度(α)来跟踪的;和
(e)将所述2D扫描光学器件的旋转的所述已知角度(α)与在所述原点和所述第二点之间的在所述视网膜上的测量位移(d)相关联;
由此,可见光能够通过将所述2D扫描光学器件旋转由
Figure FDA0003583479670000021
给出的角度(β)而被引导到所述视网膜上的期望点,所述期望点相对于所述原点移位距离D。
4.根据权利要求1所述的装置,其中,所述安装单元与所述头戴装置分离,并且还包括用于相对于所述头戴装置旋转所述安装单元的马达以跟踪所述瞳孔相对于所述头戴装置的运动。
5.根据权利要求1所述的装置,其中:
所述头戴装置是一幅眼镜,所述一幅眼镜包括眼镜框架,所述眼镜框架限定一对开口且具有一对侧臂,每个开口用于定位在用户的相应眼睛前面,
所述眼镜框架具有低轮廓,所述低轮廓的最大深度不超过5mm。
6.根据权利要求5所述的装置,包括:
不可见光源(11),所述不可见光源由所述安装单元(12)支撑,用于引导不可见光通过所述用户的瞳孔(14),以对所述视网膜的一部分进行扫描和成像,
可见光源(15),所述可见光源由所述安装单元(12)支撑,用于将可见光与所述不可见光共线地引导通过所述瞳孔,以写到所述视网膜上的相同部分内,
微机械扫描器(17),所述微机械扫描器由所述安装单元(12)支撑,用于利用所述不可见光和可见光扫描所述视网膜的一部分,
成像装置(18),所述成像装置由所述安装单元(12)支撑,用于接收由所述视网膜反射的至少所述不可见光并存储所述视网膜的图像,以及
相机(19),所述相机与所述微机械扫描器(17)相结合地操作,用于确定2D空间中的原点,所述原点用作识别所述视网膜的被扫描部分的位置的参考点。
7.根据权利要求6所述的装置,其中,所述可见光源(15)包括红色、蓝色和绿色部件,所述红色、蓝色和绿色部件都被配置成引导光与所述不可见光相互共线。
8.根据权利要求7所述的装置,其中:
所述可见光源中的每一个从所述眼镜框架的一侧被引导通过与所述光源发射的光成45°的角度取向的相应半透明的分束器(16),
所述分束器将光以90°反射,使得所反射的光束与所述光源正交,并且每个光束都通过连续分束器,所述连续分束器直接成直线地被安装,使得不可见光束和可见光束共线。
9.根据权利要求7所述的装置,其中:
第一分束器(21),所述第一分束器用于将所述不可见光束和可见光束以90°反射到所述微机械扫描器(17),
控制单元,所述控制单元用于引导所述扫描器(17)沿两个相互正交的轴反射所述光束,以便覆盖平面半反射的第二分束器(22),所述第二分束器的表面平行于所述第一分束器(21),
凸球面镜(23),所述凸球面镜由安装板(12)支撑,用于接收入射在所述第二分束器(22)的每个点上并由此被反射的光;以及
平面半反射的第三分束器(28),所述第三分束器被设置在所述扫描器(17)和所述球面镜(23)之间,用于在所述第三分束器的表面上接收由所述第二分束器(22)反射的光,并向所述眼睛反射所述光通过所述瞳孔到达所述视网膜(24)。
10.根据权利要求5所述的装置,其中,所述扫描器(17)和所述球面镜(23)被安装在所述眼镜框架的每个开口的相对侧上。
11.根据权利要求10所述的装置,其中,所述扫描器(17)被安装在所述眼镜框架(11)的鼻梁架(36)附近,并且所述球面镜(23)被安装在所述眼镜框架的侧臂(38)附近。
12.根据权利要求10所述的装置,其中,所述球面镜(23)被安装在所述眼镜框架(11)的鼻梁架(36)附近,并且所述扫描器(17)被安装在所述眼镜框架的侧臂(38)附近。
13.根据权利要求6所述的装置,其中,所述安装单元(12)通过微型马达(20)能够旋转地耦合到所述眼镜框架(11),用于使所述安装单元能够相对于所述眼镜框架进行有限角度的旋转。
14.根据权利要求6所述的装置,还包括由所述安装单元(12)支撑的模块(110),并包括第一微型线性马达和第二微型线性马达(117),所述第一微型线性马达和第二微型线性马达沿着相互正交的轴移动光学部件组,以跟踪眼睛的旋转并保持与所述瞳孔的对准。
15.根据权利要求14所述的装置,其中:
所述模块(110)包括一对背对背直角的第一棱镜和第二棱镜(114、115),所述第一棱镜和所述第二棱镜被配置用于通过所述第一线性马达进行相对横向运动,
光的入射光束由所述扫描器(17)引导到所述第一棱镜(114)的垂直面,在相对面处被折射并照射所述第二棱镜(115)的垂直面,其中所述入射光束在相对面处再次被折射并以平行于所述入射光束的出射光束出射;
所述第二棱镜的横向运动引起所述出射光束的垂直位移(Δy)。
16.根据权利要求14所述的装置,还包括:
反射镜(116),所述反射镜被设置在所述扫描器(17)的下游,并耦合到所述第二线性马达117,用于以保持与所述瞳孔对准的方向和量移动所述反射镜。
17.根据权利要求6所述的装置,还包括:
电子快门(105),所述电子快门用于控制所述用户是看到场景的真实图像还是由所述成像装置(19)看到的虚拟图像,
处理器(88),所述处理器用于接收在所述电子快门(105)打开和关闭的情况下获得的相应受损图像和清晰图像,所述处理器被配置为比较所述清晰图像与所述受损图像并且计算如何改变对象的扫描以减少模糊。
18.根据权利要求17所述的装置,其中,所述电子快门(105)包括一对偏振元件(105′、105″),所述一对偏振元件的相应偏振由所述处理器(88)以电子方式控制。
19.根据权利要求17所述的装置,其中,所述处理器被配置成通过调整视场和分辨率来减少模糊,以便产生具有更多像素的虚拟图像,并因此看起来比原本获得的更清晰。
20.根据权利要求17所述的装置,其中,所述处理器被配置成通过改变视场和扫描角度以调整所述扫描器的扫描器分辨率来改变放大率。
21.根据权利要求17所述的装置,还包括液体校正透镜,通过所述液体校正透镜获得受损视图,并且其中所述处理器被配置为接收在所述电子快门(105)打开和关闭的情况下获得的相应受损图像和清晰图像,以将所述清晰图像与所述受损图像进行比较,并调整所述液体透镜的焦距以减少模糊。
22.一种头戴装置,包括:
框架,所述框架限定一对开口,每个开口用于定位在用户的相应眼睛的前面,以及
至少一个根据前述权利要求中任一项所述的跟踪扫描激光光学装置,所述装置由相应的安装单元安装到所述头戴装置上,用于扫描和成像所述用户的相应眼睛的视网膜的一部分。
23.根据权利要求22所述的头戴装置,其中,所述框架是具有一对侧臂的眼镜框架。
24.根据权利要求22所述的头戴装置,还包括马达,所述马达由所述框架支撑,用于旋转所述安装单元以跟踪所述瞳孔相对于所述头戴装置的运动。
25.根据权利要求22所述的头戴装置,还包括(11)由所述安装单元(12)支撑的模块(110),并包括第一微型线性马达和第二微型线性马达(117),所述第一微型线性马达和所述第二微型线性马达沿着相互正交的轴移动光学部件组,以用于跟踪所述眼睛的旋转并保持与所述瞳孔的对准。
26.根据权利要求25所述的头戴装置,其中:
所述模块包括一对背对背直角的第一棱镜和第二棱镜(114、115),所述第一棱镜和所述第二棱镜被配置用于通过所述第一线性马达进行相对横向运动,
光的入射光束由所述扫描器(17)引导到所述第一棱镜(114)的垂直面,在相对面处被折射并照射所述第二棱镜(115)的垂直面,其中所述入射光束在相对面处再次被折射并以平行于所述入射光束的出射光束出射;
所述第二棱镜的横向运动引起所述出射光束的垂直位移(Δy)。
27.根据权利要求25所述的头戴装置,还包括:
反射镜(116),所述反射镜被设置在所述扫描器(17)的下游,并耦合到所述第二线性马达117,用于以保持与所述瞳孔对准的方向和量移动所述反射镜。
28.根据权利要求22所述的头戴装置,还包括对象取向附件,所述对象取向附件用于确定空间中远离所述头戴装置的对象的3D球面坐标(r,θ,φ),所述附件包括:
两个激光二极管,每个激光二极管被配置用于将光的相应光束引导向所述对象上的不同点,
两个检测器,每个检测器被配置用于检测所述光束从所述对象上的对应点的相应反射,
区域传感器,所述区域传感器被配置用于对所述对象的表面成像,以及
处理器,所述处理器耦合到所述检测器和所述区域传感器,并被配置为测量由所述光束传播的相应距离(r1、r2),并由此确定所述对象相对于所述头戴装置的偏航角(θ),所述处理器还被配置为扫描所述图像传感器并由此确定所述对象相对于所述头戴装置的间距(φ)。
29.根据从属于权利要求22的权利要求28所述的头戴装置,其中,所述激光二极管、所述检测器和所述区域传感器被安装在所述眼镜框架的所述侧臂中。
30.根据权利要求28所述的头戴装置,其中,所述校准装置包括安装在所述头戴装置上的前视相机,用于对所述用户观看的场景进行成像。
31.一种用于辅助佩戴根据权利要求28所述的头戴装置的用户将手持对象与用户的视线中的感兴趣点对准的方法,所述方法包括:
(a)对所述用户观看的所述场景进行成像;
(b)在所述视网膜上对应于所述瞳孔的注视方向的点处写第一引导标记,
(c)在所述视网膜上与所述对象的瞬时取向相对应的点处写第二引导标记;和
(d)当所述用户的视线固定在所述感兴趣点上时,改变所述对象的取向以使所述对象与所述感兴趣点对准,并重复(c),直到所述第一引导标记和所述第二引导标记重合。
32.一种用于估计佩戴根据权利要求22所述的头戴装置的用户的视线中的远处对象的范围(R)的方法,所述方法包括:
(a)利用至少一只眼睛对所述对象成像;
(b)基于所述扫描光学器件的旋转来确定所述眼睛的瞳孔的旋转角度(α);和
(c)根据
Figure FDA0003583479670000071
从测量的角度(α)和预定的瞳孔间距离(d)计算所述范围,其中,所述角度(α)以弧度为单位。
33.一种用于远程引导各自佩戴根据权利要求22所述的头戴装置的一个或更多个静止士兵向包含两个或更多个目标的战场中的指定目标射击的方法,所述士兵中的每一个具有相应的唯一身份和显示符号,所述方法包括由远程指挥控制中心执行的以下步骤:
(a)获得显示所有士兵的相应位置的战场图像;
(b)依次引导每个士兵注视至少一个另外的士兵,并确定每一对士兵之间的相应的距离;
(c)依次引导每个士兵注视在所述士兵的射击范围内的所有目标;
(d)重复(c)和(d),直到知道所有士兵之间的相应的距离,从而能够确定识别所述士兵和在每个士兵的射击范围内的目标的战场平面图;和
(e)依次为每个士兵在相应士兵的射程内的所有目标中确定合适的目标,并传送预先分配的显示符号,使得所述预先分配的显示符号被写到所述士兵的视网膜上指向所选目标的位置处。
34.一种用于向佩戴根据权利要求22所述的头戴装置的用户提供对象的放大视图的方法,其中当在没有所述头戴装置的情况下观看时,所述对象在所述视网膜的窄部分上成像,所述方法包括:
(a)获得所述对象的数字图像;和
(b)将所述图像写在所述用户的视网膜的扩展部分上,以呈现扩大的视场。
35.一种用于在不需要GPS的情况下为在开放空间或受限空间中的佩戴根据权利要求22所述的头戴装置的用户精确导航的方法,对于所述开放空间或受限空间存在高分辨率的可访问地形图,所述方法包括:
(a)识别由用户选择的远距离场景中的一个或更多个独特的地标;
(b)确定所选一个或多个地标中总共至少三个独特特征,并通过在每一个所述独特特征上加上引导标记来为所述用户识别所述独特特征;
(c)引导所述用户将所述用户的视线设置在每一个所述独特特征上,使得所述视线与所述引导标记对准;
(d)基于所述用户的头戴装置中的2D扫描光学器件的测量的角度旋转来测量所述用户的视线方向;
(e)将每个识别的特征在空间中的精确位置与所述用户的视网膜上的坐标相关联;和
(f)计算所述用户相对于所选地标的当前位置,并将所述用户的视线与所述开放空间或受限空间映射。
36.根据权利要求35所述的方法,还包括:
(j)识别所述用户需要引导到的在所述开放空间或受限空间中的远程位置;
(k)根据所述地形图确定从所述用户的当前位置到所述远程位置的路线;和
(l)向所述用户提供到达所述远程位置的引导。
37.一种用于提醒佩戴根据权利要求22所述的头戴装置的司机不自觉地偏离预定注视方向的方法,所述方法包括:
(a)监视所述司机的注视方向;
(b)确定所述注视方向的波动是否指示有潜在危险的驾驶情况;和
(c)如果是,则提醒所述司机。
38.一种用于控制佩戴根据权利要求22所述的头戴装置的用户进行的增强现实(AR)应用的方法,所述方法包括:
(a)监视所述用户的注视方向,以识别所述AR应用中的对象;和
(b)跟随所述用户的注视方向,以将所述对象移动到新位置。
39.一种用于远程引导远程会议中的多个远程互动的与会者何时发言的方法,每个远程与会者佩戴根据权利要求22所述的头戴装置,并且每个与会者具有相应的唯一身份和显示符号,所述方法包括由会议组织者执行的以下步骤:
(a)传送每个参与者的图像,以投射到每个参与者的视网膜上,使得每个参与者同时看到所有参与者;和
(b)通过将发言邀请写到受邀参与者的视网膜上,或通过在所有与会者都看到的屏幕上显示识别所述受邀参与者的相应的唯一符号,来引导每个参与者何时发言。
CN202080070378.2A 2019-10-03 2020-10-02 跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用 Pending CN114503011A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL269809 2019-10-03
IL269809A IL269809B (en) 2019-10-03 2019-10-03 A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
PCT/IL2020/051074 WO2021064734A2 (en) 2019-10-03 2020-10-02 Compact retinal scanning device for tracking movement of the eye's pupil and applications thereof

Publications (1)

Publication Number Publication Date
CN114503011A true CN114503011A (zh) 2022-05-13

Family

ID=75336901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070378.2A Pending CN114503011A (zh) 2019-10-03 2020-10-02 跟踪眼睛瞳孔的运动的紧凑视网膜扫描装置及其应用

Country Status (6)

Country Link
US (1) US11116395B1 (zh)
EP (1) EP4038441A4 (zh)
KR (1) KR20220073756A (zh)
CN (1) CN114503011A (zh)
IL (1) IL269809B (zh)
WO (1) WO2021064734A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL269809B (en) 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications
US11687307B2 (en) * 2020-06-08 2023-06-27 Cubic Corporation Synchronization between screens
GB202010326D0 (en) * 2020-07-06 2020-08-19 Palakollu Vamsee Krishna A virtual reality headset
US11687165B2 (en) * 2020-12-30 2023-06-27 Meta Platforms Technologies, Llc Stabilizing gestures in artificial reality environments
WO2023081123A1 (en) * 2021-11-02 2023-05-11 React Neuro Inc. Systems and methods for determining dementia and other conditions
US11800084B2 (en) 2022-01-10 2023-10-24 Eyejets Ltd. Wearable virtual retinal display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
CN105960193A (zh) * 2013-09-03 2016-09-21 托比股份公司 便携式眼睛追踪设备
CN106164743A (zh) * 2014-03-03 2016-11-23 埃韦视觉有限公司 眼睛投影***
US20170004344A1 (en) * 2015-07-02 2017-01-05 Canon Kabushiki Kaisha Robust Eye Tracking for Scanning Laser Ophthalmoscope
CN107515466A (zh) * 2017-08-14 2017-12-26 华为技术有限公司 一种眼球追踪***和眼球追踪方法
CN110162165A (zh) * 2018-02-15 2019-08-23 托比股份公司 用于校准可穿戴装置中的图像传感器的***和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6789900B2 (en) * 1996-11-22 2004-09-14 Jozef F. Van De Velde Scanning laser ophthalmoscope optimized for selective retinal microphotocoagulation
US6027216A (en) * 1997-10-21 2000-02-22 The Johns University School Of Medicine Eye fixation monitor and tracker
US20070091265A1 (en) * 2002-01-18 2007-04-26 Kardon Randy H System and method for optical imaging of human retinal function
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
US9529191B2 (en) * 2010-11-03 2016-12-27 Trex Enterprises Corporation Dynamic foveal vision display
WO2012138873A2 (en) * 2011-04-07 2012-10-11 Raytheon Company Portable self-retinal imaging device
AU2016267275B2 (en) 2015-05-28 2021-07-01 Google Llc Systems, devices, and methods that integrate eye tracking and scanning laser projection in wearable heads-up displays
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US20170188021A1 (en) 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
KR20200108857A (ko) * 2018-01-17 2020-09-21 매직 립, 인코포레이티드 디스플레이와 사용자의 눈들 사이의 정합을 결정하기 위한 디스플레이 시스템들 및 방법들
IL269809B (en) 2019-10-03 2021-12-01 Eyejets Ltd A compact retinal scanning device for tracking pupil movements of a user's eye and its applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094197A (zh) * 2012-02-06 2014-10-08 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
CN105960193A (zh) * 2013-09-03 2016-09-21 托比股份公司 便携式眼睛追踪设备
CN106164743A (zh) * 2014-03-03 2016-11-23 埃韦视觉有限公司 眼睛投影***
US20170004344A1 (en) * 2015-07-02 2017-01-05 Canon Kabushiki Kaisha Robust Eye Tracking for Scanning Laser Ophthalmoscope
CN107515466A (zh) * 2017-08-14 2017-12-26 华为技术有限公司 一种眼球追踪***和眼球追踪方法
CN110162165A (zh) * 2018-02-15 2019-08-23 托比股份公司 用于校准可穿戴装置中的图像传感器的***和方法

Also Published As

Publication number Publication date
IL269809A (en) 2021-04-29
WO2021064734A2 (en) 2021-04-08
US11116395B1 (en) 2021-09-14
KR20220073756A (ko) 2022-06-03
WO2021064734A3 (en) 2021-05-06
EP4038441A2 (en) 2022-08-10
IL269809B (en) 2021-12-01
US20210307605A1 (en) 2021-10-07
EP4038441A4 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
US11116395B1 (en) Compact retinal scanning device for tracking movement of the eye's pupil and applications thereof
US20240022704A1 (en) Combining video-based and optic-based augmented reality in a near eye display
KR101640536B1 (ko) 안과용 시스템들을 위한 이미지-프로세서-제어된 오정렬 감소
US7025459B2 (en) Ocular fundus auto imager
JP3289953B2 (ja) 視線方向検出装置
JP4937792B2 (ja) 眼底カメラ
US20170318235A1 (en) Head-mounted displaying of magnified images locked on an object of interest
US20170140224A1 (en) Gaze detection device
FI125445B (fi) Katseenohjausjärjestely
JPH11508780A (ja) 視覚情報を並行検出する方法及びそのための装置並びに前記方法の使用方法
JP2014509534A (ja) 調整可能な視野を有する眼鏡デバイス及び方法
JPH0566133B2 (zh)
JP2003521950A (ja) 視標追跡システム
JP7395803B2 (ja) 眼科装置
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
Cuschieri Visual displays and visual perception in minimal access surgery
EP3055730B1 (en) Electronic eyebox
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
JP6379639B2 (ja) 眼鏡装用パラメータ測定用撮影装置、眼鏡装用パラメータ測定用撮影プログラム
JP7485426B1 (ja) 頭部装着型撮像装置および視線画像調整方法
CN115308907A (zh) 一种基于vr设备的对焦***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination