CN111511318A - 数字治疗矫正眼镜 - Google Patents

数字治疗矫正眼镜 Download PDF

Info

Publication number
CN111511318A
CN111511318A CN201880075827.5A CN201880075827A CN111511318A CN 111511318 A CN111511318 A CN 111511318A CN 201880075827 A CN201880075827 A CN 201880075827A CN 111511318 A CN111511318 A CN 111511318A
Authority
CN
China
Prior art keywords
image
subject
view
field
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880075827.5A
Other languages
English (en)
Other versions
CN111511318B (zh
Inventor
***·阿布·舒沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Miami
Original Assignee
University of Miami
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Miami filed Critical University of Miami
Publication of CN111511318A publication Critical patent/CN111511318A/zh
Application granted granted Critical
Publication of CN111511318B publication Critical patent/CN111511318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Eyeglasses (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

以数字治疗矫正眼镜的形式提供了用于测试、识别和补偿影响患者视觉的眼部病变的设备，该数字治疗矫正眼镜提供个性化、定制的视野矫正/增强。该设备包括具有一个或多个数字监视器的可穿戴眼镜，该一个或多个数据监视器用于重建整个视野作为数字化矫正图像，或者包括定制现实眼镜，该定制现实眼镜可以用于利用生成的图像来覆盖视觉场景以矫正或增强受试者的视野。

Description

数字治疗矫正眼镜
相关申请的交叉引用
本申请要求于2017年9月27日提交的题为“Digital Therapeutic CorrectiveSpectacles”(数字治疗矫正眼镜)的美国临时申请No.62/563,770的权益，其整体内容通过引用合并于此。
技术领域
本公开涉及用于补偿用户的视野中的视觉缺陷、视觉像差和视觉对准错误的技术，并且更具体地涉及矫正上述视觉缺陷并向用户提供矫正后的可穿戴设备。
背景技术
本文提供的背景描述是出于总体上呈现本公开的上下文的目的。就本背景技术部分所描述的程度而言，当前提及的发明人的工作，以及在申请时可能无法以其他方式视为现有技术的描述的各方面，均不是明确地或隐含地承认为本公开的现有技术。
患有诸如视神经病变和/或视网膜病变(例如青光眼患者)等眼部病变的患者，其视野的局部视觉敏感度有不同程度的降低。这意味着在他们视野的某些区域中，图像比其他区域要暗。产生这种视野内变暗是因为与未受影响区域相比，需要更强烈的照明来刺激眼睛的受影响区域，这是眼睛病变的结果。患者会将这种变暗描述为他们部分视野上的一片云或一片模糊。当病变发展时，受影响的视野区域可能会失去越来越多的视觉能力，最终可能完全失明。
视野诊断设备已经用于通过以下操作来测试患者的视野敏感度：起初投射微弱的光，如果患者未表明他/她看到光，则强度会越来越高，直到患者表明他/她看到该光。然后记录投射区域的敏感度。如果患者即使在最大照明强度下也看不到光，则将视野的该区域识别为盲区。
屈光不正对视觉有负面影响。这些屈光不正是由于眼睛的屈光元件不规则引起的。它们导致视觉模糊，这可以通过玻璃眼镜和隐形眼镜得以部分矫正。这就是为什么有些受试者比其他受试者看到得更多，有些受试者的视觉质量比其他受试者更好。由玻璃制成的眼镜以及隐形眼镜只能以一定的增量来矫正常规的屈光不正，例如，常规的散光。那些常规的屈光不正称为低阶像差。高阶像差是无法通过眼镜或隐形眼镜矫正的屈光不正。此外，高阶像差是动态的并且不是固定的。它们根据瞳孔大小、眼睛的适应状态和注视方向而变化。
当前治疗老花眼的技术包括单视觉、双焦和多焦阅读眼镜以及多焦隐形眼镜。使用多焦或双焦眼镜，患者将通过玻璃的特定区域观看以获得所需的矫正。使用多焦隐形眼镜，光线被衍射到多个焦点，从而提高了聚焦深度，但以降低视觉质量为代价。所有这些技术都不是很方便并且限制了近距离视觉。
复视是由于患者的视线未对准造成的。复视是动态的而不是静态的，这意味着它朝一个或多个注视方向增加和减少。因此，如果受试者在将右眼向外看时有局限性，则当患者向右看时，复视就会增加，而当受试者向左看时，复视就会减少。
屈光参差症(受试者双目屈光力不相等)并不罕见，尤其是在眼部手术或外伤后。这是医疗保险规定的白内障手术适应症之一。矫正性玻璃眼镜不能矫正屈光参差。这是因为矫正玻璃眼镜会产生两个图像，每只眼睛一个，大小不等(物像不等)，而大脑无法将这两个图像融合为双目单视。这个问题仅仅是因为玻璃眼镜的镜片要么是凸的，放大图像，要么是凹的，缩小图像。放大或缩小的量取决于矫正量。
玻璃眼镜的镜片要么是凸的，放大图像，要么是凹的，缩小图像。这会影响人的视野。玻璃眼镜可以矫正患者的屈光不正，但也会在所观看的图像中产生扭曲。
患有瞳孔不等症的人的瞳孔大小不均等，其可能是先天性的，也可能是由眼疾、手术或外伤所致。这些患者只有一只眼睛有光敏反应，并且这只眼睛不能承受健康眼睛所能承受的光亮度。
需要一种可以补偿上述视觉缺陷的光学设备。
发明内容
在示例性实施例中，本技术提供了用于测试、识别和/或补偿影响患者视觉的一种或多种眼部病变的设备。这些眼部病变包括例如视神经病变(例如青光眼、视神经炎和视神经病)、视网膜病变(例如，黄斑变性、色素性视网膜炎)、视觉通路病变(例如，微血管中风和肿瘤)、以及其他疾病(例如，老花眼、斜视、高和低光学像差、单目视觉、屈光参差症和物像不等、光敏感度、瞳孔不等屈光不正和散光)。在一些示例性实施例中，本技术提供了用于增强受试者视野的设备，增强受试者视野例如是对以下各项进行的修改：水平、竖直和/或对角线视角；提供给一个或多个区域的光；一个或多个区域中的物体大小；和/或一个或多个区域中的物***置。
在示例性实施例中，本文描述的***和设备可以包括可穿戴眼镜设备，其被配置为测试、识别、补偿视觉缺陷，和/或增强受试者视觉或视野的各个方面。一些这种实施例可以被配置为使用它们来向受试者提供个性化的定制视觉矫正。在一个示例中，眼镜设备包括数字治疗矫正眼镜(本文也称为“DTS”)。眼镜还可以包括例如眼镜、太阳镜和护目镜。
在一方面，一种视觉***可以包括可穿戴眼镜设备。该***还可以包括具有处理器和存储器的图像处理设备。图像处理设备可以在存储器上存储指令，其中指令在被执行时使得处理器执行测试模式和/或观看模式。
在一个示例中，该***还可以包括瞳孔跟踪传感器，其被配置为跟踪受试者的瞳孔物理状况和/或视线。在另一示例中，瞳孔跟踪传感器包括一个或多个向内定向的图像传感器。在以上或另一示例中，该***可以包括视域传感器，其被配置为在观看模式下捕捉视野。
在以上任一或另一示例中，指令在由处理器执行时可以使得处理器执行以下操作：在测试模式下，(i)指示可穿戴眼镜设备在测试视野中的一个或多个测试位置上向受试者显示多个测试刺激，(ii)在一个或多个测试位置上显示多个测试刺激期间，指示向内定向的图像传感器捕获对瞳孔物理状况和/或视线的位置指示，以及(iii)确定测试视野中的一个或多个受影响区域，并确定受试者的一个或多个视觉病变，其中该多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平不同。
在以上任一或另一示例中，指令在由处理器执行时，可以使得处理器执行以下操作：在观看模式下矫正视野的图像以增强视野和/或补偿一个或多个受影响区域，并指示可穿戴眼镜设备向使用该可穿戴眼镜设备的受试者显示矫正后的图像。
在以上任一或另一示例中，图像处理设备存储在被执行时使得处理器执行以下操作的指令：在观看模式下，指示视域相机捕获视野图像，响应于测试视野中的所确定的一个或多个受影响区域，处理该图像，矫正该图像以补偿该一个或多个受影响区域，并指示可穿戴眼镜设备将矫正后的图像作为数字图像显示给受试者。
在以上任一或另一示例中，数字眼镜还可以包括第一数字监视器和第二数字监视器，每个数字监视器被配置为在测试模式下向受试者的相应眼睛显示多个刺激中的一个。在以上任一或另一示例中，视域相机包括第一视域相机和第二视域相机，第一视域相机对应于第一数字监视器，第二视域相机对应于第二数字监视器。在以上任一或另一示例中，瞳孔物理状况选自以下中的一项或多项：(i)一个或多个瞳孔的瞳孔移动，(ii)角膜缘，(iii)视线，和/或(iv)受试者的视轴。在以上任一或另一示例中，视域相机包括从可穿戴眼镜的外表面向内延伸的至少一个视域相机。在以上任一或另一示例中，视域相机包括从可穿戴眼镜的外表面向外延伸的至少一个视域相机。在以上任一或另一个示例中，在观看模式下，视域相机捕获视野的连续图像。
在以上任一或另一示例中，多个测试刺激包括文本或物体的至少一个测试图像。在以上任一或另一示例中，该一个或多个受影响区域包括视觉敏感度降低或光学像差较高或较低的区域。在以上任一或另一示例中，该一个或多个受影响的区域包括亮度降低的区域。在以上任一或另一示例中，该多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平相差至少20dB。在以上任一或另一示例中，该多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平相差至少30dB。在以上任一或另一示例中，图像处理设备存储在被执行时使得处理器执行以下操作的指令：在测试模式下，指示可穿戴眼镜设备以递减或递增的对比度来向受试者显示多个测试刺激。
在另一方面，一种视觉***包括可穿戴眼镜设备、至少一个数字监视器、至少一个视域相机以及图像处理设备。
在一些示例中，至少一个数字监视器被配置为向受试者的眼睛显示图像。在一个示例中，至少一个视域相机可以被配置为捕获场景的多个单目图像，每个单目图像相对于每个其他单目图像被移位。在一个示例中，图像处理设备可以包括处理器和存储器，并且被耦接到至少一个数字监视器。图像处理设备可以在存储器上存储指令，该指令在被执行时，使得处理器将该多个单目图像组合成组合图像，该组合图像的视野大于多个单目图像中的任一单目图像的视野。在以上任一或另一实施例中，指令可以使得处理器将组合图像显示给至少一个数字监视器，以向受试者呈现场景的加宽的视野。
在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的指令：通过相对于其他多个单目图像对多个单目图像中的至少一个单目图像进行选择性视野移位来将多个单目图像组合成组合图像以生成组合图像的加宽***区域。在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的指令：通过相对于其他多个单目图像对多个单目图像中的至少一个单目图像进行***选择性视野操纵，来将多个单目图像组合成组合图像。
在以上任一或另一示例中，***选择性视野操纵包括对多个单目图像的***区域或中央黄斑区域执行收缩或放大。在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的指令：通过以下操作来将多个单目图像组合成组合图像：识别多个单目图像中的至少一个单目图像中的缺损视野区域，捕获缺损视野区域，以及将捕获的缺损视野区域转移到非缺损视野区域，以及将组合图像形成为包括转移后的捕获的缺损视野区域，以显示给受试者。
在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的执行：通过识别多个单目图像中的每一个单目图像的公共中央区域以及识别多个单目图像的相异***区域，来将多个单目图像组合成组合图像；以及将组合图像形成为具有第一区域和第二区域，第一区域对应于公共中央区域，第二区域是通过将相异***区域组合成围绕第一区域的加宽***区域而形成的。在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的指令：形成组合图像，使得第二区域矫正受试者眼睛的视野缺损和像差。在以上任一或另一示例中，至少一个数字监视器包括第一数字监视器和第二数字监视器，每个数字监视器被配置用于向受试者的相应眼睛显示组合图像。
在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的指令：对多个单目图像的第一区域执行鱼眼变换以根据根据下式来修改多个单目图像的径向分量：
rnew＝r+ar3
其中是常数。
在以上任一或另一示例中，图像处理设备在存储器上存储在被执行时使得处理器执行以下操作的指令：对多个单目图像执行共形映射变换以根据下式来修改径向分量：
rnew＝rβ
其中β是径向分量的恒定幂且β>1。
在以上任一或另一实施例中，图像处理设备可以在存储器上存储在被执行时使得处理器执行多项式变换以将来自围绕多个单目图像的中心的较宽环带的点映射到较窄环带从而形成组合图像的指令。
在又一方面，一种装置可以包括具有壳体的可穿戴眼镜。该可穿戴眼镜可以具有可控制投影仪，其被配置为将图案化图像投影到受试者的视网膜上。该装置还可以包括具有处理器、存储器和输入设备的图像处理设备。图像处理设备可以耦接到可控制投影仪。
在一些示例中，图像处理设备被配置为：(A)向输入设备接收指示在受试者视网膜处体验的图案化图像的视觉评分信号；(B)分析视觉评分信号，基于视觉评分信号确定在视网膜上是否存在扭曲，以及当存在扭曲时，基于视觉评分信号确定图案化图像的图案调整；以及(C)基于图案调整来调整该图案化图像以形成修正的图案化图像，并将修正的图案化图像投影到视网膜上并重复(A)。
在以上任一或另一示例中，矫正成像元素是***元素相对于可见场景的中央图像区域的调整的强度，或中央元素相对于可见场景的***图像区域的调整的强度。在以上任一或另一示例中，图像处理设备被配置为：响应于检测到受试者眼睛的移动，调整矫正成像元素的位置和/或组成。在以上任一或另一示例中，图像处理设备被配置为：识别受试者的一只或两只眼睛的一个或多个受影响区域；以及确定补偿该一个或多个受影响区域的矫正成像元素。
在又一方面，一种装置可以包括可穿戴眼镜设备，该可穿戴眼镜设备可以包括至少一个光学元件，用于将可见场景的图像传递给受试者。可穿戴眼镜设备还可以包括与该至少一个光学元件相对应的至少一个数字监视器，该至少一个数字监视器被配置为将矫正成像元素覆盖在至少一个光学元件的可见场景的图像上方。该装置还可以包括具有处理器和存储器的图像处理设备。图像处理设备可以耦接到至少一个数字监视器。
在一个示例中，图像处理设备被配置为生成矫正成像元素作为可见场景的图像的***元素，以矫正***视野缺损，或生成矫正成像元素作为可见场景的图像的中央元素，以矫正中央视野缺损。在以上任一或另一示例中，图像处理设备可以被配置为向受试者显示可见场景上的矫正性图像元件。
在以上任一或另一示例中，矫正成像元素是***元素相对于可见场景的中央图像区域的调整的强度，或中央元素相对于可见场景的***图像区域的调整的强度。在以上任一或另一示例中，图像处理设备被配置为：响应于检测到受试者眼睛的移动，调整矫正成像元素的位置和/或组成。在以上任一或另一示例中，图像处理设备被配置为：识别受试者的一只或两只眼睛的一个或多个受影响区域；以及确定补偿一个或多个受影响区域的矫正成像元素。
在以上任一或另一示例中，图像处理设备被配置为：在测试模式下，(i)指示至少一个数字监视器来在测试视野中的一个或多个测试位置上向受试者显示多个测试刺激，(ii)在一个或多个测试位置上显示多个测试刺激期间，指示装置的图像传感器捕获对瞳孔物理状况和/或视线的位置指示，以及(iii)确定测试视野中的一个或多个受影响区域，并确定受试者的一个或多个视觉病变。在以上任一或另一示例中，多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平不同。
在以上任一或另一示例中，至少一个数字监视器被包含在至少一个光学元件的层中。在以上任一或另一示例中，该层是至少一个光学元件的内层或外层。
附图说明
下面描述的附图绘出了本文公开的***和方法的各个方面。应当理解，每个图均描绘本***和方法的各方面的示例。
图1A-图1C示出了根据本文描述的各种实施例的示例眼镜设备的视图；
图2示意性示出了根据本文描述的各种实施例的示例视觉***；
图3示意性示出了根据本文描述的各种实施例的具有在图像处理设备和可穿戴眼镜设备上实现的视觉矫正框架的设备；
图4示出了根据本文描述的各种实施例的包括测试模式和观看模式的示例过程；
图5示出了根据本文描述的各种实施例的包括测试模式和观看模式的示例过程；
图6A-图6C示出了根据本文描述的各种实施例的用于包括瞳孔跟踪的测试模式过程的示例评估协议(protocol)；
图7A-图7C示出了根据本文描述的各种实施例的用于包括瞳孔跟踪的测试模式过程的示例评估协议；
图8示意性示出了根据本文描述的各种实施例的包括测试模块的工作流程，其通过可穿戴眼镜设备生成并向用户呈现多个视觉刺激。
图9示出了根据本文描述的各种实施例的测试模式过程；
图10示出了根据本文描述的各种实施例的可以实现为测试模式的一部分的人工智能矫正算法模式的过程；
图11示出了根据本文描述的各种实施例的测试图像；
图12示出了根据本文描述的各种实施例的模拟视觉图像的显影，其包括在测试图像上覆盖受损视野以呈现给受试者；
图13示出了根据本文描述的各种实施例的可以应用于图像并呈现给受试者的不同矫正变换的示例；
图14示出了根据本文描述的各种实施例的示例平移方法；
图15示意性示出了根据本文描述的各种实施例的机器学习框架的示例；
图16示出了根据本文描述的各种实施例的机器学习框架的AI***的过程；
图17示出了根据本文描述的各种实施例的测试图像的示例变换；
图18示出了根据本文描述的各种实施例的测试图像的示例平移；
图19是示出根据本文描述的各种实施例的AI***的实现的各个方面的图形用户界面；
图20示意性示出了根据本文描述的各种实施例的包括前馈神经网络的AI***的框架；
图21和图22分别示出了根据本文描述的各种实施例的包括AI神经网络的AI***的示例测试模式过程和AI算法优化过程；
图23示出了根据本文描述的各种实施例的实施测试模式和观看模式的示例过程；
图24示出了根据本文描述的各种实施例的可穿戴眼镜设备，包括定制现实可穿戴眼镜，其允许来自环境的图像穿过其一部分，其中允许观察者的***视野通过并且阻***区域；
图25示出了根据本文描述的各种实施例的可穿戴眼镜设备，包括定制现实可穿戴眼镜，其允许来自环境的图像穿过其一部分，其中允许观察者的中央区域通过并且阻挡***视野区域。
图26示出了受试者的正常双目视觉，其中来自左眼和来自右眼的单目图像被组合成具有黄斑中心区域和围绕该中心区域的***视野区域的单个感知图像；
图27示出了隧道视觉状况，其中受试者看不到***区域；
图28示出了根据本文描述的各种实施例的用于增强视觉或矫正隧道视觉状况的图像移位技术；
图29示出了根据本文描述的各种实施例的用于在扩大视野的同时增强视觉或保持中央视敏度的图像调整大小变换技术；
图30示出了根据本文描述的各种实施例的双目视野扩展技术；
图31A示出了根据本文描述的各种实施例的用于评估干眼和角膜不规则性的技术，包括将图案投影到角膜表面上并对反射该图案的角膜表面成像；
图31B示意性示出了根据本文描述的各种实施例的参考图像的呈现，该参考图像包括通过可穿戴眼镜向受试者显示或投影到受试者角膜或视网膜上的网格；
图31C示出了根据本文描述的各种实施例的用于由受试者操纵的示例网格；
图31D示出了根据本文描述的各种实施例的对图31C所示网格的示例操纵；
图31E示出了根据本文描述的各种实施例的受试者应当感知的场景；
图31F示出了根据本文描述的各种实施例的示例矫正视野，当提供给具有通过网格技术确定的视觉扭曲的受试者时，导致受试者感知到如图31E所示的视野；
图31G示出了根据本文描述的各种实施例的包括可操纵网格的显示，受试者可以在该可操纵网格上传达视野内的扭曲；
图32是根据本文描述的各种实施例的反射投射到角膜表面上的图案的角膜表面的图像；
图33示出了根据本文描述的各种实施例的正常图案反射的示例；
图34示出了根据本文描述的各种实施例的异常图案反射的示例；
图35A示出了根据本文描述的各种实施例的用于测试模式的快速阈值策略，该测试模式包括在预定位置使用52个刺激序列来覆盖中央40度半径范围的四个对比度阶梯刺激；
图35B示出了根据本文描述的各种实施例的时序图，其示出了在一个刺激位置处的测试序列的五个步骤(a-e)；
图36示出了根据本文描述的各种实施例，对界定最大明亮视野的像素的宽度和高度的计算；
图37示出了根据本文描述的各种实施例的宽度图和高度图；
图38示出了根据本文描述的各种实施例的用于测试视野的四个主要象限的测试图像；
图39A示出了根据本文描述的各种实施例的在重新映射之前的示例视野图；
图39B示出了根据本文描述的各种实施例的在重新映射之后的示例视野图；以及
图40A-图40C示出了根据本文描述的各种实施例的示例定制现实眼镜设备。
具体实施方式
本申请提供了用于测试、识别和补偿影响患者视野的眼部病变的技术和设备。这些眼部病变包括例如视神经病变(例如，青光眼、视神经炎和视神经病)、视网膜病变(例如，黄斑变性、色素性视网膜炎)、视觉通路病变(例如，微血管中风和肿瘤)、以及其他疾病(例如，老花眼、斜视、高和低光学像差、单目视觉、屈光参差症和物像不等、光敏感度、瞳孔不等屈光不正和散光)。
本文的技术提供了用于测试、增强和/或矫正视觉或视野的感知的视觉***、眼镜设备及其相关联的***和设备。
视觉***的一个或多个设备可以被配置为在本文描述的一个或多个***内使用，或者可以被配置为单独使用。例如，在各种实施例中，视觉***包括眼镜设备。将会理解，本文描述的设备可以包括一个或多个***，该***包括一个或多个设备。因此，设备可以包括一个或多个相关联的***或设备。
视觉***可以包括被配置为执行本文描述的视觉***的图像处理操作的图像处理设备(也可以称为图像处理器、计算设备等)。如本文所描述的，图像处理设备可以完全或部分地与眼镜设备集成在一起，或者可以完全或部分地在眼镜设备外部，例如远离眼镜设备。这种外部图像处理设备可以被配置用于与眼镜设备进行有线或无线通信。
眼镜设备的示例性实施例包括可穿戴眼镜设备。眼镜设备的一些实施例可以针对此处描述的成像、成像处理、通信、显示或其他功能性中的一项或多项采用数字方面。眼镜设备的各种实施例，可以单独地或与其他***或设备一起，被配置为向受试者提供个性化、定制的视觉矫正视野。在一些示例中，眼镜设备可以包括数字治疗矫正眼镜(本文中也称为“DTS”)。一种示例性眼镜设备可以包括可穿戴数字眼镜，供个人用于除治疗矫正之外的目的。例如，眼镜设备可以被配置为例如通过增大或减小视野，修改水平、垂直和/或对角线视野，修改提供给一个或多个区域的光，修改视野的一个或多个区域内的物体或区域的大小，和/或将物体或区域重新定位到视野的另一区域，来增强受试者的正常视觉、视野或其感知。在一些示例中，本文的眼镜设备可以通过语音激活、远程控制(例如，蜂窝电话)或身体移动(例如，眨眼或用力眨双目)来激活。
视觉***或眼镜设备的实施例可以包括一个或多个数字监视器。视觉***或眼镜设备还可以包括一个或多个图像传感器。在一些实施例中，图像传感器可以包括一个或多个向外定向的图像传感器，用于对受试者(通常也称为用户、佩戴者或患者)的观察环境成像，该观察环境通常可以对应于起源于受试者眼睛的视野，不过在某些配置中也可以取自其他起源点。向外定向的图像传感器可以包括例如一个或多个相机，其被定位成捕获一个或多个视野的全部或部分，该视野可以包括相对于人类的更多或更少的视野。在这些或其他实施例中，一个或多个图像传感器可以包括一个或多个向内定向的图像传感器，用于对受试者的各个方面进行成像，该方面例如是受试者瞳孔的物理状态。例如，眼镜设备可以包括向内定向的图像传感器，例如相机(可见光、红外光等)，它们捕获并跟踪受试者的视线、角膜缘、瞳孔数据、受试者的角膜数据、视网膜图像、在角膜或视网膜上反射的图案的图像。视线也称为视轴，它可以通过跟踪瞳孔、角膜缘(即角膜和巩膜之间的边缘)，或者甚至跟踪眼睛表面或眼睛内部的血管来获得。因此，图像传感器可以用于对角膜缘、血管以及瞳孔成像。
一些视觉***或眼镜设备可以包括一个或多个显示器，其可以称为数字监视器。数字监视器可以包括用于在屏幕上生成显示的监视器，这可以包括投影到可以包括抬头显示器的屏幕上，或者可以包括用于将该显示投影到受试者的一只或两只眼睛上的监视器。例如，眼镜设备可以包括一个或多个数字监视器，用于向受试者显示图像。这些或其他视觉***或眼镜设备可以包括投影仪，其被配置为通过将图像投影到监视器上(诸如玻璃之类的屏幕)或受试者眼睛上(诸如视网膜投影)，来向受试者显示图像。在一些示例中，设备包括具有两个微型外部取景器相机的头戴式设备。头戴式设备可以包括例如本文描述的可穿戴眼镜设备。在一些示例中，眼镜设备可以包括被配置为将整个视野重新创建为数字化矫正图像以提供视野的优化再现的眼镜设备。在一些示例中，视觉***或眼镜设备可以包括具有替代现实(AR)或虚拟现实(VR)头戴式设备的眼镜设备。在这些或其他示例中，***和设备可以包括眼镜设备，其中用户可以观看视野，但是该视野已经通过引入矫正图像而得到矫正。
在一些示例中，视觉***或眼镜设备可以被配置为处理和/或显示图像以矫正较低和/或较高阶像差和/或屈光不正，从而向受试者提供改进的定制个性化视觉。在一些示例中，包括眼镜设备的***或设备可以被配置为治疗各种各样的眼部异常。眼部异常包括例如与一种或多种视野缺损、视觉下降、视野扭曲、继发效应和复视有关的各种类型的可诊断状况。可以通过本文描述的***或设备的操作来矫正的眼部异常可以包括但不限于以下的一种或多种：老花眼、斜视引起的复视、青光眼、年龄相关的黄斑变性、单目视觉、屈光参差症和物像不等、光敏感度和瞳孔大小不等，视神经病变，诸如青光眼、视神经炎和视神经病；视网膜病变，诸如黄斑变性、色素性视网膜炎；视觉通路病变，诸如微血管中风和肿瘤；以及其他疾病，诸如老花眼、斜视、高和低光学像差、屈光不正和散光。
在示例性实施例中，视觉***或眼镜设备可以被配置为通过数字重建或通过扩大视野来提供显示给受试者的增强的和/或矫正后的图像。在示例性实施例中，眼镜设备可以包括一个或多个投影仪，其被配置为经由视网膜投影将数字重建或增强的图像投影到受试者的眼睛中，投影到视网膜上。
在示例性实施例中，视觉***或眼镜设备可以被配置为矫正或增强受试者的视野，例如，矫正或增大受试者的视角。在一些示例中，中央和***观看区域被不同地影响(例如，通过放大或缩小显示或投影到受试者眼睛的图像)，以增强受试者的视角或增加受试者感知的细节。
在示例性实施例中，视觉***或眼镜设备可以被配置为补偿患者视野局部亮度的变化，例如，根据视野测试结果所确定的，这可以与眼镜设备一起执行或单独地执行。眼镜设备可以被配置为通过向相比于具有正常敏感度的区域具有较低敏感度的视野区域提供增加的亮度来进行补偿。在一些示例中，眼镜设备或相关联的***被配置为使用瞳孔和视轴来配准和跟踪这些较低敏感度的区域。本文的眼镜设备或相关联的***对这些较低敏感度区域采用补偿技术，以从受试者感知角度提供均匀的图像。该补偿技术针对低敏感度区域去除了受试者的局部云，以改善视觉性能并增大受试者的功能性视野。
在示例性实施例中，视觉***或眼镜设备可以包括测试模式，例如用于识别和测试受试者的视觉或功能性视野的各个方面。在该实施例或其他实施例中，眼镜设备可以包括观看模式，例如用于提供增强的或矫正后的视觉或视野，其可以是实时的和/或对受试者个性化的。在一些实施例中，眼镜设备或相关联的***包括测试模式和观看模式二者，其可以被配置为利用后续或维护测试过程，以便随着受试者视觉的变化，对观看模式处理进行流线型重新编程。在一些实施例中，眼镜设备可以包括被配置为接收针对测试模式操作和/或观看模式操作的更新的编程接口。例如，编程接口可以包括有线或无线通信端口，该端口包括接收器或收发器。在一些实施例中，眼镜设备可以被配置为接收更新，更新包括由***的测试模式或另一***或设备执行的测试结果，以便与观看模式操作整合。在一些实施例中，更新可以包括由受试者诸如经由通过通信端口与编程接口进行信号通信的用户接口而提供的数据或指令。数据或指令可以由用户在测试模式(其可以包括本文描述的反馈模式)中，或者在观看模式操作期间(其可以类似地包括反馈模式)，经由与用户接口的交互来传达，用户接口包括平板电脑、智能电话、计算机或***设备。一些实施例可以包括安装在眼镜设备上的用户接口，诸如开关、触摸传感器、电容传感器，或者其他接口，用户可以通过这些接口来传达或调节关于视觉或矫正曲线(profile)的参数，观看模式根据曲线处理图像并向受试者呈现图像。
在示例性实施例中，视觉***或眼镜设备可以包括一个或多个向外定向的图像传感器(例如相机)，其定位成对受试者的视野成像并在监视器(例如显示屏、眼镜玻璃)上显示图像，或者在处理图像之后将图像投影到佩戴眼镜设备的受试人员的眼睛中。图像的处理可以包括定制图像以治疗和/或矫正上述状况或增强视觉或功能性视野。如上所介绍的，眼镜设备可以包括一个或多个向内定向的图像传感器(例如相机)或与之相关联，该图像传感器观察受试者眼睛、视线、瞳孔大小和/或角膜缘的位置，以针对上述矫正或增强进行配准和/或调节。
在示例性实施例中，视觉***或眼镜设备可以被配置为以动态方式来矫正较低和/或较高阶视觉像差。该技术可以检测瞳孔的大小、适应性状态以及视线的变化，从而相应地改变视觉像差矫正曲线。较高和/或较低阶像差可以根据瞳孔大小、适应性状态和注视方向，使用像差仪来捕获，以允许眼镜设备创建这种动态矫正曲线。通过本文的技术投影到受试者的图像可以根据受试者的实际像差而进行反向扭曲，从而他/她自己的像差被再次反转以提供最佳视觉。一些实施例可以通过检测近反射的迹象，即瞳孔收缩(瞳孔尺寸减小)和会聚(瞳孔向内交叉)来实施检测适应性状态的技术。例如，眼镜设备可以包括用于检测瞳孔大小的瞳孔和/或用于检测注视方向的视线***。这些输入使得技术能够检测要显示的矫正曲线。
在示例性实施例中，可以实施本技术以提供视觉矫正，该视觉矫正自动地使经由一个或多个监视器显示的图像自动聚焦以提供近视觉。为了进一步扩大和增强近视觉，向内定向的图像传感器(例如相机)可以通过检测近反射的迹象，即瞳孔收缩(瞳孔尺寸减小)和会聚(眼睛向内移动)来检测受试者是否正试图看近处目标，并且自动进行自动对焦以提供更好的近视觉。例如，用于阅读报纸的近矫正不同于阅读计算机监视器的矫正。本文描述的示例性眼镜设备和/或关联***可以被配置为通过量化由受试者施加的近反射的量来确定物体有多远，从而提供对应的聚焦矫正。
在示例性实施例中，视觉***或眼镜设备可以被配置为以动态方式来矫正斜视继发的复视。例如，瞳孔和视线跟踪可以与向内定向的图像传感器可操作地协作以跟踪瞳孔、角膜缘或眼睛结构，例如受试者的血管和视线。该跟踪可以用于以动态方式来通知显示给受试者(例如投影或显示在一个或多个监视器上或投影到受试者眼睛上)的图像的位移，以补偿斜视并防止所有注视方向上的复视。
在示例性实施例中，视觉***或眼镜设备可以被配置为改善具有视野缺损的患者(例如青光眼患者)的视觉和安全性。这种受试者可能缺少部分视野。例如，如果汽车或人员处于该受试者视觉的盲区，则该汽车或人员对于该受试者是不可见的。本文描述的视觉***和眼镜设备可以实施用于矫正这些盲点。例如，视野缺损可以使用视觉***或眼镜设备的视野测试模式来检测。在一些示例中，由本文的示例***和设备执行的软件可以被配置为将由向外定向的图像传感器(例如相机)捕获的图像重新分布到受试者的实际功能性视野。可以例如利用由瞳孔和视线跟踪获得的数据，参考瞳孔或视线来动态地投影实际视野。换句话说，本技术可以将位于受试者盲点内的汽车或人员的图片带到受试者盲点之外的位置，从而提高那些受试者的安全性和功能性。
在存在中央盲点的患有年龄相关的黄斑变性或影响眼睛黄斑的其他病变的患者中，视觉***或眼镜设备可以被配置为将图像或其一部分分布到其功能性视野的***或旁中央部分。例如，本技术可以将感兴趣的图像的部分投影到视网膜的健康部分，避免视网膜的不健康部分。在一些示例中，视觉***或眼镜设备可以包括测试模式以描绘在图像修改期间用于指导其分布的视野的可见区和盲区。
在单目患者或一只眼视觉较弱的患者中，视觉***或眼镜设备可以捕获正常的双目视野并将正常的双目视野分布到两只眼睛的实际功能性视野中，从而为患者提供尽可能最宽的视野。实际上，这些眼镜设备可以实现为扩大正常受试者的视野，以用于军事交战和其他应用，从而为受试者提供增强的视野。例如，眼镜设备可以实现为在移动应用、医师应用、驾驶应用等中增强受试者的视野。
屈光参差是由受试者的两只眼睛的屈光力不相等导致的。在各种实施例中，视觉***或眼镜设备可以被配置为通过修改图像大小以创建相等大小的图像并将其显示或投影到两只眼睛以避免视觉干扰来矫正屈光参差。
不同于引起视野扭曲(例如，感兴趣图像的缩小或放大)的玻璃眼镜的镜片，本技术可以独立于矫正性镜片使用，以不影响受试者的视野。
在一些示例中，视觉***或眼镜设备可以被配置为独立于周围环境的亮度来显示或投射光。在一个示例中，根据患者需要，显示或投射的光可以根据由***和/或设备检测到的瞳孔的大小来自动地调整，或者例如经由耦接到眼镜设备(例如与其进行信号通信)的用户接口来手动地调整。在明亮的环境中，瞳孔趋于收缩，而在不太明亮的环境中，瞳孔会扩张。如上所介绍的，本文的***和设备可以被配置为检测收缩/扩张的程度并相应地针对亮度进行调整，这可以以个性化和定制的方式进行。例如，瞳孔大小不等的受试者可以使用本技术来允许分别调节用于每只眼睛的亮度。在一些示例中，这在***或设备检测到瞳孔大小时由***或设备自动完成。
图1A示出了形成用于受试者的可穿戴设备的示例性眼镜设备100。在一些实施例中，眼镜设备100可以是本文描述的视觉***的一部分。眼镜设备100包括左目镜102和右目镜104。每个目镜102和104可以包含数字监视器和/或与之相关联，数字监视器被配置为向受试者的相应眼睛显示(或投影)重建的图像。在各种实施例中，数字监视器可以包括显示屏、投影仪和/或用于在显示屏上生成图像显示的硬件。将会理解，包括投影仪的数字监视器可以位于其他位置，以将图像投影到受试者的眼睛上或投影到目镜上，目镜包括屏幕、玻璃或可以在其上投影图像的其他表面。在一个实施例中，左目镜102和右目镜104可以相对于壳体106定位以适合受试者上的眼窝区域，使得每个目镜102、104能够采集数据和显示/投影图像数据，这在另一示例中包括将图像数据显示/投影到不同的眼睛。
每个目镜102、104还可以包括一个或多个向内定向的传感器108、110，其可以是向内定向的图像传感器。在示例中，向内定向的传感器108、110可以包括红外相机、光电检测器或其他红外传感器，其被配置为跟踪瞳孔移动并确定和跟踪受试者的视轴。向内定向的传感器108、110(例如，包括红外相机)可以相对于目镜102、104位于较下部位，以便不阻挡受试者的视野，既不阻挡其真实视野也不阻挡显示或投影到受试者的视野。向内定向的传感器108、110可以在方向上对准以指向假定的瞳孔区域，以便更好地跟踪瞳孔和/或视线。在一些示例中，向内定向的传感器108、110可以嵌入在目镜102、104内以提供连续的内表面。
图1B示出了眼镜设备100的前视图，其示出了目镜102、104的前视图，包括视域相机的相应向外定向的图像传感器112、114被定位在目镜102、104中。在其他实施例中，可以提供更少或额外的向外定向的图像传感器112、114。向外定向的图像传感器112、114可以被配置为捕获连续图像。眼镜设备100或相关联的视觉***还可以被配置为接着矫正和/或增强图像，这可以基于受试者的眼部病变以定制的方式进行。眼镜设备100还可以被配置为在观看模式下经由监视器向受试者显示矫正后的和/或增强的图像。例如，眼镜设备可以在与目镜相关联的显示屏或邻近区域上生成矫正后的和/或增强的图像，将图像投影至与目镜相关联的显示屏或邻近区域上，或将图像投影到受试者的一只或两只眼睛上。
图1C是示例性的构造的眼镜设备100的图像，该眼镜设备包括目镜102、104，其具有两个数字监视器的，并带有聚焦透镜116、118。在此示例中，仅包括一个向内定向的光学传感器110以用于瞳孔和视线跟踪，然而在其他示例中，可以提供多个向内定向的光学传感器110。
在示例性实施例中，眼镜设备100可以包括测试模式。在示例测试模式中，向内定向的传感器108、110响应于测试协议跟踪瞳孔移动并执行视轴跟踪(例如，视线)。在此示例或另一示例中，向内定向的传感器108、110可以被配置为捕获在角膜和/或视网膜上反射的图案的反射，以检测角膜或眼光学***的扭曲和不规则性。
测试模式可以用于执行视觉评估以识别眼部病变(例如高和/或低阶像差)、视神经病变(例如，青光眼、视神经炎和视神经病)、视网膜病变(例如，黄斑变性、色素性视网膜炎)、视觉通路病变(例如，微血管中风和肿瘤)、以及其他疾病(例如，老花眼、斜视、高和低光学像差、单目视觉、屈光不正和物像不等，光敏感度，瞳孔不等屈光不正和散光)。在测试模式中，可以采集特定受试者的数据并用于在显示捕获的图像之前矫正这些图像，显示可以包括如本文描述的通过监视器向受试者投影。
在一些示例中，外部传感器可以用于提供进一步的数据以评估受试者的视野。例如，用于矫正所捕获图像的数据可以从外部测试设备(例如，视野测试设备、像差仪、眼电图或视觉诱发电位设备)获得。从这些设备获得的数据可以与用于视轴确定的瞳孔或视线跟踪相结合，以创建用于矫正被投影或显示给观看者的图像的矫正曲线。
眼镜设备100可以包括观看模式，其可以是测试模式的补充或替代。在观看模式下，一个或多个向外定向的图像传感器112、114捕获图像，这些图像被发送到成像处理器以进行实时图像处理。成像处理器可以嵌入在(例如，集成或附接到)眼镜设备100内，或者可以在其外部，诸如与外部图像处理设备相关联。成像处理器可以是视觉模块的组件和/或包括如本文其他地方描述的场景处理模块。
眼镜设备100可以通过有线或无线通信(例如，通过嵌入在眼镜设备100内的无线收发器)与一个或多个成像处理器通信地耦接。外部成像处理器可以包括计算机，诸如膝上型计算机、平板电脑、移动电话、网络服务器或集中式的或分布式的其他计算机处理设备，并且可以以一个或多个处理器和一个或多个存储器来表征。在所讨论的示例中，在该外部图像处理设备中处理捕获的图像；然而，在其他示例中，捕获的图像可以由嵌入在数字眼镜内的成像处理器来处理。然后，经过处理(例如，被增强以改善功能性视野或其他视野方面和/或被增强以矫正受试者的视野病变)的图像被发送到眼镜设备100并由监视器显示以供受试者观看。
在包括眼镜设备的视觉***的示例操作中，对捕获图像的实时图像处理可以由成像处理器例如使用嵌入在眼镜设备中的微型计算机上运行的定制的MATLAB(MathWorks，Natick，MA)代码来执行。在其他示例中，这些代码可以在外部图像处理设备或无线联网以与眼镜设备通信的其他计算机上运行。在一个实施例中，包括眼镜设备、图像处理器以及用于执行观看模式和/或测试模式的相关联的指令并且可以单独地或与一个或多个外部设备(例如，膝上型电脑)组合地体现在眼镜设备上的视觉***可以在两种模式下操作：观看模式和单独的测试模式。
图2示出了示例视觉***200，包括可通信地耦接至网络204以与服务器206、移动蜂窝电话208或个人计算机210通信的眼镜设备202，这些设备中的任一个可以包含用于实施本文的处理技术的视觉矫正框架212，这些处理技术例如是图像处理技术，其可以包括关于测试模式和/或观看模式的那些技术。在所示示例中，视觉矫正框架212包括处理器和存储用于实现本文的技术的操作***和应用的存储器，以及用于通过网络204与眼镜设备202进行通信的收发器。框架212包含测试模块214，其在本示例中包括机器学习框架。机器学习框架可以与由测试模块执行的测试协议一起使用，以便以有监督或无监督的方式自适应地调整测试模式以更准确地评估眼部病变。测试模块操作的结果可以包括为受试者218开发定制的视觉矫正模型216。在一些实施例中也可以包括机器学习框架的观看模块220访问定制的视觉矫正模型，以生成矫正后的视觉图像以供眼镜设备202显示。视觉矫正框架212还可以包括场景处理模块，其可以处理在测试模式和/或观看模式操作期间使用的图像，并且可以包括以上以及本文中其他地方关于处理模块所描述的操作。如上文和本文其他地方所描述的，在一些实施例中，眼镜设备202可以包括视觉矫正框架212的全部或一部分。
在测试模式下，可以使用眼镜设备100或202，尤其是包括可以沿着眼镜设备100或202的内部定位的跟踪相机的一个或多个向内定向的图像传感器，来捕获瞳孔和视轴跟踪数据，该数据用于在受试者的瞳孔和视轴上准确配准处理的图像。
图3示出了包括视觉矫正框架302的视觉***300。视觉矫正框架302可以在图像处理设备304和眼镜设备306上实现，以便放置在受试者上。图像处理设备304可以完全包含在外部图像处理设备或其他计算机中，而在其他示例中，图像处理设备304的全部或部分可以在眼镜设备306内实现。
图像处理设备304可以包括存储器308，其存储用于执行本文描述的测试模式和/或观看模式的指令310，该指令可以包括用于从眼镜设备306采集受试者的高分辨率图像的指令。在观看模式下，眼镜设备306可以捕获实时视野图像数据作为原始数据、处理后的数据或经预处理的数据。在测试模式中，眼镜设备可以投影测试图像(诸如字母“文本”或车辆或其他物体的图像)以测试受试者视野的各个方面。
眼镜设备306可以通过有线或无线链路可通信地连接到图像处理设备304。链路可以通过通用串行总线(USB)、IEEE 1394(火线)、以太网或其他有线通信协议设备。无线连接可以通过任何合适的无线通信协议，诸如WiFi、NFC、iBeacon、蓝牙、蓝牙低能量等。
在各种实施例中，图像处理设备304可以具有控制器，该控制器经由连接到输入/输出(I/O)电路的链接可操作地连接到数据库。可以以已知方式将附加数据库链接到控制器。控制器包括程序存储器、处理器(可以称为微控制器或微处理器)、随机存取存储器(RAM)和输入/输出(I/O)电路，所有这些都可以通过地址/数据总线互连。应当理解，尽管仅描述了一个微处理器，但是控制器可以包括多个微处理器。类似地，控制器的存储器可以包括多个RAM和多个程序存储器。RAM和程序存储器可以实现为例如半导体存储器、磁性可读存储器和/或光学可读存储器。链接可以通过I/O电路将控制器可操作地连接到捕获设备。
程序存储器和/或RAM可以存储各种应用(即，机器可读指令)以供微处理器执行。例如，操作***通常可以控制视觉***300的操作，例如眼镜设备306和/或图像处理设备304的操作，并且在一些实施例中，可以向设备提供用户接口以实现所描述的过程。程序存储器和/或RAM还可以存储用于访问本文描述的图像处理设备的特定功能的各种子例程。作为示例但不限于，这些子例程除其他之外可以包括：从眼镜设备获得视野的高分辨率图像；增强和/或矫正图像；以及提供增强后的和/或矫正后的图像以供眼镜设备306显示给受试者。
除前述之外，图像处理设备304可以包括其他硬件资源。该设备还可以包括各种类型的输入/输出硬件，诸如视觉显示器和输入设备(例如，小键盘、键盘等)。在一个实施例中，显示器是触敏的，并且可以与作为软件例程之一的软件键盘例程协作以接受用户输入。可能有利的是图像处理设备通过许多已知的联网设备和技术中的任何一种(例如，通过诸如内联网、互联网等的计算机网络)与更广泛的网络(未示出)进行通信。例如，该设备可以连接到像差数据的数据库。
示例-“文本”测试模式
在视觉***的示例实现中，对4个受试者进行了测试。测试协议包括在眼镜设备的一个或多个显示监视器的不同位置处显示文本。为了评估受试者受损区域的视野，在每只眼睛的眼镜监视器上显示单词“text”，并要求受试者识别“text”。最初，操作员有意将单词“text”的“xt”部分放在受试者的盲点上。所有4位受试者报告只看到单词的“te”部分。然后具体地使用软件来移动字母以控制显示。文本“text”从受试者的盲点移开，该受试者又被要求阅读该单词。受试者能够阅读“text”，这表明单词的“xt”部分现在已经出现。
测试模式的此评估协议示例在图6A-图6C中示出。如图6A和6B所示，代码自动检测到汉弗莱视野上的盲点。投影单词“text”600，使得单词的“xt”部分在盲点602中(图6A)。要求受试者读这个单词。然后将单词“text”600从盲点602移开(图6B)，并要求受试者再次阅读。单词“text”600可以显示在受试者视野的不同坐标处，在所示示例中，视野被划分为4个坐标。该协议允许识别多个盲点，包括***盲点604。文本可以在受试者的整个视野上移动，并要求受试者识别何时全部或部分文本不可见或部分可见或以降低的强度可见。
本文描述的瞳孔跟踪功能性可以包括瞳孔物理状况(例如，视轴、瞳孔大小和/或角膜缘)、对准、扩张和/或视线。视线也称为视轴，它是可以通过跟踪瞳孔、角膜缘(即角膜和巩膜之间的边缘)或者甚至跟踪眼睛表面上或眼睛内部的血管中的一项或多项来获得的目标。因此，瞳孔跟踪可以类似地包括角膜缘或血管跟踪。瞳孔跟踪可以利用本文描述的一个或多个面朝内的图像传感器来执行。
在各种实施例中，瞳孔跟踪功能可以用于确定用于配准受试者视野上的投影图像的参数(图6C)。
GUI 606显示可以显示给操作员。GUI 606可以提供与测试有关的信息。例如，GUI606示出了测量到的视野缺损以及图像相对缺损的相对位置。GUI 606可操作以允许将图像自动分布到视野的功能部分，不过也可以包括按钮以允许操作员覆盖自动模式。外部图像处理设备可以被配置为确定该评估文本将显示在何处，并且可以将指令无线地传送给数字眼镜以在测试模式下在各个位置处显示该文本。
示例-“图像”测试模式
图7A-图7C示出了另一示例测试模式操作，其中代替使用“text”，测试受试者以确定他们是否可以看到放置在视野不同部分中的汽车700，以用于瞳孔跟踪和受影响区域确定。瞳孔跟踪功能支持视觉***配准受试者视野上的投影图像。
图4示出了过程400，该过程示出了测试模式和随后的观看模式的示例实现。在框402处，在测试模式下，从诊断设备获得数据，该诊断设备如嵌入在眼镜设备和其他用户输入设备(诸如蜂窝电话或平板PC)内的图像传感器。在框404处，可以执行测试模式诊断以从接收到的数据中检测和测量眼部异常，例如视野缺损、眼睛未对准、瞳孔移动和大小、从角膜或视网膜表面反射的图案的图像。在一个示例中，控制程序和算法使用MATLAB R2017b(MathWorks，Inc.，Natick，MA，USA)来实现。在各种实施例中，可以向受试者或测试者提供选项以选择单独测试每只眼睛，或者在一次运行中顺序地测试两只眼睛。在一些实施例中，测试模式可以包括所应用的快速阈值策略，该策略包括在预定位置处使用刺激序列覆盖20度或更大的中央半径的对比度阶梯刺激。例如，测试模式可以包括所应用的快速阈值策略，该策略包括在预定位置处使用52个刺激序列来覆盖中央40度半径的四个对比度阶梯刺激，如下面关于图35A和图35B进一步讨论的。
在框406处，可以将所确定的诊断数据与存储用于补偿可识别的眼部病变的矫正曲线的数据库或数据集进行比较(例如，参见图16和相关讨论)。
然后可以将识别的矫正曲线针对个人进行个性化，例如用以补偿视轴差异、视野缺损、光敏感度、复视、两只眼睛之间的图像大小变化、图像扭曲、视觉下降。
框408可以将个性化曲线与实时数据一起使用，以例如使用成像处理器、场景处理模块和/或观看模块来处理图像。实时数据可以包括由一个或多个向内定向的图像传感器检测到的数据410，其提供瞳孔跟踪数据，和/或从一个或多个向外定向的图像传感器检测到的数据，该图像传感器包括放置成捕获视野屏幕的一个或多个视域相机412。在框414处，可以执行实时图像矫正，并且图像可以在眼镜设备上显示(框416)，作为显示的重建的数字图像，或者作为穿过眼镜设备与矫正部分重叠的增强现实图像，或者作为投影到受试者视网膜中的图像。在一些示例中，结合校准模式418来执行框414的操作，在校准模式418中，用户可以使用诸如输入设备的用户接口来调整图像矫正，输入设备允许用户控制图像和矫正曲线。例如，用户可以将一只眼睛的图像左右、上下移动或旋转，以减轻复视。在以上示例或另一示例中，用户可以微调视野变换(例如鱼眼、多项式或共形)或平移的程度，以允许扩大视野但不会对功能性视野产生负面影响或引起不可接受的扭曲，还可以微调亮度、对比度或反转颜色。
图5示出了类似于过程400的另一示例过程500，用于实现测试模式和观看模式。在框502处，采集关于瞳孔大小、适应度和注视的用于高阶和低阶像差的数据。在一些实施例中，该数据的全部或部分可以从像差仪采集，或者例如通过捕获投射在角膜和/或视网膜上的图案或网格的图像并将其与参考图像进行比较以检测角膜或整个眼睛光学***的像差来采集。所采集的数据可以发送到视觉矫正框架，该视觉矫正框架在框504处可以类似于上述框406来确定个性化的矫正曲线。框508-框518执行与过程400中的对应框408-框418类似的功能。
图8示出了工作流程800，其示出了测试模块802，该测试模块802生成多个视觉刺激804并通过眼镜设备向用户806呈现。用户804具有用户设备808，用户可以通过该用户设备808进行交互以提供对测试刺激的输入响应。在一些示例中，用户设备808可以包括操纵杆、电子点击器、键盘、鼠标、手势检测器/运动传感器、计算机、诸如智能电话之类的电话、专用设备和/或平板PC，用户可以通过它们对接以提供对测试刺激的输入响应。用户设备808还可以包括处理器和存储指令的存储器，该指令在由处理器执行时生成GUI的显示以供用户交互。用户设备808可以包括存储器、用于发送和接收信号的收发器(XVR)、以及用于有线或无线地连接至可以存储在图像处理设备上的视觉矫正框架810的输入/输出接口。尽管在所示示例中，框架810存储在外部图像处理设备上，但是视觉矫正框架810可以存储在眼镜设备上、用户设备上等。框架810从测试模块802接收测试模式信息，并从用户设备808接收用户输入数据。
图9示出了可以由工作流程800执行的测试模式过程900。在框902处，根据测试模式协议向受试者提供多个测试刺激。该刺激可以包括文本的图像、物体的图像、光的闪烁、诸如网格图案之类的图案。这些刺激可以显示给受试者或投影到受试者的视网膜和/或角膜上。在框904处，视觉矫正框架可以从一个或多个向内定向的图像传感器接收检测到的数据，例如与瞳孔物理状况(例如，视轴、瞳孔大小和/或角膜缘)相对应的数据。框904可以进一步包括接收响应于刺激从用户采集的用户响应数据。在框906处，可以例如通过测量不同刺激之间的位置差异和未对准差异，通过不同刺激来确定瞳孔位置状况。
在框908处，可以在整个视野中进行散光确定，这可以包括分析瞳孔未对准数据和/或眼像差(例如，将参考图像投影在视网膜和角膜上，以及将来自视网膜或角膜表面的反射图像与参考图像进行比较)。
在框910处，例如，可以通过将参考图像投影到视网膜和/或角膜上，然后将来自视网膜或角膜表面的反射图像与参考图像进行比较来确定总的眼像差(例如参见图31A、图32-图34及相关讨论)。
在框912处，可以在整个视野中测量诸如光学扭曲(例如，慧形像差、散光像差或球面像差)之类的视觉扭曲，或者来自视网膜疾病的视觉扭曲。
在框914处，可以在整个视野中测量视野敏感度。
在图9的过程的各种实施例中，框904-框914中的一个或多个可以是可选的。
在一些示例中，本文的视觉***可以评估来自测试模式的数据，并确定眼部异常的类型和所需的矫正类型。例如，图10示出了过程1000，包括可以实施为测试模式的一部分的人工智能矫正算法模式。在框1002处加载机器学习框架，示例框架例如可以包括降维、集成学习、元学习、强化学习、监督学习、贝叶斯、决策树算法、线性分类器、无监督学习、人工神经网络、关联规则学习、层次聚类、聚类分析、深度学习、半监督学习。
在框1004处，确定视野缺损类型。示出了三个示例视野缺损：未补偿的盲视野1006、具有较低敏感度的部分盲点1008和完好无损的视野1010。框1004确定视野缺损，然后将适当的矫正协议应用于观看模式。例如，对于未补偿的盲视野1006，在框1012处，视觉矫正框架例如通过使用向内定向的图像传感器的瞳孔跟踪来跟踪视觉，并且例如通过向外定向的图像传感器(诸如外部相机)对视野中的移动物体进行视频跟踪。在所示示例中，在框1014处，例如通过将安全隐患的位置与具有在测试模式中测量的缺损的映射视野进行比较，来检测盲点区域中或正在移动到盲点区域中的安全隐患。在框1016处，可以在包括中央位置和***位置的各种位置处监视感兴趣的物体。
在部分盲点1008的示例中，可以在框1018处进入增强视觉观看模式，其中可以通过跟踪视野的中心部分来监视视野中的物体。在框1020处，可以采用图像分割算法以将物体从视野分离。增强的轮廓还可以应用于物体并显示给用户，其中轮廓与所分割物体的识别边缘重合。
关于完好无损的视野1010，在框1022处，可以应用定制的矫正算法来矫正像差、视野缺损、眼睛交叉和/或视觉扭曲。
在示例性实施例中，人工智能(AI)可以用于测试模式和/或观看模式。例如，各种技术可以基于这一认识来构建，即用于图像变形(变换、平移和调整大小)以改善视野的方法可以产生数百种不同的可能的矫正曲线。几乎类似于指纹，每个患者的视野缺损都是不同的。在某些视野缺损中，发现一些图像变形对于患者已经可以接受，而另一些则不可接受。一些图像变形会改善视野，但会降低中心视觉(例如，中心缩小)。因此，已经开发了AI算法来解决各种状况。
在示例中，具有带有AI算法的机器学***移和调整大小来创建自动个性化矫正曲线，以使其更好地适合于剩余的功能性视野。机器学习框架可以包括数据采集、视野分类和/或回归模型中的一种或多种。为了便于记录参与者的响应、定量分数和反馈，可以使用图形用户界面(GUI)和数据采集程序。
关于在观看模式下应用于图像的变换，机器学习框架的示例变换可以包括以下一项或多项：1)共形映射，2)鱼眼，3)定制的四阶多项式变换，4)极化多项式变换(使用极坐标)，或5)矩形多项式变换(使用矩形坐标)(例如，参见图13)。
关于在观看模式下应用于图像的平移，示例可以包括以下的一个或多个。对于中心检测，可以使用最佳中心和最接近该中心的点的加权平均。例如，可以通过找到距中心位置的最近点来确定最近点。最佳中心可以通过以下一项或多项来确定：1)最大分量的质心；2)最大内切圆、正方形、菱形和/或矩形的中心；或3)局部最大内切圆、正方形、菱形和/或矩形的中心(例如参见图14)。例如，框架可以搜索最大的形状，但是为了避免离黄斑视觉区域太远，框架可以利用该方法用最接近点的加权平均来代替它。
在各种实施例中，最初可以使用模拟的视野缺损来训练AI算法。例如，为了训练AI算法，可以采集视野缺损的数据集。例如，在一个实验协议中，从青光眼患者获得400个视野缺损的数据集。数据集可以用于在虚拟现实眼镜上创建模拟视野缺损，以呈现给正常受试者进行分级。从分级获得的结果反馈继而可以用于训练算法。
例如，可以使用这样的AI算法，该算法针对每个患者单独地自动将输入图像适配到对应于完好无损的视野图案的区域。在各种实施例中，该算法可以包括至少三个自由度来重映射图像，然而可以使用更多或更少的自由度。在一个示例中，自由度包括变换、移位和调整大小。添加的图像变换可以保留对应于视敏度最高的中央视觉的图像中央区域的质量，同时在***中具有足够图像质量的情况下压缩***区域。这可以被应用使得所产生的整体图像内容对于患者而言将是显眼的。
AI算法中包括的图像变换可以包括共形、多项式或鱼眼变换中的一个或多个。在一些实施例中，可以使用其他变换。机器学习技术可以在执行其实际任务之前，在标记的数据集上进行训练。在一个示例中，AI算法可以在包含了不同类型的***缺损的视野数据集上进行训练。例如，在一个实验中，数据集包括400个视野缺损图案。然后，由正常参与者指导训练阶段，以对AI算法生成的重新映射的图像进行定量评分。
图11示出了根据一个示例的测试图像(刺激)的图像1100。测试图像1100可以被设计成测量视敏度、旁中央视觉和/或***视觉。所示测试图像在中央区域显示了五个字母，在旁中央区域显示了四个内部菱形1102，在***区域显示了八个外部菱形1104，如图11所示。
为了能够训练AI***，如上所介绍的，需要大量数据。作为初始步骤，有缺陷的双目视野可以用于模拟患者的双目视觉，如图12所示。接下来，模拟的视觉可以通过眼镜设备呈现给受试者。以此方式，可以使用不同的图像操纵来操纵输入图像，然后将其再次呈现给受试者以对修改后的视觉进行分级。矫正后的图像可以被进一步矫正，并在连续矫正过程中呈现给受试者，直到确定了优化的矫正后的图像。图13示出了可以应用于图像并呈现给用户的不同矫正变换的示例。图14示出了不同平移方法的示例(将图像移位以使其适合完好无损的视野)。完好无损的视野为白色，盲视野为黑色。
可以使用诸如人工神经网络和支持向量机(SVM)之类的机器学***移)的输出。在观看模式下，视觉***可以通过头戴式装置将根据输出的图像操纵方法操纵的图像呈现给患者，使得患者可以基于他的缺陷视野来体验最佳可能视觉。视觉矫正框架的机器学习框架(在本文中也称为“AI***”)可以使用所采集的数据来训练，例如，如上和本文其他地方描述的。图15中示出了示例AI***1500的框图。
图16中示出了AI***1500的过程1600。***1500的输入包括测试图像和视野图像。AI***1500估计测试图像的最佳几何变换，从而可以通过视野呈现更多细节。然后，AI***1500估计测试图像的最佳平移，使得显示的图像覆盖视野的主要部分。然后，如图17和图18分别示出的对测试图像进行变换和平移。最后，在仅用于模拟目的训练的情况下，将图像与视野再次组合，但是在测试阶段将其直接显示给患者。图19中示出了呈现视野分析概要的图形用户界面的屏幕截图，其可以包括视野AI***的最终实现，包括将要应用于图像的图像变换和平移的参数。
在示例实现中，使用人工神经网络模型在视觉矫正框架上实施机器学***移的参数预测作为输出。然后，使用这些参数来操纵场景图像。AI***包括两个隐藏层，其中每个隐藏层包括三个神经元(即，单元)和一个输出层。图20示出了一个这种示例AI***模型。在其他示例中，该AI***还可以扩展到卷积神经网络模型，以获得更准确的结果。图21和图22分别示出了应用AI神经网络的测试模式和使用AI神经网络的AI算法优化过程的示例过程2100和2200。
在各种实施例中，视觉***包括眼镜设备和/或图像处理设备。视觉***的实施例可以仅包括图像处理设备。图像处理设备及其功能(诸如与本文描述的视觉矫正框架关联的功能)可以被配置为与本文描述的眼镜设备或与其他设备一起使用，或者可以用于诊断状况和/或处理增强的实时显示，其可以或者可以不与处理后的图像数据的显示相关联。例如，在一个实施例中，图像处理设备可以被配置用于处理图像数据以增强飞行员的视野。增强的视野可以使用本文描述的眼镜设备提供给飞行员，例如，眼镜设备可以结合到头盔遮阳板中，其包括对飞行员的增强的视野的单个或多个显示。在一些示例中，眼镜设备是护目镜。增强的视野还可以在作为显示屏或监视器的飞行器的挡风玻璃或舱盖上显示，其可以包括玻璃、薄膜和/或层，其中如本文所述，它们的透明度是可控制的。
在以上任一或另一示例中，图像处理设备可以被配置用于如本文描述地针对测试模式和/或观看模式来处理图像(例如，参见图4、图5、图9、图10、图15、图16、图20-图23)。在一些示例中，图像处理设备可以包括视觉矫正框架，该视觉矫正框架被配置为针对测试模式和/或观看模式来执行一个或多个操作(例如，参见图2、图3、图8)。在以上任一或另一示例中，视觉矫正框架包括机器学习框架，其可以包括AI矫正算法(例如，参见图2、10-23)。视觉***可以包括本文描述的任何硬件、软件和/或网络配置(例如，参见图1A-图3、图8、图21、图22、图24、图25)。
在以上任一或另一示例中，图像处理设备可以与眼镜设备集成在一起。集成可以是全部或部分地。图像处理设备也可以在眼镜设备的外部，这也可以是全部或部分地。在一个示例中，可以例如经由网络或通信协议来分布图像处理设备和/或视觉矫正框架。例如，图像处理设备和/或视觉矫正框架及其功能可以分布在以下的两个或更多个之间：用户设备(诸如智能电话、膝上型计算机、平板电脑或专用设备)、眼镜设备(诸如机载处理***)、以及外部处理***(诸如计算机、PC、膝上型计算机或服务器)。
如上所介绍的，视觉***可以包括眼镜设备和图像处理设备。一些实施例可以仅包括眼镜设备或仅包括图像处理设备，该图像处理设备可以包括其他关联的***和设备。
在以上任一或另一示例中，眼镜设备可以被配置为选择性地控制监视器的显示区域的透明性，显示区域诸如为屏幕、玻璃、薄膜和/或分层介质。例如，本技术可以实现在增强现实(在本文中也称为定制现实)眼镜设备中。图23示出了实现测试和观看模式的示例过程2300。在一个示例中，定制现实眼镜设备可以使用黄斑(中央)与外周视觉操纵。
在定制现实眼镜设备的一些示例中(例如，参见图40A-图40C)包括用于将矫正后的图像覆盖在可见场景上的透明眼镜。眼镜可以包括监视器，该监视器包括具有可控制透明度的屏幕，可以在该屏幕上投影图像以进行显示。在一个示例中，显示器包括抬头显示器(heads-up display)。在各种实施例中，定制现实眼镜设备包括具有可控层的眼镜，该可控层用于将矫正后的图像覆盖在通过眼镜可见的场景上。这些层可以包括玻璃、陶瓷、聚合物、膜和/或以分层构造布置的其他透明材料。可控层可以包括一个或多个电控层，其允许例如以像素可寻址的方式在视野的一个或多个部分上调节透明度。在一个实施例中，可以包括例如经由电流、场或光可单独寻址的像素或单元。可控层可以是可被控制以调整如下项的层：视野的一个或多个部分的对比度、各部分上的颜色滤波、各部分的放大/缩小、各部分的焦点、显示图像的眼镜设备表面的透明度以阻挡或允许来自视野特定位置的环境光。如果存在一部分视野(例如，一部分***视觉，或一部分黄斑视觉，或部分黄斑部分***)用于操纵以增强受试者的视野，则可以降低这部分玻璃的透明度，以阻挡穿过这部分玻璃的环境视图，并使患者更清楚地看到沿着这部分玻璃显示的操纵的图像。在各种实施例中，视觉***或定制现实眼镜设备可以动态地控制透明区域，以允许受试者通过眼睛移动而不是仅仅头部移动来重定向眼睛时自然地观看环境。例如，瞳孔跟踪数据(例如瞳孔和/或视线跟踪)可以用于修改已降低透明度的这部分玻璃，使得透明度降低的区域相对于受试者的眼睛平移。
例如，可以控制地调节包括定制现实眼镜的眼镜设备中的玻璃的透明度，以阻挡来自与执行图像矫正的位置(例如中央区域或***区域处)对应的视野部分的光。否则，受试者可能会看到***纵的图像并穿过它看到并感知该区域中的下部实际视野。这种光线阻挡可以通过眼镜设备内的光致变色玻璃层来实现。此外，眼镜设备可以通过使用向内定向的图像传感器来测量眼睛(瞳孔)移动，以及通过在视觉矫正框架中处理以基于这种移动来进行补偿，从而改变玻璃透明度降低的区域的位置。在一个示例中，监视器的显示屏包括利用电子墨水技术的像素或单元，其可以被单独寻址以使得电场修改单元内的墨水排列，从而修改透明度和/或生成显示的像素。在示例实现中，图40A示出了由框架4002和两个透明玻璃组件4004形成的定制现实眼镜4000。如图40B和图40C所示，透明玻璃组件4004具有嵌入的、可电子控制的矫正层4006，该矫正层4006可以控制以从完全透明到完全不透明，其可以是能够生成矫正图像以覆盖或取代玻璃4004的部分视野的数字层。矫正层4006可以通过电连接4008连接到框架4002上的图像处理设备4010。
具体参考图23的过程2300，在框2302处，可以由视觉矫正框架接收测试模式数据，在框2304处，可以确定视野扭曲、缺损、像差和/或其他眼部异常以及它们的位置。
对于已诊断的中央视野异常2306，在框2308处，定制现实眼镜设备可以允许来自环境的图像穿过其玻璃到达观看者的***视野，例如如图24所示。如图所示，定制现实眼镜设备2400可以具有多层玻璃取景器2402。***区域2404可以设置为透明的以允许光路通过，从而允许受试者观看实际未矫正的环境。在框2312处，例如，使用矫正(例如图13、图14、图17和图18的矫正)，环境的中央区域2406可能被眼镜设备2400阻挡，并且可以将中央区域的矫正后的演示通过显示器呈现给用户。
对于已诊断的***视野异常2308，在框2314处，例如使用本文的矫正变换，允许环境的中央区域2406’(参见图25)穿过眼镜设备2400的透明部分，并且***区域2404’的透明度被修改成阻挡，使得矫正后的***版本图像可以显示在***区域2404’内。
在其他示例中，本技术可以用于捕获和增强双目视野，其继而可以应用于两只眼睛以向受试者提供矫正后的(或者在某些情况下为增强的)视野。图26-图30示出了双目视野扩展技术的示例。
图26示出了受试者的正常双目视觉，其中来自左眼2602和来自右眼2604的单目图像被组合成具有黄斑中央区域2608和围绕中央区域2608的***视野区域2610的单个感知图像2606。然而，在一些情况下，受试者可能具有隧道视觉状况，其中***区域2610对于受试者不可见，如图27中所示。如图所示，对于这些情况，一个或多个物体没有出现在视野内，从而导致区域2610中的***缺损2612，患者看不到区域2610内的物体。
在一些示例中，图27中的缺损可以使用移位图像矫正技术进行矫正。如图28所示。每个视域相机分别捕获单目图像2702和2704，其中每个单目图像都不同，因为是从略微不同(偏移)的位置捕获视觉场景。然后，在视觉矫正框架中将两个捕获的单目图像2702、2704朝向彼此移位，从而产生图像2702’和2704’。然后将这两个移位的图像组合以生成捕获视觉场景的整个***的双目图像2706。对于具有监视器显示器的眼镜设备，每个显示器可以向受试者显示矫正后的双目图像2706。在一个示例中，如所示的，这种移位变换可以使受试者的视野增加5％、10％、15％或20％，而不会给患者产生复视效应。
图29示出了另一双目视野矫正过程。在该示例中，例如仅在***区域中调整捕获的单目图像2902和2904的大小，同时保持黄斑中央区域(中心20度)不变，从而产生矫正后的图像2902’、2904’。这种调整大小的变换将在扩大视野的同时保留中心的视敏度。组合的双目图像2906捕获之前遗漏的***中的物体，并且同时保持中央黄斑区域的细节，如图所示。即使在调整了***物体的大小之后，受试者也会清楚地注意到它们，因为***视觉不如中央视觉敏感。在示例中，示出最多可以缩小图像大小的20％，而不会给患者产生复视效应。在各种实施例中，附加于或代替于调整中央区域的大小，***可以调整***区域的大小。例如，对于青光眼患者，可以减小***区域的尺寸，同时保持黄斑中央区域的尺寸。
对于黄斑变性，可以反过来做。保持***视觉完好无损，扩大中央。
图30示出了另一双目视野矫正过程。对于一只眼睛有远***缺损的患者，可以将缺损的眼的视野3004中的缺失物体3002数字地转移到视野3004的中***视野区域3006，而其他视野3008(即健康眼睛的视野)将覆盖该区域，这意味着合成的双目图像3010在完好无损的视野内显示缺失的物体3002。受试者可能会注意到该区域的视觉混乱，但是受试者可以根据移动的物体或变化的环境来适应以隔离该视野区域中的信息。
在测试模式的各种示例中，可以使用基于投影的可穿戴眼镜将图案投影到视网膜上。该图案可用于直接确定视网膜上的缺陷以及影响角膜的缺陷。在一个示例中，投影图案可以用于评估与年龄相关的黄斑变性和其他视网膜病变中的畸形矫正。如图31A所示，图案3100的数字投影可以被投影到受试者眼睛3102上。该图案可以在位于眼镜设备内部的投影仪上数字地生成。诸如向内定向的图像传感器之类的数字相机3104也可以位于眼镜设备的内侧，以捕获从眼睛3102反射的图案3100的图像。该图像捕获可以例如是从眼睛的角膜表面捕获的，如图32所示。根据捕获的图案3100’的图像，视觉矫正框架可以确定图案是否看起来正常，例如如图33所示，或者是否表现出异常，例如如图34所示(3101)。可以使用本文描述的技术之一来评估和矫正这些异常。
在一些示例中，图案3100可以是诸如Amsler(阿姆斯勒)网格之类的网格或者是设计成允许检测治疗一个或多个眼部异常所需的变换的任何已知参考形状。然后，可以使用该变换对图像实时进行反向扭曲，以实现更好的视觉。例如，可以使用虚拟现实模型或增强现实模型来采用该技术。在图8的示例实现中，视觉***800可以包括测试模块802。测试模块802可以与可穿戴眼镜相关联，或者可以结合本文其他地方描述的外部设备来运行。测试模块802可以向受试者806呈现包括Amsler网格的测试刺激。受试者可以经由用户设备808或其他输入设备来操纵网格的图像以改善扭曲。视觉矫正框架810可以呈现Amsler网格以供受试者进一步矫正。当受试者已经完成了他们的手动矫正时，视觉矫正框架810可以生成受试者的矫正曲线以在他们使用眼镜设备时应用于视觉场景。所描述的视觉***800的工作流程可以类似地应用于本文描述的其他测试模式操作。
图31B是Amsler网格3100(即示例参考图像)的呈现的示意图，该网格被显示为在可穿戴眼镜(例如VR或AR头戴式装置)上的图像。Amsler网格3100可以被显示到或投影到受试者的角膜和/或视网膜上。示例标准网格3100如图31C所示。相同的网格图案可以显示在用户设备上。受试者可以利用键盘、鼠标、触摸屏或可以包括用户接口的用户设备上的其他输入来操纵网格图案的线，特别是看起来弯曲的线。受试者可以指定从其操纵图像的锚点3110。在指定锚点之后，受试者可以使用用户设备(例如，箭头键)来调整指定的线，以矫正由其受损的黄斑引起的可感知扭曲。此过程可以在每只眼睛上独立地执行，从而提供一组两个修改后的网格。
一旦受试者完成了对线条的修改使其看起来笔直，视觉矫正框架就会采用新的网格并生成与所应用的扭曲相对应的顶点的网眼。这些从测试模式得到的网眼被应用于任意图像以补偿患者的异常。例如，可以向每只眼睛显示对应于合适网眼的修改图像，来作为确认测试模式的一部分。然后，受试者可以在用户设备上指示矫正后的图像是否看起来是无缺陷的，如果是，则将指示矫正成功。例如，图31E示出了用户应该感知到的实际场景。图31F示出了矫正后的视野，该矫正后的视野在被提供给具有通过Amsler网格技术确定的视觉扭曲的受试者时，导致受试者将图31F的视野看成图31E的实际视野。
可以对实时图像实时地执行这种矫正，以向受试者呈现连续矫正的视觉场景。无论眼镜设备包括生成捕获视野的显示器，还是眼镜设备是基于定制现实并使用矫正层来调整扭曲的，都可以实时地实现矫正，因为这两种情况都可以利用所确定的矫正网眼。
在一些示例中，诸如Amsler图案之类的参考图像可以直接呈现在触摸屏或平板PC上，诸如图31G中所示的3150(例如，平板PC)。Amsler图案呈现在设备3150的显示器上，并且受试者可以使用手写笔3152操纵看起来弯曲的线以绘制将要应用于线的矫正以使它们看起来笔直。在测试模式期间，每次修改后，可以重新绘制网格以反映最新的编辑。此过程可以在每只眼睛上独立地执行，从而提供一组两个修改后的网格。在受试者完成测试模式修改后，平板PC执行一个应用，该应用创建网格数据并将其发送到眼镜设备上的随附应用，以处理应用所确定的网眼的图像。
一旦眼镜设备接收到测试模式修改的结果，眼镜设备就可以将它们应用于任意图像以补偿受试者的异常。然后可以显示从该矫正产生的图像。该显示可以经由VR、AR头戴式装置(headset)来进行。在一个示例中，显示器以全息方式经由头戴式装置向用户呈现图像。每个显示的图像可以对应于为每只眼睛创建的网眼。如果矫正后的图像对患者而言似乎没有问题，则可以将矫正视为成功，并且可以将其保留以用于将来的图像处理。在测试模式的一些实施例中，代替或附加于呈现根据修改后的网格修改的单个图像，还可以呈现包含修改的视频。在一个示例中，视频包括通过矫正的相机实时视频馈送流，其被显示给受试者。
本技术可以在任何数量的应用中使用，包括例如用于经常受光学病变的快速发作影响的其他健康受试者，诸如士兵和退伍军人之类的受试者。视野的丧失损害了士兵、退伍军人、其他受影响患者执行其基本任务以及日常生活活动的能力。这种视觉障碍损害了他们的独立性、安全性、生产率和生活质量，并导致自卑和沮丧。尽管最近科学有进步，但是用于逆转视网膜、视神经或视皮层的现有损伤的治疗选择仍然有限。因此，治疗依赖于为患者提供视觉辅助，以最大化他们的功能。当前的视觉辅助不足以实现这些目标。这强调了需要更好的视觉辅助来改善视觉性能、生活质量和安全性。集成在眼镜设备中的本文的技术能够诊断和减轻常见的快速发作的眼部受伤，诸如与军事有关的眼部受伤和疾病，其在严峻或偏远以及一般环境中引起视野缺损。本文的技术能够诊断和量化视野缺损。利用这些数据，设备可以实时处理患者的视野，并将矫正后的图像适配和投影到他们剩余的功能性视野上。因此，最小化视野盲区(或缩小区)对患者视觉性能的负面影响。而且，眼镜设备不依赖于另一临床设备来诊断视野缺损这一事实使得它们在严峻和偏远的环境中特别有用。类似地，本技术可以用于扩大正常受试者的视野以具有比正常视野或视觉更好的视野。
本技术可以以动态方式来矫正较低和/或较高阶视觉像差。本技术可以检测瞳孔的大小、适应状态以及视线变化，并使用相应的视觉像差矫正曲线来处理显示或投影到用户眼睛的视觉图像。可以使用像差仪来获取与瞳孔大小、适应状态和凝视方向有关的较高和/或较低阶像差，以允许眼镜创建这种动态矫正曲线。通过本技术投影到受试者的图像可以根据受试者的实际像差而反向扭曲，使得他/她自己的像差被再次反转以提供最佳视觉(例如，参见图31B-图31F)。本技术可以通过检测近反射的迹象，即瞳孔收缩(瞳孔尺寸减小)和会聚(瞳孔向内交叉)来检测适应状态。瞳孔***可以包括瞳孔***以跟踪瞳孔和视线以检测注视方向。这种输入以及本文描述的其他输入可以允许本技术检测要显示的矫正曲线。
本技术可以自动地使显示的图像自动聚焦以提供近视觉。为了进一步扩大和增强近视觉，本技术可以使用诸如相机之类的向内定向图像传感器，通过检测近反射的迹象来检测受试者是否正试图看近处目标，并自动提供更好的近视觉，其中近反射的迹象是瞳孔收缩(瞳孔尺寸减小)和会聚(眼睛向内移动)。本技术还通过量化由受试者施加的近反射量来确定物体有多远，从而为此提供足够的矫正。
本技术可以以动态方式来矫正复视的继发性眼睛未对准，这意味着当本技术跟踪受试者的瞳孔和视线或视轴时，它可以实时移动图像以针对眼睛未对准提供连续补偿，从而防止在所有注视方向出现复视。
本技术可以包括将通过DTS视域相机捕获的图像重新分布到受试者的实际功能性视野的软件。可以参照瞳孔、视线或视轴来动态投影实际视野。
在患有年龄相关黄斑变性或具有中央盲点的其他人类黄斑病变的患者中，可以利用本技术将图像分布到受试者的功能性视野的***或旁中央部分。本技术可以将感兴趣图像的部分投影到视网膜的健康部分，并且避免视网膜的不健康部分。
本技术可以捕获正常的双目视野并将其分布到两只眼睛的实际功能性视野以向受试者提供最大可能的视野。
由受试者眼睛的屈光力不相等导致的屈光参差可以通过本技术来矫正，例如，通过创建具有相同大小的图像并将其显示或投影到两只眼睛以避免视觉干扰。
不同于引起视野扭曲(例如，放大或缩小感兴趣的图像)的玻璃眼镜镜片，本技术可以用于不影响受试者的视野，因为显示器或投影的视野可以独立于矫正镜片。
本技术可以显示或投射与周围环境的亮度无关的光，并且可以根据本技术检测到的瞳孔大小自动调整，也可以根据患者需要手动调整。本技术可以以个性化和定制的方式来检测瞳孔大小并针对亮度进行调整。患有瞳孔不等的受试者使用本技术以允许分别针对每只眼睛调整亮度。这也可以随着检测到瞳孔大小通过本技术自动完成。
示例
描述了本技术在视野测试协议中的示例应用。测试模式应用了快速阈值策略，该策略使用在预定位置处使用了52个刺激序列覆盖中央40度半径的四个对比度阶梯刺激，如图35A所示。在其他示例中，可以使用不同数量的对比度刺激、覆盖范围和刺激位置。在该示例中，刺激位于图35A所示的每个单元的中心。没有测试十二个拐角单元，其中刺激由于圆形显示的镜头而不可见。每个刺激位置之间的间隔大约相隔10度。每个刺激序列包含相对于背景处于不同对比度水平的四个连续刺激。刺激对比度的范围在33dB到24dB之间，以3dB的步长在每个对比度水平之间降序排列。在最后一次看到刺激时记录阈值。如果患者在特定位置看不到任何刺激对比度，则将该位置被标记为看不见，其被赋予0dB值。
背景具有明亮的照明(100lux)，而刺激是具有不同对比度程度的暗点。因此，该测试是一种明视测试，而不是中间视觉测试。在一些实施例中，背景可以是暗的，并且刺激可以包括明亮的照明点。每个刺激的呈现时段约为250毫秒，然后是大约300毫秒的响应等待时段。这些时段也可以通过控制程序根据受试者的响应速度来调整，例如，可以在测试之前基于测试前的演示进行调整，或者在测试期间进行动态调整。通常，在中心24度半径处使用0.44度的刺激大小，这相当于标准的Goldmann(戈德曼)刺激大小III。***(半径在24至40度之间)的刺激大小增加了一倍，达到0.88度。使***视觉的刺激大小加倍的目的是为了克服***处显示透镜性能的下降。这种透镜劣化效应非常显著，因为即使正常人的视敏度在***区域也会恶化。测试程序还具有针对不同患者情况更改刺激大小的能力。
图35A的凝视目标(图案)对于每只被测试眼睛位于屏幕中央。该目标被设计为多色点，而不是传统的Humphrey(汉弗莱)测试中通常使用的单色凝视点。这种变色效果有助于吸引受试者的注意力，并使他们进行目标聚焦更容易。颜色变化的频率与刺激物的出现是不同步的，因此受试者不会将两个事件联系在一起从而做出错误响应。测试协议还具有根据患者状况改变凝视目标大小的能力。另外，眼睛/瞳孔跟踪***可以用于以不同时间间隔检查受试者的眼睛凝视。眼睛跟踪***将注视矢量的方向传输到测试程序，该方向会通知程序：受试者是否正确地聚焦到中心。
针对每只眼睛分别使用瞳孔/注视数据来执行凝视检查。在不同时间点获取瞳孔/注视数据，并且如果注视方向矢量处于大约0度，则受试者正聚焦在中心目标上，否则程序将暂停以等待凝视恢复。如果患者没有凝视，则不显示刺激，并且测试将中止，直到参与者恢复凝视。对于凝视目标，偏移容限允许轻微的眼部移动。主要在如下情况中对每个刺激的位置进行凝视检查：在两个时间事件中；在显示刺激序列中的每个刺激之前(即，在前面提到的四个水平的每个刺激对比度水平之前)，以及在记录响应之前，无论响应是肯定(患者看到了刺激)还是否定(患者没有看到刺激)。除了所允许的响应时间之外，在刺激序列间隔结束时记录否定响应。在显示刺激顺序之前检查凝视是为了确保患者正聚焦于凝视目标。如果受试者没有凝视，则不显示刺激，测试将中止，直到参与者恢复凝视。
图35B示出了示出在一个刺激位置处的测试序列的五个步骤(a-e)的时序图。
在一个示例中，可以作为单独的或者是视觉***或其设备的组件的瞳孔跟踪设备可以包括向内定向的图像传感器，并且被配置为提供指示图像显示设备的数据，图像显示设备例如为监视器，其可以包括投影仪，用于根据视线移动来改变被投影的刺激的位置。通过这种方式，即使受试者环顾四周而不凝视，刺激物也可以随着受试者的眼睛移动，并将继续测试视野的期望位置。因此，不是在确定受试者聚焦于凝视目标之外时中止刺激序列，而是可以在修改刺激以对应于受试者视野内的预期位置的情况下继续刺激序列，其中刺激序列基于受试者当前凝视点的确定重新定位。
对于每个受试者，视野测试开始于确定受试者的测试方向。眼镜设备安装在患者身上，以确保受试者可以清楚地看到凝视目标，并且如果需要，可以相应地调整目标大小。在凝视目标这一点上执行眼睛跟踪校准。随后，向该受试者展示演示模式。此模式遵循与主测试相同的顺序，不过只有较少位置(在此实例中为七个位置)，并且没有记录任何响应。该模式的目的是训练受试者进行测试。此外，这种训练模式有助于程序操作员检查眼睛跟踪***的准确性、患者响应速度以及患者眼睛相对于安装的头戴式装置的位置，以确保在整个测试过程中不会发生错误或偏差。
然后通过在15度附近间隔1度的四个不同位置处显示超阈值(suprathreshold)刺激来扫描正常盲点。该步骤有利于避免头戴式装置与受试者眼睛之间的旋转不匹配。
接下来，在预先指定位置处以随机顺序将52个刺激序列呈现给患者。受试者响应于刺激，通过致动电子点击器或手势来指示响应。在记录了受试者在所有位置的响应之后，“看不见”的点的位置被临时存储。然后，采用搜索算法在“看不见”的点的位置的***上找出所有“看得见”的点的位置。然后对这两组点进行重新测试，以消除参与者的随机响应错误，并确保视野区域的连续性。在测试结束之前，计算并报告假阳性响应、假阴性响应和凝视丢失(如果有的话)。因此，使用三次方法对所有52个响应进行插补，以生成被测参与者的连续视野图。
通过覆盖眼镜设备内部显示镜片的一部分，使用模拟的视野缺损对20名志愿受试者进行了视野测试。在逐点比较的基础上利用示出显示屏覆盖区域的图像来评估结果。在覆盖的头戴式装置的显示图像中，在大约对应的位置处比较了52个响应，以测量测试的准确性。表1列出了计算出的误差概述。
表1：针对20种模拟缺损视野测量的误差计算。
Figure BDA0002504237860000411
另一方面，将23名临床患者的视野测试与受试者在就诊期间常规进行的最新Humphrey视野分析仪(HFA)测试进行了比较。在两个视野测试设备之间匹配并比较了常见的24度中央区域。比较和相对误差计算再次基于常见的中央24度区域的逐点计算，其中通过与中央区域的连续性和缺乏孤立响应点来判断超出该区域的区域。表2列出了计算出的误差概要。
表2：针对23位患者视野测量的误差计算。
Figure BDA0002504237860000412
然后执行图像重新映射过程，该过程涉及为将要显示给患者的显示图像找到新维度和新中心。通过调整原始输入图像的大小和移位，输出图像适配到受试者眼睛的明亮视野中。
通过将所有“看得见”患者响应设置为1，并将“看不见”响应设置为0，对视野进行二进制化，从而得到8X8尺寸的小二进制图像。在其他实施例中，可以使用更小或更大的二进制图像尺寸。从二进制视野图像中删除最多包含4个相连像素的小区域。这4个相连像素代表用于确定小区域的预定阈值，当然，在一些实施例中可以使用更大或更小的阈值。这些小区域在图像适配过程中未考虑。被忽略的小区域代表正常的盲点、微不足道的缺损或在受试者的视野测试过程中可能发生的任何随机错误响应。
基于此插补的二进制视野图像，计算明亮视野的区域属性。明亮区域的计算属性包括：1)以像素为单位的明亮区域；2)区域的边界框；3)加权后的区域质心；以及4)构成视野明亮区域的所有像素的列表。将边界框作为包围构成明亮区域的所有像素的最小矩形。在水平和竖直坐标方面，区域的质心计算为所计算区域的质量中心。此属性的值对应于输出图像的新中心，该中心对应于映射所需的图像移位量。
使用构成最大明亮视野的像素的列表，计算出界定明亮视野的所有像素的宽度和高度，如图36所示。对于明亮视野中的每一行，找到两个边界像素，并减去其竖直坐标，以得到该特定行处的视野宽度BFwidth。对建立所考虑的明亮视野的所有行重复进行此宽度计算，以计算BFwidths。可以以列为基础应用相同的迭代过程以计算BFheights。此后，可以使用两个缩放公式之一来确定映射的输出图像的新尺寸：Widthmap和Heightmap，如图37所示。
可以使用调整大小的公式来计算Widthmap：
Figure BDA0002504237860000421
Heightma1l＝median(BFheights),
其中BFwidths和BFheights分别是计算出的明亮视野边界像素的宽度和高度。这种缩放方法将新的输出图像尺寸在每个方向上计算为明亮视野尺寸的中值，并以如上找到的新图像中心为中心。使用中值测量而不是平均值，以避免与过大或过小的明亮视野维度有关的任何调整大小偏斜。此方法的映射行为是将图像适配在最大可能的明亮区域内，但是可能会发生图像拉伸或压缩，因为该方法无法保留纵横比。
可以使用调整大小的公式来计算Heightmap：
Figure BDA0002504237860000431
Figure BDA0002504237860000432
其中Isize是插补后的图像尺寸(输出图像尺寸)，BXwidths、BXheights是边界框的宽度和高度。公式中分子的总和分别近似于水平方向和竖直方向计算出的明亮视野区域。因此，将这些总和除以输出图像尺寸的平方即可估计出在每个方向上将要映射的比例图像区域。然后将这些比例乘以先前计算出的相应边界框维度。此方法的映射行为是在尝试保留输出图像的纵横比的同时，将图像适配到最大的明亮视野中。将边界框的维度纳入计算有助于实现这种效果。但是，保持纵横比可能不会得到所有缺损视野图案。
在一个实施例中，AI***可以在优化过程中利用这两个公式和数十个(如果不是数百个的话)差分公式，以查看哪一个允许将更多看得见视野与图像适配。基于操作员的反馈，***可以基于要矫正的特定视野来学习偏好某个公式。
这些重新映射技术在识别危险物品测试中使用。使用包括安全隐患(本次测试中为车辆)在内的测试图像对23位受试者测试了重新映射方法。如图38所示，选择测试图像以测试视野的四个主要象限。一个视野示例用于重新映射测试图像以显示给受试者。通过显示进入的汽车的图像对受试者进行测试。在向受试者显示重新映射的图像之前，受试者无法看到汽车，如图39A所示，其示出了在没有重新映射的情况下受试者看到的图像，而在图39B中示出了在重新映射之后看到的图像。初步研究表明，有78％的受试者(23名中的18名)能够识别出他们在没有本技术辅助情况下不能识别的安全隐患。有些受试者分别用两只眼睛进行了测试，因此有33个眼睛测试可用。结果发现，在33只眼睛中的23只眼睛中，视觉辅助可以有效地帮助受试者识别模拟的到来的危害(P＝0.023)。
贯穿本说明书，多个实例可以实现作为单个实例描述的组件、操作或结构。尽管将一个或多个方法的个体操作示出并描述为单独的操作，但是可以同时执行一个或多个个体操作，并且不需要按照所示顺序执行操作。在示例配置中呈现为独立组件的结构和功能可以实现为组合结构或组件。类似地，呈现为单个组件的结构和功能可以实现为单独的组件。这些和其他变型、修改、添加和改进均落入本文主题的范围内。
另外，本文将某些实施例描述为包括逻辑或许多例程、子例程、应用或指令。这些可以构成软件(例如，具体化在机器可读介质上或传输信号中的代码)或硬件。在硬件中，例程等是能够执行某些操作的有形单元，并且可以以某种方式进行配置或布置。在示例实施例中，一个或多个计算机***(例如，独立的、客户端或服务器计算机***)或计算机***的一个或多个硬件模块(例如，处理器或一组处理器)可以通过软件(例如，应用或应用部分)被配置为操作以执行本文描述的某些操作的硬件。
在各种实施例中，可以机械地或电子地实现硬件模块。例如，硬件模块可以包括专用电路或逻辑，其可以永久地配置(例如，作为专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))以执行特定操作。硬件模块还可以包括通过软件临时配置以执行某些操作的可编程逻辑或电路(例如，如通用处理器或其他可编程处理器中所包含的)。将会理解，关于机械地、以专用和永久配置的电路、或者以临时配置的电路(例如，通过软件配置)来实现硬件模块的决定可以基于成本和时间考虑而驱动。
因此，术语“硬件模块”应当理解为包括有形实体，是指在物理上构造、永久配置(例如，硬接线)或临时配置(例如，编程)以按照某种方式操作或执行本文描述的某些操作的实体。考虑其中硬件模块被临时配置(例如，编程)的实施例，每个硬件模块不是必需在任一时刻都被配置或实例化。例如，在硬件模块包括使用软件配置的通用处理器的情况下，通用处理器可以在不同时间配置为各自不同的硬件模块。软件可以相应地配置处理器，例如，在一个时刻构成特定的硬件模块，而在另一不同时刻构成不同的硬件模块。
硬件模块可以向其他硬件模块提供信息，以及从其他硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦接的。当多个这样的硬件模块同时存在时，可以通过连接硬件模块的信号传输(例如，通过适当的电路和总线)来实现通信。在其中在不同时间配置或实例化多个硬件模块的实施例中，可以例如通过在该多个硬件模块可以访问的存储器结构中存储和取回信息来实现这种硬件模块之间的通信。例如，一个硬件模块可以执行某一操作并将该操作的输出存储在其通信耦接到的存储设备中。然后，另一硬件模块可以在以后的时间访问该存储设备以取回和处理所存储的输出。硬件模块还可以发起与输入或输出设备的通信，并且可以在资源(例如，信息集合)上进行操作。
本文描述的示例方法的各种操作可以至少部分地由一个或多个临时配置(例如，通过软件)或永久配置为执行相关操作的处理器来执行。无论是临时配置还是永久配置，这种处理器都可以构成处理器实现的模块，这些模块操作以执行一个或多个操作或功能。在一些示例实施例中，本文所指的模块可以包括处理器实现的模块。
类似地，本文描述的方法或例程可以至少部分地由处理器实现。例如，一种方法的至少一些操作可以由一个或多个处理器或处理器实现的硬件模块执行。某些操作的执行可以分布在一个或多个处理器之间，不仅可以驻留在单个机器内，而且可以跨多个机器部署。在一些示例实施例中，一个或多个处理器可以位于单个位置(例如，在家庭环境、办公环境内或作为服务器机群)，而在其他实施例中，处理器可以分布在多个位置。
某些操作的执行可以分布在一个或多个处理器之间，不仅可以驻留在单个机器内，而且可以跨多个机器部署。在一些示例实施例中，一个或多个处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭环境、办公环境或服务器机群内)。在其他示例实施例中，一个或多个处理器或处理器实现的模块可以分布在多个地理位置上。
除非另有明确说明，否则本文中使用诸如“处理”、“计算”、“确定”、“呈现”、“显示”等词语进行的讨论可以指机器(例如，计算机)的动作或过程，其操纵或转换表示为一个或多个存储器(例如，易失性存储器、非易失性存储器或其组合)、寄存器或接收、存储、发射或显示信息的其他机器组件中的物理(例如，电，磁或光)量的数据。在一些实施例中，存储器或存储器的计算机可读存储介质存储程序、模块和数据结构或其子集，以供处理器控制和运行本文公开的各种***和方法。在一个实施例中，提供了一种非瞬态计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令在由处理器执行时执行本文公开的一种或多种方法。
如本文所使用的，对“一个实施例”或“实施例”的任何引用表示结合该实施例描述的特定元件、特征、结构或特性包括在至少一个实施例中。说明书中各个地方出现的短语“在一个实施例中”不一定都指的是同一实施例。
可以使用表述“耦接”和“连接”及其派生词来描述一些实施例。例如，可以使用术语“耦接”来描述一些实施例，以表示两个或更多个元件直接物理或电接触。然而，术语“耦接”也可以表示两个或更多个元件彼此不直接接触，但是仍然彼此协作或相互作用。在此上下文中实施例不受限制。
如本文所使用的，术语“包括”、“包含”、“具有”或其任何其他变型旨在覆盖非排他性的包含。例如，包括一系列元素的过程、方法、物品或装置不一定仅限于这些元素，而是可以包括未明确列出或此类过程、方法、物品或装置所固有的其他元素。此外，除非明确指出相反的意思，否则“或”是指包含性的“或”而不是排他性的“或”。例如，条件A或B由以下任一条件满足：A为真(或存在)且B为假(或不存在)，A为假(或不存在)且B为真(或存在)，以及A和B都为真(或存在)。
另外，使用“一个”或“一种”来描述本文实施例的元素和组分。这样做仅是为了方便并给出一般性的描述。本说明书和所附的权利要求书应当解读为包括一个或至少一个，并且单数形式也包括复数形式，除非很明显地意味着其他意思。
本详细描述仅应被解释为示例，并且不描述每个可能的实施例，因为描述每个可能的实施例将是不切实际的，即使不是不可能的。可以使用当前技术或在本申请的申请日期之后开发的技术来实现许多替代实施例。

Claims (30)

1.一种***，包括：
可穿戴眼镜设备，具有壳体和显示器，所述显示器被配置为在观看模式期间向受试者的至少一只眼睛显示图像；
向内定向的图像传感器，耦接到所述可穿戴眼镜设备并被配置为跟踪所述受试者的瞳孔物理状况和/或视线；
向外定向的视域相机，被配置为在所述观看模式期间捕获所述受试者的视野的视域；以及
具有处理器和存储器的图像处理设备，所述图像处理设备在所述存储器上存储指令，其中，所述指令在被执行时，使得所述处理器：
在测试模式下，(i)指示所述显示器在测试视野上的一个或多个测试位置处向所述受试者显示多个测试刺激，(ii)在显示所述多个测试刺激期间，指示所述向内定向的图像传感器捕获对所述瞳孔物理状况和/或所述视线的位置指示，以及(iii)确定所述测试视野中的一个或多个受影响区域，并确定所述受试者的一个或多个视觉病变，其中，多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平不同；和/或
在所述观看模式下，矫正所述图像以增强视野和/或补偿所述一个或多个受影响区域，并指示所述显示器向穿戴所述可穿戴眼镜设备的受试者显示矫正后的图像。
2.根据权利要求1所述的***，其中，所述图像处理设备存储在被执行时使得所述处理器进行如下操作的指令：
在所述观看模式下：指示所述视域相机捕获所述视野的图像；响应于所述测试视野中的所确定的一个或多个受影响区域，处理所述图像；矫正所述图像以补偿所述一个或多个受影响区域；并指示所述可穿戴眼镜设备将所述矫正后的图像作为数字图像显示给所述受试者。
3.根据权利要求1所述的***，其中，数字眼镜还包括第一数字监视器和第二数字监视器，每个数字监视器被配置为在所述测试模式下向所述受试者的相应眼睛显示所述多个刺激中的一个。
4.根据权利要求3所述的***，其中，所述视域相机包括第一视域相机和第二视域相机，所述第一视域相机对应于所述第一数字监视器，并且所述第二视域相机对应于所述第二数字监视器。
5.根据权利要求1所述的***，其中，所述瞳孔物理状况是(i)一个或多个瞳孔的瞳孔移动，(ii)角膜缘，(iii)视线，和/或(iv)所述受试者的视轴。
6.根据权利要求1所述的***，其中，所述视域相机包括从可穿戴眼镜的内表面向内延伸的至少一个视域相机。
7.根据权利要求1所述的***，其中，所述视域相机包括从可穿戴眼镜的外表面向外延伸的至少一个视域相机。
8.根据权利要求1所述的***，其中，在所述观看模式下，所述视域相机捕获所述视野的连续图像。
9.根据权利要求1所述的***，其中，所述多个测试刺激包括文本或物体的至少一个测试图像。
10.根据权利要求1所述的***，其中，所述一个或多个受影响区域包括视觉敏感度降低或光学像差较高或较低的区域。
11.根据权利要求1所述的***，其中，所述一个或多个受影响区域包括亮度降低的区域。
12.根据权利要求1所述的***，其中，所述多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平相差至少20dB。
13.根据权利要求1所述的***，其中，所述多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平相差至少30dB。
14.根据权利要求1所述的***，其中，所述图像处理设备存储在被执行时使得所述处理器进行以下操作的指令：
在所述测试模式下，指示所述可穿戴眼镜设备以递减或递增的对比度来向所述受试者显示所述多个测试刺激。
15.一种***，所述***包括：
可穿戴眼镜设备，具有被配置为向受试者的眼睛显示图像的至少一个数字监视器；
至少一个视域相机，被配置为捕获场景的多个单目图像，每个单目图像相对于每个其他单目图像被移位；
图像处理设备，具有处理器和存储器并且被耦接到所述至少一个数字监视器，所述图像处理设备在所述存储器上存储指令，所述指令在被执行时，使得所述处理器：
将所述多个单目图像组合成组合图像，所述组合图像的视野大于所述多个单目图像中的任一单目图像的视野；以及
将所述组合图像显示给所述至少一个数字监视器，以向所述受试者呈现所述场景的加宽视野。
16.根据权利要求15所述的***，其中，所述图像处理设备在所述存储器上存储在被执行时使得所述处理器执行以下操作的指令：
通过相对于其他多个单目图像对所述多个单目图像中的至少一个单目图像执行选择性视野移位来将所述多个单目图像组合成所述组合图像以生成所述组合图像的加宽***区域。
17.根据权利要求15所述的***，其中，所述图像处理设备在所述存储器上存储当被执行时使得所述处理器执行以下操作的指令：
通过相对于其他多个单目图像对所述多个单目图像中的至少一个单目图像执行***选择性视野操纵，来将所述多个单目图像组合成组合图像。
18.根据权利要求17所述的***，其中，所述***选择性视野操纵包括对所述多个单目图像的***区域或中央黄斑区域执行收缩或放大。
19.根据权利要求15所述的***，其中，所述图像处理设备在所述存储器上存储在被执行时使得所述处理器执行以下操作的指令：
通过以下操作来将所述多个单目图像组合成所述组合图像：识别所述多个单目图像中的至少一个单目图像中的缺损视野区域，捕获所述缺损视野区域，将捕获的缺损视野区域转移到非缺损视野区域，以及将所述组合图像形成为包括转移后的捕获的缺损视野区域，以显示给所述受试者。
20.根据权利要求15所述的***，其中，所述图像处理设备在所述存储器上存储在被执行时使得所述处理器执行以下操作的指令：
通过识别所述多个单目图像中的每个单目图像的公共中央区域以及识别所述多个单目图像的相异***区域，来将所述多个单目图像组合成所述组合图像；以及
将所述组合图像形成为具有第一区域和第二区域，所述第一区域与所述公共中央区域相对应，所述第二区域是通过将所述相异***区域组合成围绕所述第一区域的加宽***区域而形成的。
21.根据权利要求20所述的***，其中，所述图像处理设备在所述存储器上存储在被执行时使得所述处理器执行以下操作的指令：
形成所述组合图像，使得所述第二区域矫正所述受试者的眼睛的视野缺损和像差。
22.根据权利要求20所述的***，其中，所述至少一个数字监视器包括第一数字监视器和第二数字监视器，每个数字监视器被配置用于向所述受试者的相应眼睛显示所述组合图像。
23.一种装置，包括：
可穿戴眼镜设备，所述可穿戴眼镜设备具有至少一个光学元件，用于将可见场景的图像传递给受试者；
所述可穿戴眼镜设备还具有与所述至少一个光学元件相对应的至少一个数字监视器，所述至少一个数字监视器被配置为将矫正成像元素覆盖在所述至少一个光学元件的可见场景的图像上方；以及
图像处理设备，具有处理器和存储器并被耦接到所述至少一个数字监视器，所述图像处理设备被配置为：
生成所述矫正成像元素作为所述可见场景的图像的***元素，以矫正***视野缺损，或者生成所述矫正成像元素作为所述可见场景的图像的中央元素，以矫正中央视野缺损；以及
向所述受试者显示可见场景上的所述矫正成像元素。
24.根据权利要求23所述的装置，其中，所述矫正成像元素是所述***元素相对于所述可见场景的中央图像区域的调整的强度，或所述中央元素相对于所述可见场景的***图像区域的调整的强度。
25.根据权利要求23所述的装置，其中，所述图像处理设备被配置为：
响应于检测到所述受试者的眼睛的移动，调整所述矫正成像元素的位置和/或组成。
26.根据权利要求23所述的装置，其中，所述图像处理设备被配置为：
识别所述受试者的一只或两只眼睛的一个或多个受影响区域；以及
确定补偿所述一个或多个受影响区域的矫正成像元素。
27.根据权利要求23所述的装置，其中，所述图像处理设备被配置为：
在测试模式下，(i)指示所述至少一个数字监视器在测试视野中的一个或多个测试位置上向所述受试者显示多个测试刺激，(ii)在所述一个或多个测试位置上显示所述多个测试刺激期间，指示所述装置的图像传感器捕获对瞳孔物理状况和/或视线的位置指示，以及(iii)确定所述测试视野中的一个或多个受影响区域，并确定所述受试者的一个或多个视觉病变。
28.根据权利要求27所述的装置，其中，多个刺激在对比度水平上相对于彼此以及相对于基线对比度水平不同。
29.根据权利要求23所述的装置，其中，所述至少一个数字监视器被包含在所述至少一个光学元件的层中。
30.根据权利要求23所述的装置，其中，所述层是所述至少一个光学元件的内层或外层。
CN201880075827.5A 2017-09-27 2018-09-27 数字治疗矫正眼镜 Active CN111511318B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762563770P 2017-09-27 2017-09-27
US62/563,770 2017-09-27
PCT/US2018/053213 WO2019067779A1 (en) 2017-09-27 2018-09-27 DIGITAL THERAPEUTIC GUARANTEES

Publications (2)

Publication Number Publication Date
CN111511318A true CN111511318A (zh) 2020-08-07
CN111511318B CN111511318B (zh) 2023-09-15

Family

ID=65807407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075827.5A Active CN111511318B (zh) 2017-09-27 2018-09-27 数字治疗矫正眼镜

Country Status (8)

Country Link
US (4) US10386645B2 (zh)
EP (1) EP3687465B1 (zh)
JP (2) JP2021502130A (zh)
KR (1) KR20200063173A (zh)
CN (1) CN111511318B (zh)
BR (1) BR112020006142A2 (zh)
CA (1) CA3075934A1 (zh)
WO (1) WO2019067779A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022642A (zh) * 2020-09-16 2020-12-04 杭州集视智能科技有限公司 一种基于视野中心损伤的边缘视野训练设备及训练方法
CN112426333A (zh) * 2020-11-24 2021-03-02 杭州集视智能科技有限公司 一种偏盲患者立体视觉辅助电子设备及其控制方法
CN112807200A (zh) * 2021-01-08 2021-05-18 上海青研科技有限公司 斜视训练设备
CN113413265A (zh) * 2021-06-24 2021-09-21 上海理湃光晶技术有限公司 视功能障碍者视觉辅助方法、***及智能ar眼镜
CN113520709A (zh) * 2021-06-25 2021-10-22 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其视物变形矫正方法
CN113687513A (zh) * 2021-08-26 2021-11-23 北京邮电大学 一种面向视野缺失人群的区域视野转移***
CN115862300A (zh) * 2023-02-15 2023-03-28 暨南大学附属第一医院（广州华侨医院） 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11546527B2 (en) * 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10742944B1 (en) 2017-09-27 2020-08-11 University Of Miami Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
KR20200063173A (ko) 2017-09-27 2020-06-04 유니버시티 오브 마이애미 디지털 치료적 보정 안경
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point
US11179093B2 (en) * 2017-09-27 2021-11-23 Apexk Inc. Apparatus and method for evaluating cognitive function
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
EP3752977A4 (en) 2018-02-13 2022-04-06 Frank Werblin CONTRAST SENSITIVITY COMPENSATION METHODS AND APPARATUS
CA3094130A1 (en) * 2018-03-16 2019-09-19 REBIScan, Inc. Apparatus and method for ophthalmic neural scanning
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
FR3089785B1 (fr) * 2018-12-17 2020-11-20 Pierre Briand Dispositif médical d’aide à la perception d’environnement pour des utilisateurs aveugles ou malvoyants
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11178389B2 (en) * 2019-03-25 2021-11-16 Microsoft Technology Licensing, Llc Self-calibrating display device
JP7276823B2 (ja) * 2019-03-28 2023-05-18 学校法人早稲田大学 視覚認知機能評価システム
US11112609B1 (en) * 2019-05-07 2021-09-07 Snap Inc. Digital glasses having display vision enhancement
JP7172870B2 (ja) * 2019-06-19 2022-11-16 株式会社Ｊｖｃケンウッド 評価装置、評価方法、及び評価プログラム
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
CN110597386A (zh) * 2019-09-03 2019-12-20 北京爱博同心医学科技有限公司 基于增强现实的图像亮度提升方法及增强现实眼镜
CN110706164A (zh) * 2019-09-03 2020-01-17 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形显示方法及眼镜
CN110728630A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的互联网图像处理方法及增强现实眼镜
CN110728651A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形检测方法及眼镜
CN110728631A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的图像动态对比度增强方法及增强现实眼镜
KR102250775B1 (ko) * 2019-10-18 2021-05-11 주식회사 에스알파테라퓨틱스 근시 치료를 위한 디지털 장치 및 애플리케이션
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11768594B2 (en) * 2019-11-29 2023-09-26 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
WO2021112836A1 (en) * 2019-12-04 2021-06-10 Hewlett-Packard Development Company, L.P. Interfaces and processes for biological characteristics handling in head-mountable devices
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11243399B2 (en) 2020-01-31 2022-02-08 Microsoft Technology Licensing, Llc Head mounted display device with double faceted optics
US11435503B2 (en) 2020-01-31 2022-09-06 Microsoft Technology Licensing, Llc Head mounted display device with double faceted optics
JP7272985B2 (ja) * 2020-03-23 2023-05-12 ホヤ レンズ タイランド リミテッド 仮想画像生成装置及び仮想画像生成方法
US20210298593A1 (en) * 2020-03-30 2021-09-30 Research Foundation For The State University Of New York Systems, methods, and program products for performing on-off perimetry visual field tests
GB2584546B (en) * 2020-04-06 2021-09-01 Novasight Ltd Method and device for treating vision impairment
EP4236755A1 (en) * 2020-10-28 2023-09-06 University of Miami Systems and methods for visual field testing in head-mounted displays
KR102467429B1 (ko) * 2020-11-13 2022-11-16 (주)에이트원 항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법
WO2022109409A1 (en) * 2020-11-20 2022-05-27 Diagnosys LLC Methods and apparatus for performing enhanced full-field stimulus threshold (fst) tests
DE102020214707A1 (de) 2020-11-24 2022-05-25 Hochschule Bremen Verfahren und Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung
WO2022115860A1 (en) * 2020-11-25 2022-06-02 Irisvision, Inc. Methods and systems for evaluating vision acuity and/or conducting visual field tests in a head-mounted vision device
KR20220078298A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
GB202019278D0 (en) * 2020-12-08 2021-01-20 Give Vision Ltd Vision aid device
CA3209939A1 (en) * 2021-03-05 2022-09-09 Raul Mihali Light field device and vision-based testing system using same
US11681146B2 (en) * 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
JP7480335B2 (ja) 2021-12-08 2024-05-09 セブンポイントワン インコーポレイテッド 登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御する方法、装置並びにシステム
KR102383793B1 (ko) * 2021-12-08 2022-04-11 주식회사 세븐포인트원 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
EP4197425A1 (en) 2021-12-17 2023-06-21 Carl Zeiss Vision International GmbH Determining a visual performance of an eye of a person
US11918287B2 (en) * 2021-12-27 2024-03-05 Novasight Ltd. Method and device for treating / preventing refractive errors as well as for image processing and display
US11633097B1 (en) 2022-03-18 2023-04-25 Mongoose Enterprises, LLC Automated method for testing peripheral and expanded visual fields on limited field of view head-mounted device
US20230350203A1 (en) * 2022-04-29 2023-11-02 Snap Inc. Ar/vr enabled contact lens
US20240036641A1 (en) * 2022-08-01 2024-02-01 Heru Inc. Ocular anomaly detection via concurrent presentation of stimuli to both eyes
EP4339681A1 (en) * 2022-09-16 2024-03-20 Leica Instruments (Singapore) Pte Ltd Device for an imaging system, ocular, display apparatus, imaging system, method and computer program
KR20240066844A (ko) * 2022-11-08 2024-05-16 삼성전자주식회사 탄젠트 스크린을 표시하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069757A (ja) * 2003-08-21 2005-03-17 National Institute Of Advanced Industrial & Technology 中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステム
JP2008252304A (ja) * 2007-03-29 2008-10-16 Otsuka Denshi Co Ltd 動画像処理装置及び方法
CN101601577A (zh) * 2009-02-26 2009-12-16 复旦大学附属眼耳鼻喉科医院 一种具有眼球跟踪和屈光补偿功能的电子视野计
US20100016730A1 (en) * 2006-03-30 2010-01-21 Sapporo Medical University Examination system, rehabilitation system, and visual information display system
EP2623374A1 (de) * 2012-01-31 2013-08-07 MEKRA Lang GmbH & Co. KG Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
US20140125953A1 (en) * 2012-11-08 2014-05-08 Tomohiro Tsuta Visual field visual function mapping apparatus
US20140210970A1 (en) * 2013-01-29 2014-07-31 Xerox Corporation Central vision impairment compensation
US20150009473A1 (en) * 2012-03-17 2015-01-08 Visunex Medical Systems Co. Ltd. Eye imaging apparatus with a wide field of view and related methods
WO2016007124A1 (en) * 2014-07-07 2016-01-14 eyeBrain Medical, Inc. System for measuring visual fixation disparity
US20160040976A1 (en) * 2012-12-05 2016-02-11 Perimeter Medical Imaging, Inc. System and method for wide field oct imaging
US20160104453A1 (en) * 2014-10-14 2016-04-14 Digital Vision Enhancement Inc Image transforming vision enhancement device
US20160235289A1 (en) * 2015-02-13 2016-08-18 University Of Miami Retinal nerve fiber layer volume analysis for detection and progression analysis of glaucoma
US20160240013A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
US20160270648A1 (en) * 2015-03-17 2016-09-22 Ocutrx Vision Technologies, LLC System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
WO2016196200A1 (en) * 2015-05-29 2016-12-08 University Of Rochester Optical device for off-axis viewing
CN106233328A (zh) * 2014-02-19 2016-12-14 埃弗加泽公司 用于改进、提高或增强视觉的设备和方法
US20170092007A1 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and Devices for Providing Enhanced Visual Acuity

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208872A (en) * 1990-03-30 1993-05-04 The United States Of America As Represented By The United States National Aeronautics And Space Administration Programmable remapper with single flow architecture
US5359675A (en) 1990-07-26 1994-10-25 Ronald Siwoff Video spectacles
US5841511A (en) 1992-06-02 1998-11-24 Eyesys Technologies, Inc. Method of corneal analysis using a checkered placido apparatus
US5589897A (en) * 1995-05-01 1996-12-31 Stephen H. Sinclair Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters
US5737060A (en) 1996-08-16 1998-04-07 Kasha, Jr.; John R. Visual field perimetry using virtual reality glasses
US5831667A (en) 1996-09-27 1998-11-03 Enhanced Vision Systems X-Y viewing table and adapter for low vision enhancement systems
GB9722949D0 (en) 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method
US6152565A (en) 1997-12-31 2000-11-28 Premier Laser Systems, Inc. Handheld corneal topography system
US6290357B1 (en) 1999-03-31 2001-09-18 Virtual-Eye.Com, Inc. Kinetic visual field apparatus and method
US6755529B2 (en) * 2002-03-12 2004-06-29 Visionrx, Inc. Method and apparatus for measuring contrast sensitivity
CA2535905A1 (en) 2003-08-15 2005-02-24 E-Vision, Llc Enhanced electro-active lens system
JP4600290B2 (ja) * 2004-01-29 2010-12-15 コニカミノルタホールディングス株式会社 視覚補助表示装置
JP4537192B2 (ja) 2004-12-21 2010-09-01 キヤノン株式会社 眼科装置
DE102006005473B4 (de) 2005-02-01 2009-06-18 Kurt Heiberger Vorrichtung zum Messen und zur chirurgischen Korrektur von Abbildungsfehlern im menschlichen Auge
EP1928295A2 (en) 2005-09-02 2008-06-11 EL-Vision Ltd. Multi-functional optometric - ophthalmic system for testing, diagnosing, or treating, vision or eyes of a subject, and methodologies thereof
US8100530B2 (en) 2006-01-20 2012-01-24 Clarity Medical Systems, Inc. Optimizing vision correction procedures
WO2008070683A1 (en) 2006-12-04 2008-06-12 Sina Fateh System, method, and apparatus for amblyopia and ocular deviation correction
US8135227B2 (en) 2007-04-02 2012-03-13 Esight Corp. Apparatus and method for augmenting sight
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8130262B2 (en) * 2009-01-15 2012-03-06 International Business Machines Corporation Apparatus and method for enhancing field of vision of the visually impaired
CA3043204C (en) 2009-11-19 2021-08-31 Esight Corp. Apparatus and method for a dynamic "region of interest" in a display system
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9516283B2 (en) 2012-06-13 2016-12-06 Esight Corp. Apparatus and method for enhancing human visual performance in a head worn video system
US20130215147A1 (en) 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
JP2015526187A (ja) 2012-08-24 2015-09-10 アイシー インサイド リミテッド 視覚補助プロジェクタ
US9823745B1 (en) * 2012-08-30 2017-11-21 Atheer, Inc. Method and apparatus for selectively presenting content
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US20150355481A1 (en) 2012-12-31 2015-12-10 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US9971153B2 (en) 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data
US9028067B1 (en) * 2014-05-28 2015-05-12 Sightex LLC Relocated virtual retinal image method and system
US9706910B1 (en) 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
CA2979687A1 (en) 2015-03-16 2016-09-22 Nicole Elizabeth SAMEC Methods and systems for diagnosing and treating health ailments
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
US9952434B2 (en) 2015-04-22 2018-04-24 The Florida International University Board Of Trustees Device for assisting visually impaired patients
WO2017120660A1 (en) 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices
US10568502B2 (en) 2016-03-23 2020-02-25 The Chinese University Of Hong Kong Visual disability detection system using virtual reality
US20170296419A1 (en) 2016-04-15 2017-10-19 Dean TRAVERS Methods for visual care and enhancement featuring modification of accommodative demand
US20180088323A1 (en) 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
US11160688B2 (en) 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US20180144554A1 (en) * 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
EP3568739A4 (en) 2017-03-15 2020-03-11 Samsung Electronics Co., Ltd. SYSTEMS AND METHODS FOR DETERMINING DEFECTS IN THE FIELD OF VISION OF A USER
CA3058669A1 (en) 2017-04-14 2018-10-18 Magic Leap, Inc. Multimodal eye tracking
US20180314066A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Generating dimming masks to enhance contrast between computer-generated images and a real-world view
KR20200063173A (ko) * 2017-09-27 2020-06-04 유니버시티 오브 마이애미 디지털 치료적 보정 안경
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069757A (ja) * 2003-08-21 2005-03-17 National Institute Of Advanced Industrial & Technology 中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステム
US20100016730A1 (en) * 2006-03-30 2010-01-21 Sapporo Medical University Examination system, rehabilitation system, and visual information display system
JP2008252304A (ja) * 2007-03-29 2008-10-16 Otsuka Denshi Co Ltd 動画像処理装置及び方法
CN101601577A (zh) * 2009-02-26 2009-12-16 复旦大学附属眼耳鼻喉科医院 一种具有眼球跟踪和屈光补偿功能的电子视野计
EP2623374A1 (de) * 2012-01-31 2013-08-07 MEKRA Lang GmbH & Co. KG Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
US20150009473A1 (en) * 2012-03-17 2015-01-08 Visunex Medical Systems Co. Ltd. Eye imaging apparatus with a wide field of view and related methods
US20140125953A1 (en) * 2012-11-08 2014-05-08 Tomohiro Tsuta Visual field visual function mapping apparatus
US20160040976A1 (en) * 2012-12-05 2016-02-11 Perimeter Medical Imaging, Inc. System and method for wide field oct imaging
US20140210970A1 (en) * 2013-01-29 2014-07-31 Xerox Corporation Central vision impairment compensation
CN106233328A (zh) * 2014-02-19 2016-12-14 埃弗加泽公司 用于改进、提高或增强视觉的设备和方法
US20170068119A1 (en) * 2014-02-19 2017-03-09 Evergaze, Inc. Apparatus and Method for Improving, Augmenting or Enhancing Vision
WO2016007124A1 (en) * 2014-07-07 2016-01-14 eyeBrain Medical, Inc. System for measuring visual fixation disparity
US20160104453A1 (en) * 2014-10-14 2016-04-14 Digital Vision Enhancement Inc Image transforming vision enhancement device
US20160240013A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
US20160235289A1 (en) * 2015-02-13 2016-08-18 University Of Miami Retinal nerve fiber layer volume analysis for detection and progression analysis of glaucoma
US20160270648A1 (en) * 2015-03-17 2016-09-22 Ocutrx Vision Technologies, LLC System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
WO2016196200A1 (en) * 2015-05-29 2016-12-08 University Of Rochester Optical device for off-axis viewing
US20170092007A1 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and Devices for Providing Enhanced Visual Acuity

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022642A (zh) * 2020-09-16 2020-12-04 杭州集视智能科技有限公司 一种基于视野中心损伤的边缘视野训练设备及训练方法
CN112022642B (zh) * 2020-09-16 2023-01-10 杭州集视智能科技有限公司 一种基于视野中心损伤的边缘视野训练设备及训练方法
CN112426333A (zh) * 2020-11-24 2021-03-02 杭州集视智能科技有限公司 一种偏盲患者立体视觉辅助电子设备及其控制方法
CN112807200A (zh) * 2021-01-08 2021-05-18 上海青研科技有限公司 斜视训练设备
CN113413265A (zh) * 2021-06-24 2021-09-21 上海理湃光晶技术有限公司 视功能障碍者视觉辅助方法、***及智能ar眼镜
CN113520709A (zh) * 2021-06-25 2021-10-22 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其视物变形矫正方法
CN113520709B (zh) * 2021-06-25 2024-01-02 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其视物变形矫正方法
CN113687513A (zh) * 2021-08-26 2021-11-23 北京邮电大学 一种面向视野缺失人群的区域视野转移***
CN115862300A (zh) * 2023-02-15 2023-03-28 暨南大学附属第一医院（广州华侨医院） 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜
CN115862300B (zh) * 2023-02-15 2023-11-14 暨南大学附属第一医院（广州华侨医院） 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜

Also Published As

Publication number Publication date
US20190094552A1 (en) 2019-03-28
US20190391398A1 (en) 2019-12-26
EP3687465A1 (en) 2020-08-05
EP3687465B1 (en) 2024-05-29
BR112020006142A2 (pt) 2020-11-24
US20190227327A1 (en) 2019-07-25
WO2019067779A1 (en) 2019-04-04
CN111511318B (zh) 2023-09-15
US10444514B2 (en) 2019-10-15
US10386645B2 (en) 2019-08-20
JP2021502130A (ja) 2021-01-28
US10481402B1 (en) 2019-11-19
US10955678B2 (en) 2021-03-23
CA3075934A1 (en) 2019-04-04
EP3687465A4 (en) 2021-06-16
KR20200063173A (ko) 2020-06-04
JP2023071644A (ja) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111511318B (zh) 数字治疗矫正眼镜
US11039745B2 (en) Vision defect determination and enhancement using a prediction model
US10409071B2 (en) Visual enhancement for dynamic vision defects
US11701000B2 (en) Modification profile generation for vision defects related to double vision or dynamic aberrations
US10531795B1 (en) Vision defect determination via a dynamic eye-characteristic-based fixation point
US10742944B1 (en) Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
US11659987B2 (en) Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations
JP2022525304A (ja) 視覚の欠陥判定と強化
US20220125299A1 (en) Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant