CN115113399A - 用于黄斑变性的增强现实显示 - Google Patents

用于黄斑变性的增强现实显示 Download PDF

Info

Publication number
CN115113399A
CN115113399A CN202210270008.4A CN202210270008A CN115113399A CN 115113399 A CN115113399 A CN 115113399A CN 202210270008 A CN202210270008 A CN 202210270008A CN 115113399 A CN115113399 A CN 115113399A
Authority
CN
China
Prior art keywords
view
field
peripheral
display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210270008.4A
Other languages
English (en)
Other versions
CN115113399B (zh
Inventor
布伦特·米尔斯
阿什利·帕森斯-凯莱斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN115113399A publication Critical patent/CN115113399A/zh
Application granted granted Critical
Publication of CN115113399B publication Critical patent/CN115113399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本公开涉及用于黄斑变性的增强现实显示。公开了使用包括一个或更多个显示设备和一个或更多个相机的头戴式设备来提供视觉辅助的方法。该方法包括：使用相机中的至少一个来捕获前视野；以及使用显示设备中的一个或更多个来将前视野的一部分显示在***视场中。该方法可以为患有黄斑变性的人提供改善的视觉感知。该方法可以包括将前视野的中心部分映射至近***视场，其中，使用头戴式设备的前向显示设备来将所映射的中心部分显示在***视场中。也可以使用头戴式设备的***显示设备将前视野的一部分显示在***视场中。

Description

用于黄斑变性的增强现实显示
相关申请数据
本申请要求于2021年3月18日提交的美国临时专利申请序列第63/200,619号的权益，该美国临时专利申请的内容通过引用并入，如同明确阐述一样。
技术领域
本公开内容总体上涉及可穿戴设备，并且更具体地涉及适用于视觉障碍的可穿戴设备显示器。
背景技术
头戴式设备可以实现为具有透明或半透明显示器，可穿戴设备的用户可以通过该显示器查看周围环境。这样的设备使用户能够通过该透明或半透明显示器观看以查看周围环境，并且还能够看到为显示而生成以表现为周围环境的一部分和/或覆盖在周围环境上的对象(例如，虚拟对象，诸如3D渲染、图像、视频、文本等)。这通常被称为“增强现实”。
头戴式设备还可以完全遮挡用户的视野并且显示用户可以通过其移动或被移动的虚拟环境。这通常被称为“虚拟现实”。如本文所使用的，除非上下文另有指示，否则术语“增强现实”或“AR”指的是传统理解的增强现实和虚拟现实两者。
发明内容
本发明公开了一种使用头戴式设备来提供视觉辅助的方法，所述头戴式设备包括一个或更多个显示设备和一个或更多个相机，所述方法包括：使用所述相机中的至少一个来捕获前视野；以及使用所述显示设备中的一个或更多个来将所述前视野的一部分显示在***视场中。
本发明公开了一种头戴式设备***，包括：一个或更多个相机；一个或更多个显示设备；一个或更多个处理器；以及存储指令的存储器，所述指令在由所述一个或更多个处理器执行时将所述***配置成执行包括以下的操作：使用所述相机中的至少一个来捕获前视野；以及使用所述显示设备中的一个或更多个来将所述前视野的一部分显示在***视场中。
本发明公开了一种非暂态计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由计算机***执行时使所述计算机***使用包括一个或更多个显示设备和一个或更多个相机的头戴式设备通过执行包括以下的操作来提供显示输出：使用所述相机中的至少一个来捕获前视野；以及使用所述显示设备中的一个或更多个来将所述前视野的一部分显示在***视场中。
附图说明
为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。
图1是根据一些示例的可穿戴设备的透视图。
图2是根据另一示例的可穿戴设备的透视图。
图3是示出根据一个示例的包括相机设备的细节的联网***的框图。
图4示出了根据一些示例的包括前向光学组件和***光学组件的可穿戴设备。
图5示出了在由相机捕获的前视图的中心部分上执行的像素映射，以经由前向光学组件显示至用户。
图6是示出根据一些示例的用于从头戴式设备捕获和显示前视图的一部分的过程的流程图。
图7是示出根据一些示例的可以在其中实现本公开内容的软件架构的框图。
图8是根据一些示例的计算机***形式的机器的图形表示，在该计算机***中可以执行一组指令，以使机器执行所讨论的方法中的任何一种或更多种。
具体实施方式
已知的可穿戴设备诸如AR眼镜包括透明或半透明显示器，使用户能够通过透明或半透明显示器观看以查看周围环境。附加信息或对象(例如，虚拟对象，诸如3D渲染、图像、视频、文本等)显示在显示器上并且表现为周围环境的一部分和/或覆盖在周围环境上，以为用户提供增强现实体验。显示器可以例如包括接收来自投影仪的光束的波导，但是可以使用用于向穿戴者呈现增强或虚拟内容的任何适当显示器。
这样的可穿戴设备基于穿戴者具有良好或可光学矫正的中央凹视力的假设，并且因此主要针对直接在用户面前呈现信息。患有黄斑变性的个体可能仍然具有正常的***视力，但是由于黄斑变性而导致中心视力受损。
患有视力退化问题的人可能会受益于将位于中心的视觉信息重新映射至或重新呈现在他们的视力没有受到损害的更***位置。如下面更详细公开的，可以将由可穿戴设备上的前向相机捕获的中心视觉信息显示在位于用户***视力中的显示器上，或者可以将该视觉信息重新映射至可穿戴设备上的前向显示器或主显示器上的外部位置。在一些情况下，前向显示器可以是环形波导。
图1是根据一些示例的可穿戴设备(例如，眼镜100)的透视图。眼镜100可以包括框架102，框架102由任何合适的材料诸如塑料或金属制成，包括任何合适的形状记忆合金。在一个或更多个示例中，框架102包括由桥112连接的第一光学元件保持器或左光学元件保持器104(例如，显示器或透镜保持器)和第二光学元件保持器或右光学元件保持器106。可以分别在左光学元件保持器104和右光学元件保持器106内设置有第一光学元件或左光学元件108和第二光学元件或右光学元件110。右光学元件110和左光学元件108中的每一个可以是透镜、显示器、显示组件或前述的组合。可以在眼镜100中设置有任何合适的显示组件。
框架102另外包括左臂件或左镜腿件120和右臂件或右镜腿件122。在一些示例中，整个框架102可以由单件材料形成，以具有统一或一体的构造。
眼镜100可以包括诸如计算机118的计算装置，该计算装置可以具有任何合适的类型以便由框架102携带，并且在一个或更多个示例中，该计算装置可以具有合适的尺寸和形状以至少部分地设置在镜腿件120和镜腿件122之一中。计算机118可以包括一个或更多个处理器以及存储器、无线通信电路和电源。如下面所讨论的，计算机118包括低功率电路、高速电路和显示处理器。各种其他示例可以包括不同配置的或以不同方式集成在一起的这些元件。计算机118的各方面的附加细节可以如下面讨论的数据处理器302所示来实现。
计算机118另外包括电池116或其他合适的便携式电力供应装置。在一个示例中，电池116设置在左镜腿件120中并且电耦接至设置在右镜腿件122中的计算机118。眼镜100可以包括适用于为电池116充电的连接器或端口(未示出)、无线接收器、发射器或收发器(未示出)、或这样的设备的组合。
眼镜100包括相机114。尽管描绘了两个相机，但是其他示例考虑使用单个或附加(即，多于两个)相机。在一个或更多个示例中，除了相机114之外，眼镜100还包括任何数目的输入传感器或其他输入/输出装置。这样的传感器或输入/输出装置可以另外包括生物识别传感器、位置传感器、运动传感器等。
眼镜100还可以包括安装至左镜腿件120和右镜腿件122的***显示器124。***显示器124可以是弯曲的或者包括弯曲部分126以提供“环绕效果”。
使用相机114捕获来自眼镜100的前视图。如下所述，然后将该前视图重新投影至设置在眼镜100中或眼镜100上的一个或更多个显示器诸如***显示器124或近眼显示器408上。下面参照图4更详细地描述这些显示器。
图2是根据另一示例的可穿戴设备(例如，眼镜200)的透视图。可以看出，在该示例中，***显示器202被集成至框架204中，框架204的前部环绕用户的眼睛。***显示器202存在在眼镜200中因此不那么突兀并且可穿戴设备的整体外观在美学上更令人愉悦。在又一示例中，可以针对每只眼睛设置单个显示器，该显示器环绕眼睛以允许在前视图或近***视图以及侧视图或远***视图中显示信息。
图3是示出根据一些示例的包括眼镜100的细节的联网***300的框图。
联网***300包括眼镜100、客户端设备328和服务器***332。客户端设备328可以是智能电话、平板计算机、平板电话、膝上型计算机、接入点或能够使用低功率无线连接336和高速无线连接334两者与眼镜100连接的任何其他这样的设备。客户端设备328经由网络330连接至服务器***332。网络330可以包括有线连接和无线连接的任何组合。服务器***332可以是作为服务或网络计算***的一部分的一个或更多个计算设备。客户端设备328以及服务器***332和网络330的任何元件可以使用图7和图8中描述的软件架构704或机器800的细节来实现。
眼镜100包括数据处理器302、显示器310、一个或更多个相机308以及附加的输入/输出元件316。输入/输出元件316可以包括麦克风、音频扬声器、生物识别传感器、附加传感器或与数据处理器302集成的附加显示元件。关于图7和图8进一步讨论了输入/输出元件316的示例。例如，输入/输出元件316可以包括任何I/O部件806，I/O部件806包括输出部件828、运动部件836等。在图4中讨论了显示器310的示例。在本文描述的特定示例中，显示器310包括用于用户的左眼和右眼中的每一个的显示器。
数据处理器302包括图像处理器306(例如，视频处理器)、GPU和显示驱动器338、跟踪模块340、接口312、低功率电路304和高速电路320。数据处理器302的部件通过总线342互连。
接口312指的是被提供至数据处理器302的用户命令的任何源。在一个或更多个示例中，接口312是相机上的物理按钮，当按下该按钮时，将用户输入信号从接口312发送至低功率处理器314。低功率处理器314可以将按下这样的相机按钮然后立即释放作为捕获单个图像的请求来处理。低功率处理器314可以将在第一时间段内按下这样的相机按钮作为在按钮被按下时捕获视频数据以及在按钮被释放时停止视频捕获的请求来处理，其中将按钮被按下时捕获的视频存储为单个视频文件。在其他示例中，接口312可以是能够接受与来自相机308的数据请求相关联的用户输入的任何机械开关或物理接口。在其他示例中，接口312可以具有软件部件，或者可以与从另一源诸如从客户端设备328无线接收的命令相关联。
图像处理器306包括用于接收来自相机308的信号并且将来自相机308的那些信号处理成适合存储在存储器324中或适合传输至客户端设备328的格式的电路。在一个或更多个示例中，图像处理器306(例如，视频处理器)包括针对处理来自相机308的传感器数据而定制的微处理器集成电路(IC)、以及微处理器在操作中使用的易失性存储器。
低功率电路304包括低功率处理器314和低功率无线电路318。低功率电路304的这些元件可以实现为单独的元件或者可以在单个IC上实现为单个芯片上***的一部分。低功率处理器314包括用于管理眼镜100的其他元件的逻辑。如上所述，例如，低功率处理器314可以接受来自接口312的用户输入信号。低功率处理器314还可以被配置成经由低功率无线连接336从客户端设备328接收输入信号或指令通信。低功率无线电路318包括用于实现低功率无线通信***的电路元件。BluetoothTM Smart，也称为BluetoothTM低功耗，是可以用于实现低功率无线电路318的低功率无线通信***的一种标准实现方式。在其他示例中，可以使用其他低功率通信***。
高速电路320包括高速处理器322、存储器324和高速无线电路326。高速处理器322可以是能够管理数据处理器302所需的任何通用计算***的高速通信和操作的任何处理器。高速处理器322包括使用高速无线电路326管理高速无线连接334上的高速数据传输所需的处理资源。在某些示例中，高速处理器322执行诸如LINUX操作***的操作***或诸如图7的操作***712的其他这样的操作***。除了任何其他职责之外，使用执行数据处理器302的软件架构的高速处理器322来管理与高速无线电路326的数据传输。在某些示例中，高速无线电路326被配置成实现电气和电子工程师协会(IEEE)802.11通信标准，其在本文也称为Wi-Fi。在其他示例中，高速无线电路326可以实现其他高速通信标准。
存储器324包括能够存储由相机308和图像处理器306生成的相机数据的任何存储装置。虽然存储器324被示出为与高速电路320集成，但是在其他示例中，存储器324可以是数据处理器302的单独的独立元件。在某些这样的示例中，电气布线可以提供通过包括高速处理器322的芯片从图像处理器306或低功率处理器314至存储器324的连接。在其他示例中，高速处理器322可以管理存储器324的寻址，使得低功率处理器314将在需要涉及存储器324的读或写操作的任何时候引导高速处理器322。
跟踪模块340估计眼镜100的姿势。例如，跟踪模块340使用来自相机308和定位部件840的图像数据和相应的惯性数据以及GPS数据来跟踪位置并且确定眼镜100相对于参照系(例如，真实世界环境)的姿势。跟踪模块340不断地收集和使用描述眼镜100的运动的更新后的传感器数据来确定更新后的眼镜100的三维姿势，该姿势指示相对于真实世界环境中的物理对象的相对位置和取向的变化。跟踪模块340允许眼镜100经由显示器310在用户的视场内将虚拟对象相对于物理对象视觉放置。
GPU和显示驱动器338可以在眼镜100以传统增强现实模式运行时使用眼镜100的姿势来生成要在显示器310上呈现的虚拟内容或其他内容的帧。在该模式下，GPU和显示驱动器338基于更新后的眼镜100的三维姿势来生成更新后的虚拟内容的帧，这反映了用户相对于用户真实环境中的物理对象的位置和取向的变化。
另外，当在如本文所描述的为视觉障碍提供增强现实显示的模式下操作时，GPU和显示驱动器338执行任何所需的图像处理，如下面更详细描述的。
本文所描述的一个或更多个功能或操作也可以在驻留在眼镜100上或客户端设备328上或远程服务器上的应用中执行。例如，本文所描述的一个或更多个功能或操作可以由应用706诸如消息传送应用746或定制眼睛测试应用之一执行。
图4示出了包括前向光学组件和***光学组件的可穿戴设备(例如，眼镜100)。如图1中描述的，图4所示的眼镜100包括分别固定在左光学元件保持器104和右光学元件保持器106中的每一个内的左光学元件108和右光学元件110。
眼镜100包括：前向光学组件420，其包括投影仪402和近眼显示器408；以及***光学组件418，其包括投影仪406和***显示器412。在实际实现方式中，前向光学组件和***光学组件均可以设置在眼镜100的左右两半上。出于清楚的目的，在眼镜100的右侧上示出了前向光学组件420，而在眼镜100的左侧上示出了***光学组件418，但是应当理解，这些光学组件中的任一者或两者可以但不要求围绕虚线414所示的对称平面镜像，以在眼镜100的每一侧提供前向光学组件420和***光学组件418中的一者或两者。
在一个实施方式中，近眼显示器408是呈环的形状(例如，环形或扁平环面)的光学波导416。波导416包括反射或衍射结构(例如，光栅和/或光学元件诸如镜子、透镜或棱镜)。由投影仪402发出的光404遇到波导416的衍射结构，波导416将光引向用户的眼睛，以在右光学元件110上或右光学元件110中提供覆盖用户看到的真实世界的视图的图像。在替选实施方式中，近眼显示器408被设置为矩形光学波导。
如下面更详细描述的，由相机114之一捕获的包括来自眼镜100的前视图的视频流由投影仪402投影至近眼显示器408上，使得前视图的中心部分被重新映射至与波导416对应的环形区域。因此，由于黄斑变性导致的视觉障碍而无法看到或只能看到很差的中心视觉信息在更***的感知区域中显示至用户。
在近眼显示器408是矩形光学波导的示例中，波导的中心部分未被使用。在近眼显示器408是环形波导416的示例中，不存在中心反射或衍射结构，但是波导416在其他方面在结构上与矩形波导相同。通过消除未使用的反射或衍射结构，可以提高近眼显示器408在感兴趣区域中的性能。例如，为提供相同亮度级别可能需要更少的功率。
然而，应当理解，可以提供可以在前视场中向用户显示图像的其他显示技术或配置。例如，代替投影仪402和波导416，而是可以提供LCD、LED或其他显示面板或表面。
在设置有左前向光学组件420和右前向光学组件420的情况下，可以在左近眼显示器408和右近眼显示器408两者上提供来自单个相机114(其可以位于眼镜100的中心)的相同的重新映射的视频馈送。可替选地，可以将来自左侧相机114的重新映射的视频馈送提供至左近眼显示器408，而可以将来自右侧相机114的重新映射的视频馈送提供至右侧近眼显示器408。此外，显示在左近眼显示器408和右近眼显示器408上的图像可以是前视场的相应左侧和右侧的重新映射的视频馈送。在这样的情况下，根据其导出显示在左近眼显示器408和右近眼显示器408上的图像的左侧前视场和右侧前视场可以部分交叠或不交叠，如果不交叠，则它们之间有或没有间隙。
在所示示例中，***光学组件418包括投影仪406和***显示器412。如前所述，***显示器412可以包括波导，该波导包括反射或衍射结构(例如，光栅和/或光学元件诸如镜子、透镜或棱镜)。由投影仪406发射的光410遇到***显示器412的衍射结构，***显示器412将光引向用户的眼睛以在佩戴眼镜100的用户的***感知区域中提供图像。然而，应当理解，可以提供可以在***视场中向用户显示图像的其他显示技术或配置。例如，代替投影仪406和***显示器412为波导，而是***显示器412可以是LCD、LED或其他显示面板或表面。
在使用中，由相机114之一捕获的包括来自眼镜100的前视图的视频流由投影仪406投影至***显示器412上，使得前视图的中心部分显示在***显示器412上。因此，由于黄斑变性导致的视觉障碍而无法看到或只能看到很差的中心视觉信息在更***的感知区域中显示至用户。
经由***光学组件418显示的图像可以是来自相机114中的一个或更多个的未经修改的视频馈送。在设置有左***光学组件418和右***光学组件418的情况下，可以在左***显示器412和右***显示器412两者上提供来自单个相机114(其可以位于眼镜100的中心)的相同的视频馈送。可替选地，可以将来自左侧相机114的视频馈送提供至左侧***显示器412，而可以将来自右侧相机114的视频馈送提供至右侧***显示器412。此外，显示在左***显示器412和右***显示器412上的图像可以是前视场的相应左侧和右侧的视频馈送。在这样的情况下，显示在左***显示器412和右***显示器412上的图像可以部分交叠或不交叠，如果不交叠，则它们之间有或没有间隙。
图5示出了在由相机114中的一个或更多个捕获的前视图的中心部分上执行的像素映射，以经由前向光学组件420显示至用户。在图5中，前视图的中心部分——对应于通常由黄斑或中央凹感知的那些——由圆盘(disk)502表示，而经由前向光学组件420显示的重新映射的前视图由环504表示。
可以看出，圆盘502的中心508映射至环504的内圆周524上，而圆盘502的圆周526映射至环504的外圆周528上，其中，中心508与圆周526之间的中间点对应映射至内圆周524与外圆周528之间的中间点。
圆盘502的扇区506因此映射至环504的扇区510。更具体地，在映射中，可以看到扇区510的点516和点518对应于扇区506的中心508，而可以看到扇区510的点520和点522对应于扇区506的点512和点514。
由相机114中的一个或更多个捕获的前视图的这种映射可以通过保形映射或其他图像处理技术来实现。还可以根据需要应用附加的图像处理。例如，可以看到扇区510的面积大于扇区506的面积，而环形504的面积大于圆盘502的面积。因此，可能有必要根据相机114捕获的视频馈送的分辨率来调整视频馈送的分辨率，或者经由前向光学组件420生成用于显示的内插像素或其他中间像素。
例如，使用以圆盘502的中心508为中心的极坐标系，可以如下根据圆盘502生成环504，其中：
RD＝圆盘502的半径。
RA1＝环504的内半径。
RA2＝环504的外半径。
RD1[rd,θ]＝圆盘像素在半径rd和角度θ处的半径。
RA1[rd,θ]＝与圆盘像素对应的环像素在RD1[rd,θ]处的半径。
遍历从0到2Pi弧度的所有θ值和从0到Rd的所有rd值，
RA1[rd,θ]＝RD+RD1[rd,θ]*((RA2-RA1)/RD)。
图6是示出根据一些示例的用于从头戴式设备捕获和显示前视图的一部分的过程的流程图600。出于解释的目的，流程图600的操作在本文被描述为串行地或线性地发生。然而，流程图600的多个操作可以并行地发生。另外，流程图600的操作不需要按所示顺序执行以及/或者流程图600的一个或更多个框不需要执行和/或可以由其他操作替换。
图6所示的操作通常将在眼镜100中的或与眼镜100相关联的相关硬件和数据处理器302上执行。出于清楚的目的，本文参照这样的示例讨论流程图600。各种实现方式当然是可能的，其中一些操作发生在客户端设备328中的应用诸如消息传送应用746中、服务器***332上，或者其中客户端设备328上的一个应用调用另一应用或SDK以获得所需的功能。在一个示例中，在客户端设备328上运行的消息传送应用746与眼镜100中的或与眼镜100相关联的相关硬件和数据处理器302之间联合执行操作。
该方法在操作602处开始，其中消息传送应用746接收与视觉辅助操作模式的选择或激活对应的用户输入。可用选择的性质将取决于眼镜100的配置。例如，如果前向光学组件420包括环形波导416，则眼镜100专门供有视觉障碍的人使用，并且可能没有必要选择将前视图映射至波导416的模式，这是因为该模式可能是默认模式。另一方面，如果近眼显示器408是矩形波导或一些其他矩形显示器，则可能需要接收视觉辅助模式的特定用户选择以启动视觉辅助模式。
另外，在***显示器412上显示前向信息的用户选择将取决于那些显示器是否存在。如果存在那些显示器，则可能需要接收用户选择来启动视觉辅助模式，这是因为这些显示器的使用可能是可选的而不是默认模式。此外，还可能需要快速选择或激活这些模式以保持眼镜100的电池寿命。模式的选择可以包括为近眼显示器或***显示器或两者选择视觉辅助模式。
在接收到视觉辅助模式的用户选择或激活时，在操作604处，由相机114中的一个或更多个捕获与来自眼镜100的前视图对应的图像馈送。如果已经选择了近眼显示器视觉辅助模式，则该方法在操作606处进行。如果已经选择了***显示器视觉辅助模式，则该方法在操作612处进行。如果已经选择了两种模式，则该方法在操作606和操作612处都进行。
如果已经选择了近眼显示器视觉辅助模式，则在操作606处，由数据处理器302映射由相机114捕获的(一个或多个)前视场以供在中心视场之外显示。映射将视场从中心视场移动了的量取决于实现方式。中央凹具有约5度的视场，旁中心视力被认为是约8度的视场，而黄斑具有约18度的视场。中***视力被认为是正/负30度。在一个示例中，映射采用黄斑视场(正/负约9度)并且将其映射到从正/负约9度至正/负约30度之间的中***区域。在另一示例中，将来自正/负5度的中心视场映射到从正/负约5度至正/负约25度之间的区域。
在一些实施方式中，用户的视觉障碍可能会有所不同，并且用于映射的中心视场的视场角度和中心视场所映射到的环的角度区域可以是用户经由客户端设备328上的用户界面来选择的。
另外，中心待映射区域和所映射区域的视场不必相邻。例如，正/负15度的中心视场可以映射到从外部正/负约10度至正/负约30度的中***区域。可以这样做以确保向用户提供足够的视觉信息，这是因为否则映射和显示的视觉信息将会模糊用户的中***视野。
如上面所提及的，被映射的中心视场对于每只眼睛可能不同，可能来自每只眼睛的不同相机，或者可能是每只眼睛的中心视场的不同部分。
然后，在操作608处，由数据处理器302将映射的视场显示在一个或两个近眼显示器310上。对(一个或多个)映射的视场的(一个或多个)显示继续，直至在操作610处接收到终止用户输入，并且该方法在操作618处结束。
如果已经选择了***显示器视觉辅助模式，则该方法在操作612处进行，其中由数据处理器302从相机114中的一个或更多个选择(一个或多个)视场的一部分以供在***显示器412上显示。如上所述，可以在左近眼显示器408和右近眼显示器408两者上提供来自单个相机114(其可以位于眼镜100的中心)的相同视频馈送。可替选地，可以将来自左侧相机114的视频馈送提供至左近眼显示器408，而可以将来自右侧相机114的视频馈送提供至右侧近眼显示器408。此外，在左近眼显示器408和右近眼显示器408上显示的图像可以是相应的左前视场和右前视场的视频馈送。在这样的情况下，根据其导出显示在左近眼显示器408和右近眼显示器408上的图像的左前视场和右前视场可以部分交叠或不交叠，如果不交叠，则它们之间有或没有间隙。另外，可以从(一个或多个)相机的视场裁剪(一个或多个)相机的(一个或多个)视场的中心部分，使得在(一个或多个)***显示器上呈现更多相关的中心视觉信息。
数据处理器302对前视场的显示部分的性质和范围的这种选择是基于如下可以是用户可选择的参数：例如要使用哪些相机、要使用多少个相机、要显示多少个中心视场、要向每只眼睛显示哪些部分等。
然后，在操作614处，在***显示器412上向用户显示所选择的(一个或多个)前视图。对(一个或多个)映射的视场的(一个或多个)显示继续，直至在操作616处接收到终止用户输入，并且该方法在操作618处结束。
图7是示出可以安装在本文描述的设备中的任何一个或更多个上的软件架构704的框图700。软件架构704由诸如包括处理器720、存储器726和I/O部件738的机器702的硬件来支持。在该示例中，软件架构704可以被概念化为层的堆栈，其中每个层提供特定功能。软件架构704包括各个层诸如操作***712、库708、框架710和应用706。在操作上，应用706通过软件堆栈来调用API调用750并且响应于API调用750接收消息752。
操作***712管理硬件资源并且提供公共服务。操作***712包括例如：内核714、服务716、以及驱动器722。内核714充当硬件层与其他软件层之间的抽象层。例如，内核714提供存储器管理、处理器管理(例如，调度)、部件管理、联网和安全设置以及其他功能。服务716可以为其他软件层提供其他公共服务。驱动器722负责控制底层硬件或与底层硬件接口。例如，驱动器722可以包括显示驱动器、相机驱动器、
Figure BDA0003554273230000121
或
Figure BDA0003554273230000122
低功耗驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(USB)驱动器)、
Figure BDA0003554273230000123
驱动器、音频驱动器、电源管理驱动器等。
库708提供由应用706使用的低级公共基础设施。库708可以包括***库718(例如，C标准库)，***库718提供诸如存储器分配功能、字符串操纵功能、数学功能等的功能。另外，库708可以包括API库724，诸如媒体库(例如，用于支持各种媒体格式的呈现和操纵的库，该媒体格式诸如运动图像专家组4(MPEG4)、高级视频编码(H.264或AVC)、运动图像专家组层3(MP3)、高级音频编码(AAC)、自适应多速率(AMR)音频编解码器、联合图像专家组(JPEG或JPG)或便携式网络图形(PNG))、图形库(例如，用于在显示器上的图形内容中以二维(2D)和三维(3D)呈现的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、web库(例如，提供网页浏览功能的WebKit)等。库708还可以包括各种各样的其他库728，以向应用706提供许多其他API。
框架710提供由应用706使用的高级公共基础设施。例如，框架710提供各种图形用户界面(GUI)功能、高级资源管理以及高级位置服务。框架710可以提供可以由应用706使用的广范的其他API，其中一些API可以特定于特定的操作***或平台。
在示例中，应用706可以包括家庭应用736、联系人应用730、浏览器应用732、书籍阅读器应用734、位置应用742、媒体应用744、消息传送应用746、游戏应用748和诸如第三方应用740的各种各样的其他应用。应用706是执行程序中限定的功能的程序。可以采用各种编程语言来创建以各种方式构造的一个或更多个应用706，编程语言例如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C语言或汇编语言)。在特定示例中，第三方应用740(例如，由特定平台的供应商以外的实体使用ANDROIDTM或IOSTM软件开发工具包(SDK)开发的应用)可以是在诸如IOSTM、ANDROIDTM、
Figure BDA0003554273230000131
Phone的移动操作***或其他移动操作***上运行的移动软件。在该示例中，第三方应用740可以调用由操作***712提供的API调用750以有助于本文描述的功能。
图8是机器800的图形表示，在该机器800中可以执行使机器800执行本文所讨论的方法中的任何一种或更多种的指令810(例如，软件、程序、应用、小程序、app或其他可执行代码)。例如，指令810可以使机器800执行本文所描述的方法中的任何一种或更多种。指令810将通用的未编程的机器800转换成被编程为以所描述的方式执行所描述和所示出的功能的特定机器800。机器800可以作为独立设备操作，或者可以耦接(例如，联网)至其他机器。在联网部署中，机器800可以以服务器-客户端网络环境中的服务器机器或客户端机器的能力进行操作，或者作为对等(或分布式)网络环境中的对等机器进行操作。机器800可以包括但不限于：服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、PDA、娱乐媒体***、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能电器)、其他智能设备、web设备、网络路由器、网络交换机、网络桥接器或能够顺序地或以其他方式执行指令810的任何机器，该指令810指定要由机器800采取的动作。此外，虽然仅示出了单个机器800，但是术语“机器”应还被视为包括机器的集合，所述机器的集合单独地或共同地执行指令810以执行本文所讨论的方法中的任何一种或更多种。
机器800可以包括处理器802、存储器804和I/O部件806，处理器802、存储器804和I/O部件806可以被配置成经由总线844彼此通信。在示例中，处理器802(例如，中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、其它处理器或其任何合适的组合)可以包括例如执行指令810的处理器808和处理器812。术语“处理器”旨在包括可以包含可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。尽管图8示出了多个处理器802，但是机器800可以包括具有单个核的单个处理器、具有多个核的单个处理器(例如，多核处理器)、具有单个核的多个处理器、具有多个核的多个处理器、或者其任意组合。
存储器804包括主存储器814、静态存储器816以及存储单元818，其均可由处理器802经由总线844访问。主存储器804、静态存储器816以及存储单元818存储实现本文描述的方法或功能中的任何一种或更多种的指令810。在由联网***300执行指令810期间，指令810还可以全部地或部分地驻留在主存储器814内、在静态存储器816内、在机器可读介质820内、在存储单元818内、在处理器802中的至少一个内(例如，在处理器的高速缓冲存储器内)或者在其任何合适的组合内。
I/O部件806可以包括用于接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等的各种部件。特定机器中包括的特定I/O部件806将取决于机器的类型。例如，诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构，而无头服务器(headless server)机器将可能不包括这样的触摸输入设备。将理解的是，I/O部件806可以包括图8中未示出的许多其他部件。在各种示例中，I/O部件806可以包括输出部件828和输入部件832。输出部件828可以包括视觉部件(例如，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)的显示器)、声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机构)、其他信号生成器等。输入部件832可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏、或其他触觉输入部件)、音频输入部件(例如，麦克风)等。
在另一示例中，I/O部件806可以包括：生物识别部件834、运动部件836、环境部件838、或定位部件840以及各种各样的其他部件。例如，生物识别部件834包括用于检测表达(例如，手部表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人(例如，声音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件。运动部件836包括加速度传感器部件(例如，加速计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。环境部件838包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或更多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测背景噪声的一个或更多个麦克风)、接近度传感器部件(例如，检测附近对象的红外传感器)、气体传感器(例如，为了安全而检测危险气体的浓度或者测量大气中的污染物的气体检测传感器)、或者可以提供与周围物理环境对应的指示、测量或信号的其他部件。定位部件840包括位置传感器部件(例如，GPS接收器部件)、海拔传感器部件(例如，检测可以得到海拔的气压的高度计或气压计)、取向传感器部件(例如，磁力计)等。
可以使用各种各样的技术来实现通信。I/O部件806还包括通信部件842，通信部件842能够进行操作以分别经由耦接(coupling)830和耦接826将联网***300耦接至网络822或设备824。例如，通信部件842可以包括与网络822接口的网络接口部件或其他合适的设备。在另一示例中，通信部件842可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、
Figure BDA0003554273230000151
部件(例如，
Figure BDA0003554273230000152
低功耗)、
Figure BDA0003554273230000153
部件以及经由其他模态提供通信的其他通信部件。设备824可以是另一机器或各种***设备中的任何一个***设备(例如，经由USB耦接的***设备)。
此外，通信部件842可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件842可以包括射频识别(RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如，用于检测下述的光学传感器：一维条形码，例如，通用产品代码(UPC)条形码；多维条形码，例如，快速响应(QR)代码、Aztec代码、数据矩阵、数据图示符(Dataglyph)、麦克斯码(MaxiCode)、PDF417、超代码、UCC RSS-2D条形码和其他光学代码)、或者声学检测部件(例如，用于识别标记的音频信号的麦克风)。另外，可以经由通信部件842得到各种信息，例如经由因特网协议(IP)地理定位的位置、经由
Figure BDA0003554273230000161
信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置等。
各种存储器(例如，存储器804、主存储器814、静态存储器816和/或处理器802的存储器)和/或存储单元818可以存储由本文描述的方法或功能中的任何一个或更多个实现或使用的指令和数据结构(例如，软件)中的一组或更多组。这些指令(例如，指令810)在由处理器802执行的情况下使各种操作实现所公开的示例。
可以经由网络接口设备(例如，通信部件842中包括的网络接口部件)，使用传输介质并且使用许多公知的传输协议中的任意一种传输协议(例如，超文本传输协议(HTTP))，通过网络822来发送或接收指令810。类似地，可以使用传输介质经由耦接826(例如，对等耦接)将指令810发送或接收至设备824。
“载波信号”是指能够存储、编码或携载由机器执行的指令的任何无形介质并且包括数字或模拟通信信号或其他无形介质以有助于这样的指令的通信。指令可以经由网络接口设备使用传输介质通过网络来发送或接收。
“客户端设备”是指与通信网络接口以从一个或更多个服务器***或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、桌上型计算机、膝上型计算机、便携式数字助理(PDA)、智能电话、平板计算机、超级本、上网本、多个膝上型计算机、多处理器***、基于微处理器或可编程消费电子产品、游戏控制台、机顶盒或用户可以用于访问网络的任何其他通信设备。
“通信网络”是指网络的一个或更多个部分，该网络可以是自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通老式电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0003554273230000162
网络、另外类型的网络或者两个或更多个这样的网络的组合。例如，网络或网络的一部分可以包括无线网络或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信***(GSM)连接或其他类型的蜂窝或无线耦接。在该示例中，耦接可以实现各种类型的数据传输技术中的任何数据传输技术，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、GSM演进的增强数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、***无线(4G)网络、通用移动通讯***(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准设置组织定义的其他数据传输技术、其他长距离协议或其他数据传输技术。
“部件”是指具有由功能或子例程调用、分支点、API或被提供用于对特定处理或控制功能进行分区或模块化的其他技术定义的边界的设备、物理实体或逻辑。部件可以经由它们的接口与其他部件组合以执行机器处理。部件可以是被设计用于与其他部件一起使用的经封装的功能硬件单元并且通常执行相关功能的特定功能的程序的一部分。部件可以构成软件部件(例如，体现在机器可读介质上的代码)或硬件部件。“硬件部件”是能够执行某些操作的有形单元，并且可以以某种物理方式来配置或布置。在各种示例中，可以通过软件(例如，应用或应用部分)将一个或更多个计算机***(例如，独立计算机***、客户端计算机***或服务器计算机***)或者计算机***的一个或更多个硬件部件(例如，处理器或处理器组)配置为进行操作以执行如本文描述的某些操作的硬件部件。也可以机械地、电子地或以其任何合适的组合来实现硬件部件。例如，硬件部件可以包括被永久地配置成执行某些操作的专用电路***或逻辑。硬件部件可以是专用处理器，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件部件还可以包括通过软件被临时配置成执行某些操作的可编程逻辑或电路***。例如，硬件部件可以包括由通用处理器或其他可编程处理器执行的软件。一旦通过这样的软件被配置，则硬件部件成为被唯一地定制成执行配置的功能的特定的机器(或机器的特定部件)，并且不再是通用处理器。将理解的是，机械地、在专用和永久配置的电路***中、或在临时配置的电路***(例如，由软件配置)中实现硬件部件的决定可以由成本和时间考虑来驱动。相应地，短语“硬件部件”(或“硬件实现的部件”)应当被理解成包含有形实体，即为被物理构造、永久配置(例如，硬连线)或临时配置(例如，编程)成以某种方式操作或者执行本文所描述的某些操作的实体。考虑硬件部件被临时配置(例如，被编程)的示例，硬件部件中的每一个无需在任一时刻处均被配置或实例化。例如，在硬件部件包括通过软件配置成专用处理器的通用处理器的情况下，该通用处理器可以在不同时间处分别被配置为不同的专用处理器(例如，包括不同的硬件部件)。软件相应地配置一个或多个特定处理器以例如在一个时刻处构成特定硬件部件并且在不同的时刻处构成不同的硬件部件。硬件部件可以向其他硬件部件提供信息以及从其他硬件部件接收信息。因此，所描述的硬件部件可以被认为是通信上耦接的。在同时存在多个硬件部件的情况下，可以通过在两个或更多个硬件部件之间或者在两个或更多个硬件部件之中的信号传输(例如，通过适当的电路和总线)来实现通信。在其中多个硬件部件在不同时间处被配置或实例化的示例中，可以例如通过将信息存储在多个硬件部件可以访问的存储器结构中并且在该存储器结构中检索信息来实现这样的硬件部件之间的通信。例如，一个硬件部件可以执行操作，并且将该操作的输出存储在通信上耦接的存储器设备中。然后，另外的硬件部件可以在随后的时间访问存储器设备，以检索和处理所存储的输出。硬件部件还可以发起与输入或输出设备的通信，并且可以对资源进行操作(例如，信息的收集)。本文描述的示例方法的各种操作可以至少部分地由被临时地配置(例如，通过软件)或永久地配置成以执行相关操作的一个或更多个处理器来执行。无论是被临时地配置还是永久地配置，这样的处理器可以构成进行操作以执行本文描述的一个或更多个操作或功能的处理器实现的部件。如本文所使用的，“处理器实现的部件”是指使用一个或更多个处理器实现的硬件部件。类似地，本文描述的方法可以至少部分地由处理器实现，其中特定的一个或多个处理器是硬件的示例。例如，方法的操作中的至少一些操作可以由一个或更多个处理器或者处理器实现的部件来执行。此外，一个或更多个处理器还可以进行操作以支持“云计算”环境中的相关操作的执行或操作为“软件即服务”(SaaS)。例如，操作中的至少一些操作可以由一组计算机(作为包括处理器的机器的示例)执行，其中这些操作能够经由网络(例如，因特网)并且经由一个或更多个适当的接口(例如，API)进行访问。某些操作的执行可以分布在处理器之间，不仅驻留在单个机器内，而且跨多个机器部署。在一些示例中，处理器或处理器实现的部件可以位于单个地理位置中(例如，在家庭环境、办公室环境或服务器群内)。在其他示例中，处理器或处理器实现的部件可以跨多个地理位置分布。
“计算机可读介质”是指机器存储介质和传输介质两者。因此，术语包括存储设备/介质和载波/调制数据信号两者。术语“机器可读介质”、“计算机可读介质”和“设备可读介质”意指相同的事物并且可以在本公开内容中互换地使用。
“短暂消息”是指可以在时间有限的持续时间内访问的消息。短暂消息可以是文本、图像、视频等。短暂消息的访问时间可以由消息发送者设置。可替选地，访问时间可以是默认设置或者由接收者指定的设置。无论设置技术如何，该消息都是暂态的。
“机器存储介质”是指以非暂态方式存储可执行指令、例程和/或数据的单个或多个存储设备和/或介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。因此，术语应被视为包括但不限于固态存储器以及光学和磁性介质，包括处理器内部或外部的存储器。机器存储介质、计算机存储介质和/或设备存储介质的具体示例包括：非易失性存储器，包括例如半导体存储器设备，例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、FPGA和闪存设备；磁盘，诸如内部硬盘和可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM磁盘。术语“机器存储介质”、“设备存储介质”、“计算机存储介质”意指相同的事物，并且在本公开内容中可以互换地使用。术语“机器存储介质”、“计算机存储介质”和“设备存储介质”明确地排除了载波、调制数据信号和其他这样的介质，载波、调制数据信号和其他这样的介质中的至少一些被涵盖在术语“信号介质”中。
“处理器”是指根据控制信号(例如，“命令”、“操作码”、“机器码”等)操纵数据值并且产生被应用于操作机器的对应输出信号的任何电路或虚拟电路(通过在实际处理器上执行的逻辑模拟的物理电路)。例如，处理器可以是中央处理单元(CPU)、简化指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)或其任何组合。处理器还可以是具有可以同时执行指令的两个或更多个独立处理器(有时称为“核”)的多核处理器。
“信号介质”是指能够存储、编码或携载由机器执行的指令的任何无形介质，并且“信号介质”包括数字或模拟通信信号或其他无形介质以有助于软件或数据的通信。术语“信号介质”应当被视为包括任何形式的调制数据信号、载波等。术语“调制数据信号”意指使其特性中的一个或更多个特性以对信号中的信息进行编码的方式来设置或改变的信号。术语“传输介质”和“信号介质”意指相同的事物并且可以在本公开内容中互换地使用。
在不脱离本公开内容的范围的情况下，可以对所公开的示例进行改变和修改。这些和其他改变或修改旨在被包括在本公开内容的范围内，如所附权利要求中所表达的。

Claims (20)

1.一种使用头戴式设备来提供视觉辅助的方法，所述头戴式设备包括一个或更多个显示设备和一个或更多个相机，所述方法包括：
使用所述相机中的至少一个来捕获前视野；以及
使用所述显示设备中的一个或更多个来将所述前视野的一部分显示在***视场中。
2.根据权利要求1所述的方法，还包括：
将所述前视野的中心部分映射至近***视场，
其中，使用所述头戴式设备的前向显示设备来将所映射的中心部分显示在***视场中。
3.根据权利要求2所述的方法，其中，使用所述前向显示设备以环形形状显示所映射的中心部分。
4.根据权利要求3所述的方法，其中，所述前向显示设备包括环形波导。
5.根据权利要求1所述的方法，其中，使用所述头戴式设备的***显示设备来将所述前视野的一部分显示在***视场中。
6.根据权利要求1所述的方法，其中，所述前视野的一部分包括第一部分和第二部分，所述方法还包括：
使用左显示设备显示所述第一部分；以及
使用右显示设备显示所述第二部分。
7.根据权利要求6所述的方法，其中，所述第一部分和所述第二部分部分交叠。
8.根据权利要求2所述的方法，其中，使用所述头戴式设备的***显示器来将所述前视野的一部分显示在***视场中。
9.根据权利要求2所述的方法，还包括：
接收限定所述前视野的大小的用户输入；以及
接收限定所述***视场的大小的用户输入。
10.一种头戴式设备***，包括：
一个或更多个相机；
一个或更多个显示设备；
一个或更多个处理器；以及
存储指令的存储器，所述指令在由所述一个或更多个处理器执行时将所述***配置成执行包括以下的操作：
使用所述相机中的至少一个来捕获前视野；以及
使用所述显示设备中的一个或更多个来将所述前视野的一部分显示在***视场中。
11.根据权利要求10所述的***，其中，所述指令还将所述***配置成执行包括以下的操作：
将所述前视野的中心部分映射至近***视场，
其中，使用所述头戴式设备***的前向显示设备来将所映射的中心部分显示在***视场中。
12.根据权利要求11所述的***，其中，使用所述前向显示设备以环形形状显示所映射的中心部分。
13.根据权利要求10所述的***，其中，使用所述头戴式设备***的***显示设备来将所述前视野的一部分显示在***视场中。
14.根据权利要求13所述的***，其中，所述前视野的一部分包括第一部分和第二部分，所述指令还将所述***配置成执行包括以下的操作：
使用左显示设备显示所述第一部分；以及
使用右显示设备显示所述第二部分。
15.根据权利要求14所述的***，其中，所述指令还将所述***配置成执行包括以下的操作：
接收限定所述前视野的大小的用户输入；以及
接收限定所述***视场的大小的用户输入。
16.一种非暂态计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由计算机***执行时使所述计算机***使用包括一个或更多个显示设备和一个或更多个相机的头戴式设备通过执行包括以下的操作来提供显示输出：
使用所述相机中的至少一个来捕获前视野；以及
使用所述显示设备中的一个或更多个来将所述前视野的一部分显示在***视场中。
17.根据权利要求16所述的计算机可读存储介质，其中，所述指令还将所述计算机***配置成执行包括以下的操作：
将所述前视野的中心部分映射至近***视场，
其中，使用所述头戴式设备的前向显示设备来将所映射的中心部分显示在***视场中。
18.根据权利要求16所述的计算机可读存储介质，其中，使用所述头戴式设备的***显示设备来将所述前视野的一部分显示在***视场中。
19.根据权利要求18所述的计算机可读存储介质，其中，所述前视野的一部分包括第一部分和第二部分，并且其中，所述指令还将所述计算机***配置成执行包括以下的操作：
使用左显示设备显示所述第一部分；以及
使用右显示设备显示所述第二部分。
20.根据权利要求18所述的计算机可读存储介质，其中，所述指令还将所述计算机***配置成执行包括以下的操作：
接收限定所述前视野的大小的用户输入；以及
接收限定所述***视场的大小的用户输入。
CN202210270008.4A 2021-03-18 2022-03-18 用于黄斑变性的增强现实显示 Active CN115113399B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163200619P 2021-03-18 2021-03-18
US63/200,619 2021-03-18

Publications (2)

Publication Number Publication Date
CN115113399A true CN115113399A (zh) 2022-09-27
CN115113399B CN115113399B (zh) 2024-03-19

Family

ID=80780895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210270008.4A Active CN115113399B (zh) 2021-03-18 2022-03-18 用于黄斑变性的增强现实显示

Country Status (4)

Country Link
US (1) US11681146B2 (zh)
EP (1) EP4060646A1 (zh)
KR (1) KR20220130626A (zh)
CN (1) CN115113399B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681146B2 (en) 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797085B1 (en) * 2022-03-30 2023-10-24 Lenovo (Singapore) Pte Ltd Eye tracking system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094285A1 (en) * 2016-11-18 2018-05-24 Eyedaptic, LLC Improved systems for augmented reality visual aids and tools
CN110770636A (zh) * 2017-04-25 2020-02-07 雷特克斯有限公司 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制***
CN111492330A (zh) * 2017-12-22 2020-08-04 斯纳普公司 增强现实用户界面控制

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014117A (en) 1997-07-03 2000-01-11 Monterey Technologies, Inc. Ambient vision display apparatus and method
WO2004036378A2 (en) 2002-10-15 2004-04-29 Mcintyre David J System and method for simulating visual defects
NL1028563C2 (nl) 2005-03-17 2006-09-20 Stichting Focus On Vision Foun Samengestelde lens alsmede een bril voorzien van tenminste één dergelijke samengestelde lens.
EP2143273A4 (en) 2007-04-02 2012-08-08 Esight Corp APPARATUS AND METHOD FOR INCREASING VISION
GB201103200D0 (en) 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
WO2013188683A1 (en) 2012-06-13 2013-12-19 Advanced Vision Solutions, Inc. Vision correction prescription and health assessment facility
CN107645921B (zh) 2015-03-16 2021-06-22 奇跃公司 用于诊断和治疗健康疾病的方法和***
US11956414B2 (en) 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
GB201603149D0 (en) 2016-02-22 2016-04-06 Adlens Ltd Improvements in or relating to glasses with selectively adjustable optical power lenses
EP3488284B1 (en) 2016-07-25 2023-06-28 Magic Leap, Inc. Light field processor system and method
US11432718B2 (en) 2017-10-31 2022-09-06 EyeQue Inc. Smart phone based virtual visual charts for measuring visual acuity
US10206566B2 (en) 2016-10-17 2019-02-19 EyeQue Corporation Optical method to assess the refractive properties of an optical system
US10445938B1 (en) 2016-11-09 2019-10-15 Snap Inc. Modifying multiple objects within a video stream
GB201703352D0 (en) 2017-03-01 2017-04-19 Adlens Ltd Improvements in or relating to virtual and augmented reality headsets
US10969584B2 (en) * 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
CA3075934A1 (en) 2017-09-27 2019-04-04 University Of Miami Digital therapeutic corrective spectacles
IL301939A (en) 2017-10-26 2023-06-01 Magic Leap Inc An augmented reality display with a liquid crystal variable focus element and a roll-to-roll method and a device for their creation
GB201800933D0 (en) 2018-01-19 2018-03-07 Adlens Ipr Ltd Improvements in or relating to variable focal power optical elements,a variable focal power optical device, a display module for augmented reality headset
US11245065B1 (en) 2018-03-22 2022-02-08 Facebook Technologies, Llc Electroactive polymer devices, systems, and methods
WO2019186132A2 (en) 2018-03-26 2019-10-03 Adlens Ltd. Improvements in or relating to augmented reality display units and augmented reality headsets comprising the same
WO2020050496A1 (ko) 2018-09-04 2020-03-12 주식회사 엠투에스 검안용 헤드 마운티드 디스플레이 장치 및 이를 이용한 안과검사방법
CN113164036B (zh) 2018-09-21 2023-11-28 麦科鲁金克斯有限公司 用于眼科测试和测量的方法、设备和***
WO2020072994A1 (en) 2018-10-05 2020-04-09 EyeQue Inc. Calibration and image procession methods and systems for obtaining accurate pupillary distance measurement
CN113164249A (zh) 2018-11-23 2021-07-23 赛诺斯健康国际有限公司 用于黄斑变性患者的扩展黄斑视觉的新式单焦点型人工晶状体
KR102174241B1 (ko) 2018-12-04 2020-11-04 연세대학교 원주산학협력단 가상현실 기반의 휴대용 안진 검사장치 및 이를 이용한 검진 방법
US20220280037A1 (en) 2021-03-03 2022-09-08 Snap Inc. Ophthalmic imaging using a head-worn device
WO2022187824A1 (en) 2021-03-03 2022-09-09 Snap Inc. Ophthalmic imaging using a head-worn device
US11681146B2 (en) 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018094285A1 (en) * 2016-11-18 2018-05-24 Eyedaptic, LLC Improved systems for augmented reality visual aids and tools
CN110770636A (zh) * 2017-04-25 2020-02-07 雷特克斯有限公司 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制***
CN111492330A (zh) * 2017-12-22 2020-08-04 斯纳普公司 增强现实用户界面控制

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681146B2 (en) 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration

Also Published As

Publication number Publication date
US11681146B2 (en) 2023-06-20
KR20220130626A (ko) 2022-09-27
CN115113399B (zh) 2024-03-19
US20220299773A1 (en) 2022-09-22
EP4060646A1 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
US11953691B2 (en) Eyewear with integrated peripheral display
CN115113399B (zh) 用于黄斑变性的增强现实显示
CN110546946B (zh) 基于装置移动处理媒体内容
US20200143773A1 (en) Augmented reality immersive reader
US20240248531A1 (en) Reducing startup time of augmented reality experience
US20240176428A1 (en) Dynamic initialization of 3dof ar tracking system
WO2023200650A1 (en) Intelligent actuated and adjustable glasses nose pad arms
US20240032121A1 (en) Secure peer-to-peer connections between mobile devices
US20220280037A1 (en) Ophthalmic imaging using a head-worn device
WO2022187824A1 (en) Ophthalmic imaging using a head-worn device
US11863596B2 (en) Shared augmented reality session creation
US11567335B1 (en) Selector input device to target recipients of media content items
US20230315383A1 (en) Wearable device ar object voice-based interaction
US20230296877A1 (en) Prescription system for flexible lenses
US20230324710A1 (en) Intelligent actuated nose bridge
US20230035668A1 (en) Vision test and provision of prescription glasses
US20240202470A1 (en) Generating augmented reality content including translations
WO2024086645A1 (en) Phone case for tracking and localization
CN117337422A (zh) 三自由度增强现实跟踪***的动态初始化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant