CN118140126A - 使用反射识别透镜特性 - Google Patents

Abstract

本文所公开的各种具体实施包括使用反射来确定可附接透镜的透镜特性的设备、***和方法。在一些具体实施中，一种方法可包括使用光源的布置来产生光图案。然后，在经由图像传感器获得的图像中检测反射，该反射对应于来自多个该光源中的每个光源的光从可附接透镜的表面反射。在一些具体实施中，基于所检测到的反射和该图像传感器与该多个光源之间的3D空间关系来确定该可附接透镜的透镜特性。在一些具体实施中，该透镜特性为处方，并且基于该处方在电子设备处提供内容，其中该内容通过该可附接透镜可见。

Description

使用反射识别透镜特性

技术领域

本公开整体涉及可与可附接透镜一起使用的电子设备，诸如头戴式设备(HMD)。

背景技术

人们有时需要处方眼镜来看得清楚，但在HMD中佩戴眼镜可能会令人不舒服。

发明内容

本文所公开的各种具体实施包括基于反射的光图案来确定电子设备的可附接透镜的透镜特性的设备、***和方法。例如，该可附接透镜可以是用于HMD的校正处方透镜***件，并且该透镜特性可以是该可附接透镜的一组处方参数。在一些具体实施中，该反射的光图案可由从多个光源发射并且从该可附接透镜的前表面和/或后表面反射的光产生。然后，图像传感器可以捕获包含光反射的图像，并且该图像可以用于识别该可附接透镜的处方。附接透镜的不同处方、或屈光度(透镜的光功率的测量单位)可生成反射的不同布置。因此，在一些具体实施中，该可附接透镜的处方可以基于该光反射的图案的空间定位来确定。所确定的处方可以用于该电子设备正确地显示内容。在一些具体实施中，该图像传感器和该多个光源是用于在该电子设备处的眼睛/注视跟踪的相同的图像传感器和光源。在一些具体实施中，该反射由于其波长在可见光谱之外而对该电子设备的用户不可见。

在一个具体实施中，从该图像传感器获得图像序列。这些图像中的每个图像描绘了由多个光源产生并从可附接透镜的表面反射的光反射。这些图像可用于检测该可附接透镜已经/现在存在于电子设备处、该可附接透镜的位置和/或该可附接透镜的屈光度(例如，处方)。可以基于该反射的图案(例如，由该可附接透镜的前表面和/或后表面引起的反射的图案)来确定所附接的可附接透镜的屈光度。

通常，本说明书中所描述的主题的一个创新方面可体现于包括使用光源的布置来产生光图案的动作的方法中。在一些具体实施中，在经由图像传感器获得的图像中检测反射，该反射对应于来自该多个光源中的每个光源的光从可附接透镜的表面反射。然后，基于所检测到的反射和该图像传感器与该光源之间的3D空间关系来确定该可附接透镜的透镜特性。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1例示了根据一些具体实施的示例性电子设备的示图。

图2是示出根据一些具体实施的从可附接透镜的表面反射的示例性光反射的示图。

图3是示出根据一些具体实施的包括由可附接透镜引起的光源的反射的示例图像的示图。

图4是示出根据一些具体实施的包括由可附接透镜引起的光源的反射的两个示例图像的示图。

图5A至图5B是示出根据一些具体实施的在可附接透镜存在检测过程期间捕获的示例图像的示图。

图6是示出根据一些具体实施的在光源分配过程期间捕获的示例图像的示图。

图7是示出根据一些具体实施的在透镜表面分配过程期间捕获的示例图像的示图。

图8是例示根据一些具体实施的使用电子设备中的可附接透镜的图像中的反射来确定该可附接透镜的透镜特性的示例性方法的流程图。

图9例示了根据一些具体实施的示例电子设备。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的***、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

本文所公开的各种具体实施包括使用反射来确定可附接透镜的透镜特性(例如，处方/位置/取向)的设备、***和方法。在一些具体实施中，图像传感器捕获该可附接透镜的图像，该图像包括由从该可附接透镜的前表面和/或后表面反射的光引起的反射。这些光可以由多个光源(例如，LED的空间布置)产生。该可附接透镜的不同屈光度(例如，处方)可导致该反射的不同布置。因此，由给定透镜的一个或多个图像捕获的反射的布置可用于确定该透镜的屈光度(例如，处方)。

图1是示例性电子设备100的示图。电子设备100包括容纳各种部件的外壳101(或壳体)。在一些具体实施中，电子设备100可以是头戴式设备(HMD)，并且外壳101可被构造成抵靠用户115的面部搁置，以将电子设备100保持在用户115的面部上的相对固定的位置(例如，围绕用户115的眼睛)。外壳101容纳显示器110，该显示器显示图像，向用户115的眼睛发射光或者将光发射到该用户的眼睛上。在各种具体实施中，显示器110通过具有一个或多个透镜112的目镜发射光，该透镜折射由显示器110发射的光，使显示器对用户115显示为在比从眼睛到显示器110的实际距离更远的虚拟距离。为了使用户115聚焦在显示器110上，在各种具体实施中，虚拟距离至少大于眼睛的最小焦距(例如，7cm)。此外，为了提供更好的用户体验，在一些具体实施中，虚拟距离大于1米。

外壳101还容纳跟踪***，该跟踪***包括一个或多个光源122、图像传感器124和控制器180。一个或多个光源122将光发射到用户115的眼睛上，该光反射为可由图像传感器124(例如，相机)检测到的光图案(例如，一个或多个闪烁，诸如圆圈)。基于光图案，控制器180可以确定用户115的眼睛跟踪特性。例如，控制器180可以确定用户115的一只眼睛或两只眼睛的注视方向。又如，控制器180可以确定用户115的眨眼状态(睁眼或闭眼)。又如，控制器180可以确定扫视运动、瞳孔中心、瞳孔大小或关注点。在一些具体实施中，来自用户115的眼睛的光在到达图像传感器124之前被反射镜反射或通过光学器件，诸如透镜或目镜。

在一些具体实施中，显示器110发射第一波长范围内的光，一个或多个光源122发射第二波长范围内的光，并且图像传感器124检测第二波长范围内的光。在一些具体实施中，第一波长范围是可见波长范围(例如，可见光谱内大约400nm至700nm的波长范围)，并且第二波长范围是近红外波长范围(例如，近红外光谱内大约700nm至1400nm的波长范围)，或可见光波长范围之外的任何其他波长范围。在一些具体实施中，光源122和图像传感器124在照明眼睛用于眼睛/注视跟踪时使用重叠的波长。另选地，光源122和图像传感器124使用相同的光谱来照明眼睛用于眼睛/注视跟踪，同时用户115看向使用可见光谱示出内容的显示器110。

如图1所示，透镜150可以可移除地或永久地附接到电子设备100。在一些具体实施中，可以使用电子设备100的外壳101来附接透镜150。透镜150可以是任何合适的透明透镜，用于改变用户的眼睛对显示器110的感知。例如，透镜150可以是具有屈光度(例如，处方)的校正透镜，用于校正用户的视力。在此类构造中，透镜150可帮助用户115准确地看到显示器110。然而，为了电子设备100为用户115准确地提供内容，电子设备100需要知道透镜150的处方(或关于该透镜的其他信息)。电子设备100访问关于一个或多个透镜150的信息的一种方式是检测由透镜150的第一表面(例如，前表面)和/或第二表面(例如，后表面)引起的一个或多个光源122的反射。在一些具体实施中，可以使用电子设备100中的传感器(诸如图像传感器124)来检测由透镜150引起的一个或多个光源122的反射。例如，由透镜表面引起的一个或多个光源122的反射可以由图像传感器124捕获，并且包含在其中的信息可以由控制器180解码并且用于修改电子设备100的操作，如本文中将关于图2所讨论的。

在一些具体实施中，光源122可以生成从透镜150的前表面和/或后表面反射的光。光源122可以是LED。在一些具体实施中，当不使用眼睛跟踪功能性时，可以在由图像传感器124拍摄的一个或多个图像中检测到离开该透镜的反射的图案。在一个具体实施中，当启用眼睛跟踪并且在显示器110的特定区域中显示(或者不显示)内容时，可以检测到离开该透镜的反射的图案。

在各种具体实施中，图像传感器124是基于帧/快门的相机，其以帧速率在特定时间点或多个时间点生成用户115的眼睛的图像。每个图像包括对应于图像的像素的像素值的矩阵，所述像素对应于相机的光传感器矩阵的位置。

在一些具体实施中，图像传感器124具有用于眼睛跟踪功能性和透镜150上的透镜特性的检测两者的单个视场(FOV)。在其他具体实施中，图像传感器124具有多个FOV，这些FOV具有不同的参数，诸如尺寸、放大率或相对于透镜150的取向。该图像传感器可具有用于眼睛跟踪的第一FOV和用于检测透镜150的透镜特性的不同的第二FOV。

图2是示出包括光源122的离开透镜150的反射(包括离开透镜150的前表面152和后表面154的反射)的示例图像250的示图。离开透镜150的前表面152和后表面154的反射对在由图像传感器124捕获的图像250中是可检测的。例如，反射220-1a和反射220-1b形成对应于单个光源的反射对220-1。对应于单个光源的反射对可以基于它们在图像250中彼此的空间关系(例如，接近度)来检测。

图2还例示了来自示例光源122a的光从透镜150的前表面152反射到图像传感器124的光路240。该光路240被示出为实线。来自示例光源122a的光从透镜150的后表面152反射到图像传感器124的光路250被示出为虚线。

在一些具体实施中，在由图像传感器124捕获的图像250中由透镜150引起的光源122的反射的图案用于确定由电子设备100使用的透镜150的特性。例如，图像250中的反射的图案可用于确定透镜150的处方参数(例如，近视或远视的屈光度等)。光源122的反射的图案可以附加地或另选地用于确定电子设备100中的透镜150的位置或取向(例如，3D位置和3个取向)。

图3是示出包括光源离开透镜的反射的示例图像350的示图。在来自图像传感器124的图像350的一部分中捕获由9个光源122引起的9个反射对320-1、320-2……320-9的图案。来自透镜150的后表面的反射320-1b、320-2b……320-9b在虚线圆内部(例如，在该虚线圆的中心处)，而来自透镜150的前表面的反射320-1a、320-2a……320-9a在实线圆内部(例如，在该实线圆的中心处)以突出这些反射的图案。这些反射的图案可取决于透镜150的屈光度、光源122的特性，以及在光源122、透镜150和图像传感器124之间的3D空间布置。因为不同的透镜屈光度将导致不同的反射的图案，所以可以使用所检测到的图案来检测附接到电子设备100的透镜150的屈光度。对于近视，示例性屈光度范围为0-9或更大。

图4是示出两个示例图像450A、450B的示图，包括从具有不同屈光度的两个不同透镜离开的光反射的图案。如图4所示，对于具有第一屈光度的示例透镜，在来自图像传感器124的图像450A中捕获由光源122引起的反射对的第一图案。对于具有不同的第二屈光度的示例透镜，在来自图像传感器124的图像450B中捕获由光源122引起的反射对的不同的第二图案。当捕获示例图像450A、450B时，光源122和图像传感器124具有相同的配置。

在一些具体实施中，用于确定透镜150的透镜特性(例如，屈光度)的反射的图案(例如，反射对的布置)是基于这些反射中的每个反射的中心点或形心。可以基于一个或多个图像中的反射的位置和形状来检测图案。在一些具体实施中，可以基于一个或多个图像中的反射的位置、强度和形状来检测图案。

在一些具体实施中，使用算法或机器学习(ML)模型来确定附接到电子设备的透镜的屈光度(例如，处方)。可以使用针对特定设备配置生成的地面实况图像(例如，模拟或实际)来训练ML模型，特定设备配置为例如已知光源的特定布置(例如，类型、强度、位置、取向等)、特定图像传感器(例如，类型、位置、取向、分辨率等)和特定透镜(例如，类型、材料、形状等)。一系列透镜特性(例如，屈光度)的地面实况图像可用于训练ML网络。一旦受过训练，所附接的透镜的一个或多个图像就可以被输入到ML网络而相应的所确定的透镜特性就可以被输出。在一些具体实施中，训练ML网络以输出透镜特性和相应的置信度测量结果。ML模型可以是但不限于深度神经网络(DNN)、编码器/解码器神经网络、卷积神经网络(CNN)或生成式对抗神经网络(GANN)。

在一些具体实施中，光源122和图像传感器124之间的3D空间布置是已知的或(例如，基于工厂校准)预先确定的。此外，可以估计透镜150的标称位置，然后将其用于确定透镜150的实际姿态(例如，3D位置和取向)。可以通过使用关于光源122、图像传感器124和透镜150之间的空间布置的实际(例如，所测得的而非一般性设备配置数据)信息来提高透镜特性确定的准确度。设备配置估计可以基于将图案中的每个反射分配给光源122中的相应的光源以及透镜150的前表面或后表面。

在一些具体实施中，透镜150的实际位置和/或取向可基于关于该设备的信息和离开透镜150的反射来确定。透镜150的实际位置和/或取向可基于光源122和图像传感器124的位置和/或取向来确定。透镜150的实际位置和/或取向可基于成像***中的光学元件(例如，工厂校准)来确定。可以基于确定由透镜150的前/后表面反射到图像传感器124的光源122中的每个光源之间的光路或光线跟踪来确定透镜150的实际位置和/或取向。换句话说，因为反射的图案出现在图像传感器124的2D图像空间中，并且图像传感器124和光源122的3D信息是已知的，所以诸如成本函数、最佳拟合估计等已知技术可以用于确定透镜150的实际位置和/或取向。这些反射可以用于确定透镜150何时被估计为处于其预期位置和/或取向或者何时以基于后向光线跟踪技术的误差量偏离该预期位置和/或取向。这种技术可以涉及执行从图像传感器124返回的光线跟踪并且评估该光线是否与相应的光源相交以及与相应的光源相交的紧密程度。所投射的光线到对应光源的距离(例如，最小空间距离)可用于确定该反射的误差。在一些具体实施中，对追踪回到其对应光源的所有反射的总误差进行评估(例如，最佳拟合估计)以确定透镜150的实际位置和/或取向。在一些具体实施中，使用透镜的实际位置和/或取向计算来提高透镜150的透镜特性(例如，屈光度)确定的准确性。在一些具体实施中，该透镜相对于该电子设备的实际位置和/或取向计算用作训练ML模型的输入以检测透镜特性。在一些具体实施中，该透镜相对于该电子设备的实际位置和/或取向计算用于修改训练后的ML模型的输入图像，例如通过调整该输入图像中的反射的位置以对应于在给定预期设备配置的情况下将会捕获的反射。

在一些具体实施中，电子设备100使用基于离开透镜150的表面的反射的图案而确定的透镜特性来调整显示器110的渲染过程，例如，以减少或校正失真。又如，可以根据离开透镜150的反射的图案来识别透镜150的空间定位的微小位移(例如，向右、向左、向上或向下)，并且使用显示器110的渲染过程对其进行校正。另选地，当检测到透镜150的空间定位的大位移(例如，超过阈值)时，可以提供重新附接透镜150的警告。在一些具体实施中，可以存储透镜特性以供将来使用。

在一些具体实施中，透镜存在检测过程确定透镜是否被安装到电子设备100。可一次地、重复地(例如，周期性地)或根据指令(例如，“请检测所附接的透镜”)执行透镜存在检测过程。在一个示例中，当电子设备100被启用时、在电子设备100的初始化期间、或者当电子设备100被放置在用户115的头上时，执行透镜存在检测过程。

图5A至图5B是示出在两个透镜存在检测过程期间捕获的两个示例图像的示图。如图5A所示，由图像传感器124捕获的图像550A没有检测到在电子设备100中有透镜的存在。图5A中的图像550A可以包括由成像***中的其它透镜或光学部件引起的静态反射530。例如，图5A中的图像对应于工厂校准图像，该工厂校准图像的特征在于光源122、图像传感器124以及它们之间的其他潜在光学元件之间的3D空间布置，并且不存在任何透镜。

相反，如图5B所示，由图像传感器124捕获的图像550B检测到在电子设备100中有透镜的存在。图5B中的图像包括由8个光源122和静态反射530的布置所导致的反射的图案(例如，8个反射对520-1、520-2……520-8)。因此，基于来自图像传感器124的单个图像，透镜存在检测过程确定是否已经添加透镜到校准后的光源122和图像传感器124。在一些具体实施中，透镜存在检测过程包括基于静态反射或已知部件几何形状的滤波。

在一些具体实施中，为了更准确地确定所安装的透镜的屈光度，对所安装的透镜的位置和/或取向进行验证(例如，校准到成像***(例如，光源122和图像传感器124))。为了正确地确定所安装的透镜的位置和/或取向，电子设备100可以识别(i)哪个反射对对应于哪个光源(例如，图6的光源分配)，以及(ii)针对每个反射对的前表面反射和后表面反射(例如，图7的透镜表面分配)。

在一些具体实施中，通过一次一个地接通光源122中的每个光源并检测相应的反射对来确定光源分配。应理解，具体实施不限于此类配置，并且可接通不同数量的光源以检测相应的反射对。例如，可以通过接通光源122中的两个光源并检测相应的两个反射对来确定光源分配。

图6是示出根据一些具体实施的在示例光源分配过程期间捕获的图像650A至650D的示图。图像650A至650D中的每个图像均是当来自图5B中使用的8个光源122的布置中的两个光源122被接通时由图像传感器124捕获的图像。在一些具体实施中，因为光源122和图像传感器124的3D空间布置是已知的，所以可选择并接通光源122中的一个以上的光源，使得对应的反射的相应对在透镜150的任何屈光度条件下都不重叠和/或维持图像中的最小分隔距离。不重叠定位和/或分隔允许***更容易地识别哪个反射对对应于哪个光源。例如，如图6所示，当捕获图像650A时，光源122的光源1和光源5被启用。当捕获图像650B时，光源122的光源2和光源6被启用。当捕获图像650C时，光源122的光源3和光源7被启用。当捕获图像650D时，光源122的光源4和光源8被启用。在这些图像中，所有反射对均未彼此重叠。

在一些具体实施中，电子设备100使用透镜表面分配过程确定每个反射对的前表面反射和后表面反射。对透镜150的前表面和后表面的反射进行前表面分配可用于确定所安装的透镜150相对于电子设备100的位置。在一些具体实施中，基于方向、几何形状和/或距离(例如，空间接近度)来确定将透镜150的前表面和透镜150的后表面分配给每个反射对的透镜表面分配过程。在一些具体实施中，光源122、图像传感器124与所附接透镜的标称位置之间的3D空间布置被用于模拟由光源122在图像传感器124的图像中引起的反射的图案(例如，模拟反射位置)。例如，透镜表面分配计算第一矢量(从反射对的第一反射到第二反射)和第二矢量(从反射对的第二反射到第一反射)，用于与从模拟后表面反射到模拟前表面反射的模拟矢量进行比较。第一向量或第二向量将匹配或对应于模拟向量，并且因此可用于针对反射的图案中的每个反射对正确地分配前表面反射和后表面反射。当仅存在单个反射(例如，而不是反射对)时，使用与模拟反射位置的空间接近度比较，并将最接近的模拟反射位置与单个反射进行配对。在一些具体实施中，透镜表面分配过程包括基于静态反射或已知部件几何形状的滤波。

图7是示出根据一些具体实施的在透镜表面分配过程期间捕获的示例图像的示图。如图7所示，来自图像传感器124的图像750包括由7个光源122和所安装的透镜150引起的反射的图案。如图7所示，由先前光源分配过程确定的每个反射对被包含在虚线白椭圆内(例如，基于7个光源122、图像传感器124以及所附接的透镜的标称位置和/或取向之间的空间布置)。图像750还包括反射的模拟图案，该反射的模拟图案包括具有由圆形示出的模拟前表面反射以及由矩形示出的模拟后表面反射的模拟反射位置。如图7所示，模拟反射位置靠近反射对720-1、720-2……720-6但不正确地或完美地与之重叠，但可用于识别前表面反射720-1a、720-2a……720-6a和后表面反射720-1b、720-2b……720-6b(例如，模拟向量)以及由从所安装的透镜150的表面反射的7个光源122生成的单个反射720-7b。

图8是示出一种使用反射来确定可附接透镜的透镜特性(例如，处方、位置、取向等)的示例性方法的流程图。例如，该可附接透镜可以是用于HMD的校正透镜，并且该透镜特性可以是该校正透镜的处方参数。在一些具体实施中，图像传感器捕获该可附接透镜的图像，该图像包括由从该透镜的前表面和后表面反射的光引起的反射。这些光可以来自多个光源(例如，LED的布置)。该可附接透镜的不同屈光度(例如，处方)将会生成反射的不同布置。在一些具体实施中，算法或ML模型输入反射的图像并且输出该透镜特性。在一些具体实施中，方法800由设备(例如，图9的电子设备900)执行。可使用电子设备或由彼此通信的多个设备来执行方法800。在一些具体实施中，方法800由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法800由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，方法800由具有处理器的电子设备执行。

在框810处，方法800使用光源的布置来产生光图案。在一些具体实施中，这些光源可以是布置在电子设备中的IR灯。这些光源可以是1D、2D或3D布置。

在框820处，方法800检测经由图像传感器获得的图像中的反射，该反射对应于来自多个光源中的每个光源的光从可附接透镜的表面反射。在一些具体实施中，反射来自该可附接透镜的前表面、该可附接透镜的后表面或两者。在一些具体实施中，图像中的反射并不捕获所有光源的反射，而是包括来自多个光源的反射(例如，以确定该透镜特性)。在一些具体实施中，该电子设备为HMD，并且该可附接透镜是用于HMD的校正透镜。例如，该校正透镜可以是可***的处方透镜、可移除的处方透镜或夹持式处方透镜等。

在一些具体实施中，该图像可以是一个或多个图像，每个图像包括对该可附接透镜的至少一部分的描绘。在一些具体实施中，该图像传感器包括一个或多个图像传感器，该一个或多个图像传感器包括可见光图像传感器、红外图像传感器、NIR图像传感器和/或UV图像传感器。图像传感器可以捕获附加数据，诸如深度数据。

在框830处，方法800基于所检测到的反射和该图像传感器与该多个光源之间的3D空间关系来确定该可附接透镜的透镜特性。在一些具体实施中，该图像传感器和该光源的布置位于该电子设备中固定的相对位置处，并且该3D空间关系被用于基于所检测的反射来确定该透镜特性。该光源可以是LED，并且该图像可以描绘来自每个LED的光反射，该光反射是由自该LED源起的LED光路所引起的并且从该可附接透镜的前表面和后表面反射以与该图像传感器相交。在一些具体实施中，该透镜特性可以是(a)该可附接透镜是否被附接，(b)在该电子设备中计算出的可附接透镜位置和/或取向，或者(c)可附接透镜屈光度。

在一些具体实施中，方法800基于该可附接透镜的所确定的透镜特性在该电子设备处提供内容，其中该内容通过该可附接透镜可见。在一些具体实施中，提供内容可涉及基于该可附接透镜的所确定的透镜特性来适配内容被渲染的方式。例如，基于该可附接透镜的所确定的透镜特性来提供内容可以涉及基于该可附接透镜屈光度来修改所显示的图像以补偿透镜失真。在另一示例中，基于该可附接透镜的所确定的透镜特性来提供内容可验证该可附接透镜被附接到该电子设备内的3D位置和取向。

在一些具体实施中，该可附接透镜的透镜特性被确定而不干扰用户在使用该电子设备时对扩展现实(XR)环境(例如，内容)的观看。在一些具体实施中，每当电子设备被启用时确定该可附接透镜的透镜特性。在一些具体实施中，在附接该可附接透镜时，确定该可附接透镜的透镜特性而不干扰由该电子设备实施的眼睛跟踪功能性。在一些具体实施中，在由眼睛跟踪图像传感器获得的图像的不同部分中检测反射和眼睛跟踪信息(例如，闪烁)。

在一些具体实施中，重复执行框810至830。在一些具体实施中，本文中公开的技术可以在智能电话、平板电脑或可穿戴设备(诸如具有光学透视显示器或不透明显示器的HMD)上实施。

人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与物理环境交互。这可与扩展现实(XR)环境相反，该XR环境可以是指人们可使用电子设备感测或交互的部分或完全模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR***，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR***可检测用户的头部移动，并且以模拟声音和视图将如何在物理环境中改变的方式调整呈现给用户的听觉和图形内容。在其他示例中，XR***可检测呈现XR环境的电子设备(例如，膝上型计算机、平板计算机、移动电话等)的移动。因此，XR***可以模拟声音和视图将如何在物理环境中改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如身体运动的表示(例如，语音命令)可使XR***调整图形内容的属性。

众多类型的电子***可允许用户感测XR环境或与XR环境交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的透镜(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的***、可头戴式***、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入***(例如，手持式或可佩戴控制器)、智能电话、平板计算机、台式/膝上型计算机和扬声器阵列。头戴式***可包括不透明显示器和一个或多个扬声器。其他头戴式***可被配置为接收不透明外部显示器，诸如，智能电话的不透明外部显示器。头戴式***可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式***可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术，诸如硅上液晶、LED、uLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的***可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

图9是示例设备900的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，电子设备900包括一个或多个处理单元902(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器906、一个或多个通信接口908(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C或类似类型的接口)、一个或多个编程(例如，I/O)接口910、一个或多个显示器912、一个或多个面向内部或面向外部的传感器***914、存储器920以及用于互连这些部件和各种其他部件的一条或多条通信总线904。

在一些具体实施中，该一条或多条通信总线904包括互连***部件并控制***部件之间的通信的电路。在一些具体实施中，该一个或多个I/O设备及传感器906包括以下项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或者一个或多个深度传感器(例如，结构光、飞行时间等)或类似物。

在一些具体实施中，一个或多个显示器912被构造成向用户呈现内容。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅基液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电***(MEMS)或类似物的显示器类型。在一些具体实施中，一个或多个显示器912对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备900可包括单个显示器。在另一个示例中，电子设备900包括用于用户的每只眼睛的显示器。

在一些具体实施中，一个或多个面向内部或面向外部的传感器***914包括捕获图像数据的图像捕获设备或阵列或者捕获音频数据的音频捕获设备或阵列(例如，麦克风)。该一个或多个图像传感器***914可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、单色相机、IR相机等。在各种具体实施中，该一个或多个图像传感器***914进一步包括发射光的照明源，诸如闪光灯。在一些具体实施中，该一个或多个图像传感器***914进一步包括相机上图像信号处理器(ISP)，该ISP被构造成对图像数据执行多个处理操作。

存储器920包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920可选地包括与一个或多个处理单元902远程定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。

在一些具体实施中，存储器920或存储器920的非暂态计算机可读存储介质存储可选的操作***930和一个或多个指令集940。操作***930包括用于处理各种基础***服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集940包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集940是能够由一个或多个处理单元902执行以实施本文所述技术中的一种或多种的软件。

在一些具体实施中，指令集940包括透镜特性检测器942，该透镜特性检测器可由处理单元902执行，以根据本文公开的一种或多种技术检测离开可附接透镜的反射的图案，从而确定一个或多个透镜特性。例如，该透镜特性可以是用于HMD的该可附接透镜的屈光度。

尽管指令集940被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。图9更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，指令集的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件或固件的特定组合。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

本领域的那些普通技术人员将意识到没有详尽地描述众所周知的***、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。此外，其他有效方面和/或变体不包括本文所述的所有具体细节。因此，描述了若干细节以便提供对附图中所示的示例性方面的透彻理解。此外，附图仅示出了本公开的一些示例性实施方案，因此不应被视为限制。

虽然本说明书包含许多具体实施细节，但是这些具体实施细节不应被理解为是对任何发明或可能要求保护的内容的范围的限制，而应被理解为对特定于特定发明的特定实施方案的特征的描述。本说明书中在不同实施方案的上下文中描述的某些特征也可以在单个实施方案中组合地实现。相反地，在单个实施方案的上下文中描述的各种特征也可单独地或者以任何合适的子组合的形式在多个实施方案中实现。此外，虽然某些特征可能在上面被描述为以某些组合来起作用并且甚至最初也这样地来要求保护，但是要求保护的组合的一个或多个特征在某些情况下可从该组合中去除，并且要求保护的组合可涉及子组合或子组合的变型。

类似地，虽然操作在附图中以特定次序示出，但不应将此理解为要求以相继次序或所示的特定次序来执行此类操作，或者要求执行所有所示的操作以实现期望的结果。在某些情况中，多任务和并行处理可能是有利的。此外，上述实施方案中各个***部件的划分不应被理解为在所有实施方案中都要求此类划分，并且应当理解，所述程序部件和***可一般性地一起整合在单个软件产品中或者封装到多个软件产品中。

因此，已经描述了主题的特定实施方案。其他实施方案也在以下权利要求书的范围内。在某些情况下，权利要求书中所述的动作能够以不同的次序执行，并且仍能实现期望的结果。此外，附图中所示的过程未必要求所示的特定次序或者先后次序来实现期望的结果。在某些具体实施中，多任务和并行处理可能是有利的。

本说明书中描述的主题和操作的实施方案可在数字电子电路中或在计算机软件、固件或硬件中(包括本说明书中公开的结构及其结构等同物)或在它们中的一者或多者的组合中实现。本说明书中所述主题的实施方案可被实现为一个或多个计算机程序，即在计算机存储介质上编码的计算机程序指令的一个或多个模块，以用于由数据处理装置执行或控制数据处理装置的操作。另选地或除此之外，该程序指令可在人工生成的传播信号上被编码，例如机器生成的电信号、光信号或电磁信号，该电信号、光信号或电磁信号被生成以对信息进行编码以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备，或者它们中的一者或多者的组合，或者包括在计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备中。此外，虽然计算机存储介质并非传播信号，但计算机存储介质可以是在人工生成的传播信号中编码的计算机程序指令的源或目的地。计算机存储介质也可以是一个或多个单独的物理部件或介质(例如，多个CD、磁盘或其他存储设备)，或者包括在一个或多个单独的物理部件或介质中。

术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，例如包括可编程处理器、计算机、片上***、或前述各项中的多项或组合。该装置可包括专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。除了硬件之外，该装置还可包括为所考虑的计算机程序创建执行环境的代码，例如构成处理器固件、协议栈、数据库管理***、操作***、跨平台运行环境、虚拟机或它们中的一者或多者的组合的代码。该装置和执行环境可实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个***不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机***，其访问存储的软件，该软件将计算***从通用计算装置编程或配置为实现本发明主题的一种或多种具体实施的专用计算装置。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。本说明书中描述的操作可以被实施为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元素与另一元素区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (20)

1.一种方法，所述方法包括：

在具有处理器、光源的布置和图像传感器的电子设备处：

使用所述光源的布置来产生光的图案；

检测经由所述图像传感器获得的图像中的反射，所述反射对应于来自多个所述光源中的每个光源的光从可附接透镜的表面反射；以及

基于所检测到的反射和所述图像传感器与所述光源之间的3D空间关系来确定所述可附接透镜的透镜特性。

2.根据权利要求1所述的方法，其中所述透镜特性是所述可附接透镜的屈光度。

3.根据权利要求1所述的方法，其中所述透镜特性是所述可附接透镜的位置。

4.根据权利要求1所述的方法，其中所述透镜特性是所述可附接透镜的存在。

5.根据权利要求1所述的方法，其中确定所述透镜特性包括将经由所述图像传感器获得的多个图像中的反射对分配给所述光源中的个体光源。

6.根据权利要求1所述的方法，其中确定所述透镜特性包括将经由所述图像传感器获得的图像中的第一反射对和第二反射对分别分配给所述光源中的第一光源和第二光源。

7.根据权利要求6所述的方法，其中每个反射对是来自所述可附接透镜的前表面的前表面反射和来自所述可附接透镜的后表面的后表面反射。

8.根据权利要求6所述的方法，其中确定所述透镜特性包括将所述光源中的每个光源分配给经由所述图像传感器获得的多个图像中的每个图像中的反射对。

9.根据权利要求1所述的方法，其中确定所述透镜特性包括：

将所述光源中的每个光源分配给所述图像中的反射对；以及

确定每个反射对中的每个反射的源对应于来自所述可附接透镜的前表面或后表面的反射，

其中所述透镜特性是基于每个反射的所确定的源来确定的。

10.根据权利要求1至9中任一项所述的方法，其中所述图像中所检测到的反射包括静态反射，所述静态反射对应于来自所述光源中的至少一个光源的光从所述电子设备中的附加光学部件的表面反射。

11.根据权利要求1至10中任一项所述的方法，其中所述光源中的至少一个光源和所述图像传感器被用于所述电子设备的用户的注视跟踪。

12.根据权利要求1至11中任一项所述的方法，其中所述透镜特性是经由机器学习模型来确定的。

13.根据权利要求1至12中任一项所述的方法，其中所述可附接透镜为校正透镜。

14.一种***，所述***包括：

存储器；和

耦合到所述存储器的设备处的一个或多个处理器，其中所述存储器包括程序指令，所述程序指令在所述一个或多个处理器上执行时，致使所述***执行操作，所述操作包括：

使用光源的布置来产生光的图案；

检测经由图像传感器获得的图像中的反射，所述反射对应于来自多个所述光源中的每个光源的光从可附接透镜的表面反射；以及

基于所检测到的反射和所述图像传感器与所述光源之间的3D空间关系来确定所述可附接透镜的透镜特性。

15.根据权利要求14所述的***，其中所述透镜特性是所述可附接透镜的屈光度。

16.根据权利要求14所述的***，其中所述透镜特性是所述可附接透镜的位置。

17.根据权利要求14所述的***，其中所述透镜特性是所述可附接透镜的存在。

18.根据权利要求14所述的***，其中确定所述透镜特性包括附加操作，所述附加操作包括：

将所述光源中的每个光源分配给所述图像中的反射对；以及

确定每个反射对中的每个反射的源对应于来自所述可附接透镜的前表面或后表面的反射，

其中所述透镜特性是基于每个反射的所确定的源来确定的。

19.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能经由一个或多个处理器执行以执行操作的程序指令，所述操作包括：

使用光源的布置来产生光的图案；

检测经由图像传感器获得的图像中的反射，所述反射对应于来自多个所述光源中的每个光源的光从可附接透镜的表面反射；以及

基于所检测到的反射和所述图像传感器与所述光源之间的3D空间关系来确定所述可附接透镜的透镜特性。

20.根据权利要求19所述的非暂态计算机可读存储介质，其中确定所述透镜特性包括附加操作，所述附加操作包括：

将所述光源中的每个光源分配给所述图像中的反射对；以及

确定每个反射对中的每个反射的源对应于来自所述可附接透镜的前表面或后表面的反射，其中所述透镜特性是基于每个反射的所确定的源来确定的。