CN117546463A - 包括变焦透镜的增强现实设备及其操作方法 - Google Patents

Abstract

提供了一种增强现实设备，包括：变焦透镜；注视检测传感器，向用户的眼睛发射光，接收被用户的眼睛反射的反射光，并且基于被用户的眼睛反射的反射光来检测多个特征点；以及至少一个处理器，用于：基于由注视检测传感器检测的多个特征点的位置信息，获得关于出瞳距离的信息，该出瞳距离是用户的眼睛与变焦透镜之间的距离；基于多个特征点，获得关于用户的双眼的注视方向会聚的注视点以及用户的眼睛的瞳距的信息；以及基于关于出瞳距离、注视点和瞳距的信息，确定变焦透镜的整个区域的聚焦区的位置。

Description

包括变焦透镜的增强现实设备及其操作方法

技术领域

本公开涉及一种包括变焦透镜的增强现实(AR)设备及其操作方法。更具体地，本公开涉及一种AR设备以及该AR设备的操作方法，该AR设备被配置为自动确定并调整透镜上的聚焦区的位置，该聚焦区被配置为基于关于用户的眼睛的信息来改变焦点并且对应于焦点的位置。

背景技术

增强现实是将虚拟图像叠加在现实世界或现实世界对象的物理环境空间上的技术，并且利用增强现实技术的增强现实设备(例如，智能眼镜)在日常生活中用于例如信息检索、指导(directions)和相机摄影。具体地，智能眼镜也作为时尚物品佩戴，并且可能主要用于户外活动。

佩戴增强现实设备的用户通常通过靠近用户的眼睛放置的透视显示器看到场景。这里，场景包括用户通过他/她的眼睛直接看到的物理环境或空间中的一个或多个现实世界对象。增强现实设备可以通过透视显示器将虚拟图像投影到用户的眼睛上，并且用户可以通过透视显示器同时观看现实世界对象和所投影的虚拟图像。

最近，已经开发了一种包括变焦透镜的增强现实设备，变焦透镜能够根据用户的注视方向来调整透视显示器上的聚焦区。变焦透镜可以用于用户的视力矫正，或者可以用于对现实世界对象或虚拟图像进行调焦。变焦透镜的调焦功能取决于聚焦区的位置与用户的眼睛的视轴之间的对准程度。即，当变焦透镜的聚焦区的位置未与用户的眼睛的视轴精确对准时，可能无法适当地执行视力校正，并且焦点不能正常地聚焦在现实世界对象或虚拟图像上，从而导致用户疲劳和图像质量下降。

为了将变焦透镜的聚焦区的位置与用户的眼睛的视轴对准，可以使用一种通过使用关于用户的注视方向和瞳距(IPD)的信息来确定聚焦区的位置的方法。然而，为了提高聚焦区与用户的眼睛的视轴之间的对准精度，不仅应考虑注视方向和IPD，而且还应考虑出瞳距离，该出瞳距离是用户的眼睛与变焦透镜之间的距离。当出瞳距离长于或短于参考距离时，聚焦区的位置可以改变，因此，透镜分辨率可以降低，并且用户会经历视力下降。即使在用户的视力被变焦透镜完全校正时，也可能由于出瞳距离而引起分辨率降低，从而导致用户的视力下降到需要视力校正的程度。

发明内容

解决技术问题的技术方案

本公开的一个或多个实施例提供了一种增强现实设备以及该增强现实设备的操作方法，该增强现实设备可以通过基于关于用户的眼睛的信息自动确定或调整聚焦区的位置来提高变焦透镜上的聚焦区与用户的眼睛的视轴的对准精度。根据本公开的一个或多个实施例的增强现实设备可以通过使用关于出瞳距离的信息来确定变焦透镜的聚焦区的位置。

技术方案

根据实施例的一方面，提供了一种增强现实设备，包括：变焦透镜；眼睛跟踪传感器，被配置为向用户的眼睛发射光并且基于由用户的眼睛反射的光来检测多个特征点；以及至少一个处理器，其中，该至少一个处理器被配置为：基于由眼睛跟踪传感器检测的多个特征点的位置信息，获得关于出瞳距离的信息，该出瞳距离是用户的眼睛与变焦透镜之间的距离；基于多个特征点，获得关于用户的左眼的注视方向和用户的右眼的注视方向会聚的注视点以及瞳距的信息，该瞳距是左眼的瞳孔与右眼的瞳孔之间的距离；以及基于关于出瞳距离、注视点和瞳距的信息，确定变焦透镜的聚焦区的位置。

眼睛跟踪传感器可以包括红外(IR)光源和IR相机，并且至少一个处理器还可以被配置为：控制IR光源向用户的眼睛发射IR光；从通过IR相机拍摄被用户的眼睛反射的IR光而获得的图像中检测多个闪烁特征点；以及基于闪烁图案的区域的大小来获得出瞳距离，该闪烁图案是所检测的多个闪烁特征点的组合。

IR光源可以包括设置在增强现实设备的镜架上以彼此间隔开预设距离的多个IR发光二极管(LED)，并且至少一个处理器还可以被配置为基于闪烁图案的区域的大小、多个IR LED之间的位置关系、或IR相机的每个像素的坐标中的至少之一来获得出瞳距离。

眼睛跟踪传感器可以包括红外(IR)扫描仪和IR检测器，并且至少一个处理器还可以被配置为：控制IR扫描仪向用户的眼睛发射IR光，由IR检测器检测被用户的眼睛反射的IR光，从反射光中检测多个闪烁特征点，获得关于所检测的多个闪烁特征点之间的距离的信息，以及基于所获得的多个闪烁特征点之间的距离来获得出瞳距离。

IR检测器可以包括设置在增强现实设备的镜架上以彼此间隔开预设距离的多个光电二极管，并且至少一个处理器还可以被配置为基于多个闪烁特征点之间的距离以及多个光电二极管之间的位置关系来获得出瞳距离。

至少一个处理器还可以被配置为：通过眼睛跟踪传感器拍摄移动预设旋转角度的用户的眼睛来获得图像，通过分析图像来检测瞳孔特征点；测量所检测的瞳孔特征点的旋转半径，以及基于所测量的旋转半径来获得出瞳距离。

至少一个处理器还可以被配置为：从由第一眼睛跟踪传感器获得的左眼图像中检测左眼的瞳孔，从由第二眼睛跟踪传感器获得的右眼图像中检测右眼的瞳孔，基于第一眼睛跟踪传感器和第二眼睛跟踪传感器之间的位置关系以及相机属性信息来获得左眼的瞳孔和右眼的瞳孔的三维坐标，以及基于左眼的瞳孔和右眼的瞳孔的三维坐标来获得瞳距。

至少一个处理器还可以被配置为：将第一变焦透镜上的、表示左眼朝向注视点的第一注视方向的虚拟直线与第一变焦透镜相交的第一中心焦点周围的具有预设大小的区域确定为第一聚焦区，以及将第二变焦透镜上的、表示右眼朝向注视点的第二注视方向的虚拟直线与第二变焦透镜相交的第二中心焦点周围的具有预设大小的区域确定为第二聚焦区。

至少一个处理器还可以被配置为：基于出瞳距离、注视点与用户的眼睛之间的距离、以及瞳距来获得中心焦点的坐标，以及将中心焦点周围的预设大小的区域确定为聚焦区。

至少一个处理器还可以被配置为：通过向变焦透镜施加控制电压以生成针对与聚焦区相对应的位置的相位调制轮廓来调整聚焦区的屈光力。

根据实施例的另一方面，提供了一种增强现实设备的操作方法，该操作方法包括：由眼睛跟踪传感器通过接收由用户的眼睛反射的光来检测多个特征点；基于所检测的多个特征点的位置信息来获得关于出瞳距离的信息，该出瞳距离是用户的眼睛与增强现实设备的变焦透镜之间的距离；基于多个特征点，获得关于用户的左眼的注视方向和用户的右眼的注视方向会聚的注视点以及瞳距的信息，该瞳距是用户的左眼的瞳孔与右眼的瞳孔之间的距离；以及基于关于出瞳距离、注视点和瞳距的信息，确定变焦透镜的聚焦区的位置。

眼睛跟踪传感器可以包括红外(IR)光源和IR相机，检测多个特征点可以包括：控制IR光源向用户的眼睛发射IR光，以及从通过IR相机拍摄由用户的眼睛反射的IR光而获得的图像中检测多个闪烁特征点，并且获得关于出瞳距离的信息可以包括基于闪烁图案的区域的大小来获得出瞳距离，该闪烁图案是所检测的多个闪烁特征点的组合。

IR光源可以包括设置在增强现实设备的镜架上以彼此间隔开预设距离的多个IR发光二极管(LED)，并且获得出瞳距离可以包括基于闪烁图案的区域的大小、多个IR LED之间的位置关系、或IR相机的每个像素的坐标中的至少之一来获得出瞳距离。

眼睛跟踪传感器可以包括红外(IR)扫描仪和IR检测器，检测多个特征点可以包括：控制IR扫描仪向用户的眼睛发射IR光，由IR检测器检测被用户的眼睛反射的IR光，从反射光中检测多个闪烁特征点，以及获得所检测的多个闪烁特征点的位置信息，并且获得关于出瞳距离的信息可以包括：基于所检测的多个闪烁特征点的位置信息来获得关于多个闪烁特征点之间的距离的信息，以及基于所获得的多个闪烁特征点之间的距离来获得出瞳距离。

IR检测器可以包括设置在增强现实设备的镜架上以彼此间隔开预设距离的多个光电二极管，并且获得出瞳距离可以包括：基于多个闪烁特征点之间的距离以及多个光电二极管之间的位置关系来获得出瞳距离。

检测多个特征点可以包括：通过眼睛跟踪传感器拍摄移动预设旋转角度的用户的眼睛来获得图像，以及通过分析图像来检测瞳孔特征点，并且获得关于出瞳距离的信息可以包括：测量所检测的瞳孔特征点的旋转半径，以及基于所测量的旋转半径来获得出瞳距离。

确定变焦透镜的聚焦区的位置可以包括：将第一变焦透镜上的表示左眼朝向注视点的第一注视方向的虚拟直线与第一变焦透镜相交的第一中心焦点周围的具有预设大小的区域确定为第一聚焦区，以及将第二变焦透镜上的、表示右眼朝向注视点的第二注视方向的虚拟直线与第二变焦透镜相交的第二中心焦点周围的具有预设大小的区域确定为第二聚焦区。

确定变焦透镜的聚焦区的位置可以包括：基于出瞳距离、注视点与用户的眼睛之间的距离、以及瞳距来获得中心焦点的坐标，以及将中心焦点周围的预设大小的区域确定为聚焦区。

该操作方法还可以包括：通过向变焦透镜施加控制电压以生成针对与聚焦区相对应的位置的相位调制轮廓来调整聚焦区的屈光力。

根据实施例的另一方面，提供了一种包括计算机可读存储介质的计算机程序产品，该计算机可读存储介质包括指令，该指令可由增强现实设备读取以执行以下操作：由眼睛跟踪传感器通过接收由用户的眼睛反射的光来检测多个特征点；基于所检测的多个特征点的位置信息来获得关于出瞳距离的信息，该出瞳距离是用户的眼睛与增强现实设备的变焦透镜之间的距离；基于多个特征点，获得关于用户的左眼的注视方向和用户的右眼的注视方向会聚的注视点以及瞳距的信息，该瞳距是用户的左眼的瞳孔与右眼的瞳孔之间的距离；以及基于关于出瞳距离、注视点和瞳距的信息，确定变焦透镜的聚焦区的位置。

附图说明

根据以下结合附图对实施例的描述，上述和/或其它方面将变得显而易见并且更容易理解，在附图中：

图1a是示出了根据本公开的实施例的由增强现实设备执行的基于出瞳距离(ER)、注视点和瞳距(IPD)来确定聚焦区的操作的概念图；

图1b是示出了根据本公开的实施例的由增强现实设备执行的基于ER、注视点和IPD来确定聚焦区的操作的顶视图；

图2是示出了根据本公开的实施例的增强现实设备的结构的平面图；

图3是示出了根据本公开的实施例的增强现实设备的组件的框图；

图4是根据本公开的实施例的增强现实设备的操作方法的流程图；

图5a是示出了根据本公开的实施例的由增强现实设备执行的通过使用眼睛跟踪传感器来检测眼睛的闪烁图案的操作的图；

图5b是示出了根据本公开的实施例的由增强现实设备执行的从通过使用眼睛跟踪传感器而获得的图像中检测闪烁图案的操作的图；

图6是根据本公开的实施例的由增强现实设备执行的通过使用经由使用眼睛跟踪传感器检测的闪烁图案来获得关于ER的信息的方法的流程图；

图7a是示出了根据本公开的实施例的由增强现实设备执行的通过使用眼睛跟踪传感器来检测眼睛的闪烁特征点的操作的图；

图7b是用于描述根据本公开的实施例的由增强现实设备执行的通过使用眼睛跟踪传感器来检测闪烁特征点的操作的图；

图8是根据本公开的实施例的由增强现实设备执行的通过使用经由使用眼睛跟踪传感器检测的闪烁特征点来获得关于ER的信息的方法的流程图；

图9a是示出了根据本公开的实施例的由增强现实设备执行的通过使用用户的眼睛的旋转半径来获得关于ER的信息的操作的图；

图9b是用于描述根据本公开的实施例的由增强现实设备执行的测量用户的眼睛的旋转半径的操作的图；

图10是根据本公开的实施例的由增强现实设备执行的通过使用用户的眼睛的旋转半径来获得关于ER的信息的方法的流程图；

图11是示出了根据本公开的实施例的由增强现实设备执行的获得关于用户的双眼的IPD的信息的操作的图；

图12是根据本公开的实施例的由增强现实设备执行的获得关于用户的双眼的IPD的信息的方法的流程图；

图13a是示出了根据本公开的实施例的由增强现实设备执行的通过使用眼睛跟踪传感器来获得用户的眼睛的注视方向信息的操作的图；

图13b是示出了根据本公开的实施例的由增强现实设备执行的通过使用眼睛跟踪传感器来获得用户的眼睛的注视方向信息的操作的图；

图13c是示出了用于用户的注视的三维眼球模型的图；

图13d是用于描述根据本公开的实施例的执行眼睛跟踪传感器的校准的方法的图；

图14是用于描述根据本公开的实施例的由增强现实设备执行的基于关于由眼睛跟踪传感器测量的注视方向的信息来计算注视点的方法的图；

图15是用于描述根据本公开的实施例的由增强现实设备执行的基于关于由眼睛跟踪传感器测量的注视方向的信息来计算注视点的方法的图；

图16是示出了根据本公开的实施例的由增强现实设备执行的基于ER、注视点和IPD来确定聚焦区的位置的操作的图；

图17a是根据本公开的实施例的作为增强现实设备的组件的变焦透镜的透视图；

图17b是用于描述根据本公开的实施例的由增强现实设备执行的调整变焦透镜的聚焦区的屈光力的操作的图；

图18a和图18b是用于描述根据本公开的实施例的作为增强现实设备的组件的变焦透镜的聚散度的图；

图19是根据本公开的实施例的由增强现实设备执行的调整变焦透镜的聚焦区的屈光力的方法的流程图；以及

图20是示出了根据本公开的实施例的增强现实设备的结构的平面图。

具体实施方式

尽管本说明书的实施例中使用的术语考虑到其在本公开中的功能而选自当前广泛使用的常用术语，但这些术语可以根据本领域普通技术人员的意图、先例或新技术的出现而不同。此外，在特定情况下，本公开的申请人任意选择术语，在这种情况下，将在对应的实施例中详细描述这些术语的含义。因此，本文所使用的术语不仅仅是术语的指定，而是基于术语的含义和贯穿本公开的内容来定义术语。

只要不与上下文不一致，单数表达也可以包括复数含义。本文所使用的所有术语(包括技术术语和科学术语)可以具有与本公开所属领域的技术人员通常理解的含义相同的含义。

贯穿本公开，当部件“包括”组件时，只要没有特别相反的表述，就意味着该部件可以附加地包括其他组件，而不是排除其他组件。此外，本说明书中描述的诸如“……器”、“……单元”、“……模块”等术语表示执行至少一个功能或操作的单元，其可以实现为硬件或软件或其组合。

如在本文中所使用的，根据情况，表述“被配置为”可以与以下各项互换使用：例如，“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制作用于”或“能够”。表述“被配置为”可以不仅暗示在硬件上“被专门设计用于”。相反，在某种情况下，表述“***被配置为”可以意味着该***与其他设备或组件一起“能够……”。例如，“被配置(或设置)为执行A、B和C的处理器”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)或能够通过执行存储器中存储的一个或多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。

此外，在本公开中，应当理解，当组件彼此“连接”或“耦接”时，除非另有指定，否则这些组件可以直接彼此连接或耦接，但也可以备选地通过介于其间的组件彼此连接或耦接。

术语“增强现实”可以涉及提供在现实世界的物理环境空间中观看虚拟图像或者一起观看虚拟图像和现实对象的技术。

此外，术语“增强现实设备”可以是被配置为创建“增强现实”的设备，并且不仅包括类似于通常佩戴在用户脸部上的眼镜的增强现实眼镜，而且还包括头戴式显示(HMD)装置和佩戴在用户头部上的增强现实头盔等。然而，实施例不限于此，并且增强现实设备可以实现为各种电子设备，例如移动设备、智能电话、膝上型计算机、台式计算机、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航***、MP3播放器、摄像机、互联网协议电视(IPTV)、数字电视(DTV)、可穿戴设备等。

典型的增强现实设备有：光学引擎，用于生成由光组成的虚拟图像，光是由光源产生的；以及波导(或导光面板)，由透明材料形成以将由光学引擎生成的虚拟图像引导到用户的眼睛并允许用户一起看到现实世界的场景和虚拟图像。如上所述，增强现实设备被配置为允许用户一起看到现实世界的场景以及虚拟图像，因此需要被配置为重定向基本上具有直线性的光路的光学元件，以便通过波导将由光学引擎生成的光引导到用户的眼睛。这里，光路可以通过使用由例如反射镜的反射或通过使用由衍射元件(例如，衍射光学元件(DOE)或全息光学元件(HOE))的衍射来重定向，但实施例不限于此。

在本公开中，术语“出瞳距离(ER)”可以是用户的眼睛与增强现实设备的透镜之间的距离。ER可以是出射瞳孔(exit pupil)与增强现实设备的变焦透镜的最靠近用户的眼睛的表面之间的距离。

在本公开中，术语“瞳距(IPD)”可以是用户的双眼的瞳孔的中心之间的虚拟线的长度。

在本公开中，术语“注视方向”可以是用户注视的方向，并且术语“注视”可以是在注视方向上从用户的瞳孔开始的虚拟线。通常，根据由眼睛跟踪传感器获得的信息来计算注视方向，以便估计注视。

在本公开中，术语“注视点”可以是用户注视的点，并且可以被计算为用户的双眼的注视彼此交叉的点。

在本公开中，术语“折射率”可以是光在介质中的速度与在真空中的速度相比减小的比率。

在本公开中，术语“屈光力”可以是通过透镜的弯曲表面改变光线的方向或光路的力。屈光力是焦距的倒数，并且屈光力的单位是m^-1或屈光度(D)。凸透镜的屈光力的符号为正(+)，并且凹透镜的屈光力的符号为负(-)。

在本公开中，术语“聚散度”可以是指示光会聚或发散的程度的指标。可以根据透镜的屈光力来调整聚散度。在本公开的实施例中，增强现实设备可以调整变焦透镜的聚焦区的屈光力以改变光的方向或光路，从而调整聚散度。

在下文中，参考附图详细地描述本公开的实施例以使本领域技术人员可以容易执行本公开的实施例。然而，本公开可以以许多不同形式体现，并且不应被解释为受限于本文中所阐述的本公开的实施例。

在下文中，将参考附图详细地描述本公开的实施例。

图1a是示出了根据本公开的实施例的由增强现实设备100执行的基于ER、注视点G和IPD来确定聚焦区110A的操作的概念图。

参考图1a，佩戴增强现实设备100的用户可以看到现实世界对象ob。增强现实设备100可以包括变焦透镜110L和110R(在下文中，也被称为左眼变焦透镜110L和右眼变焦透镜110R)以及眼睛跟踪传感器140L和140R。然而，图1a仅示出了用于描述增强现实设备100的操作的必要组件，并且增强现实设备100中包括的组件不限于图1a所示的组件。

变焦透镜110L和110R是各自被配置为将其部分区域确定为聚焦区110A并改变聚焦区110A的位置的透镜。在本公开的实施例中，变焦透镜110L和110R中的每一个可以被配置为电可调谐液晶透镜，该电可调谐液晶透镜包括液晶分子并且被配置为根据电驱动信号来调整焦点。变焦透镜110L和110R中的每一个被配置为通过根据施加到它们的控制电压改变特定区域中的液晶分子的布置角度来局部地调整聚焦区110A的焦点。

增强现实设备100可以通过使用眼睛跟踪传感器140L和140R来获得关于ER的信息，该ER是用户的眼睛E与变焦透镜110L和110R之间的距离。在本公开的实施例中，增强现实设备100可以通过使用眼睛跟踪传感器140L和140R来接收被用户的眼睛E反射的光以检测闪烁图案，并且基于闪烁图案的大小来计算(获得)ER。在本公开的另一实施例中，增强现实设备100可以通过使用眼睛跟踪传感器140L和140R来检测用户的眼睛E的瞳孔，测量所检测的每个瞳孔的旋转半径，并且基于所测量的旋转半径来计算(获得)ER。

增强现实设备100可以通过使用左眼眼睛跟踪传感器140L(在下文中，也被称为第一眼睛跟踪传感器140L)来获得指示用户的左眼的注视方向的第一注视向量并且通过右眼眼睛跟踪传感器140R(在下文中，也被称为第二眼睛跟踪传感器140R)来获得指示用户的右眼的注视方向的第二注视向量/>增强现实设备100可以根据双目视差来检测第一注视向量/>与第二注视向量/>会聚的注视点G。增强现实设备100可以通过使用左眼眼睛跟踪传感器140L和右眼眼睛跟踪传感器140R来获得注视点G的位置信息(例如，三维坐标)。

增强现实设备100可以通过使用眼睛跟踪传感器140L和140R来检测用户的双眼中的瞳孔，并且基于左眼的瞳孔与右眼的瞳孔之间的位置关系来获得关于IPD的信息。

增强现实设备100可以基于关于ER、注视点G和IPD的信息来确定变焦透镜110L和110R的整个区域中的聚焦区110A的位置。在本公开的实施例中，增强现实设备100可以将要与用户的左眼相邻放置的左眼变焦透镜110L的、表示左眼朝向注视点G的第一注视向量的虚拟线与左眼变焦透镜110L相交的点周围的具有预设大小的区域确定为聚焦区110A。类似地，增强现实设备100可以将要与用户的右眼相邻放置的右眼变焦透镜110R的、表示右眼朝向注视点G的第二注视向量/>的虚拟线与右眼变焦透镜110R相交的点周围的具有预设大小的区域确定为聚焦区110A。

图1b是示出了根据本公开的实施例的由增强现实设备100执行的基于ER、注视点G和IPD来确定聚焦区110A的操作的平面图。

参考图1b和图1a，增强现实设备100可以基于ER、聚散距离l(注视点G与晶状体之间的距离)、用户的双眼朝向注视点G的注视向量和/>以及IPD来检测变焦透镜110L和110R上的中心焦点，并且识别中心焦点的位置。在本公开的实施例中，增强现实设备100可以基于ER、聚散距离l、第一注视向量/>),和IPD来获得左眼变焦透镜110L上的中心焦点的二维坐标。增强现实设备100可以基于中心焦点的二维坐标来检测中心焦点，并且将左眼变焦透镜110L上的中心焦点周围的预设大小的半径内的区域确定为聚焦区110A。类似地，增强现实设备100可以基于ER、聚散距离l、第二注视向量/>和IPD来获得右眼变焦透镜110R上的中心焦点的二维坐标。增强现实设备100可以基于中心焦点的二维坐标来检测中心焦点，并且将右眼变焦透镜110R上的中心焦点周围的预设大小的半径内的区域确定为聚焦区110A。

增强现实设备100可以调整每个聚焦区110A的屈光力。在本公开的实施例中，增强现实设备100可以通过根据控制电压改变聚焦区110A中的液晶分子的布置角度来调整每个聚焦区110A的屈光力，以便调整聚散度。聚散度是表示光会聚或发散的程度的指标。可以根据透镜的屈光力来调整聚散度。

一般而言，左眼变焦透镜110L和右眼变焦透镜110R可以用于通过改变聚焦区的位置并且调整聚焦区110A的屈光力来校正用户的视力或相对于现实世界对象或虚拟图像调整焦点。变焦透镜110L和110R的调焦功能可以与聚焦区110A的位置和用户的眼睛E的视轴之间的对准精度成比例地提高。例如，当变焦透镜110L和110R的聚焦区110A的位置未与用户的眼睛的视轴精确对准时，可能无法适当地执行视力校正，并且焦点不能正确地聚焦在现实世界对象或虚拟图像上，从而导致用户疲劳和图像质量下降。为了将变焦透镜110L和110R的聚焦区110A的位置与用户的眼睛E的视轴对准，可以使用一种通过使用关于用户的注视方向和IPD的信息来确定聚焦区110A的位置的方法。然而，为了提高聚焦区与用户的眼睛的视轴之间的对准精度，不仅应考虑注视方向和IPD，而且还应考虑ER。当ER长于或短于参考距离时，聚焦区110A的位置可以改变，因此，透镜分辨率可以降低，并且用户会经历视力下降。

除了考虑注视点G和IPD之外，图1a和图1b所示的根据本公开的实施例的增强现实设备100还考虑ER来确定变焦透镜110L和110R上的聚焦区110A的位置，ER是变焦透镜110L和110R与用户的眼睛E之间的距离，因此可以提高用户的眼睛的视轴与聚焦区110A之间的对准精度。因此，根据本公开的实施例的增强现实设备100可以改善视力校正功能，提高现实世界对象或虚拟图像的图像质量，并且减少用户的视觉疲劳。

图2是示出了根据本公开的实施例的增强现实设备100的结构的平面图。

参考图2，增强现实设备100可以包括镜架102、镜腿104、鼻梁106、鼻托108、变焦透镜110、波导120、显示引擎130、眼睛跟踪传感器140、处理器150、存储器160和电池170。图2仅示出了用于描述增强现实设备100的结构的组件，并且增强现实设备100中包括的组件不限于图2所示的组件。

光学组件被配置为将由显示引擎130输出的虚拟图像的光和现实世界场景的光传送到用户的眼睛，并且可以包括变焦透镜110和波导120。参考图2，光学组件可以设置在每个镜架102中。如在典型的眼镜结构中一样，镜架102可以对应于围绕左眼变焦透镜110L和右眼变焦透镜110R的边框。包括左眼变焦透镜110L和左眼波导120L在内的左眼光学组件可以设置在左镜架102L中或附接到左镜架102L，并且包括右眼变焦透镜110R和右眼波导120R在内的右眼光学组件可以设置在右镜架102R中或附接到右镜架102R。然而，实施例不限于此。在本公开的另一实施例中，左眼光学组件和右眼光学组件可以一体地形成并且分别安装在镜架102上。在本公开的另一实施例中，光学组件可以仅设置在左镜架102L或右镜架102R中。

显示引擎130、处理器150、存储器160和电池170可以安装在镜腿104上。用于显示引擎130、处理器150、存储器160和电池170之间电连接的电线可以嵌入在镜腿104中。在图2所示的实施例中，处理器150、存储器160和电池170仅嵌入在镜腿104之中的左镜腿104L中，但实施例不限于此。

鼻梁106是将左镜架102L和右镜架102R彼此连接的支撑件。鼻梁106可以连接到鼻托108。

鼻托108支撑佩戴增强现实设备100的用户的鼻子部位。鼻托108可以包括腿部和鼻垫。此外，腿部和鼻垫可以一体地形成，但不限于此。

当用户佩戴增强现实设备100时，在镜架102中的光学组件之中，变焦透镜110可以置于最靠近用户的眼睛E的位置处。变焦透镜110可以包括与用户的左眼相邻放置的左眼变焦透镜110L以及与用户的右眼相邻放置的右眼变焦透镜110R。在本公开的实施例中，每个变焦透镜110可以被配置为电可调谐液晶透镜，该电可调谐液晶透镜包括液晶分子并且被配置为根据电驱动信号来调整焦点。

当用户佩戴增强现实设备100时，波导120可以置于比变焦透镜110更远离用户的眼睛的位置处。波导120可以置于比用户的眼睛更靠近现实世界对象的位置处。每个波导120可以由透明材料形成，使得用户可以看到其后表面的部分区域。当用户佩戴增强现实设备100时，每个波导120的后表面是指面对用户的眼睛的表面，并且每个波导120的前表面是指与后表面相对的表面(即，距离用户的眼睛较远的表面)。每个波导120可以是具有单层或多层结构的透明材料的平板，其中光可以在反射的同时传播。波导120可以包括耦接到左镜架102L并与左眼变焦透镜110L相邻设置的左眼波导120L、以及耦接到右镜架102R并与右眼变焦透镜110R相邻设置的右眼波导120R。

将参考图3详细描述波导120的材料特性和功能。

每个显示引擎130可以被配置为产生虚拟图像的光，并且可以是投影仪的光学引擎，该投影仪包括图像面板、照明光学***、投影光学***等。显示引擎130可以包括但不限于设置在左镜腿104L中的第一显示引擎130L以及设置在右镜腿104R中的第二显示引擎130R。在本公开的另一实施例中，增强现实设备100可以仅包括嵌入在左镜腿104L或右镜腿104R中的一个显示引擎130。

将参考图3详细描述显示引擎130的配置、操作和功能。

眼睛跟踪传感器140中的每一个是被配置为跟踪用户的眼睛的注视方向的设备。眼睛跟踪传感器140可以通过检测人眼或瞳孔的图像或者检测被角膜反射的光(例如，近红外线)的方向或量来检测用户的注视方向。眼睛跟踪传感器140可以包括左眼眼睛跟踪传感器140L和右眼眼睛跟踪传感器140R，其分别可以检测用户的左眼的注视方向和用户的右眼的注视方向。检测用户的注视方向可以包括获得与用户的注视相关的注视信息。

左眼眼睛跟踪传感器140L可以设置在左镜架102L中，并且右眼眼睛跟踪传感器140R可以设置在右镜架102R中。左眼眼睛跟踪传感器140L可以包括光发射器141L和光检测器142L，并且右眼眼睛跟踪传感器140R可以包括光发射器141R和光检测器142R。在本公开的实施例中，光发射器141L和141R中的每一个可以包括被配置为向用户的眼睛E发射红外(IR)光的IR发光二极管(LED)，并且光检测器142L和142R中的每一个可以包括被配置为检测被眼睛E反射的光的IR相机。然而，实施例不限于此，并且在本公开的另一实施例中，光发射器141L和141R中的每一个可以包括被配置为发射线性IR光的IR扫描仪(例如，微机电***(MEMS)扫描仪)，并且光检测器142L和142R中的每一个可以包括被配置为检测被眼睛E反射的光的IR检测器(例如，光电二极管)。

在图2所示的实施例中，眼睛跟踪传感器140L和140R分别设置在左镜架102L和右镜架102R中，但实施例不限于此。在本公开的另一实施例中，眼睛跟踪传感器140L和140R可以设置在镜腿104L和104R或鼻托108上。

处理器150、存储器160和电池170可以设置在镜腿104中的任何一个中或者可以分布在多个位置处，并且可以安装在印刷电路板(PCB)、柔性PCB(FPCB)等上。

将参考图3详细描述处理器150和存储器160的详细配置、操作和功能。

电池170通过线缆电连接和/或物理连接到变焦透镜110、显示引擎130、眼睛跟踪传感器140、处理器150和存储器160，并且在处理器150的控制下向变焦透镜110、显示引擎130和眼睛跟踪传感器140供应驱动电力。在本公开的实施例中，电池170可以包括至少一个电池模块，该至少一个电池模块包括可再充电二次电池。电池170可以包括例如锂离子(Li离子)电池、Li离子聚合物电池(LIPB)、镍镉(Ni-Cd)电池或镍氢(Ni-MH)电池，但不限于此。

图3是示出了根据本公开的实施例的增强现实设备100的组件的框图。

参考图3，增强现实设备100可以包括变焦透镜110、波导120、显示引擎130、眼睛跟踪传感器140、处理器150和存储器160。变焦透镜110、显示引擎130、眼睛跟踪传感器140、处理器150和存储器160可以彼此电连接和/或物理连接。

图3所示的组件仅是根据本公开的实施例的组件，并且增强现实设备100中包括的组件不限于图3所示的组件。增强现实设备100可以不包括图3所示的一些组件，并且还可以包括图3中未示出的组件。例如，增强现实设备100还可以包括电池170(参见图2)，其向变焦透镜110、显示引擎130、眼睛跟踪传感器140、处理器150和存储器160供应驱动电力。作为另一示例，增强现实设备100还可以包括被配置为与外部设备或服务器执行数据通信的通信接口。

变焦透镜110是被配置为根据电驱动信号来改变焦点的透镜。每个变焦透镜110可以包括被配置为改变或调整焦点的聚焦区。在本公开的实施例中，每个变焦透镜110可以被配置为电可调谐液晶透镜，该电可调谐液晶透镜包括液晶分子并且被配置为根据电驱动信号来调整焦点。在这种情况下，每个变焦透镜110可以通过根据从电池170(参见图2)施加的控制电压改变特定区域(例如，聚焦区)中的液晶分子的布置角度来局部地调整屈光力。可以在每个变焦透镜110上移动其中改变焦点的区域(即，聚焦区)。控制电压可以由处理器150来控制，并且可以通过电压控制电路施加到变焦透镜110。将参考图17a和图17b详细描述通过施加控制电压来调整聚焦区的屈光力的本公开的实施例。

当用户佩戴增强现实设备100时，变焦透镜110可以包括置于与用户的左眼相对应的区域中的左眼变焦透镜110L(参见图2)和置于与用户的右眼相对应的区域中的右眼变焦透镜110R(参见图2)。左眼变焦透镜110L和右眼变焦透镜110R中的每一个可以被配置为单个透镜，但不限于此。在本公开的实施例中，可以设置多个左眼变焦透镜110L和多个右眼变焦透镜110R。

波导120是由透明材料形成的光学元件。每个波导120可以由透明材料形成，使得佩戴增强现实设备100的用户可以看到其后表面的部分区域。每个波导120可以是具有单层或多层结构的透明材料的平板，其中光可以在被反射的同时传播。波导120可以分别面对显示引擎130的发射表面，并且接收被显示引擎130投影的虚拟图像的光。投影到波导120的虚拟图像的光可以根据全反射原理在波导120中传播。波导120可以包括多个区域，通过这些区域改变光路，并且最终将光输出到用户的眼睛。衍射光栅可以形成在该多个区域中。波导120可以具有与导光板的功能相同的功能。

可以设置多个波导120。在本公开的实施例中，波导120可以包括：左眼波导120L(参见图2)，耦接到左镜架102L(参见图2)并且与左眼变焦透镜110L相邻设置；以及右眼波导120R(参见图2)，耦接到右镜架102R(参见图2)并且与右眼变焦透镜110R相邻设置。

显示引擎130被配置为分别将虚拟图像投影到波导120。显示引擎130可以执行与投影仪的功能相同的功能。每个显示引擎130还可以包括照明光学***、光路转换器、图像面板、分束器和投影光学***。

照明光学***是用于照明的光学组件，并且可以包括光源和透镜。光源是被配置为通过调整红、绿和蓝(RGB)颜色来产生光的组件，并且可以包括例如LED。

图像面板可以是反射图像面板，其被配置为将由光源发射的光调制为包含二维图像的光并且反射所调制的光。反射图像面板可以是例如数字微镜器件(DMD)面板、硅基液晶(LCoS)面板或任何其他已知的反射图像面板。DMD面板可以以数字光处理(DLP)方案进行操作，即，通过使用各自具有像素大小的多个反射镜来照射从光源输出的光的RGB颜色，打开/关闭多个反射镜中的每一个，从而通过混合光的RGB颜色来投影虚拟图像。LCoS面板可以以液晶显示(LCD)方案进行操作，即通过使用各自仅透射特定波长的光的反射镜将从光源输出的光分离为RGB颜色，将RGB颜色的光输入到图像面板，并且投影通过混合RGB颜色而生成的虚拟图像。

分束器可以设置在图像面板和投影光学***之间。分束器可以被配置为透射由光源发射并且之后被图像面板反射的光。

投影光学***是被配置为将包含图像并被图像面板反射的光投影到波导120，并且可以包括一个或多个投影透镜。

显示引擎130可以分别从处理器150获得构成虚拟图像的图像数据，基于所获得的图像数据来生成虚拟图像，并且通过发射表面将虚拟图像与从光源输出的光一起投影到波导120。在本公开的实施例中，处理器150可以向显示引擎130提供图像数据，其包括构成虚拟图像的多个像素的RGB颜色和亮度值。显示引擎130可以分别通过使用多个像素的RGB颜色值和亮度值来执行图像处理，并且通过控制光源将虚拟图像投影到波导120。

显示引擎130可以分别将相同的虚拟图像投影到左眼波导120L和右眼波导120R，或者将不同的虚拟图像投影到左眼波导120L和右眼波导120R。

眼睛跟踪传感器140被配置为获得与用户的眼睛相关的数据。眼睛跟踪传感器140可以跟踪用户的眼睛的注视以获得关于注视方向的信息。眼睛跟踪传感器140可以通过使用光源向用户的眼睛发射诸如近红外线之类的光并且接收被眼睛的角膜反射的光来检测用户的注视方向。在本公开的实施例中，眼睛跟踪传感器140可以通过拍摄用户的眼睛来获得瞳孔的图像。眼睛跟踪传感器140可以包括左眼眼睛跟踪传感器140L和右眼眼睛跟踪传感器140R，其分别可以检测用户的左眼的注视方向和用户的右眼的注视方向。检测用户的注视方向可以包括获得与用户的注视相关的注视信息。

在本公开的实施例中，每个眼睛跟踪传感器140可以包括一个或多个光发射器141、一个或多个光检测器142、以及注视跟踪相机143。然而，实施例不限于此，并且根据本公开的另一实施例的每个眼睛跟踪传感器140可以包括光发射器141和光检测器142，或者可以包括光发射器141和注视跟踪相机143。

光发射器141被配置为向用户的眼睛发射IR光。在本公开的实施例中，每个眼睛跟踪传感器140还可以包括光反射器，并且光发射器141可以向光反射器发射IR光。被光反射器反射的光可以被引导向用户的眼睛。光发射器141可以设置在增强现实设备100的镜架102(参见图2)(或边框)上。然而，实施例不限于此，并且光发射器141可以设置在镜腿104(参见图2)或鼻托108(参见图2)上。

光检测器142被配置为接收由光发射器141发射并且之后被用户的眼睛反射的光。光检测器142可以接收被用户的眼睛反射的IR光。光检测器142可以设置在增强现实设备100的镜架102(或边框)上以与光发射器141相邻。然而，实施例不限于此，并且光检测器142可以设置在镜腿104或鼻托108上。

在本公开的实施例中，光发射器141可以是发射IR光的IR LED，并且光检测器142可以是拍摄IR光的IR相机。在这种情况下，IR相机可以通过使用被用户的眼睛反射的IR光来拍摄用户的眼睛。当光发射器141是IR LED并且光检测器142是IR相机时，光发射器141可以通过光反射器向用户的眼睛发射平面IR光，并且光检测器142可以接收被用户的眼睛反射的平面IR光。在本公开的实施例中，可以设置多个IR LED和单个IR相机。将参考图5a详细描述其中光发射器141包括多个IR LED并且光检测器142包括单个IR相机的本公开的实施例。

在本公开的另一实施例中，光发射器141可以是发射IR光的IR扫描仪，并且光检测器142可以是检测IR光的IR检测器。在这种情况下，IR扫描仪可以向用户的眼睛发射IR光以扫描用户的眼睛，并且IR检测器可以检测被用户的眼睛反射的IR光。当光发射器141是IR扫描仪并且光检测器142是IR检测器时，光发射器141可以向光反射器发射点光或线光形式的IR光，并且光检测器142可以接收由光反射器引导到用户的眼睛并且之后被用户的眼睛反射的IR光。在这种情况下，光发射器141可以在沿光发射的方向移动的同时顺序地发射点光或线光形式的IR光，使得所发射的IR光入射在用户的眼睛所在的整个区域上。在本公开的实施例中，IR扫描仪可以包括IR LED和被配置为控制从IR LED发射的IR光的方向以便反射IR光的MEMS扫描仪，并且IR检测器可以包括多个光电二极管。将参考图7a详细描述其中光发射器141包括MEMS扫描仪并且光检测器142包括多个光电二极管的本公开的实施例。

注视跟踪相机143可以包括至少一个相机。注视跟踪相机143可以包括例如IR相机。增强现实设备100可以通过使用注视跟踪相机143拍摄用户的眼睛来获得眼睛图像，并且从眼睛图像获得用户的注视信息。将参考图13b详细描述其中处理器150通过使用注视跟踪相机143来获得用户的眼睛的注视信息的本公开的实施例。

眼睛跟踪传感器140可以向处理器150提供与用户的眼睛的注视相关的数据，并且处理器150可以基于与用户的眼睛的注视相关的数据来获得用户的注视信息。与用户的眼睛的注视相关的数据是由眼睛跟踪传感器140获得的数据，并且可以包括例如关于以下项中的至少一个的信息：用户的瞳孔的位置、瞳孔的特征点的位置、用户的眼睛的闪烁特征点的位置、用户的注视点或用户的注视方向，但不限于此。用户的注视方向例如可以是从用户的眼睛的中心朝向用户注视的注视点的注视的方向。可以基于表示从用户的左眼的中心朝向注视点的方向的注视向量以及表示从用户的右眼的中心朝向注视点的方向的注视向量来获得用户的注视方向，但不限于此。

眼睛跟踪传感器140可以向处理器150提供关于从用户的眼睛获得的特征点的信息。在本公开的实施例中，眼睛跟踪传感器140可以通过使用各个光发射器141向用户的眼睛发射IR光，并且通过使用各个光检测器142来检测被用户的眼睛反射的光。眼睛跟踪传感器140可以向处理器150提供所检测的反射光的位置信息。

处理器150可以执行存储器160中存储的一个或多个指令或程序代码，以执行与指令或程序代码相对应的功能和/或操作。处理器150可以包括执行算术运算、逻辑运算、输入/输出操作和信号处理的硬件组件。例如，处理器150可以包括CPU、微处理器、图形处理单元(GPU)、应用处理器(AP)、专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)或现场可编程门阵列(FPGA)中的至少一种，但不限于此。

在图3中，处理器150被示为一个元件，但不限于此。在本公开的实施例中，可以提供一个或多个处理器150。

在本公开的实施例中，处理器150可以被配置为执行人工智能(AI)学习的专用硬件芯片。

存储器160可以存储可由处理器150读取的指令和程序代码。存储器160可以包括例如闪存型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、掩模ROM、闪存ROM、硬盘驱动器(HDD)或固态驱动器(SSD)中的至少一种。

存储器160可以存储用于执行增强现实设备100的功能或操作的指令或程序代码。在本公开的实施例中，存储器160可以存储可由处理器150读取的指令、算法、数据结构、程序代码或应用程序中的至少一种。存储器160中存储的指令、算法、数据结构和程序代码可以用编程语言或脚本语言(例如，C、C++、Java或汇编语言)来实现。

存储器160可以存储与ER测量模块161、IPD测量模块162、注视点检测模块163、聚焦区确定模块164和屈光力调整模块165相关的指令、算法、数据结构或程序代码。存储器160中包括的“模块”可以是用于处理由处理器150执行的功能或操作的单元，并且可以实现为诸如指令、算法、数据结构或程序代码之类的软件。

在本公开的以下实施例中，可以通过执行存储器160中存储的指令或程序代码来实现处理器150。

ER测量模块161包括与基于由眼睛跟踪传感器140检测的多个特征点的位置信息来测量ER的操作和/或功能相关的指令或程序代码，该ER是用户的眼睛与变焦透镜110之间的距离。处理器150可以通过执行与ER测量模块161相关的指令或程序代码来获得与用户的眼睛与变焦透镜110之间的距离有关的信息。

在本公开的实施例中，在眼睛跟踪传感器140中，光发射器141可以是被配置为向用户的眼睛发射IR光的IR LED，并且光检测器142可以是被配置为检测由光发射器141发射到用户的眼睛并且之后被眼睛反射的IR光的IR相机。在本公开的实施例中，可以设置多个IR LED和单个IR相机。处理器150可以控制多个IR LED向用户的眼睛发射IR光。处理器150可以通过使用IR相机拍摄用户的眼睛来获得包括所反射的IR光在内的图像。处理器150可以从通过使用IR相机而获得的图像中检测眼睛的闪烁特征点。在本公开的实施例中，处理器150可以通过以下方式来识别眼睛的闪烁特征点的位置：识别通过IR相机的图像传感器接收的IR光的亮度，并且识别通过使用IR相机而获得的图像的像素之中的与亮度大于或等于参考值的IR光相对应的至少一个像素。例如，处理器150可以通过识别通过使用IR相机而获得的图像的像素之中的与最亮的IR光相对应的像素来识别眼睛的闪烁特征点的位置。例如，可以通过使用IR相机的坐标系来识别通过使用IR相机而获得的图像中的像素的位置，并且眼睛的闪烁特征点的位置可以由IR相机的坐标系中的坐标来表示，以指示与眼睛的闪烁特征点对应的像素的位置。

处理器150可以识别作为多个所识别的闪烁特征点的组合的闪烁图案，并且测量闪烁图案的区域的大小。处理器150可以基于闪烁图案的区域的大小来计算(获得)ER。在本公开的实施例中，处理器150可以基于闪烁图案的区域的大小、多个IR LED的布置中的位置关系、或IR相机的每个像素的坐标中的至少之一来计算ER。然而，实施例不限于此，并且在本公开的另一实施例中，处理器150可以基于闪烁特征点之间的距离、多个IR LED的布置中的位置关系、或IR相机的每个像素的坐标中的至少之一来计算ER。将参考图5a、图5b和图6详细描述其中处理器150通过使用各自包括多个IR LED和IR相机在内的眼睛跟踪传感器140来计算ER的本公开的实施例。

在本公开的实施例中，在每个眼睛跟踪传感器140中，光发射器141可以是被配置为向用户的眼睛发射IR光的IR扫描仪，并且光检测器142可以是被配置为检测由光发射器141发射到用户的眼睛并且之后被眼睛反射的IR光的IR检测器。在本公开的实施例中，IR扫描仪可以包括MEMS扫描仪，并且IR检测器可以包括多个光电二极管。为了扫描用户的眼睛所在的区域，处理器150可以通过控制MEMS扫描仪，通过使用点光源或线光源来顺序地发射要入射在用户的眼睛所在的整个区域上的光，并且通过多个光电二极管来顺序地接收被用户的眼睛反射的光。处理器150可以通过分析通过多个光电二极管顺序地接收的光线的阵列来检测眼睛的闪烁特征点。在本公开的实施例中，处理器150可以从通过多个光电二极管接收的光线的阵列中识别亮度大于或等于参考值的光线，从而获得多个闪烁特征点中的每一个的坐标，这些坐标是与所识别的每个光线相对应的每个光电二极管的坐标系中的坐标。

处理器150可以基于所获得的多个闪烁特征点的坐标来获得与多个闪烁特征点之间的距离有关的信息，并且基于所获得的多个闪烁特征点之间的距离来计算ER。在本公开的实施例中，处理器150可以基于多个闪烁特征点之间的距离以及多个光电二极管之间的位置关系来计算ER。将参考图7a、图7b和图8详细描述其中处理器150通过使用各自包括MEMS扫描仪和多个光电二极管在内的眼睛跟踪传感器140来计算ER的本公开的实施例。

在本公开的实施例中，处理器150可以通过使用眼睛跟踪传感器140拍摄移动预设旋转角度的用户的眼睛来获得图像，并且从该图像中检测瞳孔特征点。瞳孔特征点可以是例如瞳孔的中心点。在本公开的实施例中，可以基于表示光检测器142的坐标系中的位置的坐标来识别瞳孔特征点的位置。例如，光检测器142的坐标系可以是IR相机的坐标系或IR检测器(例如，光电二极管)的坐标系，并且光检测器142的坐标系中的坐标可以是二维坐标。

处理器150可以通过分析由光检测器142检测的IR光来检测瞳孔特征点。例如，当光检测器142是IR相机时，处理器150可以通过分析由IR相机捕获的图像来识别瞳孔特征点的位置。作为另一示例，当光检测器142是IR检测器(例如，光电二极管)时，处理器150可以通过分析由IR检测器检测的IR光来识别瞳孔特征点的位置。

处理器150可以测量所检测的瞳孔特征点的旋转半径，并且基于所测量的旋转半径来计算ER。将参考图9a、图9b和图10详细描述其中处理器150基于瞳孔特征点的旋转半径来计算ER的本公开的实施例。

IPD测量模块162包括与测量用户的左眼的瞳孔与右眼的瞳孔之间的距离的操作和/或功能相关的指令或程序代码。处理器150可以通过执行与IPD测量模块162相关的指令或程序代码来测量用户的双眼的IPD。处理器150可以通过使用与左眼相对应的第一眼睛跟踪传感器拍摄用户的左眼来获得左眼图像，并且从该左眼图像中检测左眼瞳孔。类似地，处理器150可以通过使用与右眼相对应的第二眼睛跟踪传感器来获得用户的右眼图像，并且从该右眼图像中检测右眼瞳孔。将省略上面提供的关于由处理器150执行的通过使用眼睛跟踪传感器140来检测瞳孔特征点并检测瞳孔的位置的方法的描述。

处理器150可以基于第一眼睛跟踪传感器和第二眼睛跟踪传感器之间的位置关系以及相机属性信息来获得左眼瞳孔和右眼瞳孔的三维坐标信息。相机属性信息可以包括例如关于像素坐标系、分辨率或视场(FoV)中的至少一个的信息。处理器150可以基于左眼瞳孔和右眼瞳孔中的每一个的三维坐标来计算IPD。将参考图11和图12详细描述其中处理器150计算IPD的本公开的实施例。

注视点检测模块163包括与检测注视点的操作和/或功能相关的指令或程序代码，其中注视点是用户的双眼的注视方向会聚的点。处理器150可以通过执行与注视点检测模块163相关的指令或程序代码来检测注视点。处理器150可以通过使用眼睛跟踪传感器140来检测瞳孔特征点，并且基于所检测的瞳孔特征点的位置来获得与用户的双眼的注视方向有关的信息。

处理器150可以基于瞳孔特征点的位置来获得瞳孔的位置信息，并且基于瞳孔的位置信息来获得关于注视方向的信息。处理器150可以通过使用眼睛跟踪传感器140来获得用户的左眼的注视方向信息和右眼的注视方向信息，并且通过使用双目视差以及与左眼的注视方向和右眼的注视方向有关的注视信息来估计注视点的坐标。将参考图13a至图13d、图14和图15详细描述其中处理器150检测注视点并获得关于注视点的坐标信息的本公开的实施例。

聚焦区确定模块164包括与基于关于ER、注视点和IPD的信息来分别确定变焦透镜110中的聚焦区的位置的操作和/或功能相关的指令或程序代码。处理器150可以通过执行与聚焦区确定模块164相关的指令或程序代码来分别确定变焦透镜110中的聚焦区的位置。处理器150可以基于ER、注视点与用户的眼睛之间的距离、以及IPD来获得中心焦点的坐标。在本公开的实施例中，中心焦点的坐标可以是变焦透镜中的特定点的二维坐标。处理器150可以将所获得的中心焦点的位置周围的具有预设大小的区域确定为聚焦区。根据本公开的实施例，处理器150可以将中心焦点的二维坐标周围的具有预设半径的圆确定为聚焦区。

在本公开的实施例中，处理器150可以将左眼变焦透镜110L(参见图2)上的、表示左眼朝向注视点的注视方向的虚拟直线与左眼变焦透镜110L相交的点确定为中心焦点，并且将该中心焦点周围的具有预设大小的区域确定为左眼变焦透镜110L的聚焦区。类似地，处理器150可以将右眼变焦透镜110R(参见图2)上的、表示右眼朝向注视点的注视方向的虚拟直线与右眼变焦透镜110R相交的点确定为中心焦点，并且将该中心焦点周围的具有预设大小的区域确定为右眼变焦透镜110R的聚焦区。将参考图16详细描述其中处理器150确定聚焦区的位置的本公开的实施例。

屈光力调整模块165可以包括与通过向变焦透镜110施加控制电压来改变聚焦区中的液晶分子的布置角度以便调整聚焦区的屈光力的操作和/或功能相关的指令或程序代码。处理器150可以通过执行与屈光力调整模块165相关的指令或程序代码来调整聚焦区的屈光力并且调整透射穿过聚焦区的光的折射率。处理器150可以通过调整聚焦区的屈光力来调整每个变焦透镜110的聚散度。聚散度是指示光会聚或发散的程度的指标，并且可以根据透镜的屈光力来调整。在本公开的实施例中，处理器150可以通过调整聚焦区在第一方向上的屈光力来调整每个变焦透镜110的聚散度，并且调整现实世界对象或虚拟图像的焦距。当在发散的方向上调整聚焦区的聚散度时，透射穿过聚焦区的光路被延长，因此，现实世界对象或形成在用户的眼睛的视网膜上的虚拟图像的焦距可以被延长。在本公开的另一实施例中，当处理器150调整聚焦区的聚散度时，焦距可以被调整为等于双眼的聚散距离。

处理器150可以调整聚焦区的屈光力并调整焦距，使得可以校正用户的视力。在这种情况下，变焦透镜110可以用作视力校正透镜。

将参考图17a、图17b、图18和图19详细描述其中处理器150调整聚焦区的屈光力并改变聚焦区的聚散度的本公开的实施例。

图4是根据本公开的实施例的增强现实设备100的操作方法的流程图。

在操作S410中，增强现实设备100通过使用眼睛跟踪传感器140(参见图2和图3)接收被用户的眼睛反射的光以检测多个特征点。在本公开的实施例中，每个眼睛跟踪传感器140可以包括被配置为向用户的眼睛发射IR光的IR光源、和被配置为通过拍摄被用户的眼睛反射的IR光来获得图像的IR相机。IR光源可以包括例如多个IR LED。增强现实设备100可以控制IR光源向用户的眼睛发射IR光，并且从通过使用IR相机拍摄被用户的眼睛反射的光而获得的图像中检测多个闪烁特征点。在本公开的实施例中，增强现实设备100可以通过以下方式来识别眼睛的闪烁特征点的位置：识别通过IR相机的图像传感器接收的IR光的亮度，并且检测通过使用IR相机而获得的图像的像素之中的与亮度大于或等于参考值的IR光相对应的至少一个像素。

在本公开的实施例中，每个眼睛跟踪传感器140可以包括被配置为向用户的眼睛发射IR光的IR扫描仪、和被配置为检测被用户的眼睛反射的IR光的IR检测器。IR扫描仪可以包括例如MEMS扫描仪，并且IR检测器可以包括例如多个光电二极管。增强现实设备100可以通过控制IR扫描仪，通过使用点光源或线光源来顺序地发射要入射在用户的眼睛所在的整个区域上的光，并且通过IR检测器来顺序地接收被用户的眼睛反射的光。增强现实设备100可以通过分析通过IR检测器顺序地接收的光线的阵列来检测眼睛的闪烁特征点。在本公开的实施例中，增强现实设备100可以从通过多个光电二极管接收的光线的阵列中检测亮度大于或等于参考值的光线，从而获得多个闪烁特征点中的每一个的坐标，这些坐标是与所检测的每个光线相对应的每个光电二极管的坐标系中的坐标。

在本公开的实施例中，增强现实设备100可以通过使用眼睛跟踪传感器140拍摄移动预设旋转角度的用户的眼睛来获得图像，并且从该图像中检测瞳孔特征点。瞳孔特征点可以是例如瞳孔的中心点。在本公开的实施例中，可以基于表示每个眼睛跟踪传感器140的光检测器142(参见图3)的坐标系中的位置的坐标来识别瞳孔特征点的位置。例如，当光检测器142是IR相机时，增强现实设备100可以通过分析由IR相机捕获的图像来识别瞳孔特征点的位置。作为另一示例，当光检测器142是IR检测器(例如，光电二极管)时，增强现实设备100可以通过分析由IR检测器检测的IR光来识别瞳孔特征点的位置。

在操作S420中，增强现实设备100基于多个特征点的位置信息来获得关于ER的信息，该ER是用户的眼睛与变焦透镜之间的距离。增强现实设备100可以基于闪烁图案的区域的大小来计算ER，该闪烁图案是多个闪烁特征点的组合。在本公开的实施例中，增强现实设备100可以基于多个IR LED之间的位置关系或IR相机的每个像素的坐标中的至少之一来计算ER。在本公开的实施例中，增强现实设备100可以基于多个闪烁特征点的位置信息来获得与多个闪烁特征点之间的距离有关的信息，并且基于所获得的多个闪烁特征点之间的距离来计算ER。在本公开的实施例中，增强现实设备100可以测量瞳孔特征点的旋转半径，并且基于所测量的旋转半径来计算ER。

在操作S430中，增强现实设备100获得用户的双眼的注视方向会聚的注视点以及双眼的IPD。在本公开的实施例中，增强现实设备100可以从通过使用第一眼睛跟踪传感器而获得的左眼图像中检测左眼瞳孔，并且从通过使用第二眼睛跟踪传感器而获得的右眼图像中检测右眼瞳孔。增强现实设备100可以基于第一眼睛跟踪传感器和第二眼睛跟踪传感器之间的位置关系以及相机属性信息来获得左眼瞳孔和右眼瞳孔的三维坐标，并且基于左眼瞳孔和右眼瞳孔的三维坐标来计算(获得)IPD。

在本公开的实施例中，增强现实设备100可以通过使用第一眼睛跟踪传感器从用户的左眼检测瞳孔，并且通过使用第二眼睛跟踪传感器从用户的右眼检测瞳孔。增强现实设备100可以基于从左眼检测的瞳孔的位置来获得左眼的注视方向信息，并且基于从右眼检测的瞳孔的位置来获得右眼的注视方向信息。增强现实设备100可以通过使用双目视差以及关于左眼的注视方向和右眼的注视方向的注视信息来估计注视点的坐标。

在操作S440中，增强现实设备100基于关于ER的信息、注视点和IPD来确定每个变焦透镜中的聚焦区的位置。在本公开的实施例中，增强现实设备100可以基于ER、聚散距离(注视点与用户的眼睛之间的距离)和IPD来获得中心焦点的坐标。在本公开的实施例中，中心焦点的坐标可以是变焦透镜中的特定点的二维坐标。增强现实设备100可以将所获得的中心焦点的位置周围的具有预设大小的区域确定为聚焦区。

在本公开的实施例中，增强现实设备100可以将左眼变焦透镜110L(参见图2)上的、表示左眼朝向注视点的注视方向的虚拟直线与左眼变焦透镜110L相交的点确定为中心焦点，并且将该中心焦点周围的具有预设大小的区域确定为左眼变焦透镜110L的聚焦区。类似地，增强现实设备100可以将右眼变焦透镜110R(参见图2)上的、表示右眼朝向注视点的注视方向的虚拟直线与右眼变焦透镜110R相交的点确定为中心焦点，并且将该中心焦点周围的具有预设大小的区域确定为右眼变焦透镜110R的聚焦区。

图5a是示出了根据本公开的实施例的由增强现实设备100执行的通过使用眼睛跟踪传感器140来检测眼睛的闪烁图案的操作的图。

图5b是示出了根据本公开的实施例的由增强现实设备100执行的从通过使用眼睛跟踪传感器140(参见图5a)而获得的图像500-1和500-2中检测闪烁图案G1和G2的操作的图。

图6是根据本公开的实施例的由增强现实设备100执行的通过使用由眼睛跟踪传感器140(参见图5a)检测的闪烁图案来获得关于ER的信息的方法的流程图。在图6中，操作S610和S620是与图4中的操作S410相对应的详细操作。在图6中，操作S630是与图4中的操作S420相对应的详细操作。在执行图6的操作S630之后，可以执行图4的操作S430。

在下文中，将参考图5a、图5b和图6描述由增强现实设备100执行的获得关于ER的信息的操作。

参考图5a，眼睛跟踪传感器140可以包括多个光发射器141a-1、141a-2、141a-3和141a-4以及光检测器142a。根据本公开的实施例，多个光发射器141a-1至141a-4可以被配置为IR LED，该IR LED被配置为向用户的眼睛E发射IR光，并且光检测器142a可以被配置为IR相机，该IR相机被配置为通过拍摄被用户的眼睛E反射的IR光来获得图像。图5a示出了四个光发射器141a-1至141a-4，但实施例不限于此。在本公开的另一实施例中，眼睛跟踪传感器140可以包括两个或更多个光发射器或单个光发射器。

多个光发射器141a-1至141a-4可以设置在增强现实设备100的镜架102(或边框)上，以彼此间隔开预设距离d。多个光发射器141a-1至141a-4之间的距离d和它们的位置信息可以存储在增强现实设备100的存储器160(参见图3)中的存储空间中。

参考图6，在操作S610中，增强现实设备100通过使用IR光源向眼睛发射IR光，并且通过使用IR相机拍摄被眼睛反射的IR光来获得图像。一起参考图5a，增强现实设备100的处理器150(参见图3)可以向作为IR光源的多个光发射器141a-1至141a-4施加电力，并且控制多个光发射器141a-1至141a-4向用户的眼睛E的特定区域发射IR光。处理器150可以控制包括IR相机在内的光检测器142a接收并拍摄被用户的眼睛E反射的IR光，从而获得图像500-1或500-2(参见图5b)(在下文中，也被称为第一图像500-1和第二图像500-2)。

在本公开的实施例中，多个光发射器141a-1至141a-4可以是被配置为发射闪烁IR光的IR LED，并且在这种情况下，光检测器142a可以是IR事件相机。IR事件相机可以是被配置为当特定事件发生时被激活然后自动拍摄对象的IR相机。例如，当闪烁光的图案改变时，IR事件相机可以被激活，以自动拍摄用户的眼睛E。

在操作S620中，增强现实设备100从图像中检测多个闪烁特征点。一起参考图5b，增强现实设备100的处理器150可以通过分析通过使用光检测器142a(参见图5a)拍摄用户的眼睛E而获得图像500-1或500-2来检测多个闪烁特征点P₁、P₂、P₃和P₄(在下文中，也被称为第一闪烁特征点P₁至第四闪烁特征点P₄)。在本公开的实施例中，光检测器142a可以是IR相机，并且处理器150可以识别通过IR相机的图像传感器接收的IR光的亮度。处理器150可以检测由IR相机捕获的图像500-1或500-2的像素之中的与亮度大于或等于预设参考值的IR光相对应的像素，从而识别多个闪烁特征点P₁至P₄的位置。例如，处理器150可以检测由IR相机捕获的图像500-1或500-2的像素之中的与最亮的IR光相对应的像素，从而识别多个闪烁特征点P₁至P₄的位置。例如，可以基于IR相机的坐标系来识别由IR相机捕获的图像500-1或500-2中的像素的位置，并且多个闪烁特征点P₁至P₄的位置可以由IR相机的坐标系中的坐标(即，对应像素的坐标)来表示。

多个闪烁特征点P₁至P₄可以分别对应于多个光发射器141a-1至141a-4。例如，第一闪烁特征点P₁可以是通过拍摄由第一光发射器141a-1发射并且之后被眼睛E反射的光而检测的特征点，第二闪烁特征点P₂可以是通过拍摄由第二光发射器141a-2发射并且之后被眼睛E反射的光而检测的特征点，第三闪烁特征点P₃可以是通过拍摄由第三光发射器141a-3发射并且之后被眼睛E反射的光而检测的特征点，并且第四闪烁特征点P₄可以是通过拍摄由第四光发射器141a-4发射并且之后被眼睛E反射的光而检测的特征点。

在操作S630中，增强现实设备100基于由多个闪烁特征点P₁至P₄组成的闪烁图案G1或G2的区域的大小来计算(获得)ER。一起参考图5b，第一图像500-1是当多个光发射器141a-1至141a-4与用户的眼睛E之间的距离为ER1时通过使用光检测器142a拍摄眼睛E而获得的图像，并且第二图像500-2是当多个光发射器141a-1至141a-4与用户的眼睛E之间的距离为ER2时通过使用光检测器142a拍摄眼睛E而获得的图像。多个光发射器141a-1至141a-4与用户的眼睛E之间的距离与由多个闪烁特征点P₁至P₄组成的闪烁图案G1或G2的区域的大小成反比。例如，随着多个光发射器141a-1至141a-4与用户的眼睛E之间的距离减小，闪烁图案G1或G2的区域的大小可以增大。在图5b所示的实施例中，第一图像500-1的闪烁图案G1的大小对应于多个光发射器141a-1至141a-4与用户的眼睛E之间的距离为ER1的情况，并且闪烁图案G1的大小可以大于从第二图像500-2检测的闪烁图案G2的大小，闪烁图案G2的大小对应于多个光发射器141a-1至141a-4与用户的眼睛E之间的距离为ER2的情况。

处理器150可以基于闪烁图案G1或G2的区域的大小、多个光发射器141a-1至141a-4之间的位置关系、或光检测器142a的每个像素的坐标中的至少之一来计算ER。一起参考图5a，多个IR LED之间的距离d以及它们之间在镜架102上的位置关系可以存储在存储器160中。在本公开的实施例中，处理器150可以从存储器160加载与多个IR LED之间的距离d以及位置关系有关的信息，并且基于从第一图像500-1检测的闪烁图案G1的大小以及从存储器160加载的多个IR LED的位置信息、IR相机的像素坐标系来计算ER ER1。以相同的方式，处理器150可以从存储器160加载与多个IR LED之间的距离d以及位置关系有关的信息，并且基于从第二图像500-2检测的闪烁图案G2的大小以及从存储器160加载的多个IR LED的位置信息、IR相机的像素坐标系来计算ER ER2。

然而，实施例不限于此，并且处理器150可以基于多个闪烁特征点P₁至P₄之间的距离d₁或d₂来计算ER。在本公开的另一实施例中，处理器150可以基于从第一图像500-1检测的多个闪烁特征点P₁至P₄之间的距离d₁、镜架102(参见图5a)上的多个光发射器141a-1至141a-4(例如，IR LED)之间的距离d、以及光检测器142a(例如，IR相机)的像素坐标系来计算ER ER1。以相同的方式，处理器150可以基于从第二图像500-2检测的多个闪烁特征点P₂至P₄之间的距离d₁、镜架102(参见图5a)上的多个光发射器141a-1至141a-4(例如，IR LED)之间的距离d、以及光检测器142a(例如，IR相机)的像素坐标系来计算ER ER2。

图7a是示出了根据本公开的实施例的由增强现实设备100执行的通过使用眼睛跟踪传感器140来检测眼睛的闪烁特征点的操作的图。

图7b是用于描述根据本公开的实施例的由增强现实设备100执行的通过使用眼睛跟踪传感器140(参见图7a)来检测闪烁特征点P₁至P₄的操作的图。

图8是根据本公开的实施例的由增强现实设备100执行的通过使用经由使用眼睛跟踪传感器140(参见图7a)检测的闪烁特征点P₁至P₄(参见图7b)来获得关于ER的信息的方法的流程图。在图8中，操作S810和S820是与图4中的操作S410相对应的详细操作。在图8中，操作S830和S840是与图4中的操作S420相对应的详细操作。在执行图8的操作S840之后，可以执行图4的操作S430。

在下文中，将参考图7a、图7b和图8描述由增强现实设备100执行的获得关于ER的信息的操作。

参考图7a，眼睛跟踪传感器140可以包括光发射器141b以及多个光检测器142b-1、142b-2、142b-3和141b-4。在本公开的实施例中，光发射器141b可以包括被配置为向用户的眼睛E发射IR光的IR扫描仪。例如，光发射器141b可以包括MEMS扫描仪，其被配置为向光反射器发射点光或线光形式的IR光，使得所发射的IR光被光反射器反射以被引导到用户的眼睛。多个光检测器142b-1至142b-4可以是被配置为检测被用户的眼睛E反射的IR光的二维IR检测器。例如，多个光检测器142b-1至142b-4可以是光电二极管。图7a示出了四个光检测器142b-1至142b-4，但实施例不限于此。在本公开的另一实施例中，眼睛跟踪传感器140可以包括两个或更多个光检测器或单个光电二极管。

参考图8，在操作S810中，增强现实设备100通过使用IR扫描仪向眼睛发射IR光，并且通过使用IR检测器来检测被眼睛反射的IR光。一起参考图7a，增强现实设备100的处理器150(参见图3)可以控制包括IR扫描仪在内的光发射器141b通过使用点光源或线光源来顺序地发射要入射在用户的眼睛E所在的整个区域上的光。处理器150可以通过使用作为IR检测器的多个光检测器142b-1至142b-4来顺序地接收被用户的眼睛E反射的IR光。

在操作S820中，增强现实设备100从反射光中检测多个闪烁特征点，并且获得多个闪烁特征点的位置信息。一起参考图7b，增强现实设备100的处理器150可以通过分析通过多个光检测器142b-1至142b-4(参见图7a)顺序地接收的光线的阵列来检测眼睛的闪烁特征点。当多个光检测器142b-1至142b-4是IR检测器时，处理器150可以基于通过多个IR检测器顺序地接收的阵列中的IR光线的特性(例如，亮度)来识别与闪烁特征点P₁至P₄中的每一个相对应的坐标。根据本公开的实施例，处理器150可以检测包括通过多个IR检测器接收的IR光线的阵列中之中的亮度大于或等于预设参考值的IR光线在内的多个闪烁特征点P₁至P₄，并且获得与多个闪烁特征点P₁至P₄中的每一个相对应的坐标。

多个闪烁特征点P₁至P₄可以分别对应于多个光检测器142b-1至142b-4。例如，第一闪烁特征点P₁可以是通过使用第一光检测器142b-1检测由光发射器141b(参见图7a)发射到眼睛E并且之后被眼睛E反射的IR光而获得的特征点，第二闪烁特征点P₂可以是通过使用第二光检测器142b-2检测被眼睛E反射的IR光而获得的特征点，第三闪烁特征点P₃可以是通过使用第三光检测器142b-3检测被眼睛E反射的IR光而获得的特征点，并且第四闪烁特征点P₄可以是通过使用第四光检测器142b-4检测被眼睛E反射的IR光而获得的特征点。

在操作S830中，增强现实设备100从多个闪烁特征点的位置信息获得与多个闪烁特征点之间的距离有关的信息。参照图7b，增强现实设备100的处理器150可以通过使用与通过使用多个IR检测器检测的多个闪烁特征点P₁至P₄的坐标有关的信息来获得于多个闪烁特征点P₁至P₄之间的距离d_P有关的信息。

在操作S840中，增强现实设备100基于多个闪烁特征点之间的距离来计算ER。同时参照图7b，增强现实设备100的处理器150可以基于多个闪烁特征点P₁至P₄之间的距离d_P以及多个光检测器142b-1至142b-4(例如，多个光电二极管)之间的位置关系来计算ER。

图9a是示出了根据本公开的实施例的由增强现实设备100执行的通过使用用户的眼睛的旋转半径来获得关于ER的信息的操作的图。

图9b是用于描述根据本公开的实施例的由增强现实设备100执行的测量用户的眼睛的旋转半径的操作的图。

图10是根据本公开的实施例的由增强现实设备100执行的通过使用用户的眼睛的旋转半径来获得关于ER的信息的方法的流程图。在图10中，操作S1010和S1020是与图4中的操作S410相对应的详细操作。在图10中，操作S1030和S1040是与图4中的操作S420相对应的详细操作。在执行图10的操作S1040之后，可以执行图4的操作S430。

在下文中，将参考图9a、图9b和图10描述由增强现实设备100执行的获得关于ER的信息的操作。

参考图9a，眼睛跟踪传感器140可以与变焦透镜110相邻设置。在本公开的实施例中，眼睛跟踪传感器140可以设置在与变焦透镜110耦接的镜架102(参见图2)上。当用户佩戴增强现实设备100时，变焦透镜110可以与用户的眼睛E间隔开ER1或ER2。

参照图10，在操作S1010中，增强现实设备100通过使用眼睛跟踪传感器拍摄移动预设旋转角度的用户的眼睛来获得图像。一起参考图9a，增强现实设备100可以提供用于引导用户看到对象910或920的指南。在本公开的实施例中，对象910和920是虚拟图像，可以被显示引擎130(参见图2和图3)投影到波导120(参见图2和图3)，从而通过波导120被传送到用户的眼睛E。然而，实施例不限于此，并且对象910和920可以是现实世界空间中的现实世界对象。增强现实设备100可以通过使用指南来引导用户将他/她的眼睛E旋转预设角度α以看到对象910或920。预设角度α可以是例如相对于眼睛E的中心在左方向和向右方向上的15°，但不限于此。增强现实设备100的处理器150(参见图5)可以通过使用眼睛跟踪传感器140来拍摄旋转的用户的眼睛E，从而获得图像900-1和900-2、或900-3和900-4(在下文中，也被称为第一图像900-1、第二图像900-2、第三图像900-3和第四图像900-4)(参见图9b)。

在操作S1020中，增强现实设备100分析图像以检测瞳孔特征点。参考图9b，眼睛跟踪传感器140(参见图9a)可以包括：IR光源，被配置为向用户的眼睛E发射IR光；以及IR相机，被配置为拍摄被用户的眼睛E反射的IR光以获得图像900-1和900-2、或900-3和900-4。增强现实设备100的处理器150可以识别通过IR相机的图像传感器接收的IR光的亮度，识别由IR相机捕获的图像900-1和900-2、或900-3和900-4中的每一个的像素之中的表示瞳孔的已经接收IR光的至少一个像素，从而检测瞳孔特征点10。在这种情况下，瞳孔特征点10可以对应于图像900-1和900-2、或900-3和900-4中的每一个的像素之中的亮度小于预设参考值的至少一个像素，但不限于此。

参考图9b，第一图像900-1和第二图像900-2是当变焦透镜110(参见图9a)与用户的眼睛E之间的距离为ER1时由眼睛跟踪传感器140的IR相机获得的图像，并且第三图像900-3和第四图像900-4是当变焦透镜110与用户的眼睛E之间的距离为ER2时获得的图像。第一图像900-1和第三图像900-3是当用户的眼睛E的瞳孔沿左方向旋转预设旋转角度α时获得的图像，并且第二图像900-2和第四图像900-4是当瞳孔沿右方向旋转预设旋转角度α时获得的图像。当变焦透镜110与用户的眼睛E之间的距离为ER1时，增强现实设备100的处理器150可以从第一图像900-1和第二图像900-1中的每一个中检测瞳孔特征点10。类似地，当变焦透镜110与用户的眼睛E之间的距离为ER2时，增强现实设备100的处理器150可以从第三图像900-3和第四图像900-4中的每一个中检测瞳孔特征点10。

在操作S1030中，增强现实设备100测量瞳孔特征点的旋转半径。增强现实设备100的处理器150可以获得通过使用IR相机获得的图像900-1和900-2、或900-3和900-4中的每一个的像素之中的从其检测瞳孔特征点10的至少一个像素的坐标信息，并且基于与瞳孔特征点10相对应的像素的坐标信息来测量瞳孔特征点10的旋转半径。一起参考图9b，当变焦透镜110与用户的眼睛E之间的距离为ER1时，处理器150可以测量从第一图像900-1检测的瞳孔特征点10与从第二图像900-2检测的瞳孔特征点10之间的距离。在图9b所示的实施例中，从第一图像900-1检测的瞳孔特征点10与从第二图像900-2检测的瞳孔特征点10之间的距离可以为r₁。当变焦透镜110与用户的眼睛E之间的距离为ER2时，处理器150可以测量从第三图像900-3检测的瞳孔特征点10与从第四图像900-4检测的瞳孔特征点10之间的距离。在图9b所示的实施例中，从第三图像900-3检测的瞳孔特征点10与从第四图像900-4检测的瞳孔特征点10之间的距离可以为r₂。

在操作S1040中，增强现实设备100基于所测量的旋转半径来计算(获得)ER。变焦透镜110与用户的眼睛E之间的距离与瞳孔特征点10的旋转半径成反比。例如，随着变焦透镜110与用户的眼睛E之间的距离减小，瞳孔特征点10的旋转半径可以增大。在图9b所示的实施例中，当变焦透镜110与用户的眼睛E之间的距离为ER1时，所测量的瞳孔特征点10的旋转半径可以为r₁，r₁可以大于r₂，r₂是当变焦透镜110与用户的眼睛E之间的距离为ER2时测量的瞳孔特征点10的旋转半径。增强现实设备100的处理器150可以基于瞳孔特征点10的旋转半径以及眼睛跟踪传感器140的IR相机的像素坐标系信息来计算ER。

图11是示出了根据本公开的实施例的由增强现实设备100执行的获得关于用户的双眼的IPD的信息的操作的图。

图12是根据本公开的实施例的由增强现实设备100执行的获得关于用户的双眼的IPD的信息的方法的流程图。在图12中，操作S1210至S1230是与图4中的操作S430相对应的详细操作。在执行图10的操作S1230之后，可以执行图4的操作S440。

在下文中，将参考图11和图12描述由增强现实设备100执行的获得关于IPD的信息的操作。

参考图11，增强现实设备100可以执行眼睛跟踪传感器140中包括的IR相机的校准。在本公开中，术语IR相机的“校准”可以是用于获得以下内容的校正操作：位于三维空间中的现实世界对象的三维坐标与由相机捕获的二维图像的每个像素的坐标之间的变换关系、或表示该变换关系的矩阵的参数。在本公开的实施例中，增强现实设备100可以通过使用眼睛跟踪传感器140的IR相机拍摄以与像素相对应的图案配置的平面1100来获得平面1100上的每个像素的坐标。增强现实设备100可以通过使用所获得的每个像素的坐标来执行IR相机的校准。

增强现实设备100可以通过使用第一眼睛跟踪传感器140L的IR相机拍摄用户的左眼E₁来获得左眼图像1110L，并且通过使用第二眼睛跟踪传感器140R的IR相机拍摄用户的右眼E₂来获得右眼图像1110R。在本公开中，第一眼睛跟踪传感器140L和第二眼睛跟踪传感器140R中的每一个可以包括但不限于IR相机。在本公开的另一实施例中，第一眼睛跟踪传感器140L和第二眼睛跟踪传感器140R可以分别包括被配置为检测被用户的左眼E₁和右眼E₂反射的IR光的IR检测器(例如，光电二极管)。

参考图12，在操作S1210中，增强现实设备100从通过使用第一眼睛跟踪传感器而获得的左眼图像中检测左眼瞳孔，并且从通过使用第二眼睛跟踪传感器而获得的右眼图像中检测右眼瞳孔。一起参考图11，增强现实设备100的处理器150可以检测左眼图像1110L的像素之中的与左眼瞳孔11相对应的至少一个像素，并且检测与右眼图像1110R的像素之中的与右眼瞳孔12相对应的至少一个像素。将省略上面提供的关于由处理器150执行的从图像中检测瞳孔特征点的方法的描述。

在操作S1220中，增强现实设备100基于第一眼睛跟踪传感器和第二眼睛跟踪传感器之间的位置关系以及相机属性信息来获得左眼瞳孔和右眼瞳孔的三维坐标。参考图11，被配置为拍摄用户的左眼E₁的第一眼睛跟踪传感器140L和被配置为拍摄右眼E₂的第二眼睛跟踪传感器140R可以彼此间隔开预设距离d。关于第一眼睛跟踪传感器140L与第二眼睛跟踪传感器140R之间的距离d的信息可以存储在存储器160(参见图3)中的存储空间中。增强现实设备100的处理器150可以从存储器160加载关于第一眼睛跟踪传感器140L与第二眼睛跟踪传感器140R之间的距离d的信息，从而基于IR相机的属性信息来获得左眼瞳孔特征点P₁和右眼瞳孔特征点P₂的三维坐标。IR相机的属性信息可以包括例如关于像素坐标系、分辨率或FoV中的至少一个的信息。

在本公开的实施例中，处理器150可以从通过将左眼图像1110L与用于校准的像素图案进行组合而获得的左眼坐标平面图像1120L获得左眼瞳孔特征点P₁的三维坐标(x₁,y₁,z₁)。此外，处理器150可以从通过将右眼图像1110R与用于校准的像素图案进行组合而获得的右眼坐标平面图像1120R获得右眼瞳孔特征点P₂的三维坐标(x₂,y₂,z₂)。

在操作S1230中，增强现实设备100基于左眼瞳孔和右眼瞳孔的三维坐标来计算(获得)IPD。一起参考图11，增强现实设备100的处理器150可以通过使用左眼瞳孔特征点P₁的三维坐标(x₁,y₁,z₁)和右眼瞳孔特征点P₂的三维坐标(x₂,y₂,z₂)来计算左眼瞳孔特征点P₁与右眼瞳孔特征点P₂之间的距离。处理器150可以获得左眼瞳孔特征点P₁和右眼瞳孔特征点P₂之间的距离作为IPD。

图13a是示出了根据本公开的实施例的由增强现实设备100执行的通过使用眼睛跟踪传感器140a来获得用户的眼睛的注视方向信息的操作的图。

参考图13a，眼睛跟踪传感器140a可以包括光发射器141以及多个光检测器142b-1、142b-2、142b-3、142b-4、142b-5和142b-6。图13a所示的眼睛跟踪传感器140a可以与图3的眼睛跟踪传感器140具有相同的配置。图13a示出了六个光检测器142-1至142-6，但这仅是示例性的，并且光检测器的数量不限于此。

光发射器141可以向眼睛E的晶状体所在的角膜发射IR光，并且多个光检测器142-1至142-6可以检测被角膜反射的IR光。在本公开的实施例中，光发射器141可以包括反射器，其改变被引导到眼睛E的IR光的路径。例如，光发射器141可以是IR LED，并且多个光检测器142-1至142-6可以是多个IR相机。

眼睛跟踪传感器140a可以获得与由多个光检测器142-1至142-6中的每一个检测的IR光的量有关的信息，基于所获得的IR光的量来确定用户的眼睛E观看的注视方向，并且获得表示注视方向的注视向量。眼睛跟踪传感器140a可以向处理器150(参见图3)提供与所获得的注视向量的值和方向有关的数据。

图13b是示出了根据本公开的实施例的由增强现实设备100执行的通过使用眼睛跟踪传感器140b来获得用户的眼睛E的注视方向信息的操作的图。

参考图13b，眼睛跟踪传感器140b可以基于被用户的眼睛E反射的光线1311、1312、1313、1314和1315的位置来跟踪用户的注视，并且基于所跟踪的注视来获得注视向量。眼睛跟踪传感器140b可以包括光发射器141和注视跟踪相机143。图13b所示的眼睛跟踪传感器140b可以与图3的眼睛跟踪传感器140具有相同的配置。

光发射器141可以包括IR LED。在图13b所示的实施例中，光发射器141可以包括设置在不同位置处的多个IR LED。当拍摄眼睛E时，光发射器141可以向用户的眼睛E提供光(例如，IR光)。当向用户的眼睛E提供IR光时，该光可以被用户的眼睛E反射。

注视跟踪相机143可以包括至少一个相机。在本公开的实施例中，注视跟踪相机143可以实现为IR相机。增强现实设备可以通过使用由注视跟踪相机143捕获的用户的眼睛E的图像1301至1305(在下文中，也被称为第一眼睛图像1301至第五眼睛图像1305)来跟踪用户的眼睛E的注视。例如，注视跟踪相机143可以通过从用户的眼睛的图像1301至1305中检测瞳孔13和反射的光线1311至1315来跟踪用户的注视，从而获得注视向量。眼睛跟踪传感器140b可以从用户的眼睛E的图像1301至1305中的每一个中检测瞳孔13和反射的光线1311至1315的位置，并且基于瞳孔13的位置与反射的光线1311至1315的位置之间的关系来确定用户的眼睛E的注视方向。

例如，眼睛跟踪传感器140b可以从所捕获的第一眼睛图像1301中检测瞳孔13和反射的光线1311，并且基于瞳孔13的位置与反射的光线1311的位置之间的关系来确定用户的眼睛的注视方向1321。以相同的方式，眼睛跟踪传感器140b可以从第二眼睛图像至第五眼睛图像1302、1303、1304和1305中的每一个中检测瞳孔13以及反射的光线1312、1313、1314和1315，并且分别基于瞳孔13的位置与反射的光线1312、1313、1314和1315的位置之间的关系来确定用户的眼睛的注视方向1322、1323、1324和1325。

在本公开的实施例中，眼睛跟踪传感器140b可以基于关于所确定的注视方向的信息来获得注视向量。眼睛跟踪传感器140b可以向处理器150(参见图3)提供与所获得的注视向量的值和方向有关的数据。

在本公开的另一实施例中，眼睛跟踪传感器140b可以向处理器150(参见图3)仅提供分别从多个眼睛图像1301至1305检测的瞳孔13以及反射的光线1311至1315的坐标，并且处理器150可以基于从眼睛跟踪传感器140b获得的坐标来计算用户的眼睛E的注视向量。

图13c是示出了用于用户的注视的三维眼球模型的图。

参考图13c，增强现实设备100可以通过使用眼睛跟踪传感器140a或140b来确定用户的眼睛E的注视方向。例如，增强现实设备100可以基于平均人类眼球模型来确定注视方向。可以通过假设人眼E具有球形形状并且理想地根据注视方向旋转来对眼球模型进行建模。此外，眼球模型可以在数学上由等式1和2表示。

[等式1]

x＝d·tanα，

y＝d·tanβ，

[等式2]

α＝sin^-1(diff_x/r),

β＝sin^-1(diff_y/r).

在等式1中，d表示用户的眼睛的中心C_eye与虚拟屏幕1300之间的距离，α表示当用户的眼睛注视前方的虚拟屏幕1300时用户的眼睛沿x轴方向旋转的角度，并且β表示当用户的眼睛注视前方的虚拟屏幕1300时用户的眼睛沿y轴方向旋转的角度。此外，在等式2中，假设用户的眼睛是球体，则r表示球体的半径。

根据本公开的实施例的眼睛跟踪传感器140a或140b通过使用参考图13a和图13b描述的方法来测量用户的眼睛E的旋转程度(例如，α和β)，并且增强现实设备100可以通过使用用户的眼睛E的旋转程度α和β来计算(获得)用户的眼睛E在虚拟屏幕1300上在注视方向上的二维坐标。

图13d是用于描述根据本公开的实施例的执行眼睛跟踪传感器140a或140b(参见图13a和图13b)的校准的方法的图。

参考图13d，当用户初始使用增强现实设备100时，可以执行校准眼睛跟踪传感器140a或140b的过程，以便更精确地测量左眼和右眼的注视方向。增强现实设备100可以输出具有不同深度(例如，d1、d2和d3)的其中指示有用于引导用户的注视的多个点的虚拟图像VI1、VI2和VI3，并且诱导用户注视该多个点中的每一个。图13d示出了虚拟图像VI1、VI2和VI3中的每一个中的九个点，但这仅是示例性的，并且点的数量不限于九个。

当用户注视虚拟图像VI1、VI2和VI3中的每个点时，增强现实设备100的处理器150(参见图3)可以将从眼睛跟踪传感器140a或140b输出的数据(例如，注视向量)以表格形式存储在存储器160(参见图3)的存储空间中。

在如图13a所示的实施例中通过使用被角膜反射的IR光的量来跟踪注视的方法中，与每个点处的反射角度和光的量有关的信息可以作为注视信息以表格形式预先存储在存储器160中。在如图13b所示的实施例中通过使用IR光来拍摄用户的眼睛的方法中，在每个点处捕获的包括用户的眼睛和反射光在内的图像可以作为注视信息预先存储在存储器160中。

增强现实设备100可以通过将预先存储的注视信息与从眼睛跟踪传感器140a或140b输出的注视信息进行比较来确定用户的眼睛的注视方向。增强现实设备100的处理器150(参考图3)可以通过使用从眼睛跟踪传感器140a或140b输出的注视信息来确定左眼和右眼的注视方向。在本公开的实施例中，处理器150可以通过使用从眼睛跟踪传感器140a或140b输出的注视信息来计算(获得)表示左眼的注视方向的第一注视向量和表示右眼的注视方向的第二注视向量。

增强现实设备100可以通过使用双目视差以及与左眼的注视方向和右眼的注视方向有关的注视信息来估计注视点G(参见图1a和图1b)的坐标。在本公开的实施例中，增强现实设备100的处理器150(参见图3)可以被预设为：通过使用坐标映射等将用户在现实世界空间中注视的点(即，注视点G)映射到三维坐标(例如，x坐标、y坐标和z坐标)，或者可以以表格形式将注视点G的三维坐标存储在存储器160中。

图14是用于描述根据本公开的实施例的由增强现实设备100执行的基于与由眼睛跟踪传感器测量的注视方向有关的信息来计算注视点的方法的图。

图15是示出了注视角度与向上注视方向上的注视点之间的关系的图。

参考图14和图15，可以基于由眼睛跟踪传感器140a或140b(参见图13a和图13b)获得的双眼的注视方向(或注视坐标)之间的差来估计焦距。当计算(获得)到注视点的焦距时，假设双眼的注视轴不能彼此相交，并且在这种情况下，双眼处于相同的高度处，则竖直轴(y轴)上的坐标可以计算为双眼在竖直轴(y轴)上的坐标的平均值。例如，可以假设双眼之间的距离a为7cm。基于上面的几何假设，可以通过使用比例表达式来获得以下等式3。

[等式3]

在等式3中，需要用户的双眼与虚拟屏幕之间的距离d以及双眼之间的距离a，并且可以通过使用其中用户注视前方的注视图像测量眼球的旋转角度来获得距离d。因此，聚散距离l(即，到注视点的距离)由等式4来定义。

[等式4]

在等式4中，z表示虚拟屏幕与注视点之间的距离，△x表示双眼在虚拟屏幕S上在水平方向上的注视坐标之间的间隔，并且可以基于用户的左眼和右眼中的每一个的注视角度来获得，如等式1和等式2所示。

图16是示出了根据本公开的实施例的由增强现实设备100执行的基于ER、注视点G和IPD来确定聚焦区110A的位置的操作的图。

参考图16，增强现实设备100可以基于关于ER、注视点G和IPD的信息来分别确定左眼变焦透镜110L和右眼变焦透镜110R中的聚焦区110A的位置。在本公开的实施例中，增强现实设备100的处理器150(参见图3)可以通过使用眼睛跟踪传感器来获得表示用户的左眼E1朝向注视点G的注视方向的第一注视向量和表示右眼E2朝向注视点G的注视方向的第二注视向量/>处理器150可以将左眼变焦透镜110L上的、表示第一注视向量/>的虚拟直线与左眼变焦透镜110L相交的点确定为中心焦点F1，并且将中心焦点F1周围的具有预设大小的区域确定为左眼变焦透镜110L的聚焦区110A。类似地，处理器150可以将右眼变焦透镜110R上的、表示第二注视向量/>的虚拟直线与右眼变焦透镜110R相交的点确定为中心焦点F2，并且将中心焦点F2周围的具有预设大小的区域确定为右眼变焦透镜110R的聚焦区110A。

在本公开的实施例中，处理器150可以基于ER、聚散距离l和IPD来获得中心焦点F₁和F₂的坐标。中心焦点F₁和F₂的坐标可以分别是左眼变焦透镜110L和右眼变焦透镜110R上的特定点的二维坐标(x₁,y₁)和(x₂,y₂)。例如，可以根据等式5来计算左眼变焦透镜110L上的中心焦点F₁的二维坐标(x₁,y₁)。

[等式5]

例如，可以根据等式6来计算右眼变焦透镜110R上的中心焦点F₂的二维坐标(x₂,y₂)。

[等式6]

在等式5和等式6中，坐标(x₀,y₀)可以是注视点G的坐标。

处理器150可以分别将中心焦点F₁和F₂周围的具有预设大小的区域确定为聚焦区110A。在本公开的实施例中，处理器150可以分别将中心焦点F₁和F₂的二维坐标(x₁,y₁)和(x₂,y₂)周围的具有预设半径r的圆确定为聚焦区110A。然而，聚焦区110A的形状不限于圆形形状，并且处理器150可以分别确定中心焦点F₁和F₂周围的各种形状(例如，四边形、正方形、长方形或三角形)的聚焦区110A。

图17a是根据本公开的实施例的作为增强现实设备100的组件的变焦透镜110的透视图。

参考图17a，变焦透镜110可以包括液晶层110l、公共电极110CE、透明膜110F和激发电极110e。变焦透镜110还可以包括透明层，该透明层形成为与公共电极110CE的底表面接触。

变焦透镜110可以是电可调谐液晶透镜，其被配置为通过基于通过激发电极110e从电源VAC施加的控制电压改变液晶分子110m的布置角度来调整光的折射率。在本公开的实施例中，变焦透镜110可以包括具有像素网格的电光材料。像素可以布置成N行和M列的矩阵。(N×M)个像素中的每一个可以容纳独立于所有其他像素的灰度集。

液晶层110l可以是包括多个液晶分子110m的电光层。液晶层110l可以是其中通过施加到液晶的控制电压来改变液晶的物理性质的电光层。在本公开的实施例中，液晶层110l可以包括偏振无关液晶层(例如，胆甾型液晶)。在液晶层110l中，当通过激发电极110e施加的控制电压改变有源区域中的特定区域中的液晶分子110m的布置角度时，可以局部地调整该区域的折射率。

公共电极110CE和激发电极110e可以接收从电源VAC供应的控制电压，并且将控制电压施加到液晶层110l。公共电极110CE可以设置为与液晶层110l的第一表面110-1接触。

激发电极110e可以设置在液晶层110l的与第一表面610-1相对的第二表面110-2上，以与透明膜110F的顶表面接触。激发电极110e可以包括X轴方向和Y轴方向上的第一阵列激发电极和第二阵列激发电极，其在透明膜110F的顶表面上沿彼此垂直的方向对准。第一阵列激发电极和第二阵列激发电极中的每一个可以包括由导电材料形成并在有源区域的上方延伸的平行条带。在本公开的实施例中，激发电极110e可以由诸如氧化铟锡(ITO)之类的透明导电材料形成。

像素可以由其中第一阵列激发电极的条带与第二阵列激发电极的条带重叠的区域来限定。第一阵列激发电极的条带与第二阵列激发电极的条带之间的中心到中心距离限定像素阵列的间距，并且条带的宽度可以限定像素的大小。

增强现实设备100的处理器150(参见图3)可以通过电源VAC向激发电极110e施加具有相位调制轮廓的控制电压波形，并且调制施加到激发电极110e的控制电压。当通过处理器150施加具有调制波形的控制电压时，可以通过所施加的控制电压的相位调制轮廓来局部地调整变焦透镜110的有源区域中的特定区域的屈光力。在变焦透镜110中，聚散度可以充当根据调整后的屈光力的透镜。这里，聚散度是指示光会聚或发散的程度的指标，并且可以根据变焦透镜110的屈光力来调整。在本公开的实施例中，变焦透镜110可以通过调整透镜的屈光力以改变光线或光路来调整聚散度。

处理器150可以通过调整变焦透镜110的特定区域(即，聚焦区)的聚散度来改变焦距。将参考图17b详细描述由处理器150执行的确定变焦透镜110的聚焦区110A(参见图17b)的位置并调整聚焦区110A的屈光力的方法。

图17b是用于描述根据本公开的实施例的由增强现实设备100执行的调整变焦透镜110的聚焦区110A的屈光力的操作的图。

参考图17b，变焦透镜110可以包括液晶层110l、液晶分子110m、公共电极110CE、多个驱动器端子110d、多个第一阵列激发电极110e-1、110e-2、110e-3、110e-4和110e-5(在下文中，也被称为第一激发电极110e-1至第五激发电极110e-5)、多个第二阵列激发电极110e-6、110e-7、110e-8、110e-9和110e-10(在下文中，也被称为第六激发电极110e-6至第十激发电极110e-10)以及透明膜110F。在图17b中，为了便于描述，与图17a不同，未示出透明膜110F。

多个第一阵列激发电极110e-1至110e-5可以沿X轴方向布置，并且多个第二阵列激发电极110e-6至110e-10可以沿Y轴方向布置。多个第一阵列激发电极110e-1至110e-5和多个第二阵列激发电极110e-6至110e-10可以布置为彼此成直角。

多个第一阵列激发电极110e-1至110e-5可以分别连接到多个驱动器端子110d，以控制从电源VAC施加到多个第一阵列激发电极110e-1至110e-5的控制电压。多个第二阵列激发电极110e-6至110e-10可以分别连接到多个驱动器端子110d，以控制从电源VAC施加到多个第二阵列激发电极110e-6至110e-10的控制电压。

控制器150C可以电连接和/或物理连接到电源VAC和多个驱动器端子110d。在图17b中，控制器150C被示出为与处理器150分离的组件，但不限于此。在本公开的实施例中，控制器150C和处理器150可以集成为一个组件。

控制器150C可以控制多个驱动器端子110d以控制施加到多个第一阵列激发电极110e-1至110e-5和多个第二阵列激发电极110e-6至110e-10的控制电压，从而调整特定区域中的液晶分子的布置角度。在本公开的另一实施例中，变焦透镜110可以不包括多个驱动器端子110d，并且控制器150C可以直接连接到多个第一阵列激发电极110e-1至110e-5和多个第二阵列激发电极110e-6至110e-10。

眼睛跟踪传感器140可以通过跟踪用户的眼睛的注视方向来获得注视向量，并且将所获得的注视向量提供给处理器150。处理器150可以基于注视向量的方向来计算(获得)变焦透镜110上的注视所到达的区域的坐标，并且将关于所计算的坐标的信息提供给控制器150C。控制器150C可以基于从处理器150获得的坐标来确定聚焦区110A，该聚焦区110A是其焦点将被调整的目标区域。

在图17b所示的实施例中，为了改变液晶层110l中包括的多个液晶分子110m之中的位于聚焦区110A中的液晶分子的布置角度，需要控制要施加到多个第一阵列激发电极110e-1至110e-5之中的第二激发电极110e-2、第三激发电极110e-3和第四激发电极110e-4的电压，并且控制要施加到多个第二阵列激发电极110e-6至110e-10之中的第七激发电极110e-7、第八激发电极110e-8和第九激发电极110e-9的电压。在本公开的实施例中，控制器150C可以控制多个驱动器端子110d以向第二激发电极110e-2、第三激发电极110e-3和第四激发电极110e-4施加来自电源VAC的电压，并且控制要从电源VAC施加给第七激发电极110e-7、第八激发电极110e-8、第九激发电极110e-9的电压。在这种情况下，控制器150C可以控制多个驱动器端子110d，使得不向第一激发电极110e-1、第五激发电极110e-5、第六激发电极110e-6和第十激发电极110e-10施加电压。

控制器150C不仅可以控制要从电源VAC施加或不从电源VAC施加控制电压，而且还可以控制从电源VAC施加的控制电压的幅度。控制器150C可以通过控制所施加的控制电压的幅度来调整液晶分子的布置角度。例如，当控制器150C通过多个驱动器端子110d向第二激发电极110e-2施加第一幅度的控制电压并且向第三激发电极110e-3施加比第一幅度大的第二幅度的控制电压时，可以将液晶层110l中的布置有第三激发电极110e-3的区域中的液晶分子的布置角度调整为大于布置有第二激发电极110e-2的区域中的液晶分子的布置角度。

例如，控制器150C可以通过多个驱动器端子110d来调制施加到多个第一阵列激发电极110e-1至110e-5和多个第二阵列激发电极110e-6至110e-10的控制电压的相位轮廓，以便确定液晶层110l中的其中的液晶分子110m的布置角度将被改变的聚焦区110A，并且调整聚焦区110A的屈光力。

图18a和图18b是示出了根据本公开的实施例的作为增强现实设备100的组件的变焦透镜110的聚散度的形成的概念图。

参考图18a和图18b，当向变焦透镜110的有源区域的特定位置施加被调制为具有特定相位轮廓的控制电压时，变焦透镜110的液晶层110l可以改变有源区域的特定位置处的液晶分子110m的布置角度。当改变液晶层110l的特定区域中的液晶分子110m的布置角度时，可以改变穿过液晶分子110m的光的折射率。当改变光的折射率时，改变了变焦透镜110的屈光力，因此改变了穿过变焦透镜110的光路，并且因此，可以改变聚散度。聚散度是指示穿过变焦透镜110的光会聚或发散的程度的指标。可以根据变焦透镜110的屈光力来调整聚散度。

在图18a所示的实施例中，穿过其中液晶层110l中的液晶分子110m的布置角度被改变的区域的光产生正聚散度，因此变焦透镜110可以充当凸透镜。当产生正聚散度时，焦距可以减小。

在图18b所示的实施例中，穿过其中液晶层110l中的液晶分子110m的旋转角度被改变的区域的光可以产生负聚散度，因此变焦透镜110可以充当凹透镜。当产生负聚散度时，焦距可以增大。

图19是根据本公开的实施例的由增强现实设备100执行的调整变焦透镜的聚焦区的屈光力的方法的流程图。

在图19中，可以在执行图4所示的操作S440之后执行操作S1910。

参考图19，在操作S450中，增强现实设备100可以调整聚焦区的屈光力。图19的操作S1910至S1930是与操作S450相对应的详细操作。

在操作S1910中，增强现实设备100向变焦透镜施加控制电压以产生针对与聚焦区相对应的位置的相位调制轮廓。在本公开的实施例中，增强现实设备100的处理器150(参见图3)可以向变焦透镜的控制器150C(参见图17b)提供聚焦区的坐标信息，并且控制器150C可以根据该坐标来确定聚焦区的位置，该聚焦区是其焦点将被调整的目标区域。

控制器150C可以通过电源VAC(参见图17a和图17b)向多个第一阵列激发电极110e-1至110e-5(参见图17b)和多个第二阵列激发电极110e-6至110e-10(参见图17b)中的每一个施加具有相位调制轮廓的控制电压波形，并且调制施加到多个第一阵列激发电极110e-1至110e-5和多个第二阵列激发电极110e-6至110e-10中的每一个的控制电压。处理器150可以通过使用控制器150C来调制控制电压，使得由彼此重叠的多个第一阵列激发电极110e-1至110e-5和多个第二阵列激发电极110e-6至110e-10形成的像素之中的位于与聚焦区110A相对应的区域中的像素具有与其他像素的相位值不同的相位值。

在操作S1920中，增强现实设备100通过基于控制电压改变变焦透镜的液晶分子之中的位于聚焦区中的液晶分子的布置角度来调整聚焦区的屈光力。增强现实设备100的处理器150可以通过向变焦透镜施加具有相位调制轮廓的控制电压来改变液晶层中包括的液晶分子之中的位于与聚焦区相对应的区域中的液晶分子的布置角度。当改变与聚焦区相对应的区域中的液晶分子的布置角度时，可以改变穿过聚焦区的光的屈光力。增强现实设备100可以通过调整与聚焦区相对应的区域中的液晶分子的布置角度来调整聚焦区的屈光力。

在操作S1930中，增强现实设备100通过调整后的屈光力来改变聚焦区的聚散度。增强现实设备100可以通过调整聚焦区的屈光力来调整光路，从而调整光的会聚或发散的程度。在本公开的实施例中，增强现实设备100可以通过调整聚焦区在正方向或负方向上的屈光力来调整焦距缩短或者增长，该焦距是图像穿过眼睛的晶状体并且之后形成在视网膜上的距离。当调整屈光力使得聚焦区具有正聚散度时，聚焦区可以充当凸透镜。当调整屈光力使得聚焦区具有负聚散度时，聚焦区可以充当凹透镜。

当通过上述方法来调整聚焦区的聚散度时，变焦透镜可以充当视力校正透镜。

图20是示出了根据本公开的实施例的增强现实设备101的结构的平面图。

参考图20，增强现实设备101可以包括镜架102、镜腿104、鼻梁106、鼻托108、第一变焦透镜111、第二变焦透镜112、波导120、显示引擎130、眼睛跟踪传感器140、处理器150、存储器160和电池170。图20所示的增强现实设备101与图2所示的增强现实设备100相同，除了增强现实设备101包括第一变焦透镜111和第二变焦透镜112之外，因此将省略上面提供的对其的描述。

第一变焦透镜111和第二变焦透镜112中的每一个可以包括液晶分子，并且可以被配置为电可调谐液晶透镜，该电可调谐液晶透镜被配置为根据电驱动信号来调整焦点。

第一变焦透镜111可以包括第一左眼变焦透镜111L和第一右眼变焦透镜111R，并且第二变焦透镜112可以包括第二左眼变焦透镜112L和第二右眼变焦透镜112R。第一左眼变焦透镜111L可以耦接到左镜架102L并设置在与用户的左眼相邻的位置处，并且第二左眼变焦透镜112L可以设置在比第一左眼变焦透镜111L更远离用户的眼睛的位置处。在本公开的实施例中，当用户佩戴增强现实设备101时，第一左眼变焦透镜111L可以与左眼间隔开第一距离，并且第二左眼变焦透镜112L可以与左眼间隔开第二距离。第二距离可以大于第一距离。

第一右眼变焦透镜111R和第二右眼变焦透镜112R分别与第一左眼变焦透镜111L和第二左眼变焦透镜112L具有相同的材料、形状和结构，因此被省略上面提供的对其的描述。

左眼波导120L可以设置在第一左眼变焦透镜111L和第二左眼变焦透镜112L之间，并且右眼波导120R可以设置在第一右眼变焦透镜111R和第二右眼变焦透镜112R之间。

处理器150可以分别确定第一变焦透镜111的聚焦区的位置。处理器150可以基于关于ER、注视点G和IPD的信息来确定第一左眼变焦透镜111L中的第一聚焦区的位置。处理器150可以基于第一聚焦区的位置和左眼的注视方向来确定第二左眼变焦透镜112L中的第二聚焦区的位置。在本公开的实施例中，处理器150可以确定第二聚焦区的位置，使得第一聚焦区和第二聚焦区沿表示左眼朝向注视点G的注视方向的虚拟直线对准。例如，处理器150可以获得表示左眼的注视方向的虚拟直线与第一左眼变焦透镜111L相交的点的二维坐标，并且基于所获得的二维坐标来确定第一聚焦区的位置。类似地，处理器150可以获得该虚拟直线与第二左眼变焦透镜112L相交的点的二维坐标，并且基于所获得的二维坐标来确定第二聚焦区的位置。

处理器150可以通过调整第一左眼变焦透镜111L的第一聚焦区的屈光力来改变第一左眼变焦透镜111L的聚散度。在本公开的实施例中，处理器150可以通过改变与第一聚焦区的位置相对应的区域中的液晶分子的布置角度来调整第一聚焦区的屈光力。处理器150可以通过调整第一聚焦区的屈光力来改变投影到左眼波导120L并且之后透射左眼晶状体的虚拟图像的光路。当改变虚拟图像的光路时，可以改变形成在左眼的视网膜上的虚拟图像的焦距。当处理器150调整第一聚焦区的屈光力时，改变了第一左眼变焦透镜111L的聚散度，因此，物理地形成在左眼波导120L上的焦距可以被调整为等于聚散距离。

当通过调整第一聚焦区的屈光力来改变第一左眼变焦透镜111L的聚散度时，可能发生导致现实世界对象看起来好像失焦的焦点失真。为了补偿焦点失真，处理器150可以调整第二左眼变焦透镜112L的第二聚焦区的屈光力。在本公开的实施例中，处理器150可以调整第二聚焦区的屈光力，以形成相对于通过第一聚焦区的调整后的屈光力引起的聚散度的互补聚散度。在本公开的实施例中，处理器150可以在与调整第一聚焦区的屈光力的方向相反的方向上将第二聚焦区的屈光力调整为具有与第一聚焦区的调整后的屈光力的绝对值相等的绝对值。例如，当第一聚焦区的屈光力被调整为-1屈光度(D)时，第二聚焦区的屈光力可以调整为+1D。

处理器150可以对第一右眼变焦透镜111R和第二右眼变焦透镜112R执行与对第一左眼变焦透镜111L和第二左眼变焦透镜112L执行的操作相同的操作。因此，将省略关于第一右眼变焦透镜111R和第二右眼变焦透镜112R的重复描述。

在图20所示的实施例中，增强现实设备101可以通过以下方式来调整投影到波导120的虚拟图像的焦距：确定第一变焦透镜111的第一聚焦区和第二变焦透镜112的第二聚焦区的位置，使得第一聚焦区和第二聚焦区分别根据用户的眼睛的注视方向对准，并且将第二聚焦区的屈光力分别调整为与第一聚焦区的屈光力互补。例如，图20所示的增强现实设备101不仅可以提供视力校正功能，而且还可以提供对虚拟图像的调焦功能。

可由本文描述的增强现实设备100或101执行的程序可以实现为硬件组件、软件组件和/或硬件组件和软件组件的组合。程序可以由能够执行计算机可读指令的任何***来执行。

软件可以包括计算机程序、代码、指令或其一个或多个的组合，并且可以配置或单独地或统一地指示处理设备以优选方式进行操作。

该软件可以实现为包括计算机可读存储介质中存储的指令在内的计算机程序。计算机可读存储介质可以包括例如磁存储介质(例如，ROM、RAM、软盘、硬盘等)和光学存储介质(例如，紧凑盘ROM(CD-ROM)、数字多功能光盘(DVD)等)。计算机可读存储介质可以分布在经由网络连接的计算机***中，并且可以以分布式方式存储和执行计算机可读代码。介质可以是计算机可读的，可以存储在存储器中，并且可以由处理器来执行。

计算机可读存储介质可以以非暂时性存储介质的形式提供。这里，术语“非暂时性”仅仅意味着存储介质是有形装置，并且不包括信号，但是该术语不区分数据被半永久地存储在存储介质中的位置和数据被暂时地存储在存储介质中的位置。例如，“非暂时性存储介质”可以包括临时存储数据的缓冲器。

此外，可以在计算机程序产品中提供根据本公开的实施例的程序。计算机程序产品可以作为商品在卖方和买方之间进行交易。

计算机程序产品可以包括软件程序和存储该软件程序的计算机可读记录介质。例如，计算机程序产品可以包括通过增强现实设备100或101的制造商或电子市场(例如，Samsung Galaxy Store)电子分发的软件程序形式的产品(例如，可下载的应用)。对于电子分发，软件程序的至少一部分可以存储在存储介质中或者被临时生成。在这种情况下，存储介质可以是增强现实设备100或101的制造商的服务器、电子市场的服务器、或临时存储软件程序的中继服务器的存储介质。

在由增强现实设备100或101和/或服务器组成的***中，计算机程序产品可以包括服务器的存储介质或者增强现实设备100或101的存储介质。备选地，当存在通信地连接到增强现实设备100或101的第三设备(例如，移动设备)时，计算机程序产品可以包括第三设备的存储介质。备选地，计算机程序产品可以包括从增强现实设备100或101发送给电子设备或第三设备或者从第三设备发送给电子设备的软件程序本身。

在这种情况下，增强现实设备100或101和第三设备之一可以执行计算机程序产品，以执行根据本公开的实施例的方法。备选地，增强现实设备100、101或第三设备中的至少一个可以以分布式方式执行计算机程序产品，执行根据本公开的实施例的方法。

例如，增强现实设备100或101可以执行存储器160(参见图3)中存储的计算机程序产品来控制通信地连接到增强现实设备100或101的另一电子设备(例如，移动设备)以执行根据本公开的实施例的方法。

作为另一示例，第三设备可以执行计算机程序产品以控制通信地连接到第三设备的电子设备来执行根据本公开的实施例的方法。

当第三设备执行计算机程序产品时，第三设备可以从增强现实设备100或101下载计算机程序产品，并且执行所下载的计算机程序产品。备选地，第三设备可以执行以预加载状态提供的计算机程序产品，并且执行根据本公开的实施例的方法。

尽管已经使用有限的实施例和附图描述了本公开的实施例，但本领域技术人员可以根据上面的描述进行各种修改和改变。例如，即使在以不同的顺序执行所描述的技术时，或者在所描述的电子设备、架构、设备或电路中的组件以不同的方式耦接或组合或者被其它组件或其等同物替换或补充时，也可以获得合适的结果。

Claims (15)

1.一种增强现实设备，包括：

变焦透镜；

眼睛跟踪传感器，被配置为向用户的眼睛发射光，并且基于被所述用户的眼睛反射的光来检测多个特征点；以及

至少一个处理器，被配置为：

基于由所述眼睛跟踪传感器检测的所述多个特征点的位置信息，获得关于出瞳距离的信息，所述出瞳距离是所述用户的眼睛与所述变焦透镜之间的距离；

基于所述多个特征点，获得关于注视点以及瞳距的信息，其中所述用户的左眼的注视方向和所述用户的右眼的注视方向在所述注视点处会聚，所述瞳距是所述左眼的瞳孔与所述右眼的瞳孔之间的距离；以及

基于关于所述出瞳距离、所述注视点和所述瞳距的信息，确定所述变焦透镜的聚焦区的位置。

2.根据权利要求1所述的增强现实设备，其中，所述眼睛跟踪传感器包括红外IR光源和IR相机，并且

其中，所述至少一个处理器还被配置为：

控制所述IR光源向所述用户的眼睛发射IR光；

从通过所述IR相机拍摄被所述用户的眼睛反射的IR光而获得的图像中检测多个闪烁特征点；以及

基于闪烁图案的区域的大小来确定所述出瞳距离，所述闪烁图案是所检测的多个闪烁特征点的组合。

3.根据权利要求2所述的增强现实设备，其中，所述IR光源包括多个IR发光二极管LED，所述多个IR LED设置在所述增强现实设备的镜架上并且彼此间隔开预设距离，并且

其中，所述至少一个处理器还被配置为基于以下至少之一来获得所述出瞳距离：所述闪烁图案的区域的大小、所述多个IR LED之间的位置关系、或所述IR相机的每个像素的坐标。

4.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置为：

通过所述眼睛跟踪传感器拍摄移动预设旋转角度的用户的眼睛来获得图像；

通过分析所述图像来检测瞳孔特征点；

测量所检测的瞳孔特征点的旋转半径；以及

基于所测量的旋转半径来获得所述出瞳距离。

5.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置为：

从由第一眼睛跟踪传感器获得的左眼图像中检测所述左眼的瞳孔；

从由第二眼睛跟踪传感器获得的右眼图像中检测所述右眼的瞳孔；

基于所述第一眼睛跟踪传感器和所述第二眼睛跟踪传感器之间的位置关系以及相机属性信息，获得所述左眼的瞳孔和所述右眼的瞳孔的三维坐标；以及

基于所述左眼的瞳孔和所述右眼的瞳孔的三维坐标来获得所述瞳距。

6.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置为：

将第一变焦透镜上的第一中心焦点周围的具有预设大小的区域确定为第一聚焦区，表示所述左眼朝向所述注视点的第一注视方向的虚拟直线与所述第一变焦透镜相交于所述第一中心焦点处；以及

将第二变焦透镜上的第二中心焦点周围的具有预设大小的区域确定为第二聚焦区，表示所述右眼朝向所述注视点的第二注视方向的虚拟直线与所述第二变焦透镜相交于所述第二中心焦点处。

7.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置为：

基于所述出瞳距离、所述注视点与所述用户的眼睛之间的距离、以及所述瞳距来获得中心焦点的坐标；以及

将所述中心焦点周围的预设大小的区域确定为所述聚焦区。

8.根据权利要求1所述的增强现实设备，其中，所述至少一个处理器还被配置为通过向所述变焦透镜施加控制电压以生成针对与所述聚焦区相对应的位置的相位调制轮廓来调整所述聚焦区的屈光力。

9.一种增强现实设备的操作方法，所述操作方法包括：

由眼睛跟踪传感器通过接收被用户的眼睛反射的光来检测多个特征点；

基于所检测的多个特征点的位置信息来获得关于出瞳距离的信息，所述出瞳距离是所述用户的眼睛与所述增强现实设备的变焦透镜之间的距离；

基于所述多个特征点，获得关于注视点以及瞳距的信息，其中，所述用户的左眼的注视方向和所述用户的右眼的注视方向在所述注视点处会聚，所述瞳距是所述用户的左眼的瞳孔与右眼的瞳孔之间的距离；以及

基于关于所述出瞳距离、所述注视点和所述瞳距的信息，确定所述变焦透镜的聚焦区的位置。

10.根据权利要求9所述的操作方法，其中，所述眼睛跟踪传感器包括红外IR光源和IR相机，

其中，检测所述多个特征点包括：控制所述IR光源向所述用户的眼睛发射IR光，并且从通过所述IR相机拍摄被所述用户的眼睛反射的IR光而获得的图像中检测多个闪烁特征点，并且

其中，获得关于所述出瞳距离的信息包括：基于闪烁图案的区域的大小来确定所述出瞳距离，所述闪烁图案是所检测的多个闪烁特征点的组合。

11.根据权利要求10所述的操作方法，其中，所述IR光源包括多个IR发光二极管LED，所述多个IR LED设置在所述增强现实设备的镜架上以彼此间隔开预设距离，并且

其中，确定所述出瞳距离包括基于以下至少之一来获得所述出瞳距离：所述闪烁图案的区域的大小、所述多个IR LED之间的位置关系、或所述IR相机的每个像素的坐标。

12.根据权利要求9所述的操作方法，其中，检测所述多个特征点包括：通过所述眼睛跟踪传感器拍摄移动预设旋转角度的用户的眼睛来获得图像；以及通过分析所述图像来检测瞳孔特征点，并且

其中，获得关于所述出瞳距离的信息包括：测量所检测的瞳孔特征点的旋转半径；以及基于所测量的旋转半径来获得所述出瞳距离。

13.根据权利要求9所述的操作方法，其中，确定所述变焦透镜的聚焦区的位置包括：

将第一变焦透镜上的第一中心焦点周围的具有预设大小的区域确定为第一聚焦区，表示所述左眼朝向所述注视点的第一注视方向的虚拟直线与所述第一变焦透镜相交于所述第一中心焦点处；以及

将第二变焦透镜上的第二中心焦点周围的具有预设大小的区域确定为第二聚焦区，表示所述右眼朝向所述注视点的第二注视方向的虚拟直线与所述第二变焦透镜相交于所述第二中心焦点处。

14.根据权利要求9所述的操作方法，其中，确定所述变焦透镜的聚焦区的位置包括：基于所述出瞳距离、所述注视点与所述用户的眼睛之间的距离、以及所述瞳距来获得中心焦点的坐标；以及将所述中心焦点周围的预设大小的区域确定为所述聚焦区。

15.一种计算机程序产品，包括计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令能够由增强现实设备读取以执行以下操作：

由眼睛跟踪传感器通过接收被用户的眼睛反射的光来检测多个特征点；

基于所检测的多个特征点的位置信息来获得关于出瞳距离的信息，所述出瞳距离是所述用户的眼睛与所述增强现实设备的变焦透镜之间的距离；

基于所述多个特征点，获得关于注视点以及瞳距的信息，其中，所述用户的左眼的注视方向和所述用户的右眼的注视方向在所述注视点处会聚，所述瞳距是所述用户的左眼的瞳孔与右眼的瞳孔之间的距离；以及

基于关于所述出瞳距离、所述注视点和所述瞳距的信息，确定所述变焦透镜的聚焦区的位置。