CN108135467A - 眼睑形状估计 - Google Patents

Abstract

公开了用于眼睑形状估计的***和方法。在一个方面中，在(例如，从图像捕获设备)接收眼睛的眼睛图像之后，在眼睛图像中的眼睛的虹膜上生成眼睛盒。可以从眼睛盒的近似中心到眼睛盒的上边缘或下边缘产生多条径向线。可以确定候选点以具有沿着多个径向线的局部最大导数。从候选点，可以通过将曲线(例如，抛物线或多项式)拟合到候选点或候选点的子集来确定眼睑形状曲线(例如，对于上眼睑或下眼睑)。

Description

眼睑形状估计

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2015年8月21日提交的标题为“眼睑形状估计”的美国临时申请62/208,142的优先权，其在此通过引用整体并入。

技术领域

本公开一般涉及用于处理眼睛图像的***和方法。

背景技术

人类虹膜可以用作生物信息的来源。生物信息可以提供个人的验证或识别。提取生物信息(通常称为生物模板)的过程典型地具有许多挑战。

发明内容

在一个方面，公开了一种用于眼睑形状估计的方法。该方法在硬件计算机处理器的控制下执行。该方法包括从图像捕获装置接收眼睛图像；在眼睛的虹膜周围产生形状，其中该形状与眼睛的角膜缘边界的最外边界相切；产生从该形状的中心延伸到该形状的边缘的线；对眼睛图像应用边缘检测算法(例如，从形状的中心延伸的线)以确定眼睛和眼睛虹膜的边界的候选点；以及将眼睑形状曲线拟合至少两个候选点。另一方面，用于眼睑形状估计的方法可以通过头戴式显示***来执行。在又一方面，拟合眼睑形状曲线包括随机地对至少两个候选点进行采样以选择用于拟合的多个候选点；以及用多个候选点形成曲线。在一些方面，候选点的数量是至少三个、至少四个、至少五个或更多。候选点的数量可以取决于候选轮廓中的自由度的数目(例如，在抛物线的情况下为三个)、施加于眼睑形状曲线的任何约束(例如，对称)等等。

在本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。从描述，附图和权利要求中，其他特征，方面和优点将变得显而易见。本概述和以下详细描述都不旨在限定或限制本发明主题的范围。

附图说明

图1示意性地示出了具有与眼睑相交的多条径向线的眼睛和眼睛盒的实例。

图2示意性地示出包括与眼睑相交的多条垂直线的眼睛和眼睛盒的实例。

图3示意性地示出了眼睑形状估计的实例。

图4是眼睑形状估计的实例方法的流程图。

图5是眼睑形状估计的另一实例方法程的流程图。

图6是排除沿着瞳孔边界或角膜缘(limbic)边界的潜在候选点作为候选点的眼睑形状估计的实例方法的流程图。

图7示意性地图示了可佩带显示***的实例。

在整个附图中，可以重新使用参考数字来指示参考元素之间的对应关系。提供附图以图示本文描述的实例实施例并且不旨在限制本公开的范围。

具体实施方式

概述

从眼睛提取生物信息通常包括用于在眼睛图像内分割虹膜的过程。虹膜分割可以涉及包括定位虹膜边界的操作，包括找到虹膜的瞳孔边界和角膜缘边界；如果上眼睑或下眼睑遮挡虹膜，则将上眼睑或下眼睑定位(localize)；检测并排除睫毛、阴影或反射的遮挡等等。例如，眼睛图像可以被包括在脸部的图像中，或者可以是眼睛的眼周区域的图像。为了执行虹膜分割，瞳孔边界(虹膜的内部边界)和角膜缘边界(虹膜的外部边界)都可以被识别为图像数据的单独片段。除了虹膜的这种分割之外，可以估计被眼睑遮挡的虹膜的部分(上或下)。这是因为在正常人类活动期间，人的整个虹膜很少可见。换句话说，整个虹膜通常不会不被眼睑和睫毛所遮挡。

估计被眼睑遮挡的虹膜的部分已经提出了挑战。本文描述的眼睑形状估计的实施例有利地可以用于估计由眼睑遮挡的虹膜部分。例如，可以使用眼睑形状估计来识别生物特征(例如，眼睑形状)，或者从眼睛图像的分析中重建身体或身体部位(例如，眼睛)的姿势或方位。眼睑形状估计可以用于检测眼睛图像中的眨眼。由于眨眼可能会遮挡部分虹膜，检测到眨眼以及移除相应的眼睛图像，可能会提高虹膜分割和虹膜认证技术的质量。而且，通过识别眼睛图像中的眼睛的眼睑形状，可以去除眼睛图像中的眼睛的眼睑部分以减少虹膜分割技术的计算量，使得基本上只有眼睛的虹膜部分被用于生物认证。

本公开将描述在包括眼睛的眼睛图像上生成眼睛盒。在各种实施例中，眼睛盒可以放置在眼睛图像的该部分之上。例如，可以从静止图像或视频获得眼睛图像。例如，从眼睛盒的中心延伸到眼睛盒的边缘的多条径向线可以在眼睛图像上生成眼睛盒。眼睛盒的上边缘和下边缘可以大致追踪眼睑(分别为上或下)与虹膜之间的边界。眼睛盒可以用来辅助眼睑形状的估计。

如本文所使用的，视频以其普通含义使用，并且包括但不限于视频图像序列的记录。视频中的每个图像有时被称为图像帧或简称为帧。视频可以包括多个顺续的帧，可以具有或不具有音频通道。视频可以包括多个帧，其按时间排序。因此，视频中的图像可以被称为眼睛图像帧或眼睛图像。

本公开还将描述从眼睛图像估计眼睑形状的实例。在一些实现中，使用眼睛盒，可以用边缘检测器来确定候选点。可以使用迭代过程来随机地对这些候选点的子集进行采样以将曲线(例如，抛物线)拟合到估计的眼睑形状。在通过该迭代过程产生的曲线中，可以使用各种方法(例如，拟合优度的测量)来确定曲线的得分。可以通过评估哪条曲线具有最高得分和/或哪条曲线超过得分阈值来确定优选曲线。距离优选曲线足够远的候选点(例如，超过阈值距离)可以被认为是“异常(outlier)”点并且被排除在随后的拟合或分析之外。剩下的候选点可以被认为是“正常(inlier)”点。在一些实施例中，可以使用被认为是“正常”点的一些或所有点来重新配置优选曲线，其可以提供适合眼睑的改善或最佳的曲线(例如，通过排除可能不代表眼睑的位置)。

实例眼睛盒

图1示出了具有眼睑104、巩膜108(眼白”)、虹膜112和瞳孔116的眼睛100的图像。曲线116a示出瞳孔116和虹膜112之间的瞳孔边界，曲线112a示出虹膜112和巩膜108之间的角膜缘边界。眼睑104包括上眼睑104a和下眼睑104b。

图1还示意性地示出眼睛100的眼睛图像上的眼睛盒120以及多条径向线128a的实例。在各种实施例中，可以使用诸如使用将眼睛盒120映射到眼睛图像的特定部分的图像处理算法的方法将眼睛盒120覆盖在眼睛图像中的眼睛100上。眼睛100的图像上覆盖眼睛盒120也可以被称为生成眼睛盒120或构建眼睛盒120。作为另一实例，可以使用诸如视频处理算法的方法在视频上覆盖眼镜盒120，该算法可以通过多个顺续帧跟踪眼睛盒120，并随着视频在时间上的推进而用眼睛盒120覆盖眼睛。在一些实现中，在确定了角膜缘边界112a或角膜缘边界112a的近似之后，眼睛盒120可以被覆盖在眼睛图像中的眼睛100上。例如，在确定角膜缘边界112a之后，可以放置眼睛盒120，使得角膜缘边界位于覆盖在眼睛图像上的眼睛盒120的边界内部。没有被眼睑104覆盖的虹膜112的区域可以在眼睛盒120的边界内。作为另一实例，在确定角膜缘边界112a的近似之后，可以放置眼睛盒120，使得角膜缘边界的近似在覆盖在眼睛图像上的眼睛盒120的边界内。未被眼睑104覆盖的虹膜112的区域或未被眼睑104覆盖的虹膜112的区域的主要部分可以位于眼睛盒120的边界内。

眼睛盒120可以是矩形的。在一些实施方式中，眼睛盒120的尺寸可以被设定为包括整个虹膜112的最小尺寸定界(bounding)盒。例如，眼睛盒120可以被成形为使得眼睛盒120的垂直边缘124a1、124a2与虹膜112的角膜缘边界112a的最外部分相切。眼睛盒120可以被成形为使得眼睛盒子120的水平边缘124b1(或124b2)基本上眼睑104a(或下眼睑104b)和虹膜112的边界的外部延伸。也就是说，水平边缘124b1(或124b2)可以与该边界相交。但是，如图1所示，水平边缘124b1(或124b2)在任何点都不需要与边界相交。类似地，眼睛盒120可以被成形为使得水平边缘124b1(或124b2)在沿着该边界的任何相交点处延伸超过上眼睑104a(或下眼睑104b)和虹膜112的边界。因此，眼睛盒120的形状可以基于遮挡虹膜112的上眼睑104a或下眼睑104b的边缘而改变。在一些实施方式中，眼睛盒120被裁剪为正方形。在虹膜的透视是确定性的其他实施方式中，眼睛盒可以被塑造为平行四边形。例如，平行四边形可以通过应用于位于虹膜面中的方形眼睛盒的透视变换来确定。

继续参考图1，可以从瞳孔116(例如，从瞳孔116的中心或围绕瞳孔116的中心发出)朝着眼睛盒120的顶边缘124b1(对于上眼睑104a)或者朝向眼睛盒120的底边缘124b2(对于下眼睑104b)，产生多条径向线128a。生成多个径向线128a也可以被称为构建多个径向线128a。径向线128a可以是从较靠近上眼睑104a的水平边缘124b1的第一像素到较靠近下眼睑104b的水平边缘124b2的最后像素的线。径向线128a可以是从较靠近上眼睑104a的水平边缘124b1的第二像素到较接近下眼睑104b的水平边缘124b2的第n-1像素的线，其中n表示眼睛盒120的宽度。

(用于每个眼睑)径向线128a的数量可以与以像素测量的图像的宽度一样多，或者它可以是该宽度的亚采样(subsampling)。例如，可以使用采样方法来选择用于眼睑形状估计的某些径向线，以便足够的线跨过眼睑以提供与眼睑形状的良好拟合。采样方法可以根据宽度像素(例如，2、5、10或更多像素)阈值进行采样，该阈值允许眼睑形状在特定误差阈值内被估计。虽然在图1中描绘了七条径向线。在图1中，这是为了说明，并且在其他实现中，可以在眼睛盒120内使用任何适当数量的径向线128a。例如，在一个实施例中，径向线128a的数量可以是跨眼睛图像的宽度上的像素的数量。在其他实施例中，径向线128a的数量可以被优化为允许在特定误差阈值内估计眼睑形状的线的最小数量。在各种实施例中，可以使用3、5、7、10、15、20、30或更多条线。线的数量可以代表眼睛图像中眼睑所对向(subtend)的典型角度范围，其通常小于180度(对于每个眼睑)。

图2示意性地图示了包括与眼睑104相交的多条垂直线128b的眼睛100和眼睛盒120的实例。可以使用多条垂直线128b代替多条径向线128a，或者除了多条径向线128a之外还使用多条垂直线128b。可以产生多个垂直线128a，其平行于眼睛盒120的垂直边缘124a1、124a2，从瞳孔116的水平等分线132发出。在这种情况下，线的数量(对于每个眼睑104)可以与图像的宽度(根据像素或诸如毫米的任何其它合适的测量)一样。线的数量也可以是眼睛图像的宽度的亚采样。

在其它实施方式中，可使用具有从瞳孔116(或水平等分线132)大致向外延伸以会合或跨过眼睑104的任何形状的线。因此，线不需要是直线(径向或垂直)，而是可以是弯曲的或具有任何合适的形状。

如所描绘的，图1中所示的眼睛盒120是矩形的。然而，在一些实施方式中，眼睛盒120可具有诸如多边形的形状或围绕虹膜112的边界产生的几何形状(例如，圆形、椭圆形等)。例如，六边形形状可用于眼镜盒120。因此，“眼睛盒”可以指围绕眼睛100产生以包括虹膜112的任何多边形形状或几何形状。在这种情况下，可以考虑为与图1中的多条径向线128a或图2中的多条垂直线128b类似的多条线可以从该多边形状中心或从该中心周围到该多边形状的边缘产生。

实例眼睑形状估计

图3示意性地图示了眼睑形状估计的实例。在各种实施例中，眼睑形状估计也可以被称为眼睑形状确定。将使用图3中所示的矩形眼睛盒120和多个径向线128a来讨论眼睑形状确定的实例。然而，该技术可以使用诸如六边形眼睛盒120之类的非矩形眼睛盒120来执行。并且该技术可以使用图2所示的多条垂直线128b或任何形状的线来执行。

可以为每个径向线128a计算候选点136a(用于估计上眼睑104a的形状)或候选点136b(用于估计下眼睑104b的形状)。候选点136a或136b可以是为沿着眼睑104a或104b的边缘的一部分的点的候选。例如，候选点136a可以是用于估计上眼睑104a的形状的候选。类似地，候选点136b可以是用于估计下眼睑104b的形状的候选。

为了确定这些候选点，对于每个径向线128a，识别最大导数的点可以沿着径向线128a的方向。在一些实施方式中，对于每条垂直线128b，识别最大导数的点可以沿着垂直方向128b的方向。可以使用最大导数来查找眼睛图像中的边缘，其中图像强度、颜色、亮度等方面存在大的变化。给定线可以具有导数大的几个点，例如瞳孔边界116a、角膜缘边界112a和眼睑104a或104b。可以选择候选点136a或136b作为具有大导数值(例如，局部最大值)并且距瞳孔116的中心(或距离等分线132)的距离最大的点。可以使用数值方法确定导数。例如，在一个实施例中，使用Sobel导数算子(或其线性组合)来确定沿径向线128a的导数。作为又一个例子，可以使用Gabor滤波器卷积来确定线128a的导数。可以使用边缘检测算法(例如Canny边缘检测器)来识别眼睑(或瞳孔边界和角膜缘边界)的候选点136a或136b。

在各种实施例中，确定最大导数可被视为将图像处理滤波器应用于多个径向线128a。例如，滤波器可以表示为离散微分算子。该滤波器可以与眼睛图像卷积以生成包括最大导数(或其近似)的图像处理结果。因此，在一个实施例中，滤波器可以是Sobel滤波器，其使用两个3×3内核进行操作，所述两个3×3内核将眼图像卷积以在二维中生成导数逼近结果。这种导数逼近可以表示为幅值和方向。可以选择具有局部最大微分幅值的沿径向线128a或垂直线128b的点作为眼睑的候选点136a或136b(例如，排除代表瞳孔边界的点之后)。相应地，图3示出了用于上眼睑104a的检测候选点136a和用于下眼睑104b的检测候选点136b。

在估计眼睑形状的非限制性实例实现中，眼睑形状可以由诸如抛物线的二次曲线形式表示。如下所述，其他实现是可能的。参照拟合候选点的二次曲线的抛物线来说明本文所述的以下拟合过程，使得抛物线表示眼睑形状。这是为了说明而不是限制。在其他实施方式中，可以在拟合过程期间使用任何合适的数学公式或曲线。例如，曲线可以是非线性数学表达。不同的配方或曲线可用于眼睑104a或104b。

继续进行估计图3中所示的眼睑形状的实例实施方式。如图3所示，可以拟合抛物线以穿过三个(或更多)候选点136a或136b。例如，从候选点136a(对于上眼睑104a)或136b(对于下眼睑104b)的列表提取三个候选点136a或136b的随机子集。随机子集可以通过随机抽样过程或方法进行选择。可以使用随机子集中的候选点136a来制作抛物线拟合曲线140a。在一些实现中，可以确定多个抛物线拟合曲线。如图所示，抛物线拟合曲线140b示出了使用候选点136a的不同子集的上眼睑104a的另一个拟合。抛物线拟合曲线140c或140d使用候选点136b的随机子集示出下眼睑104b的拟合。

为了确定候选点136a的抛物线拟合曲线104a，可以对预定或固定数量的迭代重复如上所述的候选点的子集136a的随机采样，以确定用于拟合抛物线的候选点136a线140a。在其他实施例中，可以重复随机子集采样，直到找到具有多于抛物线拟合曲线140a上(或足够接近抛物线拟合曲线140a)的最小数目的正常(inlier)候选点的抛物线拟合曲线140a为止。例如，如果候选点位于抛物线拟合曲线的阈值距离内，则可将其识别为正常点。仅举一例，该距离可以在0.5至2.0像素的范围内。不同的阈值距离是可能的。在各种实施例中，可以在候选点136a或136b的随机子集采样期间使用上述组合(例如，固定数量的迭代和最小数量的正常点候选点)。

在一些实施例中，对抛物线拟合曲线140a～140d进行评分并与得分阈值进行比较。得分阈值可以指示在特定误差阈值内的眼睑104形状的准确估计。Sobel导数可以用来对抛物线拟合曲线140a～140d进行评分。例如，抛物线拟合曲线140a可以通过沿着抛物线拟合曲线140a沿着每个候选点136a对Sobel导数求和来评分。作为评分的另一个例子，抛物线拟合曲线140a可以通过计数与抛物线拟合曲线140a相交(或足够接近，例如，在若干像素内)的总计候选点的数目来评分。

抛物线拟合曲线140a-140d的得分可以用于识别上眼睑104a或下眼睑104b的优选抛物线。例如，具有最高得分的抛物线拟合曲线可用于确定该眼睑104a或104b的优选抛物线拟合曲线。例如，如果抛物线拟合曲线140a具有比抛物线拟合曲线140b更高的得分，则抛物线拟合曲线140a可以被确定为上眼睑104a的优选抛物线拟合。

当确定优选的抛物线拟合曲线(例如，具有最高得分)时，抛物线拟合不仅可以使用用于确定优选抛物线的候选点的原始子集136a或136b或正常点，而且可以使用其他候选点136a或136b或正常点中的一些或全部。与眼睑的实际测量相比，这样的再拟合过程可以提供更精确的眼睑形状估计。在完成该再拟合过程后，优选的抛物线拟合曲线可以被确定为最能代表眼睑边界并被选作该眼睑边界。

在本文描述的拟合过程期间，对候选点或正常点的随机子集的拟合可导致针对特定眼睑在错误方向上弯曲的线。例如，上眼睑通常向下弯曲并且下眼睑通常向上弯曲。如果适合的线对于特定的眼睑具有错误的曲率(例如，上眼睑的向上曲率或下眼睑的向下曲率)，则可以从评分过程中拒绝该拟合线，从而节省处理资源并提高效率的过程。

因此，在一些实施例中，可以基于拟合线的曲率的符号来拒绝拟合线；对于上眼睑104a拒绝正弯曲而对下眼睑104b拒绝负弯曲。在各种实施方式中，拟合线的曲率被确定为拟合过程的一部分(例如，特定的拟合系数可以代表曲率)，或者拟合线的曲率可以通过取拟合线表示的函数的二阶导数确定。

在一些实现中，眼图像可以可选地用滤波器预处理以从图像中去除高频噪声。滤波器可以是低通滤波器或形态滤波器，例如开滤波器(open filter)。该滤波器可以从角膜缘边界去除高频噪声，从而消除可能阻碍眼睑形状估计的噪声。

尽管前面的实例已经在将抛物线拟合到眼睑的上下文中进行了描述，但这是为了说明而不是限制。在其他实施方式中，在拟合过程中可以使用任何合适的用于眼睑形状的函数形式。上眼睑104a的函数形式可以但不一定与下眼睑104b的函数形式不同。眼睑的函数形式可以是二次曲线(其包括作为特定情况的抛物线)、多项式(例如，具有高于代表二次曲线形式的2的度)、样条、有理函数或任何其他适当的函数。此外，在其他实施方式中，眼睑形状估计技术可以使用随机样本一致性(RANSAC)算法来将候选点136a或136b拟合到眼睑104a或104b的函数形式。眼睑形状估计技术可以使用其他统计或优化算法来将眼睑形状拟合至候选点136a或136b。

实例眼睑形状估计方法

图4是眼睑形状估计的实例方法400的流程图。方法400可以由硬件处理器来实现，例如增强现实设备的硬件方法。方法400在框404处开始。在框408处，接收眼睛图像。眼图像可以从包括图像捕获设备、头戴式显示***、服务器、非临时性计算机可读介质或客户计算设备(例如，智能手机)的各种源接收。眼睛图像可以包括眼睛100的眼睑104、巩膜108(眼睛的“白”)、虹膜112和瞳孔116。

在框412处，可以在眼睛图像中的眼睛100之上生成眼睛盒120。通过将眼睛盒120覆盖在眼睛图像中的眼睛100上之，可以在眼睛图像中的眼睛100上生成眼睛盒120。眼睛盒120可以通过将眼睛盒120映射到眼睛图像的特定部分而覆盖在眼睛图像上。在一些实现中，眼睛盒120可以通过诸如头戴式显示器***的显示***以计算方式覆盖在眼睛图像上。在确定了角膜缘边界112a或角膜缘边界112a的近似值之后，眼睛盒120可以被覆盖在眼睛图像中的眼睛100上。例如，在确定角膜缘边界112a之后，眼睛盒120可以覆盖，使得角膜缘边界112a位于覆盖在眼睛图像上的眼睛盒120的边界内。未被眼睑104覆盖的虹膜112的区域可以在眼睛盒120的边界内。在一些实现中，块412是可选的，因为眼睛图像可以仅包括用于眼睑形状估计的眼睛100的特定部分。在一些这样的实现中，眼睛图像的一个或多个边缘与眼睛盒120的相应边缘类似地起作用。

眼睛盒120可以是矩形的。眼睛盒120的尺寸可以设定为包括整个虹膜112的最小尺寸定界盒子。例如，眼睛盒120可以被成形为使得在图2中的眼睛盒120的垂直边缘124a1、124a2与虹膜112的角膜缘边界112a的最外部分相切。眼睛盒120可以被成形为使得眼睛盒120的水平边缘124b1(或124b2)基本上在上眼睑104a(或下眼睑104b)和虹膜112的边界之外延伸。因此，眼睛盒120的形状可以基于遮挡虹膜112的上眼睑104a或下眼睑104b的边缘而改变。

在一些实施例中，框412可以是可选的。所接收的眼睛图像可以仅包括眼睛100的部分。例如，眼睛图像可以包括眼睛100的眼睑104、巩膜108、虹膜112和瞳孔116的部分。作为另一实例，框120可以包括未被眼睑104覆盖的虹膜112的区域。如果角膜缘边界112a或角膜缘边界112a的一部分在眼睛盒120的边界内，则在眼睛图像中眼睛100上方生成眼睛盒120是可选的。眼睛图像的边缘可以被考虑为是眼睛盒120的边缘。所接收的眼睛图像可以被考虑为是在具有对应于眼睛图像的边缘的边缘的眼睛盒120内。

在框416处，可以从瞳孔116(例如从瞳孔116的中心或瞳孔116的中心周围发出)朝眼睛盒120的顶部缘124b1(对于上眼睑104a)或朝向眼睛盒120的底边缘124b2(用于下眼睑104b)生成多条径向线128a。径向线128a可以是从较靠近上眼睑104a的水平边缘124b1的第一像素到较靠近下眼睑104b的水平边缘124b2的最后像素的线。径向线128a可以是从更靠近上眼睑104a的水平边缘124b1的第二像素到更靠近下眼睑104b的水平边缘124b2的第n-1像素的线，其中n表示眼睛盒120的宽度。

(对于每个眼睑)径向线128a的数量可以与以像素测量的图像的宽度一样多，或者其可以是该宽度的亚采样。例如，可以使用采样方法来选择用于眼睑形状估计的特定径向线，以便足够的线跨过眼睑以提供与眼睑形状的良好拟合。在其他实施例中，径向线128a的数量可被优化为允许在特定误差阈值内估计眼睑形状的线的最小数量(例如，三个)。线的数量可以代表眼睛图像中眼睑所对向的典型角度范围，其通常小于180度(对于每个眼睑)。

在框420处，可以为多条径向线128a确定候选点136a或136b。候选点136a或136b可以使用例如边缘检测来确定。边缘检测可以通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可以将Canny边缘检测器应用于图像以检测图像线条中的边缘。边缘是沿着与局部最大导数相对应的线定位的点。检测到的点可以被称为候选点。边缘检测器还可以从候选点中检测并排除不感兴趣的点。例如，沿着瞳孔边界116a或角膜缘边界112a的点可以从候选点中排除。可选地，在应用边缘检测之前，可以将滤波器应用于眼睛图像以过滤高频噪声。例如，可以将形态开滤波器应用于眼睛图像。

在框424处，将眼睑形状曲线拟合至候选点。眼睑形状曲线可以是抛物线形状的抛物线拟合曲线140a。可以拟合抛物线以穿过三个(或更多)候选点136a。例如，三个候选点136a的随机子集是从候选点列表136a中提取的。随机子集可以通过随机采样过程或方法进行选择。抛物线拟合140a可以使用该随机子集中的候选点进行。抛物线拟合曲线140c使用候选点136b的随机子集示出下眼睑104b的拟合。

可选地，在判定框428，确定眼睑形状曲线是优选的眼睑形状曲线。例如，可以对眼睑形状曲线进行评分并与得分阈值进行比较。得分阈值可以指示在特定误差阈值内的眼睑104形状的准确估计。Sobel导数可用于评分眼睑形状曲线。例如，眼睑形状曲线可以通过沿着眼睑形状曲线沿着每个候选点136a或136b对Sobel导数求和来评分。作为评分的另一个例子，眼睑形状曲线可以通过计数与眼睑形状曲线相交(或足够接近，例如，在多个像素内)的全部候选点136a或136b的数量来评分。如果在框424确定的眼睑形状曲线不是优选的眼睑形状曲线，则重复框424。如果在框4224处确定的眼睑形状曲线是优选的眼睑形状曲线，则方法400前进至框432。

在框432处，当确定优选的眼睑形状曲线时，可以可选地使用正常点来重复眼睑形状曲线的拟合。与眼睑104的实际测量结果相比较，这样的再拟合方法可以提供对眼睑形状的更精确的估计。在完成该在拟合方法时，通过再拟合方法拟合的眼睑形状曲线可以被确定为眼睑边界的最佳代表并被选为眼睑边界。之后，在方框436处，方法400结束。

图5是眼睑形状估计的另一实例方法500的流程图。方法500可以由硬件处理器来实现。方法500在框504处开始。在框508处，接收眼睛图像。可以从各种来源接收眼睛图像，包括但不限于：图像捕获设备、头戴式显示***、服务器、非暂时性计算机可读介质或客户端计算设备(例如，智能手机)。

在框520处，可将边缘检测应用于眼睛图像以确定候选点136a或136b。边缘检测可以通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可以将Canny边缘检测器应用于图像以检测图像线条中的边缘。边缘可以是沿着对应于局部最大导数的线的点。检测到的点可以被称为候选点136a或136b。边缘检测器还可以从候选点中检测并排除不感兴趣的点。例如，沿着瞳孔边界116a或角膜缘边界112a的点可以从候选点136a或136b中排除。可选地，在应用边缘检测之前，可以将滤波器应用于眼睛图像以过滤高频噪声。例如，可以将形态滤波器应用于眼睛图像。

在框524处，眼睑形状曲线140a-140d可以拟合至候选点136a或136b。在各种实施方式中，眼睑形状曲线140a-140d可以根据如上参考图3描述的各种拟合方法进行拟合。此后，在框536处，方法500结束。

在各种实施例中，方法400或500可以由头戴式显示器***的硬件处理器来执行。在其他实施例中，具有计算机可执行指令的远程计算设备可以使得头戴式显示***执行方法400或500。在方法400或500的一些实施例中，要素可以以不同于上述的顺序发生。本领域技术人员将认识到，附加的变化是可能的并且在本公开的范围内。

实例眼睑形状估计方法排除沿瞳孔边界或角膜缘边界的潜在候选点作为候选点

在一些实施例中，排除沿着瞳孔边界116a或角膜缘边界112a的潜在候选点作为候选点136a或136b可能是有利的。在瞳孔边界116a或角膜缘边界112a的阈值距离(例如，2个像素)上或之内的潜在候选点可被排除为候选点136a或136b。剩余的候选点136a或136b可以用于确定上眼睑形状或下眼睑形状。如果用于确定眼睑形状的候选点136a或136b包括沿着瞳孔边界116a或角膜缘边界112a的点，则所确定的眼睑形状可能不准确。此外，为了确定准确的眼睑形状，例如高于得分阈值的眼睑形状，候选点可能必须被多次采样以确定眼睑的多个可能的眼睑形状曲线。确定眼睑的多个可能的眼睑形状曲线需要更多的计算，由此可能欠效率。

图6是眼睑形状估计的实例方法600的流程图，其排除沿着瞳孔边界或角膜缘边界的潜在候选点作为候选点。方法600在604处开始。在框608处，接收眼睛图像。可以从图像捕获设备、头戴式显示***、服务器、非临时性计算机可读介质或客户端计算设备(例如，智能手机)接收眼睛图像。眼睛图像中的角膜缘边界112a或眼睛图像中的瞳孔边界116a可以在方框608处被接收或确定。在框610处，眼睛图像可以可选地用滤波器进行处理以去除高频噪声(例如，形态开过滤器)。

在框612处，可将眼镜盒120覆盖在眼睛图像上，使得虹膜112(例如，由角膜缘边界112a和瞳孔边界116a之间的区域表示)位于眼睛盒120的边界内部，在一些实施方式中，眼睑104或眼睑104的一部分也可以在眼睛盒120的边界内。眼睛图像可以被裁剪以具有最小图像尺寸，使得虹膜112在眼睛盒120的边界。眼睛盒120的形状在不同的实施方式中可以不同。例如，眼睛盒120可以是矩形的。如方法400的框412一样，框612可以是可选的。

在框614，可以使用边缘检测器来检测眼睛图像中的边缘。眼睛图像中的边缘通常可以代表瞳孔边界116a、角膜缘边界112a和眼睑104。边缘检测器可以是Canny边缘检测器。眼睛图像中的边缘可以是眼睛图像中的局部最大导数。在一些实现中，局部最大导数可以被预先计算并存储在查找表中。

在框616处，可以在眼睛盒120内部生成多条径向线128a或垂直线128b。径向线128a从瞳孔116的中心或者中心周围朝向眼睛盒120的顶边缘124b1发出并且可以用于确定上眼睑104a。在一些实施方式中，垂直线128b从等分线132朝向顶边缘124b1发出并且可以用于确定上眼睑104a。

在框620处，可以为多条径向线128a确定候选点136a。径向线128a的候选点136a可以是与眼睛图像中的边缘相交的径向线128a的点。候选点136a可以使用边缘检测器来确定。眼图像中的候选点136a可以具有眼图像中的局部最大导数，其可以可选地存储在查找表中。可选地，如果潜在候选点沿着瞳孔边界116a或角膜缘边界112a，则潜在候选点可以从候选点136a中排除。潜在候选点可以在瞳孔边界116a或角膜缘边界112a的阈值距离(例如，2个像素)上或之内。剩余的候选点136a可以用于确定上眼睑104a。

在框624，可以从候选点136a确定与眼睑形状的数学拟合。例如，可以使用RANSAC或其他优化或拟合算法。在一个说明性实现中，对于一些数目的迭代，执行以下操作。可以选择候选点的子集136a。眼睑形状曲线可以拟合到所选择的候选点136a的子集。具有抛物线形状的眼睑形状曲线可以是抛物线拟合曲线140a。在一些实现中，眼睑形状曲线不具有抛物线形状。可以将与眼睑形状曲线相交(或者位于抛物线拟合曲线的阈值距离内)的候选点136a的数量确定为眼睑形状曲线的得分。在一些实施方式中，可以将候选点136a到眼睑形状曲线的平均距离确定为眼睑形状曲线的得分。在下一次迭代中，可以使用候选点136a的不同子集来确定眼睑形状曲线。这些操作可以重复进行多次迭代。迭代的次数可以是固定的数目，或者可以迭代操作直到找到具有多于最小数量的正常候选点的眼睑形状曲线。正常候选点可以是在眼睑形状曲线的阈值距离(例如，多个像素)内的候选点136a。

在框628处，可以选择具有大得分例如最大得分的眼睑形状曲线作为初始候选眼睑形状曲线。在一些实现中，初始候选眼睑形状曲线具有足够高的得得分(例如，高于阈值)以被考虑为准确地表示眼睑形状。

可选地，在框632处，可以识别初始眼睑形状候选曲线的正常点。例如，正常点可以包括在初始眼睑形状候选曲线的阈值距离(例如，多个像素)上或之内的候选点136a。剩下的候选点是异常点，因为不能代表眼睑形状而被丢弃。通过拟合一些或所有的正常点，可以确定新的眼睑形状曲线(例如，新的抛物线拟合曲线140a)。由此产生的眼睑形状曲线可以被认为是眼睑形状的最佳估计。

方法600可对于下眼睑104b重复。例如，方法600的块620、624、628和632可以对于下眼睑104b重复。确定上眼睑104a和下眼睑104b的顺序在不同的实施方式中可以不同。例如，可以在确定下眼睑104b的形状之前确定上眼睑104a的形状。作为另一个例子，可以在确定上眼睑104a的形状之前确定下眼睑104b的形状。作为又一例子，可以并行地确定上眼睑104a的形状和下眼睑104b的形状。方法600在框636处结束。

用于视频处理的眼睑形状估计的实例应用

使用本文公开的眼睑形状估计技术的***和方法可以解决或改进对视频图像的上下文中的图像处理中的经典问题的其他解决方案。另外可以解决图像处理中的其他问题。例如，眼睑形状估计技术可以用于视频中的帧的图像分类(例如，识别眼睛的虹膜112)，以及用于视频的一个或多个帧内的特定对象类型的定位(例如，上眼睑104a的位置)。作为另一实例，眼睑形状估计技术可以应用于视频以用于眼睛追踪的应用(例如，确定眼睛的取向或方向)。

在一些这样的应用中，如下面将进一步讨论的，可穿戴显示***可以包括处理器，该处理器对由可操作地耦合到(例如，附着到或包含在)图像捕获设备所获取的视频数据执行眼睑形状估计。图像捕获设备可以获取佩戴者的眼睛或佩戴者身体的其他部件(例如，手或手指)的视频以用于生成眼睛盒120或基于眼睑形状估计技术估计眼睑形状。

眼睑形状估计技术的使用有利地允许识别(例如，从可穿戴显示器***中的图像捕获设备获取的)视频中的眼睑，这可以允许改进对视频中的对象的识别或分类，例如生物信息。例如，常规虹膜分割技术可能难以确定眼睛的分割。然而，因为(通常)虹膜112的一部分将被眼睑104遮挡，而瞳孔116(通常)没有被遮挡，所以本文所述的眼睑形状估计技术可用于更好地区分瞳孔边界116a和角膜缘边界112a。因此，如图1-4所示，眼睑形状估计技术可用于识别未被眼睑104遮挡的眼睛100的部分，并且可提供用于生物特征提取中的更精确的虹膜分割。

实例可穿戴显示***

在一些实施例中，用户设备可以是可穿戴的，其可以有利地提供更沉浸式的虚拟现实(VR)、增强现实(AR)、体验，其中数字再现的图像或其部分以其看起来似乎是或可能被认为是真实的的方式呈现给穿戴者。

不受理论限制，相信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。例如，包含波导的叠层的显示器可以被配置为佩戴在用户眼睛或观察者的眼前。通过使用多个波导将来自图像注射装置(例如，分立显示器或通过一个或多个光线管送图像信息的多路显示器的输出端)的光以与特定波导相关联的深度平面相对应的特定角度(和发散量)导引到观看者的眼睛。

在一些实施例中，可以利用两个波导的叠层(每个用于观看者的每只眼睛)来向每只眼睛提供不同的图像。作为一个例子，增强现实场景可以是这样的，即AR技术的佩戴者看到真实世界的公园般的环境，其特征在于背景中的人物、树木、建筑物和具体平台。除了这些项目之外，AR技术的佩戴者也可能认为他“看到”站在现实世界平台上的机器人雕像，并且一个卡通形象的化身角色飞行，似乎是一个大黄蜂的化身，即使机器人雕像和大黄蜂不存在于现实世界中。波导的叠层可用于生成对应于输入图像的光场，并且在一些实现中，可穿戴显示器包括可穿戴光场显示器。在美国专利公开号2015/0016777中描述了用于提供光场图像的可穿戴显示设备和波导叠层的实例，其全部内容通过引用结合于此。

图7示出了可用于向显示***佩戴者或观看者704呈现VR、AR或MR体验的可穿戴显示***700的实例。可穿戴显示***700可被编程为执行所描述的任何应用或实施例在此(例如，眼睛盒生成或眼睑形状估计)。显示***700包括显示器708以及支持显示器708的功能的各种机械和电子模块和***。显示器708可以耦合到框架712，框架712可由显示器***佩戴者或观看者704佩戴，并且被配置成将显示器708定位在佩戴者704的眼睛的前方。显示器708可以是光场显示器。在一些实施例中，扬声器716被耦合到框架712并被定位在用户的耳道附近，另一个扬声器(未示出)被定位在用户的另一个耳道附近以提供立体声/可塑形声音控制。显示器708例如通过有线引线或无线连接可操作地耦合720到本地数据处理模块724，本地数据处理模块724可以以各种配置安装，诸如固定地附接到框架712，固定地附接到用户佩戴的头盔或帽子，嵌入在耳机中，或以其他方式可移除地附接到用户704(例如，以背包式配置、以腰带耦合风格配置)的帽子。

本地处理和数据模块724可以包括硬件处理器以及诸如非易失性存储器(例如闪存)的非暂时性数字存储器，两者都可以用于辅助处理、缓存和存储数据。数据包括从传感器(其可以例如可操作地耦合到框架712或以其他方式附接到穿戴者704)，诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪，捕获的数据(a)；和/或使用远程处理模块728和/或远程数据储存库732获取和/或处理的数据(b)，可能在这样的处理或检索之后传递给显示器708。本地处理和数据模块724可以通过通信链路736、740诸如经由有线或无线通信链路可操作地耦合到远程处理模块728和远程数据储存库732，使得这些远程模块728、732可操作地耦合彼此连接并且作为本地处理和数据模块724可用的资源。图像捕捉设备可用于捕捉在眼睑形状估计方法中使用的眼睛图像。

在一些实施例中，远程处理模块728可以包括一个或多个处理器，其被配置为分析和处理数据和/或图像信息，例如由图像捕获设备捕获的视频信息。视频数据可以本地存储在本地处理和数据模块724中和/或远程数据储存库732中。在一些实施例中，远程数据储存库732可以包括数字数据存储设施，其可以通过互联网可用或者“云”资源配置的其他网络配置。在一些实施例中，所有数据都被存储并且所有计算在本地处理和数据模块724中被执行，从而允许从远程模块完全自主使用。

在一些实现中，本地处理和数据模块724和/或远程处理模块728被编程为执行如本文所公开的生成眼睛盒和估计眼睑形状的实施例。例如，本地处理和数据模块724和/或远程处理模块728可以被编程以执行在此描述的实施例。本地处理和数据模块724和/或远程处理模块728可以被编程为在生物提取中使用本文公开的眼睑形状估计技术，例如以识别或认证佩戴者704的身份，或者在眼睛注视或姿势估计，例如以确定每只眼睛观看的方向。图像俘获装置可俘获特定应用的视频(例如，用于眼睛追踪应用的佩戴者的眼睛的视频或用于手势识别应用的佩戴者的手或手指的视频)。可以通过处理模块724、728中的一个或两个使用眼睑估计技术来分析视频。通过该分析，处理模块724、728可以执行眼睑形状估计或检测和/或生物提取、眼睛姿态确定等。在一些情况下，将至少一些眼睑形状估计卸载到远程处理模块(例如，在“云”中)可以提高计算的效率或速度。可以将用于眼睑形状估计的参数(例如，权重、偏置项、随机子集采样因子、滤波器的数量和尺寸(例如，Sobel导数运算符等))存储在数据模块724和/或732中。

作为图像处理的说明性实例，处理模块724可以从从图像捕捉设备接收的眼睛图像中提取和构思生物信息为数字表示。处理模块724还可以执行数值计算以表示作为将从眼睛图像提取的生物信息转换为图像处理结果的传递函数的眼睛盒。进而，图像处理结果可以被用于进一步处理，例如在这里描述的眼睑形状估计方法中。图像处理结果和传递函数都可以存储在远程数据储存库732中。尽管图像处理的这个说明性实例是用处理模块724处理的，但是在各种实现中，远程处理模块728可以执行眼睛图像的这样的图像处理。另外，处理模块724、728可以一起执行眼睛图像的这样图像处理。

视频分析(例如眼睑的估计形状)的结果可以由处理模块724、728中的一个或两个用于额外的操作或处理。例如，在各种应用中，可穿戴显示***700可以使用生物识别、眼睛跟踪、手势识别或分类、对象、姿势等。例如，可以使用佩戴者的眼睛的视频用于眼睑形状估计，其又可由处理模块724、728用来通过显示器708确定佩戴者704的注视方向。可穿戴显示***700的处理模块724、728可以是用眼睛盒生成或眼睑形状估计的一个或多个实施例编程，以执行本文描述的任何视频或图像处理应用。

附加方面

本文描述的眼睑形状估计技术可以应用于图像(例如，视频帧)。眼睛盒生成和眼睑形状估计都可以一起看作是处理眼睛图像的单个过程和/或方法。

在第一方面中，公开了一种用于眼睑形状估计的方法。该方法处于硬件处理器的控制下，并且包括：在眼睛图像中的眼睛上生成眼睛盒，其中眼睛盒形状为矩形，具有上边缘和下边缘，其中上边缘覆盖眼睛的上眼睑一部分并且其中下边缘覆盖眼睛的下眼睑的一部分；生成从近似眼睛盒的中心延伸到上边缘或下边缘的多条径向线，使用边缘检测器确定多条径向线上的候选点；以及从候选点的子集中确定抛物线拟合曲线，其中抛物线拟合曲线是眼睛图像中眼睛的眼睑形状的估计。

在第二方面，方面1的方法，其中眼睛盒的形状为正方形。

在第三方面，方面1-2中任一所述的方法，还包括：确定所述抛物线拟合曲线的得分高于阈值得分；并且确定抛物线是眼睛图像中眼睛的眼睑形状的优选估计。

在第四方面，方面3的方法，其中确定抛物线拟合曲线的得分高于阈值得分包括确定与抛物线拟合曲线相交的候选点的数目。

在第五方面，方面3的方法，其中确定抛物线拟合曲线的得分包括确定在抛物线拟合曲线的阈值距离内的候选点的数量。

在第六方面，方面1-5中任一所述的方法，其中使用所述边缘检测器来确定所述多条径向线上的所述候选点包括：使用边缘检测器确定在所述多条径向线的子集上所述候选点。

在第七方面中，公开了一种头戴式显示***。该头戴式显示器包括：图像捕获装置，被配置为捕获眼睛的眼睛图像；非暂时存储器；以及与所述非暂时性存储器通信的硬件处理器，所述硬件处理器被编程为：从所述图像捕获装置接收所述眼睛图像；确定眼睛图像中的候选点；并且使用候选点的第一子集来确定眼睛的眼睑形状。

在第八方面，方面7的头戴式显示器***，其中确定眼睛图像中的候选点包括：识别包括眼睛的瞳孔和眼睛的虹膜的至少一部分的眼睛图像的一部分。

在第九方面，根据方面8所述的头戴式显示器***，其中，识别所述眼睛图像的所述部分包括在所述眼睛图像中的所述瞳孔的所述部分和所述虹膜的所述部分上生成眼睛盒。

在第十方面，如方面7-9中任一所述的头戴式显示器***，其中所述非暂时性存储器被配置为存储边缘检测器，并且其中确定所述眼睛图像中的候选点包括：生成围绕眼睛的虹膜的眼睛盒，其中眼睛盒的第一边缘与眼睛的角膜缘边界相切；产生延伸到所述眼睛盒的第二边缘的多条线；以及使用边缘检测器确定多条线上的候选点。

在第十一方面，方面10的头戴式显示器***，其中围绕眼睛的虹膜产生眼睛盒包括在眼睛图像上的眼睛上覆盖眼睛盒。

在第十二方面，根据方面10所述的头戴式显示器***，其中所述多条线包括多条径向线，并且其中所述多条径向线从所述眼睛盒的大致中心延伸到所述眼睛盒的第二边缘。

在第十三方面中，方面12的头戴式显示器***，其中眼睛的瞳孔大致位于眼睛盒的中心。

在第十四方面中，方面10-13中任一所述的头戴式显示器***，其中，所述多条线包括多条垂直线，并且其中，所述多条垂直线从所述眼睛盒的等分线延伸到眼睛盒的第二边缘。

在第十五方面中，方面14的头戴式显示器***，其中所述二等分线穿过眼睛图像中的眼睛的瞳孔。

在第十六方面中，方面10-15中任一所述的头戴式显示器***，其中，所述候选点包括具有沿着所述多条线的局部最大导数的点。

在第十七方面，方面10-16中任一所述的头戴式显示器***，其中，所述候选点不沿着瞳孔边界或角膜缘边界。

在第十八方面中，方面10-17中的任一个所述的方法，其中所述硬件处理器还被编程为：在确定所述候选点之前，将形态滤波器应用于所述眼睛图像。

在第十九方面，方面7-18中任一所述的头戴式显示器***，其中使用所述候选点的所述第一子集来确定所述眼睑形状包括使用所述候选点的所述第一子集来确定所述眼睑形状的函数形式。

在第二十方面中，方面19的头戴式显示器***，其中函数形式是抛物线或多项式。

在第二十一方面，方面7-20中任一所述的头戴式显示器***，其中使用候选点的第一子集来确定眼睑形状包括如果确定的眼睑形状具有负曲率并且确定的眼睑形状是上眼睑的估计或者如果确定的眼睑形状具有正曲率并且确定的眼睑形状是下眼睑的估计，使用候选点的第二子集来重新确定眼睑形状。

在第二十二方面，公开了一种用于眼睑形状估计的方法。该方法在硬件处理器的控制下并且包括：识别包括眼睛的瞳孔和虹膜的至少一部分的眼部图像的一部分；产生延伸到所述眼部图像的所述部分的上边缘或下边缘的多条线；使用边缘检测器确定所述多条线上的候选点；以及使用候选点的子集来确定眼睑形状。

在第二十三方面，方面22的方法，其中使用候选点的子集来确定眼睑形状包括：使用候选点的第一子集来确定眼睑形状的第一函数形式；使用候选点的第二子集来确定眼睑形状的第二函数形式；确定眼睑形状的第一函数形式的得分；确定眼睑形状的第二函数形式的得分；并且如果第一函数形式的得分大于第二函数形式的得分，则确定眼睑形状的优选估计是眼睑形状的第一函数形式，否则是眼睑形状的第二函数形式。

在第二十四方面中，方面22-23中任一所述的方法，还包括：随机地对所述候选点进行采样以生成所述候选点的所述子集。

在第二十五方面中，方面22-24中任一所述的方法，其中所述边缘检测器包括Sobel滤波器，并且其中使用所述边缘检测器确定所述多条线上的所述候选点包括：将所述Sobel滤波器与该眼睛图像卷积用于生成导数逼近图像结果；并使用导数逼近图像结果识别候选点。

在第二十六方面中，方面22-25中任一所述的方法，其中识别所述眼睛图像的所述部分包括在所述眼睛图像中在所述眼睛上生成眼睛盒。

在第二十七方面中，公开了一种用于处理眼睛图像的方法。该方法在硬件计算机处理器的控制下执行，并且包括：生成线，其延伸到界定眼睛图像中的眼睛的虹膜的眼睛盒的上边缘或下边缘；选择该线的最大导数的候选点；以及确定与眼睛图像中的眼睛的眼睑的形状相匹配的最佳拟合曲线。

在第二十八方面，方面27的方法，其中线包括从眼睛图像中的眼睛的瞳孔的中心延伸到界定虹膜的眼睛盒的上边缘或下边缘的径向线，并且其中候选点是径向线的最大平行Sobel方向导数。

在第二十九方面中，方面27-28中任一所述的方法，其中所述线包括从通过眼睛图像中眼睛的瞳孔的水平等分线到界定所述眼睛图像中的所述眼睛的虹膜的所述眼睛盒的上边缘或下边缘的垂直线，并且其中所述候选点是所述垂直线的最大垂直Sobel导数。

在第三十方面，方面27-29中任一所述的方法，其中确定与所述眼睛图像中的眼睛的眼睑的形状相匹配的最佳拟合曲线包括：随机地对所述候选点进行采样以生成候选点数的子集；使用候选点的子集确定匹配眼睑形状的最佳拟合曲线。

在第三十一方面，方面27-30中任一方面的方法，其中最佳拟合曲线具有在最佳拟合曲线上或接近最佳拟合曲线的最大数目的候选点。

在第三十二方面，方面31的方法，其中最佳拟合曲线上或接近最佳拟合曲线的候选点的最大数目高于候选点阈值的最大数目。

在第三十三方面，方面27-30中任一方面的方法，其中最佳拟合曲线沿着最佳拟合曲线具有最大集成(integrated)Sobel导数。

第三十四方面，方面33的方法，其中沿最佳拟合曲线的最大集成Sobel导数高于Sobel导数阈值。

第三十五方面，方面27-34中任一所述的方法，还包括在选择所述候选点之前应用形态滤波器。

在第三十六方面，方面35的方法，其中形态滤波器是开形态滤波器。

在第三十七方面，方面27-36中任一所述的方法，还包括：拒绝具有不正确曲率的最佳拟合曲线的候选曲线。

在第三十八方面，37方面所述的方法，其中，如果候选曲线具有正曲率，并且其中眼睑是上眼睑，则最佳拟合曲线的候选曲线具有不正确的曲率。

在第三十九方面，37方面所述的方法，其中如果候选曲线具有负曲率并且其中眼睑是下眼睑，则最佳拟合曲线的候选曲线具有不正确的曲率。

在第四十方面，方面27-39中任一所述的方法，还包括：预先计算所述线的最大导数；并将最大导数存储在查找表中。

在第四十一方面中，方面40的方法，其中具有线的最大导数的候选点包括使用查找表来选择候选点。

结论

这里描述和/或附图中描绘的过程、方法和算法中的每一个可以体现在由一个或多个物理计算***、硬件计算机处理器、应用专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算***可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实现中，特定操作和方法可以由专用于给定功能的电路来执行。

此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，使得应用专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。

代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来通信。

在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性实例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算***或代码模块可以执行本文描述的功能中的一些或全部。这里描述的方法和过程也不限于任何特定的序列，并且与其相关的块、步骤或状态可以以适当的其他序列来执行，例如串行、并行或以某种其他方式。可以向所公开的实例实施例添加任务或事件或者从中移除任务或事件。此外，这里描述的实现中的各种***组件的分离是出于说明的目的，并且不应该被理解为在所有实现中都需要这种分离。应该理解，所描述的程序组件、方法和***通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实现变化是可能的。

过程、方法和***可以在网络(或分布式)计算环境中实现。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)，个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。

本公开的***和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中定义的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开一致的最宽范围，本文公开的原理和新颖特征。

在本说明书中在分开的实现方式的上下文中描述的某些特征也可以在单个实现中组合实现。相反，在单个实现的上下文中描述的各种特征也可以分开或者以任何合适的子组合在多个实现中实现。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。

除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在上下文中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。

如本文所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A、B、C，、A和B、A和C、B和C以及A、B和C。连接语言例如短语“X、Y和Z中的至少一个”，除非另有特别说明，否则在通常用于表达项目，术语等可以是X、Y或Z中的至少一个。因此，这样的连接语言通常并不意味着某些实施方案需要X中的至少一个，Y中的至少一个和Z中的至少一个存在。

类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个实例过程。然而，未示出的其他操作可以并入示意性说明的实例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实现中的各种***组件的分离不应该被理解为在所有实现中都需要这种分离，并且应该理解，所描述的程序组件和***通常可以一起集成在单个软件产品中或者封装到多个软件产品。另外，其他实现在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。

Claims (26)

1.一种用于眼睑形状估计的方法，包括：

在硬件处理器的控制下：

在眼睛图像中的眼睛上生成眼睛盒，

其中所述眼睛盒为矩形形状，具有上边缘和下边缘，

其中所述上边缘覆盖所述眼睛的上眼睑的一部分，以及

其中所述下边缘覆盖所述眼睛的下眼睑的一部分；

产生从所述眼睛盒的近似中心延伸至所述上边缘或所述下边缘的多条径向线，

使用边缘检测器确定所述多个径向线上的候选点；以及

从所述候选点的子集确定抛物线拟合曲线，其中所述抛物线拟合曲线是所述眼睛图像中的所述眼睛的眼睑形状的估计。

2.根据权利要求1所述的方法，其中所述眼睛盒是正方形的。

3.如权利要求1所述的方法，还包括：

确定所述抛物线拟合曲线的得分高于阈值得分；以及

确定所述抛物线拟合曲线是所述眼睛图像中所述眼睛的所述眼睑形状的优选估计。

4.根据权利要求3所述的方法，其中确定所述抛物线拟合曲线的得分高于所述阈值得分包括确定与所述抛物线拟合曲线相交的所述候选点的数量。

5.如权利要求3所述的方法，其中确定所述抛物线拟合曲线的得分包括确定在所述抛物线拟合曲线的阈值距离内的所述候选点的数量。

6.根据权利要求1所述的方法，其中使用所述边缘检测器确定所述多个径向线上的所述候选点包括使用所述边缘检测器来确定所述多个径向线的子集上的所述候选点。

7.一种头戴式显示***，包括：

图像捕捉设备，被配置为捕捉眼睛的眼睛图像；

非暂时性存储器；以及

硬件处理器，与所述非暂时性存储器通信，所述硬件处理器被编程为：

从所述图像捕获装置接收所述眼睛图像；

确定所述眼睛图像中的候选点；以及

使用所述候选点的第一子集来确定所述眼睛的眼睑形状。

8.根据权利要求7所述的头戴式显示器***，其中确定所述眼睛图像中的所述候选点包括：

识别包括所述眼睛的瞳孔和所述眼睛的虹膜的至少一部分的所述眼睛图像的一部分。

9.根据权利要求8所述的头戴式显示器***，其中识别所述眼睛图像的所述部分包括在所述眼睛图像中的所述瞳孔的所述部分和所述虹膜的所述部分之上生成眼睛盒。

10.如权利要求7所述的头戴式显示器***，

其中所述非暂时性存储器被配置为存储边缘检测器，以及

其中确定所述眼睛图像中的所述候选点包括：

围绕所述眼睛的所述虹膜生成所述眼睛盒，其中所述眼睛盒的第一边缘与所述眼睛的角膜缘边界相切；

产生延伸到所述眼睛盒的第二边缘的多条线；以及

使用所述边缘检测器确定所述多条线上的所述候选点。

11.根据权利要求10所述的头戴式显示器***，其中围绕所述眼睛的所述虹膜产生所述眼睛盒包括在所述眼睛图像中的所述眼睛之上覆盖眼睛盒。

12.根据权利要求10所述的头戴式显示器***，其中所述多条线包括多条径向线，并且其中所述多条径向线从所述眼睛盒的近似中心延伸到所述眼睛盒的所述第二边缘。

13.根据权利要求12所述的头戴式显示器***，其中所述眼睛的所述瞳孔近似位于所述眼睛盒的所述中心。

14.根据权利要求10所述的头戴式显示器***，其中所述多条线包括多条垂直线，并且其中所述多条垂直线从所述眼睛盒的等分线延伸到所述眼睛盒的所述第二边缘。

15.根据权利要求14所述的头戴式显示器***，其中所述等分线穿过所述眼睛图像中的所述眼睛的所述瞳孔。

16.根据权利要求10所述的头戴式显示器***，其中所述候选点包括沿着所述多条线具有局部最大导数的点。

17.根据权利要求7所述的头戴式显示器***，其中所述候选点不沿着瞳孔边界或角膜缘边界。

18.如权利要求7所述的方法，其中所述硬件处理器还被编程为：在确定所述候选点之前，将形态滤波器应用于所述眼睛图像。

19.根据权利要求7所述的头戴式显示器***，其中使用所述候选点的所述第一子集来确定所述眼睑形状包括使用所述候选点的所述第一子集来确定所述眼睑形状的函数形式。

20.根据权利要求19所述的头戴式显示器***，其中所述函数形式是抛物线或多项式。

21.根据权利要求7所述的头戴式显示器***，其中，使用所述候选点的所述第一子集来确定所述眼睑形状包括：如果所确定的眼睑形状具有负曲率并且所确定的眼睑形状是所述上眼睑的估计，或者如果所确定的眼睑形状具有正曲率并且所确定的眼睑形状是所述下眼睑的估计，则使用所述候选点的第二子集来重新确定所述眼睑形状。

22.一种用于眼睑形状估计的方法，所述方法包括：

在硬件处理器的控制下：

识别包括眼睛的瞳孔和虹膜的至少一部分的眼睛图像的一部分；

产生延伸到所述眼部图像的所述部分的上边缘或下边缘的多条线；

使用边缘检测器确定所述多条线上的候选点；以及

使用所述候选点的子集来确定眼睑形状。

23.根据权利要求22所述的方法，其中使用所述候选点的所述子集来确定所述眼睑形状包括：

使用所述候选点的第一子集来确定所述眼睑形状的第一函数形式；

使用所述候选点的第二子集来确定所述眼睑形状的第二函数形式；

确定所述眼睑形状的所述第一函数形式的得分；

确定所述眼睑形状的所述第二函数形式的得分；以及

如果所述第一函数形式的所述得分大于所述第二函数形式的所述得分，则确定所述眼睑形状的优选估计是所述眼睑形状的所述第一函数形式，否则是所述眼睑形状的所述第二函数形式。

24.根据权利要求22所述的方法，还包括：

随机采样所述候选点以产生所述候选点的所述子集。

25.根据权利要求22所述的方法，其中所述边缘检测器包括Sobel滤波器，并且其中使用所述边缘检测器确定所述多条线上的所述候选点包括：

将Sobel滤波器与所述眼图像进行卷积以生成导数逼近图像结果；以及

使用所述导数逼近图像结果识别所述候选点。

26.根据权利要求22所述的方法，其中识别所述眼睛图像的所述部分包括在所述眼睛图像中在所述眼睛之上生成眼睛盒。