CN107771051A - 眼睛追踪***以及检测优势眼的方法 - Google Patents

Abstract

本发明涉及一种眼睛追踪***(10)以及用于操作眼睛追踪***(10)的方法，用于确定用户的左眼和右眼中的一个是否有优势，其中捕获用户的左眼和右眼的至少一个图像(S30)，基于所述至少一个图像并根据预定义的准确性函数，确定关于左眼的左准确性分数(S34a)和关于右眼的右准确性分数(S34c)，并依赖于至少左准确性分数和右准确性分数确定用户的左眼和右眼中的一个是否有优势(S36)。由此当执行眼睛追踪时，可以提供并考虑与他的眼睛有关的用户特定的特性，使得可以提高眼睛追踪的鲁棒性和准确性。

Description

眼睛追踪***以及检测优势眼的方法

技术领域

本发明涉及眼睛追踪***以及用于操作眼睛追踪***的方法。

背景技术

已知的眼睛追踪***和眼睛追踪设备通常捕获用户的眼睛的图像，并从而确定注视方向、注视点或其他眼睛特征。为了这个目的，可以确定用户的眼睛的位置、方向以及其他特性。为了能够考虑用户特定的特性(例如，眼睛的光轴和视轴之间的偏移)，可以执行校准程序用于校准眼睛追踪***。在这样的校准程序期间，通常以及时方式在显示器上示出校准点(也称为刺激点)，并且用户必须用他的眼睛注视这些校准点。同时，眼睛追踪***捕获用户的眼睛的图像，计算注视或注视点，将计算的注视点与示出的校准点的位置相比较，并确定最小化计算的注视点与示出的校准点之间差异的映射。因此，通过考虑用户特定的眼睛特性，可以提高眼睛追踪质量。

发明内容

本发明的目的是提供用于操作眼睛追踪***的方法和眼睛追踪***，其可以提供更多用户特定的涉及他的眼睛的特性，特别是其可以提高眼睛追踪的鲁棒性和准确性。

通过根据独立权利要求的眼睛追踪***以及用于操作用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪设备的方法解决这个目的。在从属权利要求中呈现发明的有益实施例。

根据依照本发明的用于操作用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪***的方法，捕获用户左眼和右眼的至少一张图像，并基于所述至少一张图像以及根据预定义的准确性函数确定关于左眼的左准确性分数和关于右眼的右准确性分数。此外，依赖于至少左准确性分数和右准确性分数确定用户的左眼和右眼中的一个是否有优势。

通过确定左准确性分数和右准确性分数，特别是这些准确性分数给出关于追踪准确性的信息的方面，所述追踪准确性各个地并分别地关于左眼和右眼，可以简单地确定是否存在优势眼。了解优势眼可以巨大地提高追踪质量。这个的原因是通常将涉及双眼的数据用于眼睛追踪，并因此具有相同的权重。如果存在优势眼或另一方面弱势眼，则这可以导致极大地歪曲眼睛追踪的结果，例如关于计算的注视点。有益地，根据发明，可以确定是否存在优势眼并使用这个结果，例如，用于眼睛追踪目的，也可以用于诊断目的。检测一个人的优势眼可以用以诊断眼睛朝向病理如斜视和弱视。此外，通过自动地检测是否强的眼睛的支配或眼睛朝向病理的存在导致眼睛不能准确地注视对象，可以改善眼睛追踪***的注视点准确性。因此，例如，可以抛弃与非优势眼相关联的眼睛追踪数据或相对于与优势眼相关联的眼睛追踪数据减少权重。

根据至少一个图像的图像数据确定各个准确性分数，其中可以分别地捕获并处理左眼的图像和右眼的图像，例如，可以通过两台分别的照相机或图像传感器捕获左眼和右眼的图像，或另一方面，也可以捕获左右眼的一张共同图像，处理其用于导出关于左眼的图像数据用于确定左准确性分数，以及用于导出关于右眼的图像数据用于确定右准确性分数。并且也优选捕获多于单张图像，特别是大量的图像，例如上百张图像，根据其确定左准确性分数和右准确性分数，因为那么优势眼的确定的结果的准确性和可靠性会显著变高。

根据其计算各个准确性分数的准确性函数可以是预定义的数学公式、算法、查阅表等，其具有各个眼睛的图像数据或根据图像计算的各个眼睛的数据作为输入，并给出各个准确性分数作为输出。此外，特别是自动地，根据本发明的方法可以在校准程序和/或用于确认校准结果的确认程序期间执行。另外，至少部分的方法可以在这样的程序之后使用校准和/或确认程序的结果执行。例如，在校准程序和/或确认程序期间计算的误差，如左眼、右眼的剩余误差以及双眼的剩余误差，可以用作各个准确性分数，并且用于计算这些误差的函数和/或算法可以之后构成准确性函数。

在发明的有益实施例中，依赖于左准确性分数和右准确性分数提供和/或输出信号，特别是指示优势眼的身份的信号。例如，这个信号可以用以输出关于优势眼的信息到用户或另一人(例如在屏幕上)用于诊断目的。另外，信号可以用以指示应当将关于双眼的捕获数据还是仅仅关于左眼或右眼的捕获数据用于眼睛追踪。所以有益地，是否存在优势眼的确定的结果可以提高诊断设备的功能以及眼睛追踪设备的性能和准确性。

此外，基于至少一个图像并根据预定义的准确性函数，可以确定关于左眼和右眼的双眼准确性分数，并且依赖于左准确性分数、右准确性分数以及双眼准确性分数确定用户的左眼和右眼中的一个是否有优势。通过考虑与左眼和右眼相关的双眼准确性分数，其定义例如关于双眼注视或双眼注视点的准确性分数，可以更可靠的做出是否存在优势眼的决定。此外，依赖于左准确性分数、右准确性分数以及双眼准确性分数可以提供并输出上述信号。基于信号然后可以选择用于眼睛追踪的通道(即左通道、右通道或双眼通道)，特别是其中左通道提供关于左眼的眼睛数据，例如，左眼的注视方向或左眼的注视点，右通道相似的提供关于右眼的数据，以及双眼通道提供关于双眼的数据，例如双眼注视或双眼注视点。受益地，基于最佳准确性分数可以选择这三个通道中最佳的用于眼睛追踪。由此，可以优化眼睛追踪的准确性和鲁棒性。

通常，根据关于左眼的至少一张图像的图像数据可以计算左注视方向。左注视点确定为左眼的确定的注视向量与预定义的平面的交点。例如，这个平面可以是监视器的屏幕或显示器，特别是远程监视器，或头戴式显示设备的屏幕或显示器。在支持3D的显示设备的情况中或在用户的眼睛和显示设备之间存在透镜或其他光学***的情况中，该平面也可以是虚拟图像平面。这个平面的坐标对眼睛追踪***是已知的，并且因此可以将注视向量与平面的交点计算为注视点。同样应用于右注视方向和右注视点。双眼注视方向是左眼和右眼的平均的注视方向。可以以几种方式计算双眼注视点。例如，双眼注视点可以计算为双眼注视向量与预定义的平面的交点，或计算为在预定义平面上左注视点和右注视点的中间，或计算为左注视向量和右注视向量的交点在预定义的平面上的投影，例如，在双眼注视方向的方向上。

此外，左准确性分数是左眼的注视点与左设置注视点的偏离的测量，以及右准确性分数是右眼的注视点与右设置注视点的偏离的测量，以及特别可选地，双眼准确性分数是左眼和右眼的双眼注视点与双眼设置注视点的偏离的测量。或换句话说，可以计算这些偏离，并且可以确定或依赖于各个偏离计算左准确性分数、右准确性分数以及也可选的双眼准确性分数，特别是其中当确定各个准确性分数时，也可以考虑其他影响参数。为了确定这些偏离，可以使用与校准程序相似的程序。由此，可以在显示器上示出对应于设置注视点的校准点(也叫作刺激点)，并且可以确定左注视点、右注视点以及双眼注视点以及它们设置注视点的各个偏离或差异。然后，这些偏离可以用以计算关于左眼和右眼的准确性分数，以及用于双眼的双眼准确性分数。除了注视点与设置注视点的这些偏离，当确定各个准确性分数时可以考虑进一步的影响变量，如有效追踪的注视点的数目。依赖于这些影响变量或其他变量的各个准确性分数的计算可以通过预定义的准确性函数定义。因为用于确定各个准确性分数的这个程序与校准程序和/或确认程序相似，所以可以有益地嵌入校准和/或确认程序中，其特别增加时间效率，并最小化计算工作和计算时间。

此外，例如，通常可以在显示器上示出的左设置注视点、右设置注视点和双眼注视点可以(但不必须)在它们的位置上不同。例如，首先一些左设置注视点可以一个接一个在显示器上示出，并且对于每个示出的左设置注视点，可以确定对应的用户的左注视点，特别是在显示器上的用户的左注视点的位置，以及由此可以计算每个确定的左眼注视点与各个左设置注视点的位置的偏离。之后，可以示出一些右设置注视点，并可以类似地确定用户的右注视点以及各个偏离。之后，可以一个接一个地示出一些双眼设置注视点，并也可以类似地确定关于每个双眼设置注视点的用户的双眼注视点以及各个偏离。但为了缩短这一程序，如果将共享的设置点用于左眼、右眼以及双眼而不是将不同的或单独的设置点用于左眼、右眼以及双眼，则这将非常有益。所以，例如可以示出一个设置点，然后其同时构成左设置注视点、右设置注视点以及双眼设置注视点(可选地)，意味着当用户看着那个单个设置点的同时确定用户的右注视点、用户的左注视点以及用户的双眼注视点(可选地)，并且确定左注视点与示出的设置点的偏离、确定右注视点与示出的设置点的偏离以及可选地确定双眼注视点与设置点的偏离。然后对一个接一个示出的一些设置点重复这些。结果，当将共享的设置注视点用于确定左注视点、右注视点以及双眼注视点(可选地)以及各个偏离时，可以节省很多时间，其中示出的设置点越多，这种节省时间的效果越有益，并且此外通过这样对于用户可以实现更舒适。

因此，左设置注视点、右设置注视点以及双眼设置注视点是相同的，并且优选地通过在眼睛追踪***的显示设备上示出要求用户注视的点的有限序列(即刺激点)提供，并/或通过在显示设备上示出要求用户用双眼跟随的点或其他刺激图像的平滑和/或连续的运动，这是发明的优选的以及有益的实施例。例如，可以在显示器或屏幕上示出单个设置注视点作为左设置注视点、右设置注视点及双眼设置注视点，并且然后通过在用户注视示出的设置注视点期间捕获的至少一张图像确定左注视点、右注视点以及双眼注视点，并且可以从确定的注视点与设置注视点的偏离确定各个准确性分数。对于大量以时间顺序或甚至以平滑运动示出的设置注视点可以完成这些，使得可以更精确的确定各个准确性分数。

根据发明的优选实施例，在眼睛追踪***的校准程序期间和/或用于确认校准程序的结果的确认程序期间执行用户的左眼和右眼中的一个是否有优势的确定。因为通常无论以何种方式执行校准程序，这一程序的结果可以有益地用于确定各个准确性分数，并由此确定优势眼。此外，也可以将确认程序的结果用于这一目的，其使得结果愈加可靠。例如，首先可以执行校准程序，在校准程序期间以及时的方式在显示器上示出一些校准点作为设置注视点。当示出这些点时，眼睛追踪***捕获用户的双眼的几张图像并定义校准映射的参数，该校准映射将确定的注视点映射到这样校准的注视点，使得与示出的校准点的偏离最小。之后，可以执行确认程序，在确认程序期间可以在用户必须看着的显示器或屏幕上示出第二设置注视点，并在示出这些点时捕获进一步的图像。基于捕获的进一步的图像并基于校准映射，其参数在校准程序中确定，再一次确定关于每个第二设置点的左注视点、右注视点以及双眼注视点，并再一次计算关于每个第二设置点的左注视点、右注视点以及双眼注视点的误差。然后，这些误差，即关于左眼、关于右眼以及双眼的误差可以用以确定各个准确性分数。

所以通常，在眼睛追踪***的校准程序期间，计算用户的几个第一注视点并与对应的第一设置注视点相比较，其中根据这一比较设置眼睛追踪***的校准参数，使得计算的第一注视点映射到对应的校准的第一注视点。特别地，关于左眼和右眼每一个完成这些，即，单独关于左眼和右眼定义校准映射，使得不丢失关于左眼和右眼的特性之间的差异的信息。

此外，在确认程序期间，计算用户的几个第二注视点并与对应的第二设置注视点相比较。借助于确认程序可以确认校准程序的结果。换句话说，通过执行确认程序可以确定校准是否成功。所以，有益地，这一确认程序可以用于两个目的，即用于确认校准程序的结果，以及另一方面在确认程序期间执行的结果或测量可以用于计算各个准确性分数，并从而确定优势眼。

所以，优选地，根据校准的第一注视点与第一设置注视点的偏离，计算关于左眼、右眼以及关于双眼的校准程序的误差，和/或根据第二注视点与第二设置注视点的偏离，计算关于左眼、右眼以及双眼的确认程序的误差。有益地，要么仅仅可以将校准程序的结果用于确定优势眼，其允许非常快的表现，要么可以使用确认程序的结果，其允许高得多的准确性和鲁棒性。

在本发明的进一步实施例中，在校准程序期间通过根据预定义的标准排除异常值，优选地通过评价校准点的所有子集或通过寻找随机一致性，自动检测校准点的最优子集。有时可能发生要求看着显示的设置点的用户可能被干扰或别的原因没能看着设置点，使得排除这样的异常值是非常有益的，因为它们可能会歪曲结果。例如，如果示出了五个设置点，则可以列出所有的三点、四点以及五点子集并分析关于各个确定的用户的注视点，并然后选择最佳的子集。同样也可以使用仅仅随机的子集样本而不是考虑所有可能的子集来完成，其在示出很多设置点时是有益的。

此外，依赖于是否能够根据关于左眼、右眼和双眼的校准程序和/或确认程序的误差和/或至少一张图像计算各个左注视点、右注视点以及双眼注视点，可以确定每一个左眼、右眼以及双眼确定性分数的。有时，确定左注视点、右注视点或双眼注视点是不可能的，例如，因为在捕获的图像中不能检测到一只或两只眼睛。所以不能检测一只或两只眼睛也是对于眼睛追踪质量的测量。例如，如果对于五个示出的设置注视点，只能确定左注视点两次，然而可以确定右注视点五次，则可以假设右眼的追踪质量远好于左眼的追踪质量。所以，有益地，在计算各个准确性分数时，也可以考虑在模型拟合中将关于有效校准点的数量的信息用于定义校准映射或者可以考虑关于好的追踪的确认点的数目的信息。正如已经提到的，上述所有关于左眼、右眼以及双眼的校准程序和/或确认程序的误差是用于追踪质量非常好的测量，所以在计算各个准确性分数时考虑这个信息是非常有益的。

在发明进一步的实施例中执行眼睛追踪，其中依赖于信号，特别是指示优势眼的信号计算当前的注视点。所以，如果在眼睛追踪期间，即在校准和/或确认程序已经结束后，则重复确定用户当前的注视点。依赖于关于优势眼的信息可以有益地确定当前的注视点。例如，如果信号指示左眼是优势眼，则可以仅仅根据关于左眼的数据计算用户当前的注视点以得到更好的追踪结果，或换句话说，例如，类似于上面描述的左注视点，可以仅仅使用确定的左眼注视向量计算当前的注视点。如果信号指示两只眼睛是同样优势的，那么可以根据既关于左眼也关于右眼的信息将当前的注视点计算为双眼的当前注视点。因此，可以更加精确以及更鲁棒地执行眼睛追踪，此外其也提高通过眼睛追踪控制的所有应用，例如当眼球追踪***用于使用确定的注视点控制鼠标时，或用于在图形用户界面中激活元素时，或也用于选择对应于用户的焦点的焦点时等。

所以优选地，如果确定左眼有优势，则关于左眼计算当前的注视点，如果确定右眼有优势，则关于右眼计算当前的注视点，以及如果确定左眼和右眼中没有一个有优势，则关于双眼计算当前的注视点。

在发明的进一步有益的实施例中，将当前的注视点计算为左眼数据与右眼数据之间的加权平均值，其中加权平均值的权重是确定的左准确性分数和右准确性分数的函数，使得如果右准确性分数比左准确性分数更高，则右眼数据比左眼数据更多的影响加权平均值，以及如果左准确性分数比右准确性分数更高，则左眼数据比右眼数据更多的影响加权平均值。作为加权平均值的当前注视点的计算给出更多的关于准确性的优化的灵活性，并甚至可以实现更好的结果。特别地，因为双眼注视点比只是仅仅基于左眼数据或仅仅基于右眼数据计算的注视点更加鲁棒，所以使得可以使用关于双眼的数据，并且还可以考虑关于各个眼睛的准确性的差异。

发明进一步涉及用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪***，其中眼睛追踪***配置成捕获用户的左眼和右眼的至少一张图像，基于该至少一张图像并根据预定义的准确性函数确定关于左眼的左准确性分数以及关于右眼的右准确性分数，并依赖于至少左准确性分数和右准确性分数确定用户的左眼和右眼中的一个是否有优势。

由此描述的关于用于操作根据发明的眼睛追踪***的方法的优选实施例和优点相应地适用于根据发明的眼球追踪***。特别地，上述用于操作眼睛追踪***的方法的步骤以及根据发明的实施例构成进一步的根据发明的眼睛追踪***的实施例。例如，眼睛追踪***可以包括捕获单元，一个或多个照相机和/或图像传感器，用于捕获至少一张图像，以及处理单元，用于处理捕获的图像并根据预定义的准确性函数确定各个准确性分数，并确定用户的左眼和右眼中的一个是否有优势。此外，眼睛追踪***可以包括显示设备，用于示出设置注视点。此外，眼睛追踪设备可以包括一个或多个光源，用于照明眼睛并在眼睛上产生反光，其用以确定眼睛的特征，如注视方向和/或注视点和/或各个眼睛的方向和/或位置。

在下文中，参考附图更详细地描述本发明的有益实施例。

附图说明

图1根据发明的实施例的用于操作眼睛追踪***的方法的示意说明；

图2与确定的关于左眼和右眼的每一个的注视点一起在眼睛追踪***的显示器上示出的五个校准点的示意视图；

图3a根据发明的实施例与确定的左眼和右眼的每一个注视点一起在确认程序期间在眼睛追踪***的显示器上示出的四个确认点的示意视图；

图3b根据发明的实施例与确定的左眼和右眼的每一个注视点一起在确认程序期间在眼睛追踪***的显示器上示出的四个确认点的示意图；

图4根据发明的实施例的用于操作眼睛追踪***的方法的示意说明，其中依赖于每个通道的准确性分数选择眼睛追踪***的通道；以及

图5根据发明的实施例的用于确定用户的优势眼的眼睛追踪***的示意视图。

在下面优选实施例的描述中，对于先前使用的名词左设置注视点、右设置注视点和双眼设置注视点，将名词刺激点用作同义词，并且此外，依赖于这些刺激点在校准程序和确认程序期间是否示出，这些刺激点也分别称作校准点或确认点。

具体实施方式

图1示出根据发明的实施例的用于操作眼睛追踪***10(对照图5)以确定用户的优势眼的方法的示意视图。该方法开始于步骤S10，其中接收用于启动眼睛追踪***10的校准程序的输入。这个输入可以是用户输入但也可以是不同的东西，如一般的开始信号。当接收这个输入时，眼睛追踪***10启动校准程序。可以在步骤S12a中将校准程序执行为标准校准，或者可选地，也可以在步骤S12b中执行为智能校准。也可以通过步骤S10中的输入信号指示是执行步骤S12a中的标准校准还是步骤S12b中的智能校准。

如果用户启动标准校准流程，则在步骤S12a中，在刺激面上的n个预定义的静止位置上示出刺激点，并且假定用户看着这些点。刺激面可以是眼睛追踪***的显示设备的成像面或屏幕，其中眼睛追踪***可以实现为远程眼睛追踪器或者也可以为包括头戴式显示器的头戴式眼睛追踪设备。由此，眼睛追踪***也可以配置成提供三维图像，使得刺激面不必要必须与显示器的物理屏幕面一致，并且也可以是通过3D显示器或通过立体显示器产生的虚拟成像面。眼睛追踪***10知道这个刺激面的位置和方向。

例如，当用户看着这些刺激点时，眼睛追踪***捕获用户双眼的图像，并由此可以计算每个眼睛的3D位置和/或方向以及每个眼睛的注视向量，其中左眼的注视点然后定义为左眼的注视向量与刺激面的交点，右注视点定义为右眼注视向量与刺激面的交点，以及双眼注视点可以定义为双眼注视向量与刺激面的焦点，或者也可以简单地定义为在刺激面上的左注视点和右注视点位置上的平均值。进一步的，每次示出一个刺激点。关于这n个刺激点的地面实况注视点(也可以表示为设置注视点)先前称为p^G _i＝1～n，其一般通过2D向量代表。相应地从眼睛追踪软件获得来自左注视通道的n个注视样本g^L _i＝1～n以及来自右注视通道的n个注视样本g^R _i＝1～n。每个注视样本g_i包括所有的与第i个校准点相关的眼睛和/或注视信息。

校准必须产生注视校正模型M:g→M(g)，其将原始的注视样本映射到校准的注视样本。特别地，产生每一个关于左眼的注视校正模型M^L和关于右眼的注视校正模型M^R。注视校正模型理想地能够校正来自这个用户的所有注视样本以及下面的注视追踪。

让从注视样本g计算或提取注视点的(先前知道的)函数为P:g→p＝P(g)。然后优化关于左眼的注视校正M^L以最小化校准的注视点p^L＝P(M^L(g^L))与地面实况p^G之间的差异，如

在第i个校准点上的左通道的剩余误差计算为

校准总是分别对两个单眼的通道完成。特别地，以相同的方式同样应用于右通道，并且如果用标记R替换标记L，则等式(1)和(2)也应用于右通道。通常地，双眼注视通道的注视点通过平均左通道和右通道产生，如

因此，关于双眼通道的剩余误差可以计算为

通过示出连续运动的刺激点而不是静止的刺激点可以完成校准。通过路径模型p^G完全指定运动点的路径，并且这是校准中的地面实况注视点。通过进行动态的时间扭曲优化关于左眼的注视校正M^L以最小化校准的注视点的路径与地面实况路径的差异：

其中T控制用于配对的最大时间窗。

左通道的全部剩余误差正是上面尝试要最小化的

再一次同样应用于右通道，以相似的方式可以计算关于双眼通道的剩余误差

其中

所以在步骤S12a中的校准流程期间，计算关于左眼和右眼的校正模型M^L和M^R，也可选地计算分别关于左通道、右通道和双眼通道的误差r^L、r^R和r^B。然后可以输出这些校准流程的结果或在步骤S14中提供以进一步用于眼睛追踪***，例如用于随后的眼睛追踪和/或用于随后的确认程序。

这些结果可以直接用于在步骤S22中以自确认的形式确定优势眼，这将稍后解释。

在步骤S12a中的校准程序完成以后，用户可以在步骤S16中制造输入用于激活确认程序，之后使用步骤S14中提供的校准的结果在步骤S18中执行确认程序。可以提供任何其他激活信号代替步骤S16中的用户输入用于激活确认程序。确认程序也可以在校准程序结束之后自动启动，并可以省略步骤S16。

在确认程序期间，再次在刺激面上示出刺激点，但优选地在与校准点的位置不同的位置上。当示出这些刺激点时，通过眼睛追踪***捕获用户的眼睛的图像并确定每只眼睛的眼睛特征，例如注视向量。从而对于每一个地面实况注视点p^G _j＝1～m(刺激点的位置)，再一次得到关于左眼的原始注视样本g^L _j＝1～m，以及关于右眼的原始注视样本g^R _j＝1～m。然后，通过应用校准的注视校正模型M，特别是M^L和M^R，计算每个通道的确认误差，即关于右通道的误差r^R、关于左通道的误差r^L以及关于双眼通道的误差r^B：

再一次地可以以如关于校准程序的描述的连续运动的方式示出确认刺激点代替示出单个刺激确认点。

此外，可以在步骤S12b中执行智能校准代替在步骤S12a中描述的标准校准。这样的原因是由于用户的分心或其它问题，不是所有在校准程序中检测的注视都适合于校准目的。因此，在智能校准中可以实现筛选程序以检测并移除“坏的”校准点。这一特征提供更高的校准鲁棒性并也与校准质量有关。

智能校准与标准校准相似在于，首先所有多个校准刺激点在刺激面上一个接一个地示出，并且对于每个刺激点确定左眼、右眼的注视和/或注视点以及双眼的注视和/或注视点。与标准校准的区别在于不必须将所有的刺激点以及对应的眼睛特征(如注视和确定的注视点)用于提供校正模型M。

考虑n个校准点的一组，智能校准程序可以如下：

首先，列举所有可能和感兴趣的子集。例如，当我们有五个点时，将列出所有三点、四点以及五点的子集并在下面的步骤中评估。

在下一步骤中，对于每个校准组考虑三个测量：校准点的数目、校准的质量(剩余)以及来自转化和缩放的注视校正的偏离。也存在基于对于由更多点组成的子集的偏好的现有知识。对于测试中的子集，仅仅使用集合中的点完成校准，并然后计算在校准集合上对应的剩余误差。经验地，坏的校准点常常需要大的“注视校正”以最小化剩余。因此，与仅仅应用转化和缩放的模型的大的偏离是坏的校准点的迹象。所有这三个标志将通过加权和结合进一个分数。在下一个步骤中，基于它们的分数在所有子集中选择最好的一个。如果由所有点组成的子集胜过所有其他的子集，则校准将继续使用所有n个点。如果不是这个情况，则将使用来自最好的子集的注视校正模型。不在选择的子集中的校准点将标记为“由于质量差不使用”。

即使对于小的校准点的集合(例如五个点)，建议的方法也是可靠的方法。对于使用大的校准点的集合的校准(例如多于八)，可以使用更一般的采样一致方法(例如RANSAC，随机采样一致)检测最好的子集。

所以如果最终确定最好的子集，则可以计算如步骤S12a中的标准校准程序所述的校正模型M和剩余误差，特别是关于选择的子集，并在步骤S14中提供。那么如果之后在步骤S18中执行标准确认程序，则与上述关于标准校准的内容相似地使用智能校准程序的结果。

在步骤S18中的确认程序之后，在步骤S20中提供确认结果用于在步骤S22中确定用户的优势眼。特别地，这些确认结果是通过(9)、(10)以及(11)提供的剩余误差或在平滑追踪的情况下各个全体剩余误差。此外，可以提供关于每个眼睛有效追踪的点数目作为确认结果。

关于确认优势眼，基本思想是基于校准和/或确认质量评价每个注视通道的质量，并且选择最好的通道(双眼、左眼、右眼)用于眼睛追踪。如果在步骤S18中已经执行了确认程序，则单眼确认误差是用于每个单眼通道最自然的质量测量。确认质量也可以包括关于好的追踪的确认点的数目的信息。所以，基于根据式子(9)、(10)以及(11)的计算的关于每个通道的确认误差，以及进一步考虑的关于每个通道的好的追踪的确认点的数目，可以确定关于每个通道的准确性分数。这个准确性分数越高，各个确认误差越小，以及好的追踪的确认点的数目越高。可选地，例如，可以将以预定义的数值形式的“奖励”添加到双眼通道的准确性分数，使得不能肯定双眼注视通常比单眼注视更鲁棒。此外，也可以考虑在确认程序中的有效注视样本的数目在左通道和右通道之间是否是非常不平衡的，使得也可以将关于好的追踪的确认点的数目的信息用于计算各个准确性分数。例如，可以检查与另一通道相比，一个通道是否具有超过两倍的追踪点的数目。如果左通道在确认中仅得到了两个追踪点，以及右通道得到了五个点，则为了更好地鲁棒性，***将切换以使用右通道。所以，为了确认优势眼，***将基于对应的准确性分数比较三个通道的质量并选择最好的一个。当确认质量是最自然和可靠地质量测量时，一般的规则是使用最好的通道。

所以，如果将左通道确定为最好的通道，则确定左眼将是优势眼。如果左通道和右通道具有相同或相似的准确性分数，或双眼通道的准确性分数是最好的，那么确定双眼是同样优势的，或换句话说，不存在优势眼。基于步骤S22中的这些结果，可以在步骤S24中提供指示优势眼的输出信号。然后可以将信号用于在屏幕上输出这个确定的结果，或可以通过使用最好的通道用于随后的眼睛追踪。

在另一实施例中，确认程序不必须必要地执行。可选地，可以直接将步骤S14中的校准结果用于在步骤S22中作为自确认的方法确定优势眼。所以，这一自确认允许不使用额外确认选择注视通道。由此，基于校准质量确定左眼和/或右眼和/或双眼注视通道的质量。因此，关于左通道的校准结果(特别是根据(2)的剩余误差)、关于右通道的对应校准结果以及根据(4)的双眼剩余误差或根据(6)和(7)的各个全体剩余误差可以用以计算对应的准确性分数，其为每个通道定义校准质量。另外，当计算各个准确性分数时，可以考虑可用的校准点的数目。所以，此外，当两个通道具有不同的可用校准点数目时，其中原因可能是智能校准、眼睛追踪的损失等，将给予具有更少的校准点的通道非常低的质量或准确性分数，因为即使当它的剩余更少时，它的校准也更加不可靠。

总而言之，对校准集合完成自确认，其中优选的解决方案是使用校准质量，即平均剩余，作为确认质量。另一个选择可以是“缺一交叉确认(leave-one-out cross-validation)”。另外，因为通常更多的校准点导致更准确的注视校正，所以校准质量可以包括关于在模型拟合中使用的有效校准点的数目的信息。为了给每个通道提供考虑了所有或一些上述质量影响参数的准确性分数，可以提供准确性函数，例如其中所有这些参数可以使用对应的权重相加。所以，基于这样计算的关于每个通道准确性分数，可以以与上述关于确认程序的结果相同的方式确定优势眼，并再次在步骤S24中输出指示优势眼的信号。

图2示出在校准程序期间与左眼和右眼的每一个校准注视点一起在刺激面中示出的五个刺激点的示意视图。在图2中，对于i＝1,2,3,4,5，校准点或刺激点表示为p_i ^G,C。此外，对于i＝1,2,3,4,5，为左眼确定并校准的注视点由P(M^L(g_i ^L,C))表示，以及为右眼确定并校准的注视点由P(M^R(g_i ^R,C))表示。在图2中以图示的目的在一张图像中示出全部五个刺激点p_i ^G,C，但在校准程序期间，一次示出一个这些刺激点p_i ^G,C。另外，示出的校准的注视点P(M^L(g_i ^L,C))、P(M^R(g_i ^R,C))仅仅是用于图示的目的，并且在校准程序期间没有示出。事实上，图2可以看作使用示出的刺激点p_i ^G,C以及对应的确定及校准的注视点P(M^L(g_i ^L,C))、P(M^R(g_i ^R,C))的校准程序的结果。

可以看到，对于每个刺激点p_i ^G,C、可以确定左眼和右眼的注视点P(M^L(g_i ^L,C))、P(M^R(g_i ^R,C))。在这个情况下，关于左眼和右眼每一个的有效追踪的注视点P(M^L(g_i ^L,C))、P(M^R(g_i ^R,C))的数目都是五。左通道的剩余误差r^L可以确定为在x方向上0.5°以及在y方向上0.7°，其中右眼或右通道的剩余误差r^R可以确定为在x方向上0.1°以及在y方向上0.5°。这些结果可以直接用作确定优势眼的自确认，其中在这个示例中，因为左通道和右通道的准确性相当相似，所以没有检测到优势眼。

可选地，在这个校准程序之后，可以使用根据校准程序确定的校准模型M执行确认程序。图3a和图3b中示出确认程序的两个示例，特别是它们的结果。

在图3a中示出四个确认点，其由p_i ^G,V1表示，其中i＝1,2,3,4，以及其它们在位置上与校准点p_i ^G,C不同。此外，也示出关于右眼和左眼每一个的与每个确认点有关的注视点，其在确认程序期间确定。左眼的注视点由P(M^L(g_i ^L,V1))表示，其中i＝1,2,3,4，以及右眼的注视点由P(M^R(g_i ^R,V1))表示。在这个情况下，关于左通道的平均剩余误差r^L是在x方向上0.3°以及在y方向上0.6°，以及关于右通道的平均剩余误差r^R是在x方向上0.2°以及在y方向上0.3°。因为这些左眼和右眼的注视点P(M^L(g_i ^L,V1))、P(M^R(g_i ^R,V1))在本示例中具有类似的确认质量，所以选择双眼通道用于眼睛追踪或其他目的。基于这些确认结果，可以确定左眼和右眼都不是优势眼。

与此相反，图3b示出确认程序的有不同结果的另一示例。再一次地，示出由p_i ^G,V2表示的四个确认点，其中i＝1,2,3,4，其也在它们的位置上与校准点p_i ^G,C不同。另外，示出关于右眼和左眼的注视点，其关于左眼由P(M^L(g_i ^L,V2))表示，关于右眼由P(M^R(g_i ^R,V2))表示，其中i＝1,2,3,4。在这种情况下，右通道的平均剩余误差r^R是在x方向上0.7°以及在y方向上0.6°，然而对于左眼没有能够确认有用点。在这种情况下，可以看到，右眼的确认质量比左眼好得多，并且可以将追踪切换至使用更好的眼睛单眼追踪，在这种情况下是右眼，使用右通道。

所以，一般而言，如果确认质量之间的差异高于预定义的阈值，则该差异可以通过计算对应的准确性分数提供，特别是基于各个误差，为了更好的鲁棒性，可以选择更好的通道。

图4示出根据发明的另一实施例的用于眼睛追踪***的方法的示意说明。在步骤S30中，眼睛追踪***捕获用户的两只眼睛的图像。这可以通过使用一个或多个照相机完成。根据捕获的图像，在步骤S32a中导出(derive)与左眼有关的数据、在步骤S32c中导出与右眼有关的数据以及在步骤S32b中导出与双眼有关的数据。例如，这些数据可以是眼睛的特性如眼球的位置、瞳孔的位置、最终检测的闪光的位置、注视方向和/或注视点。基于每个通道中的这些数据，也就是左眼、右眼以及双眼，在步骤S34a中关于左眼、在步骤S34c中关于右眼以及在步骤S34b中关于双眼计算各自的准确性分数。这个准确性分数是关于每个通道中的追踪质量的测量。基于这些准确性分数，在步骤S36中确定是否左或右眼中的一个有优势。例如，如果左准确性分数和右准确性分数是相等的或它们的差异低于预定义的阈值，则确定左眼和右眼中没有一个有优势。如果左准确性分数比右准确性分数更高，并且此外可选地，左准确性分数和右准确性分数之间的差异超过预定义的阈值，则确定左眼有优势，特别地，除非双眼准确性分数仍然高于左准确性分数和右准确性分数。同样应用于右眼，即如果右准确性分数比左准确性分数更高，并且此外可选地，左准确性分数和右准确性分数之间的差异超过预定义的阈值，则确定右眼有优势，特别地，除非双眼准确性分数仍然高于左准确性分数和右准确性分数。在所有其它情况下将确定不存在优势眼。

所以，例如，如果在步骤S36中确定左眼是优势眼，则在步骤S38a中提供指示左眼为优势眼的信号，并且使用左通道执行眼睛追踪。否则如果已经确定右眼是优势眼，则在步骤S38c中输出指示右眼为优势眼的信号，并且使用右通道执行眼睛追踪。如果在步骤S36中确定没有眼睛有优势，在步骤S38b中输出指示没有眼睛有优势的信号，并且将两只眼睛或双眼通道用于眼睛追踪。

此外，如果通过信号确定眼睛中的一个为优势眼，则也可以将双眼注视用于眼睛追踪，但其中根据左眼和右眼数据计算双眼注视，其中优势眼的眼睛数据权重更大，例如，权重系数可以是或对应于准确性分数的比值。

图5示出根据发明的实施例的眼睛追踪***10的示意视图。眼睛追踪***10包括处理或控制单元12，显示单元14以及捕获单元16。可选地，眼睛追踪***10可以包括照明单元18。显示单元14可以是具有显示器的监视器，例如，计算机监视器，或眼睛追踪***10可以实现为具有眼睛追踪器的头戴式显示器。捕获单元16可以包括一个或多个捕获用户的眼睛的照相机。在眼睛追踪***10的校准和/或确认程序期间，校准点和/或确认点可以借助于显示单元14示出。在校准和/或确认期间，并且也例如在随后的眼睛追踪期间，捕获单元16捕获用户的眼睛的图像。这些图像然后通过处理单元12处理，其根据预定义的准确性函数确定关于左眼的左准确性分数、关于右眼的右准确性分数以及关于双眼的双眼准确性分数。基于这些准确性分数。处理单元12确定用户的左右眼中的一个是否有优势。可以在显示单元14上输出这个结果，或用于随后的眼睛追踪。照明单元18可以包括一个或多个光源，例如红外线LED，用于照明用户的眼睛以产生闪光或其他浦肯野(Purkinje)图像，其帮助确定眼睛特性如眼睛特征的位置和方向、注视等。

总而言之，提供一种操作眼睛追踪***的方法和眼睛追踪***，借助于此有益地可以简单地确定用户的优势眼并将其用于诊断目的，以及特别地，用于在眼睛追踪中实现更高的准确性。

Claims (15)

1.一种用于操作用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪***(10)的方法，其特征在于：

a)捕获用户的左眼和右眼的至少一张图像(S30)；

b)基于所述至少一张图像并根据预定义的准确性函数，确定关于左眼的左准确性分数(S34a)以及关于右眼的右准确性分数(S34c)；以及

c)依赖于至少左准确性分数和右准确性分数，确定用户的左眼和右眼中的一个是否有优势(S36)。

2.根据权利要求1所述的方法，其特征在于，

在步骤b)中，基于所述至少一张图像并根据预定义的准确性函数确定关于左眼和右眼的双眼准确性分数(S34b)，并在步骤c)中，依赖于左准确性分数、右准确性分数以及双眼准确性分数确定用户的左眼和右眼中的一个是否有优势(S36)。

3.根据前述任一权利要求所述的方法，其特征在于，

其中左准确性分数是关于左眼的注视点P(M^L(g_i ^L,C))、P(M^L(g_i ^L,V1))、P(M^L(g_i ^L,V2))与左设置注视点(p_i ^G,C、p_i ^G,V1、p_i ^G,V2)的偏离的测量，以及右准确性分数是关于右眼的注视点P(M^R(g_i ^R,C))、P(M^R(g_i ^R,V1))、P(M^R(g_i ^R,V2))与右设置注视点(p_i ^G,C、p_i ^G,V1、p_i ^G,V2)的偏离的测量，以及双眼准确性分数是关于左眼和右眼的双眼的注视点与双眼设置注视点(p_i ^G,C、p_i ^G,V1、p_i ^{G ,V2})的偏离的测量。

4.根据权利要求3所述的方法，其特征在于，

左设置注视点、右设置注视点和双眼设置注视点(p_i ^G,C、p_i ^G,V1、p_i ^G,V2)是相同的，并且优选地通过在眼睛追踪***(10)的显示设备(14)上示出要求用户注视的点的有限序列提供，和/或通过在显示设备(14)上示出的要求用户用双眼跟随的平滑和/或连续的点的运动或其他刺激图像提供。

5.根据前述任一权利要求所述的方法，其特征在于，

依赖于左准确性分数、右准确性分数和双眼准确性分数，提供和/或输出指示优势眼的身份的信号(S24；S38a、S38b、S38c)。

6.根据前述任一权利要求所述的方法，其特征在于，

在眼睛追踪***(10)的校准程序(S12a、S12b)期间和/或用于确认校准程序的结果的确认程序(S18)期间，执行用户的左眼和右眼的一个是否有优势的确定。

7.根据权利要求6所述的方法，其特征在于，

在眼睛追踪***(10)的校准程序(S12a、S12b)期间，计算用户的几个第一注视点并将其与对应的第一设置注视点(p_i ^G,C)相比较，其中根据这个比较设置眼睛追踪***的校准参数，使得计算的第一注视点映射到对应的校准的第一注视点(P(M^L(g_i ^L,C))、P(M^R(g_i ^R,C))。

8.根据权利要求6-7之一所述的方法，其特征在于，

在确认程序(S18)期间，计算用户的几个第二注视点(P(M^L(g_i ^L,V1))、P(M^L(g_i ^R,V2))、P(M^R(g_i ^R,V1))、P(M^R(g_i ^R,V2))并将其与对应的第二设置注视点(p_i ^G,V1、p_i ^G,V2)相比较。

9.根据权利要求7-8之一所述的方法，其特征在于，

根据校准的第一注视点(P(M^L(g_i ^L,C))、P(M^R(g_i ^R,C))与第一设置注视点的偏离，计算左眼、右眼以及双眼的校准程序的误差(r^L、r^R、r^B)，和/或根据第二注视点(P(M^L(g_i ^L,V1))、P(M^L(g_i ^R,V2))、P(M^R(g_i ^R,V1))、P(M^R(g_i ^R,V2))与第二设置注视点(p_i ^G,V1、p_i ^G,V2)的偏离，计算左眼、右眼以及双眼的确认程序的误差(r^L、r^R、r^B)。

10.根据权利要求6-9之一所述的方法，其特征在于，

在校准程序(S12b)期间，通过根据预定义的标准排除异常值，优选地通过评估校准点的所有子集或通过找到随机一致，自动检测最优的校准点子集。

11.根据权利要求9所述的方法，其特征在于，

确定左准确性分数、右准确性分数以及双眼准确性分数的每一个，依赖于：

-是否能够根据所述至少一张图像分别计算左注视点(P(M^L(g_i ^L,C))、P(M^L(g_i ^L,V1))、P(M^L(g_i ^L,V2)))，右注视点(P(M^R(g_i ^R,C))、P(M^R(g_i ^R,V1))、P(M^R(g_i ^R,V2)))以及双眼注视点；和/或

-分别用于左眼、右眼以及双眼的校准程序(S12a、S12b)和/或确认程序(S18)的误差(r^L、r^R、r^B)。

12.根据权利要求5-11之一所述的方法，其特征在于，

执行眼睛追踪，其中依赖于信号计算当前的注视点。

13.根据权利要求12所述的方法，其特征在于，

如果确定左眼有优势，则关于左眼计算当前的注视点，如果确定右眼有优势，则关于右眼计算当前的注视点，以及如果确定左眼和右眼没有一个有优势，则关于双眼计算当前的注视点。

14.根据权利要求12-13之一所述的方法，其特征在于，

将当前的注视点计算为左眼数据和右眼数据之间的加权平均值，其中加权平均值的权重是确定的左准确性分数和右准确性分数的函数，使得如果右准确性分数比左准确性分数更高，则右眼数据对加权平均值的影响比左眼数据更重，并且如果左准确性分数比右准确性分数更高，则左眼数据对加权平均值的影响比右眼数据更重。

15.一种用于确定用户的左眼和右眼中的一个是否有优势的眼睛追踪***(10)，其特征在于，

所述眼睛追踪***配置成：

a)捕获用户的左眼和右眼的至少一张图像；

b)基于所述至少一张图像并根据预定义的准确性函数，确定关于左眼的左准确性分数以及关于右眼的右准确性分数；以及

c)依赖于至少左准确性分数和右准确性分数，确定用户的左眼和右眼中的一个是否有优势。