CN106778641B - 视线估计方法及装置 - Google Patents

Abstract

本发明的目的在于提供一种视线估计方法及装置，其中方法包括：获取人眼图像，若在所述人眼图像中提取到至少三个光斑，则根据提取的每个所述光斑的位置拟合光斑分布曲线，其中，所述人眼图像对应多个光源，每个所述光斑为一个所述光源的成像；将所述光斑分布曲线的特征点确定为第一特征点，其中，所述第一特征点包括中点、圆心、焦点、中心点；根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息。通过本发明实施例中的视线估计方法及装置，能够实现注视点信息的快速估计。

Description

视线估计方法及装置

技术领域

本发明涉及人机交互技术领域，具体而言，涉及一种视线估计方法及装置。

背景技术

视线估计是指利用机械、电子、光学等各种检测手段获取受试者当前“注视方向”的技术。随着计算机视觉、人工智能技术和数字化技术的迅速发展，视线估计技术已成为当前热点研究领域，在人机交互领域有着广泛应用，例如，可应用于车辆辅助架驶、虚拟现实、认知障碍诊断等。

相关技术中，通常采用P-CR方法确定眼球的注视点信息，P-CR方法分为基于回归的P-CR方法和基于3D的P-CR方法两种，这两种方法在具体实现时，均需要利用多个光源在用户眼球中形成多个光斑，并获取用户的人眼图像。

利用基于回归的P-CR方法获取眼球的注视点信息时，需要在用户的人眼图像上检测到所有光源对应的光斑，然而，当用户的眼球运动幅度较大时，眼球偏离中心会较多，此时会有部分光源无法在人眼中形成光斑，导致无法确定眼球的注视点信息。

利用基于3D的P-CR方法获取眼球的注视点信息时，需要知道人眼图像中光斑与光源的对应关系，然而，当光源较多，且只有部分光源在人眼中成像形成光斑时，光斑与光源之间的对应关系难以估计，导致无法确定眼球的注视点信息。

发明内容

有鉴于此，本发明的目的在于提供一种视线估计方法及装置，以解决上述至少一个技术问题。

第一方面，本发明实施例提供了一种视线估计方法，包括：获取人眼图像，若在所述人眼图像中提取到至少三个光斑，则根据提取的每个所述光斑的位置拟合光斑分布曲线，其中，所述人眼图像对应多个光源，每个所述光斑为一个所述光源的成像；将所述光斑分布曲线的特征点确定为第一特征点，其中，所述第一特征点包括中点、圆心、焦点、中心点；根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息。

结合第一方面，本发明实施例提供了第一方面第一种可能的实施方式，其中，所述根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息，包括：根据所述第一特征点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息；或者，将所有所述光源组成的图形的特征点确定为第二特征点，根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，根据提取的每个所述光斑的位置及其对应的所述光源的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点。

结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面第二种可能的实施方式，其中，所述根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，包括：根据所述第一特征点的位置和所述第二特征点的位置，计算所述第一特征点和所述第二特征点之间的位置变换关系；根据所述位置变换关系和提取的每个所述光斑的位置，计算提取的每个所述光斑对应的标准光源位置；将位置与所述标准光源位置相匹配的光源，确定为提取的每个所述光斑对应的所述光源。

结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面第三种可能的实施方式，其中，所述根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，包括：根据所述第一特征点的位置和提取的每个所述光斑的位置，计算所述第一特征点与提取的每个所述光斑之间的第一相对位置；根据所述第二特征点的位置和每个所述光源的位置，计算所述第二特征点与每个所述光源之间的第二相对位置；确定与所述第一相对位置相匹配的第二相对位置，将确定的所述第二相对位置所对应的光源，确定为提取的每个所述光斑对应的所述光源。

结合第一方面，本发明实施例提供了第一方面第四种可能的实施方式，其中，所有所述光源呈圆形、椭圆形、近似圆形或者近似椭圆形排列，所述光斑分布曲线为圆或者椭圆。

结合第一方面上述的实施方式，本发明实施例提供了第一方面第五种可能的实施方式，其中，还包括：若在所述人眼图像中提取到两个所述光斑，则根据提取的每个所述光斑的位置、每个所述光源的位置，所述人眼图像中人眼特征的位置，确定提取的每个所述光斑对应的所述光源；根据提取的每个所述光斑的位置及其对应的所述光源的位置，确定所述人眼图像对应的注视点信息，或者，将所有所述光源组成的图形的特征点确定为第二特征点，根据提取的每个所述光斑对应的所述光源的位置、所述第二特征点的位置、提取的每个所述光斑的位置，确定所述第二特征点在所述人眼图像中的映射点，根据所述映射点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点。

结合第一方面第五种可能的实施方式，本发明实施例提供了第一方面第六种可能的实施方式，其中，所述根据提取的每个所述光斑的位置、每个所述光源的位置，所述人眼图像中人眼特征的位置，确定提取的每个所述光斑对应的所述光源，包括：根据提取的每个所述光斑的位置计算提取的各个所述光斑之间的第三相对位置，根据每个所述光源的位置计算各个所述光源之间的第四相对位置；根据提取的每个所述光斑的位置与所述人眼特征的位置，计算提取的每个所述光斑与所述人眼特征之间的第五相对位置，根据每个所述光源的位置与所述人眼特征的位置，计算每个所述光源与所述人眼特征之间的第六相对位置；确定所述第四相对位置与所述第三相对位置相匹配，且所述第六相对位置与所述第五相对位置相匹配的所述光源，为提取的每个所述光斑对应的所述光源。

结合第一方面上述的实施方式，本发明实施例提供了第一方面第七种可能的实施方式，其中，还包括：若在所述人眼图像中提取到一个所述光斑，则控制每个所述光源逐一点亮，确定所述光斑对应的所述光源；将所有所述光源组成的图形的特征点确定为第二特征点，根据提取的所述光斑对应的所述光源的位置、所述第二特征点的位置、提取的所述光斑的位置，确定所述第二特征点在所述人眼图像中的映射点；根据所述映射点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点。

第二方面，本发明实施例提供了一种视线估计装置，包括：曲线确定模块，用于获取人眼图像，若在所述人眼图像中提取到至少三个光斑，则根据提取的每个所述光斑的位置拟合光斑分布曲线，其中，所述人眼图像对应多个光源，每个所述光斑为一个所述光源的成像；特征点确定模块，用于将所述光斑分布曲线的特征点确定为第一特征点，其中，所述第一特征点包括中点、圆心、焦点、中心点；信息确定模块，用于根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息。

结合第二方面，本发明实施例提供了第二方面第一种可能的实施方式，其中，所述信息确定模块包括：第一确定子模块，用于根据所述第一特征点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息；或者，第二确定子模块，用于将所有所述光源组成的图形的特征点确定为第二特征点，根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，根据提取的每个所述光斑的位置及其对应的所述光源的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点。

本发明实施例中，若在人眼图像中提取到至少三个光斑，则根据提取的每个光斑的位置拟合光斑分布曲线，其中，人眼图像对应多个光源，每个光斑为一个光源的成像，将光斑分布曲线的特征点确定为第一特征点，其中，第一特征点包括中点、圆心、焦点、中心点，根据第一特征点的位置和预设信息确定人眼图像对应的注视点信息。通过本发明实施例中的视线估计方法及装置，无需全部光源均在用户眼球中成像形成光斑，也无需估计光斑和光源之间的对应关系，当只有部分光源如三个光源形成光斑时，就能够确定人眼图像对应的注视点信息，从而实现注视点的快速估计。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的眼球追踪模组的俯视图；

图2为本发明实施例提供的眼球追踪模组的侧视图；

图3为发明实施例提供的视线估计方法的流程示意图；

图4为本发明实施例提供的视线估计装置的模块组成示意图。

附图标记：

10-眼球、20-入射光路、21-反射光路、22-透射光路、31-光源、30-目镜筒、40-目镜、50-电路板、60-图像采集装置、70-红外滤光片、80-红外截止滤光片、90-显示屏。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中获取眼球的注视点信息时，需要所有光源均在眼球中形成光斑，或者需要知道人眼图像中光斑与光源的对应关系，导致某些情况下注视点信息难以确定，本发明实施例提供了一种视线估计方法及装置，下面通过实施例进行具体描述。

为了清楚地介绍本发明实施例中的视线估计方法及装置，首先介绍本发明实施例中涉及的眼球追踪模组，本实施例中的视线估计方法及装置能够利用该眼球追踪模组进行视线估计。

本实施例中的眼球追踪模组设置在虚拟现实眼镜装置中，通过对虚拟现实眼镜的内部结构的设计，完成眼球追踪技术的实现，使用户在观看虚拟现实眼镜时，通过眼球追踪技术对显示终端进行操作控制，并实现人机交互和注视点渲染等功能。

图1为本发明实施例提供的眼球追踪模组的俯视图，如图1所示，该眼球追踪模组包括目镜筒30，目镜筒30上设置有至少两个光源31，光源31优选为LED(Light EmittingDiode，发光二极管)红外光源，该眼球追踪模组还包括电路板50和图像采集装置60，图像采集装置60包括成像物镜和图像传感器。

图2为本发明实施例提供的眼球追踪模组的侧视图，如图2所示，目镜筒30内设置有目镜40，目镜40位于眼球10前方，光源31向眼球10发射红外光，眼球10反射红外光，来自眼球10的入射光路20通过目镜40传播至红外截止滤光片80，被红外截止滤光片80反射形成反射光路21，反射光路21通过红外滤光片70进入图像采集装置60，图像采集装置60固定在电路板50上。来自眼球10的入射光路20还透过红外截止滤光片80形成透射光路22，透射光路22传播至显示屏90处，显示屏90为VR(Virtual Reality，虚拟现实)显示屏。

结合图1和图2所示，本实施例中，目镜40相当于一个放大镜的功能，透过目镜40可以获取眼睛部位的整体图片。光源31固定设置于眼球10的侧前方区域，用于向眼球10发射红外光，眼球10反射红外光，从而在眼球10上形成光斑。图像采集装置60固定设置于眼球追踪模组中可视角度的边缘或外部，红外截止滤光片80用于将眼球影像反射到图像采集装置60的图像传感器，从而使图像传感器采集到眼球影像。

参考图2，眼球追踪模组的成像光路为：

(1)光源31向眼球10发射红外光，眼球10反射红外光，从而在眼球10上形成光斑；具体的，光斑的获取是由光源31发出光线，打在眼球10上，由眼球10不同层表面反射光线，图像采集装置60的图像传感器接收反射的光线，在图像中即可以形成光斑。由于人眼能感知的波长为380nm-780nm，为了不影响人们正常观看显示终端，光源31基本选择人眼敏感度低、危害性小的近红外光源；

(2)眼球10上形成的光斑经红外截止滤光片80反射后，成像到图像采集装置60，为了消除其他波长光线对图像的影响，需要在图像采集装置60前加上红外滤光片70，从而只允许光源31发出的光线进入图像采集装置60。

为进一步缩小整个设备的占用体积，红外截止滤光片80可直接整合到显示屏90的屏表面，和/或，红外截止滤光片80为显示屏90的红外反光涂层或者红外反光贴膜。

红外截止滤光片80固定设置于目镜40与显示屏90之间的区域，并且，红外截止滤光片80的外缘位于模组可视角度的外部，保证眼球10任意位置形成的光斑均可通过红外截止滤光片80成像到图像采集装置60。

为避免显示屏90影响用户视线，本实施例中，通过调整红外截止滤光片80的角度，将眼球图像的近红外光线反射到目镜筒侧面，由图像采集装置60接收，显示屏90发射的可见光通过红外截止滤光片80到达眼球10。红外截止滤光片80的大小选取需要包含目镜40的最大视场边缘光线。

如图1和图2所示的眼球追踪模组在实际应用中，能够集成在头戴式设备，如虚拟现实眼镜中，用户在使用该头戴式设备时，设备启动后，首先进行一次对准，具体过程为：利用显示屏90显示对准标记，同时显示瞳孔在摄像头视野中的位置，用户移动头戴式设备，使得瞳孔(或瞳孔中心)在摄像头视野中的位置处于适当区域内。其中，摄像头集成在图像采集装置60中。在对准完成后，基于该头戴式设备中的眼球追踪模组进行视线估计。

如图3所示，本发明实施例中的视线估计方法具体包括以下步骤：

步骤S302，获取人眼图像，若在人眼图像中提取到至少三个光斑，则根据提取的每个光斑的位置拟合光斑分布曲线，其中，人眼图像对应多个光源，每个光斑为一个光源的成像。

利用如图1和图2所示的眼球追踪模组获取人眼图像，具体地，用户佩戴具有如图1和图2所示的眼球追踪模组的虚拟现实眼镜，眼球追踪模组中的光源31向眼球10发射红外光，眼球10反射红外光，从而在眼球10上形成光斑，眼球10上形成的光斑经红外截止滤光片80反射后，成像到图像采集装置60，从而通过图像采集装置60采集到人眼图像。

利用如图1和图2所示的眼球追踪模组采集到的人眼图像对应多个光源，即对应多个光源31，且人眼图像中每个光斑为一个光源的成像，具体为一个光源在人眼角膜表面反射成的像在图像中的投影。

本实施例中，图像采集装置60每获取一帧人眼图像，就进行一次图像处理(包括预处理，信息统计，参数更新，瞳孔定位，瞳孔边缘定位，瞳孔中心定位，光斑定位，光斑筛选等)，以提取人眼图像中的光斑，若在人眼图像中提取到至少三个光斑，如提取到三个、四个等光斑，则根据提取到的每个光斑的位置拟合光斑分布曲线，比如，当提取到三个光斑时，利用三个光斑的位置拟合圆，该圆即为光斑分布曲线，当提取到五个光斑时，利用五个光斑的位置拟合椭圆，该椭圆即为光斑分布曲线，当然，在其他实施例中，光斑的数量不限于三个或者五个，只要满足大于等于三个即可，拟合得到的光斑分布曲线的形状不限于圆形或者椭圆形，视具体拟合结果而定。

需要说明的是，由于光斑为每个光源的成像，因此光斑分布曲线的形状与所有光源的设置形状对应，光斑分布曲线理论上为所有光源的设置形状的仿射变换，在数学上，仿射变换把直线变为直线，圆变为椭圆，椭圆变为椭圆，梯形/矩形/正方形都变为任意四边形，但是在某些约束条件下，所有光源的设置形状为圆的时候，光斑分布曲线(椭圆)的长轴和短轴较为接近，所以也可以用圆近似。因此本实施例中，当所有光源呈圆形或者近似圆形设置时，光斑分布曲线的形状可以是圆形或者椭圆形，当所有光源呈椭圆形或者近似椭圆形设置时，光斑分布曲线的形状为椭圆形，当所有光源呈梯形、矩形、正方形等形状排列时，光斑分布曲线对应为任意四边形，当所有光源呈线段排列时，光斑分布曲线对应为线段，当然，所有光源的排布方式和光斑分布曲线的形状还能够有其他情况，均依据数学上的放射变换原理，这里不再赘述。

一种具体的实施例中，人眼图像对应的所有光源呈圆形、椭圆形、近似圆形或者近似椭圆形排列，也即图1图2中的眼球追踪模组中的所有光源31呈圆形、椭圆形、近似圆形或者近似椭圆形排列，且，光斑分布曲线为圆或者椭圆。

如图1和图2所示，当眼球追踪模组的结构精度较高时，优选设置所有光源31呈圆形或者椭圆形排列，考虑到实际应用场景时，也可以设置所有光源31呈近似圆形或者近似椭圆形排列，近似圆形指的是所有光源距离圆心的距离在第一预设距离阈值范围内，如在5毫米至6毫米的距离范围内，近似圆形指的是所有光源距离同一焦点的距离的差值在第二预设距离阈值范围内，如在1毫米至3毫米的距离范围内。本实施例中，根据提取到的每个光斑的位置拟合得到的光斑分布曲线为圆或者椭圆。

步骤S304，将光斑分布曲线的特征点确定为第一特征点，其中，第一特征点包括中点、圆心、焦点、中心点。

拟合得到光斑分布曲线后，将光斑分布曲线的特征点确定为第一特征点。光斑分布曲线的形状与所有光源的设置形状相对应，当光斑分布曲线为圆时，光斑分布曲线的特征点和第一特征点均为圆心，当光斑分布曲线为椭圆时，光斑分布曲线的特征点和第一特征点均为焦点，具体可以为两个焦点中的任意一个，当光斑分布曲线为线段时，光斑分布曲线的特征点和第一特征点均为线段的中点，当光斑分布曲线为多边形时，光斑分布曲线的特征点和第一特征点均为多边形的中心点。

步骤S306，根据第一特征点的位置和预设信息确定人眼图像对应的注视点信息。

在确定第一特征点后，根据第一特征点的位置和预设信息确定人眼图像对应的注视点信息。

一种具体的实施方式为：预设信息为人眼图像中的瞳孔中心点的位置，根据第一特征点的位置和人眼图像中的瞳孔中心点的位置，确定人眼图像对应的注视点信息，具体地，在人眼图像中确定瞳孔中心点的位置，根据第一特征点的位置和瞳孔中心点的位置，利用基于回归的P-CR算法获得注视点信息，注视点信息可以有多种呈现方式，包括但不限于坐标、偏角以及旋转矩阵等。该种实施例中，无需获知光斑和光源之间的对应关系，计算过程简单，计算效率高。

另一种具体的实施方式为，将所有光源组成的图形的特征点确定为第二特征点，根据第一特征点的位置、第二特征点的位置，提取的每个光斑的位置、每个光源的位置，确定提取的每个光斑对应的光源，根据提取的每个光斑的位置及其对应的光源的位置，确定人眼图像对应的注视点信息，其中，第二特征点包括中点、圆心、焦点、中心点。该种实施方式中，预设信息为第二特征点的位置、提取的每个光斑的位置和每个光源的位置。

本实施例中，所有光源组成的图形可以为圆形、椭圆形、近似圆形、近似椭圆形、正方形、矩形、线段、梯形等，相应地，第二特征点能够为圆心、中点、焦点、中心点等。由于光斑是每个光源在人眼中的成像，因此光斑分布曲线的形状与所有光源组成的图形相对应，第一特征点与第二特征点相对应，每个光源与每个光斑相对应，基于此，根据第一特征点的位置、第二特征点的位置，提取的每个光斑的位置、每个光源的位置，确定提取的每个光斑对应的光源的具体过程为：

(1)根据第一特征点的位置和第二特征点的位置，计算第一特征点和第二特征点之间的位置变换关系。该位置变换关系可以通过坐标、偏角、旋转矩阵的方式表示；

(2)根据该位置变换关系和提取的每个光斑的位置，计算提取的每个光斑对应的标准光源位置。其中，计算方式可以为光斑的位置加上位置变换关系，得到对应的标准光源位置，标准光源位置表示光斑对应的光源的标准位置；

(3)将位置与标准光源位置相匹配的光源，确定为提取的每个光斑对应的光源。由于计算精度误差等影响，光源的位置可能与标准光源位置存在误差，将该误差在允许的误差范围内的光源确定为与标准光源位置相匹配的光源，并将位置与标准光源位置相匹配的光源，确定为提取的每个光斑对应的光源。

由于光斑分布曲线的形状与所有光源组成的图形相对应，第一特征点与第二特征点相对应，每个光源与每个光斑相对应，因此，根据第一特征点的位置、第二特征点的位置，提取的每个光斑的位置、每个光源的位置，确定提取的每个光斑对应的光源的具体过程还可以为：

(1)根据第一特征点的位置和提取的每个光斑的位置，计算第一特征点与提取的每个光斑之间的第一相对位置。具体计算方式可以为第一特征点的位置和提取的每个光斑的位置相减，得到多个第一相对位置，提取的每个光斑均对应有一个第一相对位置，第一相对位置可以通过坐标、偏角、旋转矩阵的方式表示；

(2)根据第二特征点的位置和每个光源的位置，计算第二特征点与每个光源之间的第二相对位置。具体计算方式可以为第二特征点的位置和每个光源的位置相减，得到多个第二相对位置，每个光源均对应有一个第二相对位置，第二相对位置可以通过坐标、偏角、旋转矩阵的方式表示；

(3)确定与第一相对位置相匹配的第二相对位置，将确定的第二相对位置所对应的光源，确定为提取的每个光斑对应的光源。考虑到计算精度等影响，将每个第一相对位置和每个第二相对位置相减，得到差值，差值在允许的差值范围内时，确定第一相对位置和第二相对位置相匹配。对于相匹配的第一相对位置和第二相对位置，该第一相对位置对应的光斑和该第二相对位置对应的光源相互对应。

在利用上述的两种方式确定提取的每个光斑对应的光源后，根据提取的每个光斑的位置及其对应的光源的位置，利用基于3D的P-CR算法确定人眼图像对应的注视点信息，注视点信息可以有多种呈现方式，包括但不限于坐标、偏角以及旋转矩阵等。该实施例中，需要获知光斑和光源之间的对应关系，在无法确定人眼图像中的瞳孔中心点的位置时，能够采用该实施例确定注视点信息。

本发明实施例中，若在人眼图像中提取到至少三个光斑，则根据提取的每个光斑的位置拟合光斑分布曲线，其中，人眼图像对应多个光源，每个光斑为一个光源的成像，将光斑分布曲线的特征点确定为第一特征点，其中，第一特征点包括中点、圆心、焦点、中心点，根据第一特征点的位置和预设信息确定人眼图像对应的注视点信息。通过本发明实施例中的方法，无需全部光源均在用户眼球中成像形成光斑，也无需估计光斑和光源之间的对应关系，当只有部分光源如三个光源形成光斑时，就能够确定人眼图像对应的注视点信息，从而实现注视点的快速估计。

考虑到在人眼图像中提取到两个光斑的情况，本发明实施例还提供了以下步骤：

(a1)，若在人眼图像中提取到两个光斑，则根据提取的每个光斑的位置、每个光源的位置，人眼图像中人眼特征的位置，确定提取的每个光斑对应的光源；

人眼图像中的人眼特征包括但不限于瞳孔、虹膜等。本步骤中，以人眼图像中人眼特征的位置为参考，确定提取的每个光斑对应的光源，具体过程为：

(a11)根据提取的每个光斑的位置计算提取的各个光斑之间的第三相对位置，根据每个光源的位置计算各个光源之间的第四相对位置。假设提取到N个光斑，则计算提取到的每个光斑相对于提取到的其他任意一个光斑的第三相对位置，因此对于每个提取到的光斑来说，都具有N-1个第三相对位置，假设一共有M个光源，则计算每个光源相对于其他任意一个光源的第四相对位置，因此对于每个光源来说，都具有M-1个第四相对位置；

(a12)根据提取的每个光斑的位置与人眼特征的位置，计算提取的每个光斑与人眼特征之间的第五相对位置，根据每个光源的位置与人眼特征的位置，计算每个光源与人眼特征之间的第六相对位置。计算提取到的每个光斑相对于人眼特征(如瞳孔或者虹膜)的第五相对位置，对于提取到的每个光斑来说，均具有一个第五相对位置，计算每个光源相对于人眼特征(如瞳孔或者虹膜)的第六相对位置，对于提取到的每个光源来说，均具有一个第六相对位置。需要说明的是，计算第五相对位置和计算第六相对位置时，人眼特征为同一人眼特征；

(a13)确定第四相对位置与第三相对位置相匹配，且第六相对位置与第五相对位置相匹配的光源，为提取的每个光斑对应的光源。在确定提取到的光斑对应的光源时，既考虑到光源之间的相对位置，也考虑到光源与人眼特征之间的相对位置，当光源之间的相对位置与光斑之间的相对位置匹配，且光源和人眼特征之间的相对位置与光斑和人眼特征之间的相对位置匹配时，确定光源与光斑相对应。本实施例中所指两位置相匹配，是指两位置之间的差值在允许的误差范围内。

步骤(a11)至步骤(a13)中，第三相对位置、第四相对位置、第五相对位置和第六相对位置能够通过坐标、偏角以及旋转矩阵等形式表示。

(a2)，根据提取的每个光斑的位置及其对应的光源的位置，确定人眼图像对应的注视点信息，或者，将所有光源组成的图形的特征点确定为第二特征点，根据提取的每个光斑对应的光源的位置、第二特征点的位置、提取的每个光斑的位置，确定第二特征点在人眼图像中的映射点，根据该映射点的位置和人眼图像中的瞳孔中心点的位置，确定人眼图像对应的注视点信息，其中，第二特征点包括中点、圆心、焦点、中心点。

本步骤中，在获知提取的每个光斑对应的光源后，能够根据提取的每个光斑的位置及其对应的光源的位置，利用基于3D的P-CR算法确定人眼图像对应的注视点信息，注视点信息可以有多种呈现方式，包括但不限于坐标、偏角以及旋转矩阵等。

本步骤中，在获知提取的每个光斑对应的光源后，考虑到光斑为光源在人眼中的成像，每个光源与每个光斑相对应，所有光源组成的图形的特征点与所有光斑组成的图像的特征点相对应，因此还能够采用以下方式确定主视点信息：

(a21)将所有光源组成的图形的特征点确定为第二特征点。所有光源组成的图形可以为圆形、椭圆形、近似圆形、近似椭圆形、正方形、矩形、线段、梯形等，相应地，第二特征点能够为圆心、中点、焦点、中心点等。

(a22)根据提取的每个光斑对应的光源的位置、第二特征点的位置、提取的每个光斑的位置，确定第二特征点在人眼图像中的映射点。映射点的确定方式可以为：计算提取的每个光斑对应的每个光源与第二特征点之间的位置变换关系，在人眼图像中，利用该位置变换关系和提取的每个光斑的位置，得到映射点的位置，从而确定第二特征点在人眼图像中的映射点。

(a23)根据该映射点的位置和人眼图像中的瞳孔中心点的位置，利用基于回归的P-CR算法，确定人眼图像对应的注视点信息，注视点信息可以有多种呈现方式，包括但不限于坐标、偏角以及旋转矩阵等。

通过步骤(a1)和步骤(a2)，能够在人眼图像中提取到两个光斑时，确定人眼图像对应的注视点信息，从而在光斑数量较少时确定人眼的注视点信息，实现注视点的快速估计。

考虑到在人眼图像中提取到一个光斑的情况，本发明实施例还提供了以下步骤：

(b1)若在人眼图像中提取到一个光斑，则控制每个光源逐一点亮，确定该光斑对应的光源；其中，控制每个光源逐一点亮，若在某个光源点亮时光斑出现，则确定该光源与该光斑对应。

(b2)将所有光源组成的图形的特征点确定为第二特征点，根据提取的光斑对应的光源的位置、第二特征点的位置、提取的光斑的位置，确定第二特征点在人眼图像中的映射点。

具体地，所有光源组成的图形可以为圆形、椭圆形、近似圆形、近似椭圆形、正方形、矩形、线段、梯形等，相应地，第二特征点能够为圆心、中点、焦点、中心点等。根据提取的光斑对应的光源的位置、第二特征点的位置、提取的光斑的位置，确定第二特征点在人眼图像中的映射点，具体方式为，计算提取的光斑对应的光源与第二特征点之间的位置变换关系，在人眼图像中，利用该位置变换关系和提取的光斑的位置，得到映射点的位置，从而确定第二特征点在人眼图像中的映射点。

(b3)根据该映射点的位置和人眼图像中的瞳孔中心点的位置，确定人眼图像对应的注视点信息，其中，第二特征点包括中点、圆心、焦点、中心点。

根据该映射点的位置和人眼图像中的瞳孔中心点的位置，利用基于回归的P-CR算法，确定人眼图像对应的注视点信息，注视点信息可以有多种呈现方式，包括但不限于坐标、偏角以及旋转矩阵等。

通过步骤(b1)至步骤(b3)，能够在人眼图像中提取到一个光斑时，确定人眼图像对应的注视点信息，从而在光斑数量最少时确定人眼的注视点信息，实现注视点的快速估计。

综上，通过本发明实施例中的方法，能够在人眼图像中具有三个及以上光斑时，确定人眼图像对应的注视点信息，还能够在人眼图像中具有两个或一个光斑时，确定人眼图像对应的注视点信息，从而实现光源部分成像时注视点信息的确定，实现人眼注视点的快速估计。

对应上述的视线估计方法，本发明实施例还提供了一种视线估计装置，图4为本发明实施例提供的视线估计装置的模块组成示意图，如图4所示，该装置包括：

曲线确定模块41，用于获取人眼图像，若在人眼图像中提取到至少三个光斑，则根据提取的每个光斑的位置拟合光斑分布曲线，其中，人眼图像对应多个光源，每个光斑为一个光源的成像；

特征点确定模块42，用于将光斑分布曲线的特征点确定为第一特征点，其中，第一特征点包括中点、圆心、焦点、中心点；

信息确定模块43，用于根据第一特征点的位置和预设信息确定人眼图像对应的注视点信息。

其中，信息确定模块43包括：第一确定子模块，用于根据第一特征点的位置和人眼图像中的瞳孔中心点的位置，确定人眼图像对应的注视点信息；或者，第二确定子模块，用于将所有光源组成的图形的特征点确定为第二特征点，根据第一特征点的位置、第二特征点的位置，提取的每个光斑的位置、每个光源的位置，确定提取的每个光斑对应的光源，根据提取的每个光斑的位置及其对应的光源的位置，确定人眼图像对应的注视点信息，其中，第二特征点包括中点、圆心、焦点、中心点。

一种实施方式中，第二确定子模块通过以下方式确定提取的每个光斑对应的光源：根据第一特征点的位置和第二特征点的位置，计算第一特征点和第二特征点之间的位置变换关系；根据该位置变换关系和提取的每个光斑的位置，计算提取的每个光斑对应的标准光源位置；将位置与标准光源位置相匹配的光源，确定为提取的每个光斑对应的光源。

一种实施方式中，第二确定子模块通过以下方式确定提取的每个光斑对应的光源：根据第一特征点的位置和提取的每个光斑的位置，计算第一特征点与提取的每个光斑之间的第一相对位置；根据第二特征点的位置和每个光源的位置，计算第二特征点与每个光源之间的第二相对位置；确定与第一相对位置相匹配的第二相对位置，将确定的第二相对位置所对应的光源，确定为提取的每个光斑对应的光源。

本实施例中，所有光源呈圆形、椭圆形、近似圆形或者近似椭圆形排列，光斑分布曲线为圆或者椭圆。

本发明实施例中，若在人眼图像中提取到至少三个光斑，则根据提取的每个光斑的位置拟合光斑分布曲线，其中，人眼图像对应多个光源，每个光斑为一个光源的成像，将光斑分布曲线的特征点确定为第一特征点，其中，第一特征点包括中点、圆心、焦点、中心点，根据第一特征点的位置和预设信息确定人眼图像对应的注视点信息。通过本发明实施例中的装置，无需全部光源均在用户眼球中成像形成光斑，也无需估计光斑和光源之间的对应关系，当只有部分光源如三个光源形成光斑时，就能够确定人眼图像对应的注视点信息，从而实现注视点的快速估计。

进一步地，本实施例中的装置还包括：

第一光源确定模块，用于若在人眼图像中提取到两个光斑，则根据提取的每个光斑的位置、每个光源的位置，人眼图像中人眼特征的位置，确定提取的每个光斑对应的光源；

第一注视点信息确定模块，用于根据提取的每个光斑的位置及其对应的光源的位置，确定人眼图像对应的注视点信息，或者，将所有光源组成的图形的特征点确定为第二特征点，根据提取的每个光斑对应的光源的位置、第二特征点的位置、提取的每个光斑的位置，确定第二特征点在人眼图像中的映射点，根据映射点的位置和人眼图像中的瞳孔中心点的位置，确定人眼图像对应的注视点信息，其中，第二特征点包括中点、圆心、焦点、中心点。

其中，第一注视点信息确定模块通过以下方式确定提取的每个光斑对应的光源：根据提取的每个光斑的位置计算提取的各个光斑之间的第三相对位置，根据每个光源的位置计算各个光源之间的第四相对位置；根据提取的每个光斑的位置与人眼特征的位置，计算提取的每个光斑与人眼特征之间的第五相对位置，根据每个光源的位置与人眼特征的位置，计算每个光源与人眼特征之间的第六相对位置；确定第四相对位置与第三相对位置相匹配，且第六相对位置与第五相对位置相匹配的光源，为提取的每个光斑对应的光源。

通过第一光源确定模块和第一注视点信息确定模块，能够在人眼图像中提取到两个光斑时，确定人眼图像对应的注视点信息，从而在光斑数量较少时确定人眼的注视点信息，实现注视点的快速估计。

进一步地，本实施例中的装置还包括：

第二光源确定模块，用于若在人眼图像中提取到一个光斑，则控制每个光源逐一点亮，确定光斑对应的光源；

映射点确定模块，用于将所有光源组成的图形的特征点确定为第二特征点，根据提取的光斑对应的光源的位置、第二特征点的位置、提取的光斑的位置，确定第二特征点在人眼图像中的映射点；

第二注视点信息确定模块，用于根据映射点的位置和人眼图像中的瞳孔中心点的位置，确定人眼图像对应的注视点信息，其中，第二特征点包括中点、圆心、焦点、中心点。

通过第二光源确定模块、映射点确定模块和第二注视点信息确定模块，能够在人眼图像中提取到一个光斑时，确定人眼图像对应的注视点信息，从而在光斑数量最少时确定人眼的注视点信息，实现注视点的快速估计。

本发明实施例所提供的视线估计装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的***、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视线估计方法，其特征在于，包括：

获取人眼图像，若在所述人眼图像中提取到至少三个光斑，则根据提取的每个所述光斑的位置拟合光斑分布曲线，其中，所述人眼图像对应多个光源，每个所述光斑为一个所述光源的成像；

将所述光斑分布曲线的特征点确定为第一特征点，其中，所述第一特征点包括中点、圆心、焦点、中心点；

根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息；

其中，所述根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息，包括：

将所有所述光源组成的图形的特征点确定为第二特征点，根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，根据提取的每个所述光斑的位置及其对应的所述光源的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点；

所述预设信息包括第二特征点的位置、提取的每个所述光斑的位置和每个所述光源的位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息，还包括：

根据所述第一特征点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，包括：

根据所述第一特征点的位置和所述第二特征点的位置，计算所述第一特征点和所述第二特征点之间的位置变换关系；

根据所述位置变换关系和提取的每个所述光斑的位置，计算提取的每个所述光斑对应的标准光源位置；

将位置与所述标准光源位置相匹配的光源，确定为提取的每个所述光斑对应的所述光源。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，包括：

根据所述第一特征点的位置和提取的每个所述光斑的位置，计算所述第一特征点与提取的每个所述光斑之间的第一相对位置；

根据所述第二特征点的位置和每个所述光源的位置，计算所述第二特征点与每个所述光源之间的第二相对位置；

确定与所述第一相对位置相匹配的第二相对位置，将确定的所述第二相对位置所对应的光源，确定为提取的每个所述光斑对应的所述光源。

5.根据权利要求1所述的方法，其特征在于，所有所述光源呈圆形、椭圆形、近似圆形或者近似椭圆形排列，所述光斑分布曲线为圆或者椭圆。

6.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

若在所述人眼图像中提取到两个所述光斑，则根据提取的每个所述光斑的位置、每个所述光源的位置，所述人眼图像中人眼特征的位置，确定提取的每个所述光斑对应的所述光源；

根据提取的每个所述光斑的位置及其对应的所述光源的位置，确定所述人眼图像对应的注视点信息，或者，将所有所述光源组成的图形的特征点确定为第二特征点，根据提取的每个所述光斑对应的所述光源的位置、所述第二特征点的位置、提取的每个所述光斑的位置，确定所述第二特征点在所述人眼图像中的映射点，根据所述映射点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点。

7.根据权利要求6所述的方法，其特征在于，所述根据提取的每个所述光斑的位置、每个所述光源的位置，所述人眼图像中人眼特征的位置，确定提取的每个所述光斑对应的所述光源，包括：

根据提取的每个所述光斑的位置计算提取的各个所述光斑之间的第三相对位置，根据每个所述光源的位置计算各个所述光源之间的第四相对位置；

根据提取的每个所述光斑的位置与所述人眼特征的位置，计算提取的每个所述光斑与所述人眼特征之间的第五相对位置，根据每个所述光源的位置与所述人眼特征的位置，计算每个所述光源与所述人眼特征之间的第六相对位置；

确定所述第四相对位置与所述第三相对位置相匹配，且所述第六相对位置与所述第五相对位置相匹配的所述光源，为提取的每个所述光斑对应的所述光源。

8.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

若在所述人眼图像中提取到一个所述光斑，则控制每个所述光源逐一点亮，确定所述光斑对应的所述光源；

将所有所述光源组成的图形的特征点确定为第二特征点，根据提取的所述光斑对应的所述光源的位置、所述第二特征点的位置、提取的所述光斑的位置，确定所述第二特征点在所述人眼图像中的映射点；

根据所述映射点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点。

9.一种视线估计装置，其特征在于，包括：

曲线确定模块，用于获取人眼图像，若在所述人眼图像中提取到至少三个光斑，则根据提取的每个所述光斑的位置拟合光斑分布曲线，其中，所述人眼图像对应多个光源，每个所述光斑为一个所述光源的成像；

特征点确定模块，用于将所述光斑分布曲线的特征点确定为第一特征点，其中，所述第一特征点包括中点、圆心、焦点、中心点；

信息确定模块，用于根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息；

其中，所述信息确定模块，在根据所述第一特征点的位置和预设信息确定所述人眼图像对应的注视点信息时，用于：

将所有所述光源组成的图形的特征点确定为第二特征点，根据所述第一特征点的位置、所述第二特征点的位置，提取的每个所述光斑的位置、每个所述光源的位置，确定提取的每个所述光斑对应的所述光源，根据提取的每个所述光斑的位置及其对应的所述光源的位置，确定所述人眼图像对应的注视点信息，其中，所述第二特征点包括中点、圆心、焦点、中心点；

所述预设信息包括第二特征点的位置、提取的每个所述光斑的位置和每个所述光源的位置。

10.根据权利要求9所述的装置，其特征在于，所述信息确定模块还包括：

第一确定子模块，用于根据所述第一特征点的位置和所述人眼图像中的瞳孔中心点的位置，确定所述人眼图像对应的注视点信息。

Images