CN105335115A - 头戴式视线跟踪装置 - Google Patents

Abstract

本发明公开了一种头戴式视线跟踪装置。在本发明中的头戴式视线跟踪装置中，头戴部件只需装设一个摄像头，该摄像头朝向头戴部件的视线光透区域的外侧，用于拍摄视线所在方向的场景图像；而为了获得人眼图像，头戴部件还装设有镜像体，该镜像体的镜像面位于摄像头的拍摄视野内、并朝向视线光透区域的内侧，用于在摄像头的拍摄视野内对视线光透区域的内侧的人眼镜像成像。从而，仅利用一个摄像头即可拍摄得到内嵌有人眼图像的场景图像，以支持视线跟踪的实现。基于此，本发明能够降低头戴式视线跟踪装置的耗电量和装配难度。

Description

头戴式视线跟踪装置

技术领域

本发明涉及视线跟踪技术，特别涉及一种头戴式视线跟踪装置。

背景技术

视线代表了人的关注焦点，通过对视线的跟踪即可实现对关注焦点的捕获。因此，视线跟踪在人机交互领域存在着很大的应用潜力。例如，当计算机用户注视计算机的显示屏时，通过视线跟踪即可估计出用户在显示幕的关注焦点，从而，通过视线跟踪捕获关注焦点的方式即可替代以鼠标指针表示关注焦点的方式实现计算机输入。

为便于视线跟踪技术在人机交互领域的应用，现有技术提供了一种头戴式的视线跟踪装置，头戴式的视线跟踪装置包括头戴部件(例如眼镜或头盔)、装设于头戴部件的两个摄像头，其中一个摄像头用于拍摄视线所在方向的场景图像、另一个摄像头则用于拍摄人眼图像，其中，拍摄场景图像是为了圈定视线所关注的候选焦点对象，而拍摄人眼图像则是为了估计出相对准确的视线方向、并利用估计得到的视线方向从候选焦点对象中选取正确的焦点对象。

然而，由于装设了两个摄像头，必然会增加头戴式的视线跟踪装置的耗电量，而且，再头戴部件同时安装两个摄像头也会增加头戴式的视线跟踪装置的装配难度。

发明内容

有鉴于此，本发明提供一种头戴式视线跟踪装置。

本发明提供的一种头戴式视线跟踪装置，包括：

一头戴部件，该头戴部件具有视线光透区域；

一摄像头，该摄像头装设于头戴部件，且该摄像头朝向视线光透区域的外侧；

一镜像体，该镜像体装设于头戴部件，且该镜像体的镜像面位于摄像头的拍摄视野内、并朝向视线光透区域的内侧；

优选地，进一步包括：

一处理器，该处理器装设于头戴部件并与摄像头电连接；

其中，摄像头拍摄到的图像中的镜像面成像区域被处理器分割提取、以进行视线方向估计，摄像头拍摄到的图像经分割提取后剩余的其余成像区域用于处理器依据估计得到的视线方向确定视线关注对象。

优选地，头戴部件具有两个视线光透区域；摄像头装设于其中一个视线光透区域的侧边处、并远离另一个视线光透区域；镜像体的镜像面朝向摄像头所在的一个视线光透区域的内侧。

优选地，头戴部件具有两个视线光透区域；摄像头装设于两个视线光透区域之间；镜像体的镜像面朝向其中任一个视线光透区域的内侧。

优选地，头戴部件具有两个视线光透区域；摄像头装设于两个视线光透区域之间；镜像体的镜像面同时朝向两个视线光透区域的内侧。

优选地，镜像体的镜像面为全反射镜面。

优选地，镜像体的镜像面为半透半反镜面。

优选地，头戴部件为眼镜框，两个视线光透区域分别位于装设于眼镜框的两个镜片处。

优选地，镜像体为悬置在镜片的外侧的独立部件，镜像体的镜像面为全反射镜面。

优选地，镜像体为镜片，镜像体的镜像面为镜片内侧的半透半反表面。

优选地，进一步包括供电部件，该供电部件装设于头戴部件、并与摄像头和处理器电连接。

如上可见，在本发明中的头戴式视线跟踪装置中，头戴部件只需装设一个摄像头，该摄像头朝向头戴部件的视线光透区域的外侧，用于拍摄视线所在方向的场景图像；而为了获得人眼图像，头戴部件还装设有镜像体，该镜像体的镜像面位于摄像头的拍摄视野内、并朝向视线光透区域的内侧，用于在摄像头的拍摄视野内对视线光透区域的内侧的人眼镜像成像。从而，利用一个摄像头即可拍摄得到内嵌有人眼图像的场景图像，以支持视线跟踪的实现。与利用两个摄像头分别拍摄相互独立的人眼图像和场景图像的方式相比，本发明能够降低头戴式视线跟踪装置的耗电量和装配难度。

相应地，基于本发明中的头戴式视线跟踪装置得到的内嵌有人眼图像的场景图像，只需将镜像得到的人眼图像从场景图像中分割提取即可得到相互独立但又相互关联的人眼图像与场景图像，从而能够利用相互独立但又相互关联的人眼图像与场景图像进行视线方向估计、再依据估计得到的视线方向在场景图像中确定视线关注对象。

附图说明

图1为本发明实施例中的头戴式视线跟踪装置的原理性示意图；

图2a和图2b为本发明实施例中的头戴式视线跟踪装置的应用实例一的结构示意图；

图3为如图2a和图2b所示的应用实例一中拍摄到的图像的示意图；

图4a和图4b为本发明实施例中的头戴式视线跟踪装置的应用实例二的结构示意图；

图5为如图4a和图4b所示的应用实例二中拍摄到的图像的示意图；

图6a和图6b为本发明实施例中的头戴式视线跟踪装置的应用实例三的结构示意图；

图7为如图6a和图6b所示的应用实例三中拍摄到的图像的示意图；

图8为本发明实施例中的头戴式视线跟踪装置的应用实例四的结构示意图；

图9为如图8所示的应用实例四中拍摄到的图像的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

本实施例中的头戴式视线跟踪装置包括头戴部件，例如眼镜框或头盔等任一种可装戴于头部的部件；并且，该头戴部件具有视线光透区域，其中，所述的视线光透区域是指在头戴部件装戴于头部时不遮挡眼睛、并允许眼睛的视线通过的区域，例如，对于眼镜框来说，视线光透区域可以是装设于眼镜框的镜片所在的区域，再例如，对于头盔来说，视线光透区域可以是形成于头盔的前表面、并使眼睛暴露的镂空区域。

请参见图1，除了头戴部件(图1中未示出)之外，本实施例中的头戴式视线跟踪装置还包括：

一摄像头10，该摄像头10装设于头戴部件，且该摄像头10朝向头戴部件的视线光透区域的外侧，即，当头戴部件装戴于头部时，该摄像头10的朝向与眼睛100的朝向相同或基本相同，以便于拍摄视线所在方向的包括若干目标体10a的场景图像；

一镜像体20，该镜像体20装设于头戴部件，且该镜像体20的镜像面位于摄像头10的拍摄视野内、并朝向视线光透区域的内侧，即，当头戴部件装戴于头部时，该镜像体20的镜像面的朝向眼睛100，以便于在摄像头10的拍摄视野内形成人眼成像10b。

基于上述结构，本实施例中的头戴式视线跟踪装置只需在头戴部件装设一个拍摄场景图像的摄像头10，人眼图像则无需通过额外的摄像头拍摄成像，而是可以由位于摄像头10的拍摄视野内的镜像体20利用其镜像面成像。从而，利用一个摄像头10即可拍摄得到内嵌有人眼图像的场景图像，以支持视线跟踪的实现。

显然，相比于现有技术中利用两个摄像头分别拍摄场景图像和人眼图像的方案，本实施例能够降低头戴式视线跟踪装置的耗电量和装配难度。

相应地，若头戴式视线跟踪装置本身还需要具备视线跟踪的计算处理功能，则本实施例中的头戴式视线跟踪装置还需要包括装设于头戴部件并与摄像头10电连接的处理器，用于对内嵌于场景图像的人眼图像进行分割提取、以便于利用人眼图像进行视线方向估计，尔后，再依据估计得到的视线方向即可在场景图像中确定视线关注对象。

实际应用中，对人眼图像的分割提取，可以依据镜像面的面积、以及镜像面在摄像头10的拍摄视野内的坐标位置来确定分割边缘；对于视线方向估计，可以通过建立人眼图像与视线方向的映射模型、并通过该模型从每一幅眼睛图像估计得到其对应的视线方向；对于关注对象的确定，可以包括场景分析和关注目标检测两部分，其中，场景分析可以按照现有方式对单幅或连续多幅场景图像进行显著性检测(saliencydetection)、并得到包含场景中有可能被关注的候选对象的显著区域，关注目标检测则可以按照现有方式判断显著区域和视线方向的交汇、并从候选对象中确定一个关注对象。

当然，头戴式视线跟踪装置本身并不是必须要具备视线跟踪的计算处理功能，而是可以由独立于头戴式视线跟踪装置、并与头戴式视线跟踪装电连接的计算设备来实现视线跟踪的计算处理功能，此时，该计算设备同样可以按照上述方式对内嵌有人眼图像的场景图像进行处理。

为了更好地理解本实施例中的头戴式视线跟踪装置，下面以头戴部件为眼镜框为例，结合应用实例进行详细说明。

应用实例一

请参见图2a和图2b，在本实例中的头戴式视线跟踪装置中：

作为头戴部件的眼镜框30具有形成视线透视区域的镜片40a和40b；

摄像头10在由镜片40a形成的视线光透区域的侧边处装设于眼镜框30、并远离镜片40b形成的视线光透区域，并且，摄像头10朝向视线光透区域的外侧、即镜片40a的外侧；

镜像体20悬置在镜片40a的外侧，镜像体20的镜像面为全反射面、并朝向由镜片40a形成的视线光透区域的内侧。

基于上述结构，请参见图3，摄像头10所拍摄得到的图像中既包含场景中的目标体10a，由包含镜像体20及其镜像面成像得到的包含单眼的人眼图像10b。此后，装设于眼镜框30、并与摄像头10电连接的处理器50只需将人眼图像10b从摄像头10拍摄到的整幅图像中分割提取，即可进行视线方向估计，而依据估计得到的视线方向，即可从作为候选对象的若干目标体10a中确定出视线的关注对象。

应用实例二

请参见图4a和图4b，本实例中的头戴式视线跟踪装置与应用实例一相比，主要的不同之处在于：摄像头10在由镜片40a和40b分别形成的两个视线光透区域之间装设于眼镜框30；相应地，镜像体20悬置在镜片40b的外侧，镜像体20的镜像面朝向由镜片40b形成的视线光透区域的内侧。

基于上述结构，请参见图5，摄像头10所拍摄得到的图像与应用实例一基本相同，相应地，处理器50的处理方式与应用实例一基本相同。

应用实例三

请参见图6a和图6b，本实例中的头戴式视线跟踪装置与应用实例二相比，主要的不同之处在于：镜像体20的镜像面同时朝向由镜片40a和40b形成的两个视线光透区域的内侧。

基于上述结构，请参见图7，在摄像头10所拍摄得到的图像中，由镜像体20的镜像面成像得到的人眼图像10b包含双眼。但人眼图像10b中包含双眼并不影响处理器50的处理方式，即，本实例中的处理器50仍可按照与应用实例一基本相同的方式进行处理。

应用实例四

请参见图8，与应用实例一至三不同的是，在本实例中的头戴式视线跟踪装置中，镜片40a或40b作为镜像体，并且，镜片40a或40b的内侧表面为半透半反表面(例如贴覆偏光膜)、并用作镜像体20的镜像面。

基于此，相比于应用实例一至三，具有半透半反表面的镜像体不具有遮挡效果，相应地，请参见图9，摄像头10所拍摄得到的图像中并不包括镜像体，从而避免镜像体在图像中遮挡场景中可能被关注的对象。

通过上述的应用实例可知，在本实施例所提供的头戴式视线跟踪装置中：

头戴部件可以具有两个视线光透区域，此时，摄像头可以装设于其中一个视线光透区域的侧边处、并远离另一个视线光透区域，并且，镜像体的镜像面可以朝向摄像头所在的一个视线光透区域的内侧；或者，摄像头也可以装设于两个视线光透区域之间，并且，镜像体的镜像面朝向其中任一个视线光透区域的内侧、或同时朝向两个视线光透区域的内侧；

而且，镜像体的镜像面既可以为全反射镜面，也可以为半透半反镜面。

当然，对于头戴部件也可以只具有一个视线光透区域，例如，眼镜框所装设的两个镜片中的其中一个可以被替换为遮挡片，再例如，头盔的前表面只形成一个可透光的镂空区域。

另外，为了确保摄像头和处理器的正常工作，本实施例中的头戴式视线跟踪装置可以进一步包括供电部件，该供电部件装设于头戴部件、并与摄像头和处理器电连接。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种头戴式视线跟踪装置，其特征在于，包括：

一头戴部件，该头戴部件具有视线光透区域；

一摄像头，该摄像头装设于头戴部件，且该摄像头朝向视线光透区域的外侧；

一镜像体，该镜像体装设于头戴部件，且该镜像体的镜像面位于摄像头的拍摄视野内、并朝向视线光透区域的内侧。

2.根据权利要求1所述的头戴式视线跟踪装置，其特征在于，进一步包括：

一处理器，该处理器装设于头戴部件并与摄像头电连接；

其中，摄像头拍摄到的图像中的镜像面成像区域被处理器分割提取、以进行视线方向估计，摄像头拍摄到的图像经分割提取后剩余的其余成像区域用于处理器依据估计得到的视线方向确定视线关注对象。

3.根据权利要求1所述的头戴式视线跟踪装置，其特征在于，

头戴部件具有两个视线光透区域；

摄像头装设于其中一个视线光透区域的侧边处、并远离另一个视线光透区域；

镜像体的镜像面朝向摄像头所在的一个视线光透区域的内侧。

4.根据权利要求1所述的头戴式视线跟踪装置，其特征在于，

头戴部件具有两个视线光透区域；

摄像头装设于两个视线光透区域之间；

镜像体的镜像面朝向其中任一个视线光透区域的内侧。

5.根据权利要求1所述的头戴式视线跟踪装置，其特征在于，

头戴部件具有两个视线光透区域；

摄像头装设于两个视线光透区域之间；

镜像体的镜像面同时朝向两个视线光透区域的内侧。

6.根据权利要求1至5中任一项所述的头戴式视线跟踪装置，其特征在于，镜像体的镜像面为全反射镜面。

7.根据权利要求1至5中任一项所述的头戴式视线跟踪装置，其特征在于，镜像体的镜像面为半透半反镜面。

8.根据权利要求2至5中任一项所述的头戴式视线跟踪装置，其特征在于，头戴部件为眼镜框，两个视线光透区域分别位于装设于眼镜框的两个镜片处。

9.根据权利要求8所述的头戴式视线跟踪装置，其特征在于，镜像体为悬置在镜片的外侧的独立部件，镜像体的镜像面为全反射镜面。

10.根据权利要求8所述的头戴式视线跟踪装置，其特征在于，镜像体为镜片，镜像体的镜像面为镜片内侧的半透半反表面。