CN105361851A - 视线检测装置 - Google Patents

Abstract

本发明提供将位于光源和摄像机的前方的透光部件构成得较薄，并且能够确保强度的视线检测装置。照明摄像部(20)具有摄像机(21)和光源(22)。将照明摄像部(20)的前方覆盖的前部件(30)是透光部件(31)与遮光部件(35)通过二色成型工序密接而形成的。为此，即使在摄像孔(23)的前方使透光部件(31)的前部被覆部(32)的厚度尺寸(t)为2mm以下的较薄的厚度也能够保证强度。通过将前部被覆部(32)构成得较薄，即使从光源(22)发出的光入射到前部被覆部(32)的内部传播，也不易向摄像机(21)出射，能够防止光直接提供给摄像机(21)。

Description

视线检测装置

技术领域

本发明涉及能够检测车的驾驶员以外的对象者的视线方向的视线检测装置。

背景技术

专利文献1中记载的注视点检测方法，2台摄像机朝向对象者的眼睛。在各个摄像机的周围同心圆状地配置有2种光源，沿着距摄像机近的内侧的圆配置有发出中心波长而850nm的光的光源，沿着外侧的圆配置有发出中心波长为950nm的光的光源。通过照射850nm的光，通过摄像机能够取得明瞳孔图像，通过照射950nm的光来取得暗瞳孔图像。

在该注视点检测方法中，基于明瞳孔图像与暗瞳孔图像的差分图像来取得瞳孔图像，并从暗瞳孔图像取得光源的角膜反射点。基于瞳孔图像和角膜反射点，计算从与连接摄像机和瞳孔的基准线垂直的平面上的对象者的角膜反射点到瞳孔的向量，基于该向量并使用规定的函数来计算对象者的视线相对于各摄像机的基准线的方向。

专利文献1：国际公开2012/020760号公报

专利文献1中记载的注视点检测方法，在摄像机的周围配置有2种光源，但使摄像机和2种光源在空间上露出而配置时，作为装置的外观不是优选的，优选的是，设置将摄像机的前方和光源的前方共同覆盖的导光性的盖板。

然而，需要摄像机和光源接近而配置，尤其是发出用于明瞳孔图像的中心波长为850nm的光的光源需要与摄像机的光轴接近而配置。在用相同的盖板将接近配置的摄像机和光源的前方覆盖时，存在如下问题：从光源发出的光在盖板的内部传播，该光的一部分从盖板出射而容易被摄像机检测。

尤其是，在所述盖板的厚度尺寸较大时，在盖板内传播的光容易以小的入射角(接近垂直的入射角)向盖板的内面入射，因此光的一部分在盖板的内面透射后向外部发出而光容易向摄像机入射。因此，优选的是，将覆盖光源的前方和摄像机的前方的盖板形成得较薄，在将其厚度尺寸设为2mm以下时，在盖板的内部传播的光不易从盖板的内面向摄像机方向出射。

然而，厚度为2mm以下的盖板的强度非常低，难以覆盖摄像机和光源这两者的前方，并且构成能够将2台摄像机和与各个摄像机接近配置的光源全部覆盖的宽面积的盖板是困难。

发明内容

本发明解决以往的课题，目的在于提供一种视线检测装置，能够较薄地形成将摄像机和光源这两者共同覆盖的透光部件，在透光部件的内部传播的光不易朝向摄像机出射。

本发明的视线检测装置，具有：摄像机，取得至少包括眼睛的区域的图像；及多个光源，向对象者的眼睛提供检测光，所述视线检测装置的特征在于，在所述摄像机的前方和所述光源的前方设置有前部件，所述前部件是遮光部件与透光部件彼此密接而成型的，在所述遮蔽部件，形成有与所述摄像机对置的摄像孔和与所述光源对置的照光孔，所述透光部件以覆盖所述摄像孔和所述照光孔这两者的前方的方式连续地形成。

本发明的视线检测装置，通过设置将摄像机的前方和光源的前方连续地覆盖的透光部件，摄像机和光源不会直接地露出，能够使外观良好。此外，透光部件与遮蔽部件密接而设置，并通过遮蔽部件来加强，所以能够将透光部件构成为薄板，在来自光源的光在透光部件的内部传播时，能够降低光漏出到接近于光源而配置的摄像机。

优选的是，在本发明中，具有所述摄像机和所述光源的照明摄像部彼此分离地设置有两组，所述透光部件形成为将2组所述照明摄像部的所述摄像孔和所述照光孔这两者的前方连续覆盖。

在2组照明摄像部分离而配置的视线检测装置中，在采用2组照明摄像部的全部的摄像机和全部的光源的前方被共同的透光部件所覆盖的构造时，视线检测装置的整体的外观变得良好。

优选的是，在本发明中，所述透光部件的朝向对象者的前表面是平坦面。

优选的是，在本发明的视线检测装置中，所述透光部件具有可见光遮蔽功能。

透光部件将可见光切断后，从视线检测装置的前方观察时，肉眼不会观察到摄像机及光源，在配置于汽车的车内时，仅能看到透光部件，因此外观良好，即使配置在车内也没有不协调感。

优选的是，在本发明中，将所述摄像孔的前方覆盖的所述透光部件的厚度为2mm以下。

通过将透光部件的厚度尺寸设定为所述尺寸以下，在透光部件的内部传播的光不易朝向摄像机出射。

优选的是，在本发明中，所述遮光部件和所述透光部件都由合成树脂材料形成，2个部件通过二色成型工序被密接。

或者，优选的是，在本发明中，所述遮光部件由金属形成，所述透光部件由合成树脂材料形成，2个部件通过嵌件成型工序被密接。

发明效果

在本发明中，将摄像机和光源的前方用共同的透光部件覆盖，所以外观变得良好，尤其是在透光部件具有可见光切断功能时，无法从前方肉眼观察到摄像机及光源，即使配置在汽车的车内也没有不协调感。

此外，透光部件通过遮光部件来加强，因此能够将与摄像机的前方对置的透光部件构成的较薄，能够降低在透光部件的内部传播后的光向摄像机方向射出的可能性，能够限制通过摄像机检测到光源的情况。

附图说明

图1是从前方表示本发明的实施方式的视线检测装置的主要部分的主视图。

图2是从后方观察视线检测装置的主要部分的立体。

图3表示视线检测装置的构造，而且是用III－III线将图1切断的剖视图。

图4是将图3的一部分放大的放大剖视图。

图5是表示变形例的与图4相同的放大剖视图。

图6是表示变形例的与图4相同的放大剖视图。

图7是所述视线检测装置的电路框图。

图8是对人的眼睛的视线的朝向与视线检测装置的位置关系进行表示的说明图。

图9是用于根据瞳孔中心与角膜反射光的中心来算出视线的朝向的说明图。

图10是表示第二实施方式的视线检测装置的主视图。

符号说明

1：视线检测装置

10、20：照明摄像部

11、21：摄像机

12、22：光源(第一光源)

17、27：第二光源

13、23：摄像孔

14、24：照光孔

30：前部件

31：透光部件

32：前部被覆部

32a：前部表面

32b：后部表面

35：遮光部件

48：光源控制部

49：图像取得部

50：瞳孔图像检测部

51：明瞳孔图像检测部

52：暗瞳孔图像检测部

53：瞳孔中心算出部

54：角膜反射光中心检测部

55：视线方向算出部

40：眼睛

42：瞳孔

45：角膜的反射点

O1、O2：光轴

具体实施方式

(视线检测装置的构成)

如图7的框图所示，本发明的实施方式的视线检测装置1由一对照明摄像部10、20和运算控制部CC构成。

如图1和图2所示，共同的前部件30与照明摄像部10和照明摄像部20对置地设置。照明摄像部10与照明摄像部20的中心相隔距离W而配置，但例如该距离W被设定为与人的眼睛的间隔一致。

照明摄像部10具有摄像机11和接近摄像机11的两侧而配置的一对光源12、12，照明摄像部20具有摄像机21和接近摄像机21的两侧而配置的一对光源22、22。照明摄像部10的光轴(摄像机11的光轴)是O1，照明摄像部20的光轴(摄像机21的光轴)是O2。光源12、12的发光光轴位于距光轴O1近的位置，光源22、22的发光光轴位于距光轴O1近的位置。

视线检测装置1设置在汽车的仪表板、挡风玻璃的上部等，照明摄像部10的光轴O1和照明摄像部20的光轴O2被设定为朝向对象者的眼睛40的附近。

摄像机(摄像部件)11、21由摄像元件和透镜等构成。摄像元件由CMOS(互补金属氧化膜半导体)、CCD(电荷耦合元件)等构成。通过摄像元件经由透镜而取得包括驾驶员的眼睛在内的脸部图像。在摄像元件中，通过二维排列的多个像素来检测光。

光源12的发光源是LED(发光二极管)，发出波长850nm或与其近似的波长的红外光(近红外光)作为检测光。

图8示意地表示对象者的一方的眼睛40的视线的朝向与照明摄像部10的关系。图9是用于根据瞳孔中心与角膜反射光的中心来算出视线的朝向的说明图。在图8的(A)和图9的(A)中，对象者的视线方向VL朝向视线检测装置1而几乎朝向正面，在图8的(B)和图9的(B)中，视线方向VL稍稍偏向左方向。

眼睛40在前方具有角膜41，瞳孔42和水晶体43位于角膜41的后方。并且视网膜44存在于最后部。

850nm或与之近似的波长的红外光(近红外光)不易被眼球内的水分吸收，容易一直到达位于眼球的里侧的视网膜44，因此该光在视网膜44被反射的光量变多。为此，在照明摄像部10的光源12、12点亮时，通过接近光源12、12而设置的摄像机11取得的图像中，被视网膜44反射后的红外光经过瞳孔42后被检测，瞳孔42看起来明亮。该图像是明瞳孔图像。

在所述光源12、12点亮时，通过另一方的照明摄像部20的摄像机21取得图像后，此时的摄像机11远离光源12、12，因此即使被视网膜44反射后的光通过了瞳孔42，也不易被位于斜前方的摄像机21检测到。为此，通过摄像机21取得的图像与所述明瞳孔图像相比较，瞳孔42变暗，该图像成为暗瞳孔图像。

反之，在照明摄像部20的光源22、22点亮着时，通过摄像机21取得的图像成为明瞳孔图像，通过摄像机11取得的图像成为暗瞳孔图像。

如图1和图2所示，前部件30由透光部件31和遮光部件35构成。透光部件31和遮光部件35是通过所谓的二色成型工序彼此密接而成型的。即，将合成树脂材料注射到模具而成型出遮光部件35，然后，在该遮光部件35被设置于其他的模具的内部的状态下，向模具内注射合成树脂而成型出透光部件31。

透光部件31是可见光截止滤波器，具有使以波长850nm为中心的近红外线以及红外线的波段透射但将可见光切断的功能。透光部件31例如在透明的丙烯中混入吸收可见光的填料而构成。因此，透光部件31在肉眼观察时是不透明的。

遮光部件35相对于波长中心850nm的波段的近红外光及红外线的波段是非透光性的，相对于可见光也是非透光性的。遮光部件35例如通过在树脂材料中混入各种填料、颜料而形成。

如图1和图2所示，遮光部件35是长方形状的板形状。在构成照明摄像部10的部分，在遮光部件35上开有摄像孔13及位于摄像孔13两侧的照光孔14、14。在遮光部件35的背面，一体形成有从摄像孔13与照光孔14、14的中间竖起的遮光壁15、15。构成照明摄像部10的摄像机11从遮光部件35的背部与摄像孔13对置，光源12、12从遮光部件35的背部与照光孔14、14对置。

在构成照明摄像部20的部分，在遮光部件35开口有摄像孔23及位于摄像孔23两侧的照光孔24、24。在遮光部件35的背面，一体形成有从摄像孔23与照光孔24、24的中间竖起的遮光壁25、25。构成照明摄像部20的摄像机21从遮光部件35的背部与摄像孔23对置，光源22、22从遮光部件35的背部与照光孔24、24对置。

如图2所示，在遮光部件35的长度方向的两端部，一体形成有向背部方向突出的托架36、36。

在透光部件31上，如图3所示，形成有与遮光部件35的前表面密接的前部被覆部32，并如图2所示，形成有自前部被覆部32的上缘部以及下缘部起连续地向后方延伸的上下侧壁部33a、33a、及自前部被覆部32的左缘部以及右缘部起连续地向后方延伸的左右侧壁部33b、33b。

如图3所示，透光部件31的前部被覆部32以均匀的厚度尺寸t连续地形成为能够将前部件30的前表面的整个区域一体覆盖。即，前部被覆部32连续地形成为，覆盖照明摄像部10的摄像孔13和照光孔14、14，并且覆盖照光摄像部20的摄像孔23和照光孔24、24，并且也覆盖照明摄像部10与照明摄像部20的中间部分。并且，前部被覆部32的前方表面32a是平坦面。

在从前方观察视线检测装置1时，在图1所示的长方形的整个区域呈现前部被覆部32，该前部表面32a的整个区域是平坦面。透光部件31不透射可见光，所以在从正面观察时，遮光部件35和摄像机21、22以及光源12、22被前部被覆部32遮挡而不会肉眼看到。因此，在将视线检测装置1设置在汽车的室内的驾驶座的前方等时，摄像机、光源等不会进入到驾驶员的视场内，因此不会给驾驶员带来不协调感。

透光部件31和遮光部件35通过二色成型工序密接而形成，因此即使将前部被覆部32的厚度尺寸t较薄地设为2mm以下，由于通过遮光部件35进行加强因此能够充分确保强度。此外，即使将摄像孔13、23的前方和照光孔14、24的前方覆盖的前部被覆部32的厚度尺寸t为2mm以下的较薄的厚度尺寸，也不会发生变形、翘曲等。

图4是包括照光摄像部20所设置的摄像机21和光源22的放大剖视图。

如图4所示，从光源22发出的检测光L1从遮光部件35的照光孔24向前方出射，在透射近红外光的前部被覆部32透射后照射到包括对象者眼睛的脸部区域。从脸部反射后的波长850nm的反射光L2透射前部被覆部32后被摄像机21检测到。

从光源22发出的检测光L1的一部分的光成分透射前部被覆部32，但检测光L1的剩余的光成分进入到前部被覆部32的内部并在其内部传播。在前部被覆部32的内部，检测光L1在前部被覆部32与外部空气的边界面即前部表面32a与后部表面32b被反射同时在前部被覆部32的板内部行进。如图4所示，覆盖摄像孔23并与摄像机21的前方对置的前部被覆部32是厚度尺寸t为2mm以下的薄的部件时，在板内部传播的光向后部表面32b入射的入射角度容易变大(后部表面32b与入射光线的角度容易变浅)，在前部被覆部32的内部传播的光不易从后部表面32b向摄像机21出射。

因此，来自接近摄像机21而配置的光源22的检测光L1不易被摄像机21检测到，能够防止通过摄像机21取得的图像成为过度曝光状态。

此外，在前部件30的背部(后部)，在摄像机21与光源22之间设置有遮光壁25，所以还能够防止来自光源22的光从前部件30的背部空间直接向摄像机21。

通过二色成型工序来制造前部件30，从而能够将与摄像机21的前方对置的前部被覆部32的厚度尺寸t较薄，即使来自光源22的检测光L1进入到前部被覆部32内，也能够限制该光到达摄像机21，因此能够使光源22尽可能接近摄像机21而配置。通过使光源22接近摄像机21，从而通过摄像机21容易检测从光源22发出并在眼睛40的视网膜44被反射并在瞳孔42通过后的反射光L2，能够获得瞳孔的亮度高的明瞳孔图像。

另外，该优点在另一方的照明摄像部10中也同样具有。

图7所示的运算控制部CC由计算机的CPU、存储器构成，在各块中，通过执行预先安装的软件来进行运算。

在运算控制部CC，设置有光源控制部48、图像取得部49、瞳孔图像检测部50、瞳孔中心算出部53、角膜反射光中心检测部54、以及视线方向算出部55。

接下来，对视线检测装置1的检测动作进行说明。

设置于运算控制部CC的光源控制部48进行设置于照明摄像部10、20的光源12、22的发光的切换、以及光源12、22的发光时间的控制等。

图像取得部49从二个摄像机11、21按每帧取得以立体方式拍摄到的脸部图像。通过图像取得部49所取得的图像按每帧读入到瞳孔图像检测部50中。瞳孔图像检测部50具有明瞳孔图像检测部51和暗瞳孔图像检测部52的功能。

在图1和图2所示的视线检测装置1中，在照明摄像部10的光源12、12点亮了时，通过照明摄像部10的摄像机11取得明瞳孔图像，通过照明摄像部20的摄像机21取得暗瞳孔图像。接下来，照明摄像部20的光源22、22点亮，此时，通过照明摄像部20的摄像机21取得明瞳孔图像，通过照明摄像部10的摄像机11取得暗瞳孔图像。明瞳孔图像通过明瞳孔图像检测部51来检测，暗瞳孔图像通过暗瞳孔图像检测部52来检测。

在瞳孔图像检测部50中，求出通过明瞳孔图像检测部51检测到的明瞳孔图像与通过暗瞳孔图像检测部52检测到的暗瞳孔图像的差分，生成瞳孔42的形状变明亮的瞳孔图像信号。该瞳孔图像信号被提供给瞳孔中心算出部53。在瞳孔中心算出部53中，通过检测瞳孔图像的亮度分布等，算出瞳孔42的中心。

此外，通过暗瞳孔图像检测部52检测到的暗瞳孔图像信号被提供给角膜反射光中心检测部54。暗瞳孔图像信号包括局域从角膜41的反射点45反射后的反射光的亮度信号。来自角膜41的反射点45的反射光是成像出普肯耶像的光，如图9所示，在摄像机11的摄像元件中，取得非常小的面积的光点图像。在角膜反射光中心检测部54，对光点图像进行图像处理，并根据其亮度部分等，求出来自角膜41的反射光点图像的中心。

通过瞳孔中心算出部53算出的瞳孔中心算出值和通过角膜反射光中心检测部54算出的角膜反射光中心算出值被提供给视线方向算出部55。在视线方向算出部55中，根据瞳孔中心算出值和角膜反射光中心算出值来检测视线的朝向。

在图8的(A)中，人的眼睛40的视线方向VL大致朝向正面。此时，如图9的(A)所示，自角膜41起的反射点45的中心与瞳孔42的中心一致。与此相对，在图8的(B)中，人的眼睛40的视线方向VL相当程度地朝向左侧。此时，如图9的(B)所示，瞳孔42的中心与自角膜41起的反射点45的中心发生位置偏移。

在视线方向算出部55中，算出瞳孔42的中心与角膜41的反射点45的中心的直线距离α(图9的(B))。此外设定将瞳孔42的中心作为原点的X－Y坐标，算出将瞳孔42的中心与反射点45的中心连接的线与X轴的倾斜角度β。基于通过2个摄像机11、21所取得的图像算出所述直线距离α和所述倾斜角度β，从而算出视线方向VL。

图5和图6表示所述实施方式的视线检测装置1的变形例。

在图5所示的变形例中，在构成前部件30的透光部件35中，前部被覆部32的厚度尺寸局部不同。在摄像机21的前方，前部被覆部32中堵住摄像孔23的部分的厚度尺寸t被设为2mm以下，在该部分在前部被覆部32的内部传播的光不易向摄像机21出射。另一方面，在光源22的前方，前部被覆部32中的堵住照光孔24的部分32c的厚度尺寸T比所述厚度尺寸t大。在光源22的前方使前部被覆部32的部分32c的厚度尺寸T更大，从而能够提高部分32c的强度。此外，在形成得厚的部分32c，能够发挥各种光学功能，例如能够形成用于使来自光源22的光的光量分布变化的衍射格栅等。

在图6所示的变形例中，前部被覆部32中的堵住摄像孔23的部分的厚度尺寸t被设为2mm以下，但在堵住照光孔24的部分，在前部被覆部32一体形成有透镜32d。通过该透镜32d，从光源22出射的检测光L1被设为朝向对象者的脸适度地发散的光、或检测光L1附加了指向性，以对脸部的眼睛的附近提供更多的光量。

此外，作为其他的变形例，能够不通过合成树脂材料而是通过金属材料来形成前部件30的遮光部件35。例如，通过金属板形成遮光部件35，在所谓的嵌件成型工序，使遮光部件35与合成树脂制的透光部件31密接。即通过金属板形成的遮光部件35在模具内被保持，向模具注射合成树脂材料，形成与遮光部件35密接的透光部件31。

此外，能够用导电性的金属部件分离成多个部分地形成遮光部件35，并通过嵌件成型使各个金属部件与透光部件31一体化。在此情况下，能够将多个金属部件作为对各个光源11、22供给电流的通电路经而使用。

图10表示本发明的第二实施方式的视线检测装置101。

该视线检测装置101，在照明摄像部10设置有摄像机11，在摄像机11的左右两侧设置有多个第一光源12，并且在第一光源12的外侧配置有多个第二光源17。在照明摄像部20中，也在摄像机21的左右两侧配置第一光源22，并且在第一光源22的外侧配置第二光源17、27。

在图10的主视图中，摄像机11、21和光源12、17、22、27图示为能够看到，但实际上，这些前部整个区域被具有可见光切断功能的透光部件31的前部被覆部32连续地覆盖，因此从前方无法肉眼看到摄像机11、21和光源12、17、22、27。

第一光源12、17如所述实施方式中说明过那样包括发出850nm或与之近似的波长的红外光(近红外光)的LED，但第二光源17、27包括发出波长940nm的红外光的LED。940nm的红外光容易被人的眼睛的眼球内的水分吸收。因此，即使到达了位于眼球里侧的视网膜44，被反射的光量也较少。

在图10所示的视线检测装置101中，在照明摄像部10，第一光源12、12点亮时，通过摄像机11取得明瞳孔图像，在第二光源17、17点亮时通过摄像机11取得暗瞳孔图像。此外，在照明摄像部20中，第一光源22、22点亮，通过摄像机21取得明瞳孔图像，在第二光源27、27点亮时通过摄像机21取得暗瞳孔图像。

Claims (7)

1.一种视线检测装置，具有：摄像机，取得至少包括眼睛的区域的图像；及多个光源，向对象者的眼睛提供检测光，所述视线检测装置的特征在于，

在所述摄像机的前方和所述光源的前方设置有前部件，所述前部件是遮光部件与透光部件彼此密接而成型的，

在所述遮光部件形成有与所述摄像机对置的摄像孔和与所述光源对置的照光孔，所述透光部件以覆盖所述摄像孔和所述照光孔这两者的前方的方式被连续地形成。

2.如权利要求1所述的视线检测装置，其中，

具有所述摄像机和所述光源的照明摄像部彼此分离地设置有两组，所述透光部件形成为连续地覆盖2组所述照明摄像部的所述摄像孔和所述照光孔这两者的前方。

3.如权利要求1或2所述的视线检测装置，其中，

所述透光部件的朝向对象者的前表面是平坦面。

4.如权利要求1或2所述的视线检测装置，其中，

所述透光部件具有可见光遮蔽功能。

5.如权利要求1或2所述的视线检测装置，其中，

将所述摄像孔的前方覆盖的所述透光部件的厚度为2mm以下。

6.如权利要求1或2所述的视线检测装置，其中，

所述遮光部件和所述透光部件都由合成树脂材料形成，2个部件通过二色成型工序被密接。

7.如权利要求1或2所述的视线检测装置，其中，

所述遮光部件由金属形成，所述透光部件由合成树脂材料形成，2个部件通过嵌件成型工序被密接。