CN101489467A - 视线方向检测装置和视线方向检测方法 - Google Patents

Abstract

能够获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定的视线方向检测装置。本装置(100)包括：特征计算单元(160)，基于处于左右对称的位置上的两个脸部器官的三维位置，计算作为视线方向的检测对象的、被检测人的脸部中心的三维位置作为基准位置，并且基于左右瞳孔中心的三维位置，计算被检测人的左右瞳孔中心的左右方向上的中心的三维位置作为特征位置；视线方向特征量计算单元(172)，计算左右方向上的特征位置相对于基准位置的偏移量作为视线方向特征量；以及视线矢量计算单元(173)，基于视线方向特征量，计算被检测人的视线方向。

Description

视线方向检测装置和视线方向检测方法

技术领域

本发明涉及对人的视线方向进行检测的视线方向检测装置和视线方向检测方法。

背景技术

近年来，通过对人的视线方向进行检测，确定该人物的注意的对象和意图的技术，在众多领域备受瞩目。以往已提出了非接触地进行人的视线方向的检测的技术(例如，参照专利文献1和专利文献2)。

专利文献1记载的视线识别装置使用立体照相机拍摄作为视线方向的检测对象的人(以下称为“被检测人”)，解析拍摄的图像，检测被检测人的瞳孔中心以及一只眼睛的内眼角和外眼角的三维位置。接着，以内眼角和外眼角位于眼球的外侧球面上为前提，基于内眼角的位置和外眼角的位置以及眼球半径，确定被检测人的眼球中心的三维位置。然后，计算以眼球中心为始点并以瞳孔中心为终点的矢量作为表示被检测人的视线方向的矢量。

此外，专利文献2记载的视线方向检测装置解析通过立体照相机拍摄的被检测人的图像，求被检测人的瞳孔中心以及通过被检测人的瞳孔的轮廓的平面的三维位置。然后，检测通过瞳孔的轮廓的平面的法线中的、经过瞳孔中心的线的方向作为被检测人的视线方向。

专利文献1：特开2003-15816号公报

专利文献2：特开2004-255074号公报

发明内容

本发明要解决的问题

但是，在内眼角和外眼角的形状和视觉特征上，个人差异很大。因此，在上述的专利文献1记载的装置中，为获得高精度的视线方向检测结果，需要针对每个被检测人，通过测量来确定实际的视线方向与所检测的内眼角和外眼角的位置之间的关系，对用于视线方向的计算的各种参数进行校正。也就是说，存在以下的问题，由于必须针对每个被检测人进行装置的标定(calibration)，所以不仅费事，而且使装置复杂化。

此外，视觉性地检测的瞳孔的轮廓的状态也根据睫毛和眼皮的状态以及有无戴眼镜和隐形眼镜，个人差异很大。因此，在上述的专利文献2记载的装置中，也为获得高精度的视线方向检测结果，而与专利文献1记载的装置同样，需要针对每个被检测人进行装置的标定。

本发明的目的在于提供能够获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定的视线方向检测装置和视线方向检测方法。

解决问题的方案

本发明的视线方向检测装置采用的结构包括：基准位置计算单元，基于处于左右对称的位置上的两个脸部器官的三维位置，计算作为视线方向的检测对象的、被检测人的脸部中心的三维位置作为基准位置；特征位置计算单元，基于左右瞳孔中心的三维位置，计算所述被检测人的左右瞳孔中心的左右方向上的中心的三维位置作为特征位置；视线方向特征量计算单元，计算左右方向上的所述特征位置相对于所述基准位置的偏移量作为视线方向特征量；以及视线方向计算单元，基于所述视线方向特征量，计算所述被检测人的视线方向。

本发明的视线方向检测方法包括：特征计算步骤，基于处于左右对称的位置上的两个脸部器官的三维位置，计算作为视线方向的检测对象的、被检测人的脸部中心的三维位置作为基准位置，并且基于左右瞳孔中心的三维位置，计算所述被检测人的左右瞳孔中心的左右方向上的中心的三维位置作为特征位置；视线方向特征量计算步骤，计算左右方向上的所述特征位置相对于所述基准位置的偏移量作为视线方向特征量；以及视线方向计算步骤，基于所述视线方向特征量，计算所述被检测人的视线方向。

发明的效果

根据本发明，能够基于左右瞳孔中心的三维位置以及内眼角等处于左右对称的位置上的两个脸部器官的三维位置，即能够以高精度取得并且在检测精度上个人差异很少的参数，检测被检测人的视线方向。也就是说，能够获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定。

附图说明

图1是表示本发明实施方式1的视线方向检测装置的结构的方框图。

图2是表示本发明实施方式1的由视线方向检测装置进行的视线方向检测处理的流程的流程图。

图3是表示本发明实施方式1的一例由图像输入单元取得的立体图像对的说明图。

图4是表示本发明实施方式1的与视线方向矢量有关的各个参数的关系的说明图。

图5是表示本发明实施方式2的视线方向检测装置的结构的方框图。

图6是表示本发明实施方式2的由视线方向检测装置进行的视线方向检测处理的流程的流程图。

图7是表示本发明实施方式2的与视线方向矢量有关的各个参数的关系的说明图。

图8是表示本发明实施方式3的视线方向检测装置的结构的方框图。

图9是表示本发明实施方式3的由视线方向检测装置进行的视线方向检测处理的流程的流程图。

图10是表示本发明实施方式3的与视线方向矢量有关的各个参数的关系的说明图。

图11是表示本发明实施方式4的视线方向检测装置的结构的方框图。

图12是表示本发明实施方式4的由视线方向检测装置进行的视线方向检测处理的流程的流程图。

图13是表示本发明实施方式4的与视线方向矢量有关的各个参数的关系的说明图。

图14是表示本发明实施方式5的视线方向检测装置的结构的方框图。

图15是表示本发明实施方式5的一例选择信息表的内容的图。

图16是表示本发明实施方式5的由视线方向检测装置进行的视线方向检测处理的流程的流程图。

图17是表示本发明实施方式6的视线方向检测装置的结构的方框图。

图18是表示本发明实施方式6的由视线方向检测装置进行的视线方向检测处理的流程的流程图。

图19是表示本发明实施方式6的一例权重信息的内容的图。

图20是表示本发明实施方式6的其他例子的权重信息的内容的图。

具体实施方式

以下，参照附图详细地说明本发明的实施方式。

(实施方式1)

图1是表示本发明实施方式1的视线方向检测装置的结构的方框图。本实施方式的视线方向检测装置100是被设置在对车辆的驾驶者报警例如东张西望地驾驶等事故发生的危险的报警装置中的装置，并且是用于检测驾驶者的视线方向的装置。这里，视线方向的检测表示，检测与以被检测人的眼睛为始点且以被检测人的注视对象为终点的矢量在方向上相同的矢量(以下称为“视线矢量”)。

在图1中，视线方向检测装置100包括：图像输入单元110、脸部检测单元120、脸部器官检测单元130、三维位置计算单元140、头部姿势估计单元150、特征计算单元160以及视线方向计算单元170。此外，图像输入单元110包括：第一摄像单元111、第二摄像单元112以及同步单元113，视线方向计算单元170包括：视线特征投影单元171、视线方向特征量计算单元172以及视线矢量计算单元173。

图像输入单元110拍摄被检测人并输入图像，将输入图像输出到脸部检测单元120和三维位置计算单元140。

在图像输入单元110中，第一摄像单元111和第二摄像单元112分别具备未图示的图像传感器，并从不同的位置拍摄被检测人。图像传感器例如由透镜和CCD(charge coupled device：电荷耦合器件)或CMOS(complementarymetal oxide semiconductor：互补金属氧化物半导体)构成。此外，定义第一摄像单元111以及第二摄像单元112的输入图像与拍摄位置之间的关系的内部参数和定义第一摄像单元111和第二摄像单元112的拍摄位置的外部参数为已知。这里，例如，内部参数包含焦距、图像中心座标、像素尺寸以及透镜变形系数，外部参数包含平移矢量和旋转矩阵。此外，同步单元113进行控制以使第一摄像单元111和第二摄像单元112在同步了的定时进行拍摄。也就是说，图像输入单元110发挥作为立体照相机的功能，输出由第一摄像单元111和第二摄像单元112在几乎同一时刻拍摄的一组两个图像(以下称为“立体图像对”)。另外，在使用上述的CCD或CMOS作为图像传感器时，图像输入单元110发挥作为数字立体照相机的功能。

脸部检测单元120从图像输入单元110所输入的图像中检测被检测人的脸部(以下简称为“脸部”)图像的区域，将表示脸部图像的区域(以下称为“脸部区域”)的脸部区域信息与立体图像对中的检测出脸部区域的图像一起输出到脸部器官检测单元130。

脸部器官检测单元130从脸部检测单元120所输入的图像中，基于同样从脸部检测单元120输入的脸部区域信息，检测以脸部的中心为基准处于左右对称的位置上的脸部器官(以下称为“脸部器官”)。也就是说，脸部器官检测单元130检测与脸部器官对应的图像。这些脸部器官例如为内眼角、外眼角、鼻孔、嘴角、眉头、眉尾。此外，脸部器官检测单元130基于检测出的脸部器官(与脸部器官对应的图像)，检测被检测人的左右瞳孔中心(与瞳孔中心对应的图像)。然后，脸部器官检测单元130将脸部器官二维位置信息输出到三维位置计算单元140，所述脸部器官二维位置信息表示检测到的各个脸部器官以及瞳孔中心的在检测出脸部区域的图像中的二维位置。

三维位置计算单元140基于从图像输入单元110输入的立体图像对、从脸部器官检测单元130输入的脸部器官二维位置信息以及上述图像输入单元110的已知的内部参数和外部参数，计算各个脸部器官的三维位置。然后，三维位置计算单元140将表示各个脸部器官的三维位置的脸部器官三维位置信息输出到头部姿势估计单元150和特征计算单元160。

头部姿势估计单元150(脸部方向估计单元)从三维位置计算单元140所输入的脸部器官三维位置信息中，取得用于表示脸部正面的方向的矢量(以下称为“脸部正面矢量”)作为表示被检测人的头部(以下简称为“头部”)的姿势的头部姿势参数。具体而言，头部姿势估计单元150计算通过了三个以上的脸部器官的各个器官的三维位置的平面，取得该平面的法线矢量作为头部姿势参数，所述三个以上的脸部器官包含左右对应的两个脸部器官。然后，头部姿势估计单元150将取得的头部姿势参数输出到视线方向计算单元170。

特征计算单元160从三维位置计算单元140所输入的脸部器官三维位置信息中，取得用于表示被检测人的视线(以下简称为“视线”)的特征的视线特征参数。视线特征参数由对应于视线方向而移动的点即视线方向特征点的三维位置(特征位置)和在判别视线方向特征点的移动时作为基准的视线方向基准点的三维位置(基准位置)构成。具体而言，视线方向特征点为左右瞳孔中心的中点，视线方向基准点为左右对应的两个脸部器官(例如为左右内眼角)的中点。然后，特征计算单元160将取得的视线特征参数与脸部器官三维位置信息一起输出到视线方向计算单元170。

视线方向计算单元170基于从头部姿势估计单元150输入的头部姿势参数，以及从特征计算单元160输入的视线特征参数和脸部器官三维位置信息，计算视线矢量。

在视线方向计算单元170中，视线特征投影单元171计算视线特征投影点的三维位置，所述视线特征投影点为，将视线方向特征点垂直地投影到通过了作为视线方向基准点的基准的左右对应的两个脸部器官的直线上的投影点。视线方向特征量计算单元172计算视线特征投影点相对于视线方向基准点的偏移量作为表示视线方向的特征的量(以下称为“视线方向特征量”)。视线矢量计算单元173基于视线方向特征量和脸部正面矢量，计算视线矢量。视线方向计算单元170将计算出的视线矢量作为视线方向检测结果，例如输出到上述的报警装置。

虽然未图示，但是视线方向检测装置100具备：CPU(Central ProcessingUnit：中央处理器)、存储控制程序的ROM(Read Only Memory：只读存储器)以及作为CPU的作业用存储器的RAM(Random Access Memory：随机存储器)。也就是说，通过由CPU执行控制程序来实现上述的视线方向检测装置100的各个单元的功能。

以下，详细说明具有以上的结构的视线方向检测装置100的动作。

图2是表示由视线方向检测装置100进行的视线方向检测处理的流程的流程图。例如，将表示上述的报警装置的起动的信号的输入或由用户操作的开始处理的指示作为触发来开始该视线方向检测处理。

在图2的步骤S1000中，图像输入单元110输入由第一摄像单元111和第二摄像单元112拍摄的两个图像作为立体图像对。

图3是表示由图像输入单元110取得的一例立体图像对的说明图。如上所述，立体图像对400由第一摄像单元111所拍摄的图像(以下称为“第一图像”)401和第二摄像单元112所拍摄的图像(以下称为“第二图像”)402构成。这里，第一摄像单元111被配置在稍稍从左侧看头部的位置，第二摄像单元112被配置在稍稍从右侧看头部的位置。因此，第一图像401和第二图像402虽然是通过同步单元113的控制而几乎同时拍摄到的图像，但它们是不同的图像。

图像输入单元110在如上述那样发挥作为数字立体照相机的功能时，取得第一图像401和第二图像402，例如为PPM格式(Portable Pix Map fileformat：便携式像素图文件格式)的图像数据。图像输入单元110将取得的图像数据暂时存储在图像输入单元110所具备的未图示的存储单元(例如，上述的RAM中的规定的存储空间)中。然后，脸部检测单元120和三维位置计算单元140从该存储单元中取得PPM格式的图像数据。

在图2的步骤S1100中，脸部检测单元120对在步骤S1000输入的立体图像对400中的第一图像401，进行脸部区域403的检测，生成上述的脸部区域信息。另外，脸部检测单元120也可以从图像输入单元110仅取得第一图像401。

例如，脸部检测单元120通过在第一图像401中，确定与特征图像之间的相关最高的图像部分，检测脸部区域403，所述特征图像表示预先准备的一般的脸部的脸部区域。具体而言，脸部检测单元120从第一图像401中提取多个具有特征的图像部分，将提取出的各个图像部分与特征图像进行比较。然后，将提取出的图像部分中的与特征图像的相似程度最高的图像部分决定为脸部区域403。

脸部检测单元120，例如计算第一图像401的Gabor特征量，将其与预先准备的特征图像的Gabor特征量进行比较，并将该差分的绝对值的倒数用作该相似程度即可。这里，Gabor特征量是，通过对图像进行Gabor小波变换而计算出的表示图像的特征的值。

此外，脸部检测单元120也可以解析第一图像401来检测肤色的区域或检测接近于椭圆形的形状的区域，或使用统计图案识别方法，由此检测脸部区域403。另外，不用说，只要能够在第一图像401或第二图像402上进行脸部区域403的检测，也可以适用上述方法以外的各种方法。

脸部器官当然是在脸上。因此，通过这样预先检测脸部区域403，从而能够将作为脸部器官的搜索对象的区域锁定为脸部，实现处理的高速化。

在步骤S1200中，脸部器官检测单元130基于在步骤S1100生成的脸部区域信息，将第一图像401的脸部区域403作为搜索区域，从第一图像401中检测脸部器官404。但是，脸部器官检测单元130至少检测两类脸部器官，而且对其中的至少一类脸部器官，检测左右两方，例如左右内眼角和左边的嘴角。这里，假设检测出左右嘴角、左右内眼角以及左右外眼角作为脸部器官404。如上所述，这些脸部器官404以脸部的中心为基准处于左右对称的位置上。

例如，脸部器官检测单元130使用分离度滤波来检测第一图像401的脸部区域403的各个位置的分离度，从分离度高的部位中确定对应于脸部器官404的部位，由此检测脸部器官404。具体而言，脸部器官检测单元130预先存储或学习脸部区域与脸部器官的位置关系，检测分离度高的部位中的似然高的部位作为脸部器官404。此外，脸部器官检测单元130也可以预先准备由对一般的脸部的图像进行部分地截取所得的部分图像形成的图像部件的模板，对第一图像401的脸部区域403的各个部位进行模板匹配来搜索相似的部位，由此检测脸部器官404。

在步骤S1300中，脸部器官检测单元130基于在步骤S1100生成的脸部区域信息，将第一图像401的脸部区域403作为搜索区域，从第一图像401中检测被检测人的瞳孔中心405。

例如，脸部器官检测单元130对包含脸部器官404中的外眼角和内眼角的区域适用圆形分离度滤波，检测亮度的分离度最高的圆中心作为瞳孔中心405。但是，此时，优选的是，通过使用了索贝尔(Sobel)滤波的边缘检测或使用了大津的阈值法的亮度的二值化等来检测眼皮，仅使上下眼皮所夹的区域内为检测对象范围。此外，脸部器官检测单元130也可以在包含外眼角和内眼角的区域中，取水平方向以及垂直方向的各个方向上的亮度和，将各个方向上的亮度和小的点设为瞳孔中心405。另外，不用说，只要能够进行瞳孔中心405的检测，也可以适用上述方法以外的各种方法。

在步骤S1400中，三维位置计算单元140基于在步骤S1000取得的立体图像对400、在步骤S1200检测出的脸部器官404以及在步骤S1300检测出的瞳孔中心405，计算脸部器官404和瞳孔中心405的三维位置。具体而言，三维位置计算单元140基于第一图像401和第二图像402的各个图像中的脸部器官404和瞳孔中心405的二维位置、以及上述的第一摄像单元111和第二摄像单元112的内部参数和外部参数，通过立体法，计算脸部器官404和瞳孔中心405的三维位置。然后，三维位置计算单元140将计算出的各个脸部器官的三维位置作为脸部器官三维位置信息输出到头部姿势估计单元150和特征计算单元160。

例如，三维位置计算单元140通过对第二图像402进行模板匹配，检测脸部器官404和瞳孔中心405的在第二图像402中的对应点的位置。具体而言，三维位置计算单元140将第一图像401中的包含各个脸部器官404和瞳孔中心405的图像部分分别作为模板，而且在第二图像402上画出第一图像401中的各个脸部器官404和瞳孔中心405的核线(epipolar line)。然后，在核线上，搜索与对应的模板相关最高的部位，确定脸部器官404和瞳孔中心405的对应点在第二图像402上的位置。

另外，三维位置计算单元140也可以基于第一图像401将脸部三维模型化，限定第二图像402上的对应点的搜索范围。这样，通过锁定脸部器官404和瞳孔中心405的对应点的搜索范围，从而能够实现处理的高速化。此外，三维位置计算单元140也可以在将脸部的形状三维模型化之后，优先地搜索特征明显的脸部器官405的对应点，以作为脸部整体的三维形状进行考虑时不会产生矛盾地搜索剩余的对应点。不用说，只要能够进行脸部器官404和瞳孔中心405的三维位置的检测，也可以适用上述方法以外的各种方法。

在步骤S1500中，头部姿势估计单元150基于在步骤S1400检测出的脸部器官404的三维位置，估计头部的姿势，并取得头部姿势参数。

例如，头部姿势估计单元150确定通过了在步骤S1200取得的脸部器官404中的左右嘴角和左右内眼角的四点的平面，并计算其法线矢量。然后，将计算出的法线矢量设为脸部正面矢量，即头部姿势参数。另外，实际上一直取得通过了上述的所有四点的平面是困难的，所以确定从各点引出的垂线的长度的平方和为最小的平面，并将其法线矢量设为脸部正面矢量。此外，例如，也可以确定通过左右嘴角和一边的内眼角的三点的平面，将其法线矢量设为脸部正面矢量。此外，也可以通过求连结左右内眼角的矢量以及连结任一内眼角与左右嘴角的中点的矢量，并取这两个矢量的外积，来求脸部正面矢量。此外，也可以使用M估计等鲁棒估计方法作为计算平面时的评价方法。另外，不用说，只要能够进行脸部正面矢量的计算，也可以适用上述方法以外的各种方法。

在步骤S1600中，特征计算单元160基于在步骤S1400检测出的瞳孔中心405和脸部器官404的三维位置，取得视线特征参数。

特征计算单元160基于左右瞳孔中心405的三维位置确定左右瞳孔中心405的中点的三维位置，将确定了的点作为上述的视线方向特征点。此外，特征计算单元160例如基于脸部器官404中的左右内眼角的三维位置确定左右内眼角的中点的三维位置，将确定了的点作为上述的视线方向基准点。

另外，也可以将左右外眼角的中点、左右嘴角的中点等在脸部左右对称地存在的其他的脸部器官404的中点作为视线方向基准点。此外，也可以选择多组左右对称的脸部器官，例如左右外眼角和左右嘴角，并将各组脸部器官的各点间的重心作为视线方向基准点。也就是说，视线方向基准点是以脸部左右对称为前提且位于脸部的左右方向的中心的点。特征计算单元160不仅将视线特征参数，也将脸部器官404的三维位置的信息输出到视线方向计算单元170，所述脸部器官404是视线方向基准点的基准。

在步骤S1700中，视线特征投影单元171基于在步骤S1600取得的视线特征参数和脸部器官三维位置信息，将视线方向特征点投影到通过了左右对应的两个脸部器官404的直线上，取得该投影点作为视线特征投影点，所述左右对应的两个脸部器官404是视线方向基准点的基准。

例如，在左右内眼角的中点作为视线方向基准点时，视线特征投影单元171从视线方向特征点引垂线到通过了左右内眼角的直线上，取得该垂线与通过了左右内眼角的直线的交点作为视线特征投影点。此外，例如，在将三个以上的脸部器官404的重心作为视线方向基准点时，将脸部器官404分为左右后，向通过了左右的各个脸部器官404间的重心的直线引垂线即可。

在步骤S1800中，视线方向特征量计算单元172基于在步骤S1600取得的视线方向基准点和在步骤S1700取得的视线特征投影点，计算视线方向特征量。

图4是表示与视线方向矢量有关的各个参数的关系的说明图，表示了从上方向下看到的被检测人的眼睛和其周围部分的状态。这里，以将左右内眼角的中点作为视线方向基准点的情况为例进行说明。

如图4所示，视线方向基准点Fc是左内眼角501和右内眼角502的中点。此外，瞳孔中心503移动时，视线方向特征点504也移动，而且视线特征投影点Ec在左右的相同方向上也移动相同距离。因此，在瞳孔中心503相对于朝向脸部正面时的位置，在左右方向上移动了偏移量d时，视线特征投影点Ec相对于视线方向基准点Fc，在左右方向上也移动偏移量d。这里，对于以视线方向基准点Fc为基准的偏移量d和以脸部正面矢量512为基准的角度，假设从正面看脸部时的左方向为“正”。

偏移量d为视线方向特征量，在视线方向特征点504位于视线方向基准点Fc的左侧时，例如，可以使用以下所示式(1)求该偏移量d。此外，在视线方向特征点504位于视线方向基准点Fc的右侧时，例如，可以使用以下所示式(2)求偏移量d。

$d=\left|\stackrel{\→}{E_c{F}_c}\right|\·\·\·\·\·\·\left(1\right)$

$d=-\left|\stackrel{\→}{E_c{F}_c}\right|\·\·\·\·\·\·\left(2\right)$

在步骤S1900中，视线矢量计算单元173基于在步骤S1900计算出的视线方向特征量，计算视线矢量511与脸部正面矢量512的夹角，计算视线矢量511。然后，例如，将计算出的视线矢量511输出到上述的报警装置。

由于以脸部为基准时的瞳孔中心503的旋转中心与眼球中心505一致，所以能够用以眼球中心505为始点且以瞳孔中心503为终点的矢量来表示视线矢量511。因此，在将眼球半径设为r时，关于视线矢量511与脸部正面矢量512的夹角θ，以下的式(3)成立。

$\frac{d}{r}=\sin \mathrm{\θ}\·\·\·\·\·\·\left(3\right)$

因此，例如，可以使用以下的式(4)求视线矢量511与脸部正面矢量512的夹角θ。

$\mathrm{\θ}={\sin }^{-1}\left(\frac{d}{r}\right)\·\·\·\·\·\·\left(4\right)$

另外，有关眼球半径r如果是成年人则个人差异很少，所以可以使用预先设定的值。此外，也可以与被检测人的特性，即年龄、性别或人种匹配地切换眼球半径r的值，或者测量被检测人的实际的眼球半径并使用测量结果。

这里，将在三维位置计算单元140中用于表现三维位置的座标系，即以第一摄像单元111以及第二摄像单元112的拍摄位置为基准的座标系称为立体照相机座标系。此外，将以下述座标系称为脸部座标系，以通过了作为视线方向基准点的基准的左右对应的两个脸部器官404(在图4中为左内眼角501和右内眼角502)的直线为x轴并具有与脸部正面矢量512平行的z轴的座标系。

将脸部座标系中的脸部正面矢量512的各分量设为(0，0，f_z)，并将脸部座标系中的视线矢量511的各分量设为(g_x，g_y，g_z)时，例如，可以使用以下的式(5)求视线矢量511。

$\left[\begin{array}{cccc}{g}_x& g_y& g_z& 1\end{array}\right]=\left[\begin{array}{cccc}0& 0& f_z& 1\end{array}\right]\·\left[\begin{array}{cccc}\cos \mathrm{\θ}& 0& -\sin \mathrm{\θ}& 0\\ 0& 1& 0& 0\\ \sin \mathrm{\θ}& 0& \cos \mathrm{\θ}& 0\\ 0& 0& 0& 1\end{array}\right]\·\·\·\·\·\·\left(5\right)$

基于可以用立体照相机座标系表示的矢量或特征来定义脸部座标系的各个轴。因此，也可以在立体照相机座标系中表示用脸部座标系表示的视线矢量511。因此，能够基于第一摄像单元111以及第二摄像单元112的外部参数，例如检测视线矢量朝向外部的哪个方向。

例如，将立体照相机座标系中的视线矢量511的各分量设为(G_x，G_y，G_z)，并将从脸部座标系换至立体照相机座标系的旋转矩阵和平移矢量分别设为R和T时，例如，可以使用以下的式(6)求立体照相机座标系中的视线矢量511。

[G_x G_y G_z]＝[g_x g_y g_z]·R+T……(6)

另外，能够基于计算脸部正面矢量512时所使用的三个脸部器官的座标，取得旋转矩阵R和平移矢量T。

在步骤S2000中，视线方向检测装置100进行检测视线矢量511的处理的结束判定。例如，通过判别有无表示上述的报警装置的停止的信号的输入或由用户操作的结束处理的指示，进行该结束判定。在判定为结束处理时(S2000：“是”)，直接结束一连串的处理。在判定为不结束处理时(S2000：“否”)，返回到步骤S1000，重新输入立体图像对400，检测视线矢量511。

但是，在构成视线方向检测装置100的多个处理单元可以并行地进行处理时，也可以在基于刚刚取得的立体图像对400而获得视线矢量511之前，取得下一个立体图像对400。此外，图像输入单元110也可以每隔一定周期进行拍摄。此时，视线方向检测装置100提前进行步骤S2000的结束判定，在判定为结束视线矢量511的检测处理时，使图像输入单元110停止拍摄。另外，不用说，越是缩短从步骤S1000到步骤S1900为止的处理所需要的时间，越是能够实现更接近于实时的视线方向检测，而且越是缩短步骤S1000的处理间隔，越是能够实现更细致的视线方向检测。

这样，视线方向检测装置100将被检测人朝哪个方向看检测为视线矢量511，并将其输出到报警装置。

在报警装置中，例如，在立体照相机座标系中预先存储前风窗区域、车门后视镜区域、导航仪装置的液晶面板区域等，从而基于所输入的视线矢量511，监视驾驶者的视线朝向哪个区域。然后，例如，在进行向左右打方向盘的操作时，驾驶者的视线没有朝向方向盘打向侧的车门后视镜情况下，进行报警以要求其确认车门后视镜。由此，能够防止打方向盘时的牵连事故于未然。

如以上说明，根据本实施方式，利用下述的人脸部一般的共通的特征来检测视线方向，即在向脸部正面的方向看时人左右瞳孔中心左右对称地配置在脸上，而在向其他的方向看时其连动地转动。具体而言，检测左右瞳孔中心的三维位置，和以脸部的中心为基准在脸部处于左右对称的位置上的脸部器官的三维位置，检测左右瞳孔中心的中点的相对于脸部的中心的在左右方向上的偏移量，并基于该偏移量和眼球半径来检测视线方向。

由此，可以基于能以高检测精度取得并且在检测精度上个人差异较少的参数，检测视线方向。因此，能够稳定地获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定。此外，例如，即使基于立体照相机所拍摄的低分辨率的拍摄图像，也能够稳定地获得高精度的视线方向检测结果。也就是说，能够将立体照相机的分辨率抑制得较低，从而能够实现装置的低成本化。

此外，利用在人的脸部左右对称地存在的脸部器官，检测立体照相机座标系等特定的座标系中的脸部正面的方向，因此能够用特定的座标系表示检测出的视线方向，能够提高检测结果的利用价值。此外，基于用立体照相机拍摄的图像，检测左右瞳孔中心的中点的相对于脸部中心的在左右方向上的偏移量，因此能够实现非接触性的视线方向检测，能够灵活地适用于各个领域。进而，不仅利用上述的人的脸上共通的特征，而且将个人差异较少的眼球半径设为已知的值，从而完全不需要针对每个被检测人进行标定。由此，能够以更短时间地开始视线方向检测，而且能够减轻使用者的负担。也就是说，能够更简单且轻松地检测人的视线方向。

特别是，在适用于对车辆驾驶者报警事故的危险性的报警装置时，需要使用立体照相机进行非接触性的视线方向检测，但由于驾驶时的车内的明亮度和照明状态的变动较大，图像内容易混入影子等不确定因素。因此，对于这样的报警装置，本实施方式的视线方向检测装置极为有用。

另外，在本实施方式的视线方向检测装置中，仅进行对应于脸部的左右方向上的瞳孔的移动的视线方向检测，但由于与人的瞳孔上下方向的移动相比通常左右方向的移动较大，所以能够获得作为用于确定被检测人的注意的对象或意图的信息的利用价值足够高的检测结果。此外，不用说，也可以使其与对应于脸部的上下方向的瞳孔的移动的视线方向检测技术相组合。

(实施方式2)

在以上说明的实施方式1中，在计算左右瞳孔中心的中点的在左右方向上的偏移量时，使用了视线特征投影点，但在本实施方式中，计算位于脸部的左右方向上的中心的基准面，并使用计算出的基准面(对称面)。

图5是表示本发明实施方式2的视线方向检测装置的结构的方框图，是与实施方式1的图1对应的图。

在图5中，本实施方式的视线方向检测装置200具有视线方向计算单元270代替图1所示的视线方向计算单元170。视线方向计算单元270具有视线基准面计算单元271和视线方向特征量计算单元272来代替图1所示的视线特征投影单元171和视线方向特征量计算单元172。

在视线方向计算单元270中，视线基准面计算单元271计算相当于脸部的对称面的视线基准面的三维位置(基准位置)。视线方向特征量计算单元272计算视线方向特征点相对于视线基准面的偏移量作为视线方向特征量。

图6是表示由视线方向检测装置200进行的视线方向检测处理的流程的流程图，是与实施方式1的图2对应的图。

从步骤S1000至步骤S1600为止的处理与图2相同。在步骤S1600，特征计算单元160取得视线特征参数，进入步骤S1710。

在步骤S1710中，视线基准面计算单元271基于在步骤S1400取得的脸部器官三维位置信息和在步骤S1600取得的视线特征参数，计算上述的视线基准面。这里，将视线基准面定义为，以通过了作为视线方向基准点的基准的左右对应的两个脸部器官404的直线为法线，而且通过视线方向基准点的平面。

视线基准面计算单元271首先计算连结了作为视线方向基准点Fc的基准的左右对应的两个脸部器官404的矢量(以下称为“脸部器官矢量”)。然后，基于计算出的脸部器官矢量和视线方向基准点，计算视线基准面。

图7是表示与视线方向矢量有关的各个参数的关系的说明图，是与实施方式1的图4对应的图。

如图7所示，视线基准面601与通过了作为视线方向基准点Fc的基准的左右对应的两个脸部器官404(在图7中为左内眼角501和右内眼角502)的直线正交，并通过视线方向基准点Fc。将脸部器官矢量611的各分量设为(a，b，c)，并将视线方向基准点Fc的座标设为(x_f，y_f，z_f)时，例如，可以用以下的式(7)来表示视线基准面601。

a(x-x_f)+b(y-y_f)+c(z-z_f)＝0......(7)

在步骤S1810中，视线方向特征量计算单元272基于在步骤S1600取得的视线方向特征点504和在步骤S1710计算出的视线基准面601，计算视线方向特征点504相对于视线基准面601的偏移量d。

在将视线方向特征点504的座标设为(x_p，y_p，z_p)，并且视线方向特征点504位于视线基准面601的左侧时，例如，可以使用以下的式(8)求偏移量d，即视线方向特征量。此外，在视线方向特征点504位于视线基准面601的右侧时，例如，可以使用以下所示的式(9)求偏移量d。

$d=\frac{|a(x_p-x_f)+b(y_p-y_f)c(z_p-z_f)|}{\sqrt{a^2+b^2+c^2}}\·\·\·\·\·\·\left(8\right)$

$d=-\frac{|a(x_p-x_f)+b(y_p-y_f)c(z_p-z_f)|}{\sqrt{a^2+b^2+c^2}}\·\·\·\·\·\·\left(9\right)$

在图6中，如上述那样在步骤S1810计算出视线方向特征量后，进入步骤S1900。步骤S1900以后的处理与图2相同，在步骤S1900中，计算视线矢量511。在该运算中，例如，将眼球半径r作为已知的值，使用实施方式1的式(3)、式(4)、式(5)以及式(6)即可。

这样，根据本实施方式，与实施方式1同样，能够稳定地获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定。此外，实施方式1中的视线方向特征量的精度根据视线方向投影点与视线特征点之间的距离，也就是说选择的作为视线方向基准点的基准的脸部器官而变动，但由于在本实施方式中以视线基准面为基准，所以能够抑制这样的精度偏差。因此，与实施方式1相比，能够提高视线矢量的检测精度。

(实施方式3)

例如，存在以下的情况，在进行驾驶车辆的人的视线方向检测时，由于在大范围内改变脸部的朝向，所以暂时只能拍摄一只眼睛。因此，在实施方式中，预先存储能拍摄两只眼睛时的信息，从而即使存在暂时只能拍摄一只眼睛的情况，也能够持续地检测视线方向。

图8是表示本发明实施方式3的视线方向检测装置的结构的方框图，是与实施方式1的图1对应的图。

在图8中，本实施方式的视线方向检测装置300具有特征计算单元360和视线方向计算单元370来代替图1所示的特征计算单元160和视线方向计算单元170。视线方向计算单元370具有视线特征投影单元371和视线方向特征量计算单元372来代替图1所示的视线特征投影单元171和视线方向特征量计算单元172。此外，视线方向检测装置300具有特征存储单元365。

特征计算单元360基于从三维位置计算单元140输入的脸部器官三维位置信息，取得视线特征参数，而且计算左右瞳孔中心的距离即瞳孔间距离。但是，在本实施方式中，视线特征参数包含视线方向基准点即可，并不一定需要包含视线方向特征点。

特征存储单元365存储由特征计算单元360计算的瞳孔间距离。

在视线方向计算单元370中，视线特征投影单元371计算将左右瞳孔中心中的合适的一边的瞳孔中心投影到通过了作为视线方向基准点的基准的脸部器官404的直线上的投影点(以下称为“脸部器官投影点”)。视线方向特征量计算单元372基于脸部器官投影点、视线特征参数以及在特征存储单元365中所存储的瞳孔间距离，计算视线方向特征量。

图9是表示由视线方向检测装置300进行的视线方向检测处理的流程的流程图，是与实施方式1的图2对应的图。

从步骤S1000至步骤S1500为止的处理与图2相同。在步骤S1500，头部姿势估计单元150取得头部姿势参数后，进入步骤S1550。

在步骤S1550中，特征计算单元360取得视线特征参数(视线方向基准点)，而且基于被检测人的左右瞳孔中心的三维位置，计算瞳孔间距离并将其存储在特征存储单元365中。在特征存储单元365已存储以往的信息时，以重新计算出的瞳孔间距离更新存储内容。

但是，由于脸朝向侧面或眼镜的镜片的映射强烈等，在步骤S1000，第一摄像单元111和第二摄像单元112两方都不能拍摄左右两个瞳孔中心时，不进行视线方向特征点的取得以及瞳孔间距离的计算和存储，而直接进入步骤S1600。此外，对于同一被检测人在特征存储单元365中已存储在以往取得的瞳孔间距离的情况下，也可以不进行瞳孔间距离的计算和存储，而直接进入步骤S1600。

在步骤S1600中，特征计算单元360基于在步骤S1400检测出的瞳孔中心405和脸部器官404的三维位置，取得视线特征参数，并进入步骤S1720。

在步骤S1720中，视线特征投影单元371基于在步骤S1400取得的脸部器官三维位置信息和在步骤S1600取得的视线特征参数，将左右任一瞳孔中心投影到通过了作为视线方向基准点的基准的左右对应的两个脸部器官404的直线上，取得该投影点作为脸部器官投影点。

在步骤S1820中，视线方向特征量计算单元372基于在步骤S1550取得的视线方向基准点和在步骤S1720取得的脸部器官投影点，计算视线方向特征量。

图10是表示与视线方向矢量有关的各个参数的关系的说明图，是与实施方式1的图4对应的图。

如图10所示，瞳孔中心503移动时，投影到通过了作为视线方向基准点Fc的基准的两个脸部器官404(在图10中为左内眼角501和右内眼角502)的直线上的左右脸部器官投影点E_p的中点701的三维位置(特征位置)，也在左右方向上移动相同的偏移量。因此，在瞳孔中心503相对于朝向脸部正面时的位置，在左右方向上移动了偏移量d时，左右脸部器官投影点E_p的中点701相对于视线方向基准点Fc，在左右方向上也移动偏移量d。

偏移量d为视线方向特征量，在将瞳孔间距离设为L_eye，并且左右脸部器官投影点E_p的中点701位于视线方向基准点Fc的左侧时，例如，可以使用以下所示的式(10)求该偏移量d。此外，在左右脸部器官投影点E_p的中点701位于视线方向基准点Fc的右侧时，例如，可以使用以下所示的式(11)求偏移量d。

$d=\left|\right|\stackrel{\→}{E_p{F}_c}|-0.5L_{\mathrm{eye}}|\·\·\·\·\·\·\left(10\right)$

$d=-\left|\right|\stackrel{\→}{E_p{F}_c}|-0.5L_{\mathrm{eye}}|\·\·\·\·\·\·\left(11\right)$

无论采用左右脸部器官投影点E_p中的哪一投影点，通过上述的式(10)和式(11)计算出的值也都分别相同。因此，在计算视线方向特征量时，能够采用左右脸部器官投影点E_p中的任一投影点。这意味着，如果取得视线方向基准点Fc和瞳孔间距离L_eye，则仅基于左右瞳孔中心503中的任一瞳孔中心的三维位置，能够计算视线方向特征量。也就是说，并不一定需要拍摄左右两个瞳孔，例如，即使脸部朝向侧面而暂时只能拍摄一只眼睛，也能够持续地计算视线方向特征量。

在图10中，如上述那样在步骤S1820计算出视线方向特征量后，进入步骤S1900。步骤S1900以后的处理与图2相同，在步骤S1900中，计算视线矢量511。在该运算中，例如，将眼球半径r作为已知的值，使用实施方式1的式(3)、式(4)、式(5)以及式(6)即可。

这样，根据本实施方式，与实施方式1和实施方式2同样，能够稳定地获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定。此外，通过预先存储瞳孔间距离，从而能够基于一边的瞳孔中心来确定左右脸部器官投影点的中点，所以即使只能拍摄一只眼睛，也能够一直取得瞳孔中心相对于正面方向的在左右方向上的偏移量。

也就是说，根据本实施方式，即使由于脸部的朝向、头发、眼镜框或光线的反射等原因而只能拍摄被检测人的一只眼睛的情况下，也能够检测视线方向，并能够更稳定地获得高精度的视线方向检测结果。例如，如脸部朝向左侧时选择右边眼睛，朝向右侧时选择左边眼睛那样，将从第一摄像单元111以及第二摄像单元112看时与脸部朝向相反一侧的瞳孔中心选择为三维位置的检测的对象即可。

另外，瞳孔间距离也可以通过另外进行检测或将其作为初始值输入而预先存储。进而，也可以在检测出左右两方的瞳孔中心时，通过实施方式1或实施方式2中说明的方法来计算视线方向特征量，仅在只能检测一只眼睛的瞳孔中心时，适用本实施方式中说明的方法。此时，判别是否检测出左右两方的瞳孔中心，根据判别结果切换处理即可。

(实施方式4)

在实施方式4中说明以下的情况，使用实施方式2中说明的视线基准面来进行在实施方式3中说明的利用了一边的瞳孔中心的三维位置的视线方向检测。

图11是表示本发明实施方式4的视线方向检测装置的结构的方框图，是与实施方式2的图5以及实施方式3的图8相对应的图。

在图11中，本实施方式的视线方向检测装置600具有视线方向计算单元670来代替图8所示的视线方向计算单元370。视线方向计算单元670具有图5所示的视线基准面计算单元271和视线方向特征量计算单元672来代替图8所示的视线特征投影单元371和视线方向特征量计算单元372。

在视线方向计算单元670中，视线方向特征量计算单元672基于由视线基准面计算单元271计算出的视线基准面的三维位置、由特征计算单元360计算出的视线特征参数以及由特征存储单元365存储的瞳孔间距离，计算视线方向特征量。

图12是表示由视线方向检测装置600进行的视线方向检测处理的流程的流程图，是与实施方式2的图6以及实施方式3的图9对应的图。

从步骤S1000至步骤S1600为止的处理与图9相同。此外，步骤S1710以及步骤S1900以后的处理除了用步骤S1830的处理来代替步骤S1810的处理以外，其它与图6相同。

在步骤S1830中，视线方向特征量计算单元672基于在步骤S1400检测出的瞳孔中心的三维位置、在步骤S1550求出的瞳孔间距离以及在步骤S1710求出的视线基准面，计算视线方向特征量。

图13是表示与视线方向矢量有关的各个参数的关系的说明图，是与实施方式2的图7以及实施方式3的图10对应的图。

如图13所示，在瞳孔中心503相对于朝向脸部正面时的位置，在左右方向上移动了偏移量d时，左右瞳孔中心503的中点即视线方向特征点504相对于视线基准面601，在左右方向上也移动偏移量d。此外，连接左右瞳孔中心503的直线与视线基准面601正交。因此，左右任一瞳孔中心503的距视线基准面601的距离D与瞳孔间距离L_eye的差分为偏移量d。

将脸部器官矢量611的各分量设为(a，b，c)，将视线方向基准点Fc的座标设为(x_f，y_f，z_f)，并将左右任一瞳孔中心的座标设为(x_q，y_q，z_q)时，例如，可以用以下的式(12)来表示瞳孔中心503的距视线基准面601的距离D。

$D=\frac{|a(x_q-x_f)+b(y_q-y_f)c(z_q-z_f)|}{\sqrt{a^2+b^2+c^2}}\·\·\·\·\·\·\left(12\right)$

因此，在用于运算的瞳孔中心503位于视线方向基准点Fc的左侧时，例如，可以用以下所示的式(13)来求视线方向特征量即偏移量d。此外，在用于运算的瞳孔中心503位于视线方向基准点Fc的右侧时，例如，可以用以下所示的式(14)来求偏移量d。

$d=D-0.5L_{\mathrm{eve}}=\frac{|a(x_q-x_f)+b(y_q-y_f)c(z_q-z_f)|}{\sqrt{a^2+b^2+c^2}}-0.5L_{\mathrm{eye}}\·\·\·\·\·\·\left(13\right)$

$d=-(D-0.5L_{\mathrm{eye}})=-(\frac{|a(x_q-x_f)+b(y_q-y_f)c(z_q-z_f)|}{\sqrt{a^2+b^2+c^2}}-0.5L_{\mathrm{eye}})\·\·\·\·\·\·\left(14\right)$

无论采用左右瞳孔中心503中的哪一瞳孔中心，通过上述的式(13)和式(14)计算出的值都分别相同。因此，与实施方式3同样，在计算视线方向特征量时，能够采用左右瞳孔中心503中的任一瞳孔中心。

这样，根据本实施方式，与实施方式3同样，即使只能够拍摄一只眼睛也能够进行视线方向检测，并能够更稳定地获得高精度的视线方向检测结果。进而，由于将视线基准面作为基准，并直接将瞳孔中心的三维位置用于运算，所以与实施方式3相比能够提高视线矢量的检测精度。

(实施方式5)

在实施方式5中，说明以下的情况，在能够取得左右两边眼睛的瞳孔中心的三维位置时，使用所取得的三维位置的可靠性更高的一边的眼睛进行视线方向检测。

在脸部的朝向偏向左右任一边时，从发挥立体照相机作用的第一摄像单元111和第二摄像单元112的图像传感器(以下称为“照相机”)来看处于后侧的眼睛相对于照相机的进深较大，所以被拍摄为相对较小的图像。此外，在将投光灯作为用于拍摄的光源而置于照相机附近时，从照相机来看朝向侧面的后侧的眼睛由于光线难以照到它，所以在图像上经常变成黑斑。因此，相对于照相机的光轴，脸部的朝向过于偏向左右任一侧时，有时从照相机来看处于后侧的眼睛的图像的精度极端降低。

图像的精度低下时，瞳孔中心的三维位置的检测精度也变低。因此，即使能够拍摄两只眼睛也只使用前侧的眼睛的瞳孔中心的三维位置来进行视线方向检测，从而能够确保稳定的检测精度。因此，在本实施方式中，根据脸部的朝向判断左右哪一只眼睛处于前侧，使用从能够获得更高的可靠性的信息的前侧的眼睛取得的信息以及视线基准面来进行视线方向检测。

图14是表示本发明实施方式5的视线方向检测装置的结构的方框图，是与实施方式4的图11对应的图。

在图14中，本实施方式的视线方向检测装置700具有视线方向计算单元770来代替图11所示的视线方向计算单元670。视线方向计算单元770具有水平脸部朝向判定单元774、选择信息存储单元775、使用特征选择单元776以及视线方向特征量计算单元772来代替图11所示的视线方向特征量计算单元672。

在视线方向计算单元770中，水平脸部朝向判定单元774根据头部姿势估计单元150所取得的脸部正面矢量，判定立体照相机座标系中的水平方向上的脸部朝向，并生成用于表示从照相机看脸部时其朝向左侧还是朝向右侧的脸部朝向信息。

选择信息存储单元775存储选择信息表，所述选择信息表预先记载了对应于脸部朝向应选择左右哪一只眼睛的信息。

图15是表示一例选择信息表的内容的图。

如图15所示，在选择信息表775a中记载了从照相机看时的脸部朝向以及应该用于视线方向检测的运算中的左右的眼睛。作为应使用的眼睛，使“右眼”与“朝向左侧”的脸部朝向相对应。作为应使用的眼睛，使“左眼”与“朝向右侧”的脸部朝向相对应。也就是说，在选择信息表775a中，将处于前侧的眼睛，即能够以更稳定的精度检测视线方向的一边的眼睛，与脸部朝向对应地进行记载。

图14的使用特征选择单元776参照选择信息表775a，并根据由水平脸部朝向判定单元774生成的脸部朝向信息所表示的脸部朝向，选择应使用的眼睛。然后，使用特征选择单元776生成瞳孔选择信息，所述瞳孔选择信息表示选择了左右哪一只眼睛。

视线方向特征量计算单元772基于脸部器官三维位置信息、视线基准面的三维位置、视线特征参数、瞳孔间距离以及由使用特征选择单元776生成的瞳孔选择信息，计算视线方向特征量。

图16是表示由视线方向检测装置700进行的视线方向检测处理的流程的流程图，是与实施方式4的图12对应的图。

图16所示的视线方向检测处理除了用步骤S1750至步骤S1840的处理来代替步骤S1830的处理之外，其余与图12相同。

在步骤S1750中，水平脸部朝向判定单元774基于在步骤S1500取得的脸部正面矢量，判定立体照相机座标系中的脸部朝向是朝向左右哪一侧。然后，水平脸部朝向判定单元774将判定结果，即表示朝向左侧还是朝向右侧的脸部朝向信息输出到使用特征选择单元776。

照相机座标系中的脸部朝向的左右的判定，例如按照以下的方式进行。水平脸部朝向判定单元774取得用立体照相机座标系表示脸部正面矢量时的水平分量。然后，由于这里将从正面看脸部时的左方向设为“正”，所以水平脸部朝向判定单元774在脸部正面矢量的水平分量为“正”时判定为脸部是朝向左侧，在脸部正面矢量的水平分量为“负”时，判定脸部是朝向右侧。

另外，也可以将脸部正面矢量的水平分量的值直接作为脸部朝向信息。此时，脸部朝向信息根据值的正负来表示是朝向左侧还是朝向右侧。此外，脸部朝向信息也可以通过两个以上的预先决定的值表示脸部朝向，例如脸部朝向右侧时为“0”而在朝向“左侧”时为“1”。

在步骤S1760，使用特征选择单元776参照选择信息表775a，选择与输入的脸部朝向信息所表示的脸部朝向对应的眼睛。然后，使用特征选择单元776生成用于表示选择了的眼睛的瞳孔选择信息，并将生成的瞳孔选择信息输出到视线方向特征量计算单元772。

另外，也可以将脸部朝向信息直接作为瞳孔选择信息。此时，例如，如果脸部朝向信息是通过值的正负来表示朝向左侧还是朝向右侧的信息，则瞳孔选择信息通过值的正负来表示是右眼还是左眼。此外，瞳孔选择信息也可以通过两个以上的预先决定的值表示左右眼睛，例如选择左眼时为“0”而在选择右眼时为“1”。

在步骤S1840，与实施方式4同样，视线方向特征量计算单元772基于瞳孔选择信息所表示的眼睛的瞳孔中心的三维位置求视线方向特征量即偏移量d。例如，在瞳孔选择信息表示右眼时，视线方向特征量计算单元772使用在实施方式4中例示的式(13)，在瞳孔选择信息表示左眼时，视线方向特征量计算单元772使用在实施方式4中例示的式(14)。

另外，在脸部正面矢量的水平分量为“0”的情况下，在生成脸部朝向信息或瞳孔选择信息时，或者决定视线方向特征量计算单元772中的运算方法时，分配给选择项的任意一项即可。

这样，根据本实施方式，根据脸部的朝向判断处于前侧的眼睛，仅使用前侧的眼睛进行视线方向检测。因此，能够在视线方向检测中确保稳定的检测精度。此外，由于根据依次检测出的脸部方向矢量判断脸部的朝向，所以能够持续地进行精度稳定的视线方向检测。

另外，在本实施方式中，说明了根据瞳孔中心相对于视线基准面的距离来求偏移量d的情况，但也适用于如实施方式3那样根据脸部器官投影点相对于视线方向基准点的距离来求偏移量d的情况。此时，由视线特征投影单元337根据瞳孔选择信息所表示的一边的眼睛，取得脸部器官投影点即可。

(实施方式6)

在实施方式6中，说明以下的情况，对从左右两边的眼睛分别取得的视线方向特征量进行对应于脸部的朝向的加权后进行视线方向检测。

从处于阴影侧的眼睛取得的三维位置的可靠性在脸部过于偏向左右时较低，但是越接近照相机的光轴方向，则变得越高。此外，在由于被检测人注视极近距离处等原因而使连接左右瞳孔中心的线段与视线基准面不垂直时或取得的瞳孔间距离的精度较低时，如果仅使用一边的眼睛，则视线方向检测精度降低。因此，在本实施方式中，对从处于阴影侧的眼睛取得的信息和从前侧的眼睛取得的信息进行对应于脸部的朝向的加权，积极地利用两只眼睛来进行视线方向检测。

图17是表示本发明实施方式5的视线方向检测装置的结构的方框图，是与实施方式5的图14对应的图。

在图17中，本实施方式的视线方向检测装置800具有视线方向计算单元870来代替图14所示的视线方向计算单元770。视线方向计算单元870具有水平脸部朝向角度计算单元874、权重信息存储单元875、特征权重决定单元876以及视线方向特征量计算单元872来代替图14所示的水平脸部朝向判定单元774、选择信息存储单元775、使用特征选择单元776以及视线方向特征量计算单元772。

在视线方向计算单元870中，水平脸部朝向角度计算单元874根据头部姿势估计单元150所取得的脸部正面矢量，计算脸部的朝向相对于照相机的光轴方向的在水平方向上的角度作为水平脸部朝向角度。

权重信息存储单元875存储权重信息。权重信息是以下信息，预先使水平脸部朝向角度与对从左眼获得的信息应该乘以的权重系数(以下称为“左眼权重系数”)相对应的信息，其中，以与从左右眼睛获得的信息的可靠性的平衡相应的值作为所述权重系数。权重信息可以设为，例如对应于水平脸部朝向角度的离散的值而记载左眼权重系数的表形式或决定左眼权重系数作为水平脸部朝向角度的函数的函数形式。

图18是表示一例表形式的权重信息的内容的图。

如图18所示，表形式的权重信息876a将左眼权重系数记载为随着水平脸部朝向角度的增加渐渐地从1减少到0的值。也就是说，脸部越朝右，左眼权重系数越大，脸部越朝左，左眼权重系数越小。这是因为，脸部越朝右，从右眼获得的信息的可靠性越低，脸部越朝左，从左眼获得的信息的可靠性越低。如图18所示，在脸部过于朝向左右时，使处于阴影侧的眼睛的权重为“0”，在脸部处于正面方向(照相机的光轴方向)附近的方向时，使左右的权重为相同，从而能够减轻处理负担。

图19是表示一例函数形式的权重信息的内容的图。

如图19所示，函数形式的权重信息876b也将左眼权重系数定义为随着水平脸部朝向角度的增加渐渐地从1减少到0的连续的值。与使用了表形式的权重系数876a时相比，使用函数形式的权重信息876b时能够更细致地决定左眼权重系数。

图17的特征权重决定单元876使用权重信息，根据由水平脸部朝向角度计算单元874计算出的水平脸部朝向角度取得左眼权重系数。然后，特征权重决定单元876将取得的左眼权重系数输出到视线方向特征量计算单元872作为表示在计算视线方向特征量即偏移量时的权重的特征权重信息。

视线方向特征量计算单元872基于脸部器官三维位置信息、视线基准面的三维位置、视线特征参数、瞳孔间距离以及由特征权重决定单元876取得的特征权重信息，计算视线方向特征量。

图20是表示由视线方向检测装置800进行的视线方向检测处理的流程的流程图，是与实施方式5的图16对应的图。

图20中所示的各个处理除了用步骤S1770至步骤S1850的处理来代替步骤S1750至步骤S1840的处理之外，其余与图16相同。

在步骤S1770，水平脸部朝向角度计算单元874基于在步骤S1500取得的脸部正面矢量，计算脸部的朝向的水平分量相对于照相机的光轴方向的角度作为水平脸部朝向角度，并将计算出的水平脸部朝向角度输出到特征权重决定单元876。

例如，水平脸部朝向角度的计算按照以下的方式进行。水平脸部朝向角度计算单元874将立体照相机座标系中的脸部正面矢量的水平分量、垂直分量以及光轴方向分量分别假设为(X_fc，Y_fc，Z_fc)时，例如，使用以下的式(15)，求水平脸部朝向角度θ_h。

${\mathrm{\θ}}_h={\sin }^{-1}\left(\frac{X_{\mathrm{fc}}}{\sqrt{X_{\mathrm{fc}}^2+Z_{\mathrm{fc}}^2}}\right)\·\·\·\·\·\·\left(15\right)$

在步骤S1780，特征权重决定单元876基于在权重信息存储单元875中所存储的权重信息，决定与所输入的水平脸部朝向角度对应的左眼权重系数，根据决定了的左眼权重系数，计算对从右眼获得的信息应该乘以的权重系数(以下称为“右眼权重系数”)。然后，特征权重决定单元876将左眼权重系数和右眼权重系数作为特征权重信息而输出到视线方向特征量计算单元872。

特征权重决定单元876在左眼权重系数为W_l时，例如使用以下的式(16)，求右眼权重系数W_r。

W_r＝1-W_l   ……(16)

另外，也可以由视线方向特征量计算单元872使用式(16)，计算右眼权重系数。此时，特征权重决定单元876仅将左眼权重系数作为特征权重信息输出到视线方向特征量计算单元872。

在步骤S1850，视线方向特征量计算单元872对从左右瞳孔中心的三维位置获得的信息进行特征权重信息所表示的加权，求视线方向特征量即偏移量d。

例如，按照以下的方式进行对从左右瞳孔中心的三维位置获得的信息进行加权。视线方向特征量计算单元872将脸部器官矢量611的各个分量设为(a，b，c)、将视线方向基准点Fc的座标设为(x_f，y_f，z_f)、将右眼的瞳孔中心的座标设为(x_r，y_r，z_r)以及将左眼的瞳孔中心的座标设为(x_l，y_l，z_l)时，例如使用以下的式(17)和式(18)，求采用右眼时的偏移量d_r和采用左眼时的偏移量d_l。

$d_r=\frac{|a(x_r-x_f)+b(y_r-y_f)c(z_r-z_f)|}{\sqrt{a^2+b^2+c^2}}-0.5L_{\mathrm{eye}}\·\·\·\·\·\·\left(17\right)$

$d_l=-(\frac{|a(x_l-x_f)+b(y_l-y_f)c(z_l-z_f)|}{\sqrt{a^2+b^2+c^2}}-0.5L_{\mathrm{eye}})\·\·\·\·\·\·\left(18\right)$

然后，视线方向特征量计算单元872通过取对求出的偏移量d_r和d_l分别乘以右眼权重系数W_r和左眼权重系数W_l后所得值之和，也就是说使用以下的式(19)，计算作为最终的视线方向特征量的偏移量d。

d＝W_rd_r+W_ld_l   ……(19)

另外，进行加权时，也可以根据分别从左右眼睛单独地求出的偏移量，分别计算视线矢量与脸部正面矢量的夹角θ，对计算出的两个值乘以对应的权重系数。

具体而言，例如，视线方向特征量计算单元872首先计算采用右眼时的偏移量d_r以及采用左眼时的偏移量d_l，并将计算结果以及右眼权重系数W_r和左眼权重系数W_l输出到视线矢量计算单元173。然后，视线矢量计算单元173根据眼球半径r和偏移量d_r、d_l，使用以下的式(20)和式(21)，求采用右眼时的视线矢量与脸部正面矢量的夹角θ_r以及采用左眼时的视线矢量与脸部正面矢量的夹角θ_l。

${\mathrm{\θ}}_r={\sin }^{-1}\left(\frac{d_r}{r}\right)\·\·\·\·\·\·\left(20\right)$

${\mathrm{\θ}}_l={\sin }^{-1}\left(\frac{d_l}{r}\right)\·\·\·\·\·\·\left(21\right)$

然后，视线矢量计算单元173通过取对求出的角度θ_r和θ_l分别乘以右眼权重系数W_r和左眼权重系数W_l后所得值之和，也就是说使用以下的式(22)，计算作为最终的视线方向特征量的偏移量d。

θ＝W_rθ_r+W_lθ_l……(22)

这样，根据本实施方式，对从左右眼睛获得的信息进行对应于可靠性的加权，积极地使用两只眼睛进行视线方向检测。因此，能够实现视线方向检测的精度的稳定化。

另外，通过实验，预先解析拍摄条件、瞳孔间距离的检测精度以及水平脸部朝向角度与瞳孔中心的三维位置的检测精度之间的关系，并根据解析结果对各个水平脸部朝向角度预先求视线方向检测的精度最稳定的加权，从而能够实现视线方向检测的精度的更加稳定化。此外，也可以根据拍摄条件预先准备内容不同的权重信息，并根据拍摄条件分开使用。

此外，在本实施方式中，说明了根据瞳孔中心相对于视线基准面的距离来求偏移量d的情况，但也可以适用于如实施方式3那样根据脸部器官投影点相对于视线方向基准点的距离来求偏移量d的情况。此时，视线特征投影单元371基于左右两只眼睛取得脸部器官投影点，视线方向特征量计算单元372在求出各个投影点的偏移量后，按照特征权重信息进行加权即可。

在上述说明了的各个实施方式中，以适用于基于车辆的驾驶者的视线方向来报警事故的危险性的报警装置中的情况为例进行了说明，但不用说，也可以适用于基于人的视线方向来进行处理的其他各种装置中。

作为这样的装置可举出，例如，电视机或音响扬声器等信息提示设备、监视器等安全状态监视设备、静像相机或摄像机等视频记录设备、机器人等生活辅助设备、电子游戏或体感游戏等游戏设备等。还可举出其他装置，例如，输入估计车辆驾驶者正在看的图像并进行记录的影像记录装置、用于机器人掌握用户和机器人自身的状况的周围信息掌握装置、用于使电子游戏的游戏内容的状态变化的游戏状态更新装置以及用于检查眼球的运动的医疗器械。

此外，作为视线方向的检测对象的被检测人并不限定是人。如果是具有以脸部的中心为基准处于左右对称的位置上的两个脸部器官并且能够检测出瞳孔中心的动物，也能够适用本发明而检测其视线方向。

2006年7月14日提交的日本专利申请第2006-194892号所包含的说明书、附图以及说明书摘要的公开内容全部被引用在本申请。

工业实用性

本发明的视线方向检测装置和视线方向检测方法，作为能够获得高精度的视线方向检测结果而不针对每个被检测人特别地进行标定的视线方向检测装置和视线方向检测方法极为有用。具体而言，作为搭载在个人计算机、OA(办公自动化)设备、移动电话等信息终端、或汽车、飞机、轮船、电车等移动工具上的信息提供装置极为有用。此外，也能够应用于监视装置、报警装置、机器人、音像重放装置等作为信息输入装置。

Claims (14)

1、一种视线方向检测装置，包括：

基准位置计算单元，基于处于左右对称的位置上的两个脸部器官的三维位置，计算作为视线方向的检测对象的、被检测人的脸部中心的三维位置作为基准位置；

特征位置计算单元，基于左右瞳孔中心的三维位置，计算所述被检测人的左右瞳孔中心的左右方向上的中心的三维位置作为特征位置；

视线方向特征量计算单元，计算左右方向上的所述特征位置相对于所述基准位置的偏移量作为视线方向特征量；以及

视线方向计算单元，基于所述视线方向特征量，计算所述被检测人的视线方向。

2、如权利要求1所述的视线方向检测装置，其中，还包括：

图像输入单元，在规定的两个位置进行拍摄，并输入立体图像；

脸部器官检测单元，从所述图像输入单元所输入的立体图像中检测与所述脸部器官对应的图像以及与所述瞳孔中心对应的图像；以及

三维位置计算单元，基于所述图像输入单元进行拍摄的所述规定的两个位置和所述脸部器官检测单元的检测结果，计算所述脸部器官和所述瞳孔中心的三维位置。

3、如权利要求1所述的视线方向检测装置，其中，

还包括：脸部方向估计单元，基于至少包含处于左右对称的位置上的两个脸部器官的三个以上的脸部器官的三维位置，估计所述被检测人的脸部正面的方向，

所述视线方向计算单元基于所述视线方向特征量、眼球半径以及所述被检测人的脸部正面的方向，计算所述被检测人的视线方向。

4、如权利要求1所述的视线方向检测装置，其中，

还包括：视线特征投影单元，取得视线特征投影点，所述视线特征投影点为，将左右瞳孔中心的中点垂直地投影到通过了处于左右对称的位置上的规定的两个脸部器官的直线上的点，

所述视线方向特征量计算单元计算所述视线特征投影点相对于所述规定的两个脸部器官的中点的偏移量作为所述视线方向特征量。

5、如权利要求1所述的视线方向检测装置，其中，

还包括：视线基准面计算单元，基于处于左右对称的位置上的规定的两个脸部器官的三维位置，计算处于所述被检测人的脸部的左右方向上的中心的基准面，

所述视线方向特征量计算单元计算所述被检测人的左右瞳孔中心的中点相对于所述基准面的偏移量作为所述视线方向特征量。

6、如权利要求1所述的视线方向检测装置，其中，还包括：

特征存储单元，存储左右瞳孔中心的距离作为瞳孔间距离；以及

视线特征投影单元，取得脸部器官投影点，所述脸部器官投影点为，将左右任一瞳孔中心垂直地投影到通过了处于左右对称的位置上的规定的两个脸部器官的直线上的点，

所述视线方向特征量计算单元计算以所述瞳孔间距离的一半距离对所述脸部器官投影点相对于所述两个规定的脸部器官的中点的偏移量进行校正后的值作为所述视线方向特征量。

7、如权利要求2所述的视线方向检测装置，其中，

还包括：脸部检测单元，从所述图像输入单元所输入的立体图像中检测脸部的区域，

所述脸部器官检测单元仅将所述图像输入单元所输入的立体图像中的脸部区域作为搜索对象，检测与所述脸部器官对应的图像以及与所述瞳孔中心对应的图像。

8、如权利要求1所述的视线方向检测装置，其中，还包括：

特征存储单元，存储左右瞳孔中心的距离作为瞳孔间距离；以及

视线基准面计算单元，基于处于左右对称的位置上的规定的两个脸部器官的三维位置，计算位于所述被检测人的脸部的左右方向上的中心的基准面，

所述视线方向特征量计算单元计算以所述瞳孔间距离的一半距离对左右任一瞳孔中心相对于所述基准面的偏移量进行校正后的值作为所述视线方向特征量。

9、如权利要求6所述的视线方向检测装置，其中，还包括：

脸部朝向判定单元，判定所述被检测人的脸部正面朝向左右哪一边；以及

特征选择单元，基于由所述脸部朝向判定单元判定出的脸部正面的左右的朝向，选择所述左右瞳孔中心中的位于前侧的瞳孔中心，

所述视线特征投影单元基于所述特征选择单元所选择的瞳孔中心，取得所述脸部器官投影点。

10、如权利要求8所述的视线方向检测装置，其中，还包括：

脸部朝向判定单元，判定所述被检测人的脸部正面朝向左右哪一边；以及

特征选择单元，基于由所述脸部朝向判定单元判定出的脸部正面的左右的朝向，选择所述左右瞳孔中心中的位于前侧的瞳孔中心，

所述视线方向特征量计算单元基于所述特征选择单元所选择的瞳孔中心，取得所述视线方向特征量。

11、如权利要求6所述的视线方向检测装置，其中，还包括：

脸部朝向角度计算单元，计算所述被检测人的脸部正面的朝向相对于所述图像输入单元的光轴方向的在水平方向上的角度；以及

特征权重决定单元，根据所述脸部朝向角度计算单元所计算出的角度，决定对从所述左右瞳孔中心的各个瞳孔中心获得的信息的加权，

所述视线特征投影单元基于所述左右瞳孔中心的各个瞳孔中心，取得所述脸部器官投影点，

所述视线方向特征量计算单元基于对从所述左右瞳孔中心的各个瞳孔中心获得的信息进行由所述特征权重决定单元决定的加权后的值，计算所述视线方向特征量。

12、如权利要求8所述的视线方向检测装置，其中，还包括：

脸部朝向角度计算单元，计算所述被检测人的脸部正面的朝向相对于所述图像输入单元的光轴方向的在水平方向上的角度；以及

特征权重决定单元，根据所述脸部朝向角度计算单元所计算出的角度，决定对从所述左右瞳孔中心的各个瞳孔中心获得的信息的加权，

所述视线方向特征量计算单元基于所述左右瞳孔中心的各个瞳孔中心，计算所述视线方向特征量，

所述视线方向计算单元根据对基于所述左右瞳孔中心的各个瞳孔中心计算出的所述视线方向特征量或从所述视线方向特征量获得的所述被检测人的视线方向进行由所述特征权重决定单元决定的加权后的值，计算所述被检测人的视线方向。

13、如权利要求3所述的视线方向检测装置，其中，

所述视线方向计算单元计算将所述视线方向特征量设为分子而将所述眼球半径设为分母的值的反正弦作为所述视线方向相对于所述脸部正面的方向的在水平方向上的角度。

14、一种视线方向检测方法，包括：

特征计算步骤，基于处于左右对称的位置上的两个脸部器官的三维位置，计算作为视线方向的检测对象的、被检测人的脸部中心的三维位置作为基准位置，并且基于左右瞳孔中心的三维位置，计算所述被检测人的左右瞳孔中心的左右方向上的中心的三维位置作为特征位置；

视线方向特征量计算步骤，计算左右方向上的所述特征位置相对于所述基准位置的偏移量作为视线方向特征量；以及

视线方向计算步骤，基于所述视线方向特征量，计算所述被检测人的视线方向。

Images