CN103119623A - 瞳孔检测装置及瞳孔检测方法 - Google Patents

Abstract

本发明提供即使检测对象图像为低分辨率也能够提高瞳孔检测精度的瞳孔检测装置。在瞳孔检测装置(100)中，眼区域实际尺寸计算单元(102)获取眼区域的实际尺度值，瞳孔状态预测单元(103)计算瞳孔直径的实际尺度预测值，所需分辨率估计单元(105)基于计算出的实际尺度预测值计算分辨率的目标值，眼区域图像归一化单元(107)基于计算出的分辨率的目标值和眼区域的实际尺度值，计算放大/缩小倍率，基于计算出的放大/缩小倍率对眼区域的图像进行归一化，瞳孔检测单元(108)从进行了归一化的眼区域的图像中检测瞳孔图像。

Description

瞳孔检测装置及瞳孔检测方法

技术领域

本发明涉及瞳孔检测装置和瞳孔检测方法。

背景技术

在检测图像上的瞳孔时，有时由于瞳孔部分的分辨率过低而屡次发生误检测。例如，有时为了对广范围进行拍摄，摄像装置的视角较大，无法充分确保眼区域的分辨率。

在基于图像的一般的瞳孔检测方法中，利用瞳孔部分的亮度比瞳孔部分周边的亮度低的第一特征，或者瞳孔为圆或椭圆形状的第二特征。但是，在无法确保充分的分辨率的情况下，图像上瞳孔轮廓有时变为多边形，而不是圆或椭圆。在这种状态下，若使用上述第二特征进行瞳孔检测，则误检测屡次发生。在眼的周边，诸如睫毛、虹膜轮廓、外眼角和内眼角处发生的阴影，或者S/N比差时发生的噪声等，实际上形状并非为圆或椭圆，但图像上的亮度与瞳孔部分同程度地较低的部分存在有多个。并且，在分辨率较低时，这样虽然形状与瞳孔不同，但亮度与瞳孔部分同程度地较低的部分会被误检测为瞳孔。

对于这种问题，提出如下技术。例如，在专利文献1公开的技术中，从脸图像中检测眼区域，并对检测出的眼区域进行变焦处理。而且，通过拍摄尽可能清楚观测瞳孔边缘地放大的眼区域，确保瞳孔检测所需的瞳孔的分辨率。

另外，虽然不进行瞳孔检测，但作为检测眼的一部分即虹膜的技术，有专利文献2公开的技术。在专利文献2公开的技术中，从眼区域中预先检测虹膜轮廓，并变换眼区域的图像以使虹膜轮廓成为规定的大小的圆。

现有技术文献

专利文献

[专利文献1]日本特开2002-282210号公报

[专利文献2]日本特开2008-90483号公报

发明内容

发明要解决的问题

但是，在专利文献1公开的技术中，在进行对眼区域的变焦处理的阶段，并不知道作为检测对象的瞳孔的大小，因而难以将其变焦倍率设定为最适合于用于瞳孔检测的边缘检测的值。

因此，为了稳定地进行瞳孔检测，需要始终设定即使在瞳孔最小的情况(例如，刺眼时的瞳孔的情况)下也能够检测出瞳孔轮廓作为边缘的变焦倍率。

即，在变焦倍率不足的情况下，如果瞳孔较小，则瞳孔轮廓部分的边缘的像素数较小，瞳孔检测不稳定。因此，需要设定变焦倍率，以使即使在瞳孔较小的情况下也能够确保足够的边缘像素数。

但是，在设定了即使在瞳孔较小时也能够确保足够的边缘像素数的变焦倍率的情况下，在瞳孔较大时，会检测出相对于原本所需的边缘像素数而言过剩的边缘像素数。此时，存在如下问题，即，相对于检测性能而言过多的像素数成为处理对象，因此用于瞳孔检测处理的计算量增加。

另外，在专利文献2公开的技术中，在进行眼区域图像的变换时，需要图像上的虹膜轮廓形状作为变换参数。因此，即使要将该技术适用于瞳孔检测处理，为了进行瞳孔检测而需要瞳孔检测结果，所以该技术的适用也较为困难。

本发明的目的在于提供即使在检测对象图像为低分辨率的情况下，也能够提高瞳孔检测精度的瞳孔检测装置和瞳孔检测方法。

解决问题的方案

本发明的一形式的瞳孔检测装置是检测瞳孔的图像的瞳孔检测装置，包括：获取单元，获取包含所述瞳孔的周边区域的实际尺度值；第一计算单元，计算瞳孔直径的实际尺度预测值；第二计算单元，基于所述计算出的实际尺度预测值，计算分辨率的目标值；归一化单元，基于所述计算出的分辨率的目标值和所述周边区域的实际尺度值，计算放大/缩小倍率，基于所述计算出的放大/缩小倍率，对所述周边区域的图像进行归一化；以及检测单元，从进行了所述归一化的周边区域的图像中检测所述瞳孔的图像。

本发明的一形式的瞳孔检测方法是检测瞳孔的图像的瞳孔检测方法，包括如下步骤：获取包含所述瞳孔的周边区域的实际尺度值；计算瞳孔直径的实际尺度预测值；基于所述计算出的实际尺度预测值，计算分辨率的目标值；基于所述计算出的分辨率的目标值和所述周边区域的实际尺度值，计算放大/缩小倍率；基于所述计算出的放大/缩小倍率，对所述周边区域的图像进行归一化；以及从进行了所述归一化的周边区域的图像中检测所述瞳孔的图像。

发明的效果

根据本发明，能够提供即使在检测对象图像为低分辨率的情况下，也能够提高瞳孔检测精度的瞳孔检测装置和瞳孔检测方法。

附图说明

图1是表示本发明实施方式1的瞳孔检测装置的结构的方框图。

图2是表示眼区域检测单元的结构的框图。

图3是用于说明瞳孔检测装置的动作的流程图。

图4是表示作为目标图像的脸图像的图。

图5是表示分辨率表的例子的图。

图6是表示本发明实施方式2的瞳孔检测装置的结构的方框图。

图7是表示本发明实施方式3的瞳孔检测装置的结构的方框图。

标号说明

100、500、600瞳孔检测装置

101眼区域图像获取单元

102、501眼区域实际尺寸计算单元

103、602瞳孔状态预测单元

104实际尺寸瞳孔直径存储单元

105所需分辨率估计单元

106表存储单元

107眼区域图像归一化单元

108瞳孔检测单元

109瞳孔实际尺寸计算单元

111图像输入单元

112眼区域检测单元

121脸检测单元

122脸器官检测单元

123眼区域确定单元

601照度传感器

具体实施方式

下面，参照附图详细地说明本发明的实施方式。另外，在本实施方式中，对相同的结构元素附加相同的标号并省略重复的说明。

实施方式1

[瞳孔检测装置的结构]

图1是表示本发明的实施方式1的瞳孔检测装置100的结构的方框图。瞳孔检测装置100例如设置在汽车的车厢内，与视线检测装置连接而使用。该视线检测装置基于瞳孔检测装置100的检测结果确定瞳孔位置，并检测驾驶员的视线方向。下面，特别说明将瞳孔检测装置100适用于视线检测装置的情况。

在图1中，瞳孔检测装置100包括眼区域图像获取单元101、眼区域实际尺寸计算单元102、瞳孔状态预测单元103、实际尺寸瞳孔直径存储单元104、所需分辨率估计单元105、表存储单元106、眼区域图像归一化单元107、瞳孔检测单元108以及瞳孔实际尺寸计算单元109。

眼区域图像获取单元101获取眼区域图像，并且输出到眼区域实际尺寸计算单元102。

具体而言，眼区域图像获取单元101具备图像输入单元111和眼区域检测单元112。

图像输入单元111对拍摄目标(即，这里为人物)进行拍摄。这里，图像输入单元111具备立体照相机，通过该立体照相机获取立体图像。该目标图像数据被输出到眼区域检测单元112。

图像输入单元111例如设置于车的方向盘上、或者仪表盘上等驾驶席的正面。由此，通过图像输入单元111拍摄驾驶中的驾驶者的脸。

眼区域检测单元112从由图像输入单元111获取的目标图像中，检测眼区域图像。

具体而言，如图2所示，眼区域检测单元112具有脸检测单元121、脸器官检测单元122和眼区域确定单元123。

脸检测单元121从由图像输入单元111获取的目标图像中检测脸图像，并将检测出的脸图像数据输出到脸器官检测单元122。

脸器官检测单元122从由脸检测单元121获取的脸图像数据中检测脸器官群(即，嘴角、外眼角、内眼角等)，并将各脸器官的位置坐标和脸图像数据一起向眼区域确定单元123输出。

眼区域确定单元123从脸器官检测单元122获取各脸器官的位置坐标，并基于获取的各脸器官的位置坐标确定眼区域在脸图像中的位置和大小(宽度、高度)。并且，眼区域确定单元123从脸图像中截取眼区域图像，以作为眼区域图像。眼区域在脸图像中的位置和大小作为眼区域检测结果与眼区域图像一起被输出到眼区域实际尺寸计算单元102。此外，对左眼和右眼分别计算眼区域的位置和大小。

返回图1，眼区域实际尺寸计算单元102基于从眼区域图像获取单元101获取的眼区域图像数据(在实施方式1中是立体图像数据)和眼区域检测结果，计算眼区域的实际尺度(scale)值。所谓眼区域的实际尺度值，是表示目标图像上的眼区域实际上具有多大的大小的值。眼区域的实际尺度值例如作为眼区域的宽度和高度，用所拍摄的物体(脸部的眼周边部分)的实际尺寸(例如，宽度30mm、高度20mm)、或者眼区域图像上的每1像素的距离(例如，1像素0.75mm)来表示。

瞳孔状态预测单元103计算瞳孔直径的实际尺度预测值。具体来说，瞳孔状态预测单元103基于实际尺寸瞳孔直径存储单元104中保持的先前的实际尺寸瞳孔直径，预测眼区域图像获取单元101获取的眼区域图像中的瞳孔的实际尺寸，以计算实际尺度预测值。

实际尺寸瞳孔直径存储单元104将从瞳孔实际尺寸计算单元109获取的瞳孔的实际尺寸与拍摄时刻一起进行存储。即，实际尺寸瞳孔直径存储单元104中，保持从由眼区域图像获取单元101先前获取的瞳孔图像中导出的瞳孔直径(的历史)。

所需分辨率估计单元105基于瞳孔状态预测单元103中计算出的实际尺度预测值，计算分辨率的目标值。在分辨率的目标值的计算中，使用表存储单元106中存储的分辨率表。分辨率表中，瞳孔直径的实际尺度值候选群和各实际尺度值候选中为了瞳孔检测所需的图像分辨率相对应。因此，所需分辨率估计单元105使用分辨率表，基于瞳孔状态预测单元103中计算出的实际尺度预测值和与该实际尺度预测值对应的所需分辨率，计算分辨率的目标值。

表存储单元106保持上述的分辨率表。分辨率表是将多个瞳孔直径与预先通过实验或仿真等计算出的、为了稳定检测各瞳孔直径的瞳孔而所需的分辨率相对应的表。例如，通过以多个分辨率拍摄各瞳孔直径的图像，在各分辨率的图像中选择瞳孔检测结果最好的分辨率，并使该分辨率作为各瞳孔直径的瞳孔分辨率相对应来生成分辨率表。

眼区域图像归一化单元107基于所需分辨率估计单元105中计算出的分辨率的目标值和眼区域实际尺寸计算单元102中计算出的眼区域的实际尺度值，计算放大/缩小倍率。具体来说，眼区域图像归一化单元107基于眼区域实际尺寸计算单元102中计算出的眼区域的实际尺度值以及从眼区域图像获取单元101获取的眼区域图像中使用的像素数，计算每单位长度的像素数，求计算出的每单位长度的像素数和由所需分辨率估计单元105计算出的分辨率的目标值之比，从而计算放大/缩小倍率。

并且，眼区域图像归一化单元107基于计算出的放大/缩小倍率，对从眼区域图像获取单元101获取的眼区域图像进行归一化。进行了归一化的眼区域图像(即，归一化眼区域图像)被输出到瞳孔检测单元108。

另外，眼区域图像归一化单元107计算归一化眼区域图像中的眼区域的实际尺寸值，并向瞳孔实际尺寸计算单元109输出。

瞳孔检测单元108从由眼区域图像归一化单元107获取的归一化眼区域图像中，检测瞳孔图像。检出瞳孔图像中的、瞳孔中心的坐标和瞳孔直径分别被输出到视线检测单元(未图示)和瞳孔实际尺寸计算单元109。

瞳孔实际尺寸计算单元109根据从眼区域图像归一化单元107获取的归一化眼区域图像中的眼区域的实际尺寸值与从瞳孔检测单元108获取的瞳孔直径，计算瞳孔的实际尺寸。由实际尺寸瞳孔直径存储单元104保持该实际尺寸瞳孔直径。

[瞳孔检测装置100的动作]

说明具有以上结构的瞳孔检测装置100的动作。图3是用于说明瞳孔检测装置100的动作的流程图。在图3的流程图中，还包含上述的视线检测装置中的处理流程。

图3所示的处理流程与拍摄作业同时开始。拍摄作业即可以通过用户的操作来开始，也可以将外部的某个信号作为触发而开始。

<图像获取处理>

在步骤S201中，图像输入单元111对拍摄目标(即，这里为人物)进行拍摄。由此获取目标图像。

例如，图像输入单元111是具备CMOS图像传感器和镜头的数码摄像机。因此，图像输入单元111中拍摄的PPM(Portable Pix Map file format，可移植的象素映射位图文件格式)格式的图像等暂时存储到图像输入单元111所包含的未图示的图像存储单元(例如，PC的存储器空间)中之后，仍以PPM格式输出到眼区域检测单元112。

<脸图像检测处理>

在步骤S202中，脸检测单元121在从图像输入单元111获取的目标图像中，检测脸图像。图4是表示作为目标图像的脸图像的图。此外，在所拍摄的脸图像中，例如将图像横向设为X轴、且将图像纵向设为Y轴，1像素为1坐标点。

在脸区域检测处理中，例如，从目标图像中提取成为特征的图像的候选(即，特征图像候选)，通过比较提取的特征图像候选和表示预先准备的脸区域的特征图像，检测出相似度高的特征图像候选。例如，对照预先获取的平均脸的伽柏(Gabor)特征量和通过扫描目标图像而提取的伽柏特征量，求两者差分的绝对值的倒数，作为相似度。

此时，脸检测单元121在图4的图像400中提取脸区域候选群，将提取的脸区域候选群和预先准备的模板进行比较，将相关最高的脸区域候选检测为脸图像401。此外，脸区域检测处理即可以通过从图像中检测肤色区域(即，肤色区域检测)进行，也可以通过检测椭圆部分(即，椭圆检测)进行，也可以通过采用统计学的模式识别方法进行。此外，只要是能够进行上述脸检测的技术，也可以采用任何方法。

<脸器官检测处理>

在步骤S203中，脸器官检测单元122从由脸检测单元121获取的脸图像中检测脸器官群(即，嘴角、外眼角、内眼角等)，并将各脸器官的位置坐标输出到眼区域确定单元123。脸器官群的搜索区域是在步骤S202中确定出的脸区域401。在图4中，分别示出脸器官群402。

在脸器官群检测处理中，例如利用分离度滤波器检测嘴角、外眼角、内眼角等脸器官的端点或鼻孔等的二维坐标。此外，即可以是，预先使学习器学习多个脸图像和与脸图像对应的脸器官的位置之间的对应关系，脸器官检测单元122在输入了脸图像401时，将有关其对应关系的似然最高的部位作为脸器官检测出来。或者，也可以是，脸器官检测单元122利用标准的脸器官的模板，从脸图像401中搜索脸器官。

<眼区域确定处理>

在步骤S204中，眼区域确定单元123从由脸检测单元121获取的脸图像和从由脸器官检测单元122获取的脸器官群中，确定眼区域。

在眼区域确定处理中，例如在左、右各个眼中，将包含外眼角、内眼角的矩形区域403确定为眼区域，获取矩形的左上端点坐标和右下端点坐标作为眼区域检测结果。这里，使用矩形的左上端点坐标和右下端点坐标作为表示眼区域的位置、大小的参数。

<眼区域实际尺寸计算处理>

在步骤S205中，眼区域实际尺寸计算单元102根据从眼区域图像获取单元101获取的眼区域图像数据(在实施方式1中是立体图像数据)，计算眼区域的实际尺度值。具体而言，眼区域实际尺寸计算单元102根据眼区域图像数据，计算图像上的特征点间的特征距离(像素数)p。该图像上的特征点间的特征距离，例如是图像上的外眼角和内眼角之间的距离。并且，眼区域实际尺寸计算单元102利用特征距离p对基准距离x进行除法运算，由此计算x/p。特征距离p例如是实际空间中的外眼角和内眼角之间的平均距离(例如，28mm)。因此，x/p表示相当于1像素的实际尺寸值。

<估计瞳孔直径计算处理>

在步骤S206中，瞳孔状态预测单元103计算瞳孔直径的实际尺度预测值。

具体而言，瞳孔状态预测单元103基于实际尺寸瞳孔直径存储单元104中保持的先前的实际尺寸瞳孔直径，预测从眼区域图像获取单元101获取的眼区域图像中包含的瞳孔的实际尺寸。例如，瞳孔状态预测单元103在1帧前的实际尺寸瞳孔直径设为D_t-1，2帧前的实际尺寸瞳孔直径设为D_t-2的情况下，通过式(1)计算瞳孔直径的实际尺度预测值Dt。

D_t＝D_t-1+(D_t-1-D_t-2)    ...(1)

或者，瞳孔状态预测单元103也可以通过式(2)计算瞳孔直径的实际尺度预测值D_t。式(2)中，V_m是人的平均的缩瞳(这里表示瞳孔变小)速度。

D_t＝D_t-1+V_m(t-(t-1))    ...(2)

或者，瞳孔状态预测单元103也可以进行使用卡尔曼滤波器(Kalman filter)等的状态预测。

<所需分辨率计算处理>

在步骤S207中，所需分辨率估计单元105基于瞳孔状态预测单元103中计算出的实际尺度预测值，计算分辨率的目标值。在分辨率的目标值的计算中，使用表存储单元106中存储的分辨率表。该分辨率表中，瞳孔直径的实际尺度值候选群和各实际尺度值候选中为了瞳孔检测所需的图像分辨率相对应。

表存储单元106中存储的分辨率表既可以如图5(a)所示以图表形式保持，也可以如图5(b)所示以表形式保持。分辨率表具有的倾向特性如下。(1)实际尺寸瞳孔直径(即，实际尺度值候选)越大，则对应的所需分辨率的值越大。(2)所需分辨率相对于实际尺度值候选单调减少，并收敛于一定值。

具体而言，所需分辨率估计单元105使用分辨率表，基于瞳孔状态预测单元103中计算出的实际尺度预测值a和与该实际尺度预测值对应的所需分辨率b，计算分辨率的目标值b/a。分辨率的目标值b/a是为了稳定检测具有被预测的瞳孔直径的瞳孔所需的、实际尺寸的每单位长度的像素数。

<眼区域图像归一化处理>

在步骤S208中，眼区域图像归一化单元107基于所需分辨率估计单元105中计算出的分辨率的目标值和眼区域实际尺寸计算单元102中计算出的眼区域的实际尺度值，计算放大/缩小倍率。具体而言，眼区域图像归一化单元107基于眼区域实际尺寸计算单元102中计算出的眼区域的实际尺度值以及从眼区域图像获取单元101获取的眼区域图像中使用的像素数，计算每单位长度的像素数，求计算出的每单位长度的像素数和由所需分辨率估计单元105计算出的分辨率的目标值之比，从而计算放大/缩小倍率。

并且，眼区域图像归一化单元107基于计算出的放大/缩小倍率，对从眼区域图像获取单元101获取的眼区域图像进行归一化。该放大缩小处理使用双线性(bilinear method)或双三次性(bicubic method)等在图像处理中一般使用的方法。

<瞳孔搜索处理>

在步骤S209中，瞳孔检测单元108从由眼区域图像归一化单元107获取的归一化眼区域图像中，检测瞳孔图像。瞳孔图像中的、瞳孔中心的坐标和瞳孔直径分别被输出到视线检测单元(未图示)和瞳孔实际尺寸计算单元109。

在步骤S210中，视线检测单元(未图示)例如根据脸朝向矢量和视线方向矢量计算视线方向，该脸朝向矢量表示根据脸器官群402的坐标计算出的脸的正面方向的朝向，该视线方向矢量为与根据外眼角、内眼角、瞳孔中心的坐标计算出的脸的正面方向相对的矢量。

例如，通过下面的顺序，计算脸朝向矢量。首先，通过将预先获取的驾驶者的脸器官群的三维坐标旋转及平移而进行变换。然后，将变换的三维坐标投影到瞳孔检测中使用的目标图像上。之后，计算与在步骤S203中检测的脸器官群最一致的旋转及平移参数。此时，在预先获取了驾驶者的脸器官群的三维坐标时，表示驾驶者的脸所对着的方向的矢量和根据所确定的旋转参数旋转的矢量的组合，就是脸朝向矢量。

此外，例如，通过下面的顺序计算视线方向矢量。首先，预先存储在脸对着规定的方向的情况下，观察与脸朝向相同的方向时的驾驶者的脸器官群和瞳孔中心的三维坐标。例如，通过在眼区域内获取规定的亮度以下的像素的重心来进行瞳孔中心的检测。接着，计算从所检测出的瞳孔的三维坐标向视线方向的相反侧移动了规定的距离的位置，作为眼球中心位置。此时，作为上述规定的距离，一般的成人眼球的半径即12mm左右较适当，但并不限于上述值，也可以采用任意的值。接着，使用在脸朝向矢量计算中获取的脸的旋转及平移参数，计算检测时的眼球中心的三维坐标。接着，假设瞳孔位于以眼球中心为中心、半径为上述规定的距离的球上，并搜索所检测的瞳孔中心位于上述球上的哪个位置。最后，计算将眼球中心和所搜索的球上的点连接起来的矢量，作为视线方向。

<瞳孔实际尺寸计算处理>

在步骤S211中，瞳孔实际尺寸计算单元109根据从眼区域图像归一化单元107获取的归一化眼区域图像中的眼区域的实际尺寸值和从瞳孔检测单元108获取的瞳孔直径，计算瞳孔的实际尺寸。

在将归一化眼区域图像的放大缩小倍率设为n，将检出瞳孔的归一化眼区域图像上的瞳孔直径设为D_n时，通过式(3)计算瞳孔的实际尺寸D_rt。该实际尺寸瞳孔直径保持在实际尺寸瞳孔直径存储单元104中。

$D_{\mathrm{rt}}=\frac{D_{n}x}{\mathrm{np}}...\left(3\right)$

<结束判定处理>

在步骤S212中，进行结束判定。结束判定既可以通过由人工输入结束命令来进行，也可以以外部的某种信号为触发而由瞳孔检测装置100进行。

在步骤S212中判定为结束的情况下，结束图3的处理。

如上所述，根据本实施方式，在瞳孔检测装置100中，所需分辨率估计单元105基于由瞳孔状态预测单元103计算出的实际尺度预测值，计算分辨率的目标值。并且，眼区域图像归一化单元107基于由所需分辨率估计单元105计算出的分辨率的目标值和由眼区域实际尺寸计算单元102获取的眼区域的实际尺度值，计算放大/缩小倍率，并基于计算出的放大/缩小倍率对眼区域的图像进行归一化。并且，瞳孔检测单元108从由眼区域图像归一化单元107进行了归一化的眼区域图像中，检测瞳孔图像。

由此，能够使用通过反映了实体的放大/缩小倍率对眼区域图像进行放大/缩小而得到的归一化图像进行瞳孔检测，因而即使检测对象图像为低分辨率也能够提高瞳孔检测精度，所述放大/缩小倍率是基于瞳孔直径的实际尺度预测值和眼区域的实际尺度值计算出的放大/缩小倍率。

另外，眼区域图像归一化单元107基于眼区域的实际尺度值和眼区域图像所使用的像素数，计算每单位长度的像素数，求计算出的每单位长度的像素数和分辨率的目标值之比，从而计算放大/缩小倍率。

此外，在以上说明中，说明了假设分辨率的目标值为理想的目标值，并将相当于当前的分辨率的值设为眼区域的实际尺度值。但是，本发明并不限定于此，只要是作为瞳孔的周边区域且在图像上分辨率与瞳孔图像基本相同的区域的实际尺度值即可。

实施方式2

在实施方式2中，通过距离传感器来求眼区域的实际尺度值。

图6是表示本发明的实施方式2的瞳孔检测装置500的结构的方框图。在图6中，瞳孔检测装置500具有眼区域实际尺寸计算单元501。

眼区域实际尺寸计算单元501具备测距传感器，使用该测距传感器直接检测眼区域的实际尺度值。测距传感器例如是激光测距传感器，或者TOF(Time-Of-Flight，飞行时间)传感器等。

检测出的眼区域的实际尺度值输出到眼区域图像归一化单元107。此外，与实施方式1相同，相当于当前的分辨率的值并不限定于眼区域的实际尺度值，只要是作为瞳孔的周边区域且在图像上分辨率与瞳孔图像基本相同的区域的实际尺度值即可。

如上所述，根据本实施方式，在瞳孔检测装置500中，眼区域实际尺寸计算单元501具备测距传感器，眼区域图像归一化单元107基于计算出的分辨率的目标值和由测距传感器测定出的眼区域的实际尺度值，计算放大/缩小倍率，基于计算出的放大/缩小倍率对眼区域的图像进行归一化，瞳孔检测单元108从进行了归一化的眼区域的图像中检测瞳孔图像。

由此，能够不使用图像而检测眼区域的实际尺度值，因而即使检测对象图像为低分辨率，也能够获取较正确的眼区域的实际尺度值。其结果，能够基于较正确的眼区域的实际尺度值计算放大/缩小倍率，因而能够进一步提高瞳孔检测精度。

实施方式3

在实施方式3中，基于照度的平衡状态或非平衡状态，切换瞳孔直径的实际尺度预测值的计算方法。

图7是表示本发明的实施方式3的瞳孔检测装置600的结构的方框图。在图7中，瞳孔检测装置600具有照度传感器601和瞳孔状态预测单元602。

照度传感器601以规定的周期测定瞳孔检测装置600和拍摄目标的周边的照度，并将测定出的照度依次向瞳孔状态预测单元602输出。

瞳孔状态预测单元602基于照度传感器601中测定出的照度的历史，判定照度处于平衡状态还是非平衡状态，并基于判定结果切换瞳孔直径的实际尺度预测值的计算方法。

具体而言，瞳孔状态预测单元602在判定为照度处于平衡状态的情况下，基于瞳孔检测单元108中先前检测出的至少两个瞳孔直径，计算瞳孔直径的实际尺度预测值。即，瞳孔状态预测单元602在判定为照度处于平衡状态的情况下，使用上述式(1)计算瞳孔直径的实际尺度预测值。

另一方面，瞳孔状态预测单元602在判定为照度处于非平衡状态的情况下，基于瞳孔检测单元108中先前检测出的瞳孔直径和缩瞳速度，计算瞳孔直径的实际尺度预测值。即，瞳孔状态预测单元602在判定为照度处于非平衡状态的情况下，使用上述式(2)计算瞳孔直径的实际尺度预测值。

如上所述，根据本实施方式，瞳孔状态预测单元602基于照度的测定值历史，判定照度处于平衡状态还是非平衡状态，并基于判定结果切换瞳孔直径的实际尺度预测值的计算方法。

由此，能够反映拍摄环境并计算瞳孔直径的实际尺度预测值，因而即使检测对象图像为低分辨率，也能够获取较正确的分辨率的目标值。其结果，能够基于较正确的分辨率的目标值计算放大/缩小倍率，因而能够进一步提高瞳孔检测精度。

另外，在上述各个实施方式中，以由硬件构成本发明的情况为例进行了说明，但本发明也可以由软件实现。

另外，用于上述各实施方式的说明中的各功能块通常被作为集成电路的LSI来实现。这些功能块既可以被单独地集成为单芯片，也可以包含一部分或全部地被集成为单芯片。虽然此处称为LSI，但根据集成程度，可以被称为IC、***LSI、超大LSI(Super LSI)、或特大LSI(Ultra LSI)。

另外，实现集成电路化的方法不仅限于LSI，也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(Field ProgrammableGate Array，现场可编程门阵列)，或者可重构LSI内部的电路单元的连接和设定的可重构处理器。

再者，随着半导体的技术进步或随之派生的其它技术的出现，如果出现能够替代LSI的集成电路化的新技术，当然可利用该新技术进行功能块的集成化。还存在着适用生物技术等的可能性。

在上述各个实施方式中说明的瞳孔检测装置，适用于安装在个人计算机、OA设备、移动电话等信息终端、或者汽车、飞机、船、电车等移动工具上的信息提供装置时极为有用。另外，也能够适用于监视装置、警报装置、机器人、视频音频再现装置等。

2010年9月24日提交的日本专利申请特愿2010-213780号所包含的说明书、说明书附图和说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明的瞳孔检测装置和瞳孔检测方法即使在检测对象图像为低分辨率，也能够提高瞳孔检测精度。

Claims (7)

1.瞳孔检测装置，检测瞳孔的图像，包括：

获取单元，获取包含所述瞳孔的周边区域的实际尺度值；

第一计算单元，计算瞳孔直径的实际尺度预测值；

第二计算单元，基于所述计算出的实际尺度预测值，计算分辨率的目标值；

归一化单元，基于所述计算出的分辨率的目标值和所述周边区域的实际尺度值，计算放大/缩小倍率，基于所述计算出的放大/缩小倍率，对所述周边区域的图像进行归一化；以及

检测单元，从进行了所述归一化的周边区域的图像中检测所述瞳孔的图像。

2.如权利要求1所述的瞳孔检测装置，

所述归一化单元基于所述周边区域的实际尺度值和所述周边区域的图像所使用的像素数，计算每单位长度的像素数，求所述计算出的每单位长度的像素数和所述分辨率的目标值之比，由此计算所述放大/缩小倍率。

3.如权利要求1所述的瞳孔检测装置，

所述第一计算单元基于根据由所述检测单元先前检测出的瞳孔图像求得的瞳孔直径，计算所述实际尺度预测值。

4.如权利要求1所述的瞳孔检测装置，还包括：

存储单元，存储将多个瞳孔直径与适合于各瞳孔直径的分辨率相对应的分辨率表，

所述第二计算单元使用所述分辨率表，计算与所述计算出的实际尺度预测值对应的分辨率的目标值。

5.如权利要求1所述的瞳孔检测装置，

所述获取单元具备测距传感器，通过所述测距传感器测定所述周边区域的实际尺度。

6.如权利要求1所述的瞳孔检测装置，

所述第一计算单元基于由照度传感器测定出的照度的历史，判定照度处于平衡状态还是非平衡状态，并基于判定结果切换瞳孔直径的实际尺度预测值的计算方法。

7.瞳孔检测方法，检测瞳孔的图像，包括以下步骤：

获取包含所述瞳孔的周边区域的实际尺度值；

计算瞳孔直径的实际尺度预测值；

基于所述计算出的实际尺度预测值，计算分辨率的目标值；

基于所述计算出的分辨率的目标值和所述周边区域的实际尺度值，计算放大/缩小倍率；

基于所述计算出的放大/缩小倍率，对所述周边区域的图像进行归一化；以及

从进行了所述归一化的周边区域的图像中检测所述瞳孔的图像。

Images