CN103565399B

CN103565399B - 瞳孔检测装置

Info

Publication number: CN103565399B
Application number: CN201210265459.5A
Authority: CN
Inventors: 黄昱豪; 李宜方; 高铭璨; 谢孟寰; 许恩峯; 陈念泽
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2012-07-27
Filing date: 2012-07-27
Publication date: 2015-09-30
Anticipated expiration: 2032-07-27
Also published as: CN103565399A

Abstract

一种瞳孔检测装置，包括主动光源、图像传感器及处理单元。该主动光源朝眼球发光。该图像传感器以一分辨率获取该眼球的至少一个图像帧以作为待识别图像。该处理单元计算该待识别图像中的最低灰阶值，并将该最低灰阶值周围的灰阶值在一灰阶值范围内的多个像素识别为瞳孔区域。

Description

瞳孔检测装置

技术领域

本发明是关于一种互动***，特别是关于一种瞳孔检测装置。

背景技术

交互式控制机制能够提供使用者更人性化的操控方式，因而已被广泛的应用于各式多媒体***，尤其可应用于包括显示屏的图像显示***。

使用能够获取图像的遥控器作为交互式人机接口为一种常用的手段，而且该遥控器可被制作成各式道具，例如球棒、球拍、球杆等。另一种交互式人机接口则是不需使用任何手持装置来进行的，例如瞳孔追踪装置即可根据使用者的视线变化来进行交互式操作。

参照图1A及1B所示，图1A显示一种已知瞳孔追踪***，其用以进行人眼9的瞳孔追踪；图1B显示已知瞳孔追踪***所获取的人眼图像的示意图。该瞳孔追踪***包括图像显示装置81、光源82、图像传感器83及处理单元84。该光源82用以朝向该人眼9打光，以于该人眼9中产生光源图像I₈₂（如图1B）。该图像传感器83用以获取包括瞳孔91及该光源图像I₈₂的人眼图像，该处理单元84计算该人眼图像中该瞳孔91及该光源图像I₈₂的相对距离D的变化以追踪该瞳孔91，并据以相对控制该图像显示装置81上游标811的动作。然而，如果环境中同时存在有其它光源（未示出）并在该人眼图像中形成环境光源图像I₀，进行瞳孔追踪时则可能出现错误的情形。

鉴于此，本发明提出一种瞳孔检测装置，其可通过计算差分图像来消除环境光源的影响，藉以提高瞳孔追踪的正确性。

发明内容

本发明的目的在提供一种瞳孔检测装置，其具有较高的定位精确度。

本发明提供一种瞳孔检测装置，包括主动光源、图像传感器以及处理单元。该主动光源朝眼球发光。该图像传感器以一分辨率获取该眼球的至少一个图像帧以作为待识别图像。该处理单元计算该待识别图像中的最低灰阶值，并将该最低灰阶值周围的灰阶值在一灰阶值范围内的多个像素识别为瞳孔区域。

本发明还提供一种瞳孔检测装置，包括至少一个主动光源、两个图像传感器以及处理单元。该至少一个主动光源发光以照明左眼或右眼。该两个图像传感器以一分辨率获取该至少一个主动光源照明的该左眼或该右眼的至少一个图像帧以作为第一待识别图像及第二待识别图像。该处理单元分别计算该第一待识别图像及该第二待识别图像中的最低灰阶值，并将该最低灰阶值周围的灰阶值在一灰阶值范围的多个像素识别为瞳孔区域。

本发明还提供一种瞳孔检测装置，包括两个主动光源、两个图像传感器以及处理单元。该两个主动光源发光以分别照明左眼及右眼。该两个图像传感器以一分辨率分别获取该左眼及该右眼的至少一个图像帧以作为第一待识别图像及第二待识别图像。该处理单元分别计算该第一待识别图像及该第二待识别图像中的最低灰阶值，并将该最低灰阶值周围的灰阶值在一灰阶值范围内的多个像素识别为瞳孔区域。

一实施例中，该瞳孔检测装置还包括显示单元用以显示图像。

一实施例中，该瞳孔检测装置还具有眨眼检测功能。

一实施例中，该瞳孔检测装置还具有瞌睡检测及分心检测功能。

一实施例中，该瞳孔检测装置还具有眨眼频率检测及干眼检测功能。

一实施例中，该瞳孔检测装置还具有姿势识别（gesture recognition）功能。

本发明的瞳孔检测装置中，通过将最低灰阶值周围的灰阶值在一灰阶值范围内的多个像素识别为瞳孔区域，可消除环境光源的影响并提高定位精确度。

本发明的瞳孔检测装置中，所述主动光源轮流以第一亮度及第二亮度发光；该图像传感器获取相对该第一亮度的第一图像帧及相对该第二亮度的第二图像帧；该处理单元计算该第一图像帧及该第二图像帧的差分图像以作为该待识别图像。藉此，可通过计算该差分图像以消除环境光源的影响并提高定位精确度。

附图说明

图1A显示已知瞳孔追踪***的示意图；

图1B显示已知瞳孔追踪***所获取的人眼图像的示意图；

图2显示根据本发明实施例的瞳孔检测装置的运作示意图；

图3A-3C显示根据本发明实施例的瞳孔检测装置中，图像获取及光源点亮的示意图；

图4显示根据本发明实施例的瞳孔检测装置所获取的待识别图像进行瞳孔检测的示意图；

图5A显示根据本发明另一实施例的瞳孔检测装置的运作示意图；以及

图5B显示根据本发明另一实施例的瞳孔检测装置的运作示意图。

附图标记说明

1瞳孔追踪装置 11、11′主动光源

12、12′、83图像传感器 13、84处理单元

14记忆单元 2头戴式配件

81图像显示装置 811游标

82光源 9人眼

90眼球 91瞳孔

92虹膜 93眼白区域

9L左眼 9R右眼

F、F′待识别图像 I82光源图像

I₀环境光源图像 P₁最低灰阶值

P₂瞳孔位置 PA瞳孔区域

f1第一图像帧 f2第二图像帧

f图像帧 L（x,y）、R（x,y）瞳孔坐标。

具体实施方式

为了让本发明的上述和其它目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。在本发明的说明中，相同的构件是以相同的符号表示，于此合先叙明。

参照图2所示，其显示本发明实施例的瞳孔检测装置1的运作示意图，其用以检测眼球90的瞳孔位置并输出相对该瞳孔位置的瞳孔坐标。该瞳孔检测装置1包括主动光源11、图像传感器12及处理单元13。一般而言，当该眼球90向下看时，上眼皮会遮蔽部分眼球90，因此如果该瞳孔检测装置1设置于头戴式配件2，该图像传感器12的设置位置较佳低于该眼球90。例如图2中，当该瞳孔检测装置1设置于眼镜或护目镜时，该瞳孔检测装置1较佳设置于下框架附近，可避免眼球90向下看（瞳孔朝下时）导致无法检测到瞳孔的情形。

该主动光源11例如可为红外光光源，例如红外光发光二极管，以避免点亮时影响视线。该主动光源11朝向该眼球90发光。必须说明的是，该主动光源11可由单一个光源或多个光源排列而成。

该图像传感器12例如可为CCD图像传感器、CMOS图像传感器等用以感测光能量的光传感器，其以一分辨率获取该眼球90的至少一个图像帧以作为待识别图像（image to be identified）。

例如参照图3A-3C及4所示，图3A-3C显示本实施例中该图像传感器12的图像获取及该主动光源11的光源点亮的示意图；图4显示根据该图像传感器12所获取的待识别图像进行瞳孔检测的示意图。该图像传感器12以一图框率获取该眼球90的图像帧以作为待识别图像F。一实施例中，该主动光源11以固定的亮度相对该图像传感器12的图像获取发光（图3B），该图像传感器12则可依序输出图像帧f以作为该待识别图像F（即F=f）；该待识别图像F包括瞳孔91、虹膜92及眼白区域93。另一实施例中，该主动光源11轮流以第一亮度及第二亮度发光，该图像传感器12获取相对该第一亮度的第一图像帧f1及相对该第二亮度的一第二图像帧f2（图3C），该处理单元13计算该第一图像帧f1及该第二图像帧f2的一差分图像（f1-f2）以作为该待识别图像F（即F=f1-f2）。必须说明的是，该第一亮度不同于该第二亮度，且均不为零亮度。藉此，该处理单元13可通过计算该差分图像（f1-f2）以消除环境光源的影响。

该处理单元13例如可为一数字处理器（DSP），用以计算该待识别图像F中最低灰阶值P₁，并将该最低灰阶值P₁周围的灰阶值在一灰阶值范围Rg内的多个像素识别为瞳孔区域PA（如图4所示）。当该主动光源11点亮时，该瞳孔91的亮度最低，该眼白区域93的亮度最高而该虹膜92的亮度通常在该瞳孔91及该眼白区域93间，故该最低灰阶值P₁会出现于该瞳孔91中。因此，该最低灰阶值P₁附近的像素区域则可被视为该瞳孔区域PA，而该最低灰阶值P₁附近的像素区域例如可利用图像分组（image grouping）的方式将互相关连的像素区域视作为同一对象，其例如可参照让与给本发明相同受让人的美国专利公开第20110176733号，标题为“图像识别方法”，中所公开的。此外，该灰阶值范围Rg的设定可根据该瞳孔检测装置1的操作环境而调整，例如户外与室内可分别设计不同的灰阶值范围Rg。再者，为避免噪声干扰，该处理单元13还可根据该瞳孔区域PA的尺寸及形状等特性判定是否属于环境光源图像，例如当尺寸太小或非属圆形者则可能为环境光源，可予以排除。

接着，该处理单元13则可计算该瞳孔区域PA的重心或中心以作为瞳孔位置P₂，并输出该瞳孔位置P₂相关的一瞳孔坐标（x,y）。该处理单元13例如可根据该瞳孔坐标（x,y）相对控制图像显示装置81的游标811的动作。可以了解的是，该瞳孔位置P₂可不等于该最低灰阶值P₁的位置。

此外，由于该瞳孔检测装置1可用以控制电子装置，某些情形下较佳能够识别使用者身份以增加实用性或进行隐私保护，因此该处理单元13可根据该待识别图像F进行虹膜识别（iris recognition）。此时，该瞳孔检测装置1还可包括记忆单元14用以储存不同使用者的虹膜信息。此外，由于虹膜识别时需要较高的图像分辨率（image resolution）而瞳孔区域识别可以较低的图像分辨率进行。因此本发明实施例中，该图像传感器12的分辨率及图框率（frame rate）可调整，例如当该处理单元13进行虹膜识别（第二模式）时，该图像传感器12以第一分辨率及第一图框率获取图像；当该处理单元13进行瞳孔区域识别（第一模式）时，该图像传感器12以第二分辨率及第二图框率获取图像；其中，该第一分辨率高于该第二分辨率而该第一图框率低于该第二图框率。本实施例中，该图像分辨率的可调整范围例如在640×480-160×120间而该图框率的可调整范围例如在30FPS-480FPS（frame/second）间，但并不以此为限。

本实施例中，由于该处理单元13是利用眼球图像中最低灰阶值的区域进行瞳孔检测，故可排除环境光源的影响（环境光源的灰阶值较高）；此外，还可通过计算差分图像以进一步消除环境光源图像。

另一实施例中，该瞳孔检测装置1可包括两个以上图像传感器用以获取同一个眼球的图像，并据以计算三维瞳孔位置及涵盖较大的检测范围（即，获取同一眼球的二图像传感器之间的距离可保持一距离）。

参照图5A所示，其显示本发明另一实施例的瞳孔检测装置1的示意图。该瞳孔检测装置1是显示为设置于眼镜上，但并不以此为限。该瞳孔检测装置1包括至少一个主动光源11、两个图像传感器12、12'及处理单元13。必须说明的是，本实施例也可利用多个主动光源11来增加照明亮度（例如该主动光源11可由多个光源排列而成）；所述图像传感器12、12'的数目也不以两个为限，如果包括三个、四个...图像传感器，每个图像传感器的运作相同于所述图像传感器12、12'，仅设置位置不同而已，但其设置位置较佳仍低于该人眼9。此外，虽然图5A中该瞳孔检测装置1是相对于左眼9L设置，但其也可相对于右眼9R设置。也就是说，如果该瞳孔检测装置1设置于头戴式配件2；该两个图像传感器12、12'的设置位置较佳低于左眼9L或右眼9R。

该至少一个主动光源11发光以照明左眼9L或右眼9R。该两图像传感器12、12'以一分辨率获取该至少一个主动光源11照明的该左眼9L或该右眼9R的至少一个图像帧以作为第一待识别图像F及第二待识别图像F'；其中，该两图像传感器12、12'可同时或分时进行图像帧获取。该处理单元13则分别计算该第一待识别图像F及该第二待识别图像F'中最低灰阶值P₁，并将该最低灰阶值P₁周围灰阶值在一灰阶值范围Rg的多个像素识别为瞳孔区域PA；该瞳孔区域PA计算出后，该处理单元13则计算该瞳孔区域PA的重心或中心以作为瞳孔位置P₂（如图4所示），并输出左眼瞳孔坐标L（x,y）及右眼瞳孔坐标R（x,y）。由于本实施例同时利用两张待识别图像F、F'来检测瞳孔，该处理单元13可根据该第一待识别图像F及该第二待识别图像F'中的该瞳孔位置P₂计算三维瞳孔位置。例如，该两个图像传感器12、12'可分别设置于该人眼9的中心线的两侧，该处理单元13则可根据两张待识别图像F、F'来计算该三维瞳孔位置。

如前所述，为了消除环境光图像，该处理单元13可先分别计算差分图像后再根据该差分图像识别该瞳孔区域PA。此时，该至少一个主动光源11轮流以第一亮度及第二亮度发光；该两个图像传感器12、12'获取相对该第一亮度的第一图像帧f1及相对该第二亮度的第二图像帧f2（如图3C）；该处理单元13则计算该第一图像帧f1及该第二图像帧f2的一差分图像（f1-f2）以作为该第一待识别图像F及该第二待识别图像F'。

同理，本实施例中，该处理单元13可根据该第一待识别图像F和/或该第二待识别图像F'进行虹膜识别。当该处理单元13进行虹膜识别时，该图像传感器12以第一分辨率及第一图框率获取图像；当该处理单元13进行瞳孔区域识别时，该图像传感器12以第二分辨率及第二图框率获取图像；其中，该第一分辨率高于该第二分辨率而该第一图框率低于该第二图框率。

另一实施例中，该瞳孔检测装置1可包括两个以上图像传感器用以分别获取不同眼球的图像，如此可根据不同状况输出左眼和/或右眼的检测结果。

参照图5B所示，其显示本发明另一实施例的瞳孔检测装置1的示意图。该瞳孔检测装置1是显示为设置于护目镜上，但并不以此为限。该瞳孔检测装置1包括两个主动光源11、11'、两个图像传感器12、12'以及处理单元13。必须说明的是，相对于每只人眼可包括一个以上主动光源以增加照明亮度；相对于每只人眼可包括多个图像传感器（如图5A所示）。同理，如果该瞳孔检测装置1设置于头戴式配件2上，该两个图像传感器12、12的设置位置分别低于左眼9L及右眼9R。

该两个主动光源11、11'发光以分别照明左眼9L及右眼9R。该两个图像传感器12、12'以一分辨率分别获取该左眼9L及该右眼9R的至少一个图像帧以作为第一待识别图像F及第二待识别图像F'。该处理单元13则分别计算该第一待识别图像F及该第二待识别图像F′中最低灰阶值P₁，并将该最低灰阶值P₁周围灰阶值在一灰阶值范围Rg的多个像素识别为瞳孔区域PA；该瞳孔区域PA计算出后，该处理单元13则计算该瞳孔区域PA的重心或中心以作为瞳孔位置P₂（如图4所示），并输出左眼瞳孔坐标L（x,y）及右眼瞳孔坐标R（x,y）。由于本实施例分别利用不同待识别图像F、F'来检测两眼瞳孔，因此可分别计算两眼瞳孔的瞳孔坐标，并针对不同的情形输出不同的瞳孔坐标。例如当人眼向右看时，该左眼9L可能受到鼻梁遮蔽而看不到右方物体，此时该处理单元13可根据该瞳孔位置仅计算相对该右眼9R的右眼瞳孔坐标R（x,y）；例如当人眼向左看时，该右眼9R可能受到鼻梁遮蔽而看不到左方物体，此时该处理单元13可根据该瞳孔位置仅计算相对该左眼9L的左眼瞳孔坐标L（x,y）；其它状况下该处理单元13例如可根据该瞳孔位置计算相对该左眼9L及该右眼9R的平均瞳孔坐标，但并不以此限。

另一实施例中，也可根据左瞳孔坐标L（x,y）与右眼瞳孔坐标R（x,y）相对关系估测使用者注视人物的方向或是远近距离。

再一实施例中，如果相对该左眼9L及该右眼9R分别设置两个以上的图像传感器，则可分别求得该左眼9L及该右眼9R的三维瞳孔位置。

如前所述，为了消除环境光图像，该处理单元13可先分别计算差分图像后再根据该差分图像识别该瞳孔区域PA。此时，该两个主动光源11、11′轮流以第一亮度及第二亮度发光；该两个图像传感器获取相对该第一亮度的第一图像帧f1及相对该第二亮度的第二图像帧f2（如图3C）；该处理单元13则计算该第一图像帧f1及该第二图像帧f2的差分图像（f1-f2）以作为该第一待识别图像F及该第二待识别图像F'。

同理，本实施例中，该处理单元13可根据该第一待识别图像F和/或该第二待识别图像F'进行虹膜识别。当该处理单元13进行虹膜识别时，该图像传感器12、12'以第一分辨率及第一图框率获取图像；当该处理单元13进行瞳孔区域识别时，所述图像传感器12、12'以第二分辨率及第二图框率获取图像；其中，该第一分辨率高于该第二分辨率而该第一图框率低于该第二图框率。

此外，本发明各实施例的瞳孔检测装置1可搭配显示单元以显示图像，且该显示单元例如也可设置于头戴式配件2上，例如眼镜或护目镜等。

本发明各实施例的瞳孔检测装置1可还具有眨眼检测功能。例如该处理单元13可分别记录检测到与检测不到瞳孔的期间，藉以识别眨眼动作。

本发明各实施例的瞳孔检测装置1可还具有瞌睡检测及分心检测功能。例如当该瞳孔检测装置1应用于车用装置时，可用以检测驾驶是否有睡意或专注于前方，且于适当时间提出警示。检测睡意例如可通过检测眼睛开阖时间的比例来实现；检测分心例如可通过检测驾驶的注视方向来实现。

本发明各实施例的瞳孔检测装置1可还具有眨眼频率及干眼检测功能。具体来说，处理单元13可依据所检测的眨眼频率反推目前眼睛干涩的可能性及程度，进而提醒使用者眨眼。

本发明各实施例的瞳孔检测装置1可还具有姿势识别（gesturerecognition）功能。此时所述姿势识别例如可为识别瞳孔朝预定方向以预定次数来改变位置，并将其与预设姿势进行比对，可藉此达成执行特定功能的运作，其类似已知利用瞳孔以外的其它对象，例如手或手指来进行的手势识别。

本发明各实施例的瞳孔检测装置1可还具有省电功能，例如于预设时间内检测不到瞳孔或待识别图像的图像变化量过小，则可进入省电模式。

必须说明的是，本发明各实施例的瞳孔检测装置1可直接制作成头戴式瞳孔检测装置，或者通过结合组件结合固定于头戴式配件，例如眼镜、护目镜、帽缘等。其它实施例中，本发明各实施例的瞳孔检测装置1也可设置于其它位置以进行瞳孔检测，例如设置于车内靠近使用者眼睛处，例如后照镜等，只要设置于能够检测人眼9的位置即可。

综上所述，已知瞳孔检测装置因无法排除环境光源的影响，因而可能出现检测错误的情形。本发明还提出一种瞳孔检测装置（图2、5A及5B），其可消除环境光源的影响而具有较高的检测精确度。

虽然本发明已以前述实施例公开，然其并非用以限定本发明，任何本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种更动与修改。因此本发明的保护范围当视后附的申请专利范围所界定者为准。

Claims

1.一种瞳孔检测装置，该瞳孔检测装置包括：

主动光源，朝眼球发光；

图像传感器，以一分辨率获取所述眼球的至少一个图像帧以作为待识别图像；以及

处理单元，该处理单元用于：

计算所述待识别图像中的最低灰阶值，并将该最低灰阶值周围的灰阶值在一灰阶值范围内的多个像素识别为瞳孔区域；以及

根据所述待识别图像进行虹膜识别，

其中，当所述处理单元进行所述虹膜识别时，所述图像传感器以第一分辨率获取图像；当所述处理单元进行所述瞳孔区域识别时，所述图像传感器以第二分辨率获取图像；所述第一分辨率高于所述第二分辨率。

2.根据权利要求1所述的瞳孔检测装置，其中所述主动光源轮流以第一亮度及第二亮度发光；所述图像传感器获取相对于所述第一亮度的第一图像帧及相对于所述第二亮度的第二图像帧；所述处理单元还计算所述第一图像帧及所述第二图像帧的差分图像以作为所述待识别图像。

3.根据权利要求1或2所述的瞳孔检测装置，其中所述处理单元还计算所述瞳孔区域的重心或中心以作为瞳孔位置，并输出与该瞳孔位置相关的瞳孔坐标。

4.根据权利要求1或2所述的瞳孔检测装置，其中所述瞳孔检测装置设置在头戴式配件上，且所述图像传感器的设置位置低于所述眼球。

5.一种瞳孔检测装置，该瞳孔检测装置包括：

至少一个主动光源，发光以照明左眼或右眼；

两个图像传感器，以一分辨率获取所述至少一个主动光源照明的所述左眼或所述右眼的至少一个图像帧以作为第一待识别图像及第二待识别图像；以及

处理单元，该处理单元用于：

分别计算所述第一待识别图像及所述第二待识别图像中的最低灰阶值，并将该最低灰阶值周围的灰阶值在一灰阶值范围内的多个像素识别为瞳孔区域；以及

根据所述第一待识别图像和所述第二待识别图像的至少其中之一进行虹膜识别，

6.根据权利要求5所述的瞳孔检测装置，其中所述至少一个主动光源轮流以第一亮度及第二亮度发光；所述两个图像传感器获取相对所述第一亮度的第一图像帧及相对所述第二亮度的第二图像帧；所述处理单元还计算所述第一图像帧及所述第二图像帧的差分图像以作为所述第一待识别图像及所述第二待识别图像。

7.根据权利要求5或6所述的瞳孔检测装置，其中所述处理单元还计算所述瞳孔区域的重心或中心以作为瞳孔位置。

8.根据权利要求7所述的瞳孔检测装置，其中所述处理单元还根据所述第一待识别图像及所述第二待识别图像中的所述瞳孔位置计算三维瞳孔位置。

9.根据权利要求5或6所述的瞳孔检测装置，其中所述瞳孔检测装置设置在头戴式配件上，且所述两个图像传感器的设置位置低于所述左眼或所述右眼。

10.一种瞳孔检测装置，该瞳孔检测装置包括：

两个主动光源，发光以分别照明左眼及右眼；

两个图像传感器，以一分辨率分别获取所述左眼及所述右眼的至少一个图像帧以作为第一待识别图像及第二待识别图像；以及

处理单元，该处理单元用于：

其中，当所述处理单元进行所述虹膜识别时，所述两个图像传感器以第一分辨率获取图像；当所述处理单元进行所述瞳孔区域识别时，所述两个图像传感器以第二分辨率获取图像；所述第一分辨率高于所述第二分辨率。

11.根据权利要求10所述的瞳孔检测装置，其中所述两个主动光源轮流以第一亮度及第二亮度发光；所述两个图像传感器获取相对所述第一亮度的第一图像帧及相对所述第二亮度的第二图像帧；所述处理单元还计算所述第一图像帧及所述第二图像帧的差分图像以作为所述第一待识别图像及所述第二待识别图像。

12.根据权利要求10或11所述的瞳孔检测装置，其中所述处理单元还计算所述瞳孔区域的重心或中心以作为瞳孔位置。

13.根据权利要求12所述的瞳孔检测装置，所述处理单元还根据所述瞳孔位置仅计算相对于所述左眼的左眼瞳孔坐标、仅计算相对于所述右眼的右眼瞳孔坐标、或计算相对于所述左眼及所述右眼的平均瞳孔坐标。

14.根据权利要求10或11所述的瞳孔检测装置，其中所述瞳孔检测装置设置在头戴式配件上，且所述两个图像传感器的设置位置分别低于所述左眼及所述右眼。