CN105593896B - 图像处理装置、图像显示装置、图像处理方法 - Google Patents

Abstract

一种图像处理装置，使移动眼睛时的脸部的表现更为自然。图像处理装置(100)，包含如下结构：取得部(5a)，取得包含眼睛的图像；虹膜检测部(5c)，从取得的图像检测眼睛的虹膜区域；以及眼睛图像生成部(5f)，以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。

Description

图像处理装置、图像显示装置、图像处理方法

技术领域

本发明涉及对图像中的眼睛进行检测的图像处理装置、图像显示装置、图像处理方法以及介质。

背景技术

过去，已知一种根据所拍摄的图像中的被摄体的脸部区域和用于表现表情的控制点，来生成带表情的脸部图像的技术(例如，参照专利文献1)。

专利文献1：日本特开2012-185624号公报

发明内容

然而，一般来说，人的眼睛的一部分被眼睑等覆盖。因此，根据上述专利文献1等，不能够正确地控制脸部的运动和眼睛的运动，可能使脸部整体的表情不自然。

本发明是鉴于上述问题而得出的，本发明的课题是使脸部的表现更为自然。

根据本发明的一个技术方案，其特征在于，

图像处理装置包含如下结构：输入部，取得包含眼睛的图像；以及控制部，从由所述输入部取得的图像检测眼睛的虹膜区域，以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。

发明效果

根据本发明，能够使脸部的表现更为自然。

附图说明

图1是表示适用本发明的一实施方式的图像处理装置的概略结构的框图。

图2是表示与图1的图像处理装置的眼睛图像生成处理有关的动作的一例的流程图。

图3A是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图3B是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图3C是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图4A是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图4B是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图4C是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图4D是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。

图5A是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5B是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5C是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5D是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图5E是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。

图6A是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。

图6B是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。

图6C是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。

图6D是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。

图7A是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图7B是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图7C是示意地表示图2的眼睛图像生成处理的脸部图像的图。

图8是表示图2的眼睛图像生成处理的变形例1的图。

图9是表示图2的眼睛图像生成处理的变形例2的图。

具体实施方式

下面，使用附图对本发明的具体实施方式进行说明。但是，发明的范围不限定于图示例。

图1是表示使用了本发明的一实施方式的图像处理装置100的概略结构的框图。

图像处理装置100例如由个人电脑、工作站等的计算机等构成，如图1所示，具有：中央控制部1、存储器2、存储部3、操作输入部4、图像生成部5、显示部6和显示控制部7。

并且，中央控制部1、存储器2、存储部3、图像生成部5以及显示控制部7经由总线8而连接。

中央控制部1是控制图像处理装置100的各部的构件。具体来说，中央控制部1具有CPU(Central Processing Unit，中央处理器；省略图示)等，根据图像处理装置100用的各种处理程序(省略图示)来进行各种的控制动作。

存储器2例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，具有临时存储由中央控制部1、图像生成部5等处理的数据等的缓存器、中央控制部1等的工作存储器、存放与该图像处理装置100的功能有关的各种程序和数据的程序存储器等(均省略图示)。

存储部3例如由非易失性存储器(闪存器)、硬盘驱动器等构成，存储有中央控制部1的动作所需要的各种程序和数据(省略图示)。

并且，存储部3存储有各脸部图像数据3a。

脸部图像数据3a是包含人的脸部的二维的脸部图像(参照图3A～图3C)的数据。即，该脸部图像数据3a是至少包含脸部的图像的图像数据即可，例如，可以为仅是脸部的图像数据，也可以是从胸部往上的图像数据。

另外，如图3A～图3C所示的脸部图像数据3a的脸部图像是一个例子但不限定于此，能够进行适当改变。

操作输入部4例如具有键盘和鼠标等操作部(省略图示)，该键盘和鼠标由用于输入数值、文字等的数据输入键、用于进行数据的选择、发送操作等的上下左右移动键和各种功能键等构成，根据这些操作部的操作将规定的操作信号向中央控制部1输出。

图像生成部5具有：图像取得部5a、眼睛检测部5b、虹膜检测部5c、第一计算部5d、第二计算部5e、眼睛图像生成部5f、阴影区域确定部5g、阴影建立对应部5h、和眼睛图像存储部5i。

另外，图像生成部5的各部例如由规定的逻辑电路构成，但该结构是一个例子并不限定于此。

图像取得部5a取得脸部图像数据3a。

即，图像取得部5a取得包含作为眼睛图像生成处理的处理对象的脸部的二维的图像的脸部图像数据3a。具体来说，图像取得部5a例如在存储部3所存储的规定数量的脸部图像数据3a中，取得基于用户的操作输入部4的规定操作而指定的用户所希望的脸部图像数据3a，作为眼睛图像生成处理的处理对象。

另外，图像取得部5a从经由未图示的通信控制部而连接的外部设备(省略图示)取得脸部图像数据3a。

眼睛检测部5b从脸部图像检测出眼睛区域。

即，眼睛检测部5b在由图像取得部5a取得的脸部图像内，例如，通过使用了AAM(Active Appearance Model，主动外观模型)的处理来检测眼睛区域E(参照图4A等)。

这里，AAM是将视觉的事物模型化的一种方法，是进行任意的脸部区域的图像的模型化的处理。例如，眼睛检测部5b将多个样本脸部图像中的规定的特征部位(例如，眼角、鼻头、脸部线条等)的位置和像素值(例如，亮度值)的统计性分析结果登记到规定的登记单元中。而且，眼睛检测部5b以上述的特征部位的位置为基准，设定表示脸部的形状的形状模型和表示平均的形状中的“Appearance”的质地模型，使用这些模型将脸部图像模型化。由此，在脸部图像内，例如，将眼睛、鼻、口、眉、脸部轮廓等的脸部结构部模型化。

另外，使用AAM进行眼睛区域E的检测，但这是一个例子并不限定于此，例如，能够进行边缘提取处理、各向异性扩散处理、模板匹配等适当任意的变更。

虹膜检测部5c检测眼睛的虹膜区域Ea。

即，虹膜检测部5c从由图像取得部5a取得的脸部图像检测眼睛的虹膜区域Ea。具体来说，虹膜检测部5c将在脸部图像内由眼睛检测部5b检测出的眼睛区域E的图像数据变换到规定的颜色空间(例如，HSV颜色空间、HLS颜色空间、RGB颜色空间等)中，利用规定的阈值确定与白眼球对应的颜色以及该白眼球的区域Eb1、Eb2。而且，虹膜检测部5c使用规定的检测方法从由眼睛检测部5b检测出的眼睛区域E内检测虹膜区域Ea。

例如，虹膜检测部5c针对眼睛区域E的图像数据，使用圆环状的环形滤波器检测虹膜区域Ea(参照图4B)。这里，环形滤波器在眼睛区域E的图像内，将与白眼球的区域(Eb1、Eb2)的亮度值相差规定值以上的部分视作候选点，越是边缘部分的形状接近正圆的区域，数值就越高。而且，虹膜检测部5c将数值最高的区域提取为虹膜区域Ea。

并且，例如，虹膜检测部5c基于眼睛区域E的图像数据的颜色信息，将在眼睛区域E内包含白眼球以外的区域的最小的圆(最小包含圆C)的内侧检测为虹膜区域Ea(参照图5B)。另外，最小包含圆C是包含白眼球以外的区域的圆之中的半径r最小的圆。

另外，上述虹膜区域Ea的检测方法是一个例子但并不限定于此，能够进行适当任意的变更。

例如，使用圆环状的环形滤波器的情况下，虹膜检测部5c针对眼睛区域E的图像数据，也可以先使用圆环状的环形滤波器检测虹膜区域Ea，然后，在该虹膜区域Ea以外的区域中确定白眼球的颜色以及区域Eb1、Eb2。

并且，虹膜检测部5c针对眼睛区域E的图像数据，也可以在使用圆环状的环形滤波器检测出虹膜区域Ea之后，从眼睛区域E除去虹膜区域Ea，检测虹膜区域Ea以外的区域(参照图6B)。另外，在图6B的眼睛区域E中，例如，由于通过投射光生成了上眼睑的阴影，因此，成为在虹膜区域Ea以外的区域中，在白眼球的区域Eb1、Eb2内包含阴影区域Es的状态。

第一计算部5d计算虹膜区域Ea的中心O1以及直径d。

即，第一计算部5d在通过虹膜检测部5c使用圆环状的环形滤波器而检测出虹膜区域Ea的情况下，计算该虹膜区域Ea的中心O1以及直径d(图4B等参照)。另外，图4B中示意地表示了所计算出的虹膜区域Ea的中心O1以及直径d的圆。

第二计算部5e计算包含虹膜区域Ea的最小的圆的中心O2以及半径r。

即，第二计算部5e在通过虹膜检测部5c基于眼睛区域E的图像数据的颜色信息检测出虹膜区域Ea的情况下，计算包含该虹膜区域Ea的最小包含圆C的中心O2以及半径r(参照图5B)。

眼睛图像生成部5f补充虹膜区域Ea的缺失部分L1、L2。

即，眼睛图像生成部5f以使由虹膜检测部5c检测出的虹膜区域Ea的形状成为大致圆形的方式，补充缺失部分L1、L2。具体来说，眼睛图像生成部5f使用规定的检测方法对由虹膜检测部5c检测的虹膜区域Ea补充缺失部分L1、L2。

例如，眼睛图像生成部5f基于由第一计算部5d计算出的虹膜区域Ea的中心O1以及直径d，以使该虹膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、L2。具体来说，眼睛图像生成部5f将计算出的虹膜区域Ea的中心O1以及直径d的圆与该虹膜区域Ea重叠在同心圆上，利用同心圆上的像素值的代表值补充缺失部分L1、L2的各像素，从而生成虹膜图像Ei(参照图4C)。

这里，补充缺失部分L1、L2的像素值的代表值可以是与该缺失部分L1、L2的像素在同心圆上相邻的像素的像素值，也可以是该同心圆上的多个像素的像素值的平均值或中央值等。

而且，眼睛图像生成部5f根据大致圆形的虹膜图像Ei的直径d确定在假定的俯视中的大致圆形的眼球的尺寸，在圆的规定位置(例如，大致中心)上配置虹膜图像Ei，并且，通过用与白眼球对应的颜色在其周围涂满，由此生成眼睛质地图像T(图4D参照)。

并且，例如，眼睛图像生成部5f在与由第二计算部5e计算出的虹膜区域Ea对应的最小包含圆C的从中心O2起的半径r的范围内，以使该虹膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、L2。具体来说，眼睛图像生成部5f根据由第二计算部5e计算出的最小包含圆C的直径d确定所假定的眼球的三维的球体的尺寸，生成与该球体对应的二维的大致正方形的图像数据(图5C参照)。

而且，眼睛图像生成部5f在大致正方形的图像数据的规定位置(例如，大致中心)配置了由虹膜检测部5c检测出的虹膜区域Ea之后，将该虹膜区域Ea中的像素的位置以从规定的坐标(例如，直角坐标)重新配置到极坐标上的方式进行变换，利用与半径方向正交的像素值的代表值(例如，平均值或中央值等)补充从中心O2起沿放射方向在半径r的范围内存在的缺失部分L1、L2(参照图5D)，生成包含虹膜图像Ei的眼睛质地图像T(参照图5E)。

另外，眼睛图像生成部5f例如以由第一计算部5d计算出的虹膜区域Ea的中心O1以及直径d为基准，利用与半径方向正交的像素值的代表值(例如，平均值或中央值等)补充从虹膜区域Ea的中心O1起沿放射方向在直径d的1/2的值(半径)的范围内的缺失部分L1、L2。并且，眼睛图像生成部5f例如以由第二计算部5e计算出的最小包含圆C的中心O2以及半径r为基准，利用同心圆上的像素值补充缺失部分L1、L2的各像素。

阴影区域确定部5g在眼睛区域E中确定阴影区域。

即，阴影区域确定部5g在由眼睛检测部5b检测出的眼睛区域E中，确定由投射光生成的阴影区域Es1、Es2。具体来说，阴影区域确定部5g将由虹膜检测部5c检测出的虹膜区域Ea以外的区域(包含阴影区域Es1、Es2的白眼球的区域Eb1、Eb2)的图像数据变换到规定的颜色空间(例如，HSV颜色空间等)，利用规定的阈值确定与白眼球对应的颜色以及该白眼球的区域Eb1、Eb2。而且，阴影区域确定部5g在虹膜区域Ea以外的区域中，将白眼球的区域Eb1、Eb2以外的区域的颜色确定为与阴影对应的颜色，将该颜色的部分设为阴影区域。这里，图6C的情况下，例如，由于通过除去的虹膜区域Ea断开了阴影区域的中央部分，因此确定各虹膜区域Ea侧的端部的上下方向的宽度，以使该宽度的阴影区域存在于虹膜区域Ea上的方式沿着眼睛的上边缘部分进行描绘，由此将2个阴影区域Es1、Es2连接，确定出与上眼睑的大致整个区域对应的阴影区域ES。

阴影建立对应部5h将阴影区域Es的位置数据与眼睛的位置数据建立对应。

即，阴影建立对应部5h生成由阴影区域确定部5g确定的阴影区域Es1、Es2的位置数据，并与眼睛区域E的位置数据建立对应。具体来说，阴影建立对应部5h在由阴影区域确定部5g确定的阴影区域Es1、Es2的上边缘部分以及下边缘部分的各自上设定多个控制点p，并划分为规定形状(例如，三角形状等)的网格状(参照图6D)。而且，阴影建立对应部5h将该控制点p的位置数据与眼睛区域E的上边缘部分(上眼睑的下端部分)的位置数据建立对应，并且，将阴影区域ES的颜色数据与由眼睛图像生成部5f生成的眼睛质地图像T建立对应。

眼睛图像存储部5i存储眼睛质地图像T。

即，眼睛图像存储部5i存储通过眼睛图像生成部5f而补充了缺失部分L1、L2的虹膜区域Ea的图像数据。具体来说，眼睛图像存储部5i将由眼睛图像生成部5f生成的眼睛质地图像T(无论有无阴影区域的信息)的图像数据与贴附了该眼睛质地图像T的三维的眼球球体模型建立对应而进行存储。

显示部6例如由LCD(Liquid Crystal Display，液晶显示器)、CRT(Cathode RayTube，阴极射线管)等显示器构成，在显示控制部7的控制下将各种信息显示在显示画面上。

显示控制部7进行生成显示用数据并使其显示在显示部6的显示画面上的控制。

具体来说，显示控制部7例如具有视频卡(省略图示)，该视频卡具备GPU(GraphicsProcessing Unit，图形处理单元)和VRAM(Video Random Access Memory，视频随机存取存储器)等。

而且，显示控制部7根据来自中央控制部1的显示指示，通过基于视频卡的描绘处理而生成在眼睛图像生成处理中用于生成眼睛图像的各种画面的显示用数据，并输出给显示部6。

<眼睛图像生成处理>

接着，针对由图像处理装置100进行的眼睛图像生成处理，参照图2～图7C进行说明。

图2是表示眼睛图像生成处理的动作的一例的流程图。

如图2所示，首先，图像生成部5的图像取得部5a例如在存储部3中存储的规定数量的脸部图像数据3a之中，取得基于用户的操作输入部4的规定操作而指定的用户所希望的脸部图像数据3a(步骤S1；参照图3A～图3C)。

接着，眼睛检测部5b在由图像取得部5a取得的脸部图像内，例如，通过使用了AAM的处理来检测眼睛区域E(步骤S2)。接着，虹膜检测部5c将在脸部图像内检测出的眼睛区域E的图像数据变换到规定的颜色空间(例如，HSV颜色空间等)中，利用规定的阈值确定与白眼球对应的颜色以及该白眼球的区域Eb1、Eb2(步骤S3)。

然后，图像生成部5根据虹膜区域Ea的检测方法来对处理进行分支(步骤S4)。即，图像生成部5在使用环形滤波器检测虹膜区域Ea的第一处理的情况下(步骤S4；第一处理)，使处理转移到步骤S51，在将最小包含圆C的内侧作为虹膜区域Ea进行检测的第二处理的情况下(步骤S4；第二处理)，使处理转移到步骤S61。

<第一处理>

第一处理中(步骤S4；第一处理)，首先，虹膜检测部5c针对眼睛区域E的图像数据，使用圆环状的环形滤波器检测虹膜区域Ea(步骤S51；参照图4B)。

接着，第一计算部5d计算由虹膜检测部5c检测出的虹膜区域Ea的中心O1以及直径d(步骤S52)。

接着，眼睛图像生成部5f将计算出的虹膜区域Ea的中心O1以及直径d的圆与该虹膜区域Ea在同心圆上重叠，利用同心圆上的像素值的代表值补充缺失部分L1、L2的各像素从而生成虹膜图像Ei(步骤S53；参照图4C)。而且，眼睛图像生成部5f根据大致圆形的虹膜图像Ei的直径d确定在假定的俯视下的大致圆形的眼球的尺寸，将虹膜图像Ei配置在圆的规定位置(例如，大致中心)上，通过用与白眼球对应的颜色涂满其周围，从而生成眼睛质地图像T(步骤S54；参照图4D)。

<第二处理>

第二处理中(步骤S4；第二处理)，首先，虹膜检测部5c基于眼睛区域E的图像数据的颜色信息，将眼睛区域E内包含白眼球以外的区域的最小包含圆C的内侧检测为虹膜区域Ea(步骤S61；参照图5B)。

接着，第二计算部5e计算包含由虹膜检测部5c检测出的虹膜区域Ea的最小包含圆C的中心O2以及半径r(步骤S62)。

接着，眼睛图像生成部5f根据计算出的最小包含圆C的直径d确定所假定的眼球的三维的球体的尺寸，生成与该球体对应的二维的大致正方形的图像数据，在该大致正方形的图像数据的大致中心配置虹膜区域Ea(步骤S63；参照图5C)。而且，眼睛图像生成部5f将该虹膜区域Ea中的像素的位置以从直角坐标重新配置到极坐标上的方式进行变换，利用与半径方向正交的像素值的代表值补充从中心O2起沿放射方向存在的缺失部分L1、L2(参照图5D)，生成包含虹膜图像Ei的眼睛质地图像T(步骤S64)。

然后，图像生成部5判断眼睛质地图像T上是否附加阴影区域(步骤S7)。例如，图像生成部5根据是否输入了基于用户的操作输入部4的规定操作而附加阴影区域的指示，来判断是否附加阴影区域。

这里，当判断为不附加阴影区域时(步骤S7；否)，眼睛图像存储部5i将由眼睛图像生成部5f生成的眼睛质地图像T的图像数据与贴附了该眼睛质地图像T的三维的眼球球体模型建立对应而进行存储(步骤S8)。

由此，结束眼睛图像生成处理。

另一方面，在步骤S7中，当判断为附加阴影区域时(步骤S7；是)，虹膜检测部5c在取得了由眼睛检测部5b在脸部图像内检测出的眼睛区域E的图像数据的复制数据之后，从取得的眼睛区域E除去利用环形滤波器检测出的虹膜区域Ea，检测虹膜区域Ea以外的区域(步骤S9)。

接着，阴影区域确定部5g在由虹膜检测部5c检测出的虹膜区域Ea以外的区域中，确定由投射光生成的阴影区域(步骤S10)。具体来说，阴影区域确定部5g将虹膜区域Ea以外的区域的图像数据变换到规定的颜色空间(例如，HSV颜色空间等)中，在利用规定的阈值确定了与白眼球对应的颜色以及该白眼球的区域Eb1、Eb2之后，在虹膜区域Ea以外的区域中，将白眼球的区域Eb1、Eb2以外的区域的颜色确定为与阴影对应的颜色，并设该颜色的部分为阴影区域Es1、Es2。

这里，在阴影区域Es的中央部分被断开的情况下(图6C参照)，阴影区域确定部5g通过以使阴影区域Es也存在于虹膜区域Ea上的方式沿着眼睛的上边缘部分进行描绘，从而将2个阴影区域Es1、Es2连接，并确定与上眼睑的大致整个区域对应的阴影区域ES。

接着，阴影建立对应部5h在所确定的阴影区域ES的上边缘部分以及下边缘部分的各自上设定多个控制点p，在划分为规定形状(例如，三角形状等)的网格状之后(参照图6D)，将该控制点p的位置数据与眼睛区域E的上边缘部分(上眼睑的下端部分)的位置数据建立对应，并且，将阴影区域ES的颜色数据与眼睛质地图像T建立对应(步骤S11)。

然后，图像生成部5将处理转移到步骤S8，将眼睛质地图像T的图像数据、和贴附了该眼睛质地图像T的三维的眼球球体模型建立对应地存储在眼睛图像存储部5i中，该眼睛质地图像T的图像数据由阴影建立对应部5h将阴影区域ES的控制点p的位置数据与眼睛区域E的上边缘部分的位置数据建立对应，并且与阴影区域ES的颜色数据建立了对应(步骤S8)。

由此，结束眼睛图像生成处理。

通过将由眼睛图像生成处理生成的眼睛质地图像T的图像数据与脸部图像的眼睛的开口对应地配置在该脸部图像的后侧，由此，例如，如图7A和图7B所示，能够简单地生成使眼球上下左右移动或者使视线移动的运动的脸部图像，而不产生违和感。

而且，例如，如图7C所示，使用眼睛质地图像T的图像数据，通过追随开闭眼睑的运动并使阴影区域ES的控制点p移动，由此能够使阴影区域ES移动，能够正确且简单地进行通过投射光而产生的阴影的表现，但不会产生违和感，该眼睛质地图像T的图像数据将阴影区域Es的控制点p的位置数据与眼睛区域E的上边缘部分(上眼睑的下端部分)的位置数据建立对应，并且与阴影区域ES的颜色数据建立了对应。此时，利用规定的比率使与眼睛区域E重叠的阴影区域ES透射显示，能够使阴影的表现更为自然。

如上所述，根据本实施方式的图像处理装置100，从脸部图像检测眼睛区域E的虹膜区域Ea，以使检测出的虹膜区域Ea的形状成为大致圆形的方式补充该虹膜区域Ea的缺失部分L1、L2，因此，通过使用补充完缺失部分L1、L2的大致圆形的虹膜图像Ei，尤其是，包含虹膜图像Ei的眼睛质地画像T，能够使眼球上下左右移动或者使视线移动时的脸部的表现更为自然。而且，能够从一个二维的脸部图像简单地生成包含虹膜图像Ei的眼睛质地图像T。

并且，通过预先存储包含补充了缺失部分L1、L2的虹膜图像Ei的眼睛质地图像T的图像数据，能够与构成脸部的口和鼻等的其他脸部结构部相独立地使用该眼睛质地图像T的图像数据来移动眼球，能够更简单地进行在脸部图像之中移动眼睛的动作处理。

并且，基于虹膜区域Ea的中心O1以及直径d，以该虹膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、L2，因此，能够正确且简单地进行虹膜区域Ea的缺失部分L1、L2的补充，能够正确进行大致圆形的虹膜图像Ei的生成。尤其是，通过利用虹膜区域Ea中的像素值的代表值补充缺失部分L1、L2，能够更正确地进行该缺失部分L1、L2的补充。

并且，计算包含虹膜区域Ea的最小包含圆C的中心O2以及半径r，在从该中心O2起的半径r的放射方向的范围内，以使该虹膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、L2，因此，能够正确进行虹膜区域Ea的缺失部分L1、L2的补充，能够正确进行大致圆形的虹膜图像Ei的生成。尤其是，以将虹膜区域Ea中的像素的位置从直角坐标重新配置到极坐标上的方式进行变换，通过利用与半径方向正交的像素值的代表值补充缺失部分L1、L2，不仅针对距中心O2的距离相等的多个像素，难以反映出位于其他距离的像素的特征，还能够保持原本存在于虹膜区域Ea中的光反射和虹膜的模样和瞳孔等的特征，能够生成更自然的质地的虹膜图像Ei。

并且，在脸部图像中的眼睛区域E中，确定由投射光生成的阴影区域，生成确定出的阴影区域的位置数据，因此，利用该阴影区域的位置数据，能够追随开闭眼睑的运动并使阴影区域移动，能够正确且简单地进行由投射光生成的阴影的表现，而不会产生违和感。

作为以使虹膜区域Ea的形状成为大致圆形的方式补充缺失部分L1、L2的方法，下面示出了变形例。

(变形例1)

在除了瞳孔的虹膜中，可以看见呈放射状的作为虹膜筋的一种的瞳孔放大筋。在变形例1中更正确地表现瞳孔放大筋。如图8所示，将区域到圆周为止的部分从中心部到圆周部，例如切取15度的扇状区域Ea1。如上所述求出虹膜区域Ea的中心和半径，判断从中心向圆周方向是否有缺失。当判断为有缺失后利用扇状区域Ea1补充缺失部分。

(变形例2)

图9表示利用了极坐标变换的变形例。将虹膜区域Ea中的像素的位置从直角坐标变换为以虹膜为中心的极坐标。确定在变换后的虹膜区域中成为最大值的区域，并按照规定的大小取出长方形状区域Ea2。然后，将虹膜区域成为最大值以下的部位利用长方形状区域Ea2进行补充。如此，能够利用圆周来补充存在缺失的部分。

另外，本发明不限定于上述实施方式，在不脱离本发明的主旨的范围内，也可以进行多种改良以及设计的变更。

例如，在上述实施方式的图像处理装置100中，构成为能够执行使用环形滤波器的方法以及利用眼睛区域E的图像数据的颜色信息的方法这双方，但这是一个例子，并不限定于此，例如，也可以构成为仅执行某一方。

而且，在上述实施方式中，在图像处理装置100的中央控制部1的控制下，通过驱动图像取得部5a、虹膜检测部5c、眼睛图像生成部5f而实现，但不限定于此，也可以通过由中央控制部1的CPU执行规定的程序等来实现。

即，在存储程序的程序存储器中，预先存储包含取得处理例程、检测处理例程、补充处理例程的程序。而且，也可以通过取得处理例程使中央控制部1的CPU作为取得包含眼睛的图像的单元起作用。并且，也可以通过检测处理例程使中央控制部1的CPU作为从所取得的图像检测眼睛的虹膜区域Ea的单元起作用。并且，也可以通过补充处理例程使中央控制部1的CPU作为以使检测出的虹膜区域Ea的形状成为大致圆形的方式补充该虹膜区域Ea的缺失部分L1、L2的单元起作用。

而且，执行上述各处理的控制部可以是一个也可以是多个。

而且，作为存储用于执行上述各处理的程序的计算机可读取的介质，除了ROM和硬盘等之外，也能够适用闪存器等非易失性存储器、CD-ROM等的可移除式存储介质。并且，作为经由通信线路提供程序的数据的介质，也适用载波(carrier wave)。

虽然说明了本发明的几个实施方式，但本发明的范围不限定于上述实施方式，还包含与记载的所要求保护的范围内记载的发明范围相同的范围。

工业实用性

如上所述，本发明能够较好地利用在如下的技术中，该技术是使眼球上下左右移动或者使实现移动时的脸部的表现更为自然的技术。

符号说明

100 图像处理装置

1 中央控制部

3 存储部

3a 脸部图像数据

5a 图像取得部

5c 虹膜检测部

5d 第一计算部

5e 第二计算部

5f 眼睛图像生成部

5g 阴影区域确定部

5h 阴影建立对应部

5i 眼睛图像存储部

Claims (11)

1.一种图像处理装置，包含如下结构：

输入部，取得包含眼睛的图像；以及

控制部，从由所述输入部取得的图像检测眼睛的虹膜区域，利用基于所述虹膜区域的多个像素值决定的代表值，以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。

2.如权利要求1所述的图像处理装置，

所述控制部计算所检测出的虹膜区域的中心以及直径，基于计算出的所述虹膜区域的中心以及直径，以使该虹膜区域的形状成为大致圆形的方式补充缺失部分。

3.如权利要求1所述的图像处理装置，

所述控制部计算包含所检测出的虹膜区域的最小的圆的中心以及半径，在从计算出的与所述虹膜区域对应的圆的中心起的所述半径的范围内，以使该虹膜区域的形状成为大致圆形的方式补充所述缺失部分。

4.如权利要求1所述的图像处理装置，

所述控制部将检测出的虹膜区域中的像素的位置的坐标从规定的坐标变换为极坐标，利用所述极坐标中的半径方向的像素值的代表值补充所述缺失部分。

5.如权利要求1所述的图像处理装置，

所述控制部在由所述输入部取得的图像中的眼睛之中，确定由投射光生成的阴影区域，生成确定出的阴影区域的位置数据。

6.如权利要求1所述的图像处理装置，

还具有存储部，所述存储部存储由所述控制部补充了所述缺失部分后的虹膜区域的图像数据。

7.如权利要求1所述的图像处理装置，

所述控制部从所述虹膜区域的不是缺失部分的区域提取扇状区域，通过所述扇状区域补充所述缺失部分。

8.如权利要求1所述的图像处理装置，

所述控制部将检测出的虹膜区域中的像素的位置的坐标从规定的坐标变换为极坐标，提取具有变换后的最大值的长方形区域，通过所述长方形区域补充所述缺失部分。

9.如权利要求1所述的图像处理装置，

所述控制部由多个控制部构成。

10.一种图像显示装置，包含如下结构：

控制部，从图像检测眼睛的虹膜区域，利用基于所述虹膜区域的多个像素值决定的代表值，以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分；以及

显示部，显示经补充后的虹膜区域。

11.一种使用了图像处理装置的图像处理方法，包含：

取得包含眼睛的图像的处理；

从取得的图像检测眼睛的虹膜区域的处理；以及

利用基于所述虹膜区域的多个像素值决定的代表值，以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分的处理。