CN111033562A - 图像处理***、图像处理方法和存储介质 - Google Patents

Abstract

示例性实施例包括：提取单元，其从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；和确定单元，其基于确定目标图像来确定是否佩戴了有色隐形眼镜。

Description

图像处理***、图像处理方法和存储介质

技术领域

本发明涉及图像处理***、图像处理方法和存储介质。

背景技术

专利文献1公开一种使用虹膜图像的个人认证方法。在这样的个人认证方法中，在上眼睑的下面设置遮蔽区域，排除遮蔽区域的虹膜区域的图像被用于认证，并且因此，睫毛对认证精度的影响较小。

[引文列表]

[专利文献]

[专利文献1]日本专利申请特开No.2004-206444

发明内容

[技术问题]

近年来，其中在隐形眼镜的一部分上设置有着色区域的有色隐形眼镜已经可商购。眼睛上的有色隐形眼镜具有装饰效果，其改变虹膜的颜色或使虹膜看起来更大，并且因此有色隐形眼镜已在整个市场上广为流传。

在如在专利文献1中公开的虹膜识别中，当识别对象佩戴了有色隐形眼镜时，虹膜的一部分的外观改变。因此，为了执行适当的匹配，有必要检测有色隐形眼镜是否被佩戴。

鉴于上述问题而已经做出本发明，并且本发明旨在提供一种图像处理***、图像处理方法和存储介质，其可以准确地确定识别对象是否佩戴了有色隐形眼镜。

[解决问题的方法]

根据本发明的一个示例方面，提供一种图像处理***，包括：提取单元，该提取单元从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及确定单元，该确定单元基于确定目标图像来确定是否佩戴了有色隐形眼镜。

根据本发明的另一个示例方面，提供一种图像处理方法，包括：从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及根据确定目标图像，确定是否佩戴了有色隐形眼镜。

根据本发明的又一个示例方面，提供一种存储介质，在该存储介质中存储有程序，该程序使计算机执行：从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及基于确定目标图像，确定是否佩戴了有色隐形眼镜。

[发明的有益效果]

根据本发明，可以提供能够准确地确定识别对象是否佩戴了有色隐形眼镜的图像处理***、图像处理方法和存储介质。

附图说明

图1是图示根据第一示例实施例的虹膜识别***的硬件配置示例的框图。

图2是根据第一示例实施例的虹膜识别***的功能框图。

图3是图示根据第一示例实施例的由虹膜识别***执行的处理的概要的流程图。

图4是图示根据第一示例实施例的有色隐形眼镜佩戴确定处理的流程图。

图5是示意性图示根据第一示例实施例的确定目标图像的提取的图。

图6是示意性地图示根据第一示例实施例的确定目标图像的尺寸的改变的图。

图7是示意性地图示根据第一示例实施例的确定处理的图。

图8是图示根据第一示例实施例的匹配精度提高处理的第一示例的流程图。

图9是图示根据第一示例实施例的匹配精度提高处理的第二示例的流程图。

图10是图示根据第一示例实施例的匹配精度提高处理的第三示例的流程图。

图11是图示根据第一示例实施例的匹配精度提高处理的第三示例的变型例的流程图。

图12是图示根据第一示例实施例的虹膜匹配处理的流程图。

图13是示意性地图示根据第一示例实施例的特征量的提取范围的设置的图。

图14是根据第二示例实施例的虹膜识别***的功能框图。

图15是根据第三示例实施例的图像处理***的功能框图。

图16是根据第四示例实施例的虹膜识别***的功能框图。

具体实施方式

下面将参考附图描述本发明的示例实施例。在所有附图中，相同的元件或相应的元件用相同的附图标记标记，并且可以省略或简化其描述。

(第一示例实施例)

图1是图示根据本发明的第一示例实施例的执行虹膜的匹配的虹膜识别***10的硬件配置示例的框图。例如，虹膜识别***10可以是计算机或信息通信终端，诸如移动电话、智能电话、平板个人计算机(PC)、膝上型PC、台式PC等。虹膜识别***10具有虹膜匹配功能，其是一种生物特征匹配。虹膜识别***10通过捕获作为识别对象的用户的虹膜的图像并将其与已注册的虹膜图像进行匹配来执行虹膜匹配。调节瞳孔孔径的虹膜图案是唯一且永久的。因此，通过将在匹配时获取的虹膜图案与已经预先注册的虹膜图像进行匹配，可以进行身份验证。在下面的描述中，假设虹膜识别***10安装在作为示例的智能手机上并且在用户登录的情况下执行虹膜匹配以进行身份验证，但是，虹膜识别***10不限于此。

虹膜识别***10具有中央处理单元(CPU)101、随机存取存储器(RAM)102、只读存储器(ROM)103和闪存104，以便于实现作为执行计算和存储的计算机的功能。另外，虹膜识别***10具有通信接口(I/F)105、显示装置106、输入装置107、可见光照射装置108、可见光相机109、红外照射装置110以及红外相机111。CPU 101、RAM 102、ROM 103、闪存104、通信I/F 105、显示装置106、输入装置107、可见光照射装置108、可见光相机109、红外照射装置110和红外相机111经由总线112彼此连接。注意，显示装置106、输入装置107、可见光照射装置108、可见光相机109、红外照射装置110、红外相机111可以经由被用于驱动这些装置的驱动装置(未被图示)被连接到总线112。

尽管在图1中将形成虹膜识别***10的这些组件图示为集成装置，但是这些功能中的一些可以由外部附接的装置形成。例如，可见光照射装置108、可见光相机109、红外照射装置110或红外相机111可以是与形成包括CPU 101等等的计算机的功能的部分不同的外部附接的装置。

CPU 101具有根据存储在ROM 103、闪存104等中的程序执行预定操作并控制虹膜识别***10的各个组件的功能。RAM 102由易失性存储介质形成并且提供对于CPU 101的操作所要求的临时存储区域。ROM 103由非易失性存储介质形成，并存储诸如用于虹膜识别***10的操作的程序的必要信息。闪存104是由非易失性存储介质形成的存储装置，并且存储由红外相机111等捕获的图像、识别对象的图像、特征量数据等。

通信I/F 105是根据诸如Wi-Fi(注册商标)、4G等标准的通信接口，并且还是用于与其他装置进行通信的模块。显示装置106是液晶显示器、有机发光二极管(OLED)显示器等，并且用于显示运动图像、静态图像、文本等。输入装置107是按钮、触摸面板等，并且用于虹膜识别***10的用户操作。显示装置106和输入装置107可以一体地形成为触摸屏。

例如，可见光照射装置108和可见光相机109被设置在显示装置106的显示表面等上。例如，可见光照射装置108被用作用于由可见光相机109捕获的光源。此外，在处理的一部分中，可见光照射装置108可以用作可见光照射单元，其执行以可见光照射用户的眼睛以引起瞳孔光反射并且从而使瞳孔收缩的处理。可见光相机109可以通过使用可见光来捕获风景、用户的面部、用户的眼睛等以获取图像。具有互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器等的数字相机可以用于可见光相机109，使得适合于捕获之后的图像处理。

红外照射装置110是诸如发射红外光的红外LED的发光元件。具有CMOS图像传感器、CCD图像传感器等且具有被配置成具有对红外线的灵敏度的光接收元件的数字相机可以用于红外相机111。通过用来自于红外照射装置110的红外光照射用户的眼睛并且通过使用红外相机111捕捉从虹膜反射的红外线，能够捕捉用于虹膜匹配的虹膜图像。通过使用红外线获取虹膜图像，能够获得高对比度图像，不管虹膜的颜色如何，并且减少在角膜处的反射影响。然而，当这种影响无关紧要时，可见光照相机109可以用于捕获虹膜图像。在这种情况下，可以省略红外照射装置110和红外相机111。此外，当可见光照相机是除了可见光之外还能够通过使用红外线来获取图像的照相机时，可以省略红外相机111。注意，从红外照射装置110发射的红外线的波长可以是例如大约800nm的近红外线区域。

注意，图1中图示的硬件配置是示例，并且可以添加除上述装置之外的其他装置或者可以不提供上述装置中的一些。此外，上述装置中的一些可以被具有相同功能的另一装置代替。此外，一些功能可以由另一装置经由网络来提供，或者可以通过被分布给多个装置的形成本示例实施例的功能的多个装置来实现。例如，闪存104可以被替换为硬盘驱动器(HDD)或可以被替换为云存储。

图2是根据第一示例实施例的虹膜识别***10的功能框图。虹膜识别***10具有图像获取单元121、瞳孔检测单元122、虹膜检测单元123、确定目标图像提取单元124、尺寸改变单元125、评估值计算单元126、确定单元127、处理单元128、显示单元129、提取范围设置单元130、特征量计算单元131、匹配单元132和存储单元133。

CPU 101实现图像获取单元121的功能，该图像获取单元121通过控制红外照射装置110和红外相机111来获取用户眼睛的红外图像。CPU 101通过将存储在ROM 103等中的程序加载到RAM 102并执行它来实现瞳孔检测单元122、虹膜检测单元123、确定目标图像提取单元124、尺寸改变单元125、评估值计算单元126、确定单元127、处理单元128、提取范围设置单元130、特征量计算单元131和匹配单元132的功能。这些单元中的每一个执行的处理将在后面描述。显示单元129显示所获取的图像、给用户的消息等。CPU 101通过控制显示装置106来实现显示单元129的功能。存储单元133存储由图像获取单元121获取的虹膜图像的数据、预先注册的虹膜图像、从这些虹膜图像计算出的特征量等等。CPU 101通过控制闪存104来实现存储单元133的功能。

图3是图示根据第一示例实施例的由虹膜识别***10执行的处理的概要的流程图。在步骤S100中，虹膜识别***10基于包括用户的眼睛的图像来确定用户的眼睛是否佩戴了有色隐形眼镜。

有色隐形眼镜是其中将着色部分设置在镜片的一部分上的隐形眼镜。有色隐形眼镜可以被称为彩色隐形眼镜、圆形隐形眼镜或化妆品隐形眼镜。佩戴在眼睛上的有色隐形眼镜可以提供装饰效果，其改变虹膜的颜色或使虹膜看起来更大。在许多情况下，有色隐形眼镜的着色区域主要设置在与虹膜的外周附近的部分相对应的部分，并且与瞳孔相对应的部分是无色的。这是为了在获得使虹膜显得更大的装饰效果的同时不失去视野。

当用户佩戴了有色隐形眼镜时，虹膜的图案等的变化会影响虹膜匹配的精度。通常，在不佩戴有色隐形眼镜的情况下执行虹膜图像的注册。这是因为，当在配戴有色隐形眼镜的情况下执行匹配时，注册时的虹膜图案和匹配时的虹膜图案不匹配。因此，在步骤S100中，在虹膜匹配之前，基于包括用户的眼睛的图像来确定是否佩戴了有色隐形眼镜。基于是否佩戴了有色隐形眼镜，可以使后续处理的内容更合适。

在步骤S200中，虹膜识别***10执行用于提高匹配精度的处理。如果在步骤S100中确定主要佩戴了有色隐形眼镜，则执行该处理以减小由于有色隐形眼镜引起的虹膜匹配的精度的劣化。

在步骤S300中，虹膜识别***10将包括在匹配中捕获的用户虹膜的图像与包括预先注册的用户虹膜的图像进行匹配。在此步骤中的匹配处理中，可以根据在步骤S100中关于是否佩戴了有色隐形眼镜的确定结果来改变处理的内容。如果佩戴了有色隐形眼镜，则虹膜识别***10通过使用从图像中包括的虹膜的区域中排除包括虹膜的外周的预定范围的区域中提取的特征量来执行虹膜的匹配。

不必执行图3中所图示的从步骤S100到步骤S300的所有处理，并且其中省略上述处理的一部分的示例实施例包括在本发明的范围内。例如，可以省略步骤S200的匹配精度提高处理以简化处理。此外，可以省略步骤S100的处理以通过经过使用另一装置或指示用户输入是否佩戴了有色隐形眼镜来预先确定是否佩戴了有色隐形眼镜，来简化处理。此外，在步骤S100中单独执行确定是否佩戴了有色隐形眼镜的处理的图像处理***也包括在本发明的范围内。此外，可以与多个装置协作来执行从步骤S100到步骤S300的处理。

参考图4至图7，将描述图3的步骤S100中的有色隐形眼镜佩戴确定处理的具体示例。图4是图示根据第一示例实施例的有色隐形眼镜佩戴确定处理的流程图。图4的处理更具体地表示图3的步骤S100中的过程。

在步骤S101中，图像获取单元121获取包括用户的眼睛的图像。所获取的图像被存储在存储单元133中。通常，因为通过红外线获取此图像，所以它是灰阶图像。此外，例如，图像的尺寸是水平方向上的640个像素乘以垂直方向上的480个像素。然而，因为可以通过稍后描述的处理来改变尺寸，所以可以采用其他尺寸。注意，在本说明书中，诸如图像的尺寸、对象长度等的表达尺寸的术语可以以诸如像素数的标准化的非量纲数量来定义，并且不限于以具有诸如英里-米的长度尺寸的单位定义的那些。此外，包括用户的眼睛的图像不限于通过使用红外线获取的图像，并且可以通过使用可见光获取。

在步骤S102中，瞳孔检测单元122从包括在步骤S101中获取的眼睛的图像中检测瞳孔，并确定瞳孔的位置。所确定的瞳孔位置被存储在存储单元133中。瞳孔的形状可以近似为圆形。因此，例如，瞳孔的位置可以由瞳孔的中心坐标和半径来表示。注意，例如，可以通过提取具有比预定值低的亮度的像素来检测瞳孔的区域。

在步骤S103中，虹膜检测单元123从包括在步骤S101中获取的眼睛的图像中检测虹膜，并确定虹膜的位置。所确定的虹膜的位置存储在存储单元133中。瞳孔检测单元122和虹膜检测单元123可以更一般地称为检测单元。虹膜的形状可以近似为包括瞳孔的环形形状，并且因此虹膜的位置可以由例如虹膜的中心坐标、外周半径和内周半径表达。因为虹膜的内周半径对应于瞳孔的半径，所以可以从指示虹膜的位置的信息中将其省略。注意，例如可以通过提取虹膜的外周和巩膜(所谓的眼白)之间的边界处的亮度变化来检测虹膜。此处检测到的虹膜不仅包括用户的虹膜本身，还包括有色隐形眼镜上提供并且表示虹膜的图案。因此，在本说明书中，出现为包括虹膜和设置在有色隐形眼镜上的图案的虹膜的整个区域可以称为虹膜。注意，步骤S102和步骤S103的顺序可以相反。可替选地，步骤S102和步骤S103可以并行执行，或者可以作为单个处理执行。

在步骤S104中，确定目标图像提取单元124从在步骤S101中获取的包括眼睛的图像中提取包括虹膜的侧部的两个确定目标图像。在此，虹膜的侧部是指位于眼白的边界上的虹膜的外周上的部分，其主要是除了隐藏在眼睑后面的上部和下部以外的左部和右部。所提取的确定目标图像被存储在存储单元133中。这两个确定目标图像被用于有色隐形眼镜佩戴确定。将参考图5详细描述确定图像的提取。

图5是示意性地图示根据本示例实施例的确定目标图像的提取的图。图5示意性地图示包括在步骤S101中获取的图像中的眼睛90、瞳孔91和虹膜92。确定目标图像提取单元124从眼睛90的图像中提取两个确定目标图像R1和R2。注意，确定目标图像提取单元124可以简称为提取单元。

如图5中所图示，确定目标图像R1和R2分别被提取使得包括虹膜92的左侧部和右侧部。确定目标图像R1和R2中的每一个都是正方形，其边长为S(像素)。此外，正方形的侧边的相对于眼睛90的在垂直方向上的一侧是穿过虹膜92的中心的线段。当虹膜的外周半径为Ir1(像素)时，一侧的长度S被设置为满足S＝Ir1+m。在此，值m是被设置为使得确定目标图像R1和R2包括虹膜的侧部并且不包括虹膜92的上端和下端的预定值，并且例如被设置为30个像素。

将描述以这种方式设置确定目标图像R1和R2的位置的原因。有色隐形眼镜的图案通常在虹膜的外周附近具有显着特征。例如，佩戴了有色隐形眼镜的眼睛在虹膜的部分和眼白的部分之间通常具有很大的亮度变化。因此，在用于确定的确定目标图像R1和R2中包括虹膜的外周提高通过使用确定装置来检测有色隐形眼镜的精度。此外，虹膜的上部和下部可能隐藏在眼睑和睫毛的后面。当确定目标图像R1和R2中包括眼睑或睫毛时，确定精度可能会降低。因此，期望设置确定目标图像R1和R2的位置使得包括虹膜的侧部并且既不包括虹膜的上端也不包括虹膜的下端。此外，期望的是，每个正方形的垂直方向上的边之一是穿过虹膜92的中心的线段，因为能够确保宽的确定目标图像R1和R2。

注意，不必要确定目标图像R1和R2中的每一个都是正方形。例如，确定目标图像R1和R2中的每个可以是矩形。即，确定目标图像R1和R2的每个形状可以是不限于正方形或矩形的任何形状，并且可以是多边形、扇形或包括曲线的图形作为其他形状的示例。当确定目标图像R1和R2具有除了正方形以外的形状时，期望确定目标图像R1和R2中的每一个相对于眼睛90在水平方向上的长度长于虹膜92的外周半径，使得包括虹膜的侧部并且尽可能宽地包括虹膜。

虽然从虹膜92的左部和右部获取确定目标图像R1和R2，但是可以获取它们中的任何一个。然而，期望使用两个确定目标图像R1和R2，因为这使得能够进行更准确的确定。

在步骤S105中，尺寸改变单元125改变确定目标图像R1和R2的尺寸。图6是示意性地图示根据第一示例实施例的确定目标图像的尺寸变化的图。如图6中所图示，尺寸改变单元125将具有S个像素的边的长度的确定目标图像R1和R2缩小为具有32个像素的边的长度的确定目标图像R1a和R2a，并且从而生成确定目标图像R1a和R2a。改变尺寸的原因是将图像设置为具有一定数量的像素，使得适合于随后的确定处理并且从而使得由稍后描述的确定装置执行的处理更加有效。尺寸改变之后的确定目标图像R1a和R2a被存储在存储单元133中。一侧的长度是32个像素是示例，并且本发明不特别限于此。此外，当在确定装置执行的处理中不必限制尺寸时，可以省略步骤S105的处理。

图7是示意性地图示步骤S106至步骤S109中的确定处理的图。将参考图4和图7来描述随后的处理。例如，执行此处理的评估值计算单元126包括由卷积神经网络(CNN)形成的确定装置。预先自动地学习许多图像作为确定装置中的教师数据，该许多图像包括佩戴了有色隐形眼镜的眼睛的图像和未佩戴有色隐形眼镜的眼睛的图像，并且因此，确定装置被配置为能够确定是否佩戴了有色隐形眼镜。一旦包括眼睛的图像输入到确定装置，其就输出指示佩戴有色隐形眼镜的可能性的评估值。评估值采用0到1的连续值作为示例。在这种情况下，没有佩戴有色隐形眼镜的更高可能性导致评估值接近于0，而佩戴了有色隐形眼镜的更高可能性导致评估值接近于1。

在步骤S106中，评价值计算单元126的确定装置分别基于两个确定目标图像R1a和R2a来计算两个评价值V1和V2。评估值存储在存储单元133中。

从步骤S107到步骤S109，确定单元127基于两个评估值V1和V2来确定是否佩戴了有色隐形眼镜。更具体地，在步骤S107中，确定单元127确定评估值V1和评估值V2两者是否都大于或等于0.9。如果评估值V1和评估值V2两者都大于或等于0.9(步骤S107，是)，则确定单元127确定佩戴了有色隐形眼镜(步骤S108)。如果评估值V1和评估值V2中的至少一个小于0.9(步骤S107，否)，则确定单元127确定没有佩戴有色隐形眼镜(步骤S109)。

如上所述，在从步骤S106到步骤S109的确定处理中，仅当来自两个确定目标图像R1a和R2a的两个确定结果都指示佩戴了有色隐形眼镜时，才确定佩戴了有色隐形眼镜。存在各种类型的有色隐形眼镜，并且虹膜等的图案存在个体差异。因此，即使当使用足够数量的教师数据来执行学习时，确定装置也可能做出错误的确定。因此，为了提高确定精度，期望输入如上所述的两个确定目标图像R1a和R2a两者，并且从它们聚合确定结果以进行确定。

将描述当通过使用单个确定目标图像来执行从步骤S106到步骤S109的确定处理时的处理的示例。评估值计算单元126的确定装置从单个确定目标图像计算单个评估值。然后，如果评估值大于或等于0.9，则确定单元127确定佩戴了有色隐形眼镜，而如果评估值小于0.9，则确定单元127确定为没有佩戴有色隐形眼镜，这能够进行是否佩戴了有色隐形眼镜的确定。以这种方式，确定目标图像的数量可以是一个。

如上面所讨论的，根据本示例实施例的有色隐形眼镜佩戴确定处理，通过基于包括虹膜的外周的侧部的确定目标图像执行确定，能够准确地确定是否佩戴了有色隐形眼镜。

注意，尽管在图7中所图示的确定处理中使用具有卷积神经网络的确定装置，但不限于此，例如，也可以基于在虹膜的外周和眼白之间的边界处亮度的变化来确定是否佩戴了有色隐形眼镜。

此外，步骤S107中的确定可以是下述处理，即，如果评估值V1和评估值V2中的至少一个大于或等于0.9，则确定佩戴了有色隐形眼镜，并且如果评估值V1和评估值V2两者都小于0.9，则确定没有佩戴有色隐形眼镜。此外，步骤S107中的确定可以是下述处理，即，根据确定目标图像的可靠性等来从诸如评估值V1、评估值V2等的多个评估值当中选择要在确定中使用的一个或多个评估值。例如，当由于噪声而导致在多个确定目标图像中包括不够可靠的一个时，能够通过从确定处理中排除这种确定目标图像的评价值来提高确定精度。注意，在上述示例中，被用于确定评估值V1和评估值V2的阈值0.9仅仅是示例，并且可以被设置为除了0.9以外的任何值。

接下来，将参考图8至图10描述图3的步骤S200中的匹配精度提高处理的具体示例。

图8是图示根据第一示例实施例的匹配精度提高处理的第一示例的流程图。在步骤S201中，处理单元128参考步骤S100的确定结果。如果确定用户佩戴了有色隐形眼镜(步骤S201，是)，则处理转到步骤S202。如果确定用户没有佩戴有色隐形眼镜(步骤S201，否)，则处理结束。

在步骤S202中，处理单元128控制可见光照射装置108以用可见光照射用户的眼睛。然后，在步骤S203中，处理单元128使图像获取单元121再次获取包括眼睛的图像。

当用可见光照射眼睛的视网膜时，会发生瞳孔对光反射，其导致瞳孔收缩。这导致较宽的虹膜区域和其中可以获取虹膜的图案的较宽的区域。因此，可以减少由于有色隐形眼镜引起的虹膜匹配精度的降低。此外，在本示例中，因为利用无意识的反射，所以不需要识别对象来采取任何行动。例如，本示例可以应用于难以使识别对象采取一些行动的情况，诸如当识别对象在虹膜匹配中不合作时或者当识别对象不理解语言时，诸如在政府办公室进行身份验证的情况下。

即使当眼睛中的任何一只被可见光照射时，由于瞳孔对光反射而引起的瞳孔收缩也发生在两只眼睛中。因此，被可见光照射的眼睛和用于再次获取图像的眼睛可能不同。这可以抑制由照射的可见光引起的反射的影响。

图9是图示根据第一示例实施例的匹配精度提高处理的第二示例的流程图。适当地省略与图8相同的处理的描述。在步骤S204中，处理单元128使显示单元129显示提示用户注视明亮物体的消息。特定消息的示例可能是“要再次进行认证，请先看着一些明亮的东西并且然后再看着照相机”。在用户响应于此消息看着明亮物体之后，在步骤S203中，处理单元128使图像获取单元121再次获取包括眼睛的图像。

同样在本示例中，因为用户看着明亮的物体，所以瞳孔对光反射使瞳孔收缩并且虹膜的区域变得更宽。因此，能够减少由于有色隐形眼镜引起的虹膜匹配精度的降低。在本示例中，与上述第一示例不同，即使当没有设置可见光照射装置108时，也能够利用瞳孔对光反射来执行匹配精度提高处理。请注意，消息可能具有专门指示要看着诸如“要再次进行认证，请先看着灯光并且然后再看着相机”的事物的内容。

将描述在利用图8和图9中的瞳孔收缩的配置中显著地提高匹配精度的示例。如果在步骤S100中确定佩戴了有色隐形眼镜，则可以在步骤S300中的虹膜匹配中执行从特征量的提取范围中排除虹膜的外周附近的部分的处理。此时，可能存在减少有助于特征量提取的区域并因此降低虹膜匹配精度的问题。在这种情况下，通过执行图8和图9的处理以使瞳孔收缩，能够不增加虹膜的外周附近的面积，而是增加相对侧，即，虹膜的内圆周侧的面积。即使当从特征量的提取范围中排除虹膜外周附近的部分时，其也能够进行准确的虹膜匹配。

图10是图示根据第一示例实施例的匹配精度提高处理的第三示例的流程图。适当地省略与图8相同的处理的描述。在步骤S205中，处理单元128使显示单元129显示提示用户眨眼的消息。该消息的一个特定示例可能是“要再次认证，请先眨眼，并且然后再次看着相机。”在用户响应于此消息眨眼之后，在步骤S206中，处理单元128使图像获取单元121另外获取包括眼睛的图像。

在本示例中，使用户眨眼，并且从而使有色隐形眼镜旋转，并且在眨眼之前和之后，有色隐形眼镜的图案的位置改变。另一方面，用户的眼睛的虹膜本身的图案不会因眨眼而改变。因此，通过计算眨眼之前和之后获取的两个图像之间的差异，能够将有色隐形眼镜的图案与用户眼睛的虹膜的图案分离，并且从而通过提取用户眼睛的虹膜的图案来执行精确的匹配。因此，能够减少由于有色隐形眼镜引起的虹膜匹配精度的降低。

还在本示例中，可以执行精度提高处理。在本示例中，因为未利用由亮度变化引起的瞳孔对光反射，所以具有即使在明亮的地方也不会损失效果的优点。

注意，可以将图10的流程图中的处理修改为多次重复步骤S206的处理以多次获取图像的处理。此外，在这种情况下，可以省略步骤S205的处理。因为人无意识地眨眼，所以即使不显示提示用户眨眼的消息，这种无意识的眨眼也可能导致有色隐形眼镜的旋转。因此，即使不显示消息，重复获取图像也可以实现获取用于将有色隐形眼镜的图案和用户的眼睛的虹膜的图案彼此分离的图像，并且在这种情况下，能够获得与上面描述的相同的效果和优点。

图11是图示根据第一示例实施例的匹配精度提高处理的第三示例的变型示例的流程图。如图11的步骤S207中所图示，消息的内容可以是提示用户移动眼睛，诸如左右看的指令。该消息的一个特定示例可能是“要再次进行认证，请左右看，并且然后再次看着相机。”因为眼球的运动引起有色隐形眼镜的旋转，所以在本变形例中，也可以获得与如上所述的提示眨眼的情况相同的效果和优点。

如上所述，根据本示例实施例的匹配精度提高处理，能够减少由于有色隐形眼镜被佩戴而导致的虹膜匹配精度的降低。

注意，尽管在上述处理中通过在显示单元129上显示来向用户通知各种消息，但是消息的通知方法不限于此。例如，语音可以用于消息的通知。

将参考图12和图13描述图3的步骤S300中的虹膜匹配处理的具体示例。图12是图示根据第一示例实施例的虹膜匹配处理的流程图。图12的处理是图3的步骤S300的处理的更具体版本。

在步骤S301中，提取范围设置单元130参考步骤S100的确定结果。如果确定用户佩戴了有色隐形眼镜(步骤S301，是)，则处理转到步骤S302。如果确定用户没有佩戴有色隐形眼镜(步骤S301，否)，则处理转到步骤S303。

在步骤S302中，提取范围设置单元130排除虹膜的外周附近的部分以设置特征量的提取范围。图13是示意性地图示根据第一示例实施例的特征量的提取范围的设置的图。如图13中所图示，图像中的虹膜的区域被划分为遮盖区域93和特征量提取区域94。遮盖区域93是根据虹膜的外周和内周的位置定义的区域，其是虹膜的区域当中从其不提取用于后续匹配处理的特征量的范围。特征量提取区域94是在虹膜的区域当中的从其提取特征量并且是除了遮盖区域93之外的范围的区域。遮盖区域93布置在虹膜的外周附近。即，特征量提取区域94是除了包括虹膜的外周的预定范围以外的范围。

遮盖区域93的范围被定义为包括虹膜的外周端并且具有从虹膜的外周到内周的60％或更大的宽度的环。更具体而言，遮盖区域93是具有外周半径为Ir1并且内周半径为{Ir2+0.4×(Ir1-Ir2)}的环，其中虹膜的外周半径为Ir1并且虹膜的内周半径为Ir2。

将描述定义遮盖区域93和特征量提取区域94的原因。在有色隐形眼镜中，许多着色部分(图案)被布置在与虹膜的外周附近的部分相对应的部分中。因此，当从包括靠近虹膜的外周的部分的区域提取特征量以在佩戴了有色隐形眼镜的情况下执行虹膜认证时，伴随有色隐形眼镜的图案与眼镜的图案重叠而执行虹膜匹配，并且因此，这会导致匹配精度降低的问题。例如，可以将同一个人确定为另一个人，因为在注册时未佩戴了有色隐形眼镜的虹膜的图案不匹配伴随有色隐形眼镜的图案与虹膜的图案重叠的匹配时的图案。

通过将特征量提取区域94定义为除了包括虹膜的外周的预定范围之外的范围，从特征量的提取中排除其中布置有色隐形眼镜的许多图案的虹膜的外周附近的部分。另一方面，在许多情况下，在有色隐形眼镜的与虹膜的内周附近的部分相对应的区域中可以不布置任何图案以便于确保视野，这对虹膜匹配的影响较小。因此，能够减少由于佩戴了有色隐形眼镜而引起的虹膜匹配精度的降低。

在步骤S303中，当用户不佩戴有色隐形眼镜时，不设置遮盖区域93，并且为整个虹膜设置特征量提取区域94。当不佩戴有色隐形眼镜时，不必从特征量提取区域中排除外周附近的部分，而是，不排除外周附近的部分允许更宽的特征量提取区域，并且因此能够实现更高的匹配精度。因此，期望取决于是否佩戴了有色隐形眼镜来执行不同的处理。

在步骤S304中，特征量计算单元131使用设置的特征量提取区域94等的图像中包括的虹膜的图案来计算特征量。计算出的特征量被存储在存储单元133中。

在步骤S305中，匹配单元132将在步骤S304中获取的特征量与预先在存储单元133中注册的用户的虹膜的特征量进行匹配。当通过匹配确定为同一人的虹膜时，虹膜识别***10确定身份验证完成，并执行登录等处理。

如上面所讨论的，根据本示例实施例的虹膜匹配处理，通过将排除了包括虹膜的外周的预定范围之外的范围定义为特征量的提取范围，当识别对象佩戴了有色隐形眼镜时能够减小对匹配精度的影响。

当通过使用步骤S302的方案排除虹膜的外周附近的部分以设置特征量提取区域94时，组合通过使用图8和图9所图示的任何匹配精度提高处理更为有效。在步骤S302的方案中，通过遮盖区域93的面积使特征量提取区域94减小。一起使用图8或图9的处理，能够增加虹膜的范围，并且因此补偿减少的特征量提取区域94的影响。

在上述处理中，因为独立于有色隐形眼镜的图案来确定遮盖区域93，所以不需要执行检测有色隐形眼镜的图案的处理，其能够进行高速处理。但是，当精度比处理速度更重要时，可以添加通过确定有色隐形眼镜的图案和用户的虹膜本身的图案来确定有色隐形眼镜的着色部分的处理。在这种情况下，将有色隐形眼镜的着色部分设置为遮盖区域93。以这种方式，当有色隐形眼镜的着色部分(图案的形状或布置有图案的区域)可以被确定时，可以基于有色隐形眼镜的着色部分来设置在执行虹膜匹配时靠近虹膜的外周的区域的遮盖区域93。

作为确定用户的有色隐形眼镜的图案和虹膜自身的图案的处理的示例，可以存在通过使用诸如蛇形方法或水平设置方法的自适应轮廓模型来搜索有色隐形眼镜的图案的轮廓的方案。此外，作为另一示例，可以存在将虹膜划分为多个矩形区域并针对每个矩形区域使用卷积神经网络以确定是否存在有色隐形眼镜的图案的方案、检测在同心圆上是否存在规则图形的方案、检测是否存在径向直线的方案等。

在以上示例实施例中描述的装置还可以被配置成下面图示的第二示例实施例至第四示例实施例。

(第二示例实施例)

图14是根据第二示例实施例的虹膜识别***20的功能框图。虹膜识别***20具有确定单元201和匹配单元202。确定单元201基于包括识别对象的眼睛的图像来确定是否佩戴了有色隐形眼镜。当通过确定单元201确定佩戴了有色隐形眼镜时，匹配单元202通过使用从被包括在图像中的虹膜的区域当中的排除包括虹膜的外周的预定范围的区域中提取的特征量来执行虹膜的匹配。

根据本示例实施例，可以提供一种虹膜识别***20，该虹膜识别***20可以减少当识别对象佩戴了有色隐形眼镜时对匹配精度的影响。

(第三示例实施例)

图15是根据第三示例实施例的图像处理***30的功能框图。图像处理***30具有提取单元301和确定单元302。提取单元301从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像。确定单元302基于确定目标图像来确定是否佩戴了有色隐形眼镜。

根据本示例实施例，可以提供可以精确地确定是否佩戴了有色隐形眼镜的图像处理***30。

(第四示例实施例)

图16是根据第四示例实施例的虹膜识别***40的功能框图。虹膜识别***40具有确定单元401和处理单元402。确定单元401基于包括识别对象的眼睛的图像来确定是否佩戴了有色隐形眼镜。当确定单元401确定佩戴了有色隐形眼镜时，处理单元402执行提高在识别对象上的虹膜匹配的精度的处理。

根据本示例实施例，可以提供一种虹膜识别***40，该虹膜识别***40可以减少由于佩戴了有色隐形眼镜而引起的虹膜匹配的精度的降低。

(变型例实施例)

本发明不限于上述示例实施例，并且可以在不脱离本发明的精神的范围内适当地改变。

上述示例实施例的虹膜识别***不仅可以用于图示为示例的登录时的认证，还可以用于各种身份验证。例如，上述示例实施例的虹膜识别***可以应用于在机场、海港或国家边界的移民的身份验证、在政府办公室的身份验证、用于进入工厂或办公室的身份验证、活动大厅入口处的身份验证等。

在上述每个示例实施例中，用于虹膜匹配的图像的获取可以在认证对象的一只眼睛上执行或者可以在认证对象的两只眼睛上执行。仅一只眼睛的图像的获取具有提高处理速度或减小存储容量的优点，而两只眼睛的图像的获取具有提高认证精度的优点。

在上述每个示例实施例中，已经描述其中虹膜的获取图像的特征量与预先注册的虹膜的特征量相匹配的情况，即，虹膜匹配的处理已经被描述为示例。然而，上述每个示例实施例可以通过适当的变型应用于虹膜的图像或虹膜的特征量的注册的情况。具体地，通过将步骤S300的虹膜匹配处理替换为虹膜注册处理，可以对注册情况进行变型。在这种情况下，虹膜配准处理例如可以是获取虹膜的图像、计算特征量并存储虹膜的特征量的处理。

尽管在上述每个示例实施例中的步骤S201的处理中确定用户佩戴了有色隐形眼镜时执行步骤S202、S204或S205的处理，但是该处理可以是除了图示之外的其他处理。例如，可以是下述处理，即，当确定用户佩戴了有色隐形眼镜时，显示指示用户取下有色隐形眼镜的消息。可替选地，当确定用户佩戴了有色隐形眼镜时，可以确定匹配或注册失败。在这种情况下，该过程可以通过消息、警报等向用户通知该处理的失败以提示另一匹配或注册，或者可以向用户通知该处理的失败以结束该处理。注意，可以代替步骤S202、S204或S205的处理而执行这些处理，或者可以与步骤S202、S204或S205的处理并行地执行。

如上所述，将以虹膜注册的情况的示例来描述指示用户取下有色隐形眼镜或执行匹配或注册失败时的处理的优点。因为在虹膜注册的情况下身份验证的重要性很高，所以有必要增强作为所讨论的人的已登记的虹膜的可靠性。特别地，在诸如移民控制或国民身份证(ID)的重要验证的情况下，对可靠性的要求更为显著。佩戴了有色隐形眼镜进行注册将削弱身份验证的功能。因此，当尝试在佩戴了有色隐形眼镜的情况下进行注册时，可以通过发出一些警报并禁用注册来保持身份验证的可靠性。这提高虹膜识别***的准确性。此外，可以防止使用有色隐形眼镜的多次注册。

每个示例实施例的范围还包括一种处理方法，该处理方法在存储介质中存储使示例实施例的配置进行操作以实现上述示例实施例的功能的程序，将存储在存储介质中的程序作为代码读出，并在计算机中执行代码。即，计算机可读存储介质包括在每个示例实施例的范围内。此外，在每个示例实施例中，不仅包括存储上述程序的存储介质，而且包括程序本身。此外，上述示例实施例中包括的一个或多个组件可以是被配置为实现每个组件的功能的电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。

例如，作为存储介质，软盘(注册商标)、硬盘、光盘、磁光盘、光盘(CD)-ROM、磁带、非易失性存储卡或ROM，可以使用。每个示例实施例的范围不仅包括使用存储在存储介质中的自身程序来执行处理的那些，还包括与另一软件或扩展板的功能协作在操作***(OS)上操作以执行处理的那些。

可以以软件即服务(SaaS)的形式将通过上述每个示例实施例的功能实现的服务提供给用户。

注意，上述所有示例实施例仅是实现本发明的实施例的示例，并且本发明的技术范围不应限于这些示例实施例。即，在不脱离本发明的技术思想或其主要特征的情况下，可以以各种形式实现本发明。

上面公开的示例实施例的全部或部分可以被描述为但不限于以下补充说明。

(补充说明1)

一种图像处理***，包括：

提取单元，该提取单元从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及

确定单元，该确定单元基于确定目标图像来确定是否佩戴了有色隐形眼镜。

(补充说明2)

根据补充说明1所述的图像处理***，其中，确定目标图像既不包括虹膜的外周的上端也不包括虹膜的外周的下端。

(补充说明3)

根据补充说明1或2所述的图像处理***，其中，确定目标图像相对于眼睛在水平方向上的长度比虹膜的外周半径长。

(补充说明4)

根据补充说明3的图像处理***，

其中，确定目标图像为正方形，

其中，正方形的边具有通过将预定值添加到虹膜的外周半径而获得的长度。

(补充说明5)

根据补充说明4所述的图像处理***，其中，正方形的边是穿过虹膜的中心的线段。

(补充说明6)

根据补充说明1至5中的任意一项所述的图像处理***，还包括评估值计算单元，所述评估值计算单元包括由卷积神经网络形成的确定装置，并且通过将确定目标图像输入到确定装置中来计算指示佩戴有色隐形眼镜的可能性的评估值。

(补充说明7)

根据补充说明1至5中的任意一项所述的图像处理***，其中，所述确定单元基于虹膜的外周与眼白之间的边界处的亮度变化来确定是否佩戴了有色隐形眼镜。

(补充说明8)

根据补充说明1至7中的任意一项所述的图像处理***，还包括尺寸改变单元，所述尺寸改变单元在由确定单元进行确定之前将确定目标图像的像素数量改变为预定的像素数量。

(补充说明9)

根据补充说明1至8中的任意一项所述的图像处理***，其中，提取单元提取分别包括虹膜的外周的两侧的两个确定目标图像。

(补充说明10)

根据补充说明1至9中的任意一项所述的图像处理***，当两个确定目标图像都指示佩戴了有色隐形眼镜时，确定单元确定佩戴了有色隐形眼镜。

(补充说明11)

根据补充说明1至9中的任意一项所述的图像处理***，当两个确定目标图像中的至少一个指示佩戴了有色隐形眼镜时，确定单元确定佩戴了有色隐形眼镜。

(补充说明12)

一种图像处理方法，包括：

从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；和

基于确定目标图像来确定是否佩戴了有色隐形眼镜。

(补充说明13)

一种存储程序的存储介质，所述程序使计算机执行：

从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及

基于确定目标图像来确定是否佩戴了有色隐形眼镜。

本申请基于2017年8月30日提交的日本专利申请No.2017-165404并要求其优先权，其全部内容通过引用合并于此。

[参考符号列表]

10、20、40 虹膜识别***

30 图像处理***

90 眼睛

91 瞳孔

92 虹膜

93 遮盖区域

94 特征量提取区域

121 图像获取单元

122 瞳孔检测单元

123 虹膜检测单元

124 确定目标图像提取单元

125 尺寸改变单元

126 评价值计算单元

127、201、302、401 确定单元

128、402 处理单元

129 显示单元

130 提取范围设置单元

131 特征量计算单元

132、202 匹配单元

133 存储单元

301 提取单元

R1、R2、R1a、R2a 确定目标图像

Claims (13)

1.一种图像处理***，包括：

提取单元，所述提取单元从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及

确定单元，所述确定单元基于所述确定目标图像来确定是否佩戴了有色隐形眼镜。

2.根据权利要求1所述的图像处理***，其中，所述确定目标图像既不包括所述虹膜的所述外周的上端也不包括所述虹膜的所述外周的下端。

3.根据权利要求1或2所述的图像处理***，其中，所述确定目标图像相对于所述眼睛在水平方向上的长度比所述虹膜的外周半径长。

4.根据权利要求3所述的图像处理***，

其中，所述确定目标图像为正方形，并且

其中，所述正方形的边具有通过将预定值添加到所述虹膜的所述外周半径而获得的长度。

5.根据权利要求4所述的图像处理***，其中，所述正方形的所述边是穿过所述虹膜的中心的线段。

6.根据权利要求1至5中的任意一项所述的图像处理***，还包括评估值计算单元，所述评估值计算单元包括由卷积神经网络形成的确定装置，并且通过将所述确定目标图像输入到所述确定装置中来计算指示佩戴了所述有色隐形眼镜的可能性的评估值。

7.根据权利要求1至5中的任意一项所述的图像处理***，其中，所述确定单元基于所述虹膜的所述外周与眼白之间的边界处的亮度变化，来确定是否佩戴了所述有色隐形眼镜。

8.根据权利要求1至7中的任意一项所述的图像处理***，还包括尺寸改变单元，所述尺寸改变单元在由所述确定单元进行所述确定之前将所述确定目标图像的像素数量改变为预定的像素数量。

9.根据权利要求1至8中的任意一项所述的图像处理***，其中，所述提取单元提取分别包括所述虹膜的所述外周的两侧的两个确定目标图像。

10.根据权利要求1至9中的任意一项所述的图像处理***，当两个确定目标图像二者都指示佩戴了所述有色隐形眼镜时，所述确定单元确定佩戴了所述有色隐形眼镜。

11.根据权利要求1至9中的任意一项所述的图像处理***，当两个确定目标图像中的至少一个指示佩戴了所述有色隐形眼镜时，所述确定单元确定佩戴了所述有色隐形眼镜。

12.一种图像处理方法，包括：

从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及

基于所述确定目标图像来确定是否佩戴了有色隐形眼镜。

13.一种存储程序的存储介质，所述程序使计算机执行：

从包括眼睛的图像中提取包括虹膜的外周的侧部的确定目标图像；以及

基于所述确定目标图像来确定是否佩戴了有色隐形眼镜。

Images