CN115461741A - 认证方法、认证程序以及认证装置 - Google Patents

Abstract

本发明提供认证方法、认证程序以及认证装置。在认证方法中，计算机执行如下处理：若接受由第一相机拍摄的第一拍摄数据和第二拍摄数据，则参照存储部来确定第一生物体信息组和第二生物体信息组，其中，存储部将人的生物体信息与人的面部图像的特征信息建立对应关系地进行存储，第一生物体信息组包含多个生物体信息，该多个生物体信息和与第一拍摄数据所包含的第一面部图像的特征信息的相似度满足基准的特征信息建立有对应关系，第二生物体信息组包含多个生物体信息，该多个生物体信息和与第二拍摄数据所包含的第二面部图像的特征信息的相似度满足基准的特征信息建立有对应关系；若接受由第二相机拍摄的第三拍摄数据，则基于第三拍摄数据所包含的面部图像的特征信息与第一面部图像的特征信息以及第二面部图像的特征信息中的每个特征信息的相似度，来确定第一生物体信息组和第二生物体信息组中的任意一个生物体信息组；若获取由传感器检测出的生物体信息，则进行基于确定出的生物体信息组所包含的多个生物体信息与获取到的生物体信息的认证处理。

Description

认证方法、认证程序以及认证装置

技术领域

本发明涉及认证技术。

背景技术

作为认证方式之一，已知有使用一种生物体信息来从众多人中确定特定的个人的一对N认证。一对N认证不需要按键输入ID(IDentification)、出示卡，但仅凭单一的生物体信息模态，其精度有限。

根据这样的背景，正在进行并用多种生物体信息的多生物体认证技术的开发。仅作为一个例子，提出了并用面部认证和静脉认证的认证***。例如，在认证***中，设置于店铺的入口的第一拍摄装置拍摄从店铺的入口进店的人的脸。使用由这样的第一拍摄装置拍摄的面部图像，从N个利用者的静脉认证登记数据中筛选出一部分静脉认证登记数据作为认证候选。以被筛选为认证候选的静脉认证登记数据中的、与从通过设置于店铺内的柜台的第二拍摄装置拍摄静脉图像的时刻起过去的规定时间段的面部图像拍摄日期和时间建立有对应关系的静脉认证登记数据为对象，进行静脉认证的对照。

专利文献1：日本特开2019－128880号公报

然而，上述认证***只是按照进入店铺的顺序筛选不确定的多个认证候选，存在认证时间变长的情况。

即，在上述认证***中，将与过去的规定时间段的面部图像拍摄日期和时间建立有对应关系的静脉认证登记数据按照进入店铺的顺序用于静脉认证的对照。但是，进店的顺序与到达柜台的顺序未必一致。例如，在最后进入店铺的利用者最先来到柜台的情况下，先对照在进行比最终进店的利用者先进入店铺的其他利用者的面部图像拍摄时被筛选为认证候选的静脉认证登记数据。在该情况下，重复进行静脉认证的对照，直到最后被筛选为认证候选的静脉认证登记数据被对照为止，其结果是，认证时间变长。

发明内容

在一个侧面，本发明的目的在于提供一种能够实现减少认证时间的认证方法、认证程序以及认证装置。

在一个方式的认证方法中，由计算机执行如下处理：若接受由第一相机拍摄的第一拍摄数据和第二拍摄数据，则参照存储部来确定第一生物体信息组和第二生物体信息组，其中，上述存储部将人的生物体信息与上述人的面部图像的特征信息建立对应关系地进行存储，上述第一生物体信息组包含多个生物体信息，上述多个生物体信息与上述第一拍摄数据所包含的第一面部图像的特征信息的相似度满足基准的特征信息建立有对应关系，上述第二生物体信息组包含多个生物体信息，上述多个生物体信息与上述第二拍摄数据所包含的第二面部图像的特征信息的相似度满足基准的特征信息建立有对应关系；若接受由第二相机拍摄的第三拍摄数据，则基于上述第三拍摄数据所包含的第三面部图像的特征信息与上述第一面部图像的特征信息以及上述第二面部图像的特征信息中的每个特征信息的相似度，来确定上述第一生物体信息组以及上述第二生物体信息组中的任意一个生物体信息组；若获取由传感器检测出的生物体信息，则进行基于确定出的上述生物体信息组所包含的多个生物体信息和获取到的上述生物体信息的认证处理。

能够减少认证时间。

附图说明

图1是表示实施例1的认证***所包括的各装置的功能性结构的一个例子的框图。

图2是表示筛选列表数据的一个例子的图。

图3是表示店铺侧***的安装例的图。

图4是表示筛选列表数据的一个例子的图。

图5是表示实施例1的第一确定处理的控制顺序的一个例子的图。

图6是表示实施例1的第二确定处理的控制顺序的一个例子的图。

图7是表示应用例的第一确定处理的控制顺序的一个例子的图。

图8是表示排序后的筛选列表数据的一个例子的图。

图9是表示计算机的硬件构成例的图。

具体实施方式

以下，参照附图对本申请的认证方法、认证程序以及认证装置进行说明。此外，该实施例并不对所公开的技术构成限定。并且，各实施例在处理内容不矛盾的范围内能够适当地组合。

实施例1

[***结构的一个例子]

图1是表示实施例1的认证***所包括的各装置的功能性结构的一个例子的框图。图1所示的认证***1仅作为一个侧面，从与生物体信息的登记者数N可以扩大到数百万、数千万这样的规模的用例对应的侧面出发，提供一种使用多种生物体信息来认证本人的多生物体认证服务。

在图1所示的认证***1中，从不需要按键输入ID、出示卡并且实现非接触的认证的侧面出发，作为多种生物体信息的例子，使用手掌静脉以及面部信息。例如，作为从登记者数N中筛选在本人认证中进行对照的对照对象者的第一模态，使用面部信息，并且，作为从通过第一模态筛选出的对照对象者中认证本人的第二模态，使用手掌静脉。这里所谓的“模态”能够对应于生物体信息的种类、或者生物体识别部位等用语。

作为这样的认证***1的用例的一个例子，能够列举出将多生物体认证服务应用于在无收银机店铺、无人收银机、自助收银机等进行购入商品的空手结账时的本人认证的例子。

如图1所示，仅作为一个例子，认证***1可以包含服务器装置10和店铺侧***30。这些服务器装置10以及店铺侧***30之间可以经由任意的网络连接。

服务器装置10是提供上述多生物体认证服务的计算机的一个例子。服务器装置10对应于认证装置的一个例子。作为一个实施方式，服务器装置10能够作为封装软件或者在线软件，通过使任意的计算机安装实现上述多生物体认证服务的认证程序来实现。例如，服务器装置10能够实现为将与上述多生物体认证服务相关的功能提供给本地部署(onpremise)的服务器、例如Web服务器。并不局限于此，服务器装置10也可以实现为SaaS(Software as a Service：软件即服务)型的应用程序，从而将上述多生物体认证服务作为云服务来提供。

店铺侧***30对应于图1所示的认证***1中设置于店铺侧的构成要素的一个例子。例如，店铺侧***30从拍摄了从店铺的入口进店的人的脸而得到的面部图像中提取第一模态的生物体信息、例如面部特征量、或者从在店铺中进行结账的柜台获取的静脉图像中提取第二模态的生物体信息、例如手掌静脉的特征量。

[课题的一个侧面]

如在上述背景技术部分所说明的那样，上述现有技术不过是按照进入店铺的顺序筛选不确定的众多认证候选，存在认证时间变长的情况。

图2是表示筛选列表数据的一个例子的图。在图2中，仅作为一个例子，例示出使用现有技术生成的三个筛选列表数据L11～L13。例如，在筛选列表数据L11中包含使用在2019年12月24日9时00分拍摄进入店铺的利用者U1的面部得到的拍摄数据所包含的面部图像而筛选出的登记手掌静脉信息组F_{Palm_L11}的列表。另外，在筛选列表数据L12中包含使用在2019年12月24日9时01分拍摄进入店铺的利用者U2的面部得到的拍摄数据所包含的面部图像而筛选出的登记手掌静脉信息组F_{Palm_L12}的列表。并且，在筛选列表数据L13中包含使用在2019年12月24日9时02分拍摄进入店铺的利用者U3的面部得到的拍摄数据所包含的面部图像而筛选出的登记手掌静脉信息组F_{Palm_L13}的列表。此外，在图2中列举出在进行了利用者登记的登记手掌静脉信息中，筛选出与从进店时拍摄的面部图像中获取的输入面部信息的相似度为上位规定数量、例如上位9个为止的登记面部信息建立有对应关系的登记手掌静脉信息的例子。

在像这样进入店铺的顺序为利用者U1、利用者U2、利用者U3的顺序的情况下，在店铺的柜台处获取的输入手掌静脉信息按照进入店铺的顺序、即筛选列表数据L11、筛选列表数据L12、筛选列表数据L13的顺序进行对照。

在这里，进店的顺序与到达柜台的顺序未必一致。例如，也可能发生利用者U1、利用者U2以及利用者U3中最后进入店铺的利用者U3最先来到柜台的事例。像这样，在店铺的柜台等处获取的利用者U3的输入手掌静脉信息f_{Palm_U3}按照如下顺序进行对照。即，如图2所示，按照筛选列表数据L11的登记手掌静脉信息组F_{Palm_L11}、筛选列表数据L12的登记手掌静脉信息组F_{Palm_L12}、筛选列表数据L13的登记手掌静脉信息组F_{Palm_L13}的顺序进行对照。在该情况下，在利用者U3的面部图像拍摄时筛选出的筛选列表数据L13在比利用者U3先进店的利用者U1以及利用者U2的面部图像拍摄时筛选出的筛选列表数据L11以及筛选列表数据L12之后进行对照。

这样，在对照与利用者U3的输入手掌静脉信息f_{Palm_U3}一致的登记手掌静脉信息F_{Palm_U3}之前，进行与多余的筛选列表数据L11以及筛选列表数据L12的对照，是结果是，认证时间变长。比利用者U3先进店的利用者的数量越多，这样的多余的对照越增加，并且，使用面部图像筛选的登记手掌静脉信息的数量越多，这样的多余的对照可能越增加。

[解决课题方法的一个侧面]

因此，在本实施例的多生物体认证服务中，采用将使用面部信息的筛选分为两次进行的方法。仅作为一个侧面，在本实施例的多生物体认证服务中，将进店时拍摄的第一模态的面部图像用于包含第二模态的登记生物体信息组的筛选列表的生成。作为另一个侧面，在本实施例的多生物体认证服务中，将结账时拍摄的第一模态的面部图像用于从多个筛选列表中确定在第二模态的本人认证中作为对照对象的筛选列表。

图3是表示店铺侧***30的安装例的图。在图3中示出了将多生物体认证服务应用于在无收银机店铺、无人收银机、自助收银机等进行购入商品的结账时的本人认证的例子。

如图3所示，店铺侧***30可以包含以能够拍摄从店铺3的入口进店的人的面部的状态设置的第一相机31A。店铺侧***30还可以包含设置于店铺3的结账柜台的终端32。例如，终端32除了连接能够从赋予商品的标签、条形码等读取商品信息、例如商品名称、金额等的读取部外，还可以连接店铺3的利用者进行作为购入对象的商品的列表、合计金额等各种显示的显示部35等。店铺侧***30还可以包含以能够拍摄利用终端32的人的面部的状态设置的第二相机32A。例如，第二相机32A可以作为配置为将镜头朝向与显示部35的屏幕的朝向为同一方向的内部相机来实现。店铺侧***30还可以包含检测利用终端32的人的手掌静脉的传感器33。

在这样的店铺侧***30下，作为一个侧面，使用从第一相机31A的拍摄数据所包含的面部图像中提取的面部信息、例如面部特征量，来生成上述筛选列表。在这里，由于从第一相机31A的拍摄数据所包含的面部图像中提取的面部信息具有在进入店铺3时提取的侧面，因此以下，有记作“进店时面部信息”的情况。例如，筛选列表是通过将进行了利用者登记的登记手掌静脉信息中的和与进店时面部信息的相似度为上位规定数量的登记面部信息中的各登记面部信息建立有对应关系的登记手掌静脉信息列表化而生成的。像这样列表化的登记手掌静脉信息能够与进店时面部信息建立关联。例如，进店时面部信息能够作为识别筛选列表的标签赋予给筛选列表。除此之外，也能够通过拍摄数据的拍摄日期和时间等任意识别信息来使进店时面部信息以及筛选列表建立关联。

图4是表示筛选列表数据的一个例子的图。在图4中，仅作为一个例子，例示出根据本实施例的多生物体认证服务生成的三个筛选列表数据L1～L3。

例如，从在2019年12月24日9时00分拍摄进入店铺3的利用者U1的面部而得到的拍摄数据所包含的利用者U1的面部图像中提取利用者U1的进店时面部信息f_{face1_U1}。生成作为标签赋予像这样提取出的利用者U1的进店时面部信息f_{face1_U1}，并且将使用进店时面部信息f_{face1_U1}筛选出的登记手掌静脉信息组F_{Palm_L1}列表化而成的筛选列表数据L1。

另外，从在2019年12月24日9时01分拍摄进入店铺3的利用者U2的面部而得到的拍摄数据所包含的利用者U2的面部图像中提取利用者U2的进店时面部信息f_{face1_U2}。生成作为标签赋予像这样提取出的利用者U2的进店时面部信息f_{face1_U2}，并且将使用进店时面部信息f_{face1_U2}筛选出的登记手掌静脉信息组F_{Palm_L2}列表化而成的筛选列表数据L2。

此外，从在2019年12月24日9时02分拍摄进入店铺3的利用者U3的面部而得到的拍摄数据所包含的利用者U3的面部图像中提取利用者U3的进店时面部信息f_{face1_U3}。生成作为标签赋予像这样提取的利用者U3的进店时面部信息f_{face1_U3}，并且将使用进店时面部信息f_{face1_U3}筛选出的登记手掌静脉信息组F_{Palm_L3}列表化而成的筛选列表数据L3。

作为另一个侧面，使用从第二相机32A的拍摄数据所包含的面部图像中提取的面部信息、例如面部特征量，从多个筛选列表中确定在第二模态的静脉认证中作为对照对象的筛选列表。在这里，由于从第二相机32A的拍摄数据所包含的面部图像中提取的面部信息具有在店铺3的柜台处结账时提取的侧面，因此以下，有记作“结账时面部信息”的情况。例如，将结账时面部信息与各筛选列表中所包含的进店时的面部信息进行对照。仅作为一个例子，在筛选列表中，确定作为标签被赋予了与结账时面部信息的相似度超过规定阈值的进店时面部信息的筛选列表。作为另一个例子，在筛选列表中，确定作为标签被赋予了与结账时面部信息的相似度最大的进店时面部信息的筛选列表。

例如，在从第二相机32A的拍摄数据中提取出利用者U3的结账时面部信息f_{face2_U3}的情况下，如图4所示，结账时面部信息f_{face2_U3}按照进入店铺的顺序对照筛选列表数据L1的进店时面部信息f_{face1_U1}、筛选列表数据L2的进店时面部信息f_{face1_U2}以及筛选列表数据L3的进店时面部信息f_{face1_U3}。此时，结账时面部信息f_{face2_U3}和进店时面部信息f_{face1_U1}的相似度以及结账时面部信息f_{face2_U3}和进店时面部信息f_{face1_U2}的相似度比结账时面部信息f_{face2_U3}和进店时面部信息f_{face1_U3}的相似度小，且未超过阈值。另一方面，结账时面部信息f_{face2_U3}和进店时面部信息f_{face1_U3}的相似度是三个相似度中最大的，超过阈值。因此，三个筛选列表数据L1～L3中作为标签被赋予了进店时面部信息f_{face1_U3}的筛选列表数据L3被确定为第二模态的静脉认证中的对照对象。其结果是，将从传感器33检测出的输入手掌静脉信息与筛选列表数据L3的登记手掌静脉信息组F_{Palm_L1}进行对照。

像这样，在本实施例的多生物体认证服务中，在对照与利用者U3的输入手掌静脉信息f_{Palm_U3}一致的登记手掌静脉信息F_{Palm_U3}之前，能够省略与多余的筛选列表数据L11以及筛选列表数据L12的对照。具体而言，能够跳过与同结账时面部信息_{face2_U3}不相似的进店时面部信息f_{face1_U1}建立有对应关系的登记手掌静脉信息组F_{Palm_L1}的对照、以及与同结账时面部信息_{face2_U3}不相似的进店时面部信息f_{face1_U2}建立有对应关系的登记手掌静脉信息组F_{Palm_L2}的对照。

因此，根据本实施例的多生物体认证服务，能够实现减少认证时间。

[店铺侧***30的结构]

接着，对本实施例的店铺侧***30的功能性结构的一个例子进行说明。在图1中，按照服务器装置10以及店铺侧***30示出将与上述多生物体认证服务的功能对应的模块。如图1所示，店铺侧***30具有第一相机31A、第一提取部31B、第二相机32A、第二提取部32B、传感器33以及显示部35。此外，在图1中，仅示出了与上述多生物体认证服务相关联的功能部，店铺侧***30可以具备未图示的功能部、例如上述读取部等。

第一相机31A以及第二相机32A均为拍摄第一模态的面部图像的功能部。作为一个实施方式，这些第一相机31A以及第二相机32A能够通过搭载CCD(Charge Coupled Device：电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等拍摄元件的拍摄装置来实现。

在这里，由第一相机31A拍摄的“拍摄数据”用于在利用者从店铺3的入口经过商品的选择、移动等来到结账柜台之前结束基于面部信息的筛选的侧面。从这样的侧面出发，第一相机31A以能够拍摄从店铺3的入口进店的人的面部的状态来设置。第一相机31A并非一定是上述多生物体认证服务专用的相机，能够将在其他***、例如监视***中使用的监视相机共用于上述多生物体认证服务。

另外，由第二相机32A拍摄的“拍摄数据”用于在从多个筛选列表中确定在第二模态的静脉认证中作为对照对象的筛选列表的侧面。从这样的侧面出发，第二相机32A以能够拍摄利用终端32的人的面部的状态来设置。例如，第二相机32A能够作为配置为镜头朝向与显示部35的屏幕的朝向为同一方向的内部相机来实现。

第一提取部31B以及第二提取部32B是提取第一模态的生物体信息的功能部。例如，在第一模态是面部信息的情况下，该面部信息可以是拍摄面部而得到的图像本身，也可以是从面部的图像提取的面部的特征量。以下，仅作为面部信息的一个例子，例示使用嵌入矢量的情况。在该情况下，第一提取部31B以及第二提取部32B能够使用通过深度学习等进行了嵌入空间的学习的模型、例如CNN(Convolutional Neural Network：卷积神经网络)。例如，第一提取部31B以及第二提取部32B对第一相机31A或者第二相机32A的输出、例如以帧为单位拍摄到的图像进行面部检测。之后，第一提取部31B以及第二提取部32B将与通过面部检测得到的面部区域对应的部分图像、即面部图像输入到嵌入空间学习完毕的CNN。由此，能够从CNN得到嵌入矢量。之后，第一提取部31B以及第二提取部32B将上述面部信息作为进店时面部信息或者结账时面部信息按照规定的加密方式、例如公开密钥加密等算法进行加密，之后将加密后的进店时面部信息或者结账时面部信息向服务器装置10传送。此外，嵌入矢量不过是面部信息的一个例子，也可以提取其他特征量、例如SIFT(Scale-Invariant Feature Transform：尺度不变量特征变换)等。

传感器33是检测第二模态的生物体信息的功能部。作为一个实施方式，传感器33能够作为包含照明和相机的传感器单元来实现，其中，该照明照射具有适于反映存在于手掌内部的静脉的血管图案的波长的红外光、例如近红外光，该相机能够捕捉红外光。例如，若将手掌载置于规定的拍摄位置，则通过照明向手掌照射红外光。通过与该红外光的照射联动地启动的相机拍摄从手掌内部反射并返回的红外光。通过这样的拍摄，红外光被静脉中的红血球吸收，其结果是，得到呈现出手掌的静脉血管图案的手掌静脉图像作为生物体图像。然后，传感器33从手掌静脉图像取出血管部分之后进行细线化，提取血管中的分支点的坐标、分支点间的长度、分支点的分支角度等特征量作为手掌静脉信息。之后，传感器33将手掌静脉信息作为输入手掌静脉信息按照规定的加密方式、例如公开密钥加密等算法进行加密，之后，将加密后的输入手掌静脉信息向服务器装置10传送。

显示部35是显示各种信息的功能部。仅作为一个例子，显示部35能够通过液晶显示器、有机EL(Electro-Luminescence)显示器等来实现。此外，显示部35也可以通过与未图示的输入部一体化，作为触摸面板来实现。

此外，除了第一提取部31B、第二提取部32B之外，由传感器33执行的一部分处理、例如手掌静脉的特征提取等功能能够通过CPU(Central Processing Unit：中央处理器)、MPU(Micro Processing Unit：微处理器)等硬件处理器虚拟地实现。在这里，处理器可以搭载于上述店铺侧***30的任何装置。仅作为一个例子，能够利用搭载于连接第一相机31A、第二相机32A以及传感器33的终端32的处理器。例如，处理器从未图示的存储装置、例如ROM(Read Only Memory：只读存储器)或者辅助存储装置读出实现上述特征提取等功能的特征提取程序。之后，处理器通过执行上述特征提取程序，在RAM(Random Access Memory：随机存取存储器)等存储器上展开与上述功能对应的进程。其结果是，作为工序虚拟地实现上述功能。在这里，作为处理器的一个例子，例示出CPU、MPU，但是无论通用型还是专用型，也可以通过任意处理器来实现上述功能部。除此之外，上述功能也可以通过ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬连线逻辑来实现。

[服务器装置10的结构]

接着，对本实施例的服务器装置10的功能性结构的一个例子进行说明。如图1所示，服务器装置10具有通信接口部11、存储部13以及控制部15。此外，在图1中，仅示出了与上述多生物体认证服务相关联的功能部，不妨碍服务器装置10具备图示以外的功能部、例如现有的计算机默认或者可选地装备的功能部、例如输入部、显示部等。

通信接口部11对应于与其他装置、例如店铺侧***30之间进行通信控制的通信控制部的一个例子。

仅作为一个例子，通信接口部11通过LAN(Local Area Network：局域网)卡等网络接口卡来实现。例如，通信接口部11从第一提取部31B接受进店时面部信息、或者从第二提取部32B接受结账时面部信息、或者从传感器33接受输入手掌静脉信息。另外，通信接口部11将本人认证的重试请求、认证结果、结账处理结果等输出到显示部35。

存储部13是存储以由控制部15执行的OS(Operating System：操作***)为代表的、实现上述多生物体认证服务的认证程序等各种程序中所用的数据的功能部。

作为一个实施方式，存储部13可以通过辅助存储装置来实现。例如，对应于HDD(Hard Disk Drive：硬盘驱动器)、光盘、SSD(Solid State Drive：固态驱动器)等与辅助存储装置。除此之外，EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)等闪存也可以对应于辅助存储装置。

作为由控制部15执行的程序中所使用的数据的一个例子，存储部13存储登记数据13A和筛选列表数据L1～Lm。除了这些登记数据13A、筛选列表数据L1～Lm之外，存储部13还能够存储第一相机31A、第二相机32A的拍摄数据等各种数据。此外，由于筛选列表数据L1～Lm具有根据第一相机31A的拍摄数据动态地生成的侧面，所以与生成筛选列表数据L1～Lm的功能部的说明一起后述。

登记数据13A是进行了规定的登记处理、例如利用者登记的数据。例如，登记数据13A能够采用按照N个利用者、例如进行了利用者登记的登记者的每个识别信息对登记面部信息和登记手掌静脉信息建立有对应关系的数据。作为这些登记面部信息和登记手掌静脉信息的例子，登记从在利用者登记时拍摄的拍摄数据的面部图像、静脉图像中提取的面部信息以及手掌静脉信息。此外，除了上述项目之外，登记数据13A也可以包含利用者的属性信息、例如姓名、年龄、性别等。

控制部15是进行服务器装置10的整体控制的处理部。作为一个实施方式，控制部15由CPU、MPU等硬件处理器来实现。在这里，作为处理器的一个例子，例示出CPU、MPU，但无论通用型还是专用型，都能够通过任意处理器来实现。除此之外，控制部15也可以通过ASIC、FPGA等硬连线逻辑来实现。

控制部15通过在未图示的存储器、例如RAM的工作区域上展开上述认证程序，虚拟地实现下述的处理部。如图1所示，控制部15具有第一确定部15A、生成部15B、第二确定部15C以及认证部15D。

第一确定部15A是参照存储部13中所存储的登记数据13A来确定第二模态的登记生物体信息的处理部，其中，该第二模态的登记生物体信息和与进店时面部信息的相似度满足规定基准的登记面部信息建立有对应关系。作为一个实施方式，第一确定部15A能够在从第一提取部31B接受到进店时面部信息的情况下启动。例如，第一确定部15A对登记数据13A所包含的每个登记面部信息，计算该登记面部信息与由第一提取部31B提取出的进店时面部信息之间的相似度。仅作为一个例子，在作为面部信息提取出嵌入矢量的情况下，相似度能够使用登记面部信息以及输入面部信息之间的汉明距离。之后，第一确定部15A确定登记数据13A所包含的登记手掌静脉信息中与进店时面部信息的相似度为上位规定数量、例如上位K(＜N)个登记面部信息中的各登记面部信息建立有对应关系的登记手掌静脉信息。由此，将登记手掌静脉信息从N个筛选到K个。

此外，在这里，作为上述的基准的一个例子，举出了确定和与进店时面部信息的相似度为上位规定数量的登记面部信息中的各登记面部信息建立有对应关系的登记手掌静脉信息的例子，但并不局限于此。例如，也能够确定与登记面部信息分别建立有对应关系的登记手掌静脉信息，其中，该登记面部信息与进店时面部信息的相似度符合规定的筛选率R_Nd、例如与登记者数N的1％等对应的上位规定比例。

生成部15B是生成筛选列表的处理部。作为一个实施方式，生成部15B生成作为标签赋予由第一提取部31B提取出的进店时面部信息，并且将由第一确定部15A确定出的登记手掌静脉信息组列表化的筛选列表数据Lj。将这样生成的筛选列表数据Lj保存至存储部13。能够在满足规定条件的情况下删除像这样保存于存储部13的筛选列表数据Lj。例如，能够删除在认证或者结账中使用过的筛选列表数据Lj、或者在保存后经过一定期间、例如1小时的情况下删除筛选列表数据Lj、或者在成为定期时刻、例如闭店时刻的情况下删除筛选列表数据L1～Lm。另外，筛选列表数据Lj并非一定要删除，也能够在认证或者结账中使用后的筛选列表数据和未使用的筛选列表数据之间使用标志加以区别。

第二确定部15C是基于结账时面部信息与进店时面部信息之间的相似度来确定使用任意的进店时面部信息筛选出的登记生物体信息组的处理部。作为一个实施方式，第二确定部15C对存储部13中所存储的每个筛选列表数据L1～Lm，计算被赋予为该筛选列表数据Lj的标签的进店时面部信息与由第二提取部32B提取出的结账时面部信息的相似度。之后，第二确定部15C将筛选列表数据L1～Lm中作为标签被赋予了与结账时面部信息的相似度超过规定阈值的进店时面部信息的筛选列表数据确定为第二模态的静脉认证中的对照对象的筛选列表。此外，在这里，举出了确定作为标签被赋予了与结账时面部信息的相似度最大的进店时面部信息的筛选列表数据的例子，但并不限定于此。例如，也能够确定筛选列表数据L1～Lm中作为标签被赋予了与结账时面部信息的相似度最大的进店时面部信息的筛选列表数据。

认证部15D是执行第二模态的认证处理的处理部。作为一个实施方式，认证部15D计算由第二确定部15C确定出的筛选列表数据所包含的登记手掌静脉信息组与由传感器33检测出的输入手掌静脉信息的相似度。作为这样的相似度的一个例子，能够使用通过登记手掌静脉信息和输入手掌静脉信息的图案匹配而得到的互相关。此时，在存在与输入手掌静脉的相似度为规定阈值以上的登记手掌静脉的情况下，认证部15D认证为输入手掌静脉是登记者本人。另一方面，在不存在与输入手掌静脉的相似度为规定阈值以上的登记手掌静脉的情况下，认证部15D认证为输入手掌静脉不是登记者本人。之后，认证部15D将认证结果、例如认证通过或者认证不通过通知给店铺侧***30。像这样通知的认证结果可以通过显示部35等输出。

此外，在这里，举出了服务器装置10将认证结果通知给店铺侧***30的例子，但并不局限于此。例如，服务器装置10也能够使用与被认证为是登记者本人的利用者建立有对应关系的结账信息、例如***、借记卡、电子货币等来执行作为购入对象的商品的结账处理，并将结账处理结果通知给店铺侧***30。除此之外，服务器装置10也能够向在服务器装置10的内部或者外部执行结账处理的应用程序传送认证结果。

[处理流程]

接着，对本实施例的服务器装置10的处理流程进行说明。以下，在对由服务器装置10执行的(1)第一确定处理的进行了说明后，对(2)第二确定处理的进行说明。

(1)第一确定处理

图5是表示实施例1的第一确定处理的控制顺序的一个例子的图。仅作为一个例子，该处理能够以由第一相机31A进行拍摄的单位来执行，例如以帧为单位来执行。

如图5所示，若获取第一相机31A的拍摄数据(步骤S101)，则第一提取部31B从在步骤S101中获取的拍摄数据所包含的面部图像中提取面部的特征量(步骤S102)。接着，第一提取部31B将在步骤S102中提取出的面部的特征量作为进店时面部信息通知给服务器装置10(步骤S103)。

接着，第一确定部15A对登记数据13A所包含的每个登记面部信息，进行该登记面部信息与在步骤S103中通知的进店时面部信息的对照(步骤S104)。然后，第一确定部15A确定登记数据13A所包含的登记手掌静脉信息中和与进店时面部信息的相似度为上位规定数量、例如上位K(＜N)个登记面部信息中的各登记面部信息建立有对应关系的登记手掌静脉信息(步骤S105)。

之后，生成部15B生成作为标签赋予在步骤S103中通知的进店时面部信息，并且将在步骤S105中确定出的登记手掌静脉信息组列表化而成的筛选列表数据Lj(步骤S106)。然后，生成部15B将在步骤S106中生成的筛选列表数据Lj保存至存储部13(步骤S107)，并结束处理。

(2)第二确定处理

图6是表示实施例1的第二确定处理的控制顺序的一个例子的图。仅作为一个例子，该处理能够以由第二相机32A进行拍摄的单位来执行，例如以帧为单位来执行。

如图6所示，若获取第二相机32A的拍摄数据(步骤S301)，则第二提取部32B从在步骤S301中获取的拍摄数据所包含的面部图像中提取面部的特征量(步骤S302)。接着，第二提取部32B将在步骤S302中提取出的面部的特征量作为结账时面部信息通知给服务器装置10(步骤S303)。

以下，在执行上述步骤S303后，并列执行由服务器装置10执行的步骤S304A和步骤S305A的处理以及由店铺侧***30执行的步骤S304B和步骤S305B的处理。

例如，在步骤S304A中，第二确定部15C对存储部13中所存储的筛选列表数据L1～Lm中的每个筛选列表数据，对照作为该筛选列表数据Lj的标签被赋予的进店时面部信息与在步骤S302中通知的结账时面部信息。

之后，第二确定部15C将筛选列表数据L1～Lm中作为标签被赋予了与结账时面部信息的相似度超过规定阈值的进店时面部信息的筛选列表数据确定为第二模态的静脉认证中的对照对象的筛选列表(步骤S305A)。

另一方面，与步骤S304A以及步骤S305A并列地、传感器33从传感器33的拍摄数据所包含的手掌静脉图像中检测手掌静脉的特征量(步骤S304B)。然后，传感器33将在步骤S304B中检测出的手掌静脉的特征量作为输入手掌静脉信息通知给服务器装置10(步骤S305B)。

然后，认证部15D基于在步骤S305A中确定出的筛选列表数据所包含的登记手掌静脉信息组和在步骤S305B中通知的输入手掌静脉信息，来执行认证输入手掌静脉信息是否为登记者本人的认证处理(步骤S306)。之后，认证部15D将步骤S306的认证结果通知给店铺侧***30(步骤S307)。

此时，当在步骤S307中通知的认证结果为认证通过、即认证为输入手掌静脉是登记者本人的情况下(在步骤S308中为“是”)，店铺侧***30的终端32执行如下处理。即，终端32使用与被认证为是登记者本人的利用者建立有对应关系的结账信息、例如***、借记卡、电子货币等执行作为购入对象的商品的结账处理(步骤S309)，并结束处理。

此外，当在步骤S307中通知的认证结果为认证不通过、即认证为输入手掌静脉不是登记者本人的情况下(在步骤S308中为“否”)，不执行步骤S309的结账处理，直接结束处理。

[效果的一个侧面]

如上所述，本实施例的多生物体认证服务将按每个进店时面部信息筛选出的登记手掌静脉信息组中的使用与结账时面部信息相似的进店时面部信息筛选出的登记手掌静脉信息组与输入手掌静脉信息进行对照。因此，在本实施例的多生物体认证服务中，能够省略和以与结账时面部信息不相似的进店时面部信息筛选出的生物体信息组的对照。因此，根据本实施例的多生物体认证服务，能够实现减少认证时间。

实施例2

下面，对与以上公开的装置相关的实施例进行了说明，但除了上述实施例之外，本发明也可以以各种不同的方式来实施。因此，以下，对本发明所包含的其他实施例进行说明。

[使用所需时间的排序]

在上述实施例1中，举出了结账时面部信息和各筛选列表的进店时面部信息的对照按照进入店铺3的顺序，即，按照拍摄用于进店时面部信息的提取的面部图像的顺序来进行的例子，但也可以并非一定要按照进入店铺3的顺序。

例如，服务器装置10能够与每一个利用者建立对应关系地存储从第一相机31A拍摄该利用者的面部图像到第二相机32A拍摄该利用者的面部图像为止的所需时间。仅作为一个例子，服务器装置10能够计算生成筛选列表数据的时间与使用结账时面部信息将该筛选列表数据确定为第二模态的生物体认证中的对照对象的时间的时间差，作为上述所需时间。能够将像这样计算出的所需时间与利用者的识别信息建立对应关系地存储至登记数据13A。此时，在登记数据13A中已经保存有初始值、例如NULL值以外的值的情况下，将计算值和保存值的统计值，例如平均值、中央数作为角即可。

在这样的所需时间的管理下，在生成了新的筛选列表数据的情况下，服务器装置10对包含新的筛选列表数据Lj在内的m个筛选列表数据L1～Lm中的每个筛选列表数据，从登记数据13A中获取与该筛选列表的进店时面部信息的相似度最大的登记面部信息建立有对应关系的所需时间。然后，服务器装置10将m个筛选列表数据L1～Lm按照所需时间的升序排序。然后，服务器装置10将按照所需时间的升序排序后的m个筛选列表数据L1～Lm保存至存储部13。

图7是表示应用例的第一确定处理的控制顺序的一个例子的图。在图7中，对与图5所示的处理相同的处理赋予相同的步骤编号，并且对与图5所示的处理不同的处理赋予新的步骤编号。此外，在这里，省略与图5所示的处理相同的处理的说明，仅对不同的部分进行说明。

即，当在步骤S106中生成了新的筛选列表数据Lj后，生成部15B针对包含新的筛选列表数据Lj在内的m个筛选列表数据L1～Lm中的每个筛选列表数据，从登记数据13A获取和与该筛选列表的进店时面部信息的相似度最大的登记面部信息建立有对应关系的所需时间，并将m个筛选列表数据L1～Lm按照所需时间的升序排序(步骤S501)。

之后，生成部15B将按照所需时间的升序排序后的m个筛选列表数据L1～Lm保存于存储部13(步骤S502)，并结束处理。

通过图7所示的步骤S501以及步骤S502的处理，在存储部13，从所需时间短的筛选列表数据起，按顺序存储m个筛选列表数据L1～Lm。由此，第二确定部15C在图6所示的步骤S304A中，能够按照所需时间短的顺序进行结账时面部信息和各筛选列表的进店时面部信息的对照。

图8是表示排序后的筛选列表数据的一个例子的图。在图8中，示出按照所需时间的升序对图4所示的筛选列表数据L1～L3进行排序后的数据。在图8中，仅作为一个例子，示出了所需时间的大小关系为“筛选列表数据L3＜筛选列表数据L1＜筛选列表数据L2”的情况。

如图8所示，在按照所需时间的升序排序后的筛选列表数据L1～L3中，结账时面部信息f_{face2_U3}按照筛选列表数据L3的进店时面部信息f_{face1_U3}、筛选列表数据L1的进店时面部信息f_{face1_U1}、筛选列表数据L2的进店时面部信息f_{face1_U2}的顺序进行对照。在该情况下，在结账时面部信息f_{face2_U3}和进店时面部信息f_{face1_U3}的对照时，结账时面部信息f_{face2_U3}以及进店时面部信息f_{face1_U3}的相似度超过阈值。因此，与图4所示的例子相比，能够省略结账时面部信息f_{face2_U3}与筛选列表数据L1的进店时面部信息f_{face1_U1}以及筛选列表数据L2的进店时面部信息f_{face1_U2}的对照。

如上所述，通过将m个筛选列表数据L1～Lm按照所需时间的升序排序，能够缩短结账时面部信息和各筛选列表的进店时面部信息的对照时间。此外，在这里，列举出在向存储部13保存时执行排序的例子，但并非一定在保存时执行排序，也能够在参照图6所示的步骤S304A时执行排序。

[应用于单机]

在上述实施例1中，列举出包含服务器装置10以及店铺侧***30在内的多生物体认证服务的功能通过客户端服务器***来工作的例子，但上述多生物体认证服务也可以通过单机来工作。

[模态的应用例]

在上述实施例1中，列举出第二模态是手掌静脉的例子，但各模态并不限定于特定的认证部位。例如，第二模态也可以应用指纹、虹膜等其他认证部位。

[用例的应用例]

在上述实施例1中，作为上述多生物体认证服务的用例的一个例子例示了空手结账，但也能够将上述多生物体认证服务应用于金融机构中的ATM(Automatic TellerMachine：自动柜员机)的利用、入退室管理等其他用例。

[认证程序]

另外，在上述实施例中说明的各种处理能够通过在个人计算机、工作站等计算机执行预先准备好的程序来实现。因此，以下，使用图9，对执行上述实施例1以及实施例2的认证程序的计算机的一个例子进行说明。

图9是表示计算机的硬件构成例的图。如图9所示，计算机100具有第一相机110a、第二相机110b、传感器110c、显示器120以及通信部130。该计算机100还具有CPU150、ROM160、HDD170以及RAM180。这些110～180的各部经由总线140连接。

如图9所示，在HDD170存储发挥与上述实施例1所示的第一确定部15A、生成部15B、第二确定部15C以及认证部15D相同的功能的认证程序170a。该认证程序170a与图1所示的第一确定部15A、生成部15B、第二确定部15C以及认证部15D的各构成要素相同，也可以统合或者分离。即，在HDD170中，也可以不一定存储上述实施例1所示的所有数据，只要将用于处理的数据存储于HDD170即可。

在这样的环境下，CPU150从HDD170读出认证程序170a后在RAM180展开。其结果是，如图9所示，认证程序170a作为认证工序180a发挥功能。该认证工序180a在RAM180所具有的存储区域中的被分配给认证工序180a的区域将从HDD170读出的各种数据展开，使用该展开的各种数据来执行各种处理。例如，作为由认证工序180a执行的处理的一个例子，包含图5～图7所示的处理等。此外，在CPU150中，并非一定是上述实施例1所示的所有处理部都动作，虚拟地实现与作为执行对象的处理对应的处理部即可。

此外，上述认证程序170a并非一定最初就存储于HDD170、ROM160。例如，也可以在***至计算机100的软盘、所谓的FD、CD－ROM、DVD盘、光磁盘、IC卡等“可移动物理介质”中存储各程序。然后，计算机100也可以从这些可移动物理介质获取各程序并执行。另外，也可以在经由公用线路、网络、LAN、WAN等与计算机100连接的其他计算机或者服务器装置等存储各程序，计算机100从这些其他计算机或者服务器装置获取各程序并执行。

附图标记说明

1…认证***；10…服务器装置；11…通信接口部；13…存储部；13A…登记数据；L1～Lm…筛选列表数据；15…控制部；15A…第一确定部；15B…生成部；15C…第二确定部；15D…认证部；30…店铺侧***；31A…第一相机；31B…第一提取部；32…终端；32A…第二相机；32B…第二提取部；33…传感器；35…显示部。

Claims (18)

1.一种认证方法，其特征在于，

由计算机执行如下处理：

若接受由第一相机拍摄的第一拍摄数据和第二拍摄数据，则参照存储部来确定第一生物体信息组和第二生物体信息组，其中，上述存储部将人的生物体信息与上述人的面部图像的特征信息建立对应关系地进行存储，上述第一生物体信息组包含多个生物体信息，上述多个生物体信息和与上述第一拍摄数据所包含的第一面部图像的特征信息的相似度满足基准的特征信息建立有对应关系，上述第二生物体信息组包含多个生物体信息，上述多个生物体信息和与上述第二拍摄数据所包含的第二面部图像的特征信息的相似度满足基准的特征信息建立有对应关系；

若接受由第二相机拍摄的第三拍摄数据，则基于上述第三拍摄数据所包含的第三面部图像的特征信息与上述第一面部图像的特征信息以及上述第二面部图像的特征信息中的每个特征信息的相似度，来确定上述第一生物体信息组和上述第二生物体信息组中的任意一个生物体信息组；

若获取由传感器检测出的生物体信息，则进行基于确定出的上述生物体信息组所包含的多个生物体信息和获取到的上述生物体信息的认证处理。

2.根据权利要求1所述的认证方法，其中，

上述计算机还执行生成第一列表数据和第二列表数据的处理，其中，上述第一列表数据是向上述第一生物体信息组的列表中赋予了上述第一面部图像的特征信息的标签而成的数据，上述第二列表数据是向上述第二生物体信息组的列表中赋予了上述第二面部图像的特征信息的标签而成的数据，

上述确定的处理包含确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度满足基准的标签的列表数据所包含的生物体信息组的处理。

3.根据权利要求2所述的认证方法，其中，

上述确定的处理包含确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度超过阈值的标签的列表数据所包含的生物体信息组的处理。

4.根据权利要求2所述的认证方法，其中，

上述确定的处理包含确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度最大的标签的列表数据所包含的生物体信息组的处理。

5.根据权利要求2所述的认证方法，其中，

上述存储部还存储从上述人的面部图像被上述第一相机拍摄到上述人的面部图像被上述第二相机拍摄的所需时间，

上述确定的处理包含按照上述所需时间的升序来进行上述第三面部图像的特征信息与上述第一列表数据的标签以及上述第二列表数据的标签中的每个标签的对照的处理。

6.根据权利要求1所述的认证方法，其特征在于，

上述认证处理是手掌静脉的认证处理。

7.一种认证程序，其特征在于，

使计算机执行如下处理：

若接受由第一相机拍摄的第一拍摄数据和第二拍摄数据，则参照存储部来确定第一生物体信息组和第二生物体信息组，其中，上述存储部将人的生物体信息与上述人的面部图像的特征信息建立对应关系地进行存储，上述第一生物体信息组包含多个生物体信息，上述多个生物体信息和与上述第一拍摄数据所包含的第一面部图像的特征信息的相似度满足基准的特征信息建立有对应关系，上述第二生物体信息组包含多个生物体信息，上述多个生物体信息和与上述第二拍摄数据所包含的第二面部图像的特征信息的相似度满足基准的特征信息建立有对应关系；

若接受由第二相机拍摄的第三拍摄数据，则基于上述第三拍摄数据所包含的第三面部图像的特征信息与上述第一面部图像的特征信息以及上述第二面部图像的特征信息中的每个特征信息的相似度，来确定上述第一生物体信息组和上述第二生物体信息组中的任意一个生物体信息组；

若获取由传感器检测出的生物体信息，则进行基于确定出的上述生物体信息组所包含的多个生物体信息和获取到的上述生物体信息的认证处理。

8.根据权利要求7所述的认证程序，其中，

还使上述计算机执行生成第一列表数据和第二列表数据的处理，其中，上述第一列表数据是向上述第一生物体信息组的列表中赋予了上述第一面部图像的特征信息的标签而成的数据，上述第二列表数据是向上述第二生物体信息组的列表中赋予了上述第二面部图像的特征信息的标签而成的数据，

上述确定的处理包含确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度满足基准的标签的列表数据所包含的生物体信息组的处理。

9.根据权利要求8所述的认证程序，其中，

上述确定的处理包含确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度超过阈值的标签的列表数据所包含的生物体信息组的处理。

10.根据权利要求8所述的认证程序，其中，

上述确定的处理包含确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度最大的标签的列表数据所包含的生物体信息组的处理。

11.根据权利要求8所述的认证程序，其中，

上述存储部还存储从上述人的面部图像被上述第一相机拍摄到上述人的面部图像被上述第二相机拍摄的所需时间，

上述确定的处理包含按照上述所需时间的升序来进行上述第三面部图像的特征信息与上述第一列表数据的标签以及上述第二列表数据的标签中的每个标签的对照的处理。

12.根据权利要求7所述的认证程序，其特征在于，

上述认证处理是手掌静脉的认证处理。

13.一种认证装置，其特征在于，具有：

第一确定部，若接受由第一相机拍摄的第一拍摄数据和第二拍摄数据，则参照存储部来确定第一生物体信息组和第二生物体信息组，其中，上述存储部将人的生物体信息与上述人的面部图像的特征信息建立对应关系地进行存储，上述第一生物体信息组包含多个生物体信息，上述多个生物体信息和与上述第一拍摄数据所包含的第一面部图像的特征信息的相似度满足基准的特征信息建立有对应关系，上述第二生物体信息组包含多个生物体信息，上述多个生物体信息和与上述第二拍摄数据所包含的第二面部图像的特征信息的相似度满足基准的特征信息建立有对应关系；

第二确定部，若接受由第二相机拍摄的第三拍摄数据，则基于上述第三拍摄数据所包含的第三面部图像的特征信息与上述第一面部图像的特征信息以及上述第二面部图像的特征信息中的每个特征信息的相似度，来确定上述第一生物体信息组以及上述第二生物体信息组中的任意一个生物体信息组；以及

认证部，若获取由传感器检测出的生物体信息，则进行基于确定出的上述生物体信息组所包含的多个生物体信息和获取到的上述生物体信息的认证处理。

14.根据权利要求13所述的认证装置，其中，

还具有生成部，上述生成部生成第一列表数据和第二列表数据，其中，上述第一列表数据是向上述第一生物体信息组的列表中赋予了上述第一面部图像的特征信息的标签而成的数据，上述第二列表数据是向上述第二生物体信息组的列表中赋予了上述第二面部图像的特征信息的标签而成的数据，

上述第二确定部确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度满足基准的标签的列表数据所包含的生物体信息组。

15.根据权利要求14所述的认证装置，其中，

上述第二确定部确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度超过阈值的标签的列表数据所包含的生物体信息组。

16.根据权利要求14所述的认证装置，其中，

上述第二确定部确定被赋予了上述第三面部图像的特征信息与上述第一列表数据的标签的相似度和上述第三面部图像的特征信息与上述第二列表数据的标签的相似度中的相似度最大的标签的列表数据所包含的生物体信息组。

17.根据权利要求14所述的认证装置，其中，

上述存储部还存储从上述人的面部图像被上述第一相机拍摄到上述人的面部图像被上述第二相机拍摄的所需时间，

上述第二确定部包含按照上述所需时间的升序来进行上述第三面部图像的特征信息与上述第一列表数据的标签以及上述第二列表数据的标签中的每个标签的对照的处理。

18.根据权利要求13所述的认证装置，其特征在于，

上述认证处理是手掌静脉的认证处理。

Images