CN113646812A - 费用计算和支付装置以及无人值守商店*** - Google Patents

Abstract

问题：本发明使商品登记和费用计算以及费用的支付所用的作业自动化，由此在减少用户劳动的同时实现无人值守商店。解决方案：本发明包括：主体，其设置有放置商品的放置部(41)；第一摄像头(201)，其拍摄放置部放置的商品的图像；第二摄像头(202)，其拍摄用户面部的图像；控制器，其基于第一摄像头获取到的商品图像通过识别作为对象的商品来进行与费用计算有关的处理并基于第二摄像头获取到的面部图像来进行与面部认证有关的处理；显示器(42)，其显示控制器获取到的费用计算结果和支付结果；以及投影仪(211)，其将图像投影到放置部，显示器布置在放置部附近，第二摄像头拍摄观看显示器的用户面部的图像，控制器基于第一摄像头拍摄到的图像检测商品的位置并使投影仪将规定图像投影到商品附近。

Description

费用计算和支付装置以及无人值守商店***

技术领域

本发明涉及费用计算和支付装置以及使用该费用计算和支付装置的无人值守商店***，该费用计算和支付装置用于进行与用户从售货区域中选择的商品的费用计算和支付所用的面部认证有关的处理。

背景技术

在诸如便利店和超市等的零售店中，店员进行在POS终端中登记顾客将要购买的商品的作业，之后POS终端进行费用计算的处理并将商品的费用呈现给顾客，并且店员进行用以接收顾客所支付的款项的结账(支付)的作业，但近年来，提出了用于使店员的作业自动化的各种技术。

作为这样的用于使店员的作业自动化的技术，传统上，已知有如下的技术，该技术通过使用图像识别技术来识别商品，登记要进行费用计算所针对的商品，并进行费用计算(参见专利文献1)。此外，在该技术中，投影仪将与结账处理有关的图像投影到商品所用的放置平台上，由此提高店员的作业的效率。

现有技术文献

专利文献

专利文献1：WO2017/126253A1

发明内容

发明要解决的问题

顺便提及，近年来，由于诸如人才资源不足等的原因而提出无人值守商店。然而，利用传统技术，尽管使商品登记和费用计算的作业的一部分自动化，但与费用支付有关的作业由店员进行，并且不得不说，远未达到无人值守商店的实现，并且不能实现无人值守商店。此外，近年来，在诸如便利店等的商店中正在引入自助结账和智能电话支付***，但这些技术仅将店员的作业的一部分转移给用户以减少店员的作业，因而存在用户的劳动增加的问题，并且期望可以在实现无人值守商店的同时减少用户的劳动的技术。

有鉴于上述，本发明的主要目的是提供一种费用计算和支付装置以及无人值守商店***，该费用计算和支付装置以及无人值守商店***可以使商品登记和费用计算以及费用支付所用的作业自动化，由此在减少用户的劳动的同时实现无人值守商店。

用于解决问题的方案

根据本发明的费用计算和支付装置是一种费用计算和支付装置，用于进行与用户从售货区域中选择的商品的费用计算和支付所用的面部认证有关的处理，所述费用计算和支付装置包括：主体，其设置有用户放置商品的放置部；第一摄像头，其被配置为拍摄所述放置部上所放置的商品的图像；第二摄像头，其被配置为拍摄用户的面部的图像；控制器，其被配置为基于通过所述第一摄像头的摄像所获取到的商品图像通过识别作为对象的商品来进行与费用计算有关的处理，并且基于通过所述第二摄像头的摄像所获取到的面部图像来进行与面部认证有关的处理；显示器，用于显示所述控制器所获取到的费用计算结果和支付结果；以及投影仪，用于将图像投影到所述放置部上，其中，所述显示器布置在所述放置部的附近，所述第二摄像头被配置为拍摄观看所述显示器的用户的面部的图像，以及所述控制器基于所述第一摄像头所拍摄到的图像来检测商品的位置，并且使所述投影仪将规定图像投影到商品的附近。

此外，根据本发明的无人值守商店***是一种无人值守商店***，其配备有上述的费用计算和支付装置，所述无人值守商店***包括服务器装置，所述服务器装置经由网络连接至所述费用计算和支付装置，其中，所述服务器装置基于通过所述第二摄像头的摄像所获取到的面部图像来进行面部认证，以及在利用所述服务器装置的面部认证成功的情况下，所述费用计算和支付装置进行与支付有关的处理。

发明的效果

根据本发明，使用第一摄像头所拍摄到的商品图像的商品识别而使所购买商品的登记自动化，因此用户仅需粗略地将商品并排放置在放置部上，并且不必进行如自助结账和智能电话支付***那样的麻烦操作。此外，由于可以从正面拍摄到用户的面部的图像，因此可以利用适当获取到的面部图像来可靠地进行支付所用的面部认证。另外，由于投影仪将规定图像投影到商品的附近，因此可以辅助用户的与费用计算有关的操作。例如，通过投影表示可以识别的商品的规定图像，用户可以容易地确认不能识别的商品。因而，可以减少商品识别和费用计算以及费用的支付所用的作业，由此在减少用户的劳动的同时实现无人值守商店。

附图说明

图1是根据本实施例的无人值守商店***的整体结构图；

图2是示出无人值守商店的布局的平面图；

图3是结账柜台2的整体立体图；

图4是示出如从斜下方看到的上壁部34的立体图；

图5是如从上方看到的顶板部33的平面图；

图6是示出结账柜台2的示意结构的框图；

图7是示出进店检查器1的示意结构的框图；

图8是示出进店检查器1的显示器82上所显示的画面的说明图；

图9是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图10是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图11是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图12是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图13是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图14是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图15是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图；

图16是示出结账柜台2的触摸面板显示器42上所显示的画面的层级结构的说明图；

图17是示出结账柜台2的触摸面板显示器42上所显示的画面的层级结构的说明图；

图18是示出用户登记时的用户终端11的操作过程的流程图；

图19是示出进店检查器1的操作过程的流程图；

图20是示出结账柜台2的操作过程的流程图；

图21是示出结账柜台2的操作过程的流程图；

图22是示出离店检查器3的操作过程的流程图；

图23示出根据本实施例的变形例的结账柜台2的侧视图；

图24是示出根据本实施例的变形例的结账柜台2的结构的说明图；

图25示出根据本实施例的其它变形例的结账柜台2的侧视图；以及

图26是示出根据本实施例的其它变形例的结账柜台2的结构的说明图。

具体实施方式

为了解决上述问题而作出的本发明的第一方面提供一种费用计算和支付装置，用于进行与用户从售货区域中选择的商品的费用计算和支付所用的面部认证有关的处理，所述费用计算和支付装置包括：主体，其设置有用户放置商品的放置部；第一摄像头，其被配置为拍摄所述放置部上所放置的商品的图像；第二摄像头，其被配置为拍摄用户的面部的图像；控制器，其被配置为基于通过所述第一摄像头的摄像所获取到的商品图像通过识别作为对象的商品来进行与费用计算有关的处理，并且基于通过所述第二摄像头的摄像所获取到的面部图像来进行与面部认证有关的处理；显示器，用于显示所述控制器所获取到的费用计算结果和支付结果；以及投影仪，用于将图像投影到所述放置部上，其中，所述显示器布置在所述放置部的附近，所述第二摄像头被配置为拍摄观看所述显示器的用户的面部的图像，以及所述控制器基于所述第一摄像头所拍摄到的图像来检测商品的位置，并且使所述投影仪将规定图像投影到商品的附近。

根据这一点，通过使用第一摄像头所拍摄到的商品图像的商品识别来使购买商品的登记自动化，因此用户仅需粗略地将商品并排放置在放置部上，并且不必进行如自助结账和智能电话支付***那样的麻烦操作。另外，由于可以从正面拍摄到用户的面部的图像，因此可以利用适当获取到的面部图像来可靠地进行支付所用的面部认证。另外，由于投影仪将规定图像投影到商品的附近，因此可以辅助用户的与费用计算有关的操作。例如，通过投影表示可以识别的商品的规定图像，用户可以容易地确认不能识别的商品。因而，可以使商品识别和费用计算以及费用的支付所用的作业自动化，由此在减少用户的劳动的同时实现无人值守商店。

在本发明的第二方面中，所述第一摄像头是多个第一摄像头中的作为被配置为从上方拍摄所述放置部上所放置的商品的图像的商品识别所用的摄像头的第一摄像头。

根据这一点，即使当多个商品放置在放置部上时，也可以获取到所有商品都出现的拍摄图像。特别地，如果第一摄像头被设置成从斜上方拍摄商品的图像，则除了可以拍摄到商品的上面的图像之外，还可以拍摄到商品的侧面的图像，因此可以提高商品识别的准确度。

在本发明的第三方面中，所述第一摄像头是多个第一摄像头中的作为被配置为从上方拍摄所述放置部上所放置的商品的图像的商品位置检测所用的摄像头的第一摄像头。

根据这一点，可以准确地检测到商品的位置并且利用投影仪适当地投影规定图像。

在本发明的第四方面中，所述第一摄像头是多个第一摄像头中的作为被配置为从侧方拍摄所述放置部上所放置的商品的图像的商品识别所用的摄像头的第一摄像头。

根据这一点，在长方形且在侧面具有特征的商品(例如长方形且在侧面贴附有标签的商品(诸如PET瓶装饮料等))的情况下，由于可以获取到覆盖商品的侧面的拍摄图像，因此可以提高商品识别的准确度。

在本发明的第五方面中，所述第二摄像头是用于从侧方拍摄所述放置部上所放置的商品的图像的商品识别所用的摄像头。

根据这一点，第二摄像头兼用作第一摄像头，因此可以在无需增加摄像头的数量的情况下获取从各个方向拍摄到的商品的图像。

在本发明的第六方面中，所述主体包括：顶板部，在所述顶板部上设置有所述放置部；以及储存部，其设置在所述顶板部的下方，以储存商品的附属品。

根据这一点，用户可以从储存部中容易地取出商品的附属品、即作为商品的附属而提供给用户的物品。

本发明的第七方面提供一种无人值守商店***，其配备有根据本发明的第一方面所述的费用计算和支付装置，所述无人值守商店***包括服务器装置，所述服务器装置经由网络连接至所述费用计算和支付装置，其中，所述服务器装置基于通过所述第二摄像头的摄像所获取到的面部图像来进行面部认证，以及在利用所述服务器装置的面部认证成功的情况下，所述费用计算和支付装置进行与支付有关的处理。

根据这一点，与本发明的第一方面类似，可以使商品登记和费用计算以及费用的支付所用的作业自动化，由此在减少用户的劳动的同时实现无人值守商店。

以下将参考附图来说明本发明的实施例。

图1是根据本实施例的无人值守商店***的总体结构图。

该无人值守商店***用于使得诸如便利店或超市等的零售商店无人值守、或者实现不存在用于进行费用计算和接收支付的店员的零售商店。

无人值守商店设置有进店检查器1(第一面部认证机)、结账柜台2(费用计算和支付装置、第二面部认证机)、离店检查器3(第三面部认证机)和登记器4(面部登记机)。

此外，无人值守商店***包括用户终端11、支付服务器12、用户管理服务器13、商品学习服务器14、面部认证服务器15、DB服务器16(信息存储部)和分析服务器17(分析装置)。

用户终端11、支付服务器12、用户管理服务器13、商品学习服务器14、面部认证服务器15、DB服务器16和分析服务器17以及无人值守商店中所设置的进店检查器1、结账柜台2、离店检查器3和登记器4经由诸如因特网和LAN等的网络彼此连接。

注意，用户管理服务器13、商品学习服务器14、面部认证服务器15、DB服务器16和分析服务器17可以安装在无人值守商店中，例如安装在附属于售货区域的后院中，但也可以安装在远离无人值守商店的场所，例如安装在无人值守商店的运营方的总部中。

进店检查器1进行与用于许可用户进入商店的面部认证有关的处理，并且根据面部认证结果来控制入口门5(门装置)的打开和关闭。在本实施例中，作为在用户由于面部认证失败而不能进入商店的情况下的备用方案，进行口令认证。

结账柜台2进行与用户在无人值守商店的售货区域中选择的商品的费用计算和支付(费用支付)所用的面部认证有关的处理。在本实施例中，作为与费用计算有关的处理，基于商品的拍摄图像通过物体识别来辨认商品(商品识别处理)，并且基于各商品的价格(单价)和数量来计算要支付的总金额(费用计算)。此外，请求面部认证服务器15进行面部认证处理作为与支付有关的处理，并且如果面部认证成功，则请求支付服务器12进行支付处理。

离店检查器3进行与用于确认用户离开商店的面部认证有关的处理，并且根据面部认证结果来控制出口门6的打开和关闭。

登记器4是用户进行与用户使用本***所需的用户登记(会员信息和面部图像的登记)有关的操作所利用的装置，并且例如由安装了用户登记所用的应用的平板终端构成。

与登记器4类似，用户终端11是用户进行与用户使用本***所需的用户登记(会员信息和面部图像的登记)有关的操作、并且管理购买历史(收据信息)所利用的装置，并且由安装有用户应用的智能电话或平板终端构成。

支付服务器12是由支付服务公司(信用公司等)运行的服务器。该支付服务器12响应于来自结账柜台2的支付请求，执行与用户所购买的商品的费用有关的支付处理。注意，支付服务器12可以是由支付代理公司(支付代理服务器)运行的服务器。

用户管理服务器13用作管理用户的登录并进行口令认证的登录服务器。此外，用户管理服务器13用作在结账柜台2和支付服务器12之间连接的支付接口服务器。

此外，用户管理服务器13管理与访问商店的用户(待在商店中的用户)有关的商店访问者列表。该商店访问者列表可以是基于进入商店的用户(即，通过由进店检查器1进行的进入商店时的面部认证所获取到的用户)和离开商店的用户(即，通过由离店检查器3进行的离开商店时的面部认证所获取到的用户)所生成的。

商品学习服务器14通过诸如深度学习等的机器学习来构建结账柜台2中所安装的商品识别引擎。在该商品学习服务器14中，以通过拍摄要登记的商品的图像而预先获取到的商品图像作为输入信息、并且以各商品的特征信息作为输出信息，来进行机器学习，由此构建商品识别所用的数据库。

面部认证服务器15包括面部管理服务器25和面部匹配服务器26。面部管理服务器25累积并管理所登记的用户的诸如姓名和面部信息(面部ID、面部图像)等的信息。面部匹配服务器26响应于来自进店检查器1、结账柜台2和离店检查器3的对面部认证的请求而进行面部认证。在该面部认证中，面部匹配服务器26从进店检查器1、结账柜台2和离店检查器3获取对象用户的面部图像，根据该面部图像生成对象用户的面部特征，并且通过将对象用户的面部特征与自身装置中所存储的登记者(已登记的用户)的面部特征进行比较来进行面部匹配，由此判断对象用户是否是登记者其中之一(1对N认证)。注意，还可以获取用户管理服务器13所管理的商店访问者列表，并在将登记者缩小到商店访问者之后进行面部认证。

DB服务器16累积并管理各种信息。具体地，作为用户管理信息，在数据库中登记诸如各用户的支付ID、面部ID、用户ID、口令和局名码等的信息。此外，作为商品主信息，在数据库中登记诸如各商品的标识信息(商品名称、商品代码等)等的信息。此外，作为购买日志信息，在数据库中登记诸如各用户的用户ID以及该用户所购买的各商品的名称和价格等的信息。

分析服务器17基于DB服务器16中所累积的信息来进行各种分析处理。具体地，分析服务器17根据访问商店的各用户购买或未购买商品来进行分析处理。例如，分析服务器17根据规定标准(按星期几、时间带等)计算购买者和未购买者之间的比例。

接着，将说明无人值守商店。图2是示出无人值守商店的布局的平面图。

无人值守商店设置有出入口、售货区域、结账区域和登记区域。在出入口的附近，设置有由分隔壁分隔的入口通道和出口通道。在售货区域中设置有展示架。登记区域设置在与结账区域相邻的位置，并且可从出入口直接进入。

进店检查器1安装在出入口的附近以从内侧拍摄出入口的图像。入口门5被安装成能够关闭入口通道。离店检查器3被安装成面向结账柜台2。出口门6被安装成能够关闭出口通道。在结账区域中，安装有多个结账柜台2。在登记区域中，安装有登记器4。

当用户通过出入口进入商店时，进店检查器1拍摄用户的面部的图像并进行面部认证，并且如果面部认证成功，则入口门5打开使得用户可以进入售货区域。然后，用户检查售货区域中的展示架上的商品，并从展示架取下要购买的商品。随后，用户移动到结账区域并在结账柜台2处进行费用计算和支付的操作。此时，在将用户所选择的商品放置在结账柜台2上时，进行费用计算，然后进行面部认证和口令认证。如果面部认证和口令认证成功，则执行支付。注意，在该支付处理中，可以省略口令认证。之后，用户移动到出口通道以离开商店。此时，离店检查器3拍摄用户的面部的图像并进行面部认证，并且如果面部认证成功，则出口门6打开，使得用户可以通过出入口离开商店。

这里，离店检查器3在完成了费用计算和支付的用户转身时拍摄用户的面部的图像。由此，可以从正面仅拍摄完成了费用计算和支付的用户的面部的图像。

注意，如果离店检查器3被安装成使得可以从正面拍摄朝向出口门6移动的人物的图像，则从商店的远侧朝向出入口移动的所有人物都将出现在拍摄图像中，因此拍摄图像将处于包括除离开商店的人物以外的许多人物的不适当状态。此外，对于未结账就离开商店的人物，将在倾斜方向上拍摄到面部的图像，并且当在离店检查器3处面部认证失败并且出口门6不打开时，将优选用语音等引导用户以在离店检查器3处从正面拍摄到面部的图像。

注意，在本实施例中，关于无人值守商店进行了说明，但包括无人值守商店和有人值守商店这两者的特征的形式也是可以的。例如，可以在一个商店中安装无人值守收银机和有人值守收银机这两者。此外，可以将一个商店划分为无人值守区域和无人值守区域。

接着，将说明结账柜台2。图3是结账柜台2的整体立体图。图4是如从斜下方看到的上壁部34的立体图。图5是从上方示出顶板部33的平面图。

如图3所示，结账柜台2的主体31包括箱状部32、顶板部33、上壁部34和后壁部35。顶板部33设置在箱状部32的上侧。后壁部35被设置成从箱状部32的后侧向上突出。上壁部34被设置成如檐状从后壁部35的上端向前突出。

顶板部33设置有用户将要购买的商品(在售货区域中选择的商品)放置于的放置部41。在用户简单地将商品并排放置在放置部41上的状态下，通过物体识别来辨认所放置的商品，并且基于各商品的单价来进行费用计算或要支付的金额的计算。注意，放置部41呈碟状凹入，使得用户可以容易地掌握商品应放置于的范围。

另外，顶板部33设置有触摸面板显示器42。触摸面板显示器42显示商品识别结果、即执行费用计算所针对的商品，并且当在商品识别结果中不存在错误时，用户可以进行与面部认证和口令认证有关的操作。此外，当在商品识别结果中存在错误时，用户可以进行用于更正执行费用计算所针对的商品的操作。

此外，顶板部33设置有摄像头43。该摄像头43安装在触摸面板显示器42的附近，因此可以从正面拍摄到观看触摸面板显示器42的用户的面部的图像。摄像头43所获取的面部图像用于支付所用的面部认证的目的。

箱状部32设置有前侧开放的第一储存部46(机架)和前侧由门47闭合的第二储存部48。在第一储存部46中，储存商品的附属品。这些附属品是免费提供给用户的，并且用户可以免费将它们带回家。具体地，附属品包括购物袋和餐具(勺子、叉子等)等。在第二储存部48中，储存用于控制触摸面板显示器42和摄像头43的控制器49(PC)。

注意，第一储存部46的前侧开口可被形成为倾斜，使得第一储存部46的内部可见。由此，用户可以从斜上方容易地看到储存部中所储存的购物袋和餐具。

后壁部35设置有显示器45。该显示器45用作数字标牌，并且始终显示诸如商店指南或商品广告等的内容。

如图4所示，上壁部34设置有摄像头51。这些摄像头51拍摄顶板部33的放置部41上所放置的商品的图像。这里，设置了三个摄像头51。中央的摄像头51从正上方拍摄放置部41上所放置的商品的图像，并且这些拍摄图像用于检测放置部41上所放置的商品的位置的目的。两侧的两个摄像头51从斜上方拍摄放置部41上所放置的商品的图像，并且这些拍摄图像用于识别放置部41上所放置的商品(商品名称)的目的。

此外，上壁部34设置有投影仪52。投影仪52用于对商品要放置于的放置部41进行投影映射，并且将规定图像从正上方投影到放置部41上。在本实施例中，如图5所示，投影仪52投影包围放置部41上所放置的各个商品的框图像55。特别地，投影仪52将框图像55投影成包围商品识别成功的各个商品。由此，可以让用户知晓商品识别成功的商品，并且用户可以仅重新设置或重新布置无法识别的商品。

此外，如图4所示，在上壁部34上设置有扬声器53。扬声器53输出用于对进入商店的用户做出响应的声音。

顺便提及，在上壁部34上所设置的三个摄像头51中，中央的摄像头51被设置成从放置部41的正上方拍摄图像，使得可以准确地检测到放置部41上的商品的位置。因此，投影仪52可以基于高度准确的位置信息来将框图像55投影在适当位置处。此外，投影仪52被设置成从放置部41的正上方投影，即向正下方投影，使得光轴沿垂直方向延伸，由此可以投影清晰的图像。

接着，将说明结账柜台2的示意结构。图6是示出结账柜台2的示意结构的框图。

结账柜台2设置有触摸面板显示器42、摄像头43、显示器45、摄像头51、投影仪52、扬声器53、通信装置61、存储部62和控制器63。

触摸面板显示器42和摄像头43设置在顶板部33上，而显示器45设置在后壁部35上(参见图3)。摄像头51、投影仪52和扬声器53设置在上壁部34上(参见图4)。

通信装置61经由网络与用户管理服务器13、商品学习服务器14和面部认证服务器15进行通信。

存储部62存储由构成控制器63的处理器执行的程序。此外，存储部62存储商品主信息。具体地，存储部62存储商品的标识信息(商品名称、商品代码等)、在商品识别处理中使用的信息(即，各商品的特征信息)、在费用计算中使用的信息(即，与各商品的价格(单价)有关的信息)等。

控制器63包括商品检测器71、商品识别器72、费用计算器73、认证指示器74和支付指示器75。该控制器63由处理器构成，并且通过由处理器执行存储部62中所存储的程序来实现控制器63的各功能单元。

商品检测器71基于由被布置成拍摄放置部41的图像的摄像头51所拍摄到的图像来检测放置部41上的商品的放置。此外，当商品放置在放置部41上时，商品检测器71基于摄像头51所拍摄到的图像来检测商品的位置。

商品识别器72基于摄像头51所拍摄到的图像来识别放置部41上所放置的商品。在本实施例中，商品识别器72使用通过诸如深度学习等的机器学习所构建的商品识别引擎来在从拍摄图像切出的各商品图像中提取特征信息，并将该特征信息与预先登记的各商品的特征信息进行比较，由此获取到诸如相似度等的识别结果。

费用计算器73计算放置部41上所放置的商品的费用。即，费用计算器73获取放置部41上所放置的各商品的价格(单价)，并且合计这些商品的价格，由此计算要支付的总金额。

认证指示器74指示面部认证服务器15进行面部认证并指示用户管理服务器13进行口令认证，作为支付所用的认证。在本实施例中，采用由面部认证和口令认证构成的两因素认证以增强安全性，并且在面部认证和口令认证这两者都成功的情况下，许可支付。注意，在面部认证中，从由摄像头43拍摄到的图像中切出面部图像，并且将该面部图像发送至面部认证服务器15。此外，在口令认证中，将由用户输入的用户ID和口令发送至用户管理服务器13。

支付指示器75指示支付服务器12进行支付处理。

注意，除以上之外，结账柜台2的控制部63还进行用于基于商品检测部71所获取到的商品的位置信息来控制投影仪52以将框图像55投射到放置部41上的处理(投影映射)以及用于控制显示器45以使显示器45显示数字标牌的内容的处理。此时，内容数据是预先存储在存储部62中的或从外部(诸如内容递送服务器等)接收到的。

注意，在本实施例中，在结账柜台2中进行商品识别处理，但可以在外部服务器中进行商品识别处理。

接着，将说明进店检查器1的示意结构。图7是示出进店检查器1的示意结构的框图。

进店检查器1包括摄像头81、显示器82、扬声器83、通信装置84、接口85、存储部86和控制器87。

摄像头81从内侧拍摄出入口的图像以获取包括进入商店的用户的面部的拍摄图像。

显示器82显示用于对进入商店的用户做出响应的画面。

扬声器83输出用于对进入商店的用户做出响应的语音。

通信装置84经由网络与用户管理服务器13和面部认证服务器15进行通信。

接口85使得相对于入口门5输入和输出控制信号。

存储部86存储由构成控制器87的处理器执行的程序。

控制器87包括人物检测器91、认证指示器92和门控制器93。该控制器87由处理器构成，并且控制器87的各功能单元通过由处理器执行存储部86中所存储的程序来实现。

人物检测器91基于由被布置成拍摄出入口的图像的摄像头81拍摄到的图像而检测到人物进入商店。

认证指示器92指示面部认证服务器15进行面部认证作为进入商店所用的认证。在本实施例中，作为在用户由于面部认证失败而不能进入商店的情况下的备用方案，认证指示器92指示执行口令认证。

门控制器93根据面部认证或口令认证的结果来经由接口85控制入口门5的打开和关闭。

注意，离店检查器3的结构与进店检查器1大致相同。

接着，将说明进店检查器1的显示器82上所显示的画面。图8是示出进店检查器1的显示器82上所显示的画面的说明图。

在检测到进入商店的人物时，进店检查器1从摄像头81所拍摄到的图像中提取商店访问者的面部图像，并且使面部认证服务器15基于该面部图像进行面部认证，并且如果面部认证成功，则将图8的(A)所示的进店响应画面显示在显示器82上。

另一方面，当面部认证失败时，将图8的(B)所示的面部认证结果画面显示在显示器82上。在该面部认证结果画面中，将表示面部认证失败(“无法识别”)的消息101连同商店访问者102的面部图像、“重新认证”按钮103、“输入ID”按钮104和“取消”按钮105一起显示。

注意，与进店检查器1类似，离店检查器3使面部认证服务器15基于从拍摄图像中提取的人物的面部图像进行面部认证，并且如果面部认证成功，则将离店响应画面显示在显示器上。

接着，将说明结账柜台2的触摸面板显示器42上所显示的画面。图9至图15是示出结账柜台2的触摸面板显示器42上所显示的画面的说明图。

结账柜台2的触摸面板显示器42首先显示图9的(A)所示的费用计算引导画面。该费用计算引导画面显示用于提示用户将商品放置在结账柜台2的放置部41上的引导消息111和用于说明如何放置商品的引导图像112(图示等)。这里，当用户将商品放置在放置部41上时，在结账柜台2处进行商品识别和费用计算的处理，并且画面转变为购买商品验证画面(参见图9的(B))。

在图9的(B)所示的购买商品验证画面中，显示用于提示用户确认商品的引导消息114和表示各个商品的名称和价格的商品框115(商品显示部)。商品框115与由用户放置在放置部41上的商品、特别是通过商品识别所识别出的商品有关，并且多个商品框115并排显示。

此外，购买商品验证画面设置有费用计算结果显示部116。在该费用计算结果显示部116中，显示费用计算结果、即放置部41上所放置的商品的总数及其总金额。

此外，购买商品验证画面设置有“继续结账”按钮117、“更正商品”按钮118和“取消结账”按钮119。在这里，当操作“继续结账”按钮117时，画面转变为面部认证画面(参见图10的(A))。另一方面，当操作“更正商品”按钮118时，画面转变为逐个商品更正内容选择画面(参见图13的(A))。此外，当操作“取消结账”按钮119时，画面转变为取消画面(参见图9的(C))。同样在将商品从放置部41移除的情况下，画面转变为取消画面。

在图10的(A)所示的面部认证画面中，显示用户的拍摄图像121和用于在用户的面部未位于预定摄像区域中的情况下提示调整该面部的位置的消息122。这里，用户在看到画面上所显示的他/她自己的拍摄图像121的同时调整他/她自己的面部的位置，并且当适当拍摄到面部的图像时，将面部图像发送至面部认证服务器15，使得开始面部认证。此时，画面转变为面部认证期间的面部认证画面(参见图10的(B))。

在图10的(B)所示的面部认证画面中，显示从用户的拍摄图像中提取的面部图像123和可视地表示面部认证的进展的预加载器124。费用计算结果显示部116和“取消结账”按钮119与购买商品验证画面(参见图9的(B))中的相同。

这里，当面部认证成功时，画面转变为面部认证结果确认画面(参见图10的(C))。另一方面，当面部认证失败时，再次获取面部图像并将面部认证重复预定次数，并且如果面部认证连续失败了预定次数，则取消面部认证，并且转变为可以仅通过口令认证进行支付的模式，并且画面转变为用户ID选择画面(参见图12的(A))。

在图10的(C)所示的面部认证结果确认画面中，显示用户的面部图像123和询问用户的姓名是否正确的消息126。此外，面部认证结果确认画面设置有“是”按钮127和“错误”按钮128。这里，当操作“是”按钮127时，画面转变为口令认证画面(参见图11的(A))。当操作“错误”按钮128时，画面转变为用户ID选择画面(参见图12的(A))。

注意，在图10的(A)、(B)和(C)所示的画面中显示的费用计算结果显示部116和“取消结账”按钮119与在购买商品验证画面(参见图9的(B))中的相同。

图11的(A)所示的口令认证画面包括提示输入作为口令的PIN(个人标识编号)的消息131、表示PIN的输入状况的图像132以及数字小键盘133。这里，当完成具有规定位数的PIN的输入时，执行口令认证，并且如果口令认证成功，则画面转变为支付验证画面(参见图11的(B))。另一方面，当口令认证失败时，画面转变为口令重新输入画面(参见图12的(C))。

此外，口令认证画面设置有“支付”按钮135和“返回”按钮136。这里，当操作“返回”按钮136时，画面返回到尚未输入PIN的状态。“支付”按钮135灰化且不可操作。

在图11的(B)所示的支付验证画面中，“支付”按钮135变为可操作，并且如果操作“支付”按钮135，则画面转变为支付完成画面(参见图11的(C))。

注意，图11的(A)和(B)所示的画面中所显示的费用计算结果显示部116和“取消结账”按钮119与在购买商品验证画面(参见图9的(B))中的相同。

图12的(A)所示的用户ID选择画面包括用于提示用户选择他/她的用户ID的消息141以及用户ID按钮142。用户ID按钮142与商店访问者列表中所登记的各个用户相对应，并且多个按钮142并排显示。此外，用户ID选择画面设置有“无候选”按钮143。这里，当用户操作他/她自己的用户ID按钮142时，画面转变为口令认证画面(参见图11的(A))。当用户操作“无候选”按钮143时，画面转变为不可支付的错误画面(参见图12的(B))。

在图12的(C)所示的口令重新输入画面中，显示表示PIN不正确的消息145。其它特征与口令认证画面(参见图11的(A))的特征相同。这里，用户重新输入口令，并且如果口令认证成功，则画面转变为支付验证画面(参见图11的(B))。另一方面，如果口令认证再次失败，则画面转变为口令不正确的错误画面(参见图12的(D))。

注意，图12的(A)和(C)所示的画面中所显示的费用计算结果显示部116和“取消结账”按钮119与在购买商品验证画面(参见图9的(B))中的相同。

图13的(A)所示的逐个商品更正内容选择画面包括用于提示更正操作的消息151以及商品框152。商品框152是针对通过商品识别而辨认为执行费用计算所针对的商品的各个商品所设置的，并且多个商品框152并排显示。这些商品框152与购买商品验证画面(参见图9的(B))的商品框115相对应。

各商品框152设置有“移除”按钮153和“改变”按钮154。此外，逐个商品更正内容选择画面设置有“添加不足商品”按钮155。这里，当操作“移除”按钮153时，画面转变为移除验证画面(参见图14的(B))。当操作“改变”按钮154时，画面转变为商品改变时的类别选择画面(参见图13的(B))。此外，当操作“添加不足商品”按钮155时，画面转变为商品添加时的类别选择画面(参见图15的(A))。

图13的(B)所示的商品改变时的类别选择画面包括用于提示商品(类别)的选择的消息156、显示待改变的商品的信息(名称和价格)的待改变商品显示部157、以及与各个类别相对应的按钮158。此外，该类别选择画面设置有“返回”按钮159。这里，当操作一个类别按钮158时，画面转变为商品改变所用的商品选择画面(参见图13的(C))。此外，当操作“返回”按钮159时，画面返回到前一画面、即逐个商品更正内容选择画面(参见图13的(A))。

图13的(C)所示的商品改变时的商品选择画面设置有与利用类别选择画面(参见图13的(B))选择的类别中所包括的各个商品相对应的按钮160。这里，当操作一个商品按钮160时，画面转变为改变验证画面(参见图13的(D))。注意，消息156、待改变商品显示部157和“返回”按钮159与在类别选择画面(参见图13的(B))中的相同。

图13的(D)所示的商品改变验证画面包括表示将执行商品改变的消息161、显示改变之前的商品的信息(名称和价格)的改变前商品显示部162、以及显示改变之后的商品的信息(名称和价格)的改变后商品显示部163。此外，该改变验证画面设置有“是”按钮165和“否”按钮166。这里，当操作“是”按钮165时，画面转变为已更正的逐个商品更正内容选择画面(参见图14的(A))。此外，当操作“否”按钮166时，画面返回到商品改变所用的商品选择画面(参见图13的(C))。

图14的(A)所示的已更正的逐个商品更正内容选择画面与逐个商品更正内容选择画面(参见图13的(A))大致相同，但这里，与所改变的商品有关的商品框152首先显示(在最上部)，并且以与其它商品框152不同的颜色突出显示。

注意，在图13的(A)、(B)和(C)所示的画面中显示的费用计算结果显示部116和“取消结账”按钮119与在购买商品验证画面(参见图9的(B))中的相同。

图14的(B)所示的移除验证画面包括表示将移除商品的消息171和显示要移除的商品的信息(名称和价格)的移除商品显示部172。此外，该改变验证画面设置有“是”按钮173和“否”按钮174。这里，当操作“是”按钮173时，画面转变为已更正的逐个商品更正内容选择画面(图中未示出)。该已更正的逐个商品更正内容选择画面与图14的(A)所示的逐个商品更正内容选择画面大致相同，但在此时的已更正的逐个商品更正内容选择画面中，显示商品框152以反映移除操作。

图15的(A)所示的商品添加时的类别选择画面与商品改变时的类别选择画面(参见图13的(B))大致相同，但这里，显示了用于提示选择要添加的商品(类别)的消息181。当操作一个类别按钮158时，画面转变为待添加商品选择画面(参见图15的(B))。

图15的(B)所示的商品添加时的商品选择画面与商品改变时的商品选择画面(参见图13的(C))大致相同，但这里，显示了与利用类别选择画面(参见图15的(A))选择的类别中所包括的各个商品相对应的按钮160。当操作一个商品按钮160时，画面转变为商品添加验证画面(参见图15的(C))。

图15的(C)所示的商品添加验证画面包括要添加商品的消息185以及用于显示所添加的商品的信息(名称和价格)的添加商品显示部186。此外，该添加验证画面设置有“是”按钮187和“否”按钮188。这里，当操作“是”按钮187时，画面转变为已更正的逐个商品更正内容选择画面(图中未示出)。当操作“否”按钮188时，画面返回到待添加商品选择画面(参见图15的(B))。

注意，图15的(A)和(B)所示的画面中所显示的费用计算结果显示部116和“取消结账”按钮119与在购买商品验证画面(参见图9的(B))中的相同。

接着，将说明在结账柜台2的触摸面板显示器42上显示的画面的层级结构。图16和图17是示出结账柜台2的触摸面板显示器42上所显示的画面的层级结构的说明图。

如图16所示，结账柜台2的触摸面板显示器42上所显示的画面具有多个画面(层)叠加的层级结构(叠加画面)。在本实施例中，两个画面(即，配置在前侧的第一画面(前层)和配置在后侧的第二画面(后层))叠加。此外，第一画面显示在触摸面板显示器42的显示区域的下部，而第二画面显示在触摸面板显示器42的整个显示区域上。因此，第二画面的下部被第一画面覆盖。

第一画面显示重要度高的信息和经确认的信息，并且使得用户能够进行重要度高的操作。另一方面，第二画面显示第一画面中所显示的信息的明细和进行操作应基于的信息，并且使得用户能够进行重要度相对较低的操作。由于用户倾向于从上侧向下侧查看画面，因此用户将首先查看第二画面的位于上侧的部分，并且最后查看第一画面并进行重要度高的操作。

这里，图16所示的示例示出购买商品验证画面(参见图9的(B))的情况。在这种情况下，第一画面向用户呈现与通过合计要购买的商品的价格所获得的费用计算结果(总金额)有关的信息(费用计算结果显示部116)。通过该第一画面，用户可以确认费用计算结果。第二画面向用户呈现与要购买的各商品的价格有关的费用计算细节信息(费用计算明细信息)(商品框115)。通过该第二画面，用户可以确认费用计算是否正确。注意，第一画面中所显示的费用计算结果(费用计算结果显示部116)在处理进入面部认证之后继续显示(参见图10等)。

此外，第一画面设置有“继续结账”按钮117和“取消结账”按钮119，作为用户选择是否批准费用计算结果所利用的操作部。因此，用户可以用第二画面确认费用计算细节，并用第一画面确认费用计算结果，并且如果在费用计算中没有发现错误，则可以进行用以用第一画面批准费用计算结果的操作。

此外，在第二画面中，针对用户所选择的各个商品，并排布置各自示出商品的名称和价格的商品框115(商品显示部)。另一方面，第二画面的下部被第一画面部分覆盖以形成非显示区域。结果，在要购买的商品的数量超过规定值的情况下，一些商品框115也出现在第二画面的非显示区域中。在这种情况下，非显示区域中的商品框115被第一画面覆盖并且看不见。

因此，在本实施例中，第二画面设置有滚动条191(滚动指示部)，该滚动条191(滚动指示部)用于将商品框115从隐藏在第一画面后侧的非显示区域移动到第一画面外侧(上侧)的显示区域。滚动条191显示在未被第一画面覆盖的显示区域中。注意，商品框115沿垂直方向并排布置，并且滚动条191被设置成沿垂直方向移动商品框115。

此外，在本实施例中，叠加第一画面(具体地，设置商品框115的大小和位置以及第一画面的显示区域的大小)，使得位于第二画面的非显示区域和显示区域之间的边界处的商品框115被部分隐藏，即商品框115被显示为在中间被切断。由此，用户可以直观地掌握在第二画面的被第一画面覆盖的部分中一些商品框115被隐藏。相反，当在第一画面的上方创建比规定大小大的空白部分时，用户可以直观地掌握显示了所有商品框115。

图17的(A)所示的示例示出当面部认证成功时显示的面部认证结果确认画面(参见图10的(C))的情况。在这种情况下，在第二画面中，显示面部认证结果、即通过面部认证所获取到的用户的名称(消息126)。通过该第二画面，用户可以确认面部认证结果。此外，连同费用计算结果(费用计算结果显示部116)，第一画面还包括“是”按钮127和“错误”按钮128，作为用户选择是否批准第二画面中所显示的面部认证结果所利用的操作部。因此，用户可以利用第二画面确认面部认证结果，并且如果在面部认证中未发现错误，则可以进行用以利用第一画面批准面部认证结果的操作。

图17的(B)所示的示例示出当口令认证成功时显示的支付验证画面(参见图11的(B))的情况。在这种情况下，第二画面设置有作为用于输入PIN(口令)的单元的数字小键盘133。此外，第一画面包括费用计算结果(费用计算结果显示部116)，并且设置有“支付”按钮135和“取消结账”按钮119作为用户选择是否继续结账(支付)所利用的操作部。因此，当口令认证成功时，用户可以指示利用第一画面执行结账(支付)。

接着，将说明用户登记时的用户终端11的操作过程。图18是示出用户登记时的用户终端11的操作过程的流程图。

当在第一次安装应用之后启动时，用户终端11首先显示个人信息验证画面(ST101)。在该个人信息验证画面中，显示与个人信息的处理有关的同意。当用户在个人信息验证画面中进行用以批准该同意的操作时，显示认证信息输入画面(ST102)。

随后，当用户在认证信息输入画面中进行输入用户ID和口令的操作时，用户终端11将用户ID和口令发送至用户管理服务器13(ST103)。然后，用户终端11显示面部图像拍摄画面(ST104)。当用户在面部图像拍摄画面中进行用于拍摄他/她自己的面部的图像的操作时，用户终端11从拍摄图像中提取面部图像，并将该面部图像发送至用户管理服务器13(ST105)。

此时，用户管理服务器13进行用于登记从用户终端11获取到的用户ID和口令的处理。此外，用户管理服务器13将从用户终端11获取到的面部图像发送至面部认证服务器15，并且面部认证服务器15进行用于登记面部图像的处理。

随后，用户终端11显示信用信息输入画面(ST106)。当用户在信用信息输入画面中进行用于输入信用信息的操作时，用户终端11将信用信息发送至支付服务器12(ST107)。支付服务器12进行用于登记从用户终端11获取到的信用信息的处理。

然后，在从支付服务器12接收到信用信息登记完成的通知时，用户终端11显示登记完成画面(ST108)。

注意，用户也可以在商店中所安装的登记器4处进行用户登记的操作，并且其过程与用户终端11的情况相同。

接着，将说明进店检查器1的操作过程。图19是示出进店检查器1的操作过程的流程图。

首先，当进店检查器1从摄像头81所拍摄到的图像中检测到人物的面部时(ST201中为“是”)，进店检查器1从拍摄图像中提取面部图像(ST202)，并将包括该面部图像的面部认证请求发送至面部认证服务器15(ST203)。此时，响应于面部认证请求，面部认证服务器15基于从进店检查器1获取到的面部图像来进行面部认证，并且将包括认证结果的面部认证响应发送至进店检查器1。

然后，进店检查器1从面部认证服务器15接收到面部认证响应(ST204)，并且当面部认证响应中所包括的认证结果为成功时(ST205中为“是”)，进店检查器1使进店响应画面(参见图7的(B))显示在显示器82上(ST206)并进行用以打开入口门5的控制(ST207)。

另一方面，当认证结果为失败时(ST205中为“否”)，进店检查器1显示面部认证结果画面(参见图8的(B))(ST208)。然后，当用户在面部认证结果画面中进行选择口令认证的操作时、具体地当用户操作“输入ID”按钮104时(ST209中为“口令认证”)，进店检查器1显示口令认证画面(图中未示出)(ST210)。

随后，当用户在口令认证画面中进行输入用户ID和口令的操作时，进店检查器1将包括用户ID和口令的口令认证请求发送至用户管理服务器13(ST211)。此时，响应于口令认证请求，用户管理服务器13基于从进店检查器1获取到的用户ID和口令来进行口令认证，并且将包括认证结果的口令认证响应发送至进店检查器1。注意，用户管理服务器13基于由面部认证服务器15进行的面部认证的认证结果和由用户管理服务器13进行的口令认证的认证结果来生成商店访问者列表。

然后，进店检查器1从用户管理服务器13接收到口令认证响应(ST212中为“是”)，并且当口令认证响应中所包括的认证结果为成功时(ST213中为“是”)，进店检查器1使进店响应画面(参见图7的(B))显示在显示器82上(ST206)并进行用以打开入口门5的控制(ST207)。

另一方面，当认证结果为失败时(ST213中为“否”)，进店检查器1显示错误画面(ST214)并结束处理。此时，不进行用以打开入口门5的控制。

此外，当用户在面部认证结果画面中进行选择取消的操作时、具体地当用户操作“取消”按钮105(参见图8的(B))时(ST209中为“取消”)，进店检查器1结束处理。当用户在面部认证结果画面中进行选择重新认证(重新执行面部认证)的操作时(ST209中为“重新认证”)、具体地当用户操作“重新认证”按钮103时，处理返回到ST202，并且再次进行面部认证。

接着，将说明结账柜台2的操作过程。图20和图21是示出结账柜台2的操作过程的流程图。

首先，当结账柜台2基于摄像头51所拍摄到的图像检测到一个或多个物体放置在放置部41上时(ST301中为“是”)，结账柜台2检测放置部41上所放置的物体的位置(ST302)。随后，结账柜台2辨认哪个商品与放置部41上所放置的各物体相对应(ST303)。然后，结账柜台2计算放置部41上所放置的商品的费用(ST304)。之后，结账柜台2显示购买商品验证画面(参见图9的(B))(ST305)。

随后，当用户在购买商品验证画面(参见图9的(B))中进行选择取消的操作时、具体地当用户操作“取消结账”按钮119时(ST306中为“取消”)，画面转变为取消画面(参见图9的(C))(ST309)。另一方面，当用户进行选择支付的操作时、具体地当用户操作“继续结账”按钮117时(ST306中为“支付”)，处理进入面部认证并且显示面部认证画面(参见图10的(A))(ST311)。

另一方面，当用户在购买商品验证画面(参见图9的(B))中进行选择商品更正的操作时、具体地当用户操作“更正商品”按钮118时(ST306中为“更正商品”)，画面转变为逐个商品更正内容选择画面(参见图13的(A))(ST307)。

然后，当在逐个商品更正内容选择画面中操作“改变”按钮154(参见图13的(A))时(ST308中为“改变”)，画面转变为类别选择画面(参见图13的(B))。此外，当操作“移除”按钮153时(ST308中为“移除”)，画面转变为移除验证画面(参见图14的(B))。此外，当操作“添加不足商品”按钮155时(ST308中为“添加”)，画面转变为类别选择画面(参见图15的(A))。之后，当进行期望操作时，画面返回到逐个商品更正内容选择画面(ST307)。此时，逐个商品更正内容选择画面以反映操作内容的状态显示。

此外，当用户进行选择取消的操作时、具体地当用户操作“取消结账”按钮119时(ST306中为“取消”)，画面转变为取消画面(参见图9的(C))(ST309)。当用户进行选择支付的操作时、具体地当用户操作“继续结账”按钮117时(ST306中为“支付”)，处理进入面部认证并且显示面部认证画面(参见图10的(A))(ST311)。

随后，结账柜台2从摄像头43所拍摄到的图像中提取面部图像，并将包括该面部图像的面部认证请求发送至面部认证服务器15(ST312)。此时，响应于面部认证请求，面部认证服务器15基于从结账柜台2获取到的面部图像来进行面部认证，并将包括认证结果的面部认证响应发送至结账柜台2。

然后，结账柜台2从面部认证服务器15接收到面部认证响应(ST313)，并且当面部认证响应中所包括的认证结果为成功时(ST314中为“是”)，随后判断认证结果的人物是否与商店访问者中的任一个一致。具体地，结账柜台2将认证结果与商店访问者列表进行比较，并确认在商店访问者中是否存在与认证结果的人物相同的人物。注意，在面部认证中，选择并报告了具有比规定基准值高的相似度(匹配得分)的(一个或多个)人物作为认证结果。因此，可能存在认证结果包括相似度高的多个人物的情况。在这种情况下，从认证结果中的人物中选择商店访问者列表中所包括的人物。

这里，当认证结果的人物与商店访问者中的任一个一致时(ST315中为“是”)，处理进行口令认证，并且显示口令认证画面(参见图11的(A))(ST316)。

随后，当用户在口令认证画面(参见图11的(A))中输入口令(PIN)时，结账柜台2将口令认证请求发送至用户管理服务器13(ST317)。此时，响应于口令认证请求，用户管理服务器13基于从结账柜台2获取到的面部图像来进行面部认证，并且将包括认证结果的面部认证响应发送至结账柜台2。

随后，结账柜台2从用户管理服务器13接收到口令认证响应(ST318)，并且当口令认证响应中所包括的认证结果为成功时(ST319中为“是”)，将支付请求经由用户管理服务器13发送至支付服务器12(ST320)。在接收到支付请求时，支付服务器12执行支付处理并将支付响应经由用户管理服务器13发送至结账柜台2。

然后，在从支付服务器12接收到支付响应时(ST321)，结账柜台2显示支付完成画面(参见图1)(ST322)。随后，结账柜台2进行收据发出处理(ST323)，并经由用户管理服务器13向用户终端11发送收据信息(ST324)。然后，在接收到收据信息时，用户终端11将收据信息存储在自身的存储部中。

另一方面，当认证结果为失败时(在ST314中为“否”)或当认证结果的人物与商店访问者中的任一个不一致时(在ST315中为“否”)，结账柜台2显示用户ID选择画面(参见图12的(A))(ST325)。

随后，当用户在用户ID选择画面(参见图12的(A))中进行用户ID选择的操作时、具体地当用户操作用户ID按钮142时(ST326中为“用户ID选择”)，处理进入口令认证，并且显示口令认证画面(参见图11的(A))(ST316)。此外，当用户进行“无候选”的操作时、具体地当用户操作“无候选”按钮143时(ST326中为“无候选”)，显示错误画面(参见图12的(B))(ST327)。此外，当用户进行取消操作时、具体地当用户操作“取消结账”按钮119时(ST326中为“取消”)，画面转变为取消画面(参见图9的(C))(ST309)。

此外，当口令认证的认证结果为失败时(ST319中为“否”)，判断口令认证是否连续失败了预定次数(ST328)。这里，如果口令认证没有连续失败预定次数(ST328中为“否”)，则处理再次进入口令认证，并且显示重新进入所用的口令认证画面(参见图12的(C))(ST316)。另一方面，如果口令认证连续失败了预定次数(在ST328中为“是”)，则显示错误画面(参见图12的(D))(ST329)。

注意，在本实施例中，采用由面部认证和口令认证构成的两因素认证来增强安全性，并且即使当面部认证成功时也进行口令认证，但可以省略口令认证并且仅进行面部认证。

接着，将说明离店检查器3的操作过程。图22是示出离店检查器3的操作过程的流程图。

首先，当离店检查器3从摄像头(图中未示出)所拍摄到的图像中检测到人物的面部时(ST401中为“是”)，离店检查器3从拍摄图像中提取面部图像(ST402)，并将包括该面部图像的面部认证请求发送至面部认证服务器15(ST403)。响应于面部认证请求，面部认证服务器15进行面部认证，并将面部认证响应发送至离店检查器3。

然后，离店检查器3从面部认证服务器15接收到面部认证响应(ST404)，并且当面部认证响应中所包括的认证结果为成功时(ST405中为“是”)，离店检查器3使离店响应画面(图中未示出)显示在显示器上(ST406)，并进行用以打开出口门6的控制(ST407)。

另一方面，当认证结果为失败时(ST405中为“否”)，离店检查器3使错误画面(图中未示出)显示在显示器上(ST408)，以引导诸如面部认证的重新执行和用户ID的输入等的其它认证方法，并且当认证成功时，离店检查器3进行用以打开出口门6的控制(ST407)。

接着，将说明本实施例的变形例。注意，这里未特别提及的特征与在上述实施例中相同。图23示出例示根据本实施例的变形例的结账柜台2的侧视图。图24是示出根据本实施例的变形例的结账柜台2的结构的说明图。

如图4所示，在前述实施例中，结账柜台2设置有投影仪52，但在这些变形例中，省略了投影仪。

在图23的(A)所示的示例中，在上壁部34上设置有摄像头201。该摄像头201是用于拍摄放置部41上所放置的商品的图像的第一摄像头，并且特别地，拍摄图像用于商品识别的目的。此外，在顶板部33上设置有摄像头202。该摄像头202是用于拍摄观看触摸面板显示器42的用户的面部的图像的第二摄像头，并且拍摄图像用在面部认证中。该变形例的结构如图24的(A)所示。

在图23的(B)所示的示例中，与图21的(A)所示的示例一样，在上壁部34上设置有摄像头201并且在顶板部33上设置有摄像头202，但在该变形例中，在后壁部35上进一步设置有摄像头203。该摄像头203是用于拍摄放置部41上所放置的商品的图像的第一摄像头，并且拍摄图像用在商品识别中。该变形例的结构如图24的(B)所示。由于后壁部35设置有显示器45，因此摄像头203例如应配置在显示器的下方。在该结构中，获得从各种方向示出商品的拍摄图像，因此可以提高商品识别的准确度。

在图23的(C)所示的示例中，与图21的(A)和(B)所示的示例一样，在上壁部34上设置有摄像头201。此外，在顶板部33上设置有摄像头204，但该摄像头204的视角被设置成使得摄像头204可以拍摄放置部41上所放置的商品和观看触摸面板显示器42的用户的面部这两者的图像。即，摄像头204担任用于拍摄商品的图像的第一摄像头和用于拍摄用户的面部的第二摄像头这两个角色，并且拍摄图像用于商品识别和面部认证这两个目的。该变形例的结构如图24的(C)所示。在该结构中，可以在无需增加摄像头的数量的情况下从各种方向拍摄商品的图像。

注意，在基于多个摄像头所获得的拍摄图像的商品识别中，可以通过整合基于各个拍摄图像的商品识别结果以避免重复来辨认商品。

另外，利用顶板部33上的摄像头204，应切出包括商品的摄像区域的图像以供在商品识别中使用，并且应切出包括用户的面部的摄像区域的图像以供在商品识别中使用。此外，顶板部33上的摄像头204可被配置为能够改变摄像头角度，使得在进行商品识别时和在进行面部认证时切换摄像头角度。

接着，将说明本实施例的其它变形例。注意，这里未特别提及的特征与在上述实施例中相同。图25示出例示根据本实施例的其它变形例的结账柜台2的侧视图。图26是示出根据本实施例的其它变形例的结账柜台2的结构的说明图。

在图23和图24所示的示例中，省略了投影仪，但在这些变形例中设置有投影仪。

在图25的(A)所示的示例中，与图23的(A)所示的示例一样，在上壁部34上设置有摄像头201且在顶板部33上设置有摄像头202，并且此外，在上壁部34上设置有投影仪211。该投影仪211将表示商品识别结果的图像、具体为框图像55(参见图5)投影到放置部41上。

不同于图23的(A)所示的示例，在上壁部34上设置有摄像头201、212这两个摄像头。这两个摄像头201、212各自是用于拍摄放置部41上所放置的商品的图像的第一摄像头，但一个摄像头212大致从正上方拍摄放置部41的图像，并且拍摄图像用于检测放置部41上所放置的商品的位置的商品位置检测的目的，而另一摄像头201从斜上方拍摄放置部41的图像，并且拍摄图像用于识别放置部41上所放置的商品的商品识别的目的。该变形例的结构如图26的(A)所示。注意，可以使用一个拍摄图像来实现商品位置检测和商品识别这两个目的。

在图25的(B)所示的示例中，与图23的(B)所示的示例一样，在上壁部34上设置有摄像头201，在顶板部33上设置有摄像头202，且在后壁部35上设置有摄像头203，并且此外，在上壁部34上设置有投影仪211。该变形例的结构如图26的(B)所示。

在图25的(C)所示的示例中，与图23的(C)所示的示例一样，在上壁部34上设置有摄像头201且在顶板部33上设置有摄像头202，并且此外，在上壁部34上设置有投影仪211。该变形例的结构如图26的(C)所示。

注意，在图25所示的示例中，上壁部34上的一个摄像头201配置在沿着朝向结账柜台2的远侧的方向偏移的位置处，以从斜上方拍摄放置部41的图像，但与图5所示的示例类似，该摄像头201可以配置在沿结账柜台2的宽度方向偏移的位置处。此外，尽管商品位置检测所用的一个摄像头212就足够了，但商品识别所用的摄像头201、203的数量越多，商品识别的准确度可被提高得越多。

以上说明了这些实施例作为本申请中所公开的技术的示例。然而，本发明的技术不限于此，并且可应用于可以进行改变、替换、添加、省略等的实施例。此外，可以组合前述实施例中所描述的结构元件以形成新的实施例。

产业上的可利用性

根据本发明的费用计算和支付装置以及无人值守商店***具有使商品登记和费用计算以及费用的支付所用的作业自动化、以由此在减少用户的劳动的同时实现无人值守商店的效果，并且作为用于进行与用户从售货区域中选择的商品的费用计算和支付所用的面部认证有关的处理的费用计算和支付装置以及使用该费用计算和支付装置的无人值守商店***等是有用的。

附图标记说明

2 结账柜台(费用计算和支付装置)

11 用户终端

12 支付服务器

13 用户管理服务器

15 面部认证服务器(服务器装置)

31 主体

41 放置部

42 触摸面板显示器(显示器)

43,202 摄像头(第二摄像头)

46 第一储存部

51,201,212 摄像头(第一摄像头)

52,211 投影仪

63 控制器

Claims (7)

1.一种费用计算和支付装置，用于进行与用户从售货区域中选择的商品的费用计算和支付所用的面部认证有关的处理，所述费用计算和支付装置包括：

主体，其设置有用户放置商品的放置部；

第一摄像头，其被配置为拍摄所述放置部上所放置的商品的图像；

第二摄像头，其被配置为拍摄用户的面部的图像；

控制器，其被配置为基于通过所述第一摄像头的摄像所获取到的商品图像通过识别作为对象的商品来进行与费用计算有关的处理，并且基于通过所述第二摄像头的摄像所获取到的面部图像来进行与面部认证有关的处理；

显示器，用于显示所述控制器所获取到的费用计算结果和支付结果；以及

投影仪，用于将图像投影到所述放置部上，

其中，所述显示器布置在所述放置部的附近，

所述第二摄像头被配置为拍摄观看所述显示器的用户的面部的图像，以及

所述控制器基于所述第一摄像头所拍摄到的图像来检测商品的位置，并且使所述投影仪将规定图像投影到商品的附近。

2.根据权利要求1所述的费用计算和支付装置，其中，所述第一摄像头是多个第一摄像头中的作为被配置为从上方拍摄所述放置部上所放置的商品的图像的商品识别所用的摄像头的第一摄像头。

3.根据权利要求1或2所述的费用计算和支付装置，其中，所述第一摄像头是多个第一摄像头中的作为被配置为从上方拍摄所述放置部上所放置的商品的图像的商品位置检测所用的摄像头的第一摄像头。

4.根据权利要求1至3中任一项所述的费用计算和支付装置，其中，所述第一摄像头是多个第一摄像头中的作为被配置为从侧方拍摄所述放置部上所放置的商品的图像的商品识别所用的摄像头的第一摄像头。

5.根据权利要求1至4中任一项所述的费用计算和支付装置，其中，所述第二摄像头是用于从侧方拍摄所述放置部上所放置的商品的图像的商品识别所用的摄像头。

6.根据权利要求1至5中任一项所述的费用计算和支付装置，其中，所述主体包括：

顶板部，在所述顶板部上设置有所述放置部；以及

储存部，其设置在所述顶板部的下方，以储存商品的附属品。

7.一种无人值守商店***，其配备有根据权利要求1所述的费用计算和支付装置，所述无人值守商店***包括服务器装置，所述服务器装置经由网络连接至所述费用计算和支付装置，

其中，所述服务器装置基于通过所述第二摄像头的摄像所获取到的面部图像来进行面部认证，以及

在利用所述服务器装置的面部认证成功的情况下，所述费用计算和支付装置进行与支付有关的处理。

Images