CN105741451A - 信息处理***及信息处理方法 - Google Patents

信息处理***及信息处理方法 Download PDF

Info

Publication number
CN105741451A
CN105741451A CN201510631411.5A CN201510631411A CN105741451A CN 105741451 A CN105741451 A CN 105741451A CN 201510631411 A CN201510631411 A CN 201510631411A CN 105741451 A CN105741451 A CN 105741451A
Authority
CN
China
Prior art keywords
information
shop
face
people
face information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510631411.5A
Other languages
English (en)
Other versions
CN105741451B (zh
Inventor
平和树
泽田崇行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/584,620 external-priority patent/US20160189162A1/en
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN105741451A publication Critical patent/CN105741451A/zh
Application granted granted Critical
Publication of CN105741451B publication Critical patent/CN105741451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种采用了人脸认证的便利性高的信息处理***及信息处理方法，该信息处理***包括取得包含来店人的人脸的图像的第一接口、第一处理器、第二接口及第二处理器。第一处理器对从通过第一接口取得的图像抽取的来店人的人脸信息和已登记到会员数据库中的各会员的登记人脸信息进行人脸认证，并将与和来店人的人脸信息的认证已成功的登记人脸信息对应的会员的登记信息与来店人的人脸信息对应存储在来店人数据库中。第二处理器对从通过第二接口取得的图像抽取的结算对象人的人脸信息和来店人数据库所存储的来店人的人脸信息进行人脸认证，并采用与和结算对象人的人脸信息的认证已成功的来店人的人脸信息对应的会员的登记信息进行结算处理。

Description

信息处理***及信息处理方法
本申请主张申请日为2015年07月09日、申请号为JP2015-137830的日本申请以及申请日为2014年12月29日、申请号为US14/584,620的美国申请为优先权，并引用上述申请的内容。
技术领域
本发明涉及一种信息处理***及信息处理方法。
背景技术
目前，在顾客管理等的信息处理***中有采用人脸认证的***。人脸认证处理成为人脸核对的对象的登记信息越多则越需要处理时间。此外，采用了人脸认证的信息处理***，有因人为的操作而补充人脸认证的误识别率(FRR(本人拒绝率))、FAR(他人容许率)的情况。不过，以人为的操作为前提的人脸认证处理难以应用于包含基于自助POS收银机等的结算处理的信息处理***。
发明内容
鉴于上述问题，本发明的目的在于提供一种采用了人脸认证的便利性高的信息处理***及信息处理方法。
为解决上述问题，本发明第一方面涉及的信息处理***包括取得包含来店人的人脸的图像的第一接口、第一处理器、第二接口及第二处理器。第一接口取得包含来店人的人脸的图像。第一处理器对从通过第一接口取得的图像抽取的来店人的人脸信息和已登记到会员数据库中的各会员的登记人脸信息进行人脸认证，并将与和来店人的人脸信息的认证已成功的登记人脸信息对应的会员的登记信息与来店人的人脸信息对应存储在来店人数据库中。第二接口取得包含结算对象人的人脸的图像。第二处理器对从通过第二接口取得的图像抽取的结算对象人的人脸信息和来店人数据库所存储的来店人的人脸信息进行人脸认证，并采用与和结算对象人的人脸信息的认证已成功的来店人的人脸信息对应的会员的登记信息进行结算处理。
本发明第二方面涉及的信息处理方法，包括以下步骤：对通过取得包含来店人的人脸信息的信息的第一接口取得的信息所包含的来店人的人脸信息和已登记在会员数据库中的各会员的登记人脸信息进行人脸认证的步骤；将与和所述来店人的人脸信息的认证已成功的登记人脸信息对应的会员的登记信息与所述来店人的人脸信息对应存储在来店人数据库中的步骤；对通过取得包含结算对象人的人脸信息的信息的第二接口取得的信息所包含的结算对象人的人脸信息和所述来店人数据库所存储的来店人的人脸信息进行人脸认证的步骤；以及采用与和所述结算对象人的人脸信息的认证已成功的来店人的人脸信息对应的所述会员的登记信息进行结算处理的步骤。
附图说明
下面，参照附图对本发明所涉及的信息处理***及信息处理方法进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是概略地示出第一实施例所涉及的信息处理***的构成例的图；
图2是表示构成第一实施例所涉及的信息处理***的各装置的硬件构成例的框图；
图3A是用于对第一实施例所涉及的信息处理***的处理功能进行说明的图；
图3B是表示第一实施例所涉及的信息处理***的处理功能的变形例的图；
图4是用于对第一实施例所涉及的信息处理***中的信息存储处理的流程进行说明的流程图；
图5是用于对第一实施例所涉及的信息处理***中的结算处理的流程进行说明的流程图；
图6是表示第二实施例所涉及的信息处理***的硬件构成例的框图；
图7是表示第二实施例所涉及的信息处理***的第一具体例的图；
图8是表示第二实施例所涉及的信息处理***的第二具体例的图；
图9A是用于对第二实施例所涉及的信息处理***的处理功能进行说明的图；
图9B是表示第二实施例所涉及的信息处理***的处理功能的变形例的图；
图10是用于对第二实施例所涉及的信息处理***中的信息存储处理的流程进行说明的流程图；
图11是用于对第二实施例所涉及的信息处理***中的作为结算处理的第一处理例的流程进行说明的流程图；
图12是用于对第二实施例所涉及的信息处理***中的作为结算处理的第二处理例的流程进行说明的流程图；
图13是表示第三实施例所涉及的信息处理***的硬件构成例的框图；
图14是表示第三实施例所涉及的结算终端的构成例的图；
图15是用于对第三实施例所涉及的信息处理***中的结算处理的流程进行说明的流程图；
图16是用于对第三实施例所涉及的商品识别处理进行说明的流程图；以及
图17是表示第三实施例所涉及的信息处理***的变形例的图。
附图标记说明
101中心服务器101a会员信息数据库
102、302店铺服务器102a来店人信息数据库
103、303、503、603结算终端
104第一摄像头105第二摄像头
111处理器112存储器
114存储部121处理器
122存储器126存储部
131处理器132存储器
135操作部136显示部
137商品识别部138结算部
具体实施方式
以下，参照附图，对实施例进行说明。
第一实施例
第一实施例假想引进有将顾客信息作为会员进行登记的机制的运用。第一实施例假想已会员登记的顾客来到店铺，进行已购买的商品的结算后而离店的情况。此外，第一实施例所涉及的信息处理***通过人脸认证指定顾客(会员)，并采用已指定顾客的会员信息进行商品的购买金额等的结算。
图1是概略地示出第一实施例所涉及的信息处理***的构成例的图。
第一实施例所涉及的信息处理***由中心服务器101、店铺服务器102、结算终端103、第一摄像头104及第二摄像头105等构成。另外，信息处理***不限定于图1所示的构成。信息处理***可以根据运用规模、运用条件或设置环境等改变装置构成而实现。例如，中心服务器101及店铺服务器102也可以由一体化的装置来实现。此外，店铺服务器102及结算终端103也可以由一体化的装置来实现。此外，第一摄像头104也可以设置在店铺服务器102中。第二摄像头105也可以设置在结算终端103中。此外，中心服务器101或者店铺服务器102也可以由多个装置来实现。
中心服务器101是管理顾客信息的装置。中心服务器101诸如设置在本信息处理***中的用于管理客顾信息的中心。中心服务器101诸如可以设置在总括运用本信息处理***的多个店铺的总部，也可以设置在云端上。
中心服务器101具有会员信息数据库(会员DB)101a。会员DB101a存储每个会员的会员信息。会员信息包含会员的人脸认证用登记信息(登记人脸信息)及会员的登记信息。中心服务器101与店铺服务器102进行网络连接。中心服务器101和店铺服务器102可以在地理上分离。
店铺服务器102是管理店铺内的信息的装置。店铺服务器102诸如设置在店铺内。店铺服务器102只要能与店铺内的各设备连接，则也可以设置在店铺外。店铺服务器102具有来店人信息数据库(来店人DB)102a。来店人DB102a存储每位来店人的来店人信息。来店人信息包含来店人的人脸信息及来店人的登记信息等。
店铺服务器102与中心服务器101、结算终端103及第一摄像头104连接。第一摄像头104摄像已进店的人(来店人)的人脸。例如，第一摄像头104设置在店铺的入口附近，从入口摄像要进店的人的人脸。第一摄像头104只要是摄像来店人的人脸作为用于人脸认证的人脸图像的摄像装置就行。店铺服务器102取得第一摄像头104所摄像的图像。店铺服务器102从第一摄像头104所摄像的图像中抽取来店人的人脸信息。另外，第一摄像头104也可以从已摄像的图像中检测出来店人的人脸，并将包含检测出的来店人的人脸的图像(人脸图像)数据供给给店铺服务器102。
此外，店铺服务器102也与结算终端103连接。店铺服务器102和多个结算终端103诸如通过店铺内的网络进行连接。结算终端103在店铺内可以是一台，也可以是多台。在图1所示的构成例中，结账处位于店铺的出口跟前侧。从入口进店的利用者在卖场选择了商品后，从卖场进入到结账处。进入到结账处的利用者采用结算终端103进行商品的购买结算。结束结算的利用者处于从出口离店的布局。
结算终端103是进行商品的购买货款等的金额的结算的装置。结算终端103与第二摄像头105连接。第二摄像头105摄像进行金额结算的人(结算对象人)的人脸。例如，第二摄像头105设置在结账处的入口附近。结算终端103取得第二摄像头105所摄像的图像。结算终端103从第二摄像头105所摄像的图像检测出结算对象者的人脸，从检测出的结算对象人的人脸图像抽取人脸信息。
接着，图2是表示构成第一实施例所涉及的信息处理***的各装置的硬件构成例的框图。
中心服务器101具有处理器111、存储器112、网络(NW)I/F113及存储部114。处理器111通过执行程序实现各种处理功能。存储器112包含ROM等的程序存储器、RAM等的工作存储器等。处理器111通过执行存储器112所存储的程序实现各种处理功能。
网络I/F113是通过网络与店铺服务器102连接用的接口。例如，网络I/F113通过店铺外的广域网与店铺服务器102进行通信。存储部114是大容量的非易失性存储器。例如，存储部114由硬盘驱动器(HDD)或者固态硬盘(SSD)等的存储装置构成。存储部114具有会员DB101a。
店铺服务器102具有处理器121、存储器122、网络(NW)I/F123、摄像头I/F124、结算终端I/F125及存储部126。处理器121通过执行程序实现各种处理功能。存储器122包含ROM等的程序存储器、RAM等的工作存储器等。处理器121通过执行存储器122所存储的程序实现各种处理功能。
网络I/F123是通过网络与中心服务器101连接用的接口。例如，网络I/F123通过店外的广域网与中心服务器101进行通信。
摄像头I/F124是与第一摄像头104连接用的接口。摄像头I/F124也可以是通过专用电缆与第一摄像头104进行连接的接口。此外，摄像头I/F124也可以是通过无线通信与第一摄像头104连接的接口。此外，摄像头I/F124也可以是与连接有第一摄像头104的店内的局域网(LAN)连接的LAN接口。
结算终端I/F125是与店内的结算终端103连接用的接口。结算终端I/F125诸如也可以是与店内的LAN连接的LAN接口。
存储部126是大容量的非易失性存储器。例如，存储部126由HDD或者SSD等的存储装置构成。存储部126具有存储来店人信息的来店人DB102a。
结算终端103具有处理器131、存储器132、店铺服务器I/F133、摄像头I/F134、操作部135、显示部136、商品识别部137及结算部138。处理器131通过执行程序实现各种处理功能。存储器132包含ROM等的程序存储器、RAM等的工作存储器等。处理器131通过执行存储器132所存储的程序实现各种处理功能。例如，处理器131具有采用结算部138进行结算购买货款的结算处理的功能。
店铺服务器I/F133是与店铺服务器102连接用的接口。店铺服务器I/F133诸如能够通过与连接有店铺服务器102的LAN连接的LAN接口来实现。
摄像头I/F134是与第二摄像头105连接用的接口。摄像头I/F134诸如能够通过专用电缆或者无线通信与第二摄像头105连接的接口来实现。此外，摄像头I/F134也可以是与连接有第二摄像头105的LAN连接的LAN接口。
操作部135是输入涉及结算处理的操作的操作装置。显示部136是显示装置。例如，显示部136显示购买商品名、结算金额等。商品识别部137识别要结算的商品。结算部138结算购买金额。结算部138诸如包含现金收支记录器、卡处理装置等。
接着，对第一实施例所涉及的信息处理***中的各装置的处理功能进行概略地说明。
图3A是用于对第一实施例所涉及的信息处理***的处理功能进行说明的图。另外，图3A所示的各部是各装置内的处理器通过执行存储器所存储的程序来实现的处理功能。
此外，在以下说明的第一实施例中，利用信息处理***的各顾客通常以预先进行会员注册为前提。中心服务器101具有将顾客的会员信息登记在会员DB101a中的登记部201。登记部201是处理器111通过执行存储器112所存储的登记处理用程序而实现的处理功能。登记部201取得每位会员的会员登记信息，将已取得的全部或一部分会员登记信息作为会员信息登记在会员DB101a中。
会员信息包含该会员的登记用人脸信息(登记人脸信息)Rf及该会员的登记个人信息(登记信息)Ri。登记人脸信息Rf是用于人脸认证处理的信息。登记人脸信息Rf可以是该会员的人脸图像本身，也可以是用于人脸认证处理的该会员的人脸的特征量。此外，登记信息Ri包含该会员的姓名、性别、年龄、住址、电话号码、邮件地址、会员ID及结算信息等的个人信息。结算信息诸如是可在金额结算中利用的***结算信息或者可在金额结算中利用的会员积分信息等的信息。
中心服务器101管理登记了会员信息的会员DB101a。中心服务器101根据从店铺服务器102的要求提供会员DB101a所保持的信息。例如，中心服务器101对来自店铺服务器102的查询提供会员DB101a所登记的登记人脸信息Rf。此外，中心服务器101对来自店铺服务器102的会员的登记信息Ri的查询提供登记信息Ri。此外，中心服务器101也可以接受来自店铺服务器102的要求，进行在会员DB101a中的会员信息的更新，或者向会员信息追加新信息等。
在店铺中，来店确认部211确认顾客的进店。来店确认部211产生开始处理、也就是说产生给予进行人脸图像的摄像的定时的触发。来店确认部211也可以由设置店铺的入口，并检测要进店的人的门(入场大门)构成。此外，来店确认部211由明示设置第一摄像头104并通过来店的顾客亲自按下的摄像按钮构成。此外，来店确认部211也可以是从入口附近所设置的摄像头连续摄像的图像通过图像识别处理检测出人或人脸的装置。
第一摄像头104当来店确认部211确认来店时，则通过摄像部221摄像包含要进店的顾客(来店人)的人脸的图像。第一摄像头104将摄像了来店人的图像(摄像图像)数据供给给店铺服务器102。第一摄像头104也可以只将在已摄像的图像中包含有人脸的图像数据供给给店铺服务器102。此外，第一摄像头104也可以将在已摄像的图像中切出人脸区的图像的人脸图像数据供给给店铺服务器102。另外，人脸信息是从摄像图像中抽取的信息。因此，第一摄像头104向店铺服务器102进行供给的信息是包含人脸信息的信息。
店铺服务器102由图像取得部230通过摄像头I/F124取得第一摄像头104所摄像的摄像图像(包含人脸信息的信息)。图像取得部230通过处理器121所控制的摄像头I/F124来实现。此外，人脸抽取部231从通过图像取得部230取得的第一摄像头104的摄像图像抽取来店人的人脸信息Cf。人脸抽取部231通过处理器121执行程序来实现。人脸抽取部231将从第一摄像头104的摄像图像抽取出的来店人的人脸信息Cf供给给人脸认证部232，而且存储在来店人DB102a中。
例如，人脸抽取部231也可以从已取得的摄像图像抽取人脸区的图像，并从已抽取的人脸区的图像抽取作为用于人脸认证的人脸信息的人脸的特征量。这时，人脸抽取部231将人脸的特征量作为来店人的人脸信息Cf供给给人脸认证部232，并存储在来店人DB102a中。此外，人脸抽取部231也可以将把人脸区的图像切出成规定尺寸的人脸图像数据作为来店人的人脸信息Cf供给给人脸认证部232，并存储在来店人DB102a中。
登记人脸信息取得部234从中心服务器101取得会员DB101a所存储的登记人脸信息Rf。登记人脸信息取得部234是处理器121通过网络I/F123与中心服务器101进行通信来实现的处理功能。登记人脸信息取得部234从中心服务器101取得登记人脸信息Rf，并供给给人脸认证部232。例如，登记人脸信息取得部234向中心服务器101查询登记人脸信息Rf，作为对查询的响应从中心服务器101取得作为人脸认证的对象的登记人脸信息Rf。
人脸认证部232进行基于从人脸抽取部231供给的来店人的人脸信息Cf和登记人脸信息取得部234所取得的会员的人脸信息(登记人脸信息)Rf的人脸核对的人脸认证处理。人脸认证部232是通过处理器121执行存储器122所存储的人脸认证用的程序来实现的处理功能。人脸认证部232的人脸认证处理并不限定于指定的算法。
此外，在第一实施例中，只要在到开始结算的期间(到向结账处去的期间)获得人脸认证的结果就行。因此，在来店人的人脸信息Cf和会员的人脸信息Rf的人脸认证处理中，预计有充分的处理时间。因此，人脸认证部232即使在会员DB101a的登记人脸信息Rf较多的情况下，也能进行基于需要处理时间的高度的算法的人脸认证处理。
例如，人脸认证处理也可以是将表示人脸的多个特征量的部分(例如，眼睛、鼻子、口等的特征点)的相对的位置的特征量(人脸的特征量)作为人脸信息来进行核对的处理。当采用人脸的特征量进行人脸认证时，会员DB101a及来店人DB102a也可以存储人脸的特征量作为会员的人脸信息Rf及来店人的人脸信息Cf。人脸的特征量不是人一眼就能指定个人的信息。因此，通过将人脸特征量作为人脸信息登记在DB中，能够提高个人信息保护等的安全性。
另外，来店人的人脸信息Cf和登记人脸信息Rf的人脸认证处理也可以由中心服务器101实施。这时，人脸认证部232和登记人脸信息取得部234只要向中心服务器101委托(请求)来店人的人脸信息Cf和登记人脸信息Rf的人脸认证，取得其人脸认证的结果就行。中心服务器101只要根据来自店铺服务器102的委托实施人脸认证处理，并向店铺服务器102返回(回答)其人脸认证的处理结果就行。
登记信息取得部235从中心服务器101取得指定会员的登记信息Ri。登记信息取得部235是处理器121通过网络I/F123与中心服务器101进行通信来实现的处理功能。登记信息取得部235通过人脸认证部232的人脸认证处理取得与和来店人的人脸图像一致的(同定的)的登记人脸信息Rf对应的会员的登记信息Ri。登记信息取得部235将已取得的(与来店人同定的会员)的登记信息Ri和该来店人的人脸信息Cf作为一位来店人信息存储在来店人DB102a中。通过这样，来店人DB102a存储来店人的人脸信息Cf和与该来店人同定的会员的登记信息Ri，作为每位来店人的来店人信息。
此外，在店铺内的结账处中，结算开始部241检测出结算对象人。结算开始部241产生开始结算处理，也就是说产生给予摄像结算对象人的人脸的定时的触发(脉冲)。结算开始部241也可以通过结账处的入口或者结算终端103的跟前侧所设置的门来检测想要结算的人。此外，结算开始部241也可以由明示设置第二摄像头105并由要进行结算的顾客亲自按下的摄像按钮构成。此外，结算开始部241也可以从结账处的入口或者结算终端103附近所设置的摄像头所摄像的图像检测出结算对象人。
第二摄像头105通过摄像部251摄像对商品等的购买货款进行结账的利用者(结算对象人)的人脸。第二摄像头105诸如当结算开始部241检测结算对象人时，则摄像包含结算对象人的人脸的图像。第二摄像头105将摄像了结算对象人的人脸的图像(摄像图像)数据供给给结算终端103。第二摄像头105也可以只将在已摄像的图像中包含有人脸的图像供给给结算终端103。此外，第二摄像头105也可以将把在已摄像的图像中的人脸区的图像切出成规定尺寸的图像数据供给给结算终端103。另外，人脸信息是从摄像图像抽出的信息。因此，第二摄像头105向结算终端103进行供给的信息是包含人脸信息的信息。结算终端103通过图像取得部260取得第二摄像头105所摄像的摄像图像(包含人脸信息的信息)。图像取得部260通过处理器131所控制的摄像头I/F134来实现。人脸抽取部261从图像取得部260所取得的图像抽取人脸信息，并将已抽取的人脸信息供给给人脸认证部262。人脸抽取部261是通过处理器131执行程序来实现的功能。此外，人脸抽取部261也可以将根据已取得的图像所包含的人脸图像计算出的人脸的特征量(用于人脸认证的特征量)作为结算对象人的人脸信息供给给人脸认证部262。
人脸认证部262进行基于从人脸抽取部261供给的结算对象人的人脸信息和来店人DB102a所存储的来店人的人脸信息Cf的人脸核对的人脸认证处理。人脸认证部262是通过处理器131执行存储器132所存储的人脸认证用的程序来实现的处理功能。人脸认证部262的人脸认证处理并不限定于指定的算法。不过，店铺服务器102的人脸认证部232和结算终端103的人脸认证部262原则上是用相同算法进行人脸认证的。
来店人DB102a所存储的来店人的人脸信息的数量与会员DB101a所存储的会员的人脸信息的数量相比少。因此，人脸认证部262的人脸认证处理由于能在来店人的人脸信息Cf中检索与结算对象人的人脸信息进行核对的人脸信息，所以能进行高速的人脸认证。此外，人脸认证部262对从第二摄像头105所摄像的图像(结算时的人脸图像)抽取的人脸信息和从第一摄像头104所摄像的人脸图像(来店时的人脸图像)抽取的人脸信息Cf进行核对。因此，人脸认证部262能进行在经时变化的影响少的人脸图像彼此之间的高精度的人脸认证。
另外，从第二摄像头105所摄像的图像中抽取的结算对象人的人脸信息和来店人的人脸信息Cf的人脸认证处理也可以由店铺服务器102实施。这时，人脸认证部262只要向店铺服务器102委托结算对象人的人脸信息和来店人信息的人脸信息Cf的人脸认证，取得其人脸认证的结果就行。店铺服务器102只要根据来自结算终端103的委托实施人脸认证处理，将其人脸认证的处理结果返回给结算终端103就行。
结算部263对第二摄像头105所摄像的购买者进行结算处理。结算部263从人脸认证部262取得人脸认证的结果。结算部263当通过人脸认证部262的人脸认证能够认证结算对象人是指定的来店人时，取得该来店人的来店人信息的登记信息Ri。结算部263采用已取得的登记信息Ri作为通常处理执行结算处理。
例如，采用了登记信息Ri的结算处理能够应用基于登记信息Ri所包含的***结算信息的结算。这时，中心服务器101将***结算信息作为登记信息Ri的一部分登记在会员DB101a中。结算部263向***信用公司查询登记信息Ri所包含的***结算信息，进行购买金额的收费处理。此外，采用了登记信息Ri的结算处理也可以是基于预先储存的会员积分的购买金额的支付手续。根据这些结算处理，利用者能够采用基于人脸认证而获得的会员的登记信息Ri自动地进行购买金额的结算。
此外，结算部263当结算对象人的人脸信息与哪位来店人的人脸信息Cf都不一致时，通过预设的例外处理进行结算处理。此外，基于例外处理的结算处理可以是向有店员所在的结算终端引导顾客，通过店员的购买结算手续完成商品的购买。此外，基于例外处理的结算处理也可以通过利用了顾客所持有的***的自助收银方式来进行购买结算。根据这些例外处理，即使人脸认证失败了时，也可以完成商品购买等的金额的结算处理。
此外，结算部263也可以在结算处理完成了后，向店铺服务器102通知结算内容等。接受了结算内容的通知的店铺服务器102也可以向中心服务器101通知结算内容。接受了结算内容的通知的中心服务器101也可以基于结算内容更新会员DB101a的会员信息，或者与会员信息对应存储结算内容。
离店确认部271确认顾客离店。离店确认部271也可以由设置在店铺的出口并检测顾客离店的门(退场门)构成。此外，离店确认部271由于唯一识别要离店的顾客，所以也可以与票据等的购买结算信息履历进行核对。此外，离店确认部271也可以根据店铺的出口附近所设置的摄像头所摄像的图像识别顾客离店。此外，当是根据出口路线的布局等以结算处理后的顾客进行离店为前提的运用时，离店确认部271也可以省略。
店铺服务器102的后处理部281当接受离店确认的通知时，则从来店人DB102a中删除该顾客的来店人信息。此外，当是以结算完了后的顾客进行离店为前提的运用时，后处理部281也可以接受来自结算部263的结算完了的通知后删除该顾客的来店人信息。此外，后处理部281也可以抽取经过了规定时间以上的来店人信息并进行删除。
图3B是表示图3A所示的第一实施例所涉及的信息处理***的处理功能的构成的变形例的图。另外，图3B对与图3A相同的构成地方附加相同符号并详细的说明。
图3B所示的第一摄像头104′除具有图3A所示的第一摄像头104的构成外，还具有人脸抽取部222。图3B所示的第二摄像头105′除具有图3A所示的第二摄像头105的构成外，还有人脸抽取部252。此外，图3B所示的店铺服务器102′具有人脸信息取得部231′代替图3A所示的店铺服务器102的图像取得部230及人脸抽取部231。此外，图3B所示的结算终端103′具有人脸信息取得部261′，代替图3A所示的结算终端103的图像取得部260及人脸抽取部261。
第一摄像头104′的人脸抽取部222从摄像部221所摄像的图像抽取人脸信息。人脸抽取部222将从已摄像的图像抽取的人脸信息供给给店铺服务器102′的人脸信息抽取部231′。也就是说，图3B所示的信息处理***不是将第一摄像头104′所摄像的图像本身，而是将从所摄像的图像中抽取的人脸信息(至少包含人脸信息的信息)供给给店铺服务器102′。店铺服务器102′的人脸信息抽取部231′从第一摄像头104′取得从已摄像的图像抽取的人脸信息(至少包含人脸信息的信息)。人脸信息取得部231′将已取得的人脸信息供给给人脸认证部232，而且存储在来店人DB102a中。
另外，第一摄像头104′也可以将从所摄像的图像抽取的人脸信息与所摄像的图像一起供给给店铺服务器102′。这时，店铺服务器102′的人脸信息取得部231′也可以在来店人DB中存储摄像图像。
第二摄像头105′的人脸抽取部252从摄像部251所摄像的图像抽取人脸信息。人脸抽取部252将从所摄像的图像抽取的人脸信息供给给结算终端103′的人脸信息取得部261′。也就是说，图3B所示的信息处理***不是将第二摄像头105′所摄像的图像本身，而是将从所摄像的图像抽取的人脸信息(至少包含人脸信息的信息)供给给结算终端103′。结算终端103′的人脸信息取得部261′从第二摄像头105′取得从所摄像的图像抽取的人脸信息(至少包含人脸信息的信息)。人脸信息取得部261′将所取得的人脸信息供给给人脸认证部262。
另外，第一实施例所涉及的信息处理***也可以将图3A所示的构成和图3B所示的构成进行组合在一起而实现。例如，信息处理***也可以将第一摄像头及店铺服务器视为图3A的构成，将第二摄像头及结算终端视为图3B的构成。此外，信息处理***也可以将第一摄像头及店铺服务器视为图3B的构成，将第二摄像头及结算终端视为图3A的构成。
此外，图3A及图3B所示的各部也可以由信息处理***内的任意装置来实现。例如，店铺服务器102的各部也可以将其一部分或全部设置在结算终端103中。此外，结算终端103的各部也可以将其一部分或者全部设置在店铺服务器102中。例如，只要是小规模的店铺，则也可以由将店铺服务器102和结算终端103一体构成的装置实现信息处理***。此外，中心服务器101的各部也可以将其一部分或者全部设置在店铺服务器102中。
此外，以下说明主要假想图3A所示的构成例。
接着，对在第一实施例所涉及的信息处理***中，将来店人信息存储在来店人DB102a中的信息存储处理进行说明。
图4是用于对第一实施例所涉及的信息处理***中的信息存储处理的流程进行说明的流程图。
当顾客来到店铺时，则来店确认部211检测出顾客进店(ACT100)。来店确认部211当检测出顾客进店时，则向第一摄像头104通知顾客已进店的情况(或者开始人脸图像的摄像)。第一摄像头104当从来店确认部211通知顾客进店的情况时，则摄像已进店的顾客(来店人)的人脸(ACT101)。第一摄像头104将摄像了包含来店人的人脸的图像的摄像图像(包含人脸信息的信息)供给给店铺服务器102。
店铺服务器102的处理器121通过摄像头I/F124从第一摄像头104取得摄像图像(包含人脸信息的信息)(ACT102)。处理器121从已取得的摄像图像抽取来店人的人脸信息Cf(ACT103)。处理器121当能够从第一摄像头104的摄像图像抽取来店人的人脸信息Cf时，将已抽取的来店人的人脸信息Cf存储在来店人DB102a中(ACT104)。来店人的人脸信息Cf可以是从人脸图像抽取的用于人脸核对的人脸特征量，也可以是从摄像图像抽取出人脸区的图像的人脸图像数据。
另外，只要是图3B所示的构成，则店铺服务器102′就会从第一摄像头104′取得从摄像图像抽取的人脸信息。此外，处理器121当获得有来店人的人脸信息Cf时，则进行检索与来店人的人脸信息Cf一致的会员DB101a的登记人脸信息Rf的人脸认证处理。例如，处理器121从中心服务器101的会员DB101a取得成为人脸认证(核对)的对象的多个登记人脸信息Rf(ACT105)。处理器121进行来店人的人脸信息Cf和从中心服务器101取得的各登记人脸信息Rf的人脸认证(1：N的人脸核对)(ACT106)。
例如，处理器121根据是否具有能够与来店人的人脸信息Cf同定(判断为是同一人)的登记人脸信息Rf，判断人脸认证是否已成功(ACT107)。例如，处理器121当来店人的人脸信息Cf和指定的登记人脸信息Rf同定(判断为是同一人)时，则人脸认证成功了。此外，处理器121当来店人的人脸信息Cf与哪个登记人脸信息Rf都不同定时，人脸认证失败了。
当人脸认证成功了时(ACT107的是)，处理器121取得与和来店人的人脸信息Cf同定的登记人脸信息Rf对应的登记信息Ri(ACT108)。处理器121当取得登记信息Ri时，则将已取得的登记信息Ri与该来店人的人脸信息Cf对应作为来店人信息存储在来店人DB102a中(ACT109)。另外，处理器121也可以将登记信息Ri与登记人脸信息Rf同时进行取得。
此外，当人脸认证失败了时(ACT107的否)，处理器121视为来店人未被会员登记，并进行例外处理(非会员处理)。例如，处理器121当人脸认证失败了时，对该来店人生成非会员用的信息(ACT110)。处理器121将该来店人的人脸信息Cf与非会员信息对应作为非会员的来店人信息存储在来店人DB102a中(ACT109)。
另外，来店人的人脸信息Cf和登记人脸信息Rf的人脸认证处理也可以由中心服务器101实施。这时，店铺服务器102的处理器121进行向中心服务器101委托人脸认证并取得其结果的处理，作为替代ACT105～108的处理。例如，处理器121向中心服务器101发送来店人的人脸信息Cf和登记人脸信息Rf的人脸认证的委托。处理器121在委托了人脸认证后，从中心服务器101取得与和来店人的人脸信息Cf同定的登记人脸信息Rf对应的登记信息Ri或者人脸认证的失败通知。
根据上述那样的信息存储处理，店铺服务器能够将实际来店的来店人的人脸信息和作为来店人的会员的登记信息作为来店人信息存储在来店人DB中。此外，来店人的人脸信息和已登记的会员的登记人脸信息的人脸认证处理，能够在到顾客进行结算的期间来实施。因此，即使会员数量非常多的运用形式，也能够有效利用顾客因购物等而在卖场的时间来实施需要时间的人脸认证处理。作为该结果，可以避免因在进店时等待人脸认证处理完成而等待进店等的服务下降的情况发生。
接着，对第一实施例所涉及的信息处理***中的结算处理进行说明。
图5是用于对第一实施例所涉及的信息处理***中的结算处理的流程进行说明的流程图。
结算开始部241通过检测出结算对象人而检测结算开始(ACT200)。结算开始部241也可以诸如当顾客通过了结账处的入口时，或者当顾客按下了规定按钮(摄像按钮或者结算开始按钮)时，检测结算开始。此外，结算开始部241也可以当从摄像头所摄像的图像检测出有结算对象人时，判断结算开始。结算开始部241当判断结算开始时，则向第二摄像头105通知结算开始。
第二摄像头105当接受结算开始的通知时，则摄像结算对象人(购买人)的人脸图像(ACT201)。第二摄像头105将所摄像的摄像图像(包含人脸信息的信息)供给给结算终端103。
结算终端103的处理器131通过摄像头I/F134从第二摄像头105取得摄像图像(包含人脸信息的信息)(ACT202)。处理器131当取得摄像图像时，则从已取得的摄像图像抽取结算对象人的人脸信息(ACT203)。
另外，只要是图3B所示的构成，则结算终端103′从第二摄像头105′取得从摄像图像抽取的人脸信息。处理器131当能够抽取结算对象人的人脸信息时，通过人脸认证部262的功能来进行结算对象人的人脸信息和来店人的人脸信息Cf的人脸认证(ACT204)。处理器131根据是否具有能够与结算对象人的人脸信息同定(判断为同一人)的来店人的人脸信息Cf，判断人脸认证是否已成功(ACT205)。例如，处理器131当存在有与结算对象人的人脸信息同定的来店人的人脸信息Cf时，人脸认证成功了。此外，处理器131当结算对象人的人脸信息与哪个来店人的人脸信息Cf都不同定时，人脸认证失败了。
当人脸认证成功了时(ACT205的是)，处理器131通过结算部263的功能取得与和结算对象人的人脸信息同定的来店人的人脸信息Cf对应的登记信息Ri(ACT206)。处理器131当取得登记信息Ri时，则利用已取得的登记信息Ri进行结算处理(ACT207)。例如，在登记信息Ri中，作为能够用于结算的结算信息包含有***结算信息或者会员积分信息。这时，处理器131只要根据已取得的登记信息Ri所包含的结算信息结算商品的购买货款等的金额就行。
在这里，采用登记信息Ri的结算处理诸如采用登记信息Ri所包含的***结算信息进行金额的结算。此外，采用了登记信息Ri的结算处理也可以是基于预先储存的会员积分的支付手续的处理。即使为任意的结算处理时，通过采用登记信息Ri进行结算，也能够不让顾客动手而自动地随着商品购买等结束结算手续。
另外，处理器13也可以在结算处理中，打印表示结算内容的票据。此外，处理器131也可以当结算处理完成时，则将表示结算内容的信息存储在存储部中，或者向中心服务器101通知结算内容等的信息。
离店确认部271确认顾客离店了的情况(ACT208)。例如，离店确认部271确认结算处理完成了的顾客从出口离店的情况。离店确认部271当确认顾客已离店时，则向店铺服务器102通知表示已离店的顾客的信息(例如，可以是会员ID等的来店人信息的一部分识别信息)。
店铺服务器102的处理器121当接受来自离店确认部271的离店的确认信息时，则通过后处理部281的功能将已离店的顾客的来店人信息从来店人DB102a删除(ACT209)。
另外，只要是以结束了结算处理的顾客必须离店的情况为前提的运用，则可以省略ACT208的离店确认处理。此外，处理器121由于删除离店确认部271不能确认离店的顾客的来店人信息，所以也可以删除经过了规定期间以上的来店人信息。例如，处理器121也可以在店铺闭店后，删除来店人DB102a的来店人信息。
此外，当人脸认证失败了时(ACT205的否)，处理器131对该结算对象人进行基于预定的例外处理的结算处理(ACT210)。人脸认证的失败意味着不能认证该结算对象人是来店人信息的来店人。处理器131当人脸认证失败了时(当不能认证结算对象人是来店人信息的来店人时)，不能确认包含结算处理所用的结算信息的识别信息。处理器131对人脸认证失败了的结算对象人，判断不能采用作为会员信息已登记的识别信息的结算处理，并进行基于例外处理的结算处理。
基于例外处理的结算处理，诸如可以是通过店员的结算手续，也可以是基于通过自助收银方式顾客出示的***或者现金的结算。此外，处理器131由于进行基于例外处理的结算处理，所以也可以向可基于例外处理的结算处理的结算终端103引导该顾客。本信息处理***，即使对人脸认证失败了的顾客，也能够通过基于例外处理的结算处理进行商品的购买货款等的结算。此外，处理器131也可以当结算对象人的人脸信息被认证为非会员的来店人信息的人脸信息时，进行基于例外处理的结算处理。
另外，上述的结算对象人的人脸信息和来店人信息的人脸信息的人脸认证处理，也可以由店铺服务器102实施。这时，结算终端103的处理器131向店铺服务器102委托人脸认证，进行取得人脸认证的结果的处理，作为替代ACT206～208的处理。例如，处理器131将与来店人的人脸信息的人脸认证的委托与结算对象人的人脸信息同时发送给店铺服务器102。这时，处理器131作为人脸认证的结果，从店铺服务器102取得与结算对象人的人脸信息同定的来店人的识别信息或者人脸认证的失败通知。
如上所述，在本信息处理***中，在结算处理中的作为人脸认证处理的对象的登记信息，变为在信息存储处理中存储在来店人DB102a中的来店人信息的人脸信息。来店人DB102a由于是仅存储实际来店的顾客(来店人)的信息的数据库，所以与会员DB的会员信息相比是小规模的数据库。因此，在第一实施例所涉及的信息处理***中，能够高速地实施在结算处理中的人脸认证处理。作为该结果，在第一实施例所涉及的信息处理***中，通过高速的人脸认证处理能够准时提供采用个人并预先登记的结算信息的结算处理。
在第一实施例所涉及的信息处理***中，在结算处理中，采用来店时已摄像的人脸图像和结算之前摄像的人脸图像进行人脸认证。在来店时和结算时能够预期顾客的发型及服装变化很少。
此外，在第一实施例中，预计来店时的摄像和结算处理之前的摄像的摄像时差实际应用上为数小时左右。因此，考虑在来店时和结算时该顾客的人脸本身经时变化较少。因此，结算处理的人脸认证能够与摄像时差少的来店时的人脸图像进行核对。通过这样，在第一实施例的结算处理中的人脸认证处理，能够预期与相对于会员信息的人脸信息的人脸认证处理相比，认证精度高。此外，在第一实施例所涉及的信息处理***中，也可以通过判定发型或者服装等的附带的信息的同一性，确认人脸认证的结果。
第二实施例
接着，对第二实施例进行说明。
第二实施例所涉及的信息处理***，取得顾客所输入(或者预设)的人脸信息以外的识别信息。第二实施例所涉及的信息处理***，除具有基于在第一实施例中已说明那样的人脸信息的人脸认证的功能外，还具有用人脸信息以外的识别信息认证人的功能。采用人脸信息的人的认证有因摄像了人脸的时间、摄像条件而认证精度变动的可能性。第二实施例所涉及的信息处理***，可当因人脸认证的精度不够而认证识别了时通过基于识别信息的认证来补充。此外，第二实施例所涉及的信息处理***不仅可以进行基于人脸认证的认证，而且还可以通过进行基于识别信息的认证来进行严谨的认证。
图6是表示第二实施例所涉及的信息处理***的硬件构成例的框图。
图6所示的第二实施例所涉及的信息处理***，具有中心服务器101、店铺服务器302、结算终端303、第一摄像头104、第二摄像头105、第一信息输入装置306及第二信息输入装置307。
另外，图6所示的中心服务器101、第一摄像头104及第二摄像头105由于与第一实施例中已说明的具有同样功能，所以附加相同符号并省略详细的说明。此外，关于图6所示的店铺服务器302及结算终端303内的构成，对与图2所示的同样构成，附加相同符号并省略详细的说明。
不过，图6所示的存储器122、存储部126及存储器132所存储的信息与图2所示的第一实施例不同。此外，处理器121及处理器131通过执行存储器122及存储器132所存储的程序实现的功能也与图2所示的第一实施例不同。
图6所示的店铺服务器302具有在图2所示的店铺服务器102的构成上追加了信息输入I/F321的构成。信息输入I/F321是用于取得人脸信息以外的指定顾客用的信息的接口。例如，信息输入I/F321取得通过第一摄像头104摄像有人脸的顾客(来店人)向第一信息输入装置306输入的信息。第一信息输入装置306只要是能够输入识别顾客的除人脸信息以外的信息的装置就行。例如，第一信息输入装置306可以是顾客所有的便携终端，也可以是入口附近所设置的数字(置数)键等的键盘。
图6所示的结算终端303具有在图2所示的结算终端303的构成上追加了信息输入I/F331的构成。信息I/F331是用于取得人脸信息以外的指定顾客用的信息的接口。例如，信息输入I/F331取得通过第二摄像头105摄像有人脸的顾客(结算对象人)向第二信息输入装置307输入的信息。第二信息输入装置307只要是能够输入识别顾客的除人脸信息以外的信息的装置就行。例如，第二信息输入装置307可以是顾客所有的便携终端，也可以是结算终端303的附近所设置的置数键等的键盘。
图7是表示第二实施例所涉及的信息处理***的第一具体例的图。
在图7所示的例子中，第一信息输入装置306及第二信息输入装置307是顾客所持的移动终端M。移动终端M(306、307)具有无线通信功能。移动终端M的无线通信方式诸如是BLE(Bluetooth(注册商标)LowEnergy：蓝牙低能量)或者WiFi(注册商标)等。信息输入I/F321及信息输入I/F331由与顾客所持的移动终端M的无线通信方式对应的无线通信端子T构成。
例如，移动终端M通过与店铺内所设置的无线通信端子T的无线通信，能够向店铺服务器102通知预设的固有ID。固有ID只要是在该店铺的信息处理***中能够识别该顾客的信息就行。店铺服务器102通过作为信息输入I/F321的无线通信端子T从来店人的移动终端M取得固有ID。此外，无线终端303通过作为信息输入I/F331的无线通信端子T从结算对象人的移动终端M取得固有ID。
此外，具有作为信息输入I/F321功能的无线通信端子T通过灵敏度的调整也可以用作检测在指定范围内有移动终端M的传感器。例如，无线通信端子T也可以通过将第一摄像头104的摄像位置设置在通信范围内，检测持有移动终端M的顾客是否存在于摄像位置。同样地，具有作为信息输入I/F331功能的无线通信端子T也可以检测持有移动终端M的顾客是否存在于第二摄像头105的摄像位置。
图8是表示第二实施例所涉及的信息处理***的第二具体例的图。
在图8所示的例子中，第一信息输入装置306及第二信息输入装置307是顾客输入信息的键输入终端K(K1、K2)。信息输入I/F321取得输入到作为第一信息输入装置306的键输入终端K1的信息。信息输入I/F331取得输入到作为第二信息输入装置307的键输入终端K2的信息。
例如，来到店里的顾客(来店人)当通过第一摄像头104摄像有人脸时，向键输入终端K1输入作为识别信息的任意密码。此外，键输入终端K2在结算时顾客(结算对象人)再输入在键输入终端K1所输入的密码。
作为第一信息输入装置306的键输入终端K1设置在第一摄像头104的摄像位置附近。例如，键输入终端K1设置在通过第一摄像头104摄像有人脸的顾客(来店人)容易键输入的位置。此外，作为第二信息输入装置307的键输入终端K2设置在第二摄像头105的摄像位置附近。例如，键输入终端K2在结算终端303中设置在结算对象人容易键输入的位置。
另外，键输入终端K1与第一摄像头104摄像顾客的人脸的定时大致同步地要求键输入的情况，鉴于顾客的便利性是合理的。不过，在结算处理中，键输入终端K2并不一定需要以第二摄像头105摄像结算对象人的人脸的定时要求键输入。例如，也可以将第二摄像头105设置在结账处的入口附近，键输入终端K2与结算终端303一体地设置。
此外，作为第一信息输入装置306、第二信息输入装置307，也可以设置将人脸信息以外的顾客的生物(活体)信息作为识别信息进行输入的生物信息输入装置，替代键输入终端K1、K2。作为可利用个人认证的人脸信息以外的生物信息，有指纹、静脉、虹膜、声音、心率等。也可以将在这些生物信息中输入任一生物信息的装置作为第一信息输入装置306、第二信息输入装置307进行设置。
接着，对第二实施例所涉及的信息处理***中的各装置的处理功能进行概略地说明。
图9A是用于对第二实施例所涉及的信息处理***的处理功能进行说明的图。
另外，图9A对与图3A所示的处理功能同样的构成附加相同符号。在图9A中，对附加与图3B相同符号的处理功能省略详细的说明。
店铺服务器302具有将来自第一信息输入装置306的信息作为一部分来店人信息存储在来店人DB102a中的信息取得部431。例如，信息取得部431只要第一信息输入装置306是移动终端M，则通过基于信息输入I/F321的无线通信从移动终端M接收识别信息(例如固有ID)。信息取得部431当从移动终端M接收固有ID时，则将接收到的固有ID存储在来店人DB102a中，此外，信息取得部431通过信息输入I/F321取得输入到作为第一信息输入装置306的键输入终端K1的信息(例如密码)。信息取得部431当取得输入到键输入终端K1的密码时，则将已取得的密码存储在来店人DB102a中。
此外，结算终端303具有信息取得部461和核对部462。信息取得部461取得输入到第二信息输入装置307的用于识别来店人的除人脸信息以外的识别信息。例如，信息取得部461只要第二信息输入装置307是移动终端M，则通过基于信息输入I/F331的无线通信从移动终端M接收识别信息(例如固有ID)。信息取得部461当从移动终端M接收固有ID时，则向核对部462供给接收到的固有ID。此外，信息取得部461只要第二信息输入装置307是键输入终端K2，则通过信息输入I/F331取得输入到键输入终端K2的信息(例如密码)。信息取得部461当取得输入到键输入终端K2的密码时，则向核对部462供给已取得的密码。
此外，核对部462对信息取得部461所取得的识别信息和来店人DB102a所存储的来店人的识别信息进行核对。核对部462当从信息取得部461供给有识别信息时，则从来店人DB102a检索与已供给的识别信息一致的来店人的识别信息。
图9B是表示图9A所示的第二实施例所涉及的信息处理***的处理功能的构成的变形例的图。另外，图9B对与图9A相同的构成地方附加相同符号并进行详细的说明。
图9B所示的第一摄像头104′除具有图9A所示的第一摄像头104的构成外，还具有人脸抽取部222。图9B所示的第二摄像头105′除具有图9A所示的第二摄像头105的构成外还具有人脸抽取部252。此外，图9B所示的店铺服务器302′具有人脸信息取得部231′，替代图9A所示的店铺服务器302的图像取得部230及人脸抽取部231。此外，图9B所示的结算终端303′具有人脸信息取得部261′，替代图9A所示的结算终端303的图像取得部260及人脸抽取部261。
另外，图9B所示的人脸抽取部222、人脸抽取部252、人脸信息取得部231′及人脸信息取得部261′是与图3B相同构成而实现的。
此外，第二实施例所涉及的信息处理***也可以组合图9A所示的构成和图9B所示的构成而实现。例如，信息处理***也可以将第一摄像头及店铺服务器视为图9A的构成，将第二摄像头及结算终端视为图9B的构成。此外，信息处理***将第一摄像头及店铺服务器视为图9B的构成，将第二摄像头及结算终端视为图9A的构成。
此外，以下的说明主要假想图9A所示的构成例。
接着，对第二实施例所涉及的信息处理***中的信息存储处理的流程进行说明。
图10是用于对第二实施例所涉及的信息处理***中的信息存储处理的流程进行说明的流程图。
在图10所示的信息存储处理的例子中，信息处理***并行实施存储来店人的人脸信息的处理和存储来店人所输入的识别信息的处理。也就是说，第一摄像头104当从来店确认部211接受顾客进店的通知时，则摄像进店的顾客(来店人)的人脸图像(ACT301)。第一摄像头104向店铺服务器302供给摄像了来店人的人脸的摄像图像(包含人脸信息的信息)。此外，第一信息输入装置306与基于第一摄像头104的摄像并行接受来自来店人的识别信息Ci的输入(ACT311)。第一信息输入装置306向店铺服务器302供给来店人所输入的识别信息Ci或者来店人所预设的识别信息Ci。
店铺服务器302的处理器121并行执行从第一摄像头104取得摄像图像的处理(ACT302)和从第一信息输入装置306取得识别信息的处理(ACT312)。
也就是说，店铺服务器302的处理器121通过人脸抽取部231的功能通过摄像头I/F124从第一摄像头104取得摄像图像(包含人脸信息的信息)(ACT302)。处理器121通过人脸抽取部231的功能从已取得的摄像图像抽取来店人的人脸信息Cf(ACT303)。处理器121当从第一摄像头104的摄像图像能够抽取来店人的人脸信息Cf时，将已抽取的人脸信息Cf存储在来店人DB102a中(ACT304)。
另外，只要是图9B所示的构成，则店铺服务器302′从第一摄像头104′取得从摄像图像抽取的人脸信息。
此外，店铺服务器302的处理器121通过信息取得部431的功能通过信息输入I/F321从第一信息输入装置306取得来店人的识别信息Ci(ACT312)。来店人的识别信息Ci可以是从作为第一信息输入装置306的移动终端M接收的固有ID，也可以是来店人本人向键输入终端K1输入的密码。处理器121当从第一信息输入装置306能够取得来店人的识别信息Ci时，将已取得的识别信息Ci存储在来店人DB102a中。
此外，处理器121当获得有来店人的人脸信息Cf时，则通过人脸认证部232及登记人脸信息取得部234的功能，进行来店人的人脸信息Cf及会员DB101a的登记人脸信息Rf的人脸认证处理。例如，处理器121通过登记人脸信息取得部234的功能从中心服务器101的会员DB101a取得成为人脸核对的对象的多个登记人脸信息Rf(ACT305)。处理器121通过人脸认证部232的功能进行来店人的人脸信息Cf和已取得的各登记人脸信息Rf的人脸认证(1：N的人脸核对)(ACT306)。处理器121根据是否具有能够与来店人的人脸信息Cf同定(判断为是同一人)的登记人脸信息Rf，判断人脸认证是否已成功(ACT307)。
当人脸认证已成功了时(ACT307的是)，处理器121通过登记信息取得部235的功能取得与和来店人的人脸信息Cf同定的登记人脸信息Rf对应的会员的登记信息Ri(ACT308)。处理器121当取得会员的登记信息Ri时，则将已取得的登记信息Ri与该来店人的识别信息一起与来店人的人脸信息Cf对应作为来店人信息存储在来店人DB102a中(ACT309)。
此外，当人脸认证失败了时(ACT307的否)，处理器121视为来店人未会员注册，进行例外处理(非会员处理)。例如，处理器121当人脸认证失败了时，对该来店人生成非会员用的登记信息(ACT310)。处理器121将非会员的登记信息与来店人的识别信息Ci一起与该来店人的人脸信息Cf对应作为非会员的来店人信息存储在来店人DB102a中(ACT309)。
另外，来店人的人脸信息Cf和登记人脸信息Rf的人脸认证处理也可以由中心服务器101实施。这时，店铺服务器302的处理器121进行向中心服务器101委托人脸认证并取得其结果的处理，作为替代ACT305～308的处理。例如，处理器121将来店人的人脸信息Cf与和登记人脸信息Rf的人脸认证的委托同时发送给中心服务器101。处理器121在委托了人脸认证后，从中心服务器101取得与和来店人的人脸信息Cf同定的登记人脸信息Rf对应的登记信息Ri，或者人脸认证的失败通知。
根据上述那样的信息存储处理，店铺服务器能够将实际来店里的顾客的人脸信息、顾客所指定的识别信息及顾客的登记信息作为来店人信息存储在来店人DB中。此外，来店人的人脸信息和已登记的会员的登记人脸信息的人脸认证处理能够在到顾客进行结算的期间实施。因此，即使是预计会员数量多且人脸认证处理需要时间的运用形式，也能够有效地利用顾客因购物等而在卖场的时间来实施处理。作为该结果，能够避免因在进店时登记人脸认证处理完了而等待进店等的服务降低的情况发生。
接着，对在第二实施例所涉及的信息处理***中的结算处理进行说明。
图11是用于对第二实施例所涉及的信息处理***中的作为结算处理的第一处理例的流程进行说明的流程图。
在图11所示的结算处理的例子中，信息处理***并行实施基于结算对象人的人脸信息的人脸认证和基于结算对象人所输入的识别信息的认证(核对)处理。也就是说，第二摄像头105当结算开始部241检测出结算开始时(ACT400)，则摄像结算对象人的人脸(ACT401)。第二摄像头105将摄像了结算对象人的人脸的摄像图像(包含人脸信息的信息)供给给店铺服务器302。此外，第二信息输入装置307与基于第二摄像头105的摄像并行接受来自结算对象人的识别信息的输入(ACT411)。第二信息输入装置307向结算终端303供给结算对象人输入的识别信息。
结算终端303的处理器131通过摄像头I/F134从第二摄像头105取得摄像图像(包含人脸信息的信息)(ACT402)。处理器131当取得摄像图像时，则从已取得的摄像图像抽取结算对象人的人脸信息(ACT403)。另外，只要是图9B所示的构成，则结算终端303′从第二摄像头105′取得从摄像图像抽取的人脸信息。
处理器131当能够抽取结算对象人的人脸信息时，进行结算对象人的人脸信息和来店人的人脸信息Cf的人脸认证(ACT404)。处理器131根据是否具有能够与结算对象人的人脸信息同定(判断为是同一人)的来店人的人脸信息Cf，判断人脸认证是否已成功(ACT405)。
当人脸认证已成功了时(ACT405的是)，处理器131通过结算部263的功能取得与和结算对象人的人脸信息同定的来店人的人脸信息Cf对应的登记信息Ri(ACT406)。处理器131当取得登记信息Ri时，则采用已取得的登记信息Ri进行通常的结算处理(ACT407)。通常的结算处理可实施在第一实施例中作为图5的ACT207的结算处理已说明了的处理。
离店确认部271确认顾客离店的情况(ACT408)。店铺服务器302的处理器121当接受来自离店确认部271的离店的确认信息时，则从来店人DB102a删除已离店的顾客的来店人信息(ACT409)。
此外，结算终端303的处理器131通过信息取得部461的功能通过信息输入I/F331从第二信息输入装置307取得结算对象人的识别信息(ACT412)。结算对象人的识别信息可以是从作为第二信息输入装置307的移动终端M接收的固有ID，也可以是结算对象人本人向键输入终端K2输入的密码。处理器131当从第二信息输入装置307取得识别信息时，则对已取得的识别信息和来店人DB102a所存储的来店人的识别信息Ci进行核对(ACT413)。上述ACT411～413的处理与ACT401～407的处理并行实施。
当人脸认证失败了时(ACT405的否)，处理器131确认识别信息的核对结果(ACT414)。当识别信息的核对已成功了时(ACT414的是)，处理器131取得与和已取得的识别信息一致的来店人的识别信息Ci对应的登记信息Ri(ACT406)。处理器131当取得登记信息Ri时，则采用已取得的登记信息Ri进行通常的结算处理(ACT407)。
此外，当人脸认证失败且识别信息的核对也失败了时(ACT414的否)，处理器131对该结算对象人进行基于预设的例外处理的结算处理(ACT410)。基于例外处理的结算处理能够应用在ACT210中已说明的处理。
另外，上述结算对象人输入的识别信息的核对处理也可以由店铺服务器302实施。这时，结算终端303的处理器131进行向店铺服务器302委托识别信息的核对并取得其结果的处理，作为替代ACT411～414的处理。例如，处理器131向店铺服务器302发送已取得的识别信息和作为来店人信息存储的识别信息的核对的委托。处理器131作为识别信息的核对结果，只要从店铺服务器302取得识别信息已一致的来店人的登记信息，或者识别信息的核对已失败的意思的通知就行。
图12是用于对第二实施例所涉及的信息处理***中的作为结算处理的第二处理例的流程进行说明的流程图。
在图12所示的结算处理的例子中，信息处理***继续基于结算对象人的人脸信息的人脸认证实施基于结算对象人所输入的识别信息的认证(核对)处理。
也就是说，第二摄像头105当结算开始部241检测出结算开始时(ACT400)，则摄像结算对象人的人脸(ACT401)。第二摄像头105向店铺服务器302供给摄像了结算对象人的人脸的摄像图像。
结算终端303的处理器131通过摄像头I/F134从第二摄像头105取得摄像图像(ACT402)。处理器131当取得摄像图像时，则从已取得的摄像图像抽取结算对象人的人脸信息(ACT403)。
处理器131当能够抽取结算对象人的人脸信息时，进行结算对象人的人脸信息和来店人的人脸信息Cf的人脸认证(ACT404)。处理器131根据是否有能够与结算对象人的人脸信息同定(判断为是同一人)的来店人的人脸信息Cf，判断人脸认证是否已成功(ACT405)。
当人脸认证成功了时(ACT405的是)，第二信息输入装置307接受来自结算对象人的识别信息的输入(ACT411)。第二信息输入装置307向结算终端303供给结算对象人输入的识别信息。结算终端303的处理器131通过信息取得部461的功能通过信息输入I/F331从第二信息输入装置307取得结算对象人的识别信息(ACT412)。处理器131当从第二信息输入装置307取得识别信息时，则对已取得的识别信息和来店人DB102a所存储的来店人的识别信息Ci进行核对(ACT413)。
另外，上述ACT411～413的处理也可以与ACT401～407的处理并行实施。这时，第二信息输入装置307与基于第二摄像头105的摄像并行接受识别信息的输入。结算终端303的处理器131当人脸认证失败了时(ACT405的否)，确认识别信息的核对结果(ACT414)。
当识别信息的核对成功了时(ACT414的是)，处理器131取得与和已取得的识别信息一致的来店人的识别信息Ci对应的登记信息Ri(ACT406)。处理器131当取得登记信息Ri时，则采用已取得的登记信息Ri进行通常的结算处理(ACT407)。通常的结算处理可实施在第一实施例中作为图5的ACT207的结算处理已说明的处理。
离店确认部271确认顾客已离店的情况(ACT408)。店铺服务器302的处理器121当接受来自离店确认部271的离店的确认信息时，则从来店人DB102a删除已离店的顾客的来店人信息(ACT409)。
此外，当人脸认证失败了时(ACT405的否)，或者当识别信息的核对失败了时(ACT414的否)，处理器131对该结算对象人进行基于预定的例外处理的结算处理(ACT410)。基于例外处理的结算处理能够应用在ACT210中已说明的处理。
在上述的第二实施例中，结算处理的第一处理例与结算对象人的人脸的摄像并行进行基于第二信息输入装置的来自结算对象人的识别信息的输入。结算终端并行实施基于结算对象人的人脸信息的人脸认证和基于结算对象人的识别信息的核对处理。结算终端当人脸认证成功了时执行通常的结算处理，即使在人脸认证失败了的情况下，如果基于识别信息的核对处理成功，则也进行通常的结算处理。信息处理***即使在通过图11所示的结算处理，人脸认证的精度不够的情况下，也能够通过基于识别信息的核对处理提供通常的结算处理。
在上述的第二实施例中的结算处理的第二处理例顺序地实施基于结算对象人的人脸信息的人脸认证和结算对象人输入的识别信息的核对。也就是说，信息处理***通过在人脸认证处理的后阶段进行基于识别信息的核对处理，可进行严谨的顾客的认证处理。
也就是说，在图12所示的处理中，结算终端仅在人脸认证成功且基于识别信息的核对成功了时，进行采用登记信息的通常的结算处理。此外，结算终端当人脸认证失败了时或者基于识别信息的核对失败了时，不采用会员的登记信息，而进行作为例外处理的结算处理。通过作为这样的处理流程，使商品的购买等的结算处理变得严谨，从而能够进行从顾客银行账户扣收商品的购买处理货款的直接结算处理。
另外，在图12所示的处理中，ACT401～405的处理和ACT411～414的处理，也可以调换处理顺序。此外，ACT401～405的处理和ACT411～414的处理也可以并行实施。当并行实施ACT401～405的处理和ACT411～414的处理时，结算终端只要基于人脸认证的结果和识别信息的核对结果确定处理内容就行。
此外，结算对象人输入的识别信息的核对处理也可以由店铺服务器302实施。这时，结算终端303的处理器131进行向店铺服务器302委托识别信息的核对并取得其结果的处理，作为替代ACT411～414的处理。例如，处理器131向店铺服务器302发送已取得的识别信息和作为来店人信息储存的识别信息的核对的委托。处理器131能够从店铺服务器302取得识别信息已一致的来店人的登记信息或者识别信息的核对已失败的意思的通知，作为识别信息的核对结果。
第三实施例
接着，对第三实施例进行说明。
图13是表示第三实施例所涉及的信息处理***的硬件构成例的框图。
图13所示的第三实施例所涉及的信息处理***具有中心服务器101、店铺服务器302、结算终端503、第一摄像头104及第一信息输入装置306。此外，在图13所示的例子中，第二摄像头105及第二信息输入装置307与结算终端503一体构成。第二摄像头105及第二信息输入装置307也可以是通过接口与结算终端503连接而与结算终端503成为独立的装置。
图13所示的中心服务器101、店铺服务器302、第一摄像头104、第二摄像头105、第一信息输入装置306及第二信息输入装置307，由于与第一或第二实施例中具有同样的功能，所以附加相同符号并省略详细的说明。此外，关于图13所示的结算终端503内的构成，对具有与图6所示的同样功能的构成附加相同符号并省略详细的说明。不过，图13所示的存储器132所存储的信息与图6所示的存储器不同。此外，图13所示的处理器131通过执行存储器132所存储的程序实现的功能也与图6所示的功能不同。
图13所示的结算终端503是包含图6所示的结算终端303、第二摄像头105及第二信息输入装置307的构成。也就是，结算终端503将第二摄像头105和第二信息输入装置一体构成的终端。结算终端503具有摄像头531、摄像头I/F532及商品信息DB533。摄像头531是用于摄像商品的摄像头，摄像头I/F532是用于连接摄像头531的接口。商品信息DB533是存储商品有关的信息的存储器。在结算终端503中，摄像头531、摄像头I/F532、商品信息DB533及处理器131具有作为商品识别部137的功能。
图14是表示结算终端503的构成例的图。
如图14所示，结算终端503包括具有处理器131的本体。第二摄像头105通过摄像头I/F134与结算终端503的本体连接。此外，作为第二信息输入装置307键输入终端K2通过作为信息输入I/F331的终端I/F与结算终端503的本体连接。
用于摄像商品的摄像头531通过摄像头I/F532与结算终端503的本体连接。结算终端503具有载置商品筐的载置台。摄像头531摄像载置台上的规定位置所载置的商品筐的里面。结算对象人将装入了购买的商品的商品筐放置在载置台上的规定位置。
摄像头I/F532取得摄像头531所摄像的商品筐内的图像。处理器131从商品筐内的图像检测出商品图像及商品的条形码的图像。处理器131在参照商品信息DB533的信息的同时，根据商品的条形码的图像及商品的图像识别商品筐内的各商品。
根据图13及图14所示的构成，结算终端503具有总括地识别顾客提示的多个商品的商品识别部137。因此，结算终端503能够节省单个输入商品信息(金额等)，或者单个扫描商品的工夫和时间。第三实施例所涉及的信息处理***根据人脸信息或者人脸认证和进店时所输入的识别信息，可最大限度地发挥节省顾客的工夫并在短时间能够认证的本发明的优点。
另外，图13及图14所示的构成例是可适当变更的。例如，结算终端503也可以是省略第一摄像头104的构成。这时，第一摄像头104可以如在第一、第二实施例中已说明那样替换成设置在结账处的入口等的摄像头。此外，结算终端503也可以是省略了第二信息输入装置307的构成。第二信息输入装置307可以是与结算终端503分开设置的键输入终端，也可以是顾客所持的移动终端。
上述那样的第三实施例所涉及的信息处理***能进行与第二实施例同样的信息存储处理。因此，对第三实施例所涉及的信息处理***，省略信息存储处理的说明。
接着，对第三实施例所涉及的信息处理***中的结算处理进行说明。
图15是用于对第三实施例所涉及的信息处理***中的结算处理的流程进行说明的流程图。
图15所示的结算处理在图12所示的结算处理中追加了商品识别处理。因此，在图15中，对与图12所示的处理同样的处理，附加相同符号并省略详细的说明。例如，ACT400～405、ACT411～414、ACT406～410用与在第二实施例中已说明的图12所示的处理同样的处理能够实现。
在图15所示的结算处理中，结算终端503的处理器131当人脸认证成功了时，执行商品识别处理(ACT501)。商品识别处理是从摄像头531所摄像的包含全部商品的图像识别成为结账对象的所有商品的处理。处理器131当商品识别处理结束时，则判断商品识别是否已成功(ACT502)。处理器131当判断出商品识别已成功时(ACT502的是)，前进到基于结算对象人所输入的识别信息的核对的人物认证。此外，处理器131当判断出商品识别失败了时(ACT502的否)，前进到基于例外处理的结算处理。
接着，对ACT501的商品识别处理进行说明。
图16是用于对商品识别处理进行说明的流程图。
处理器131通过摄像头531摄像包含成为结算对象的全部商品的图像(ACT511)。例如，摄像头531摄像放置在规定位置的商品筐内。处理器131通过摄像头I/F532取得摄像头531所摄像的图像。
处理器131当取得摄像头531所摄像的图像(商品图像)时，则从已取得的商品图像进行查找打印在商品上的条形码的条形码区抽取(ACT521)。处理器131当抽取条形码区时，则对在已抽取的条形码区中的条形码进行译码(ACT522)。处理器131当对条形码进行译码时，则根据已译码的结果从商品信息DB533取得该商品的商品信息(ACT523)。
处理器131对商品图像所包含的所有商品的条形码，实施ACT521～523的处理。此外，处理器131将基于ACT521～523的处理(条形码识别处理)的商品识别的结果保持在存储器132中。
此外，处理器131与ACT521～523的处理(条形码识别处理)并行进行目的物识别处理(ACT531～533)。处理器131从商品图像抽取商品形状的轮廓作为目的物信息(ACT531)。处理器131当抽取目的物信息时，则对应每个商品进行目的物切出(ACT532)。处理器131当对应每个商品切出目的物时，则通过每个商品的目的物信息和商品信息DB533所存储的商品信息的匹配识别各商品(ACT533)。处理器131对从商品图像切出的所有的商品目的物实施ACT533的处理。处理器131将基于目的物识别处理的商品识别的结果保持在存储器132中。
处理器131对基于条形码识别的商品识别的结果和基于目的物识别的商品识别的结果进行核对(ACT541)。如果条形码识别的结果和目的物识别的结果一致，则处理器131的商品识别处理已成功。此外，如果条形码识别的结果和目的物识别的结果的不一致，则处理器131的商品识别处理失败了。
另外，在图16所示的商品识别处理中，也可以省略ACT531～533的处理(商品目的物识别)或者ACT521～523的处理中任意一个处理。此外，在图15所示的结算处理中，也可以省略ACT411～414的处理(识别信息的核对)。
图17是表示第三实施例所涉及的信息处理***的变形例的图。
图17所示的信息处理***以在商品上安装有RFID标签为前提。结算终端603具有总括读取各商品的RFID标签的RFID阅读器631。图17所示的结算终端603是在图14所示的构成中将摄像头531及摄像头I/F532替换成RFID阅读器631及RFID接口632的终端。
此外，图17示出设置了生物信息输入装置607作为第二信息输入装置307的例子。生物信息输入装置607是输入除人脸信息以外的生物信息的装置。作为第二信息输入装置307的生物信息输入装置607，通过信息输入I/F331与结算终端603的本体连接。另外，当将第二信息输入装置307视为生物信息输入装置607时，也需要将第一信息输入装置306视为生物信息输入装置。
图17所示的构成的信息处理***，图15所示的结算处理中的商品识别处理为基于RFID阅读器631读取RFID标签的商品识别处理。例如，RFID阅读器631以放置在规定位置的商品筐内成为通信范围的方式设置。处理器131通过RFID阅读器631从附加在商品筐内的各商品上的RFID标签读取信息。处理器131根据从各RFID标签读取的信息从商品信息DB533取得各商品的商品信息。通过这样的处理，图17所示的结算终端603能够总括地识别处在结算对象人的商品筐内的各商品。
此外，图17所示的构成例采用生物信息输入装置作为第一信息输入装置306及第二信息输入装置307。通过这样，图17所示的构成的信息处理***能够节省顾客进行密码等的输入的劳动和时间。例如，根据指纹认证等的除人脸信息以外的生物认证，只用通过生物信息输入装置读取生物信息，就能够精度高地实施顾客的认证。
另外，当将第一及第二信息输入装置所输入的识别信息视为顾客的生物信息时，无需每次进店都输入来店人的生物信息。例如，如果在会员信息的登记信息Ri中也登记有除人脸以外的生物信息，则进店时不需要输入生物信息的操作。也就是，如果在登记信息Ri中登记除人脸以外的生物信息，则结算终端603就能够进行通过生物信息输入装置607输入的生物信息和登记信息Ri的生物信息的核对。
根据上述那样的第三实施例所涉及的信息处理***，能够提供包含能够总括地识别多个商品的商品识别处理的结算处理。通过这样，根据第三实施例，信息处理***，能够提供可以自助结算采用通过人脸认证指定的会员的登记信息在高速总括的商品识别处理中进行识别的商品的***。
如上所述，各实施例的信息处理***能够在顾客进行购物的期间实施通过人脸认证从会员DB的会员信息指定顾客的处理。其结果，信息处理***能够在结算处理中降低顾客的人脸认证的处理所涉及的处理时间，并能够迅速的结算处理。
此外，各实施例的信息处理***将通过在来店时取得的来店人的人脸信息和会员的人脸信息的人脸认证指定的会员的顾客信息存储在来店人DB中。各实施例所涉及的信息处理***通过在结算处理中对结算对象人的人脸信息和来店人DB的人脸信息进行核对，能够将人脸核对处理的对象(总体)从会员登记数量向来店人数量减少。作为其结果，各实施例的信息处理***能够降低结算处理中的处理时间及提高精度。
而且，各实施例的信息处理***将通过人脸认证指定会员的顾客信息与来店人的人脸信息对应存储在来店人DB中。信息处理***由于结算时的人脸信息与会员登记时的人脸信息相比，与来店时的人脸信息的时差少，所以能够以高精度进行人脸认证。
对上述的各实施例所涉及信息处理***中的基本构成例，总结如下。
(1)实施例所涉及的信息处理***具有第一人脸信息取得部、登记人脸信息取得部、第一人脸认证部、登记信息取得部、来店人信息存储部、第二人脸信息取得部、第二人脸认证部、结算部及删除部。第一人脸信息取得部取得来店人的人脸信息作为第一人脸信息。登记人脸信息取得部取得与所述第一人脸信息核对的会员的登记人脸信息。第一人脸认证部通过所述第一人脸信息和各会员的登记人脸信息的核对认证第一人脸信息的来店人是哪位会员。登记信息取得部取得与和第一人脸信息的认证已成功的登记人脸信息对应的会员的登记信息。来店人信息存储部将所述第一人脸信息和通过所述登记信息取得部取得的登记信息对应的来店人信息存储在存储部中。第二人脸信息取得部取得结算对象人的人脸信息作为第二人脸信息。第二人脸认证部通过所述存储部所存储的第一人脸信息和通过所述第二人脸信息取得部取得的第二人脸信息的核对来认证第二人脸信息的结算对象人是哪位来店人。结算部基于与和第二人脸信息的认证已成功的第一人脸信息对应的所述登记信息，对所述结算对象人所要结算的金额进行结算。删除部从所述存储部删除通过结算部结算已完成的来店人信息。
(2)上述(1)的信息处理***还包含摄像来店人的人脸的第一摄像部，所述第一人脸信息取得部取得第一摄像部所摄像的图像。
(3)上述(1)的信息处理***还包括摄像结算对象人的人脸的第二摄像部，所述第二人脸信息取得部取得第二摄像部所摄像的图像。
(4)上述(1)的信息处理***还包含第一识别信息取得部、第二识别信息取得部及核对部，所述第一识别信息取得部取得用于指定所述第一人脸信息的来店人的第一识别信息。所述第二识别信息取得部取得用于指定所述第二人脸信息的结算对象人的第二识别信息。所述核对部对所述第一识别信息和所述第二识别信息进行核对。
(5)上述(4)的信息处理***，所述第一识别信息取得部通过无线通信从无线通信设备接收所述第一识别信息，所述第二识别信息取得部通过无线通信从无线通信设备接收所述第二识别信息。
(6)上述(4)的信息处理***，所述第一识别信息及所述第二识别信息是所述顾客所制定的密码。
(7)上述(4)信息处理***，所述第一识别信息及所述第二识别信息是所述顾客的除人脸信息以外的生物认证信息。
(8)上述(1)的信息处理***还包括总括地识别所述顾客所购买的商品的商品识别部，所述结算部对通过所述商品识别部识别出的商品的购买货款进行结算。
(9)上述(8)的信息处理***，所述商品识别部对从摄像包含购买对象的所有商品的图像的商品图像抽取的附加在各商品上的条形码进行译码。
另外，在上述的各实施例中，对装置内的存储器预先存储有处理器所执行的程序的情况进行了说明。不过，处理器所执行的程序可以从网络下载到装置，也可以从存储介质安装到装置。作为存储介质，只要是CD-ROM等的能存储程序且装置可读取的存储介质就行。此外，通过预先安装、下载获得的功能也可以与装置内部的OS(操作***)等协作来实现。。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。

Claims (10)

1.一种信息处理***，包括：
第一接口，取得包含来店人的人脸信息的信息；
第一处理器，对从通过所述第一接口取得的信息所包含的来店人的人脸信息和已登记在会员数据库中的各会员的登记人脸信息进行人脸认证，并将与和所述来店人的人脸信息的认证已成功的登记人脸信息对应的会员的登记信息与所述来店人的人脸信息对应存储在来店人数据库中；
第二接口，取得包含结算对象人的人脸信息的信息；以及
第二处理器，对通过所述第二接口取得的信息所包含的结算对象人的人脸信息和所述来店人数据库所存储的来店人的人脸信息进行人脸认证，并采用与和所述结算对象人的人脸信息的认证已成功的来店人的人脸信息对应的所述会员的登记信息进行结算处理。
2.根据权利要求1所述的信息处理***，其中，
所述第二处理器从所述来店人数据库删除结算已完成的来店人的人脸信息和与所述来店人的人脸信息对应的信息。
3.根据权利要求1或2所述的信息处理***，还包括：
第一摄像头，摄像包含来店人的人脸的图像，从已摄像的图像中抽取人脸信息，
其中，所述第一处理器对从所述第一摄像头所摄像的图像中抽取的所述来店人的人脸信息和登记人脸信息进行人脸认证。
4.根据权利要求1至3中任一项所述的信息处理***，还包括：
第二摄像头，摄像包含结算对象人的人脸的图像，从已摄像的图像中抽取人脸信息，
其中，所述第二处理器对从所述第二摄像头所摄像的图像中抽取的所述结算对象人的人脸信息和登记人脸信息进行人脸认证。
5.根据权利要求1至3中任一项所述的信息处理***，还包括：
第一信息输入接口，取得指定所述来店人的第一识别信息；以及
第二信息输入接口，取得指定所述结算对象人的第二识别信息，
其中，所述第二处理器通过所述第一识别信息和所述第二识别信息的核对确认所述来店人和所述结算对象人是同一人。
6.根据权利要求5所述的信息处理***，其中，
所述第一信息输入接口通过无线通信取得所述第一识别信息，所述第二信息输入接口通过无线通信取得所述第二识别信息。
7.根据权利要求5所述的信息处理***，其特征在于，
所述第一识别信息及所述第二识别信息是密码。
8.根据权利要求5所述的信息处理***，其特征在于，
所述第一识别信息及所述第二识别信息是除人脸信息以外的生物认证信息。
9.一种信息处理方法，包括以下步骤：
对通过取得包含来店人的人脸信息的信息的第一接口取得的信息所包含的来店人的人脸信息和已登记在会员数据库中的各会员的登记人脸信息进行人脸认证的步骤；
将与和所述来店人的人脸信息的认证已成功的登记人脸信息对应的会员的登记信息与所述来店人的人脸信息对应存储在来店人数据库中的步骤；
对通过取得包含结算对象人的人脸信息的信息的第二接口取得的信息所包含的结算对象人的人脸信息和所述来店人数据库所存储的来店人的人脸信息进行人脸认证的步骤；以及
采用与和所述结算对象人的人脸信息的认证已成功的来店人的人脸信息对应的所述会员的登记信息进行结算处理的步骤。
10.根据权利要求9所述的信息处理方法，其中，
从所述来店人数据库删除结算已完成的来店人的人脸信息和与所述来店人的人脸信息对应的信息。
CN201510631411.5A 2014-12-29 2015-09-29 信息处理***及信息处理方法 Active CN105741451B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14/584,620 2014-12-29
US14/584,620 US20160189162A1 (en) 2014-12-29 2014-12-29 Information processing system, and storage medium which stores information processing program
JP2015-137830 2015-07-09
JP2015137830A JP6267674B2 (ja) 2014-12-29 2015-07-09 情報処理システムおよび情報処理プログラム

Publications (2)

Publication Number Publication Date
CN105741451A true CN105741451A (zh) 2016-07-06
CN105741451B CN105741451B (zh) 2019-02-05

Family

ID=54329387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510631411.5A Active CN105741451B (zh) 2014-12-29 2015-09-29 信息处理***及信息处理方法

Country Status (2)

Country Link
EP (1) EP3040894B1 (zh)
CN (1) CN105741451B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288163A (zh) * 2018-02-08 2018-07-17 东莞市藕丝人工智能科技有限公司 一种基于视频采集的快速人脸结算方法
CN109300267A (zh) * 2018-10-31 2019-02-01 杭州有赞科技有限公司 基于人脸识别的会员制的收银方法和***
CN109643417A (zh) * 2016-07-31 2019-04-16 谷歌有限责任公司 自动免提服务请求
CN109697388A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 人脸识别方法和装置
CN110088813A (zh) * 2016-12-20 2019-08-02 日本电气株式会社 信息处理***、顾客识别装置、信息处理方法和程序
CN110121737A (zh) * 2016-12-22 2019-08-13 日本电气株式会社 信息处理***、顾客识别装置、信息处理方法和程序
CN111919233A (zh) * 2018-03-20 2020-11-10 日本电气株式会社 店铺管理设备和店铺管理方法
CN112053520A (zh) * 2019-06-06 2020-12-08 东芝泰格有限公司 店铺管理***及店铺管理方法
CN112561607A (zh) * 2019-09-10 2021-03-26 东芝泰格有限公司 数据管理***、数据管理装置及存储介质
CN113450203A (zh) * 2020-03-24 2021-09-28 东芝泰格有限公司 信息处理装置及存储介质
CN113785336A (zh) * 2019-03-29 2021-12-10 松下知识产权经营株式会社 费用计算和支付装置以及无人值守商店***
CN114756847A (zh) * 2022-06-15 2022-07-15 广州浩传网络科技有限公司 一种基于大数据的档案管控***及方法
TWI800613B (zh) * 2018-03-20 2023-05-01 日商日本電氣股份有限公司 商店管理裝置以及商店管理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7036540B2 (ja) * 2017-02-21 2022-03-15 東芝テック株式会社 情報処理装置およびプログラム
TWI760525B (zh) * 2018-07-10 2022-04-11 鴻發國際科技股份有限公司 現金處理系統及現金交易方法
FR3095539B1 (fr) * 2019-04-29 2021-04-09 Idemia Identity & Security France Procede de realisation d’une transaction
CN111523481A (zh) * 2020-04-24 2020-08-11 无锡创思感知科技有限公司 一种应用于无人店的自动结算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339441A (zh) * 2010-07-25 2012-02-01 俞建峰 基于人脸识别技术的电子消费管理***
CN102831730A (zh) * 2011-06-17 2012-12-19 卡西欧计算机株式会社 销售数据处理装置
US20130051632A1 (en) * 2011-08-25 2013-02-28 King Saud University Passive continuous authentication method
CN103578018A (zh) * 2012-08-03 2014-02-12 国际商业机器公司 检测由于缺货状况导致的销售损失的方法、装置和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130030875A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation System and method for site abnormality recording and notification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339441A (zh) * 2010-07-25 2012-02-01 俞建峰 基于人脸识别技术的电子消费管理***
CN102831730A (zh) * 2011-06-17 2012-12-19 卡西欧计算机株式会社 销售数据处理装置
US20130051632A1 (en) * 2011-08-25 2013-02-28 King Saud University Passive continuous authentication method
CN103578018A (zh) * 2012-08-03 2014-02-12 国际商业机器公司 检测由于缺货状况导致的销售损失的方法、装置和***

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643417B (zh) * 2016-07-31 2023-08-18 谷歌有限责任公司 自动免提服务请求
CN109643417A (zh) * 2016-07-31 2019-04-16 谷歌有限责任公司 自动免提服务请求
CN110088813A (zh) * 2016-12-20 2019-08-02 日本电气株式会社 信息处理***、顾客识别装置、信息处理方法和程序
US11562364B2 (en) 2016-12-22 2023-01-24 Nec Corporation Information processing system, customer identification apparatus, and information processing method
US11861993B2 (en) 2016-12-22 2024-01-02 Nec Corporation Information processing system, customer identification apparatus, and information processing method
CN110121737A (zh) * 2016-12-22 2019-08-13 日本电气株式会社 信息处理***、顾客识别装置、信息处理方法和程序
CN110121737B (zh) * 2016-12-22 2022-08-02 日本电气株式会社 信息处理***、顾客识别装置、信息处理方法和程序
US11017400B2 (en) 2016-12-22 2021-05-25 Nec Corporation Information processing system, customer identification apparatus, and information processing method
CN109697388A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 人脸识别方法和装置
CN108288163A (zh) * 2018-02-08 2018-07-17 东莞市藕丝人工智能科技有限公司 一种基于视频采集的快速人脸结算方法
CN111919233B (zh) * 2018-03-20 2024-05-17 日本电气株式会社 店铺管理设备和店铺管理方法
TWI809044B (zh) * 2018-03-20 2023-07-21 日商日本電氣股份有限公司 商店管理裝置以及商店管理方法
CN111919233A (zh) * 2018-03-20 2020-11-10 日本电气株式会社 店铺管理设备和店铺管理方法
TWI800613B (zh) * 2018-03-20 2023-05-01 日商日本電氣股份有限公司 商店管理裝置以及商店管理方法
CN109300267A (zh) * 2018-10-31 2019-02-01 杭州有赞科技有限公司 基于人脸识别的会员制的收银方法和***
CN113785336A (zh) * 2019-03-29 2021-12-10 松下知识产权经营株式会社 费用计算和支付装置以及无人值守商店***
CN112053520A (zh) * 2019-06-06 2020-12-08 东芝泰格有限公司 店铺管理***及店铺管理方法
CN112561607A (zh) * 2019-09-10 2021-03-26 东芝泰格有限公司 数据管理***、数据管理装置及存储介质
CN113450203A (zh) * 2020-03-24 2021-09-28 东芝泰格有限公司 信息处理装置及存储介质
CN114756847B (zh) * 2022-06-15 2022-09-30 广州浩传网络科技有限公司 一种基于大数据的档案管控***及方法
CN114756847A (zh) * 2022-06-15 2022-07-15 广州浩传网络科技有限公司 一种基于大数据的档案管控***及方法

Also Published As

Publication number Publication date
EP3040894B1 (en) 2020-03-25
EP3040894A1 (en) 2016-07-06
CN105741451B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
JP6417024B2 (ja) 情報処理システムおよび情報処理プログラム
CN105741451A (zh) 信息处理***及信息处理方法
EP3696779A1 (en) Information processing apparatus
US11756039B2 (en) Biometric authentication payment system, payment system, and cash register system
US20150081550A1 (en) Remote transaction processing using biometrics
JP4115329B2 (ja) 顧客管理システム、該システムの機能を実現するプログラム及び記録媒体
KR102333347B1 (ko) 스마트 스토어 중계 시스템 및 방법
US11755868B2 (en) Methods and systems for a combined transaction by an assignee on behalf of one or more users
JP7298594B2 (ja) 店舗管理装置および店舗管理方法、プログラム
JP2008257429A (ja) 商品販売データ処理装置
JP6696684B2 (ja) 情報処理システム、商品登録装置、情報処理装置、情報処理方法、およびプログラム
JP2006221515A (ja) Ｐｏｓシステム
US20150317642A1 (en) Process to query electronic sales receipts with a portable computerized device
JP2016181100A (ja) 情報処理システム、商品登録装置、精算装置、情報処理方法、およびプログラム
JP2019200567A (ja) 端末制御装置及びそのプログラム並びに店舗システム
JP2023088960A (ja) 情報処理装置、及び店舗システム
US10083444B1 (en) Biometric computing system and method for e-commerce
JP2010061467A (ja) ポイントサービスシステム
JP7375602B2 (ja) 情報処理プログラム、装置、及び方法
WO2021066000A1 (ja) 店舗システム、店舗サーバ及び店舗システムの処理方法
JP7449135B2 (ja) 情報処理システム
BE1019237A3 (nl) Kassasysteem en werkwijze voor het gebruiken van een kassasysteem.
US20230091825A1 (en) Checkout apparatus and checkout method
JP7409321B2 (ja) 電子レシート発行装置、電子レシート発行方法及びプログラム
US20230162193A1 (en) Sales support apparatus, sales support method, and nontransitory computer-readable storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant