CN116997918A - 支付***、支付方法和计算机程序 - Google Patents

支付***、支付方法和计算机程序 Download PDF

Info

Publication number
CN116997918A
CN116997918A CN202180095390.3A CN202180095390A CN116997918A CN 116997918 A CN116997918 A CN 116997918A CN 202180095390 A CN202180095390 A CN 202180095390A CN 116997918 A CN116997918 A CN 116997918A
Authority
CN
China
Prior art keywords
customer
payment
commodity
face
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180095390.3A
Other languages
English (en)
Inventor
小胜俊亘
大网亮磨
田中秀和
山崎百合子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN116997918A publication Critical patent/CN116997918A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/42—Confirmation, e.g. check or permission by the legal debtor of payment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

一种支付***包括：读取商品的商品读取单元；获得关于所读取商品的商品信息的商品信息采集单元；输出用于与顾客确认对商品的支付意图的确认信息的确认信息输出单元；接收来自顾客的针对确认信息的输入的接收单元；获得顾客的面部图像的面部采集单元；获得顾客的虹膜图像的虹膜采集单元；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程的支付处理单元。根据这样的支付***，商品的支付过程可被恰当地执行。

Description

支付***、支付方法和计算机程序
技术领域
本公开涉及一种执行商品的支付或结算过程的支付***、支付方法和计算机程序。
背景技术
使用多个生物特征信息来执行认证过程(即复杂类型生物特征认证或多模态生物特征认证)的认证设备被称为被配置为对目标人员(例如人)进行认证的示例性认证设备。例如，专利文献1公开了一种对多个生物特征认证装置的输出进行组合以执行认证过程的技巧/技术。专利文献2公开了一种对两种认证方法的认证程度进行加权和相加并将所得的认证程度用于执行身份验证的技巧/技术。
引用列表
专利文献
专利文献1：JP2018-10625A
专利文献2：JP2009-237643A
发明内容
技术问题
例如鉴于上述引用文献，实现了本公开，并且其示例目的是提供一种被配置为恰当地执行商品的支付过程的支付***、支付方法和计算机程序。
问题的解决方案
根据本公开的示例方面的一种支付***包括：读取商品的商品读取单元；获得关于所读取商品的商品信息的商品信息采集单元；输出用于与顾客确认对商品的支付意图的确认信息的确认信息输出单元；接收来自顾客的针对确认信息的输入的接收单元；获得顾客的面部图像的面部采集单元；获得顾客的虹膜图像的虹膜采集单元；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程的支付处理单元。
根据本公开的示例方面，一种支付方法包括：读取商品；获得关于所读取商品的商品信息；输出用于与顾客确认对商品的支付意图的确认信息；接收来自顾客的针对确认信息的输入；获得顾客的面部图像；获得顾客的虹膜图像；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程。
根据本公开的示例方面，一种计算机程序允许计算机执行：读取商品；获得关于所读取商品的商品信息；输出用于与顾客确认对商品的支付意图的确认信息；接收来自顾客的针对确认信息的输入；获得顾客的面部图像；获得顾客的虹膜图像；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程。
附图说明
图1是示出了根据第一示例实施例的支付***的硬件配置的框图。
图2是示出了根据第一示例实施例的支付***的功能配置的框图。
图3是示出了根据第一示例实施例的支付***的操作流程的流程图。
图4是示出了根据第二示例实施例的摄像头的配置的示意图的版本1。
图5是示出了根据第二示例实施例的摄像头的配置的示意图的版本2。
图6是示出了面部摄像头的成像范围与虹膜摄像头的成像范围之间关系的平面图。
图7是示出了设置在照明单元中的可见光滤光片的示例的示意图。
图8是示出了将电机固定在设备外部的固定部分的配置的示意图。
图9是示出了根据第二示例实施例的摄像头的驱动方向的概念图。
图10是示出了根据第二示例实施例的摄像头的操作流程的流程图。
图11是示出了基于面部位置调整成像范围的方法的示例的概念图。
图12是示出了根据第三示例实施例的支付***的功能配置的框图。
图13是示出了读取商品时的显示示例的概念图。
图14是示出了根据第四示例实施例的支付***的功能配置的框图。
图15是示出了根据第四示例实施例的支付***的操作流程的流程图。
图16是示出了根据第五示例实施例的支付***的功能配置的框图。
图17是示出了注视区域的显示示例的概念图。
图18是示出了考虑摄像头位置的注视区域的显示示例的概念图。
图19是示出了根据第六示例实施例的支付***的功能配置的框图。
图20是示出了逐渐收敛到注视区域的边框的显示示例的概念图。
图21是示出了根据第七示例实施例的支付***的功能配置的框图。
图22是示出了其中注视区域的颜色朝向屏幕外部逐渐改变的显示示例的概念图。
图23是示出了根据第八示例实施例的支付***的功能配置的框图。
图24是示出了根据第八实施例的支付***的操作流程的流程图。
图25是示出了在对支付意图进行最终确认时的显示示例的概念图。
图26是示出了将到摄像头的距离设置在合适范围内时的显示的概念图。
图27是示出了在虹膜认证时向顾客通知注视方向的显示示例的概念图。
图28是示出了请求顾客取下佩戴物品的显示示例的概念图。
图29是示出了通知顾客睁开眼睛的显示示例的概念图。
图30是示出了摄像头的修改示例的示意图。
图31是示出了取消按钮的显示示例的概念图。
图32是示出了取消后的显示示例的概念图。
图33是示出了数量更改按钮的显示示例的概念图。
图34是示出了金额更改按钮的显示示例的概念图。
图35是示出了存在需要进行年龄确认的商品时的显示示例的概念图。
具体实施方式
在下文中，将参考附图描述根据示例实施例的支付***、支付方法和计算机程序。
<第一示例实施例＞
将参考图1至图3描述根据第一示例实施例的支付***。
(硬件配置)
首先，将参考图1描述根据第一示例实施例的支付***10的硬件配置。图1是示出了根据第一示例实施例的支付***的硬件配置的框图。
如图1所示，根据第一示例实施例的支付***10包括处理器11、RAM(随机存取存储器)12、ROM(只读存储器)13和存储设备14。支付***10还可以包括输入设备15、输出设备16和摄像头20。处理器11、RAM12、ROM 13、存储设备14、输入设备15、输出设备16和摄像头20通过数据总线17连接。
处理器11读取计算机程序。例如，处理器11被配置为读取存储在RAM 12、ROM 13和存储设备14中的至少一个中的计算机程序。替代地，处理器11可以通过使用未示出的记录介质读取设备来读取存储在计算机可读记录介质中的计算机程序。处理器11可以通过网络接口从位于支付***10外部的未示出设备获得(即读取)计算机程序。处理器11通过执行所读取的计算机程序来控制RAM 12、存储设备14、输入设备15和输出设备16。尤其在第一示例实施例中，当处理器11执行所读取的计算机程序时，用于执行与商品支付相关的过程的功能块在处理器11中实现。可以使用CPU(中央处理单元)、GPU(图形处理单元)、FPGA(现场可编程门阵列)、DSP(需求方平台)和ASIC(专用集成电路)中的一种作为处理器11，也可以并行使用它们中的多个作为处理器11。
RAM 12临时存储要由处理器11执行的计算机程序。RAM 12临时存储在处理器11执行计算机程序时由处理器11临时使用的数据。例如，RAM 12可以是D-RAM(动态RAM)。
ROM 13存储要由处理器11执行的计算机程序。ROM 13可以以其他方式存储固定数据。例如，ROM 13可以是P-ROM(可编程ROM)。
存储设备14存储由支付***10长期存储的数据。存储设备14可以作为处理器11的临时存储设备运行。例如，存储设备14可以包括硬盘设备、磁光盘设备、SSD(固态驱动器)和磁盘阵列设备中的至少一种。
输入设备15是从支付***10的用户接收输入指令的设备。例如，输入设备15可以包括键盘、鼠标和触摸面板中的至少一个。
输出设备16是将关于支付***10的信息输出到外部的设备。例如，输出设备16可以是被配置为显示关于支付***10的信息的显示设备(例如，显示器)。
摄像头20是被配置为对活体的虹膜和面部进行成像的摄像头。例如，摄像头20可以被配置成近红外摄像头。摄像头20可以放置在使得活体的面部周边被包括在其成像范围内的位置。摄像头20可以是用于捕捉静止图像的摄像头或用于捕捉运动图像的摄像头。此外，正如后面将要描述的，可能不仅有一个摄像头，而是有两个摄像头。那么，一个摄像头可以是可见光摄像头，而另一个摄像头可以是近红外摄像头；也就是说，摄像头可以具有用于成像的不同的光波段。可见光摄像头可能能够对面部进行成像，而近红外摄像头可能能够对虹膜进行成像。替代地，两个摄像头都可以是近红外摄像头，或者两个摄像头都可以是可见光摄像头。
(功能配置)
下面，将参考图2描述根据第一示例实施例的支付***10的功能配置。图2是示出了根据第一示例实施例的支付***的功能配置的框图。
如图2所示，根据第一示例实施例的支付***10包括商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、面部图像采集单元150、虹膜图像采集单元160和支付处理单元170，作为用于实现其功能的处理块。商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、面部图像采集单元150、虹膜图像采集单元160和支付处理单元170中的每一个都可以在例如上述处理器11中实现。此外，商品读取单元110、面部图像采集单元150和虹膜图像采集单元160可以包括上述摄像头20。输入接收单元140可以包括上述输入设备15和摄像头20。确认信息输出单元130可以包括上述输出设备16(更具体地为显示设备，如显示器)。
商品读取单元110被配置为读取商品。例如，商品读取单元110可以被配置为通过使用摄像头20获得商品的图像来读取商品。替代地，商品读取单元110可以被配置为使用各种读取器或扫描仪(例如，条形码扫描仪等)来读取商品。商品读取单元110可以被配置为读取放置在预定位置的商品，或者可以被配置为读取由顾客持有的商品。
商品信息采集单元120被配置为获得关于由商品读取单元110读取的商品的商品信息。例如，商品信息的示例包括条形码信息、价格、商品名称、库存数量等。商品信息采集单元120可以从预先存储商品信息的数据库等中读取并获得商品信息。
确认信息输出单元130被配置为输出确认信息，用于确认顾客对由商品读取单元110读取的商品进行支付的意图，(即顾客是否打算购买该商品)。确认信息输出单元130可以被配置为例如通过使用显示设备等输出图像信息。确认信息输出单元130可以被配置为例如通过使用扬声器等输出音频信息。确认信息的具体示例将在后面描述的其他示例实施例中详细描述。
输入接收单元140被配置为接收来自顾客的针对确认信息的输入(换言之，关于支付意图的信息)。输入接收单元140可以例如通过使用摄像头接收来自顾客的输入。输入接收单元140可以例如通过使用输入设备15接收来自顾客的输入。接收来自顾客的输入的具体方法将在后面描述的其他示例实施例中详细描述。
面部图像采集单元150被配置为获得顾客的面部图像。面部图像是包含顾客面部的图像，并且通常是被捕捉来包括整个面部的图像。此外，面部图像可以是包含顾客面部以外的部分的图像。面部图像采集单元150可以获得由摄像头20捕捉的图像，作为面部图像。
虹膜图像采集单元160被配置为获得顾客的虹膜图像。虹膜图像是包括顾客虹膜的图像，并且通常是可以看到虹膜图案的高清图像。此外，虹膜图像可以是包含顾客虹膜以外的部分的图像。虹膜图像采集单元160可以获得由摄像头20捕捉的图像，作为虹膜图像。在这种情况下，摄像头20可以包括捕捉上述面部图像和虹膜图像中的每一种的多个摄像头。这种摄像头20的具体示例将在后面描述的其他示例实施例中详细描述。
支付处理单元170被配置为对由商品读取单元110读取的商品执行支付过程。支付处理单元170基于由输入接收单元140接收的来自顾客的输入并基于由面部图像采集单元150获得的面部图像和由虹膜图像采集单元160获得的虹膜图像中的至少一个来执行支付过程。支付处理单元170可以例如基于由输入接收单元140接收的来自顾客的输入来确定是否执行支付过程。此外，支付处理单元170可以基于由面部图像采集单元150获得的面部图像和由虹膜图像采集单元160获得的虹膜图像中的至少一个来执行认证过程(即身份验证)。需要说明的是，在支付服务的数据库中，关于顾客的生物特征信息(例如，关于在认证过程中使用的面部图像、虹膜图像等的信息)和关于金融机构的信息可以相互关联地存储。在这种情况下，在认证过程之后的支付过程中，将从认证过程所标识的顾客的金融机构账户中提取支付金额。此外，代替上述关于金融机构的信息，关于顾客的生物特征信息可以与关于***的信息、关于电子支付服务账户的信息(在这种情况下，从收取的余额中提取)、手机的电话号码等(在这种情况下，费用与手机使用费相加)相关联地存储。此外，当多种支付方法与关于顾客的生物特征信息相关时，可以显示用于通过注视方向估计来选择支付方法的屏幕，从而允许用户选择支付方法，如后面描述的另一示例实施例中所描述的。
(操作流程)
下面，将参考图3描述根据第一示例实施例的支付***10的操作流程。图3是示出了根据第一示例实施例的支付***的操作流程的流程图。
如图3所示，在根据第一示例实施例的支付***10的操作中，商品读取单元110首先读取商品(步骤S101)。然后，商品信息采集单元120获得关于由商品读取单元110读取的商品的商品信息(步骤S102)。上述步骤S101和步骤S102可以针对多个商品共同执行。
随后，确认信息输出单元130输出用于确认支付意图的确认信息(步骤S103)。然后，输入接收单元140基于来自顾客的输入，确定顾客是否有使用生物特征认证进行支付的意图(步骤S104)。在此确定的支付意图可以是确认所读取的商品是否正确(例如，是否没有缺货的商品或者是否读取了无关商品等)。需要说明的是，输入接收单元140可以在存在来自顾客的输入时确定顾客有支付意图，并且可以在没有来自顾客的输入时确定顾客没有支付意图。
当确定顾客没有使用生物特征认证进行支付的意图(步骤S104：否)时，一系列步骤结束。也就是说，支付处理单元170确定顾客无意通过使用生物特征认证来购买商品，并且在不执行支付过程的情况下结束操作。在这种情况下，顾客停止支付，或者通过不同于生物特征认证的手段进行支付。另一方面，当确定顾客有使用生物特征认证进行支付的意图(步骤S104：是)时，面部图像采集单元150获得顾客的面部图像(步骤S105)。此外，虹膜图像采集单元160获得顾客的虹膜图像(步骤S106)。然后，支付处理单元170基于所获得的面部图像和虹膜图像中的至少一个为顾客执行认证过程(步骤S107)。由于可以适当地采用现有的技巧/技术，在此将省略使用面部图像和虹膜图像的认证过程的详细描述。此外，步骤S105和步骤S106可以同时执行。
当顾客的认证过程不成功(步骤S107：否)时，一系列步骤结束。也就是说，支付处理单元170确定没能认证顾客(例如，确定顾客是欺骗性的)并且在不执行支付过程的情况下结束操作。替代地，它可以与顾客确认是否再次使用生物特征认证来执行支付。另一方面，当顾客的认证过程成功时(步骤S107：是)，支付处理单元170通过使用商品信息来执行商品的支付过程(步骤S108)。
在上述示例中，虽然确认支付意图的过程(即步骤S104)是在读取商品之后(即在步骤S101之后)执行的，但是该过程可以在读取商品之前执行。同样，确认支付意图的过程可以在认证过程之后(即在S107之后)执行。此外，确认支付意图的过程可以在若干阶段执行。例如，确认支付意图的过程可以在如上所述的认证过程之前执行，然后，确认支付意图的过程可以在认证过程之后再次执行。当在认证过程之前和之后确认支付意图时，这两种情况下的内容可能会彼此不同。例如，在认证过程之前确认支付意图是确认所读取的商品是否正确(如上所述)，而在认证过程之后确认支付意图可以是与顾客本人确认生物特征认证的认证结果是否正确。在这种情况下，支付过程可以在身份验证的同时自动地执行，或者可以在身份验证之后允许顾客选择支付方法。例如，可以允许顾客选择是通过与生物特征信息相关联的支付方法支付，还是通过其他方法支付。
(技术效果)
接下来，将描述根据第一示例实施例的支付***10所获得的技术效果。
如图1至图3所示，在根据第一示例实施例的支付***10中，当确认顾客有通过生物特征认证进行支付的意图并且对顾客的认证过程成功时，对商品执行支付过程。这样，可以避免实施不正确的支付过程。例如，可以防止尽管顾客没有支付意图仍执行支付过程，或者防止其他人假装成顾客执行支付过程。
<第二示例实施例＞
将参考图4至图11描述根据第二示例实施例的支付***10。将结合在支付***10中使用的摄像头20来详细描述第二示例实施例，并且整个***的配置、操作流程等可以与第一示例实施例相同(参见图1至图3)。因此，在下文中，将相应地省略与已经描述的第一示例实施例重叠的部分的描述。
(摄像头配置)
将参考图4至图9描述在根据第二示例实施例的支付***中使用的摄像头20的配置。图4是示出了根据第二示例实施例的摄像头的配置的示意图的版本1。图5是示出了根据第二示例实施例的摄像头的配置的示意图的版本2。图6是示出了面部摄像头的成像范围与虹膜摄像头的成像范围之间的关系的平面图。图7是示出了设置在照明单元中的可见光滤光片的示例的示意图。图8是示出了将电机固定在设备外部的固定部分的配置的示意图。图9是示出了根据第二示例实施例的摄像头的驱动方向的概念图。需要说明的是，为了便于解释，图4至图9仅示出了主要组件，没有示出与第二示例实施例不太相关的组件。图4是用于认证的成像设备的正面(换言之，从成像目标人物侧看)的视图，并且图5是用于认证的成像设备的背面(即与图1相对的那侧)的视图。
如图4和图5所示，根据第二示例实施例的支付***10的摄像头20包括虹膜摄像头210、面部摄像头220、照明单元230、保持部分250、风冷风扇260和电机270。
面部摄像头220被配置成可见光摄像头，用于捕捉用于面部认证的面部图像。虹膜摄像头210被配置成近红外摄像头，用于捕捉用于虹膜认证的虹膜图像，并且具有比面部摄像头220的成像范围更窄的成像范围(也被称为视场)。面部摄像头220和虹膜摄像头210的布置使得它们的成像范围彼此重叠，例如以使得虹膜摄像头210的成像范围位于面部摄像头220的成像范围的中心附近(参见图6)。面部摄像头220和虹膜摄像头210被整体地配置成摄像头单元225。面部摄像头220和虹膜摄像头210固定在保持部分250上并且可以由后面描述的电机270整体地驱动。
照明单元230被配置为发射照明光(即近红外光)，用于辅助虹膜摄像头210的成像。需要说明的是，照明单元230可以设置有可见光截止滤光片，其透射照明光(即近红外光)，但具有低的可见光透射率。设置可见光截止滤光片以覆盖照明单元230的至少一部分(理想地是整个)光源(参见图7)。在这种情况下，有可能减少从照明单元230侧传递到摄像头20外部(换言之，成像目标人物侧)的可见光。因此，有可能使得难以从摄像头20外部识别出照明单元230的存在。照明单元230与面部摄像头220和虹膜摄像头210一起固定在保持部分250上，并且可以通过后面描述的电机270与面部摄像头220和虹膜摄像头210整体驱动。
风冷风扇260是用于吹风以冷却摄像头20的风扇。风冷风扇260可以固定或可以不固定在保持部分250上。换言之，风冷风扇260可以被配置为与面部摄像头220、虹膜摄像头210和照明单元230整体驱动，或者不整体驱动(在这种情况下，风冷风扇260可以固定在固定构件(例如，设备外部的构件)上，而不是在保持部分250上)。需要说明的是，当不需要冷却时，可以不设置风冷风扇260。
电机270耦合到摄像头单元225(换言之，面部摄像头220和虹膜摄像头210)，并被允许在垂直方向上整体驱动面部摄像头220、虹膜摄像头210和照明单元230中每一个的朝向(参见图8中的箭头)。具体地，当电机270被驱动时，面部摄像头220和虹膜摄像头210被驱动来同轴地旋转，并且面部摄像头220和虹膜摄像头210的成像范围在垂直方向上按照相同的角度改变。这里的电机驱动方向仅是示例，并且面部摄像头220、虹膜摄像头210和照明单元230可以在垂直方向以外的方向上被驱动。此外，更复杂的移动可以通过电机270具有多个驱动轴来实现。
电机270可以固定或可以不固定在保持部分250上。当电机270不固定在保持部分250上时，即使在电机270被驱动且固定在保持部分250上的面部摄像头220、虹膜摄像头210和照明部分230移动时，电机270自身仍不移动。在这种情况下，电机270可以固定在例如壳体280等上。另一方面，当电机270固定在保持部分250上时，电机270自身也与固定在保持部分250上的面部摄像头220、虹膜摄像头210和照明部分230一起移动(在这种情况下，电机的驱动轴可以连接到设备外部)。在这种情况下，电机270的驱动轴可以固定在例如设备外部的固定部分275上(参见图8)。
如图9所示，面部摄像头220、虹膜摄像头210、照明单元230、保持部分250、风冷风扇260和电机270设置在圆柱形壳体280内。特别地，如图9所示，由电机270进行的驱动是旋转操作，其中壳体280的中心轴(即圆柱体的中心轴)是旋转轴。以这种方式，可以在壳体280中平稳地驱动面部摄像头220和虹膜摄像头210。即使电机270被驱动，也只有壳体280中的面部摄像头220和虹膜摄像头210移动，而壳体280自身不移动。例如，这种配置是通过倾斜机构实现的。这样，成像目标人物可能难以识别出壳体280内的移动。
壳体280的至少一部分(具体地，覆盖面部摄像头220和虹膜摄像头210的部分)可以由对来自外部的光具备高透射率而对来自内部的光具备低透射率的材料形成。具体地，壳体280可以例如被配置成半反射镜或烟雾镜。如上所述，壳体280的至少一部分起到调节透射率的覆盖单元的作用，由此可能难以从外部识别出面部摄像头220或虹膜摄像头210的移动，同时还不会使所捕捉的图像的图像质量劣化。
电机270的驱动由驱动控制单元290控制。驱动控制单元290计算电机270的驱动量(换言之，面部摄像头220和虹膜摄像头210的成像范围的移动量)来控制电机270的驱动。驱动控制单元290控制电机270的具体方法将在后面详细描述。驱动控制单元290可以设置在壳体280外部或壳体280内部。
(成像操作)
接下来，将参考图10和图11描述在根据第二示例实施例的支付***10中设置的摄像头20的操作流程。图10是示出了根据第二示例实施例的摄像头的操作流程的流程图。图11是示出了基于面部位置调整成像范围的方法的示例的概念图。
如图10所示，在根据第二示例实施例的摄像头20的操作中，面部摄像头220首先检测是否存在作为成像目标人物的顾客(步骤S201)。顾客的存在可以例如由未示出的传感器等来检测，或者可以由面部摄像头220自身来检测。替代地，顾客的存在可以在顾客操作设备时检测到。当未检测到顾客时(步骤S201：否)，省略后续处理并且一系列步骤结束。在这种情况下，步骤S201可以在间隔预定周期后再次执行。
当检测到顾客时(步骤S201：是)，面部摄像头220捕捉顾客的面部图像(步骤S202)。尽管顾客面部的位置根据顾客的高度和站立位置等而变化，但由于面部摄像头220的成像范围被设置地相对较广，因此可以在不特别调整成像范围的情况下捕捉顾客的面部图像。在即使检测到了顾客仍无法正常捕捉面部图像的情况下，可以使用未示出的显示单元等来引导顾客进入成像范围。替代地，如果没有对整个面部成像，而是如下所述地部分成像(即如果可以从面部图像检测到面部位置)，则驱动控制单元290改变虹膜摄像头210的成像范围，然后，面部摄像头220可以再次捕捉面部图像。
当面部图像被面部摄像头220捕捉时，驱动控制单元290从面部摄像头220获得面部图像，并从面部图像中检测顾客的面部位置(也被称为面部区域)(步骤S203)。也就是说，它检测顾客的面部位于面部摄像头22的成像范围的哪个位置。由于可以适当地采用现有方法，在此将省略检测面部位置的具体方法的详细描述。
随后，驱动控制单元290基于检测到的顾客的面部位置估计顾客的虹膜位置(也被称为眼部区域)(步骤S204)。例如，可以通过预先存储顾客的面部位置与虹膜位置之间的关系来实现此处的估计。例如，驱动控制单元290估计眼部区域位于检测到的面部区域的中心附近(参见图11A)。替代地，可以基于面部的位置直接从图像中检测到眼睛。一旦估计出了顾客的虹膜位置，驱动控制单元290就计算电机270的驱动量，以使顾客的虹膜处于虹膜摄像头210的成像范围内(步骤S205)。换言之，计算虹膜摄像头210的成像范围将被移动到何种程度才能使顾客的虹膜处于虹膜摄像头210的成像范围内。
随后，驱动控制单元290基于计算出的电机270的驱动量控制电机270的驱动(步骤S206)。这样做改变了虹膜摄像头210的成像范围，使得虹膜摄像头210可以确定地捕捉到顾客的虹膜图像。更具体地，估计出的眼部区域落在虹膜摄像头210的成像范围内(参见图11B)。然后，在该状态下，虹膜摄像头210捕捉顾客的虹膜图像(步骤S207)。由于照明单元230也与虹膜摄像头210一起驱动(即照射位置也根据虹膜摄像头210的成像范围移动)，因此能够以更好的图像质量捕捉虹膜图像。
在驱动控制单元290改变虹膜摄像头210的成像范围之后，面部摄像头220可以再次捕捉面部图像。由于虹膜摄像头210是与面部摄像头220整体驱动，因此，如果虹膜摄像头210的成像范围发生变化，面部摄像头220的成像范围也改变到更适当的位置。因此，通过在此时机再次捕捉面部图像，可以以更适当的方式捕捉顾客的面部图像。这样，例如即使步骤S202中捕捉的面部图像是不能用于面部认证的图像(例如，仅捕捉了一部分面部的图像等)，仍可以通过使用面部摄像头220在调整后捕捉的面部图像来确定地执行面部认证。
(技术效果)
接下来，将描述根据第二示例实施例的支付***10所获得的技术效果。
如图4至图11所示，在根据第二示例实施例的支付***10中，用于捕捉面部图像的面部摄像头220和用于捕捉虹膜图像的虹膜摄像头210被整体地驱动。这样，可以适当地捕捉(获得)使用支付***10的顾客的面部图像和虹膜图像。
<第三示例实施例＞
将参考图12和图13描述根据第三示例实施例的支付***10。需要说明的是，第三示例实施例与上述第一和第二示例实施例的区别仅在于某些配置和操作，并且可以在其他部分与第一和第二示例实施例相同。因此，在下文中，将相应省略与已经描述的示例实施例重叠的部分的描述。
(功能配置)
首先，将参考图12描述根据第三示例实施例的支付***10的功能配置。图12是示出了根据第三示例实施例的支付***的功能配置的框图。在图12中，与图2中所示的组件相同的组件带有相同的附图标记。在图2示出的组件中，没有示出与第三示例实施例不太相关的组件。
如图12所示，在根据第三示例实施例的支付***10中，商品读取单元110和面部图像采集单元150被配置为获得由面部摄像头220捕捉的图像。也就是说，商品读取单元110和面部图像采集单元150中的每一个被配置为从一个公共摄像头获得图像。
根据第三示例实施例的商品读取单元110被配置为从面部摄像头220所捕捉的图像中读取商品。例如，商品读取单元110对包含由面部摄像头捕捉的商品的图像(在下文中被适当地称为“商品图像”)执行物体识别，并识别出从商品图像中检测到的物体是商品。由于可以适当地采用现有的技巧/技术，在此将省略对物体识别的具体方法的详细描述。
由面部摄像头220捕捉的商品图像可以不包含顾客的面部。也就是说，这种情况下的面部摄像头220可以用作优先对顾客打算购买的商品(而不是顾客的面部)进行成像的摄像头。面部摄像头220被配置为由驱动控制单元290驱动，从而确定地对商品进行成像。具体地，面部摄像头220被配置为移动成像范围以使商品处于成像范围内。驱动控制单元290例如通过在如第二示例实施例中所述的垂直方向上驱动面部摄像头220(例如，参见图9)来对商品进行成像。
(驱动面部摄像头时的显示示例)
接下来，将参考图13描述在驱动面部摄像头220时的显示示例(向顾客演示的示例)。图13是示出了读取商品时的显示示例的概念图。需要说明的是，图13示出了当面部摄像头220在垂直方向上被驱动时的显示示例。
如图13所示，当驱动控制单元290驱动面部摄像头220时，可以向顾客显示由面部摄像头220捕捉的商品图像，使得可以看到面部摄像头220的倾斜角度。也就是说，由面部摄像头220捕捉的图像在显示单元上对应于倾斜位置的区域中显示。需要说明的是，图13中的“捕捉图像显示区域”是由面部摄像头220捕捉的商品图像在显示单元上显示的区域。“可驱动区域”表示可以驱动面部摄像头220的区域(换言之，可以移动面部摄像头220的成像范围的区域)。“信息显示区域”是可以显示其他各种信息的区域；例如，商品信息和关于支付的信息可以适当地在其中显示。
如图13A所示，当面部摄像头220的倾斜位置位于中间(换言之，它可以向上或向下移动)时，捕捉图像显示区域在可驱动区域的中间显示。也就是说，可驱动区域显示在捕捉图像显示区域的上方和下方。另一方面，如图13B所示，当面部摄像头220的倾斜位置处于上限时(换言之，当它不能进一步向上移动时)，捕捉图像显示区域显示在可驱动区域的顶部。也就是说，捕捉图像显示区域的显示使得可驱动区域仅处于捕捉图像显示区域下方。
通过如上所述地执行显示，顾客可以直观地知晓商品图像的成像情况，并且例如可以鼓励顾客移动商品的位置。例如，如果面部摄像头220的倾斜位置处于上限，但商品却不在成像范围内，则希望将商品的位置向下移动一点，以便适当地捕捉商品图像。在这种情形下，如果为顾客执行了上述显示，则预计顾客将自发地向下移动商品。需要说明的是，除了上述显示示例之外，例如还可以显示诸如“请向下移动商品”等消息。
(技术效果)
接下来，将描述根据第三示例实施例的支付***10所获得的技术效果。
如图12和图13所示，在根据第三示例实施例的支付***10中，通过使用由面部摄像头220捕捉的图像来执行商品的读取，并且当捕捉图像时，面部摄像头220被驱动来对商品进行成像。因此，通过使用面部摄像头220读取商品，没有必要单独提供用于读取商品的设备。此外，通过在捕捉商品图像时驱动面部摄像头220，可以捕捉确定地包含商品的图像(即使成像范围通常是在预估了面部位置的情况下设置的)。
<第四示例实施例>
将参考图14和图15描述根据第四示例实施例的支付***10。需要说明的是，第四示例实施例与上述第一至第三示例实施例的区别仅在于某些配置和操作，并且可以在其他部分与第一至第三示例实施例相同。因此，在下文中，将相应省略与已经描述的示例实施例重叠的部分的描述。
(功能配置)
首先，将参考图14描述根据第四示例实施例的支付***10的功能配置。图14是示出了根据第四示例实施例的支付***的功能配置的框图。在图14中，与图2中所示的组件相同的组件带有相同的附图标记。
如图14所示，根据第四示例实施例的支付***10包括商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、面部图像采集单元150、虹膜图像采集单元160和支付处理单元170，作为用于实现其功能的处理块。特别地，根据第四示例实施例的输入接收单元140包括注视方向估计单元141。
注视方向估计单元141被配置为通过使用由面部图像采集单元150获得的面部图像和由虹膜图像采集单元160获得的虹膜图像中的至少一个来估计顾客的注视方向。当注视方向估计单元141估计注视方向时，期望调整摄像头的位置以使得摄像头20的坐标系中心是顾客的眼睛位置(两眼的中心)。由于可以适当地采用现有的技巧/技术，在此将省略从面部图像和虹膜图像估计注视方向的方法的详细描述。根据第四示例实施例的输入接收单元140接收关于由注视方向估计单元141估计的顾客注视方向的信息，作为来自顾客的指示顾客有支付意图的输入。
输入接收单元140可以接收指示注视方向为预定方向(例如，相对于顾客正面的右方向)的信息，作为指示顾客有支付意图的信息，并且例如可以接收指示该方向不同于预定方向(例如，相对于顾客正面的左方向)的信息，作为指示顾客没有支付意图的信息。
此外，当顾客的注视方向保持了预定时间时，输入接收单元140可以接收关于注视方向的信息，作为来自顾客的输入。例如，当顾客的注视方向在同一方向保持了预定时间(例如，大约几秒钟)时，可以接收关于注视方向的信息，作为来自顾客的输入。预定时间可以是预先设置的固定值，也可以是随情况变化的值。例如，如果顾客的注视方向明显倾斜在预定方向上，则预定时间可以设置得更短(例如，2秒)，并且如果顾客的注视方向略微倾斜在预定方向上，则预定时间可以设置得更长(例如，4秒)。此外，可以在预定方向上设置预定范围。例如，从顾客正面向右90度的所有范围都可以设置为“右”。然而，数值并不局限于此，并且方向可以是左、上和下中的一者。此外，在这种情况下，即使顾客的注视方向发生了移动，如果注视方向是在此范围内移动，那么这可以是“注视方向保持在同一方向上”的状态。
需要说明的是，如在上述第二和第三示例实施例中，当驱动摄像头20时(即当改变摄像头的成像范围时)，估计注视方向的难度随着摄像头的倾斜角度而变化。例如，当摄像头20的倾斜角度以较高的比率偏离水平面时，摄像头20和顾客的面部有更大的可能不会面向彼此，这使得难以估计出注视方向。此外，当摄像头20从上方指向下时，由于眼睛向下，很难估计出注视方向。在这样的情况下，输入接收单元140可以根据确定注视方向的难度(即摄像头20的倾斜角度)来改变上述预定时间。例如，随着倾斜角度的增加，预定时间可以设置得更长。替代地，输入接收单元可以根据确定注视方向的难度(即摄像头20的倾斜角度)来改变用于确定顾客的注视方向的阈值(例如，相对于注视方向的角度的阈值)。例如，随着倾斜角度的增大，可以更明显地改变用于确定注视方向的阈值(即在不明显移动注视方向的情况下，可能没有识别出面向该方向)。替代地，可以根据倾斜角度来改变用于注视估计的方法或算法。例如，在基于深度学习的估计方法的情况下，被实现来针对每个倾斜角度进行学习的注视估计引擎可以通过根据倾斜角度进行切换来构建和使用。
当注视方向不能由注视方向估计单元141正常估计时(例如，当视线的角度没有超过阈值时)，可以引导顾客更明显地移动视线。例如，当在显示设备上显示注视位置标记(指示顾客正在注视的位置的指针)时，可以降低对视线角度变化的敏感性，使得除非视线被明显地移动，否则标记不会移动。替代地，可以输出语音、消息等，以便明显地改变视线。
(操作流程)
接下来，将参考图15描述根据第四示例实施例的支付***10的操作流程。图15是示出了根据第四示例实施例的支付***的操作流程的流程图。在图15中，与图3所示相同的步骤带有相同的附图标记。
如图15所示，在根据第四示例实施例的支付***10的操作中，商品读取单元110首先读取商品(步骤S101)。然后，商品信息采集单元120获得关于由商品读取单元110读取的商品的商品信息(步骤S102)。
随后，确认信息输出单元130输出用于确认支付意图的确认信息(步骤S103)。例如，确认支付意图包括确认商品清单是否正确(例如，金额、商品名称、数量等中的至少一项)。尤其在第四示例实施例中，面部图像采集单元150和虹膜图像采集单元160中的至少一个获得用于估计顾客的注视方向的面部图像和虹膜图像(步骤S401)。然后，注视方向估计单元141基于所获得的面部图像和虹膜图像中的至少一个来估计顾客的注视方向(步骤S402)。
随后，输入接收单元140基于顾客的注视方向，确定顾客是否有通过生物特征认证进行支付的意图(步骤S104)。当确定顾客没有通过生物特征认证进行支付的意图时(步骤S104：否)，一系列步骤结束。另一方面，当确定顾客有通过生物特征认证进行支付的意图时(步骤S104：是)，面部图像采集单元150获得顾客的面部图像(步骤S105)。此外，虹膜图像采集单元160获得顾客的虹膜图像(步骤S106)。当使用在估计注视方向时获得的面部图像和虹膜图像时，可以省略上述步骤S105和步骤S106。
随后，支付处理单元170基于所获得的面部图像和虹膜图像中的至少一个为顾客执行认证过程(步骤S107)。当顾客的认证过程不成功(步骤S107：否)时，一系列步骤结束。另一方面，当顾客的认证过程成功时(步骤S107：是)，支付处理单元170通过使用商品信息来执行商品的支付过程(步骤S108)。
在步骤S104：是之后，可以输出信息以允许顾客选择是通过生物特征认证进行支付，还是通过生物特征认证以外的手段进行支付。例如，可以显示引导语“您是否要通过生物特征认证进行支付？”以及“是”和“否”按钮。当顾客选择“是”时，它进入步骤S105。在此，当选择“否”时，可以显示用于选择其他支付方法(例如，现金、电子货币、***等)的屏幕。此外，可以与引导语“您是否要通过生物特征认证进行支付？”一起显示包括通过生物特征认证支付和通过生物特征认证以外的手段支付在内的选择屏幕(例如，“生物特征认证”按钮以及“现金”、“电子货币”和“***”的至少一个按钮)。此外，可以输出用于确认支付意图的确认信息，包括允许顾客选择是通过生物特征认证进行支付还是通过生物特征认证以外的手段进行支付的信息。
在步骤S107：是与步骤S108之间，可以输出指示是否执行支付过程的信息。例如，当顾客的认证过程成功时，显示用于与顾客确认是否执行支付过程的屏幕。这种屏幕显示可以包括支付金额、顾客的个人ID和顾客的姓名中的至少一项，或者可以仅显示用于确认是否执行支付过程的信息。例如，用于确认是否执行支付过程的信息是确认按钮和返回按钮并且根据来自顾客的输入执行支付过程，或者返回到先前的处理屏幕(例如，用于显示已读商品列表的屏幕)。在此，作为返回按钮的替代或补充，可以显示取消支付过程的按钮。
(技术效果)
接下来，将描述根据第四示例实施例的支付***10所获得的技术效果。
如图14和图15所示，在根据第四示例实施例的支付***10中，顾客的支付意图是基于顾客的注视方向来确定的。这样，可以在顾客不触摸和操作设备的情况下确定支付意图。因此，即使在顾客例如因为手拿商品而腾不出手时，仍可以恰当当地确定支付意图。
<第五示例实施例＞
将参考图16至图18描述根据第五示例实施例的支付***10。需要说明的是，第五示例实施例与上述第一至第四示例实施例的区别仅在于某些配置和操作，并且可以在其他部分与第一至第四示例实施例相同。因此，在下文中，将相应省略与已经描述的示例实施例重叠的部分的描述。
(功能配置)
首先，将参考图16描述根据第五示例实施例的支付***10的功能配置。图16是示出了根据第五示例实施例的支付***的功能配置的框图。需要说明的是，在图16中，与图14中所示的组件相同的组件带有相同的附图标记。
如图16所示，根据第五示例实施例的支付***10包括商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、面部图像采集单元150、虹膜图像采集单元160和支付处理单元170，作为用于实现其功能的处理块。根据第五示例实施例的输入接收单元140包括如在第四示例实施例中的注视方向估计单元141。尤其在第五示例实施例中，确认信息输出单元130包括注视区域显示单元131。
注视区域显示单元131被配置为显示注视区域，作为用于与顾客确认支付意图的确认信息。注视区域显示单元131可以在显示器等(其是例如输出设备16(参见图1))上显示注视区域。注视区域是为鼓励顾客移动注视方向而显示的区域。注视区域可以显示为对应于支付意图的至少一个区域，但是可以显示多个注视区域。例如，可以仅显示对应于顾客有支付意图时的注视方向的一个注视区域。替代地，可以显示对应于顾客有支付意图时的注视方向的第一注视区域和对应于顾客没有支付意图时的注视方向的第二注视区域。
(注视区域的显示)
接下来，参考图17和图18，将具体描述通过上述注视区域显示单元131对注视区域的显示示例。图17是示出了注视区域的显示示例的概念图。图18是示出了考虑摄像头位置的注视区域的显示示例的概念图。
如图17A所示，注视区域可以显示为显示器的左半部分区域和右半区域。具体地，显示器的左半部分是对应于顾客有支付意图时的注视方向的区域，并且当顾客看向显示器屏幕的左半部分(即将视线指向左或向左改变视线)时，接收到指示顾客有支付意图的输入。另一方面，屏幕的右半部分是对应于顾客没有支付意图时的注视方向的区域，并且当顾客看向屏幕的右半部分(即将视线指向右或向右改变视线)时，接收到指示顾客没有支付意图的输入。如图17B所示，注视区域可以在显示器的一部分上显示。具体地，它可以显示为类似按钮的区域。
如图18所示，注视区域的显示位置可以由摄像头20的位置确定。具体地，注视区域可以在显示器中靠近摄像头20的一侧显示。例如，在图18A所示的示例中，摄像头20设置在显示器下方。在这种情况下，注视区域可以位于显示器的下侧。另一方面，在图18B所示的示例中，摄像头20设置在显示器上方。在这种情况下，注视区域可以位于显示器的上侧。通过如上所述地放置注视区域，可以轻松地从摄像头20所捕捉的图像中确定注视方向。具体地，当注视注视区域时，注视位置相对于摄像头20的角度更大，因此很容易确定注视方向是在右侧还是在左侧。
(技术效果)
接下来，将描述根据第五示例实施例的支付***10所获得的技术效果。
如图16至图18所示，在根据第五示例实施例的支付***10中，显示用于确认顾客的支付意图的注视区域。这样，可以鼓励顾客看向注视区域，因而可以适当地根据顾客的视线确定支付意图。
<第六示例实施例＞
将参考图19和图20描述根据第六示例实施例的支付***10。需要说明的是，第六示例实施例与上述第五示例实施例的区别仅在于某些配置和操作，并且可以在其他部分与第一至第五示例实施例相同。因此，在下文中，将相应省略与已经描述的示例实施例重叠的部分的描述。
(功能配置)
首先，将参考图19描述根据第六示例实施例的支付***10的功能配置。图19是示出了根据第六示例实施例的支付***的功能配置的框图。需要说明的是，在图19中，与图16中所示的组件相同的组件带有相同的附图标记。
如图19所示，根据第六示例实施例的支付***10包括商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、面部图像采集单元150、虹膜图像采集单元160和支付处理单元170，作为用于实现其功能的处理块。根据第六示例实施例的输入接收单元140包括注视方向估计单元141，如在第四和第五示例实施例中。尤其在第六示例实施例中，除了在第五示例实施例中描述的注视区域显示单元131之外，确认信息输出单元130还包括边框显示单元132。
边框显示单元132被配置为根据顾客注视注视区域的时间长度，显示从注视区域的外部逐渐收敛到注视区域的轮廓的边框。边框显示单元132可以例如在可以确定顾客的注视方向指向一个注视区域的时机开始显示边框。边框显示单元132可以在边框的大小变得与注视区域的轮廓相同(重叠)的时机结束边框的显示，或者可以继续显示大小与注视区域的轮廓相同(与该轮廓重叠)的边框。需要说明的是，边框收敛的速度可以是预先设置的值，也可以是根据顾客的注视方向而变化的值。例如，当顾客在注视区域的方向上明显地移动视线时，边框可以收敛得相对较快，并且当顾客在注视区域的方向上略微移动视线时，边框可以收敛得相对较慢。此外，边框的移动速度可能不是恒定不变的，并且可以在中途发生改变。例如，边框可以在收敛开始时快速移动，并且当边框接近注视区域时，移动速度可以降低。这使得顾客能够快速地识别出注视区域，并让顾客清楚地意识到有必要继续在一段时间内稳定地注视注视区域。
(边框显示的示例)
接下来，参考图20，将具体描述上述边框显示单元132对边框的显示的示例。图20是示出了逐渐收敛到注视区域的边框的显示示例的概念图。
在图20所示的示例中，关于商品和支付的信息(例如，所读取商品的名称、商品数量、价格等)显示在显示器中心附近。此外，顾客在没有支付意图时所注视的“停止”按钮显示在显示器的左下角。顾客在有支付意图时所注视的“支付”按钮显示在显示器的右下角。也就是说，在这种情况下，按钮是注视区域。在这种情形下，当顾客注视支付按钮时，首先会在支付按钮外部显示比支付按钮更大的边框。然后，当顾客继续注视支付按钮时，边框逐渐收敛到支付按钮。也就是说，只要顾客继续注视支付按钮，边框就会朝向支付按钮变小。然后，它在边框与支付按钮的轮廓重叠的状态下停止，并在预定时间内继续显示边框。需要说明的是，当顾客中途改变注视方向时，可以停止边框的显示。当顾客的注视方向改为另一个注视区域时，可以在该另一个注视区域的外部显示新的边框。例如，继续注视支付按钮的顾客中途开始注视停止按钮，在支付按钮侧显示的边框可以消失，并且可以在停止按钮侧新显示边框。需要说明的是，当顾客中途改变注视方向时，边框可以逐渐变大，接近其原始尺寸。此外，在这种情况下，当注视方向再次返回到支付按钮时，边框的大小可以在注视方向返回的时机停止增大。此外，在注视支付按钮与注视停止按钮之间，边框的颜色可以是不同的。例如，在注视支付按钮侧时，边框可以显示为绿色，并且在注视停止按钮侧时，边框可以显示为橙色。
第六示例实施例中的显示可以在图15中的S104中确认支付意图时执行，或者可以在步骤S107：是与步骤S108之间输出指示是否执行支付过程的信息时执行。
(技术效果)
接下来，将描述根据第六示例实施例的支付***10所获得的技术效果。
如图19和图20所示，在根据第六示例实施例的支付***10中，形成逐渐收敛到注视区域的边框。通过在顾客所注视的区域一侧显示边框，顾客可以知晓如何识别出注视方向。此外，边框逐渐收敛到注视区域的轮廓，由此顾客的视线更多地指向注视区域。例如，即使一开始注视方向是略微地向注视区域侧移动，仍可以通过让边框逐渐收敛来引导顾客将注视方向明显地向注视区域侧移动。因此，可以更适当地确定顾客的注视方向。
<第七示例实施例>
将参考图21和图22描述根据第七示例实施例的支付***10。需要说明的是，第七示例实施例与上述第五和第六示例实施例的区别仅在于某些配置和操作，并且可以在其他部分与第一至第六示例实施例相同。因此，在下文中，将相应省略与已经描述的示例实施例重叠的部分的描述。
(功能配置)
首先，将参考图21描述根据第七示例实施例的支付***10的功能配置。图21是示出了根据第七示例实施例的支付***的功能配置的框图。因此，在图21中，与图16所示的组件相同的元件具有相同的附图标记。
如图21所示，根据第七示例实施例的支付***10包括商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、图像采集单元150、虹膜图像采集单元160和支付处理单元170，作为用于实现其功能的处理块。根据第七示例实施例的输入接收单元140包括如第四至第六示例实施例中的注视方向估计单元141。尤其在第七示例实施例中，除了在第五示例实施例中描述的注视区域显示单元131之外，确认信息输出单元130还包括区域颜色改变单元133。
区域颜色改变单元133被配置为根据顾客注视注视区域的时间长度，朝向屏幕外部(换言之，朝向与另一注视区域相对的一侧)逐渐改变注视区域的颜色。改变后的颜色优选地是能让顾客轻松地识别出颜色已改变的颜色。改变后的颜色可以是显眼的颜色(例如，红色或黄色)，或者是改变前的颜色的互补色等。区域颜色改变单元133可以例如在确定顾客的注视方向指向一个注视区域的时机开始改变注视区域的颜色。需要说明的是，改变注视区域的颜色的速度可以是预先设置的值，也可以是根据顾客的注视方向而变化的值。例如，当顾客在注视区域的方向上明显地移动视线时，颜色可以改变得相对较快，并且当顾客在注视区域的方向上略微移动视线时，颜色可以改变得相对较慢。此外，改变颜色的速度可能不是恒定不变的，并且可以在中途发生改变。例如，可以先将改变颜色的速度设置为高，然后，可以逐渐降低改变颜色的速度。这使得顾客能够快速地识别出注视区域，并让顾客清楚地意识到有必要继续在一段时间内稳定地注视注视区域。
(颜色改变的示例)
接下来，将参考图22具体描述上述区域颜色改变单元133对注视区域的颜色改变。图22是示出了其中注视区域的颜色朝向屏幕外部逐渐改变的显示示例的概念图。
在图22所示的示例中，如在图20中，关于商品和支付的信息(例如，所读取商品的名称、数量、价格等)显示在显示器中心附近。此外，顾客在没有支付意图时所注视的“停止”按钮显示在显示器的左下角。顾客在有支付意图时所注视的“支付”按钮显示在显示器的右下角。在这种情形下，当顾客注视支付按钮时，注视区域的颜色从支付按钮的内部(即支付按钮的左边缘)逐渐改变。然后，当顾客继续注视支付按钮时，注视区域的颜色向屏幕外部改变，并且最终支付按钮的颜色完全改变。也就是说，执行这样的显示：当顾客继续注视支付按钮时，仪表上升。需要说明的是，当顾客中途改变注视方向时，颜色的改变可以停止。如果颜色改变停止，则注视区域的颜色可以恢复到其原来的颜色。当顾客的注视方向改为另一个注视区域时，该另一个注视区域的颜色可以改变。例如，继续注视支付按钮的顾客中途开始注视停止按钮，支付按钮的颜色恢复到原来的颜色，而停止按钮的颜色改变可以是新开始的。需要说明的是，当顾客中途改变注视方向时，注视区域的颜色可以朝向显示器内部改变。此外，在这种情况下，一旦注视方向再次返回到支付按钮，朝向内部的颜色改变可以在注视方向返回的时机停止，并且颜色可以再次朝向外部改变。此外，在注视支付按钮与注视停止按钮之间，要改变的颜色可以是不同的。例如，当注视支付按钮侧时，颜色可以变为绿色，并且当注视停止按钮侧时，颜色可以变为橙色。
需要说明的是，上述注视区域的颜色改变可以与第六示例实施例中描述的边框显示(参见图20)相结合地执行。例如，在由边框显示单元132显示的边框收敛到注视区域之后，可以开始由区域颜色改变单元133进行的颜色改变。
第七示例实施例中的显示可以在图15中的S104中确认支付意图时执行，或者可以在步骤S107：是与步骤S108之间输出指示是否执行支付过程的信息时执行。
(技术效果)
接下来，将描述根据第七示例实施例的支付***10所获得的技术效果。
如图21和图22所示，在根据第七示例实施例的支付***10中，注视区域的颜色朝向屏幕外部逐渐改变。这样，顾客的视线更多地指向屏幕外(换言之，与另一注视区域相对的一侧)。例如，即使一开始注视方向是略微地向注视区域侧移动，仍可以通过逐渐改变注视区域的颜色来引导顾客将注视方向明显地向注视区域侧移动。因此，可以更恰当地确定顾客的注视方向。
<第八示例实施例＞
将参考图23和图24描述根据第八示例实施例的支付***10。需要说明的是，根据第八示例实施例的支付***10与上述第一至第七示例实施例的区别仅在于某些配置和操作，并且可以在其他部分与第一至第七示例实施例相同。因此，在下文中，将相应省略与已经描述的示例实施例重叠的部分的描述。
(功能配置)
首先，将参考图23描述根据第八示例实施例的支付***10的功能配置。图23是示出了根据第八示例实施例的支付***的功能配置的框图。在图23中，与图2中所示的组件相同的组件带有相同的附图标记。
如图23所示，根据第八示例实施例的支付***10包括商品读取单元110、商品信息采集单元120、确认信息输出单元130、输入接收单元140、面部图像采集单元150、虹膜图像采集单元160、支付处理单元170和生物特征确定单元180，作为用于实现其功能的处理块。也就是说，除了第一示例实施例的配置(参见图2)之外，根据第八示例实施例的支付***10还包括生物特征确定单元180。例如，生物特征确定单元180可以在上述处理器11中实现(参见图1)。
生物特征确定单元180被配置为基于从虹膜图像采集单元160获得的虹膜图像估计的顾客的视线移动来确定顾客的生物学相似性。此处的“生物学相似性”是表示顾客是活体的概率的程度。生物特征确定单元180可以根据顾客的视线移动是否与活体的视线移动相似(换言之，这种移动不能通过欺骗的方式再现)来确定生物学相似性。此外，除了顾客的视线移动之外，生物特征确定单元180还可以使用其他信息(例如，从顾客的面部图像获得的信息等)来执行生物特征确定。生物特征确定单元180的确定结果被配置为输出到支付处理单元170。
根据第八示例实施例的支付处理单元170被配置为基于生物特征确定单元180的确定结果(即顾客的生物学相似性)改变认证过程的方面。具体地，支付处理单元170被配置为根据生物学相似性是否高于预定阈值来改变认证过程的方面。这里的“预定阈值”是用于确定生物学相似性是否高到足以确定顾客是活体(例如，不是欺骗性的)的阈值，并且通过先前的实验、模拟等确定适当的值并预先设置该值就够了。下面将详细描述根据生物学相似性对认证过程的更改。
(操作流程)
接下来，将参考图24描述根据第八示例实施例的支付***10的操作流程。图24是示出了根据第八实施例的支付***的操作流程的流程图。在图24中，与图3所示的步骤相同的步骤带有相同的附图标记。
如图24所示，在根据第八示例实施例的支付***10的操作中，商品读取单元110首先读取商品(步骤S101)。然后，商品信息采集单元120获得关于由商品读取单元110读取的商品的商品信息(步骤S102)。
随后，确认信息输出单元130输出用于确认支付意图的确认信息(步骤S103)。然后，输入接收单元140基于来自顾客的输入，使用生物特征认证确定顾客是否有支付意图(步骤S104)。
当确定顾客没有通过生物特征认证进行支付的意图时(步骤S104：否)，一系列步骤结束。另一方面，当确定顾客有通过生物特征认证进行支付的意图时(步骤S104：是)，面部图像采集单元150获得顾客的面部图像(步骤S105)。此外，虹膜图像采集单元160获得顾客的虹膜图像(步骤S106)。
在此，特别地，生物特征确定单元180基于从虹膜图像估计的视线移动来确定顾客的生物学相似性(步骤S801)。当顾客的生物学相似性高于预定阈值(步骤S801：是)时，支付处理单元170基于由面部图像采集单元150获得的面部图像执行认证(步骤S802)。另一方面，当顾客的生物学相似性低于预定阈值(步骤S801：否)时，支付处理单元170基于面部图像采集单元150获得的面部图像和虹膜图像采集单元160获得的虹膜图像执行认证(步骤S803)。
作为步骤S802(即仅面部认证)或步骤S803(即面部认证和虹膜认证)的结果，当顾客的认证不成功(步骤S107：否)时，一系列步骤结束。另一方面，当顾客的认证成功时(步骤S107：是)，支付处理单元170通过使用商品信息来执行商品的支付过程(步骤S108)。需要说明的是，图24描述了在步骤S802中使用面部认证，但可以执行虹膜认证而不是面部认证的情况。
(技术效果)]
接下来，将描述根据第八示例实施例的支付***10所获得的技术效果。
如图23和图24所示，在根据第八示例实施例的支付***10中，执行基于顾客的注视方向的生物特征确定，并根据确定结果执行不同的认证过程。当顾客的生物学相似性较高时，这样做简化了认证过程，从而降低了在执行支付过程时的处理负荷。此外，当顾客的生物学相似性较低时，可以执行更加严格的认证过程，从而预防由欺骗行为等引起的未经授权的支付过程被执行。
<其他显示示例>
将参考图25至图28描述适用于根据上述第一至第八示例实施例的支付***10的其他显示示例。图25是示出了在对支付意图进行最终确认时的显示示例的概念图。图26是示出了将顾客与摄像头之间的距离设置在合适范围内时的显示的概念图。图27是示出了在虹膜认证时向顾客通知注视方向的显示示例的概念图。图28是示出了请求顾客取下佩戴物品的显示示例的概念图。图29是示出了通知顾客睁开眼睛的显示示例的概念图。
如图25所示，根据示例实施例的支付***10可以显示注视区域以确认顾客的支付意图，然后可以在实际执行支付过程之前再次确认支付意图。在这种情况下，当确认最终支付意图时，注视区域的显示方式可以与首次确认支付意图时相同。特别地，可以显示在确认最终支付意图时的注视区域，使得与首次确认支付意图时的位置相比，每个区域的位置是相反的。在图25所示的示例中，当首次确认支付意图时，左侧显示“是(即有支付意图)”按钮，而右侧显示“否(即没有支付意图)”按钮。然后，在确认最终支付意图时，右侧显示“是(即有支付意图)”按钮，而左侧显示“否(即没有支付意图)”按钮。这样，每当请求顾客确认支付意图时，顾客都会移动视线，并且如果顾客无意中保持注视方向不变，则不会执行支付过程。因此，可以有效地防止违背顾客的意图进行支付。
在确认最终支付意图时，可以采用与首次确认支付意图时的方法不同的方法(即不同于视线)来进行确认。例如，在确认最终支付意图时，可以通过点头或摇头(或倾斜头部)来确认支付意图。在这种情况下，除了面部的位置之外，面部摄像头220还检测面部的方向，并且确定该方向在时间序列中是如何变化的，以确定头部的动作。
如图26所示，当面部摄像头220捕捉顾客的面部图像时，可以进行显示以正确设置面部摄像头220与顾客之间的距离。具体而言，可以显示指示顾客的当前位置与合适范围之间的关系的指示器。该指示器显示顾客与摄像头之间距离的估计结果，并显示朝向上侧的距离较小，朝向下侧的距离较大。然后，突出显示(例如，加亮、宽度略微加宽或闪烁)指示器中与估计距离相对应的部分。例如，在图26A示出的示例中，顾客离面部摄像头220太近，使得顾客的面部从面部所在的边框中突出。在这种情况下，指示指示器当前位置的显示在合适范围的上方显示。此外，可以向顾客显示“后退”的消息。在图26B示出的示例中，顾客离面部摄像头220太远，使得顾客的面部远远小于面部所在的边框。在这种情况下，指示指示器当前位置的显示在合适范围的下方显示。此外，可以向顾客显示“靠近”的消息。在图26C所示的示例中，面部摄像头220和顾客处于合适范围内，使得顾客的面部刚好处于面部所在的边框内。在这种情况下，指示指示器当前位置的显示在合适范围内显示。此外，可以向顾客显示“保持该位置”的消息。这样的显示鼓励顾客移动站立位置并且可以在适当的距离处执行面部图像的成像。指示器的颜色可以在合适范围与另一范围之间改变。例如，指示器可以在合适范围内以绿色显示，而在另一范围内可以以橙色显示。
顾客与摄像头之间的距离可以使用距离传感器来测量，或者可以从摄像头捕捉的图像中估计。在后一种情况下，这种估计可以基于面部特征点之间的距离和部分区域的大小。例如，摄像头与顾客之间的距离可以基于眼睛之间的距离来估计，或者摄像头与顾客之间的距离可以根据检测到的虹膜的大小来估计。
如图27所示，当使用虹膜摄像头210捕捉顾客的虹膜图像时，可以进行显示以正确引导顾客的注视方向。具体地，可以显示指示顾客将要注视的方向的标记(例如，图27中的双圆状标记)。在此，双圆可以增大、减小，或者其大小可以周期性地波动(振荡)。这使得顾客的视线能指向该方向。除了标记之外，还可以显示诸如“看这里”之类的消息。通过这种方式，可以鼓励顾客将注视方向移动到正确的方向上并如此固定注视方向。因此，可以捕捉适当的虹膜图像。也可以根据视线方向改变大小的振荡速度。例如，随着视线更靠近双圆的中心，速度进一步降低，并且随着视线偏离中心越来越远，振荡速度可以增大。因此，可以将视线方向是否正确反馈给顾客，并且可以将视线引导到更正确的方向上。替代地，速度可以根据顾客与虹膜摄像头210之间的距离来改变。换言之，当距离太近或太远时，振荡的速度可以增大，并且当距离合适时，振荡的速度可以降低。这样就可以向顾客反馈距摄像头的距离是否合适并且在更合适的位置处对虹膜进行成像。
如图28所示，当捕捉顾客的面部图像或虹膜图像时，可以进行显示以请求顾客取下佩戴物品。例如，如图28A所示，可以显示消息和图像以请求顾客摘下眼镜。如图28B所示，可以显示消息和图像以请求顾客摘下太阳镜。如图28C所示，可以显示消息和图像以请求顾客摘下口罩。这种显示可以在捕捉顾客图像时一直进行，或者可以仅在从顾客图像中检测到相关佩戴物品时才执行。在请求顾客取下佩戴物品后，可以获得易于进行面部认证和虹膜认证的图像。
如图29所示，当使用虹膜摄像头210捕捉顾客的虹膜图像时，可以进行显示以鼓励顾客睁开眼睛。具体地，可以显示闭上的眼睛微微睁开的动画。在这种情况下，该动画会停止一段时间，其中第一张图片中的眼睛半睁开，然后，该动画切换到逐渐睁开眼睛的动画。在睁开眼睛的动画中，睁开眼睛的速度加快，并且在眼睛睁开到最大时停止。这使得顾客能更有效地意识到睁开眼睛。除了此类动画之外，还可以显示诸如“请睁大您的眼睛”之类的消息。这样的显示可以让顾客意识到睁大眼睛，并且可以捕捉适当的虹膜图像。可以根据检测到的眼睛睁开程度来改变逐渐睁开眼睛的动画的速度。例如，当借助于确定眼睛睁开程度的方法确定眼睛的睁开程度较小时，通过加快眼睛的睁开速度来强调睁大眼睛。动画也可以重复地显示。例如，在获得并验证虹膜的同时，可以通过将动画重复多次来引导顾客睁大眼睛。
<摄像头的修改示例＞
将参考图30描述在第二示例实施例中详细描述的摄像头20的修改示例。图30是示出了摄像头的修改示例的示意图。在图30中，与图9中所示的组件相同的组件带有相同的附图标记。
如图30所示，摄像头20可以被配置有扫描仪300。扫描仪300是读取商品的扫描仪并且被配置成例如条形码扫描仪。在这种情况下，例如，当商品放置在摄像头20的下部时，扫描仪300执行商品的读取。此时，摄像头20可以由驱动控制单元290驱动(即可以通过扫描仪300执行驱动以改变扫描位置)，使得扫描仪300能够适当地读取商品。扫描仪300可以是读取黏贴或附着在商品上的电子标签的扫描仪。
<与支付相关的显示示例＞
将参照图31至图35描述支付中的显示示例。图31是示出了取消按钮的显示示例的概念图。图32是示出了取消后的显示示例的概念图。图33是示出了数量更改按钮的显示示例的概念图。图34是示出了金额更改按钮的显示示例的概念图。图35是示出了存在需要进行年龄确认的商品时的显示示例的概念图。
如图31所示，“取消”按钮(取消购买的按钮)可以显示在指示所读取商品的商品信息旁边。在这种情况下，例如当顾客注视取消按钮时，如第七示例实施例中(参见图22)所述，取消按钮的颜色逐渐改变。然后，当取消按钮的颜色完全改变时，商品的购买被取消。已取消的商品从商品列表中删除。
如图32A所示，已取消的商品可以显示为灰色而不被删除。在显示为灰色的情况下，可以显示“再次购买(取消-无效)”按钮，而不是取消按钮。再次购买按钮使得注视再次购买按钮的顾客能让取消无效(实现可再次购买状态)，就像在上述取消按钮中一样。需要说明的是，就像在取消按钮中一样，可以进行显示以逐渐改变再次购买按钮中的颜色。
如图32B所示，当商品被取消时，除了取消后的总金额之外，还可以显示取消前的总金额。也就是说，取消前后的总金额可以并排显示以便进行比较。替代地，除了取消后的总金额外，还可以显示与取消前的总金额的差值。
如图33所示，在支付后可以自动接收商品的***(诸如自动售货机(支付终端可以并入自动售货机本身，或者支付终端可以安装在自动售货机旁边))的情况下，可以在要购买的商品侧面显示“数量更改”按钮。数量更改按钮是允许顾客通过注视按钮来更改商品数量的按钮。具体地，当顾客注视数量更改按钮时，就像在上述取消按钮中一样，数量更改按钮的颜色逐渐改变。然后，当数量更改按钮的颜色完全改变时，数量列的显示被改变(例如，数字闪烁、数字的背景颜色改变、变为空白等)，以便向顾客告知可以更改数量。在这种条件下，当顾客执行更改数量的动作时，商品的数量被更改。例如，如在图33所示的示例中，当在数字的左边和右边显示箭头时，注视右箭头时数量增加，注视左箭头时数量减少。需要说明的是，该箭头可以在取消按钮的颜色结束改变的同时显示，或者该箭头可以从取消按钮的颜色结束改变之后数量列可以被改变开始的预定时间间隔后(例如，1秒后)开始显示，如图33所示。替代地，当继续注视数量列时，数量可以每秒从一变为二和三。替代地，当用右眼眨眼时，每次眨眼的数量可以增加一，并且当用左眼眨眼时，每次眨眼的数量可以减少一。替代地，数量可以在每次向右摇头时增加一，并且可以在每次向左摇头时减少一。此外，在继续注视上述数量列时，在眨眼时以及在摇头时，无需在数量列中显示左右箭头。在眨眼和摇头的动作中，左和右可以与上述左和右相反(当用右眼眨眼时，每次眨眼的数量可以减少一，并且当用左眼眨眼时，每次眨眼的数量可以增加一，替代地，数量可以在每次向右摇头时减少一，并且可以在每次向左摇头时增加一)。需要说明的是，在数量更改期间，数量更改按钮可以更改为“确认”按钮。在这种情况下，当顾客在更改数量后注视确认按钮时，将确认更改的数量并更改总金额(请注意，每次更改数量时，总金额可以发生改变)。
如图34A所示，“金额更改”按钮可以显示在指示所读取商品信息的屏幕上。金额更改按钮是在所读取商品信息存在不一致时(例如，当显示的商品名称与所读取商品之间存在不一致时，以及当显示的金额与商店内传单或价签上显示的金额之间存在不一致时)使用的按钮，并且顾客可以注视按钮来请求更改金额。当顾客请求更改金额时，执行呼叫工作人员(店员等)的过程。此时，如图34B所示，可以显示“呼叫工作人员。请稍等片刻”等消息。
如图35A所示，当购买需要进行年龄确认的商品并且当读取该商品时，可以进行显示以指示必须进行年龄确认。具体地，年龄确认中的“不需要/尚未确认/已确认”可以显示在支付屏幕上。此时，可以通知顾客执行确认年龄的动作。例如，如图35A的示例中所示，可以显示“有需要进行年龄确认的商品。请手持身份证面向摄像头”等显示。
如图35B所示，当顾客的年龄确认完成时，所显示的“尚未确认”变为“已确认”。此时，可以显示“成功完成年龄确认”等消息。请注意，当存在年龄确认为“尚未确认”的商品时，可以不允许进行支付过程。例如，可以不允许向支付按钮(参见图20和图22等)执行输入(不接收输入、隐藏按钮、变灰等)。
图31至图35中描述的显示器仅是示例。因此，对上述每个按钮的布置位置、大小等没有加以特别限制。需要说明的是，这些按钮的显示不仅可以通过使用一种类型的显示来实现，而且还可以通过组合多种类型的显示来实现。
处理方法也被包括在每个示例实施例的范围内，其中该处理方法在记录介质上记录用于运行每个示例实施例的配置以实现上述示例实施例的功能的程序，将记录在记录介质上的程序作为代码读取以及在计算机上执行该程序。也就是说，计算机可读记录介质也被包括在每个示例实施例的范围内。另外，不仅其上记录有上述程序的记录介质，而且程序本身也被包括在每个示例实施例中。
例如，软盘(注册商标)、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡或ROM可以用作记录介质。此外，不仅记录在记录介质上并用于执行处理的程序本身，而且在操作***上运行并与其他软件和扩展板的功能协作地执行处理的程序也被包括在每个示例实施例的范围内。
公开内容不限于上述示例，并且如果需要，允许对其进行更改，而不偏离本发明的可以从权利要求和整个说明书中读出的本质或精神。具有此类更改的支付***、支付方法和计算机程序也旨在落入本公开的技术范围之内。
<补充说明>
上述示例实施例可以进一步描述为以下补充说明，但不限于以下内容。
(补充说明1)
补充说明1中描述的支付***是一种支付***，其包括：读取商品的商品读取单元；获得关于所读取商品的商品信息的商品信息采集单元；输出用于与顾客确认对商品的支付意图的确认信息的确认信息输出单元；接收来自顾客的针对确认信息的输入的接收单元；获得顾客的面部图像的面部采集单元；获得顾客的虹膜图像的虹膜采集单元；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程的支付处理单元。
(补充说明2)
补充说明2中描述的支付***是补充说明1中描述的支付***，其中面部采集单元和虹膜采集单元从整体驱动的面部摄像头和虹膜摄像头获得面部图像和虹膜图像。
(补充说明3)
补充说明3中描述的支付***是补充说明1或2中描述的支付***，其中商品读取单元通过使用面部采集单元从其获得面部图像的面部摄像头来读取商品，并且在读取商品时面部摄像头在至少一个方向上被驱动以改变成像范围。
(补充说明4)
补充说明4中描述的支付***是补充说明1至3中任一项描述的支付***，其中接收单元基于从面部图像和虹膜图像中的至少一个估计的顾客的注视方向来接收来自顾客的输入。
(补充说明5)
补充说明5中描述的支付***是补充说明4中描述的支付***，其中确认信息输出单元显示对应于支付意图的至少一个注视区域，并且接收单元接收对应于顾客所注视的注视区域的信息，作为来自顾客的输入。
(补充说明6)
补充说明6中描述的支付***是补充说明5中描述的支付***，其中确认信息输出单元根据顾客注视注视区域的时间长度，显示从注视区域的外部逐渐收敛到注视区域的边框。
(补充说明7)
补充说明7中描述的支付***是补充说明5或6中描述的支付***，其中确认信息输出单元根据顾客注视注视区域的时间长度，朝向屏幕外部逐渐改变注视区域的颜色。
(补充说明8)
补充说明8中描述的支付***是补充说明1至7中任一项描述的支付***，其还包括基于从虹膜图像估计的顾客的视线移动来确定顾客的生物学相似性的生物特征确定单元，其中支付处理单元在生物学相似性高于预定阈值时基于面部图像来确定是否执行支付过程，并且在生物学相似性低于预定阈值时基于面部图像和虹膜图像来确定是否执行支付过程。
(补充说明9)
补充说明9中描述的支付方法是一种支付方法，其包括：读取商品；获得关于所读取商品的商品信息；输出用于与顾客确认对商品的支付意图的确认信息；接收来自顾客的针对确认信息的输入；获得顾客的面部图像；获得顾客的虹膜图像；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程。
(补充说明10)
补充说明10中描述的计算机程序是一种计算机程序，其允许计算机执行：读取商品；获得关于所读取商品的商品信息；输出用于与顾客确认对商品的支付意图的确认信息；接收来自顾客的针对确认信息的输入；获得顾客的面部图像；获得顾客的虹膜图像；以及基于来自顾客的输入并基于面部图像和虹膜图像中的至少一个执行商品的支付过程。
(补充说明11)
补充说明11中描述的记录介质是一种其上记录有补充说明10中描述的计算机程序的记录介质。
附图标记说明
10 支付***
11 处理器
20 摄像头
110 商品读取单元
120 商品信息采集单元
130 确认信息输出单元
131 注视区域显示单元
132 边框显示单元
133 区域颜色改变单元
140 输入接收单元
141 注视方向估计单元
150 面部图像采集单元
160 虹膜图像采集单元
170 支付处理单元
180 生物特征确定单元
210 虹膜摄像头
220 面部摄像头
225 摄像头单元
230 照明单元
235 可见光滤光片
250 保持部分
260 风冷风扇
270 电机
275 固定部分
280 壳体
290 驱动控制单元
300 扫描仪。

Claims (10)

1.一种支付***，包括：
商品读取单元，其读取商品；
商品信息采集单元，其获得关于所读取商品的商品信息；
确认信息输出单元，其输出用于与顾客确认对所述商品的支付意图的确认信息；
接收单元，其接收来自所述顾客的针对所述确认信息的输入；
面部采集单元，其获得所述顾客的面部图像；
虹膜采集单元，其获得所述顾客的虹膜图像；以及
支付处理单元，其基于来自所述顾客的所述输入并基于所述面部图像和所述虹膜图像中的至少一个执行所述商品的支付过程。
2.根据权利要求1所述的支付***，其中所述面部采集单元和所述虹膜采集单元从整体驱动的面部摄像头和虹膜摄像头获得所述面部图像和所述虹膜图像。
3.根据权利要求1或2所述的支付***，其中
所述商品读取单元通过使用所述面部采集单元从其获得所述面部图像的面部摄像头来读取所述商品，并且
在读取商品时，所述面部摄像头在至少一个方向上被驱动，以改变成像范围。
4.根据权利要求1至3中任一项所述的支付***，其中所述接收单元基于从所述面部图像和所述虹膜图像中的至少一个估计的所述顾客的注视方向来接收来自所述顾客的所述输入。
5.根据权利要求4所述的支付***，其中
所述确认信息输出单元显示对应于所述支付意图的至少一个注视区域，并且
所述接收单元接收对应于所述顾客所注视的注视区域的信息，作为来自所述顾客的所述输入。
6.根据权利要求5所述的支付***，其中所述确认信息输出单元根据所述顾客注视所述注视区域的时间长度，显示从所述注视区域的外部逐渐收敛到所述注视区域的边框。
7.根据权利要求5或6所述的支付***，其中所述确认信息输出单元根据所述顾客注视所述注视区域的时间长度，朝向屏幕外部逐渐改变所述注视区域的颜色。
8.根据权利要求1至7中任一项所述的支付***，还包括：生物特征确定单元，其基于从所述虹膜图像估计的所述顾客的视线移动来确定所述顾客的生物学相似性，其中
所述支付处理单元在所述生物学相似性高于预定阈值时基于所述面部图像来确定是否执行所述支付过程，并且在所述生物学相似性低于所述预定阈值时基于所述面部图像和所述虹膜图像来确定是否执行所述支付过程。
9.一种支付方法，包括：
读取商品；
获得关于所读取商品的商品信息；
输出用于与顾客确认对所述商品的支付意图的确认信息；
接收来自所述顾客的针对所述确认信息的输入；
获得所述顾客的面部图像；
获得所述顾客的虹膜图像；以及
基于来自所述顾客的所述输入并基于所述面部图像和所述虹膜图像中的至少一个执行所述商品的支付过程。
10.一种计算机程序，其允许计算机执行：
读取商品；
获得关于所读取商品的商品信息；
输出用于与顾客确认对所述商品的支付意图的确认信息；
接收来自所述顾客的针对所述确认信息的输入；
获得所述顾客的面部图像；
获得所述顾客的虹膜图像；以及
基于来自所述顾客的所述输入并基于所述面部图像和所述虹膜图像中的至少一个执行所述商品的支付过程。
CN202180095390.3A 2021-03-08 2021-03-08 支付***、支付方法和计算机程序 Pending CN116997918A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/008957 WO2022190164A1 (ja) 2021-03-08 2021-03-08 決済システム、決済方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
CN116997918A true CN116997918A (zh) 2023-11-03

Family

ID=83227501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180095390.3A Pending CN116997918A (zh) 2021-03-08 2021-03-08 支付***、支付方法和计算机程序

Country Status (5)

Country Link
US (1) US20230196364A1 (zh)
EP (1) EP4307196A4 (zh)
JP (1) JPWO2022190164A1 (zh)
CN (1) CN116997918A (zh)
WO (1) WO2022190164A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035711A1 (en) * 2021-07-31 2023-02-02 Qualcomm Incorporated Satellite signal environment determination and/or position estimate selection

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP5103682B2 (ja) * 2007-10-24 2012-12-19 株式会社国際電気通信基礎技術研究所 インタラクティブ看板システム
US20090157481A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for specifying a cohort-linked avatar attribute
JP5211797B2 (ja) 2008-03-26 2013-06-12 日本電気株式会社 認証システム、認証方法および認証用プログラム
KR101542124B1 (ko) * 2011-04-13 2015-08-13 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 동적 광고 컨텐츠 선택
GB2497553B (en) * 2011-12-13 2018-05-16 Irisguard Inc Improvements relating to iris cameras
US20140002352A1 (en) * 2012-05-09 2014-01-02 Michal Jacob Eye tracking based selective accentuation of portions of a display
US9449221B2 (en) * 2014-03-25 2016-09-20 Wipro Limited System and method for determining the characteristics of human personality and providing real-time recommendations
CN105100633A (zh) * 2014-05-22 2015-11-25 宁波舜宇光电信息有限公司 虹膜识别应用中的补光方法及装置
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
US9741026B1 (en) * 2014-09-30 2017-08-22 Square, Inc. Payment by use of identifier
KR102460459B1 (ko) * 2015-02-27 2022-10-28 삼성전자주식회사 전자 장치를 이용한 카드 서비스 방법 및 장치
TWI607336B (zh) * 2015-07-08 2017-12-01 台灣色彩與影像科技股份有限公司 區域的監控方法
US10044712B2 (en) * 2016-05-31 2018-08-07 Microsoft Technology Licensing, Llc Authentication based on gaze and physiological response to stimuli
US10990658B2 (en) 2016-07-11 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for verifying user using multiple biometric verifiers
KR101962203B1 (ko) * 2017-03-10 2019-03-27 크루셜텍 (주) 다중 생체 데이터를 이용한 비접촉식 다중 생체 인식 방법 및 다중 생체 인식 장치
CN109376666B (zh) * 2018-10-29 2022-01-25 百度在线网络技术（北京）有限公司 一种商品售卖方法、装置、售卖机及存储介质
JP7361262B2 (ja) * 2019-03-29 2023-10-16 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム
JP7445856B2 (ja) * 2019-09-30 2024-03-08 パナソニックＩｐマネジメント株式会社 物体認識装置、物体認識システムおよび物体認識方法
JP2021163235A (ja) * 2020-03-31 2021-10-11 富士通株式会社 情報処理方法、情報処理システム、情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
WO2022190164A1 (ja) 2022-09-15
EP4307196A4 (en) 2024-05-08
JPWO2022190164A1 (zh) 2022-09-15
US20230196364A1 (en) 2023-06-22
EP4307196A1 (en) 2024-01-17

Similar Documents

Publication Publication Date Title
US11934613B1 (en) Systems and methods for generating a position based user interface
JP5548042B2 (ja) ユーザ端末装置及びショッピングシステム
JP6244484B2 (ja) 商品認識装置及び商品認識プログラム
US20160162855A1 (en) Pre-configure and customize atm interaction using mobile device
EP2787468B1 (en) Headheld scanner and display
US10311417B2 (en) Sales data processing apparatus and method for instructing operation on operation section to be operated next
JP2010061063A (ja) 表示制御装置、現金自動預け払い機、表示制御方法、及びプログラム
US20230376056A1 (en) Preventing image or video capture of input data provided to a transaction device
US20230196364A1 (en) Payment system, payment method, and computer program
JP2023127536A (ja) 判定システム、判定方法、およびプログラム
CN114664029A (zh) 费用计算***和费用计算方法
JP2007292894A (ja) 表示装置、関連情報表示方法およびプログラム
CN114616585A (zh) 虹膜认证设备和虹膜认证方法
JP2024003669A (ja) プログラム、情報端末、システム
JP4844638B2 (ja) 自動取引装置
JP6650374B2 (ja) 読取装置
JP2012113437A (ja) 自動券売機
US20160140523A1 (en) Position adaptive atm for customer privacy
TWI802909B (zh) 金融交易系統及其操作方法
US20240153263A1 (en) Information processing system, information processing apparatus, information processing method, and recording medium
JP2015228096A (ja) 電子機器
US20230316761A1 (en) Fraudulent act detection device and fraudulent act detection method
US20230353388A1 (en) Information processing device, information processingmethod, and recording medium
WO2019168068A1 (ja) 情報処理装置、情報処理方法及び記録媒体
JP2022098820A (ja) 商品販売データ処理システム、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination