CN115699118A - 信息处理***、信息处理装置、以及信息处理方法 - Google Patents

信息处理***、信息处理装置、以及信息处理方法 Download PDF

Info

Publication number
CN115699118A
CN115699118A CN202180042882.6A CN202180042882A CN115699118A CN 115699118 A CN115699118 A CN 115699118A CN 202180042882 A CN202180042882 A CN 202180042882A CN 115699118 A CN115699118 A CN 115699118A
Authority
CN
China
Prior art keywords
image
processing
control unit
information
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180042882.6A
Other languages
English (en)
Inventor
戴晓艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of CN115699118A publication Critical patent/CN115699118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)

Abstract

信息处理***包括拍摄部以及控制部。控制部基于拍摄部所拍摄的图像进行处理。控制部对图像中所包含的物体进行识别处理，在识别处理失败的情况下，进行识别处理失败的原因的推定处理。拍摄部根据通过推定处理得到的结果，进行包括执行变更拍摄部的拍摄条件和通知用户中的至少任一个的事后处理。

Description

信息处理***、信息处理装置、以及信息处理方法
关联申请的相互参照
本申请要求2020年6月18日申请的日本专利申请2020-105632的优先权，在此引入该在先申请的全部内容作为参照。
技术领域
本公开涉及信息处理***、信息处理装置、以及信息处理方法。
背景技术
提出一种通过从由照相机所拍摄的图像中识别顾客想要购买的商品来进行结算处理的装置。在这样的装置中，要求能够迅速地识别商品。例如，专利文献1所公开的装置在由于检测对象的商品与多个商品类似而不能确定商品的情况下，引导装置的操作者将商品改变为容易识别的方向。
现有技术文献
专利文献
专利文献1：日本特开2018-97883号公报
发明内容
本公开的一种信息处理***包括拍摄部以及控制部。所述控制部基于所述拍摄部所拍摄的图像进行处理。所述控制部对所述图像中所包含的物体进行识别处理，在所述识别处理失败的情况下，进行所述识别处理失败的原因的推定处理。所述拍摄部根据由所述推定处理得到的结果，进行包括执行变更所述拍摄部的拍摄条件和通知用户中的至少任一个的事后处理。
本公开的一种信息处理装置包括通信部以及控制部。所述通信部接收拍摄部所拍摄的图像。所述控制部基于所述拍摄部所拍摄的图像进行处理。所述控制部对所述图像中所包含的物体进行识别处理，在所述识别处理失败的情况下，进行所述识别处理失败的原因的推定处理。所述控制部根据由所述推定处理得到的结果，执行变更所述拍摄部的拍摄条件和通知用户中的至少任一个。
本公开的一种信息处理方法，包括：获取由拍摄部拍摄的图像；以及对所述图像中所包含的物体进行识别处理。所述信息处理方法包括在所述识别处理失败的情况下，进行所述识别处理失败的原因的推定处理。所述信息处理方法包括根据由所述推定处理得到的结果，进行包括执行变更所述拍摄部的拍摄条件和通知用户中的至少任一个的事后处理。
附图说明
图1是表示包含本实施方式所涉及的信息处理***的结算***的整体结构的结构图。
图2是表示图1的信息处理***的整体结构的结构图。
图3是表示图2的信息处理装置的概略结构的功能框图。
图4是表示由照相机拍摄的图像的一例的图。
图5是表示图4的第一物体的方向的图。
图6是说明图4的第三物体以及第四物体的识别的图。
图7是图3的控制部执行的商品的确定处理的流程图的第一例。
图8是说明图7的识别处理失败的原因推定处理的流程图。
图9是图3的控制部执行的商品的确定处理的流程图的第二例。
图10是说明图9的重叠部分推定处理的流程图。
图11是说明图9的识别处理失败的原因推定处理的流程图。
具体实施方式
现有技术只有在通过改变物体的方向来提高识别精度的情况下才具有效果。识别物体的装置有时由于各种原因而不能确定物体是哪个物品。优选的是，对应不能确定物品的各种模式，通过适当的方法改变识别物体的条件，能够提高物体识别的精度。
根据以下说明的本公开的实施方式，能够灵活地对应于物体识别处理的失败原因来提高物体的识别精度。
以下，参照附图对本公开的实施方式进行说明。以下的说明中所使用的图是示意性的。附图上的尺寸比率等未必与现实的尺寸比率一致。
[***结构]
如图1所示，包括本公开一实施方式所涉及的信息处理***10的结算***11，包括至少一个信息处理***10以及服务器12。在本实施方式中，结算***11包括多个信息处理***10。
(信息处理***)
在本实施方式中，信息处理***10包含在收银机终端中。信息处理***10拍摄购买者放置在收银机终端上的物体。购买者是信息处理***10的用户。购买者放置在收银机终端上的物体是在店铺中销售的某一个商品。在店铺中销售的商品包含在物品的概念中。在本公开中，物品也包括商业交易的对象以外的物品。
信息处理***10对拍摄的图像进行物体识别处理，识别图像中所包含的物体是店铺中哪个商品。图像中的物体是指图像内所描绘的物体。信息处理***10通过网络13向服务器12通知所载置的全部物体的识别结果。服务器12基于识别结果计算出请求金额。服务器12将请求金额通知给信息处理***10。信息处理***10向购买者提示请求金额，并请求支付购买金额。
如图2所示，信息处理***10构成为包括作为拍摄部的照相机14以及信息处理装置17。另外，信息处理***10也可以构成为还包括显示装置16、载置台18以及支承柱19。
照相机14以能够拍摄载置台18的整个范围的方式被固定。例如，照相机14被固定在从载置台18的侧面延伸的支承柱19上。固定照相机14的方式不限于支承柱19。照相机14能够通过任意的方法固定在载置台18的上侧。例如，照相机14可以被固定在店铺的载置台18的上部的顶棚上。照相机14例如能够以拍摄整个载置台18的上表面且光轴与该上表面垂直的方式被固定。在其他结构中，照相机14可以以光轴相对于载置台18的上表面倾斜的方式被配置。照相机14可以构成为能够变更变焦倍率。照相机14以任意的帧速率连续地进行拍摄，生成图像信号。在本实施方式中，载置台18的上表面为载置物体的面。从载置台18的上表面与空间方向垂直地延伸的方向为上方向。另外，与上方向相反的方向为下方向。
载置台18的上表面是矩形的平坦面。购买者能够在载置台18上载置想要结算的多个物体。载置台18可以包括对载置在载置台18上的物体的重量的合计进行测定的重量传感器18a。作为重量传感器18a，能够采用测定重量的公知的传感器。
显示装置16是以往公知的任意的显示器。显示装置16显示与从信息处理装置17发送的图像信号相当的图像。另外，如后所述，显示装置16可以作为触摸屏发挥作用。显示装置16还可以具有扬声器，具有输出声音的功能。显示装置16可以作为信息处理***10对购买者进行通知的通知部发挥作用。通知包括通过显示或声音来通知购买者变更物体的位置和方向中的至少任一个。
(信息处理装置)
如图3所示，信息处理装置17构成为包括通信部20、输入部21、存储部22以及控制部23。在本实施方式中，信息处理装置17构成为与照相机14以及显示装置16不同的装置，但例如也可以与照相机14、载置台18、支承柱19以及显示装置16中的至少任一个一体地构成。
通信部20例如包括经由包含有线或无线而构成的通信线路与照相机14进行通信的通信模块。通信部20从照相机14接收图像信号。通信部20包括经由通信线路与显示装置16进行通信的通信模块。通信部20向显示装置16发送与要显示的图像相当的图像信号。通信部20可以向显示装置16发送与要输出的声音相当的声音信号。通信部20可以从显示装置16接收与在显示面上检测到接触的位置相当的位置信号。通信部20包括经由网络13与服务器12进行通信的通信模块。通信部20向服务器12发送后述的表示确定的识别结果的结果信息。通信部20可以从服务器12接收与请求金额相当的金额信息。
输入部21包括检测购买者输入的一个以上的接口。输入部21可以包括例如物理键、电容键以及与显示装置16一体地设置的触摸屏。在本实施方式中，输入部21为触摸屏。
存储部22例如包括RAM(Random Access Memory，随机存取存储器)以及ROM(ReadOnly Memory，只读存储器)等任意的存储设备。存储部22存储使控制部23发挥作用的多种程序以及控制部23所使用的多种信息。存储部22可以存储针对商品登记的后述的商品管理信息。控制部23可以根据需要从服务器12获取针对商品登记的商品管理信息，并存储在存储部22中。
控制部23包括一个以上的处理器以及存储器。处理器可以包括通过读取特定的程序来执行特定的功能的通用处理器以及专用于特定的处理的专用处理器。专用处理器可以包括专用集成电路(ASIC；Application Specific Integrated Circuit)。处理器可以包括可编程逻辑器件(PLD；Programmable Logic Device)。PLD可以包括现场可编程门阵列(FPGA；Field-Programmable Gate Array)。控制部23也可以是一个或多个处理器协作的SoC(System-on-a-Chip：片上***)以及SiP(System In a Package：单封装***)中的任一个。
控制部23基于载置在载置台18上的图像im，对图像im中所包含的物体进行识别处理。控制部23在识别处理失败的情况下，进行识别处理失败的原因的推定处理。进而，控制部23根据通过推定处理得到的结果，执行变更照相机14的拍摄条件和通知购买者中的至少任一个。通知购买者包括载置台18上的物体的配置的变更的通知等。关于控制部23所执行的处理的详细情况，将在后面叙述。
(服务器)
服务器12例如由物理服务器或云服务器构成。服务器12基于从信息处理***10发送的表示最终确定的识别结果的结果信息，确定放置在该信息处理***10的载置台18上的物体是哪个商品。服务器12通过从数据库中读出的该物体的销售价格计算出针对该信息处理***10的购买者的请求金额。服务器12将表示该请求金额的信息发送给信息处理***10。
服务器12具有商品管理数据库(商品管理DB)，该商品管理数据库包含用于从多个商品中用于确定出确定的商品的商品管理信息，该商品管理信息在信息处理***10中用于物体识别。商品管理信息包括用于识别商品的商品标识符以及价格等信息。商品标识符例如能够是商品的名称或分配给每个商品的商品代码。商品管理信息还可以包括商品的图像、用于图像识别的特征量、绘制在表面的文字、大小、重量、外形、表示与拍摄方向对应的物品的确定容易度的信息(以下，适当称为“方向信息”)等信息。服务器12可以将该商品管理DB内的商品管理信息发送到信息处理***10。从服务器12发送的商品管理信息可以适当地存储在信息处理装置17的存储部22中。
(控制部的动作)
控制部23如以下说明的那样，对相当于从照相机14接收的图像信号的图像im进行物体识别处理。物体识别处理指的是检测图像im中的物体，确定是哪个商品。控制部23可以通过在图像im中检测物体的第一阶段处理和确定该检测出的物体是哪个商品的第二阶段处理这两个阶段来执行物体识别处理。或者，例如控制部23可以通过同一处理同时执行在图像im中检测物体和确定是哪个商品。在本实施方式中，在图像im中检测物体是指将图像im中的物体的存在与位置一起分别掌握。另外，确定物体是哪个商品是指从登记在商品管理DB中的规定的多个商品中，将物体确定为某一个商品。控制部23通过物体识别处理，例如通过放置在载置台18上，识别位于照相机14的拍摄范围内的多个物体分别是哪个商品。
控制部23例如通过条形码检测、深度学习、图案匹配以及文字识别等公知的识别方法来对图像im中所包含的物体的像进行物体识别处理。控制部23通过物体识别处理来临时识别图像im中的物体是哪个商品，并且计算出该物体的临时识别结果的可靠度。可靠度是表示识别结果的准确度(正确性)的指标。可靠度例如能够表示为以％(百分比)为单位的百分率，但不限于此。
控制部23能够导出物体识别处理的结果、商品标识符以及可靠度。控制部23除了商品标识符和可靠度之外，还可以计算出检测出的物体在载置台上的位置信息、物体的大小信息、表示物体的载置姿势的信息、表示物体的外形的信息、表示物体的高度的信息等。控制部23可以获取由重量传感器18a测定的载置在载置台18上的全部物体的重量的合计的测定値，作为识别处理所涉及的物体整体的信息。控制部23可以计算出物体的个数作为识别处理所涉及的物体整体的信息。在物体识别处理中，这些信息可以与商品标识符以及可靠度一起在大致相同的时机计算或获取。或者，这些信息在物体识别处理失败的情况下，可以在以下说明的推定处理中根据需要计算或获取。
检测出的物体在载置台上的位置信息在以下记载为“物体的位置信息”。物体的位置信息例如能够用将沿着矩形的载置台的两边的方向作为坐标轴的方向的二维坐标来表示。物体的位置信息能够表示为包围检测出的物体像的最小的长方形的框线即边界框的中心坐标。或者物体的位置信息能够由检测出的物体的像的重心位置来表示。物体的位置信息不限于此，能够用其他的方法来表示。
物体的大小信息是指在图像im上所占的物体的像的大小。物体的大小信息例如能够由边界框的纵向和横向的的两边的长度来表示。物体的大小信息可以由边界框的两边的长度以外的指标来表示。物体的大小信息例如可以由在图像im上包含物体的最小圆的直径或半径来表示。
表示物体的载置姿势的信息在以下记载为“物体的姿势信息”。物体的姿势信息表示物体是被临时识别出的商品(以下，适当记为“临时商品”)的情况下的在载置台18上的方向。在载置台上的方向包括朝上、朝下以及横向等。在物体包含多个侧面的情况下，根据将哪个面朝向载置台18，横向还可以包含多个方向。“物体的姿势信息”还可以包括绕与载置台18的上表面垂直的轴的角度的信息。作为上下等基准的商品的方向可以按每个商品预先规定，作为商品信息之一存储在服务器12中。在本实施方式中，由于照相机14朝向载置台18在垂直方向朝下对物体进行拍摄，所以当物体的姿势信息确定时，临时识别的商品的拍摄方向也确定。
以下，将表示物体的外形的信息记载为“物体的外形信息”。物体的外形信息是基于从图像im检测出的物体的像的边缘而决定的。物体的外形信息能够为物体的像的外形本身。物体的外形信息可以是从物体的像检测出的多个特征点的坐标。控制部23可以提取包含在物体的像的外形中的顶点或具有大的曲率的点等多个点作为特征点。例如，在图像im中成为长方形的物体中，4个顶点可以成为特征点。
以下，将表示物体的高度的信息记载为“物体的高度信息”。控制部23通过根据由照相机14拍摄的图像im测定到物体的上表面的距离，从而计算出物体的高度。根据照相机14的图像测定距离的方法能够采用公知的技术。物体的高度信息能够用于计算上述的物体的姿势信息。
控制部23对物体识别处理的成功或失败进行判断。例如，控制部23可以针对图像im中所包含的各个物体，将识别结果的可靠度与第一阈值进行比较来判断识别处理的成功或失败。例如，控制部23在识别结果的可靠度为第一阈值以下的情况下，可以判断为识别处理失败。第一阈值可以根据确定物体的每个商品而不同。
另外，控制部23可以将由重量传感器18a测定的全部物体的重量的合计与基于物体识别处理的临时商品的计算上的重量进行比较，以判断识别处理是否成功。在这种情况下，控制部23基于存储在服务器12或存储部22中的各个商品的重量信息来计算针对检测出的全部物体识别出的全部临时商品的重量的合计即计算上的重量。在计算上的重量比测定的全部物体的重量的合计轻规定值以上的情况下，由于存在不能识别的商品，所以能够推定识别处理失败。在计算上的重量比测定的全部物体的重量重规定值以上的情况下，控制部23由于存在被错误识别的商品，所以能够推定识别处理失败。考虑重量传感器18a的测定误差以及商品通常具有的重量的偏差等来设定规定值。
在物体的识别处理失败的情况下，控制部23进行识别处理失败的原因的推定。以下，使用如图4所示的照相机14拍摄的图像im的例子，来说明推定处理以及根据推定处理的结果执行的事后处理。图4是专门用于说明的简化图。由实际的照相机14拍摄的图像im可以有各种各样的图像。
在图4中，在载置台18上载置有第一物体31、第二物体32、第三物体33、第四物体34以及第五物体35这个五个物体。第一物体31例如是杯面。第二物体32例如是杂志。第三物体33例如是酒瓶。第四物体34例如是罐装果汁。第五物体35例如是鸡蛋盒。在物体识别处理中，假设第一物体31、第二物体32、第三物体33以及第四物体34为识别处理失败的物体。假设第五物体35为识别处理成功的物体。
对于确定的物体，控制部23能够根据临时识别物体而识别出的商品的商品标识符和物体的大小信息来推定识别处理失败的原因。控制部23从服务器12的商品管理DB中获取临时识别出的商品的登记的大小的信息。控制部23能够将从图像im检测出的物体的大小与商品的登记的大小进行比较，以推定图像im中所包含的物体的像是否与图像im的端部重叠。
存储在商品管理DB中的各商品的大小的信息，能够是在由照相机14拍摄载置在载置台18上的商品的情况下所拍摄的商品的像的大小的信息。在这种情况下，控制部23能够直接将由照相机14拍摄的物体的像的大小与商品的大小的信息进行比较。登记在商品管理DB中的各商品的大小的信息可以是商品在实际空间中的大小。在这种情况下，控制部23例如能够根据商品的大小的信息，计算出载置在载置台18上并由照相机14拍摄的情况下的商品在图像im上的大小，并与由照相机14拍摄的图像im上的物体的像的大小进行比较。
假如从图像im检测出的物体的大小小于登记的商品的大小，则控制部23能够推定为图像im中所包含的物体的像与图像im的端部重叠。当所检测出的物体的大小相对于所登记的商品的大小的比率在规定值以下时，或者，当所检测出的物体的大小比所登记的商品的大小小规定值以上时，控制部23可以推定为物体的像与图像im的端部重叠。物体的像与图像im的端部重叠是指实际的物体的一部分位于照相机14的可拍摄区域外而未被拍摄。考虑从图像im检测出的物体的大小的误差、以及商品的大小的偏差等来设定规定值。
例如，在图4中，第一物体31整体包含在图像im中。因此，图像im上的第一物体31的像与登记在商品管理DB中的临时商品“杯面”的大小大致一致。因此，对于第一物体31，不能推定为物体的像与图像im的端部重叠。另一方面，第二物体32以从由照相机14拍摄的图像im的区域露出一部分的方式被载置。在一实施方式中，可以将由照相机14拍摄的图像im的区域设定为与载置台18的上表面一致。在这种情况下，控制部23基于物体的大小信息可以推定第二物体32的识别处理失败的原因是因为第二物体32的一部分被配置在照相机14的拍摄区域之外。
在商品管理DB中存储的商品的大小与图像im中包含的物体的像的大小之间可能存在误差的情况下，控制部23能够考虑识别处理成功的物体的在商品管理DB中存储的大小与像的大小的比率，来进行大小的比较。例如，在图4的例子中，控制部23计算出识别处理成功的第五物体35的被识别出的商品即鸡蛋盒的在商品管理DB中存储的大小与第五物体35的像的大小的比率r。例如，在物体的像的放大率因照相机14的变焦的状态等而不同的情况下，控制部23能够推定对于第五物体35以外的物体也与第五物体35同样地被放大或缩小。因此，对于识别处理失败的物体和存储在商品管理DB中的商品的大小，控制部23也可以考虑相同的比率r来进行比较。
控制部23在推定为图像im中所包含的物体的像与图像im的端部重叠的情况下，能够在事后处理中放大照相机14的拍摄范围。通过放大照相机14的拍摄范围，能够使载置在载置台18上的物体的整体包含在图像im中，包括位于载置台18的端部的外侧的部分。作为其他方法，控制部23也可以不放大照相机14的拍摄范围，向购买者通知使物体的位置移动到照相机14的拍摄范围内。
对于确定的物体，控制部23除了商品标识符和物体的大小信息之外，还能够基于物体的位置信息，来推定识别处理失败的原因。在这种情况下，控制部23能够根据物体的位置信息和临时识别出的商品的大小信息，来推定确定的物体的像是否与图像im的端部重叠。控制部23例如在所检测出的物体的大小相对于登记的商品的大小的比率为规定值以下时，或者在所检测出的物体的大小比登记的商品的大小小规定值以上时，考虑物体的位置信息。与仅基于商品标识符和物体的大小信息进行推定的情况相比，控制部23能够更准确地推定出商品超出识别范围之外。
对于确定的物体，控制部23能够根据临时识别物体而识别出的商品的商品标识符、可靠度以及物体的姿势信息来推定识别处理失败的原因。在从物体获得的与商品相关的信息较少的情况下，存在关于临时识别物体而识别出的的商品的可靠度变低的情况。控制部23能够从服务器12的商品管理DB中获取方向信息。方向信息表示与商品的拍摄方向对应的商品的确定容易度。例如，在规定了商品的上表面和下表面且在上表面配置有商品名或特征性的设计的情况下，方向信息包含表示在对商品的上表面进行拍摄的情况下容易确定商品的信息。
例如，在图4中，第一物体31在由照相机14拍摄到的图像im上，外周表示为圆形。第一物体31例如如图5所示，具有圆形的上表面31a和半径比上表面31a小的圆形的下表面31b，在它们之间具有锥形的侧面31c。作为临时识别第一物体31而识别出的商品即杯面，在商品管理DB中例如规定从下表面31b侧向上表面31a侧的方向D。有时在杯面的上表面31a显示商品的标签，在下表面不进行任何特征性的显示。
例如，控制部23在识别处理中将第一物体31的商品临时识别为杯面，但由于第一物体31以其上表面31a朝下的方式配置，因此可靠度可能低于第一阈值，有时无法确定商品。在这种情况下，在识别处理中，控制部23判定临时识别出的商品标识符和可靠度，并将物体的姿势信息判定为朝下。控制部23从商品管理DB中获取在上表面31a中包含较多的用于确定杯面的商品信息作为方向信息，可以推定第一物体31的拍摄方向不适当是第一物体31的识别处理失败的原因。
控制部23在由于图像im中所包含的物体的像的方向不适当而推定为物体的识别处理失败的情况下，在事后处理中，可以通知购买者改变物体的方向。改变物体的方向等同于改变物体的拍摄方向。控制部23可以基于临时识别出的商品的方向信息，通知购买者将物体的方向改变为使更多的用于识别商品信息包含在图像im中的方向。
对于确定的物体，控制部23能够基于临时识别物体而识别出的商品的商品标识符、可靠度以及物体的外形信息来推定识别处理失败的原因。控制部23从服务器12的商品管理DB中获取临时识别出的商品的外形的信息。在临时识别出的商品的外形与根据图像im确定的商品的外形在一部分中不规则地不同的情况下，控制部23能够推定为确定的物体与其他物体重叠。
作为其他方法，控制部23能够基于特征点而不是基于整个物体的外形来推定物体的重叠。特征点是成为在物体的外形上的特征的点。控制部23能够从商品管理DB中获取临时识别出的商品的特征点的数量。控制部23从由图像im检测出的物体的像中提取特征点，在该数量比在商品管理DB中登记的临时识别出的商品的特征点的数量多的情况，能够推定为该物体与其他物体重叠。
例如，在针对图4所示的图像im的物体识别处理中，由于第三物体33和第四物体34在图像im中重叠，因此有时被检测为一个物体。例如，将第三物体33和第四物体34合在一起的像可以临时识别为酒瓶的商品。在识别处理失败的原因的推定处理中，控制部23获取存储在服务器12的商品管理DB中的外形信息。控制部23可以将第三物体33和第四物体34重叠的像与从商品管理DB中获取的酒瓶的商品的外形信息进行比较，判断为物体存在重叠。
作为其他方法，在识别处理失败的原因的推定处理中，如图6所示，控制部23检测将第三物体33和第四物体34识别为一个物体的情况下的边界框36内的特征点37的数量。控制部23获取登记在商品管理DB中的酒瓶的商品的特征点37的数量。当与登记在商品管理DB中的外形信息的特征点的数量相比，检测到的物体的特征点多时，控制部23可以推定为两个以上的物体在边界框36内重叠。
在判断物体是否在图像im中重叠时，控制部23能够考虑从重量传感器18a获取的载置在载置台18上的全部物体的重量的合计。控制部23能够从服务器12的商品管理DB中获取临时识别出的全部商品的重量的信息。控制部23能够计算出将从图像im中检测到的全部商品的重量作为临时识别出的商品的重量的合计来计算的计算上的重量。当计算上的重量与由重量传感器18a测定出的重量之间存在差异时，控制部23可以判断为某一个物体的识别处理失败。特别地，当计算上的重量比由重量传感器18a测定出的重量轻时，则可以推定为图像im中某一个物体存在重叠。
控制部23在判断为在图像im中其他物体与临时识别出的商品重叠的情况下，在事后处理中通知购买者改变物体的配置。例如，控制部23可以经由通信部20对显示装置16所显示的重叠的物体进行强调显示，催促购买者改变物体的配置。强调显示物体的方法包括在显示装置16所显示的载置台18的图像上使物体的像闪烁以及强调边缘等。
因为在登记的商品中存在彼此相似的商品，所以控制部23有时不能在识别处理中确定商品。例如，在方便食品、饮料等中，存在包装设计基本相同而仅大小不同的商品。在存在这样的商品的情况下，控制部23有时针对多个商品计算出相互没有明显差异的大小的可靠度。例如，在针对两个商品的可靠度分别为第二阈值以上的情况下，控制部23可以推定为两个商品是类似的商品。例如，当针对确定的物体的两个商品的可靠度都在30％以上时，控制部23可以推定为两个以上的商品相互类似。
如上所述，在存在彼此相似的商品的情况下，控制部23可以从服务器12的商品管理DB中获取针对两个以上的商品中的任一个预先设定的拍摄条件，并且可以根据该拍摄条件对物体进行拍摄。拍摄条件包括变焦倍率。通过基于预先设定的拍摄条件进行拍摄，能够更明确地确定是两个相似商品中的哪一个。
而且，控制部23可以基于高度信息来推定物体是高度不同的类似商品中的哪一个。通过使用高度信息能够期待推定的精度变高。
另外，控制部23可以基于高度信息来推定商品以怎样的姿势被载置。控制部23可以考虑高度信息来向购买者通知改变物体的姿势的方法。例如，假设对物体临时识别出的商品在纵向上长，并且在横向放置的状态下比在纵向放置的状态下包含更多用于识别物体的信息的情况。控制部23在根据高度信息推定为该物体被纵向放置的情况下，能够通知购买者将物体重新放置成横向放置。
控制部23进行拍摄条件的变更或向购买者发通知，进一步对载置台18上的物体进行拍摄并执行识别处理。由此，物体识别处理的成功概率变高。在必要的情况下，控制部23可以多次反复进行识别处理、识别处理失败的原因的推定处理以及事后处理。当通过物体识别处理确定了全部物体是哪个商品时，控制部23将物体识别处理的结果确定为识别结果。
控制部23以将表示确定的识别结果的结果信息发送到服务器12的方式控制通信部20。控制部23在对于表示确定的识别结果的结果信息的发送，从服务器12接收到表示请求金额的信息时，将该请求金额提示给购买者。控制部23例如可以通过生成请求支付该请求金额的图像并显示在显示装置16上来提示给购买者。
[信息处理的流程]
接着，对控制部23所执行的处理进行说明。信息处理装置17可以构成为通过读取记录在非暂时性的计算机可读介质的程序，来实现以下说明的由控制部23进行的处理。非暂时性的计算机可读介质包括但不限于磁存储介质、光学存储介质、磁光存储介质以及半导体存储介质。
(第一例)
接下来，使用图7以及图8的流程图对本公开的一实施方式中控制部23所执行的信息处理的一例(第一例)进行说明。图7所示的处理，在每次从照相机14接收到1帧的图像信号时开始。
首先，控制部23获取由照相机14拍摄的图像im(步骤S101)。
控制部23识别所获取的图像im中所包含的物体(步骤S102)。控制部23检测图像im中所包含的物体，将检测出的物体是哪个商品确定为临时商品。物体的检测和临时商品的确定可以分阶段地进行，也可以以同一处理进行。控制部23在确定临时商品的同时计算出临时商品的可靠度。
控制部23获取由重量传感器18a测定的全部物体的合计重量的信息(步骤S103)。在一实施方式中，获取重量的信息不是必需的。另外，重量的信息的获取不限于在步骤S102之后执行。例如，重量的信息的获取能够在步骤S101或步骤S102之前执行。
接着，控制部23判断在步骤S102中执行的物体识别处理是否成功(步骤S104)。控制部23能够基于可靠度来判断各物体的识别是否成功。例如，在可靠度为预定的第一阈值以下的情况下，判断该物体的识别失败。在全部物体的识别成功的情况下(步骤S104：是)，控制部23进入步骤S107的处理。在任一个以上的物体的识别失败的情况下(步骤S104：否)，控制部23进入步骤S105的处理。
在步骤S105中，控制部23推定识别处理失败的原因。从多个观点推定识别处理失败的原因的工序是本公开的信息处理方法的特征之一。使用图8的流程图，对步骤S105的处理进行说明。
在图8的原因推定处理中，对可靠度为第一阈值以下的全部物体进行步骤S202至S210之间的处理(步骤S201)。以下，对各步骤进行说明。
控制部23推定在图像im中物体的像是否与图像im的可识别区域的端部重叠(步骤S202)。控制部23基于检测出的物体的大小和临时商品的登记在商品管理DB中的大小，来推定物体的像是否与图像im的端部重叠。控制部23还可以考虑物体的位置信息来推定物体的像是否与图像im的端部重叠。
在推定为识别处理失败的原因是物体的像与图像im的端部重叠的情况下(步骤S202：是)，控制部23进入步骤S203的处理。在步骤S203中，控制部23能够设定为放大拍摄图像的拍摄范围，以使全部物体的整体进入到拍摄范围。在推定为物体的像与图像im的端部不重叠的情况下(步骤S202：否)，控制部23进入步骤S204的处理。
控制部23推定在图像im中物体是否存在两个以上的类似的商品(步骤S204)。例如，在相同种类的商品中，存在大小不同的商品的情况符合这种情况。当在一个物体识别处理中确定多个商品，并且每个商品具有第二阈值以上的可靠度时，控制部23可以推定为存在多个类似商品。另外，控制部23能够计算物体的高度信息，来推定是大小不同的类似商品中的哪一个。
在推定为识别处理失败的原因是由于存在多个类似的商品的情况下(步骤S204：是)，控制部23将照相机14设定为预先设定的拍摄条件(步骤S205)。具体而言，控制部23将照相机14的变焦倍率变更为针对某一个商品设定的倍率。在推定为该物品不存在多个类似的商品的情况下(步骤S204：否)，控制部23进入步骤S206的处理。
控制部23推定在图像im中物体的像中用于确定商品的有用信息是否少(步骤S206)。例如，控制部23根据将物体识别为临时商品的情况下的物体的姿势信息，来推定在物体朝向照相机14的面上是否包含对确定商品有用的信息。控制部23可以基于临时识别物体而识别出的商品的方向信息，来推定图像im是否包含有效的信息。
在推定识别处理失败的原因是由于对确定商品有用的信息少的情况下(步骤S206：是)，控制部23设定通知内容，以使购买者改变放置在载置台18上的物体的方向(步骤S207)。例如，在物体以临时商品的信息少的下表面朝上的方式载置在载置台18上的情况下，控制部23生成使物体转置并重新放置的消息。在推定为识别处理失败的原因不是对确定商品有用的信息少的情况下(步骤S206：否)，控制部23进入步骤S208的处理。
控制部23推定在图像im中多个物体的像是否重叠(步骤S208)。例如，控制部23能够将物体的外形信息与在物体识别处理中识别出的临时商品的已登记的外形信息进行比较，推定其他物体的外形是否与临时商品的外形重叠。另外，在步骤S103中获取的载置台18上的全部商品的重量比通过识别处理识别出的临时商品的重量的合计重规定值以上或规定比率以上的情况下，控制部23能够推定为某一个物体存在重叠。
在推定为识别处理失败的原因是在图像im中物体的像重叠的情况下(步骤S208：是)，控制部23设定通知内容，以使购买者改变放置在载置台18上的物体的配置(步骤S209)。控制部23生成消息，以使购买者将重叠配置的多个物体分开配置。在推定为识别处理失败的原因不是由于物体重叠的情况下(步骤S208：否)，控制部23进入步骤S210的处理。
在步骤S202、S204、S206、S208中的任一推定均未被采用的情况下，控制部23进行错误处理(步骤S210)。例如，控制部23生成用于向购买者显示不能确定商品的消息。控制部23可以生成显示在显示装置16上的画面，以使购买者直接输入或选择商品。
控制部23对可靠度为第一阈值以下的各物体反复进行上述步骤S202至S210的处理，当对全部物体的处理结束时(步骤S211)，返回图7的流程图。
另外，进行步骤S202、S204、S206以及S208的各处理的顺序不限于图8所示的顺序。这些推定处理能够以任意的顺序执行。在步骤S202、S204、S206以及S208的顺序被更换的情况下，对应的步骤S203、S205、S207以及S209的顺序也被更换。另外，在其他实施方式中，能够追加步骤S202、S204、S206以及S208以外的推定处理，或者删除步骤S202、S204、S206以及S208的一部分的推定处理。
在图7的流程图中，在步骤S105之后，控制部23基于在步骤S105中执行的推定处理的结果，执行通知购买者和/或变更拍摄条件(步骤S106)。通知购买者和/或变更拍摄条件是事后处理。控制部23能够通过通信部20将图8的步骤S203以及步骤S205中进行的拍摄条件的变更的设定应用于照相机14，来变更照相机14的拍摄条件。控制部23能够经由通信部20将在图8的步骤S207以及步骤S209中设定的通知内容发送到显示装置16，在显示装置16上使用图像以及声音来通知购买者。
在步骤S106之后，控制部23返回到步骤S101。控制部23重复步骤S101至步骤S106，直到物体识别处理成功为止。
在步骤S104中，在所有物体识别处理成功的情况下(步骤S104：是)，控制部23确定全部物体是哪个商品，并确认识别结果(步骤S107)。
控制部23控制通信部20，以将在步骤S107中确定的最后的识别结果发送到服务器12(步骤S108)。由此，商品的确定处理结束。
(第二例)
接下来，使用图9至图11的流程图对一实施方式中的控制部23所执行的用于确定商品信息处理的第二例进行说明。图9所示的处理在每次从照相机14接收到1帧的图像信号时开始。在该流程图中，以两个阶段进行物体识别处理失败的原因的推定。在第一阶段中，考虑载置在载置台18上的全部物体的重量，推定物体的重叠。在第二阶段中，推定有其他因素引起的识别处理失败的原因。以下对各流程图的详细内容进行说明。
在图9的流程图中，在步骤S301至步骤S303中，执行与图7的步骤S101至步骤S103相同的处理。在第二例中，必须在步骤S103中获取全部物体的合计重量。
在步骤S304中，控制部23判定在步骤S103中获取的载置台18上的全部商品的重量是否比通过识别处理识别出的临时商品的重量的合计重(步骤S304)。考虑测定的误差来判断是否重。在载置台18上的全部商品的重量比通过识别处理识别出的临时商品的重量的合计重规定值以上或规定的比例以上的情况下(步骤S304：是)，控制部23进行在图像im中物体重叠的部位的推定(步骤S305)。根据图10的流程图对步骤S305的处理进行说明。
在图10的流程图中，对于在步骤S302的物体识别处理中检测到的全部物体，进行步骤S402至步骤S404的处理(步骤S401)。以下对各步骤进行说明。
首先，控制部23从图像im获取物体的外形信息(步骤S402)。
控制部23对物体的外形信息和物体识别处理中识别出的临时商品的已登记的外形信息进行比较，推定多个物体是否重叠(步骤S403)。
在推定为多个物体重叠的情况下(步骤S403：是)，控制部23为了使该多个物体的配置在图像im中不重叠，以使用户改变物体的配置的方式设定通知内容(步骤S404)。在推定为多个物体不重叠的情况下(步骤S403：否)，控制部23为了推定下一个物体的重叠而返回到步骤S402。
当针对从图像im中检测出的全部物体，推定了图像im上的重叠时(步骤S405)，控制部23返回到图9的流程图，进入步骤S306。
在步骤S306中，控制部23在作为步骤S305的结果不存在被推定为重叠的物体的情况下(步骤S306：否)，进入步骤S308。在存在被推定为重叠的物体的情况下(步骤S306：是)，进入步骤S307。
在步骤S307中，控制部23按照在步骤S404中设定的通知内容，通知购买者改变推定为重叠配置的物体的配置。即，控制部23控制通信部20，将通知购买者的内容发送到显示装置16。在步骤S307之后，控制部23的处理返回到步骤S301。
在步骤S304中，在载置台18上的全部商品的重量不比通过识别处理识别出的临时商品的重量重的情况下(步骤S304：否)，控制部23进入步骤S308的处理。
在步骤S308中，控制部23通过将可靠度与预先确定的第一阈值进行比较来判断各物体识别处理是否成功。在各物体的可靠度比第一阈值高的情况下(步骤S308：是)，控制部23进入步骤S311的处理。在针对识别任一个以上的物体而识别出的临时商品的可靠度比第一阈值低的情况下(步骤S308：否)，控制部23进入步骤S309的处理。
在步骤S309中，控制部23推定识别处理失败的原因。使用图11的流程图对步骤S309的处理进行说明。
在图11的原因推定处理中，对可靠度为第一阈值以下的全部物体进行步骤S502至S508的处理(步骤S501)。图11中的步骤S502至步骤S507的处理分别与图8中的步骤S202至步骤S207的处理相同。但是，在步骤S506中推定为识别处理失败的原因不是对确定商品有用的信息少的情况下(步骤S206：否)，控制部23进入步骤S508的处理。另外，图11中的步骤508的处理与图8中的步骤S210的处理相同。
控制部23对可靠度为第一阈值以下的各物体反复进行上述的步骤S502至S508的处理，当对全部物体的处理结束时(步骤S509)，返回到图9的流程图。
在图9的流程图中，在步骤S309之后，控制部23基于在步骤S309中执行的推定处理的结果，执行通知购买者和/或变更拍摄条件(步骤S310)。通知购买者和/或变更拍摄条件的变更是事后处理。控制部23能够通过通信部20将在图11的步骤S503以及步骤S505中进行的拍摄条件的变更的设定应用于照相机14，来变更照相机14的拍摄条件。控制部23能够通过通信部20将在图11的步骤S507中设定的通知内容发送到显示装置16，使显示装置16使用图像以及声音通知购买者。
在步骤S310之后，控制部23返回步骤S301的处理。控制部23重复从步骤S301开始的处理，直到物体识别处理成功为止。
在步骤S308中，在全部物体的识别出的临时商品的可靠度比第一阈值高的情况下(步骤308：是)，控制部23确定全部物体是哪个商品并确认识别结果(步骤S311)。
控制部23控制通信部20，以将在步骤S107中确定的最后的识别结果发送到服务器12。由此，商品的确定处理结束。
如上所述，根据本公开的信息处理***10、信息处理装置17以及信息处理方法，由于进行了识别处理失败的原因的推定处理，所以能够灵活地应对物体识别处理的各种失败原因进行事后处理。由此，能够提高物体的识别精度。
另外，根据本公开的信息处理***10、信息处理装置17以及信息处理方法，控制部23在推定处理中考虑包括在识别处理中识别出的各个物体的大小、物体的位置、外形、拍摄方向以及高度中的多个信息。控制部23还能够考虑由重量传感器18a测定的物体的合计重量。由此，能够推定物体的载置位置、载置方向、物体彼此的重叠等各种识别处理失败的原因。因此，能够适当地设置照相机14和/或向购买者发出适当的通知。
另外，在第二例的信息处理方法中，在第一阶段中，测定所拍摄的全部物体的重量，推定多个物体的重叠，促使购买者变更物体的配置，因此能够消除因物体的重叠而引起的识别处理的失败。由此，在第二阶段中能够在降低了物体在图像im上重叠的可能性的状态下进行物体识别处理，因此能够提高物体识别处理整体的精度。而且，即使在物体识别处理失败的情况下，物体的像重叠的可能性也低，所以能够提高识别处理失败的原因推定的精度。
虽然已经基于各附图以及实施例对本公开所涉及的实施方式进行了说明，但需要注意的是，本领域技术人员基于本公开很容易进行各种变形或修改。因此，应当注意，这些变形或修改包括在本公开的范围内。例如，各构成部或各步骤等中包含的功能等能够以逻辑上不矛盾的方式再配置，能够将多个构成部或步骤等组合为一个或分割。根据本公开所涉及的实施方式也可以作为由装置所具备的处理器执行的方法、程序、或存储有程序的存储介质来实现。应当理解的是，本公开的范围也包括这些内容。
在上述的实施方式中，多个商品的商品管理信息被存储在服务器12中。信息处理装置17的控制部23基于存储部22从服务器12获取的商品管理信息，进行物体识别处理以及推定处理。但是，信息处理装置17的控制部23也可以不经由存储部22直接基于存储在服务器12中的商品的商品信息，进行物体识别处理以及推定处理。在这种情况下，能够认为服务器12作为存储商品信息的存储部发挥作用。
另外，在上述的实施方式中，信息处理装置17执行了识别处理、推定处理以及事后处理。这些处理的一部分或全部可以在服务器12中执行。例如，信息处理装置17可以构成为将由照相机14拍摄的图像im经由通信部20发送给服务器12，并将由服务器12处理的结果显示在显示装置16上。在这种情况下，服务器12可以被视为包括在信息处理***10中。服务器12的处理器作为基于照相机14所拍摄的图像im进行处理的控制部发挥作用。在信息处理装置17和服务器12分担执行处理的情况下，信息处理装置17的控制部23以及服务器12的处理器作为基于照相机14所拍摄的图像im进行识别处理、推定处理以及事后处理的控制部发挥作用。
在上述的实施方式中，商品的购买者将物体载置在载置台18上。但是，将物体载置在载置台18上的也可以是店铺方的收银机终端的操作者。在这种情况下，操作者成为信息处理***10的用户。
另外，在上述的实施方式中，控制部23使用在识别处理中检测出的物体的大小、物体在图像中的位置、物体的外形、物体的拍摄方向及物体的高度、以及由重量传感器18a测定的物体的合计重量进行推定处理。但是，在推定处理中不需要考虑全部这些。控制部23可以使用物体的大小、物体在图像中的位置、物体的外形、物体的拍摄方向、物体的高度以及物体的合计重量中的至少两个、至少三个或至少四个来执行推定处理。
在第二例的信息处理方法中，在通过重量传感器18a测定的多个物体的合计重量比识别出的商品的重量的合计重的情况下，控制部23判定为物体重叠，在判定为存在重叠的情况下对购买者进行通知。但是，即使在不能判定存在重叠的情况下，控制部23也可以通知购买者改变配置而不确定物体。
另外，在上述的实施方式中，信息处理***10被包含在收银机终端中。本公开的信息处理***10的适用对象不限于收银机终端。例如，信息处理***10可以应用于仓库等中的库存的确认、以及不合格品的检测等中的物体识别。
附图标记说明
10：信息处理***
11：结算***
12：服务器
13：网络
14：照相机(拍摄部)
16：显示装置
17：信息处理装置
18：载置台
18a：重量传感器(传感器)
19：支承柱
20：通信部
21：输入部
22：存储部
23：控制部
31：第一物体
31a：上表面
31b：下表面
31c：侧面
32：第二物体
33：第三物体
34：第四物体
35：第五物体
36：边界框
37：特征点
im：图像

Claims (16)

1.一种信息处理***，其中，包括：
拍摄部；以及
控制部，其基于所述拍摄部所拍摄的图像进行处理，
所述控制部对所述图像中所包含的物体进行识别处理，在所述识别处理失败的情况下，进行所述识别处理失败的原因的推定处理，根据由所述推定处理得到的结果，进行包括执行变更所述拍摄部的拍摄条件和通知用户中的至少任一个的事后处理。
2.根据权利要求1所述的信息处理***，其中，
变更所述拍摄条件包括变更拍摄范围。
3.根据权利要求1或2所述的信息处理***，其中，
通知所述用户包括通过显示或声音向所述用户通知变更所述物体的位置和方向中的至少任一个。
4.根据权利要求1至3中任一项所述的信息处理***，其中，
还包括存储部，其存储多个物品的信息，
在所述识别处理中，所述控制部从所述拍摄部所拍摄的图像中检测所述物体，并执行将所述物体确定为规定的多个物品中的某一个的处理。
5.根据权利要求4所述的信息处理***，其中，
在所述识别处理中，所述控制部计算表示所述物体是被确定的所述物品的可能性的可靠度，并将所述可靠度与第一阈值进行比较，判断所述识别处理是否成功。
6.根据权利要求4或5所述的信息处理***，其中，
所述存储部存储多个所述物品的大小的信息，
在所述识别处理中，所述控制部基于所述图像计算所述物体的大小，在所述推定处理中，所述控制部从所述存储部获取所述被确定的物品的大小的信息，基于所述物体的大小和所述物品的大小，推定所述图像中所包含的所述物体的像是否与所述图像的端部重叠。
7.根据权利要求6所述的信息处理***，其中，
所述控制部在所述识别处理中还基于所述图像来计算所述物体在所述图像中的位置，当所述物体的大小相对于所述物品的大小的比率为规定值以下时，或者当所述物体的大小比所述物品的大小小规定值以上时，考虑所述物体在所述图像中的所述位置，推定所述图像中所包含的所述物体的像是否与所述图像的端部重叠。
8.根据权利要求6或7所述的信息处理***，其中，
所述控制部当在所述推定处理中推定出所述图像中所包含的所述物体的像与所述图像的端部重叠时，在所述事后处理中放大所述拍摄部的拍摄范围。
9.根据权利要求5所述的信息处理***，其中，
所述控制部当在所述推定处理中所述物体相对于两个以上物品的可靠度分别为第二阈值以上的情况下，在所述事后处理中将所述拍摄部的所述拍摄条件变更为对所述两个以上的物品中的至少一个物品预先设定的拍摄条件。
10.根据权利要求4或5所述的信息处理***，其中，
还包括传感器，其测定包含在所述图像中的全部所述物体的重量的合计，
所述存储部存储作为多个所述物品各自的重量的重量信息，
所述控制部基于存储在所述存储部中的所述重量信息，计算针对所检测出的全部的所述物体确定的全部的物品的重量的合计即计算上的重量，将该计算上的重量与由所述传感器测定的所述全部的所述物体的重量的合计进行比较，判断所述识别处理是否成功，在判断为所述识别处理失败的情况下，在所述事后处理中通知所述用户改变所述物体的配置。
11.根据权利要求4或5所述的信息处理***，其中，
所述存储部存储与多个所述物品的外形相关的外形信息，
所述控制部当在所述推定处理中，基于从所述拍摄部所拍摄的图像中识别出的所述物体的外形和存储在所述存储部中的所述物品的外形信息，推定为在所述被确定的物品上重叠其他物品而拍摄时，在所述事后处理中，通知所述用户改变所述物体的配置。
12.根据权利要求4或5所述的信息处理***，其中，
所述存储部存储表示与拍摄所述物品的拍摄方向对应的多个所述物品的确定容易度的方向信息，
所述控制部在所述识别处理中基于所述图像识别在所述物体是被确定的所述物品的情况下的所述拍摄方向，在所述推定处理中基于所述拍摄方向和所述物品的所述方向信息，推定为所述物体的拍摄方向是所述识别处理失败的原因的情况下，在所述事后处理中通知所述用户改变所述物体的拍摄方向。
13.根据权利要求12所述的信息处理***，其中，
所述控制部在所述识别处理中基于所述图像计算所述物体的高度，在所述事后处理中考虑所述高度向所述用户通知改变所述物体的方向的方法。
14.根据权利要求1至5中任一项所述的信息处理***，其中，
所述控制部使用通过所述识别处理计算出的所述物体的大小、所述物体在所述图像中的位置、所述物体的外形、所述物体的拍摄方向及所述物体的高度、以及由传感器测定的所述物体的重量的合计中的任意两个以上，来进行所述推定处理。
15.一种信息处理装置，其中，包括：
通信部，其接收拍摄部所拍摄的图像；以及
控制部，其基于所述拍摄部所拍摄的图像进行处理，
所述控制部对所述图像中所包含的物体进行识别处理，在所述识别处理失败的情况下，进行所述识别处理失败的原因的推定处理，根据由所述推定处理得到的结果，进行包括执行变更所述拍摄部的拍摄条件和通知用户中的至少任一个的事后处理。
16.一种信息处理方法，其中，
获取由拍摄部拍摄的图像；
对所述图像中所包含的物体进行识别处理；
在所述识别处理失败的情况下，进行所述识别处理失败的原因的推定处理；
根据由所述推定处理得到的结果，进行包括执行变更所述拍摄部的拍摄条件和通知用户中的至少任一个的事后处理。
CN202180042882.6A 2020-06-18 2021-06-02 信息处理***、信息处理装置、以及信息处理方法 Pending CN115699118A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-105632 2020-06-18
JP2020105632A JP7451320B2 (ja) 2020-06-18 2020-06-18 情報処理システム、情報処理装置、及び、情報処理方法
PCT/JP2021/021091 WO2021256267A1 (ja) 2020-06-18 2021-06-02 情報処理システム、情報処理装置、及び、情報処理方法

Publications (1)

Publication Number Publication Date
CN115699118A true CN115699118A (zh) 2023-02-03

Family

ID=79195733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180042882.6A Pending CN115699118A (zh) 2020-06-18 2021-06-02 信息处理***、信息处理装置、以及信息处理方法

Country Status (5)

Country Link
US (1) US20230177828A1 (zh)
EP (1) EP4170616A4 (zh)
JP (1) JP7451320B2 (zh)
CN (1) CN115699118A (zh)
WO (1) WO2021256267A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195456A1 (ja) * 2022-04-04 2023-10-12 京セラ株式会社 電子機器及び電子機器の制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115888A (en) * 1991-02-04 1992-05-26 Howard Schneider Self-serve checkout system
JP4241742B2 (ja) * 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP2012177992A (ja) 2011-02-25 2012-09-13 Fujitsu Frontech Ltd 情報コード読取装置、および、情報コード読取方法
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition
JP2015099549A (ja) 2013-11-20 2015-05-28 東芝テック株式会社 商品認識装置及び商品認識プログラム
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
JP6341124B2 (ja) * 2015-03-16 2018-06-13 カシオ計算機株式会社 オブジェクト認識装置および認識結果提示方法
JP6651705B2 (ja) * 2015-03-31 2020-02-19 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US10515245B2 (en) * 2016-10-31 2019-12-24 Ncr Corporation Variable depth of field scanning and lighting devices and methods
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
WO2018125712A1 (en) * 2016-12-30 2018-07-05 Datalogic Usa, Inc. Self-checkout with three dimensional scanning
WO2018181248A1 (ja) * 2017-03-31 2018-10-04 パナソニックＩｐマネジメント株式会社 撮像システムおよび校正方法
JP6547856B2 (ja) 2018-01-09 2019-07-24 カシオ計算機株式会社 情報表示装置、誘導表示方法およびプログラム
CN109118200A (zh) * 2018-07-26 2019-01-01 上海凯景信息技术有限公司 一种基于图像识别的商品识别与收银***
US20200059363A1 (en) * 2018-08-17 2020-02-20 Walmart Apollo, Llc Systems and methods of authenticating items

Also Published As

Publication number Publication date
EP4170616A4 (en) 2024-05-08
EP4170616A1 (en) 2023-04-26
JP7451320B2 (ja) 2024-03-18
WO2021256267A1 (ja) 2021-12-23
US20230177828A1 (en) 2023-06-08
JP2021197105A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
US11049279B2 (en) Device for detecting positional relationship among objects
CN109300263B (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
US9390314B2 (en) Methods and apparatus for determining dimensions of an item using 3-dimensional triangulation
WO2015145982A1 (ja) 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体
CN110555356A (zh) 自助结帐***、方法与装置
US20090195388A1 (en) Flow line recognition system
US20170083884A1 (en) System and method for automatic identification of products
WO2016158438A1 (ja) 検品処理装置及び方法、及びプログラム
EP2570967A1 (en) Semi-automatic check-out system and method
JP2023030008A (ja) 情報処理システム、商品推薦方法、およびプログラム
CN115699118A (zh) 信息处理***、信息处理装置、以及信息处理方法
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
JP6841352B2 (ja) 商品登録装置、制御方法、およびプログラム
JP7316203B2 (ja) 情報処理システム、情報処理装置、および情報処理方法
JP2018132869A (ja) 画像認識装置、システム、方法およびプログラム
CN110956761B (zh) 对象处理方法及其***、计算机***及计算机可读介质
JP7078148B2 (ja) 商品登録装置、制御方法、およびプログラム
CN115720665A (zh) 信息处理***、信息处理装置以及信息处理方法
US11948044B2 (en) Subregion transformation for label decoding by an automated checkout system
CN111950325B (zh) 一种目标识别方法、装置及电子设备
US20200372681A1 (en) Information processing apparatus, article identification apparatus, and article identification system
JP2023017034A (ja) 登録装置、登録方法及びプログラム
CN117280368A (zh) 使用移动机器人的无人支付方法及使用该方法的无人支付***
JP2023018746A (ja) マーカー処理装置およびマーカーシート
JP2023170655A (ja) 情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination