CN110622173A - 贴错标签的产品的检测 - Google Patents

贴错标签的产品的检测 Download PDF

Info

Publication number
CN110622173A
CN110622173A CN201980002223.2A CN201980002223A CN110622173A CN 110622173 A CN110622173 A CN 110622173A CN 201980002223 A CN201980002223 A CN 201980002223A CN 110622173 A CN110622173 A CN 110622173A
Authority
CN
China
Prior art keywords
product
bounding box
size
label
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980002223.2A
Other languages
English (en)
Inventor
马修·罗伯特·斯科特
黄鼎隆
殷乐
郭胜
张浩志
黄伟林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuepu Investment Center LP
Original Assignee
Shenzhen Malong Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Malong Technologies Co Ltd filed Critical Shenzhen Malong Technologies Co Ltd
Publication of CN110622173A publication Critical patent/CN110622173A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1473—Methods for optical code recognition the method including quality enhancement steps error correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开的多个方面包括用于检测贴错标签的产品的技术。在一个实施例中，当产品的MRL被扫描或正在被扫描时，所公开的***将获取产品的图像。在图像中识别出产品之后，可以计算出包含产品的面积的尺寸。随后，如果包含产品的该面积的尺寸跟与MRL相关联的标准尺寸不匹配，则所公开的***可以确定MRL是否与图像中的产品不匹配。

Description

贴错标签的产品的检测
发明背景
在现代经济中，普遍地贴在大多数商品上的条形码已使得自动结帐和库存跟踪成为可能，或者使得自动结帐和库存跟踪在所有零售行业中效率更高。条形码，看似微不足道的标签，可以对光学数据、机器可读的数据进行编码。通用产品代码(UPC)是条形码符号，主要用于销售点(POS)处交易商品的扫描。条形码，特别是UPC条形码，已经塑造了现代经济，其不仅普遍用于自动结帐***而且还用于许多称为自动识别和数据获取的其他任务。
条形码最初以线性或一维(1D)形式开发。后来，人们开发了多种二维(2D)变型，例如快速响应代码(QR码)，以用于快速读取和更大的存储容量。传统地，条形码是通过称为条形码读取器的特殊光学扫描仪进行扫描的。近年来，诸如带有照相机的智能手机之类的计算设备，再加上合适的软件，也可以读取条形码。
仅当条形码标签贴在正确的物品上时，结帐***才能正确地工作。许多零售商已经认识到一种广泛存在的欺诈行为，称为标签置换或价格调换。价格较低的标签，像UPC标签或射频识别(RFID)标签之类的，被欺诈性地放置在价格较高的物品上，从而用更低的费用购买价格较高的物品。较低价格的条形码标签可以从较低价格的物品上被移除而获得。另外，现今可以用个人计算机制造伪造的标签。警惕的出纳员可能会发现试图置换标签的行为。但是，没有实际有效的解决方案来防止或消除与自助结帐***相关的此类欺诈行为。因此，标签置换给零售商造成了损失和错误的库存信息，这可能进一步殃及供应链和经济体系。
发明内容
提供概括来以简化形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。此概述既不旨在确定所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
本公开的多个方面包括一种用于检测贴错标签的产品的有效方法。当扫描仪正在读取产品的机器可读标签(MRL)时，或者紧接着在获得MRL读数之后，所公开的***可以获取产品的图像。此外，所公开的***可以确定图像中产品的边界框以及与该边界框相对应的尺寸。如下文所使用的，与边界框相对应的尺寸是指与物理世界中的物理产品可比的相应尺寸。如果与边界框相对应的尺寸跟与MRL相关联的标准尺寸不匹配，则所公开的***可以生成针对MRL和图像中产品之间潜在不匹配的警报(以下称为“不匹配”)。
在各个方面，提供了***、方法和计算机可读存储设备，以提高计算设备检测贴错标签的产品的能力。本文所述技术的一个方面是基于各种测量值，例如尺寸差异、视觉差异、重量差异等，来提高计算设备检测贴错标签的产品的能力。本文所述技术的另一个方面是提高计算设备在图像中检测对象的能力，例如，通过识别可能包含感兴趣对象的感兴趣区域(ROI)。本文所述技术的再一个方面是提高计算设备确定和管理在图像中获得的三维(3D)对象的2D尺寸的能力。
附图简要说明
本文描述的技术是通过示例的方式示出的，并且不限于附图。在附图中相同的附图标记表示相似的元件，且其中：
根据本文所述技术的至少一个方面，图1为示出了用于实施贴错标签的产品检测的示例性操作环境的框图；
根据本文所述技术的至少一个方面，图2为示出了示例性的不匹配检测器的框图；
根据本文所述技术的至少一个方面，图3为示出了一产品的示例性边界框的图示；
根据本文所述技术的至少一个方面，图4为示出了另一产品的示例性边界框的图示；
根据本文所述技术的至少一个方面，图5为示出了与3D物体相关联的2D区域的示意图；
根据本文所述技术的至少一个方面，图6为示出了检测贴错标签的产品的示例性过程的流程图；
根据本文所述技术的至少一个方面，图7为示出了比较尺寸差异的示例性过程的流程图；
根据本文所述技术的至少一个方面，图8为示出了从各种差异测量值中确定不匹配的示例性过程的流程图；以及
图9为适合用于实现本文所述技术的各个方面的示例性计算环境的框图。
发明的具体描述
使用足够的特征来阐述本文所述的各种技术以满足法定要求。然而，说明书本身并不旨在限制本公开的范围。相反，发明人已经预料到，所要求保护的主题还可以结合其他当前或未来的技术以其他方式体现，以包括与本文件中所描述的步骤不同的步骤或者与本文件中所描述的步骤相似的步骤的组合。此外，尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素，但是除非以及除开当明确描述各个步骤的顺序时，否则这些术语不应解释为暗示本文所公开的各个步骤之中或之间的任何特定顺序。此外，术语“基于”通常表示在执行先行动作中的后继条件。
在我们的现代经济中，大多数产品都贴有机器可读标签(MRL)，例如UPC条形码、QR码，RFID标签等。因此，扫描设备可以读取这些机器可读标签，以记录POS位置的交易、跟踪仓库中的存货或便于商业货物的运输。
MRL可以由制造商提供，例如电视上的UPC标签，也可以由零售商提供，例如超市中苹果的UPC标签。有时，MRL可能会意外地放错位置并被粘贴到不想要的产品上。不幸的是，MRL也可能由于欺诈(也称为标签置换)而被粘贴到产品上。较低价格的MRL被欺诈性地粘贴到较高价格的产品上，以便可以以较低的价格购买较高价格的物品。举例来说，顾客可以从苹果上取下UPC标签，将价格较低的标签粘贴到电视上，然后通过使用苹果的价格较低的标签在自助结账台中给电视结账来欺骗超市。电子物品或几乎任何更昂贵的物品都可能成为标签置换的目标。
标签置换已导致零售商损失和错误的库存跟踪。但是，零售商缺乏实践和有效的手段来打击这种欺诈行为。在某些辖区，一经发现，标签置换可能会被视为犯罪，例如入店行窃或欺诈。但是，揭露此类欺诈行为非常昂贵。传统的解决方案是在自助结帐区域安装监视摄像机，并雇用安全人员在结帐过程中或结帐过程之后观看监视视频，这只有在观察者可以识别所售产品的情况下才有效。但是，这种传统方法似乎与自助结帐概念背后的经济动机相抵触——现在每台自助结帐机器都需要一名安全人员，而没有降低人工成本。结果，传统的解决方案通常是成本过高的并且是无效的。
在本公开中，提供了一种实用的技术方案以实时或近乎实时地以及可回顾性地检测贴错标签的产品，以便零售商可以防止由于标签置换而造成的损失并纠正其库存的错误信息。作为一个示例，零售商可以通过实时检测不匹配并防止出售不匹配的产品来将所公开的技术用于防止损失。作为另一个示例，零售商可以将所公开的技术用于库存管理，例如通过在时域中与MRL读数事件同步进行回顾性扫描商店视频，并基于任何检测到的不匹配事件来纠正其库存信息。
更进一步，提供了检测贴错标签的产品的技术方案，将结合各种附图(例如，图6至图8)进一步讨论该技术方案。当***接收到MRL的读取时，***将同时获取产品的图像。通过使用人工智能，尤其是用于物体检测的子***，***可以识别图像中的产品并确定包围产品的边界框。边界框的尺寸，即图像中边界框内的区域，可以转换为与物理世界中的实体产品相当的相应尺寸。然后将由边界框的尺寸转换来的相应尺寸与跟MRL关联的标准尺寸进行比较。也可以测量其他参数，例如视觉差异或重量差异。随后，例如基于尺寸差异、视觉差异、重量差异等，***可以确定MRL是否与图像中的产品不匹配。
此外，对于实时应用，***可以实时获取图像并为检测到的不匹配生成警报，或者以其他方式防止正在进行的易于出错的交易。对于非实时应用，***可以基于MRL读数的时间戳在视频回放期间捕获图像。***可以进一步识别图像中产品的性质，并在必要时纠正库存信息，这将结合图1至图2更详细地讨论。
在一些实施例中，与MRL相关联的信息，例如标准尺寸、标准视觉特征、标准重量等，在需要时可以预先确定或动态地获取。例如，可以从UPC数据库或其制造商处获得产品的尺寸数据(例如，宽度、长度和高度)。随后，可以从尺寸数据中计算出与MRL相关联的标准尺寸，该标准尺寸是指3D产品向2D平面投影的面积，这将结合图3至图5进一步讨论。
在一些实施例中，由***获取的图像可以用于确定或丰富与MRL相关联的信息，例如标准尺寸、标准视觉特征，标准重量等。作为示例，假定大多数MRL是被准确地粘贴到预期产品上，***可以在足够数量的训练数据(包括MRL和相应图像的读取)之后学习与MRL相关的标准尺寸，这将结合图1和2进行进一步讨论。
有利的是，所公开的***可以检测贴错标签的产品。通过使用各种差异性监测，例如尺寸差异、视觉差异、重量差异等，***可以更准确地检测贴错标签的产品并减少误报。此外，所公开的***可以更有效地识别图像中的产品以支持实时应用，例如通过首先识别潜在包含产品的感兴趣区域(ROI，Region of Interest)，从而减少搜索产品的样本空间。甚至更进一步地，所公开的***可以从MRL读数及其配对的图像中自动了解产品的基线，因此引导该过程来收集与该产品的MRL相关的标准信息。
无需多说，零售商将从这种经济高效的技术解决方案中受益，以防止欺诈和准确的库存跟踪，而无需雇用额外的安全人员。另一方面，普通客户可以在自助结帐的便利下继续享受他们的购物体验。
已经简要描述了本文所述技术的各个方面的概述，下面描述可以在其中实现本文所述技术的各个方面的示例性操作环境。总体上参考附图并且首先参考图1，具体地，示出了用于实施贴错标签的产品检测的示例性操作环境。该操作环境仅是合适的计算环境的一个示例，并且并不旨在对本文所述技术的各个方面的使用范围或功能提出任何限制。此操作环境也不应被解释为对所示的任何一个组件或组件的任何组合具有任何依赖性或要求。
现在参照图1，提供了示出可以在其中使用本公开的一些方面的操作环境的框图。应当理解，本文描述的这种布置和其他布置仅作为示例来阐述。除了或代替所示的那些，可以使用其他布置和元件(例如，机器、界面、功能、命令和功能的分组等)，并且为了清楚起见，可以完全省略一些元件。此外，本文所述的许多元件是功能实体，其可以被实现为离散或分布式组件或与其他组件结合实现，并且以任何合适的组合和位置来实现。本文所述作为实体执行的各种功能可以由硬件、固件和/或软件来实施。例如，某些功能可以由处理器执行存储在存储器中的指令来实施。
除了在图1中未示出的其他组件之外，该操作环境包括用于检测贴错标签的产品的***110。***110与各种设备进行交互，例如扫描仪124、扫描仪126和相机128。此外，***110还通过消息132或警报134与各种用户进行通信，例如客户122或管理者136。在本实施例中，***110包括检测子***112和标签管理子***116。检测子***112进一步包括人工智能(AI)子***114。
应当理解的是，图1中所示的该操作环境是一个示例。图1中所示的每个***组件都可以在任何类型的计算设备上实现，例如，诸如结合图9描述的计算设备900。此外，***110可以经由网络与各种设备通信，或者***110中的***组件可以经由网络彼此通信，该网络可以包括但不限于局域网(LAN)和/或广域网(WAN)。在示例性实施方式中，WAN在各种可能的公共和/或私有网络中的任何一个中包括因特网和/或蜂窝网络。
扫描仪124或扫描仪126是电子设备，其在POS处扫描MRL并将MRL的读取信息提供给管理人员，以协助交易、库存控制、库存管理、商店业绩等。在各种实施例中，扫描仪126，类似于图3中的扫描仪322，是安装在工作台上的柜台扫描仪。扫描仪126可以读取MRL，例如条形码或RFID。此外，扫描仪126还配备有集成秤，以获取扫描仪上产品的重量。另一方面，扫描仪124是手持设备，类似于图4中的扫描仪424，其能够读取MRL并将MRL数据经由电缆或无线地传送到***110。
顾客122可以使用扫描仪124或扫描仪126从商店中给物品结账。当***110从扫描仪124或扫描仪126接收到产品的MRL的读取时，***110将激活相机128以实时将产品拍摄进图像中。在一些实施例中，相机128是摄像机。在这种情况下，***110可以从与扫描器124或扫描器126读取MRL的时间相对应的录像片段中提取帧。在其他非实时用户情况下，***110可以基于MRL读数的时间戳回顾性地提取帧。在一些实施例中，扫描仪126上的产品的重量还将被测量并传递到***110。
在接收到MRL数据和图像之后，***110可以分析图像并确定MRL是否与图像中的产品匹配。为此，AI子***114将在图像上执行物体识别。在各种实施例中，基于MRL读数的来源，例如读取是从扫描仪124还是从扫描仪126接收的，可以将图像中的特定ROI识别为最有可能包含感兴趣的产品。因此，AI子***114可以加快任务以识别特定ROI而不是整个图像中的产品。一旦在图像中识别出产品，AI子***114就可以添加边界框以包围产品。这个识别产品并确定边界框的过程可以一起执行，并且将结合图2进一步讨论。
标签管理子***116管理与MRL相关联的信息。例如，标签管理子***116可以从UPC数据库中获取MRL的UPC信息，例如注册国家、品牌、型号、尺寸、颜色等的信息。UPC数据库可以包括国际商品编号(又称为欧洲商品编号或EAN)。此外，标签管理子***116可以在具有或不具有产品包装的情况下收集产品的特定产品信息，例如产品的长度、宽度、高度、重量等。由于产品可以在不同的季节或事件中被重新包装，例如在具有不同尺寸信息的假日特殊包装中，例如基于产品开售的年份，标签管理子***116可以为同一产品派生为多个条目。此外，可以将产品的维度信息(长度、宽度和高度)转换为产品的标准尺寸，该标准尺寸是指将产品的3D形状投影到2D平面后的形状面积，例如在图5中所示。甚至进一步地，可以将带有或不带有包装的产品的一个或多个已知图像存储在标签管理子***116中。此外，被称为产品的标准信息的特定产品信息(例如标准尺寸或重量)可以由商店中的管理者136输入或调整。
检测子***112将分析图像数据或其他感官数据(例如，重量)，并确定MRL是否与图像中的产品不匹配。如果与边界框相对应的尺寸与标签管理子***116中与MRL相关联的标准尺寸不匹配，则可以检测到不匹配性。此外，如果边界框内的视觉特征未能与标签管理子***116中产品的标准图像数据匹配，则可以检测到不匹配性。此外，如果产品的重量与标签管理子***116中与MRL相关的标准重量显著不同，则可以检测到不匹配性。在一些实施例中，产品(包括其包装)的附加信息可以用于检测不匹配性，例如包装材料(例如，可通过传感器检测到的纸张、聚乙烯、玻璃、金属等)或气味/味道(这可通过传感器检测到)。例如，可以基于通过集成在扫描仪中的电子鼻(图1中未示出)检测到的化妆品产品、面部护理产品、头发护理产品和美容产品的各自独特气味，来检测它们的不匹配性。在一些实施例中，基于一个或多个测量来检测不匹配性，例如尺寸差异、视觉差异、重量差异等，这将结合图8进一步讨论。
如果检测到不匹配，则***110可以暂时中止正在进行的交易并生成警报134。警报134可以简单地指示潜在的不匹配或显示更具体的信息，例如不匹配的原因，例如由于大小不匹配、重量不匹配、气味不匹配、视觉特征不匹配等。警报134可以显示给客户122，以便客户122可以重新扫描产品或向管理者136寻求帮助。警报134可以发送给管理者136，以便管理者136可以进行干预以解决该问题，例如帮助客户122验证MRL或产品。
此外，***110可以生成送至商店中其他***的消息132。举例来说，在非实时应用中，消息132可以向商店中的库存***指示产品A作为产品B被购买了，因此库存***可以相应地进行调整，并且零售商现在可以具有产品A和产品B的更多准确信息。在某些实施例中，如果检测到不匹配，则***110可以使用相机128拍摄顾客122。在这种情况下，消息132可以包括顾客122的图像，并且消息132可以被发送给安全人员以供证据或进一步调查。在其他实施例中，消息132可以包括由***110针对不同应用生成的其他信息。
如本领域技术人员可以想到的，可能需要不同的特定应用或特定领域的输入/输出设备或通信消息来解决特定应用或特定领域的问题。在各种实施例中，可以从图1中描绘的示例性操作环境中添加或移除不同的输入/输出设备。类似地，除了顾客122和管理者136之外，不同的参与者可以与***110交互。此外，***110可以与其他***通信以完成其他任务。
现在参考图2，提供了示出示例性不匹配检测器的各个方面的框图，该示例性不匹配检测器用于实现图1中的检测子***112的实施例且通常被命名为不匹配检测器200。应注意，不匹配检测器200仅代表示例性计算***架构。
不匹配检测器200是基于计算机视觉和AI技术的不匹配检测***。在该实施例中，不匹配检测器200包括对象评估器210、尺寸评估器220、视觉评估器230和重量评估器240，以及目前未在图2中示出的其他实体。
在各种实施例中，如结合图1所讨论的，在不匹配检测器200基于计算机视觉和AI技术接收到MRL信息和产品的图像以及可选产品的重量或其他信息之后，对象评估器210用于识别图像中的产品并确定该产品的边界框；尺寸评估器220用于比较边界框和与MRL相关联的标准尺寸之间的尺寸差异；视觉评估器230用于比较边界框中的内容和与MRL相关联的标准图像数据之间的视觉差异；重量评估器240用于比较产品和与MRL相关联的标准重量之间的重量差异。
不匹配检测器200可以基于由尺寸评估器220确定的尺寸差异来检测潜在的不匹配性。与MRL相关联的标准尺寸可以包括可接受尺寸的范围，例如在最小尺寸和最大尺寸之间，这将结合图5进一步讨论。在一个实施例中，由尺寸评估器220确定的边界框和与MRL相关联的标准尺寸之间的尺寸差异可以是二值的。例如，尺寸差异1表示物理世界中与边界框对应的尺寸小于最小尺寸或大于最大尺寸；而尺寸差异0则表示其他情况。在一个实施例中，尺寸差异可以是连续变量，例如，其根据边界框和与MRL相关联的标准尺寸之间的差异而变化，这将结合图8进一步讨论。
此外，不匹配检测器200还可以基于由视觉评估器230确定的视觉差异来检测潜在的不匹配性。类似于尺寸差异测量，在一个实施例中，由视觉评估器230确定的边界框内的内容和与MRL相关联的标准图像数据之间的视觉差异可以是二值的。例如，视觉评估器230基于深度度量学习从边界框中的内容以及与MRL相关联的标准图像数据中提取视觉特征，并比较它们的视觉特征。如果它们的视觉特征不匹配，则视觉评估器230可以将其视觉差异评估为1；否则，为0。在一个实施例中，视觉特征是矢量，且它们的比较是在高维空间中比较矢量。在一个实施例中，基于高层次视觉特征(例如，范畴比较)在高层次上比较视觉差异。在这种情况下，如果边界框中的内容和与MRL相关联的标准图像数据位于不同的范畴中，或者如果表示它们的两个向量指向不同的区域或方向，则视觉差异分数将为1，并且不匹配检测器200有可能将该情况确定为潜在的不匹配性。在一些实施例中，视觉差异分数是连续变量，例如，基于两个向量在其高维空间中的距离测量。
此外，不匹配检测器200还可以基于由重量评估器220确定的重量差异来检测潜在的不匹配性。有时，例如由于包装，产品的重量是相对恒定的，并具有微小变化。有时，产品的重量会发生很大变化，例如，在小尺寸的西瓜和大尺寸的西瓜之间。相应地，重量评估器220可以为不同的产品定制不同的重量测定方法。举例来说，对于相对恒定的重量，在称之为不匹配之前，重量评估器220可以允许测得的产品重量跟与MRL相关联的标准重量之间有相对有限的差异。相反，对于重量可变的产品，可以宽容地设置公差阈值。
不匹配检测器200可以以互补的方式使用尺寸差异、视觉差异和重量差异。例如，MRL信息指向西瓜，并且与产品的边界框相对应的尺寸在与西瓜相关联的尺寸的正常范围内，因此不存在仅基于尺寸差异的不匹配问题。然而，重量评估器220可以报告产品的重量大于西瓜的最大可能重量。在这种情况下，不匹配检测器200仍可以报告潜在的不匹配性。
此外，不匹配检测器200可以使用诸如硬件、软件、固件、专用设备或其任意组合的组件来实现。不匹配检测器200可以集成到单个设备中，或者它可以分布在多个设备上。不匹配检测器200的各种组件可以集中布置或分开布置。
由于不匹配检测器200仅用作***设计的一个示例，其并不旨在暗示对本文所述技术的各个方面的使用范围或功能进行任何限制。如图所示，不匹配检测器200中的任何组件都不应该被解释为具有与另一组件有关的任何必要的依赖关系。应当理解，本文描述的这种布置和其他布置仅作为示例阐述。除了或代替所示的那些，可以使用其他布置和元件(例如，机器、界面、功能、命令和功能的分组等)，并且为了清楚起见，可以完全省略一些元件。
此外，本文描述的不匹配检测器200中的许多实体是功能实体，该功能实体可以以任何合适的组合以及在任何合适的物理或虚拟位置中作为集中式组件或分布式组件或与其他组件结合来实现。本文描述的由实体执行的各种功能可以由硬件、固件和/或软件来实施。例如，一些功能可以由处理器执行存储在存储器中的指令来实施，而一些功能可以由专门设计的固件或硬件来实施。
图3是示出产品的示例性边界框的示意图，可以适用本公开的一些实施例。在一些实施例中，图3描绘了顾客使用的自助结账台。在可替代的实施例中，图3还描绘了出纳员使用的结帐柜台。本文所述的***和过程可以应用于这两种结帐用户情况。在下文中以自助结账为例。
在该自助结帐柜台中有两个扫描仪。扫描仪324是手持式扫描仪，其放置在其插槽中并且处于非激活状态。扫描仪322是安装在具有集成秤的台面上的柜台扫描仪。这些扫描仪通常可以在杂货店或超市中找到。由于具有移动性，扫描仪324可用于扫描手推车上的大件或沉重物品，或者专门直接瞄准MRL以获得准确性。在较大的扫描区域的情况下，扫描仪322通常可以快速扫描物品，而无需朝向或直接瞄准MRL。在该实施例中，在扫描仪322的四个角点处标记了四个参考点(即，点312、点314、点316和点318)。
当顾客使用扫描仪324扫描产品332时，安装在扫描仪324上方的相机会拍摄产品332的图像，因为***被配置为每当扫描仪322或扫描仪324读取MRL时便启动摄像头。在一个实施例中，该***使相机在扫描过程之前、之中或之后拍摄多个图像，并且可以选择在扫描产品332之后立即拍摄的图像来与MRL读数配对。此外，如果产品332也通过扫描仪322的称来计重，则扫描仪322可以将产品332的重量输出到例如图2中的重量评估器240。此外，图2的对象评估器210可以在分析图像之后确定边界框334。
回到图2中的对象评估器210，它可以使用任何对象检测模型来检测图像中的物体，例如R-CNN、Fast R-CNN、Faster R-CNN、Light-head R-CNN、YOLO，YOLOv2，YOLOv3等，其中CNN指卷积神经网络，而YOLO(you only look once)是一个对象检测模型。此外，基于对象检测模型，还可以确定感兴趣物体周围的边界框。然而，在一些实施例中，不是将整个图像馈送到对象检测模型中，而仅是从图像中选择感兴趣区域(ROI)，并将其提取到对象检测模型中。ROI是最有可能包含被扫描产品的区域。因此，可以基于MRL读数的来源来确定ROI，例如读取是否是从图3中的扫描仪322或图4中的扫描仪424接收到的。此外，由于顾客通常一次只扫描一个产品，因此ROI通常只包含一个产品。
在此实施例中，四个参考点，即点312、点314、点316和点318，自然地定义了ROI，因为由四个参考点定义的矩形区域是扫描区域，其可能会包含正在被扫描的产品。因此，在一些实施例中，如果将扫描仪322确定为读取MRL的源设备，则将选择扫描仪322周围的区域作为要在对象检测模型中处理的ROI。可替代地，扫描仪322可以用作识别ROI的指引。在一个实施例中，由于相机相对于扫描仪322是静止的，换句话说，用于构造图像的空间条件是已知的；因此，可以在图像中预先确定此ROI。在一个实施例中，可以在识别图像中的两个或更多个参考点之后动态地确定该ROI。可以基于关键点预测模型来确定特定的参考点，或者如果相机是固定的则可以在图像中预先确定特定的参考点。
基于CNN的对象检测模型通常涉及昂贵的操作。例如，R-CNN使用选择性搜索来生成候选区域，即用于图像分类的边界框。每个边界框都可以通过CNN进行分类。此外，可以使用回归来完善每个边界框，或者可以通过另一个边界框回归器对其进行进一步微调。使用FastR-CNN，而不是CNN的候选区域，将输入图像馈送到CNN以生成卷积特征图，其中候选区域可以被识别。在进一步处理之后，可以预测候选区域的类别，并且可以确定边界框的偏移值。Fast R-CNN比R-CNN快，因为卷积运算每个图像只运行一次。R-CNN和Fast R-CNN这两种方法都使用选择性搜索来查找候选区域。选择性搜索是一个缓慢且耗时的过程，会影响网络的性能。Faster R-CNN与Fast R-CNN相似，其中将图像作为输入提供给卷积网络，卷积网络提供卷积特征图。但是，Faster R-CNN脱离了费时的选择性搜索过程来识别候选区域，相反，Faster R-CNN使用单独的网络来预测候选区域。
通过仅将ROI(即，比起整个图像更少的原始数据)馈送到对象检测模型，可以大大降低对象检测模型的输入的复杂性。此外，ROI通常仅包含单个对象，即，被扫描的产品，从而可以进一步优化或简化对象检测模型。以此方式，对象评估器210可以实时地或接近实时地检测产品或产品的边界盒，同时显著减少了计算时间和提高了准确性。
回到图2中的尺寸评估器220，尺寸评估器220确定对应于边界框334的大小。在一些实施例中，图像由具有已知分辨率的固定相机拍摄。因此，整个图像具有固定边界。例如，一个8.0兆像素的图像具有3264×2448的分辨率。如果由3264个像素表示的图像长度始终与固定的物理长度相对应，例如32640毫米，则图像中的每个像素都可以表示10毫米。因此，可以基于例如边界框内的像素相对于图像中的总像素的比率来轻易地计算出与边界框334相对应的尺寸。在一些实施例中，两个参考点之间的距离或作为已知信息的参考对象的大小可以用作制图比例，并且可以用来确定图像中边界框的大小。例如，可以基于两个参考点(例如，已知测量值的点312和点314)之间的距离来确定与边界框334相对应的大小。
如先前所公开的，例如，可以将边界框334的尺寸信息与跟MRL相关联的标准尺寸进行比较以计算尺寸差异性分数。在一些实施例中，边界框334的尺寸信息也可以用于调整与MRL相关联的标准尺寸。在一些实施例中，边界框334的尺寸信息甚至可以用于创建用MRL登记的新的标准尺寸。
因为图1的标签管理子***116可能在某些MRL上具有不完整或不准确的数据，因此***110可以基于边界框334的重复测量通过学习它们的相关属性(例如，随着时间变化的标准尺寸)来改善其MRL的知识。在不存在标签置换的情况下，产品上的MRL通常与产品匹配。因此，如果有足够数量的测量值，可以从边界框334的测量尺寸中安全地推断出与MRL相关联的标准尺寸。可以以相同的方式学习其他属性，例如视觉特征或重量。
具体地，如结合图5所讨论的，边界框334的区域可能会根据产品的位置而变化。但是，在进行足够的实验后，可以获得尺寸变量的分布。在这种情况下，可以基于尺寸变量的分布来确定标准尺寸，尺寸变量表示与边界框相对应的大小。作为一个示例，位于期望值的一个、两个或三个标准偏差内的样本可用于确定标准尺寸。作为另一示例，可以丢弃异常值，并且可以基于剩余样本来确定最小尺寸、最大尺寸、期望尺寸、平均尺寸等。基于尺寸变量的分布的其他方式也可以用于确定标准尺寸。
类似于图3，图4是示出另一产品的示例性边界框的示意图。在这种情况下，顾客拿着产品432，并使用扫描仪424读取MRL436。对象评估器210可以类似地确定产品432的边界框434。为此，对象评估器210首先检测扫描器424是否已被激活或是否处于主动扫描模式。在一些实施例中，对象评估器210可以基于触发事件来检测扫描仪424已经进入主动扫描模式，例如，按下与扫描仪424相关联的物理按钮，或者通过当扫描仪424从支架442分离时被触发的电事件或电磁事件。在一些实施例中，对象评估器210可以使用视觉识别技术来检测扫描仪424已经进入主动扫描模式。通过示例的方式，如先前结合图2所讨论的，例如，对象检测模型可以将图4中的扫描仪424和支架442检测为分别由边界框428和边界框444包围的不同对象。如果扫描仪424远离支架442(支架442表示对于扫描仪424来说是非激活的位置)，则对象评估器210可以得出扫描仪424处于激活使用中的结论；否则，扫描仪424可以处于激活使用中。
在一些实施例中，为了识别产品432，对象评估器210可以首先识别扫描仪424的位置。如先前公开的，可以通过对象检测模型来将扫描仪424检测为对象。还可基于标记426来识别扫描仪424，标记426是具有唯一颜色或形状的特殊符号。随后，当扫描仪424为生成MRL读数的源设备时，可以估计已扫描产品的位置在扫描仪424周围。出于同样的原因，可以建议ROI为扫描仪424周围的区域。此外，在一些实施例中，标记426或扫描仪424可以指示产品432的位置。在一示例中，标记426可以制成箭头形状，其与由扫描仪424瞄准的方向一致。在另一示例中，扫描仪424可以向MRL 436发射定向光，例如，定向激光束。因此，在图3或图4中，可以基于产品在图像中的一般位置和基于对象检测模型的神经网络来确定产品的边界框。
图5是示出与3D对象相关联的2D区域的示意图。现实世界中的产品通常具有3D形状。但是，图像中的产品表示为2D对象。因此，与MRL相关的标准尺寸通常是指3D产品在2D平面上的投影面积。根据产品的空间位置，其在2D平面上的投影可能会发生变化。例如，产品512和产品516具有相同的3D参数。但是，由于产品512和产品516各自的空间位置，由产品512投影的面积514具有由产品516投影的面积518小得多的尺寸。
产品的这种投影的尺寸将具有最小值和最大值。在一些实施例中，绝对最小值和最大值可以从产品的3D参数确定，并且用作用产品的MRL登记的标准尺寸。在一些实施例中，可以使用最小值和最大值的合理估计，此外，可以使用公差系数来提供一些灵活性和定制化，以用于贴错标签的生产检测。
在一个实施例中，长度为L的对角线524是产品的边界框522最长的内部对角线。可以基于产品的实际长度、宽度和高度来构造边界框522。可将最小面积或最小2D边界框尺寸设置为边界框522的最小边，乘以公差系数，该公差系数将调节最小2D边界框尺寸的容许限度。最大面积或最大2D边界框尺寸可以设置为c*L*L/2，其中c是用于调节最大2D边界框尺寸的容许限度的公差系数，而L是边界框522最长的内部对角线的长度。例如，当计算尺寸差异以检测贴错标签的产品时，可以通过调节公差范围来向上或向下调整公差系数以完成特定的任务。
现在参考图6，提供了示出检测贴错标签产品的示例性过程的流程图。过程600以及本文描述的其他过程的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。该过程还可以体现为存储在计算机存储介质或设备上的计算机可用指令。该过程可以由应用程序、服务或其组合来提供。
在框610处，例如，可以由图1的***110或图2的不匹配检测器200来接收产品标签和图像的机器读取。在一些实施例中，产品标签和图像的机器读取可以是两个同步事件。例如，一旦接收到标签的机器读取，***110可以致动相机128以俯视图的形式拍摄产品的图像，例如当相机128被安装在产品上方时。在一些实施例中，产品标签和图像的机器读取可以是两个异步事件。例如，稍后可以基于标签的机器读取时间从视频中提取产品的图像。
在框620处，例如，可以通过图2的尺寸评估器220来确定与产品的边界框相对应的尺寸。这可以分两步实现，第一步确定产品的边界框，第二步确定与边界框相对应的尺寸。如先前所公开的，可以基于对象检测模型来确定产品的边界框。如果已知像素和其在物理世界中的相应尺寸之间的关系，则可以基于边界框中的像素来确定与边界框相对应的尺寸。此外，可以基于具有已知物理尺寸的图像中已知参考来确定与边界框相对应的尺寸。
在框630处，例如，可以通过图2的不匹配检测器200来检测标签与产品之间的不匹配性。在一个实施例中，不匹配检测器200至少部分地基于与边界框相对应的尺寸跟与标签相关联的标准尺寸之间的比较来检测标签与产品之间的不匹配性。框630处的该过程将结合图8中的框840进行进一步讨论。
现在转到图7，提供了示出比较尺寸差异的示例性过程的流程图。过程700以及本文描述的其他过程的每个框包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。该过程还可以体现为存储在计算机存储介质或设备上的计算机可用指令。该过程可以由应用程序、服务或其组合来提供。在各种实施例中，可以参照图6的框620执行过程700。
在框710处，例如，可以通过图1的***110或图2的不匹配检测器200来检测生成MRL读数的源设备。例如，扫描仪通过不同的输入/输出端口或网络接口连接到***110。因此，***110可以基于特定端口或网络接口来检测源设备。或者，MRL读数自身可以携带源设备的标识信息。
在一些实施例中，相机可以覆盖多个结帐柜台。如果只有一个MRL读数，则可以识别生成MRL读数的源设备。此外，可以相应地确定图像中的ROI。但是，如果同时存在多个MRL读数，则也可以识别生成这些MRL读数的各个源设备。每个MRL读数可以与对应的源设备配对并且可以从图像中提取相应的ROI。
在框720处，例如，可以至少部分地基于源设备由图2的对象评估器210来检测产品。在一些实施例中，对象评估器210可以至少部分地基于生成标签的机器读数的源设备来识别图像中的产品。如先前所公开的，产品通常在生成标签的机器读数的源设备附近。因此，源设备很好地指示了图像中包含产品的ROI。例如，如果使用柜台扫描仪来生成标签的机器读数，则该产品很可能放在柜台扫描仪上方。相反，如果激活了手持扫描仪以扫描产品，则手持扫描仪可能会朝向产品。在一个实施例中，虚拟线可以从手持扫描仪的向前方向延伸以识别被扫描的产品。随后，可以至少部分地根据基于卷积神经网络的对象检测模型来确定图像中产品的边界框。
在框730处，例如，通过图2的尺寸评估器220可以将与产品的边界框相对应的尺寸跟与MRL相关联的标准尺寸进行比较。如前所述，图像中产品边界框的大小可以转换为与物理世界中的物理产品相应的大小。与MRL相关联的标准尺寸可以在最小值和最大值的范围内。如果对应于图像中产品边界框的尺寸跟与MRL相关联的标准尺寸不匹配，则可能存在不匹配的情况。框730处的过程结合图8进一步更详细讨论。
现参考图8，提供了示出根据各种比较来确定不匹配的示例性过程800的流程图。在框810处，例如，可以通过图2的尺寸评估器220确定尺寸差异。在一些实施例中，例如，尺寸评估器220将输出0或1的二值尺寸差异分数，以指示所测量的尺寸是否与标准尺寸匹配。
在一些实施例中，例如，尺寸评估器220将输出0和1之间的连续的尺寸差异分数，以指示所测量的尺寸与标准尺寸之间的相对差。在示例中，与标签相关联的标准尺寸包括最小尺寸(Smin)和最大尺寸(Smax)。此外，将与边界框相对应的尺寸确定为S。可以基于方程式1确定尺寸差异。在其他实施例中，可以使用不同的方程式来得出尺寸差异。
在框820处，例如，可以通过图2的视觉评估器230来确定视觉差异。在一些实施例中，例如，视觉评估器230将输出0或1的二值视觉差异分数，以指示视觉特征的分类匹配或不匹配。在一些实施例中，例如，视觉评估器230将输出0和1之间的连续的视觉差异分数，以指示两组视觉特征之间的相对差。例如，CNN可以在比较它们的视觉特征之后输出相似概率。相应地，可以从相似概率简单地得出视觉差异分数。
在框830处，例如，可以通过图2的重量评估器240来确定重量差异。在一些实施例中，例如，重量评估器240将输出0或1的二值重量差异分数，以指示所测量的重量是否与标准重量匹配。在一些实施例中，例如，重量评估器240将输出0和1之间的连续的重量差异分数，以指示所测量的重量与标准重量之间的相对差。可以根据方程式2确定重量差异，其中AW表示产品的测量的重量，且与标签相关联的标准重量为SW。在其他实施例中，可以使用不同的方程式来得出重量差异。
在框840处，例如，可以通过图2的不匹配检测器200确定MRL和图像中产品之间的不匹配性。可以至少部分地基于产品的边界框内的内容跟与MRL相关联的已知图像数据之间的差异测量值、基于产品的重量跟与MRL相关联的已知重量之间的差异测量值，或基于与图像中产品边界框相对应的尺寸跟与MRL相关联的标准尺寸之间的差异测量值来确定不匹配性。
根据特定的用户情况，不同的差异测量值可能带有不同的权重，以检测贴错标签的产品。作为一个示例，例如当顾客在扫描过程中没有将产品放在秤上时，可能无法进行重量测量。作为另一个示例，例如当顾客部分地握住产品时，重量测量可能是不可靠的。作为又一个示例，当产品被顾客部分覆盖时，产品的视觉特征可能会失真。因此，当基于多个差异测量值确定不匹配时，可以将不同的权重分配给不同的差异测量值，例如，在一些实施例中如方程式3所示。在方程式3中，至少部分地基于分配给尺寸差异(S)的第一权重(w1)、分配给视觉差异(V)的第二权重(w2)以及分配给重量差异(W)的第三权重(w3)来确定标签与产品之间的不匹配分数(MS)。可以基于特定应用来确定各个权重。
MS＝w1·S+w2·V+w3·W(方程式3)
在一个实施例中，S、V和W的每个差异测量值由0或1表示，其中0表示匹配，而1表示不匹配。在另一个实施例中，S、V或W可以取0到1之间的连续值，如先前所公开的。如果MS为0，则为完全匹配。如果MS与所有权重的总和相同(即w1+w2+w3)，则完全不匹配。介于两者之间的任何值意味着至少一个差异测量值显示出部分不匹配，并且***可以基于不匹配分数的实际值相应地进行操作。
相应地，我们已经描述了用于检测贴错标签产品的技术的各个方面。应当理解，本文描述的实施例的各种特征、子组合和修改是有用的，并且其可以在其他实施例中采用而无需参考其他特征或子组合。此外，以上示例过程中示出的步骤的顺序和序号并不意味着以任何方式限制本公开的范围，并且实际上，这些步骤可以在其实施例内以各种不同的顺序发生。这样的变化及其组合也被认为在本公开的实施例的范围内。
总体上参考附图，首先参考图9，示出了用于实现本文所述技术的各方面的示例性操作环境，且其通常被指定为计算设备900。计算设备900只是合适的计算环境的一个示例且并不旨在对本文所述技术的使用范围进行任何限制。计算设备900也不应被解释为具有与所示出组件中的任何一个或组合有关的任何依赖性或要求。
可以用计算机代码或机器可使用的指令的大体内容来描述本文所述的技术，该计算机代码或机器可使用的指令包括由计算机或其他机器执行的诸如程序组件之类的计算机可执行指令。通常，包括例行程序、程序、对象、组件、数据结构等的程序组件是指执行特定任务或实现特定抽象数据类型的代码。本文所述的技术可以在各种***配置中实践，包括手持设备、消费电子产品、通用计算机、专用计算设备等。本文所述技术的各方面也可以在分布式计算环境中实践，其中由通过通信网络连接的远程处理设备执行任务。
继续参考图9，计算设备900包括直接或间接耦合以下设备的总线910：存储器920、处理器930、呈现组件940、输入/输出(I/O)端口950、I/O组件960以及示例性电源970。总线910可以包括地址总线、数据总线或其组合。为了清楚起见，尽管图9的各个框用线示出，实际上这样描绘各个部件不是很清楚，打个比方这些线将更准确地是灰色和模糊的。例如，可以将诸如显示设备之类的呈现组件视为I/O组件。另外，处理器具有内存器。本发明的发明人认识到这是本领域的本质，并重申图9的图解仅是示出可以结合本文所述技术的不同方面使用的示例性计算设备。在“工作站”、“服务器”、“笔记本电脑”、“手持设备”等之间未进行区分，因为所有这些都认为在图9的范围内，且都是指“计算机”或“计算设备”。
计算设备900通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备900访问的任何可用介质，并且包括易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何用于存储信息的方法或技术实现的易失性和非易失性、可移动和不可移动介质，该信息例如是计算机可读指令、数据结构、程序模块或其他数据等。
计算机存储介质包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质不包括传播的数据信号。
通信介质通常在诸如载波或其他传输机制的已调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“已调制数据信号”是指以解码信号中信息的这种方式来设置或改变其特征的信号。作为示例而非限制，通信介质包括例如有线网络或直接有线连接之类的有线介质，以及例如声学、RF、红外和其他无线介质之类的无线介质。以上任何内容的组合也应包括在计算机可读介质的范围内。
存储器920包括易失性和/或非易失性存储器形式的计算机存储介质。存储器920可以是可移动的、不可移动的或其组合。示例性存储器包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备900包括处理器930，处理器930从诸如总线910、存储器920或I/O组件960的各种实体中读取数据。呈现组件940向用户或其他设备呈现数据指示。示例性呈现组件940包括显示设备、扬声器、打印组件、振动组件等。I/O端口950允许计算设备900逻辑耦合到其他设备，包括I/O组件960，其中一些可以内置。
在各种实施例中，存储器920尤其包括不匹配检测逻辑922的临时副本和持久副本。不配检测逻辑922包括指令，当由处理器930执行时，这些指令致使计算设备900执行模拟检测功能，例如但不限于过程600、700和800。在各个实施例中，不匹配检测逻辑922包括指令，当由处理器930执行时，这些指令致使计算设备900执行各种功能，包括但不限于与结合图1的检测子***112、AI子***114或标签管理***116相关联的各种功能；或结合图2的对象评估器210、尺寸评估器220、视觉评估器230或重量评估器240相关联的各种功能。
在一些实施例中，处理器930可以与不匹配检测逻辑922封装在一起。在一些实施例中，处理器930可以与不匹配检测逻辑922封装在一起以形成***级封装(SiP)。在一些实施例中，处理器930可以与不匹配检测逻辑922集成在同一芯片上。在一些实施例中，处理器930可以与不匹配检测逻辑922集成在同一芯片上以形成片上***(SoC)。
示例性的I/O组件包括麦克风、控制杆、游戏垫、卫星天线、扫描仪、打印机、显示设备、无线设备、控制器(例如触笔、键盘和鼠标)、自然用户界面(NUI)等等。在各方面中，提供了笔数字化仪(pen digitizer，未示出)和伴随的输入工具(也未示出，但是可以仅以示例的方式包括笔或触笔)，以便以数字方式捕获手绘的用户输入。笔数字化仪和处理器930之间的连接可以是直接的，也可以是通过使用串行端口、并行端口和/或本领域已知的其他接口和/或***总线耦合。此外，数字化仪输入组件可以是与诸如显示设备的输出组件分离的组件，或者在某些方面，数字化仪的可用输入区域可以与显示设备的显示区域共存并与显示设备集成在一起，也可以作为单独的设备覆盖或附加到显示设备而存在。任何和所有这样的变体及其任何组合都被认为在本文所述技术的各方面的范围内。
计算设备900可以包括网络接口980。网络接口980包括发送和接收数据的网络接口控制器(NIC)。网络接口980可以使用有线技术(例如，同轴电缆、双绞线、光纤等)或无线技术(例如，地面微波、通信卫星、蜂窝、无线电和扩频技术等)。特别地，网络接口980可以包括适于在各种无线网络上接收通信和媒体的无线终端。计算设备900可以使用无线电通信技术经由网络接口980与其他设备通信。无线电通信可以是短程连接、远程连接，或者是短程和远程无线电通讯连接的组合。短程连接可以包括与提供对无线通信网络进行访问的设备(例如，移动热点)的连接，该无线通信网络例如是使用802.11协议的无线局域网(WLAN)连接。与另一个计算设备的蓝牙连接是短程连接的第二个示例。远程连接可以包括使用各种无线网络的连接，包括1G，2G，3G，4G，5G等，或者基于各种标准或协议的连接，包括通用分组无线服务(GPRS)、增强型数据速率GSM演进技术(EDGE)、全球移动***(GSM)、码分多址(CDMA)、时分多址(TDMA)、长期演进(LTE)、802.16标准等。
已经根据特定方面描述了本文所述的技术，该技术在所有方面都旨在是说明性的而不是限制性的。虽然本文所述的技术易于受各种修改和替代构造的影响，但是本文所述技术的某些说明性方面已在附图中示出并且已经在上面进行了详细描述。然而，应当理解的是，本文所述的技术并不旨在限于所公开的特定形式，相反，意图是涵盖落入本文所述技术的精神和范围内的所有修改、替代构造以及等同形式。

Claims (20)

1.一种检测贴错标签的产品的装置，所述装置包括存储器和处理器，所述存储器具有存储在其上的计算机程序，当执行所述计算机程序时所述处理器被配置为执行操作：一旦机器读取产品的标签，则获取所述产品的图像；确定所述图像中产品的边界框；至少部分地基于与所述边界框相对应的尺寸跟与所述标签相关联的标准尺寸之间的比较，检测所述标签和所述产品之间的不匹配性。
2.根据权利要求1所述的装置，所述操作还包括：至少部分地基于生成所述标签的机器读数的源设备，确定所述图像中产品的位置。
3.根据权利要求2所述的装置，所述操作还包括：至少部分地根据基于卷积神经网络的对象检测模型和所述图像中产品的位置，确定所述产品的边界框。
4.根据权利要求1所述的装置，所述操作还包括：至少部分地基于所述图像中的已知参考或者所述边界框中的像素，确定与所述边界框相对应的尺寸；获取与所述标签相关联的标准尺寸；将与所述边界框相对应的尺寸跟与所述标签相关联的标准尺寸进行比较。
5.根据权利要求4所述的装置，其中，与所述标签相关联的标准尺寸包括最小尺寸和最大尺寸，所述操作还包括：至少部分地基于与所述标签相关联的三维边界框的最长内部对角线，确定所述最大尺寸；以及通过公差系数调整所述最大尺寸。
6.根据权利要求1所述的装置，其中，还至少部分地基于所述产品的边界框内的内容跟与所述标签相关联的已知图像数据之间的差异测量值，检测所述不匹配性。
7.根据权利要求1所述的装置，其中，还至少部分地基于所述产品的重量跟与所述标签相关联的已知重量之间的重量比较，检测所述不匹配性。
8.根据权利要求1所述的装置，所述操作还包括：至少部分地基于与所述产品的边界框相对应的尺寸，调整与所述标签相关联的标准尺寸。
9.根据权利要求1-8任一项所述的装置，所述操作还包括：至少部分地基于所述标签与所述产品之间的不匹配性，生成警报。
10.一种计算机实施的用于检测贴错标签的产品的方法，包括：接收产品的标签的机器读数以及产品的图像；确定与所述图像中产品的边界框相对应的尺寸；以及至少部分地基于与所述边界框相对应的尺寸跟与所述标签相关联的标准尺寸之间的比较，检测所述标签和所述产品之间的不匹配性。
11.根据权利要求10所述的方法，还包括：一旦接收到所述标签的机器读数，则以俯视的方式获取所述产品的图像。
12.根据权利要求10所述的方法，还包括：至少部分地基于生成所述标签的机器读数的源设备，识别所述；以及至少部分地根据基于卷积神经网络的对象检测模型，确定所述产品的边界框。
13.根据权利要求10所述的方法，其中，确定与所述边界框相对应的尺寸包括：识别所述图像中的预定参考；以及至少部分地基于所述预定参考的已知测量值，确定与所述边界框相对应的尺寸。
14.根据权利要求10所述的方法，其中，确定与所述边界框相对应的尺寸是部分地基于所述边界框中的像素以及生成所述标签的读数的源设备。
15.根据权利要求10所述的方法，其中，与所述标签相关联的标准尺寸包括最小尺寸和最大尺寸，并且其中检测所述不匹配性是部分地基于与所述边界框相对应的尺寸，与所述边界框相对应的尺寸小于所述最小尺寸或者大于所述最大尺寸。
16.根据权利要求10所述的方法，其中，检测所述标签和所述产品之间的不匹配性还至少部分地基于所述产品的边界框内的内容跟与所述标签相关联的已知图像数据之间的差异测量值，或者还至少部分地基于所述产品的重量跟与所述标签相关联的已知重量之间的重量比较。
17.根据权利要求10-16任一项所述的方法，还包括：至少部分地基于与所述产品的边界框相对应的尺寸，调整与所述标签相关联的标准尺寸。
18.一种用于检测贴错标签的产品的***，包括：对象评估器，其被配置为确定图像上产品的边界框；以及检测器，其被配置为：至少部分地基于与所述边界框相对应的尺寸跟与所述产品相关联的标准尺寸之间的尺寸差异，以及至少部分地基于所述边界框内的内容跟与标签相关联的已知图像数据之间的视觉差异，检测所述标签和所述产品之间的不匹配性。
19.根据权利要求18所述的***，其中，所述检测器还被配置为：至少部分地基于赋给所述尺寸差异的第一权重和赋给所述视觉差异的第二权重，检测所述标签和所述产品之间的不匹配性。
20.根据权利要求18或19所述的***，还包括尺寸评估器，所述尺寸评估器被配置为：至少部分地基于与所述产品的各个图像中的所述产品的多个边界框相对应的尺寸分布，确定与所述标签相关联的标准尺寸。
CN201980002223.2A 2019-01-28 2019-01-28 贴错标签的产品的检测 Pending CN110622173A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/073390 WO2020154838A1 (en) 2019-01-28 2019-01-28 Mislabeled product detection

Publications (1)

Publication Number Publication Date
CN110622173A true CN110622173A (zh) 2019-12-27

Family

ID=68927590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980002223.2A Pending CN110622173A (zh) 2019-01-28 2019-01-28 贴错标签的产品的检测

Country Status (3)

Country Link
US (2) US10824902B2 (zh)
CN (1) CN110622173A (zh)
WO (1) WO2020154838A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610762A (zh) * 2020-05-12 2020-09-01 广汽本田汽车有限公司 自动化设备控制装置及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210488B2 (en) * 2019-11-27 2021-12-28 Zebra Technologies Corporation Method for optimizing improper product barcode detection
CN113657423A (zh) * 2021-06-25 2021-11-16 上海师范大学 适用于小体积零件与堆叠零件的目标检测方法及其应用
US11798380B2 (en) * 2021-07-02 2023-10-24 Target Brands, Inc. Identifying barcode-to-product mismatches using point of sale devices
US11667474B1 (en) * 2021-08-27 2023-06-06 Amazon Technologies, Inc. Increasing scan rate of parcels within material handling facility
US11928662B2 (en) * 2021-09-30 2024-03-12 Toshiba Global Commerce Solutions Holdings Corporation End user training for computer vision system
US20230169452A1 (en) * 2021-11-30 2023-06-01 Zebra Technologies Corporation System Configuration for Learning and Recognizing Packaging Associated with a Product
US20230297905A1 (en) * 2022-03-18 2023-09-21 Toshiba Global Commerce Solutions Holdings Corporation Auditing purchasing system
US20240112436A1 (en) * 2022-09-30 2024-04-04 Zebra Technologies Corporation Ranked adaptive roi for vision cameras

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976396A (zh) * 2010-11-05 2011-02-16 河南省烟草公司鹤壁市公司 资产条码管理方法
US20150054959A1 (en) * 2013-08-26 2015-02-26 Ncr Corporation Produce and Non-produce Verification Using Hybrid Scanner
CN106204226A (zh) * 2016-07-14 2016-12-07 广州极汇信息科技有限公司 自助结账智能购物方法及其装置
US20170103515A1 (en) * 2015-10-09 2017-04-13 Pricer Ab Determination of a product position along a fixture or positions of objects in images
CN106796700A (zh) * 2014-06-27 2017-05-31 宇宙设想有限公司 用于电子商务的使用标记媒体、3d索引虚拟现实图像和全球定位***位置的用户界面

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
US20090272801A1 (en) * 2008-04-30 2009-11-05 Connell Ii Jonathan H Deterring checkout fraud
US7962365B2 (en) * 2008-10-31 2011-06-14 International Business Machines Corporation Using detailed process information at a point of sale
US9715666B2 (en) * 2010-06-30 2017-07-25 International Business Machines Corporation Supply chain management using mobile devices
US8488881B2 (en) * 2010-07-27 2013-07-16 International Business Machines Corporation Object segmentation at a self-checkout
US8757479B2 (en) * 2012-07-31 2014-06-24 Xerox Corporation Method and system for creating personalized packaging
US9870565B2 (en) * 2014-01-07 2018-01-16 Joshua Migdal Fraudulent activity detection at a barcode scanner by verifying visual signatures
CN104834839B (zh) * 2014-02-11 2019-08-23 阿里巴巴集团控股有限公司 一种条码生成方法、基于条码的鉴权方法及相关终端
US10094650B2 (en) * 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
CA3115898C (en) * 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976396A (zh) * 2010-11-05 2011-02-16 河南省烟草公司鹤壁市公司 资产条码管理方法
US20150054959A1 (en) * 2013-08-26 2015-02-26 Ncr Corporation Produce and Non-produce Verification Using Hybrid Scanner
CN106796700A (zh) * 2014-06-27 2017-05-31 宇宙设想有限公司 用于电子商务的使用标记媒体、3d索引虚拟现实图像和全球定位***位置的用户界面
US20170103515A1 (en) * 2015-10-09 2017-04-13 Pricer Ab Determination of a product position along a fixture or positions of objects in images
CN106204226A (zh) * 2016-07-14 2016-12-07 广州极汇信息科技有限公司 自助结账智能购物方法及其装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111610762A (zh) * 2020-05-12 2020-09-01 广汽本田汽车有限公司 自动化设备控制装置及方法

Also Published As

Publication number Publication date
US10824902B2 (en) 2020-11-03
US20200242392A1 (en) 2020-07-30
WO2020154838A1 (en) 2020-08-06
US20210049400A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN110622173A (zh) 贴错标签的产品的检测
US20200151692A1 (en) Systems and methods for training data generation for object identification and self-checkout anti-theft
US20230030507A1 (en) Fraudulent activity detection at a barcode scanner by verifying visual signatures
US20240135353A1 (en) Self-Checkout Anti-Theft Vehicle Systems And Methods
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
US20240013633A1 (en) Identifying barcode-to-product mismatches using point of sale devices
WO2021072699A1 (en) Irregular scan detection for retail systems
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
US20230037427A1 (en) Identifying barcode-to-product mismatches using point of sale devices and overhead cameras
US20230087587A1 (en) Systems and methods for item recognition
US20220414900A1 (en) Item identification using multiple cameras
US20220414379A1 (en) Hand detection trigger for item identification
US20220414899A1 (en) Item location detection using homographies
US20220414375A1 (en) Image cropping using depth information
US20240193995A1 (en) Non-transitory computer-readable recording medium, information processing method, and information processing apparatus
CN112154488B (zh) 信息处理装置、控制方法和程序
US20220414374A1 (en) Reducing a search space for item identification using machine learning
US20240211952A1 (en) Information processing program, information processing method, and information processing device
WO2020228437A1 (en) Apparatus and methods for multi-sourced checkout verification
US20240220999A1 (en) Item verification systems and methods for retail checkout stands
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product
WO2023187993A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP7339630B1 (ja) 情報処理システム
US20220414587A1 (en) Determining dimensions of an item using point cloud information
US20230237558A1 (en) Object recognition systems and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220704

Address after: Room 368, 302, 211 Fute North Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Shanghai Yuepu Investment Center (L.P.)

Address before: 518000 floor 33, Yantian modern industry service center, 3018 Shayan Road, Shatoujiao street, Yantian District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN MALONG TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191227

WD01 Invention patent application deemed withdrawn after publication