CN112466035A - 基于视觉和重力感应的商品识别方法、装置和*** - Google Patents

基于视觉和重力感应的商品识别方法、装置和*** Download PDF

Info

Publication number
CN112466035A
CN112466035A CN201911337957.4A CN201911337957A CN112466035A CN 112466035 A CN112466035 A CN 112466035A CN 201911337957 A CN201911337957 A CN 201911337957A CN 112466035 A CN112466035 A CN 112466035A
Authority
CN
China
Prior art keywords
commodity
weight
placing
identification
picking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911337957.4A
Other languages
English (en)
Other versions
CN112466035B (zh
Inventor
吴一黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Tunnel Beijing Technology Co Ltd
Original Assignee
Yi Tunnel Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Tunnel Beijing Technology Co Ltd filed Critical Yi Tunnel Beijing Technology Co Ltd
Priority to PCT/CN2020/079896 priority Critical patent/WO2021042698A1/zh
Priority to EP20712815.8A priority patent/EP4027311A4/en
Priority to US16/757,628 priority patent/US11416718B2/en
Priority to JP2020526544A priority patent/JP7068450B2/ja
Publication of CN112466035A publication Critical patent/CN112466035A/zh
Application granted granted Critical
Publication of CN112466035B publication Critical patent/CN112466035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Operations Research (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)

Abstract

本发明属于计算机技术领域，公开了一种基于视觉和重力感应的商品识别方法和装置。方法：包括对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个视觉识别结果对应一次取放行为；获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果；判断发生的M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值是否一致；若判断为不一致，则根据M个重量识别结果对每个视觉识别结果进行完善，得到N次取放行为对应的识别商品总和。装置包括：视觉识别模块、重量识别模块、判断模块和得到模块。通过上述技术方案提高了商品识别的准确率。

Description

基于视觉和重力感应的商品识别方法、装置和***
技术领域
本发明属于计算机技术领域，特别涉及一种基于视觉和重力感应的商品识别方法、装置和***。
背景技术
随着科技技术的发展，无人售货得到了顾客越来越多的青睐。
现有技术中，无人售货有的采用了纯重力解决方案，然而在使用这种方案后，发现会带来相同重量商品无法分辨的问题。有的采用了纯视觉识别方案，然而在使用这种方案后，发现会带来由于商品相互遮挡而无法准确识别多件的问题，从而导致用户体验差，商品识别准确率低。
发明内容
为了解决现有技术中问题，本发明一方面提供了一种基于视觉和重力感应的商品识别方法，其包括：对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个所述视觉识别结果对应一次取放行为，所述视觉识别结果包括：取放动作、取放商品和取放时间，N为自然数；获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果，所述重量识别结果包括：重量变化值和重量变化时间，M为自然数；判断发生的M次重量变化对应的总重量变化值与所述N次取放行为对应的取放商品的总重量值是否一致；若判断为不一致，则根据M个所述重量识别结果对每个所述视觉识别结果进行完善，得到所述N次取放行为对应的识别商品总和。
另一方面提供了一种基于视觉和重力感应的商品识别装置，其包括：视觉识别模块，用于对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个所述视觉识别结果对应一次取放行为，所述视觉识别结果包括：取放动作、取放商品和取放时间，N为自然数；重量识别模块，用于获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果，所述重量识别结果包括：重量变化值和重量变化时间，M为自然数；判断模块，用于判断发生的M次重量变化对应的总重量变化值与所述N次取放行为对应的取放商品的总重量值是否一致；得到模块，用于若判断为不一致，则根据M个所述重量识别结果对每个所述视觉识别结果进行完善，得到所述N次取放行为对应的识别商品总和。
再一方面提供了一种基于视觉和重力感应的商品识别***，其包括：摄像装置，用于采集商品图像；称重装置，用于称重售卖商品的货柜重量；商品识别装置，与所述图像采集装置和称重装置连接，为上述商品识别装置。
又一方面提供了一种基于视觉和重力感应的商品识别装置，其包括：存储器和处理器。处理器与存储器连接，被配置为基于存储在存储器中的指令，执行上述基于视觉和重力感应的商品识别方法。
再另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于视觉和重力感应的商品识别方法。
本发明实施例通过上述技术方案带来的有益效果如下：
大大提高了商品识别的准确度，还能提高用户体验。
附图说明
图1为本发明一实施例提供的一种基于视觉和重力感应的商品识别方法的流程示意图。
图2为本发明另一实施例提供的一种基于视觉和重力感应的商品识别方法的流程示意图。
图3为本发明又一实施例提供的一种基于视觉和重力感应的商品识别方法的流程示意图。
图4为本发明再一实施例提供的一种基于视觉和重力感应的商品识别方法的流程示意图。
图5为本发明一实施例提供的一种基于视觉和重力感应的商品识别装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1，本发明一实施例提供了一种基于视觉和重力感应的商品识别方法，其包括以下步骤：
步骤101，对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个视觉识别结果对应一次取放行为。
在该步骤中，商品图像的采集可以通过图像采集装置，如摄像头来完成。图像采集装置用于对用户挑选商品的过程进行拍摄，如此可以获取用户在该该过程中的图像，其可以安装在装有商品的无人售货机或承载有商品的货架的上方和/或下方，还可以安装在具有柜门的无人售货机的门框上。商品图像的识别可以通过识别模型来完成，如卷积神经网络模型。输入是采集的商品图像，输出可以是取放商品(或称商品图像中商品的种类)，即与用户的取放动作所对应的商品。挑选商品的过程是指用户在图像采集装置所拍摄区域对商品进行的选货过程，其通常包括N次取放行为，可以是一次取放行为，此时N＝1，还可以是多次取放行为，此时N≥2，N为自然数。取放行为为针对商品的取行为或放行为，取行为表征用户想购买该商品，放行为表征用户不想购买该商品。若用户手中有商品且逐渐远离支撑件，则识别该行为为针对商品的取行为。若用户手中有商品且逐渐靠近支撑件，则识别该行为为针对商品的放行为。前述支撑件用于支承待售卖的商品。针对每次取放行为采集了商品图像，对商品图像进行识别，可得到视觉识别结果：取放商品、取放动作和取放时间。取放商品为与取放动作对应的商品。取放时间为该次取放行为执行的时间，其可以以采集到含有商品的图像的任意时间为取放时间，还可以：若取放行为为取行为，则在此次取放行为中以首先采集到含有商品的图像的时间为取放时间(或称取商品时间)；若取放行为为放行为，则在此次取放行为中以最后采集到含有商品的图像的时间为取放时间(或称放商品时间)。
为了提高商品识别的准确度，在采集到商品图像后且进行识别前，对商品图像进行背景分离处理，得到商品图像的前景图像，对前景图像进行识别。背景分离技术可以是通过对比前后帧图像之间的差别来确定背景图像，然后采用背景减去法得到前景图像。
步骤102，获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果。
在该步骤中，每次取放行为的执行会使商品脱离支撑件或置于支撑件上，从而引起支撑件所支撑商品的重量(即支撑件承载的重量)发生变化，如减少或增加，该变化可以通过称重装置，如重力感应器(或称重量传感器)采集。重力传感器可以对整个售卖设备进行称重，从而得到支撑件所承载的重量变化值，该售卖设备可以为无人售货机或货架；还可以对售卖设备的每层支撑架进行称重，从而得到支撑件所承载的重量变化值，每层支撑架由若干个支撑件构成，关于重力传感器的称重对象本实施例对此不进行限定。在N次取放行为的执行过程中，会发生若干次重量变化，发生的次数可以是一次，此时M＝1，还可以是多次，此时M≥2，M为自然数。对每次重量变化进行记录，并得到重量识别结果，该结果包括：重量变化值和重量变化时间。重量变化时间为发生重量变化的时间。若将N次取放行为视为一次购买行为，则也就是说，对该购买行为执行过程中发生的每次重量变化进行记录。例如可以在用户使用无人售货机购买商品时，在无人售货机前进行了若干次商品取放行为，然后离开该无人售货机，可以将用户来到无人售货机前至离开该无人售货机期间执行的若干次商品取放行为视为一次购买行为；还可以当用户在无人超市中购买商品时，在某货架前进行了若干次商品取放行为，然后离开该货架，可以将用户来到该货架前至离开该货架期间执行的若干次商品取放行为视为一次购买行为。
步骤103，判断发生的M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值是否一致。
在该步骤中，N次取放行为对应着N个视觉识别结果，每个视觉识别结果中有取放商品，该取放商品经识别后，根据预设的重量表可以得到该取放商品对应的重量值，重力表中记载有无人售货机或货架上待售卖商品的种类和重量值。总重量值为所有视觉识别结果中取放商品的重量之和，当取放行为为取行为时，该取放行为对应的取放商品(或称取商品)的重量使总重量值增加；当取放行为为放行为时，该取放行为对应的取放商品(或称放商品)的重量使总重量值减少，因此，用正值和负值来区分不同的取放行为。例如：用户在某一时刻前已陆续从支撑件上拿取了商品A、B，放到购物车(或虚拟购物车或实体购物车)里，经查询重量表得到商品A和B的重量值分别为A'和B'，此时总重量值为(+A')+(+B')，然后在该某一时刻后将商品B从购物车(或虚拟购物车或实体购物车)中取出，放回到支撑件上，此时总重量值为(+A')+(+B')+(-B')＝A'。
将用户未执行取放行为前的整个售卖设备的重量作为初始重量值，将用户执行完N次取放行为后的整个售卖设备的重量作为结束重量值，该两个值做差即可得到重量变化值。在其他的实施中，可以通过记录的每次重量变化值来获得，如当用户从支撑件上拿取商品时，使由多个支撑件构成的支撑架所承载的重量减少；当用户将商品放回支撑件上时，使支撑架所承载的重量增加，因此，用正值和负值来区分不同的重量变化。通过将若干个重量变化值进行相加即可得到总重量变化值。例如在某一时刻前检测到发生两次重量变化，重量变化值分别为+A'、+B'，则总重量变化值为(+A')+(+B')，然后在该某一时刻后检测到发生重量变化，重量变化值为-B'，则此时刻总重量变化值为(+A')+(+B')+(-B')＝A'。在N次取放行为的执行过程中，会因此发生若干次重量变化，重量变化的次数因在不同的场景下以及不同的用户执行取放行为有时会与一次购买行为中取放行为的次数相同，有时会与一次购买行为中取放行为的次数不相同。A'和B'均为正数。
然后比较发生的M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值是否一致，若一致，则以N次的视觉识别结果总和作为商品识别结果总和；若不一致，则表明视觉识别结果需完善以提高识别准确率。比较时，可以比较两者是否完全相同，也可以比较两者是否在适当的误差范围内，该误差可以根据地理位置或商品供应者确定，本实施例对比不进行限定。该步骤通常是在用户完成一次购买行为后执行，例如用户在无人售货机中购买商品时，当用户购买完成后，关上无人售货机的柜门并在发送结算信息之前，开始执行；用户在无人商品购买商品时，当用户离开当前挑选商品的货架或者进入到无人商店的出口区域或者离开无人商店并在结算之前，开始执行。
步骤104，若判断为不一致，则根据M个重量识别结果对每个视觉识别结果进行完善，得到N次取放行为对应的识别商品总和。
一般情况下，一次重量变化势必会由用户执行了取放行为而引起，进而该取放行为可能对应一个视觉识别结果，在遮挡的场景下，可能没有视觉识别结果，此时该取放行为没有视觉识别结果与其对应，因此通过利用重量识别结果来完善或称校验视觉识别结果，从而可以提高商品的识别准确率。
综上所述，本发明实施例通过获取视觉识别结果和重量识别结果，并在视觉识别结果对应的总重量值与重量识别结果对应的总重量变化值不一致时，根据重量识别结果对识别视觉结果进行完善，从而得到用户购买的识别商品总和，如此可以提高商品的识别准确率。
参见图2，本发明另一实施例提供了一种基于视觉和重力感应的商品识别方法，其包括以下步骤：
步骤201，对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个视觉识别结果对应一次取放行为。
步骤202，获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果。
步骤203，判断发生的M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值是否一致。
步骤201～203的描述参见上述实施例的相关描述，此处不再一一赘述。
步骤204，若判断为一致，则根据多个视觉识别结果得到N次取放行为对应的识别商品总和。
在该步骤中，若M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值一致，则表明视觉识别是正确的，此时将多个视觉结果的取放商品进行取和处理，将其总和作为与N次取放行为对应的识别商品总和。
步骤205，若判断为不一致，则判断是否有与M个重量识别结果中第i'个重量识别结果的重量变化时间匹配的取放时间，i'为自然数且小于等于M。
若发生了一次重量变化，应该是因为用户执行了取放行为，或是取行为，或是放行为，但是该取放行为是否对应一个视觉识别结果，在不同的场景以及不同用户执行取放行为时会有所不同，因此，通过判断是否有与重量变化时间匹配的取放时间来确定发生了一次重量变化是否对应获取一个视觉识别结果。可以将重量识别结果的重量变化值与视觉识别结果的取放动作和取放商品在时间轴上进行时间同步，从而可以用时间轴对齐两种结果，以便于实现重量变化时间和取放时间的匹配。该操作对每个重量识别结果都执行。
步骤206，若判断为没有，则根据重量变化值确定补充商品，补充商品属于识别商品总和。
在该步骤中，由于发生了重量变化，仅获取了重量识别结果，但是没有获取对应的视觉识别结果，因此若以多个视觉识别结果的总和作为N次取放行为对应的识别商品总和，会使得商品识别准确率降低，为了提高商品识别准确率，根据重量变化值和预设的重量表，得到与该重量变化值对应的待售卖的商品，将该商品即为补充商品，将其归属于N次取放行为对应的识别商品总和，从而可以提高商品识别准确率。利用重量识别结果校验视觉识别结果，将视觉识别结果未能识别的且检测到重力变化的重量识别结果补充到识别商品总和中，完成对视觉识别结果的二次校验。
步骤207，若判断为有，则与取放时间对应的取放商品属于识别商品总和。
在该步骤中，由于发生了重量变化，获取了重量识别结果，对应的还获取了视觉识别结果，因此认为此视觉识别结果正确，即将该视觉识别结果的取放商品归属于N次取放行为对应的识别商品总和。
参见图3，在执行取放动作时，有的用户可能手中有异物，其不是支撑件上支撑的商品，即不属于所供应的待售卖商品，如手机、手提袋等，由于采集的商品图像会含有异物，当进行识别时，会将含有异物的取放动作误认为一次取放行为，从而影响最终的识别商品总和，因此在步骤204之后，本商品识别方法还包括以下步骤：
步骤208，判断是否有与多个视觉识别结果中第i”个视觉识别结果的取放时间匹配的重量变化时间，i”为自然数。
由于是通过视觉识别技术获取视觉识别结果，因此正常情况下，若获取了一个视觉识别效果，应该是因为用户执行了取放行为，或是取行为，或是放行为，对应的会引起支撑件所承载的重量发生变化，但是在不同的场景以及不同用户执行取放行为时会有所不同，因此通过判断是否有与取放时间匹配的重量变化时间来确定获取了一个视觉识别结果是否对应发生了一次重量变化，即获取了一个重量识别结果。可以将重量识别结果的重量变化值与视觉识别结果的取放动作和取放商品在时间轴上进行时间同步，从而可以用时间轴对齐两种结果，以便于实现重量变化时间和取放时间的匹配。该操作对每个重量识别结果都执行。i”的最大值为视觉识别结果的数量。
步骤209，若判断为没有，则与取放时间对应的的取放商品不属于识别商品总和。
在该步骤中，由于仅获取了视觉识别结果，而没有获取重量识别结果，此时没有发生重量变化，即没有商品被从支撑件上拿取或放回到支撑件上，表明此次取放动作所针对的物品不属于待售买商品。虽然获取了视觉识别结果，但是不将其的取放商品归属于识别商品总和，即需将该视觉识别结果的取放商品从识别商品总和中删除。利用重量识别结果校验视觉识别结果，过滤掉无重力变化的视觉识别结果，完成对视觉识别结果的二次校验。
需要说明的是，步骤208可以与步骤205同时进行，还可以在步骤205之后，也可以在步骤205之前，本实施例对此不进行限定。
综上所述，本发明实施例通过获取视觉识别结果和重量识别结果，并在视觉识别结果对应的总重量值与重量识别结果对应的总重量变化值不一致时，根据重量识别结果对识别视觉结果进行完善，从而得到用户购买的识别商品总和，如此可以提高商品的识别准确率。
参见图4，本发明又一实施例提供了一种基于视觉和重力感应的商品识别方法，其包括以下步骤：
步骤301，对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个视觉识别结果对应一次取放行为，视觉识别结果包括：取放动作、取放商品和取放时间，取放商品为与取放动作对应的商品。
步骤302，获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果，重量识别结果包括：重量变化值和重量变化时间，M为自然数。
步骤303，判断发生的M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值是否一致。
步骤304，若判断为一致，则根据多个视觉识别结果得到N次取放行为对应的识别商品总和。
步骤305，若判断为不一致，则判断是否有与M个重量识别结果中第i'个重量识别结果的重量变化时间匹配的取放时间，i'为自然数且小于等于M。
步骤306，若判断为没有，则根据重量变化值确定补充商品，补充商品属于识别商品总和。
步骤301～306的描述参见上述实施例的相关描述，此处不再一一赘述。
步骤307，若判断为有，则判断重量识别结果的重量变化值和与取放时间对应的取放商品的重量是否一致。
在该步骤中，若有与重量变化时间匹配的取放时间，则既获取了重量识别结果，又获取了视觉识别结果，表明该次取放行为的取放动作是针对待售卖商品的动作。在某些场景下，例如一次拿取了多件商品，多件商品之间可能会发生相互遮挡现象，则会影响基于图像识别技术获取的视觉识别结果的准确度，此时视觉识别结果的取放商品并不是用户实际拿取的商品，如识别的取放商品为D，而用户实际拿取的商品为C，即将实际商品C识别为商品D，若将商品D归属于识别商品总和，在给用户进行结算时，会影响用户对无人购物的体验，因此为了提高用户的购物体验，提高商品识别的准确度，执行该步骤。
步骤308，若判断为不一致，则根据所述重量变化值、待售卖各商品的重力值和所述取放商品得到与所述取放时间对应的实际商品，所述实际商品属于所述识别商品总和。
虽然既获取了重量识别结果，又获取了视觉识别结果，但是在例如上述的场景中，重量识别结果的重量变化值与视觉识别结果的取放商品的重力值不一致，则根据重量变化值、待售卖各商品的重力值和取放商品得到与取放时间对应的实际商品，该实际商品归属于商品识别总和，此时不将视觉识别结果的取放商品归属于商品识别总和。
可选地，若根据重量变化值和待售卖各商品的重力值得到只有一种重量预测结果，该重量预测结果包括重量预测商品，则将该重量预测商品作为与取放时间对应的实际商品。如重量变化值为G，以G为限定条件，将待售卖各商品进行组合，使组合后的总重量与G一致，得到只有一种组合情况，则将构成该组合的商品称之为重量预测商品，以其作为与取放时间对应的实际商品，该实际商品归属于商品识别总和，此时不将视觉识别结果的取放商品归属于商品识别总和。G为正数。
可选地，若根据重量变化值和待售卖各商品的重力值得到多种重量预测结果，则在多种重量预测结果中以与视觉识别结果的取放商品重合度最高的重量预测结果作为与取放时间对应的实际商品。重合度指的是重量预测结果中的重量预测商品与视觉识别结果中的取放商品有同样的商品，即两者有交集，换言之，将与视觉识别结果的取放商品最相近的重量预测结果的重量预测商品作为与取放时间对应的实际商品。
可选地，若视觉识别结果中的取放商品属于多规格商品，多规格商品为同一种外观且具有不同重量的商品，如不同规格的可乐，则根据取放商品确定商品种类，根据确定的商品种类和各待售卖商品的重力值，确定该取放商品的商品规格，将商品规格归属于取放商品，对取放商品进行更新，此时取放商品包括商品种类和商品规格，如此使得在待售卖商品的选品上可以实现多样化，更能提高用户体验的良好性。
步骤309，若判断为一致，则跳转至步骤306。
在该步骤中，若既获取了重量识别结果，又获取了视觉识别结果，且对应的重量变化值和重量值是一致的，则此认为此视觉识别结果正确，于是跳转至306，将该视觉识别结果的取放商品归属于N次取放行为对应的识别商品总和。步骤306的描述参见上述实施例的相关描述，此处不再一一赘述。
综上所述，本发明实施例通过获取视觉识别结果和重量识别结果，并在视觉识别结果对应的总重量值与重量识别结果对应的总重量变化值不一致时，根据重量识别结果对识别视觉结果进行完善，从而得到用户购买的识别商品总和，如此可以提高商品的识别准确率。
参见图5，本发明实施例提供了一种基于视觉和重力感应的商品识别装置，具有实现上述方法实施例的功能，该功能可以由硬件实现，也可以由硬件执行相应的软件实现。该商品识别装置包括：视觉识别模块501、重量识别模块502、判断模块503和得到模块504。
视觉识别模块501用于对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个视觉识别结果对应一次取放行为，视觉识别结果包括：取放动作、取放商品和取放时间，N为自然数。重量识别模块502用于获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果，重量识别结果包括：重量变化值和重量变化时间，M为自然数。判断模块503用于判断发生的M次重量变化对应的总重量变化值与N次取放行为对应的取放商品的总重量值是否一致。得到模块504用于若判断为不一致，则根据M个重量识别结果对每个视觉识别结果进行完善，得到N次取放行为对应的识别商品总和。
可选地，得到模块，包括：第一判断单元、补充单元、确认单元和遍历单元。第一判断单元用于判断是否有与重量识别结果的重量变化时间匹配的取放时间。补充单元用于若判断为没有，则根据重量变化值确定补充商品，补充商品属于识别商品总和。确认单元用于若判断为有，则与取放时间对应的取放商品属于识别商品总和。第一遍历单元用于对每个重量识别结果执行第一判断单元、补充单元和确认单元各自的功能。
可选地，商品识别装置还包括：第二判断单元、实际商品确认单元和跳转单元。第二判断单元用于若确认单元判断为有，则判断重量识别结果的重量变化值和与取放时间对应的取放商品的重量是否一致。实际商品确认单元用于若判断为不一致，根据重量变化值、待售卖各商品的重力值和取放商品得到与取放时间对应的实际商品，实际商品属于识别商品总和。跳转单元用于若判断为一致，则执行确认单元的与取放时间对应的取放商品属于识别商品总和的功能。
可选地，商品识别装置还包括：第三判断单元、删除单元和第二遍历单元。第三判断单元用于判断是否有与视觉识别结果的取放时间一致的重量变化时间。删除单元用于若判断为没有，则与取放时间对应的的取放商品不属于识别商品总和。第二遍历单元用于对每个视觉识别结果执行第三判断单元和删除单元各自的功能。
可选地，商品识别装置还包括：图像预处理模块，用于对采集的商品图像进行背景分离处理，得到所述商品图像的前景图像，将所述前景图像作为识别用商品图像。
综上所述，本发明实施例通过获取视觉识别结果和重量识别结果，并在视觉识别结果对应的总重量值与重量识别结果对应的总重量变化值不一致时，根据重量识别结果对识别视觉结果进行完善，从而得到用户购买的识别商品总和，如此可以提高商品的识别准确率。
本发明一实施例提供了一种基于视觉和重力感应的商品识别***，其包括：摄像装置(或称图像采集装置)，用于采集商品图像；称重装置，用于称重售卖商品的货柜重量；商品识别装置，与摄像装置和称重装置连接，其为上述商品识别装置。
本发明一实施例提供了一种基于视觉和重力感应的商品识别装置，其包括：存储器和处理器。处理器与存储器连接，被配置为基于存储在存储器中的指令，执行上述基于视觉和重力感应的商品识别方法。
本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于视觉和重力感应的商品识别方法。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种基于视觉和重力感应的商品识别方法，其特征在于，所述商品识别方法包括：
对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个所述视觉识别结果对应一次取放行为，所述视觉识别结果包括：取放动作、取放商品和取放时间，N为自然数；
获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果，所述重量识别结果包括：重量变化值和重量变化时间，M为自然数；
判断发生的M次重量变化对应的总重量变化值与所述N次取放行为对应的取放商品的总重量值是否一致；
若判断为不一致，则根据M个所述重量识别结果对每个所述视觉识别结果进行完善，得到所述N次取放行为对应的识别商品总和。
2.根据权利要求1所述的商品识别方法，其特征在于，所述根据M个所述重量识别结果对每个所述视觉识别结果进行完善，得到所述N次取放行为对应的识别商品总和，包括：
对每个所述重量识别结果执行如下操作：
判断是否有与所述重量识别结果的重量变化时间匹配的取放时间；
若判断为没有，则根据所述重量变化值确定补充商品，所述补充商品属于所述识别商品总和；
若判断为有，则与所述取放时间对应的所述取放商品属于所述识别商品总和。
3.根据权利要求2所述的商品识别方法，其特征在于，所述若判断为有，之后，所述商品识别方法还包括：
判断所述重量识别结果的重量变化值和与所述取放时间对应的取放商品的重力值是否一致；
若判断为不一致，则根据所述重量变化值、待售卖各商品的重力值和所述取放商品得到与所述取放时间对应的实际商品，所述实际商品属于所述识别商品总和；
若判断为一致，则跳转至所述与所述取放时间对应的所述取放商品属于所述识别商品总和的步骤。
4.根据权利要求2所述的商品识别方法，其特征在于，所述根据M个所述重量识别结果对每个所述视觉识别结果进行完善，得到所述N次取放行为对应的识别商品总和，还包括：
对每个所述视觉识别结果执行如下操作：
判断是否有与所述视觉识别结果的取放时间一致的重量变化时间；
若判断为没有，则与所述取放时间对应的的取放商品不属于所述识别商品总和。
5.根据权利要求1所述的商品识别方法，其特征在于，所述对采集的商品图像进行识别，包括：
对采集的商品图像进行背景分离处理，得到所述商品图像的前景图像；
对所述前景图像进行识别。
6.一种基于视觉和重力感应的商品识别装置，其特征在于，所述商品识别装置包括：
视觉识别模块，用于对采集的商品图像进行识别，获取与N次取放行为对应的多个视觉识别结果，每个所述视觉识别结果对应一次取放行为，所述视觉识别结果包括：取放动作、取放商品和取放时间，N为自然数；
重量识别模块，用于获取与支撑件上所支撑商品发生的M次重量变化的每次重量变化对应的重量识别结果，所述重量识别结果包括：重量变化值和重量变化时间，M为自然数；
判断模块，用于判断发生的M次重量变化对应的总重量变化值与所述N次取放行为对应的取放商品的总重量值是否一致；
得到模块，用于若判断为不一致，则根据M个所述重量识别结果对每个所述视觉识别结果进行完善，得到所述N次取放行为对应的识别商品总和。
7.根据权利要求6所述的商品识别装置，其特征在于，所述得到模块，包括：
第一判断单元，用于判断是否有与所述重量识别结果的重量变化时间匹配的取放时间；
补充单元，用于若判断为没有，则根据所述重量变化值确定补充商品，所述补充商品属于所述识别商品总和；
确认单元，用于若判断为有，则与所述取放时间对应的所述取放商品属于所述识别商品总和；
第一遍历单元，用于对每个所述重量识别结果执行所述第一判断单元、所述补充单元和所述确认单元各自的功能。
8.根据权利要求7所述的商品识别装置，其特征在于，所述商品识别装置还包括：
第二判断单元，用于若所述确认单元判断为有，则判断所述重量识别结果的重量变化值和与所述取放时间对应的取放商品的重量是否一致；
实际商品确认单元，用于若判断为不一致，根据所述重量变化值、待售卖各商品的重力值和所述取放商品得到与所述取放时间对应的实际商品，所述实际商品属于所述识别商品总和；
跳转单元，用于若判断为一致，则执行所述确认单元的与所述取放时间对应的所述取放商品属于所述识别商品总和的功能。
9.根据权利要求7所述的商品识别装置，其特征在于，所述商品识别装置，还包括：
第三判断单元，用于判断是否有与所述视觉识别结果的取放时间一致的重量变化时间；
删除单元，用于若判断为没有，则与所述取放时间对应的的取放商品不属于所述识别商品总和；
第二遍历单元，用于对每个所述视觉识别结果执行所述第三判断单元和所述删除单元各自的功能。
10.一种基于视觉和重力感应的商品识别***，其特征在于，所述商品识别***包括：
图像采集装置，用于采集商品图像；
称重装置，用于称重售卖商品的货柜重量；
商品识别装置，与所述图像采集装置和称重装置连接，为权利要求6～9中任一项所述的商品识别装置。
CN201911337957.4A 2019-09-06 2019-12-23 基于视觉和重力感应的商品识别方法、装置和*** Active CN112466035B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/CN2020/079896 WO2021042698A1 (zh) 2019-09-06 2020-03-18 基于视觉和重力感应的商品识别方法、装置和***
EP20712815.8A EP4027311A4 (en) 2019-09-06 2020-03-18 PRODUCT IDENTIFICATION METHOD BASED ON VISION AND GRAVITY DETECTION, DEVICE, AND SYSTEM
US16/757,628 US11416718B2 (en) 2019-09-06 2020-03-18 Item identification method, device and system based on vision and gravity sensing
JP2020526544A JP7068450B2 (ja) 2019-09-06 2020-03-18 視覚及び重力感知に基づく商品認識方法、装置及びシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019108402937 2019-09-06
CN201910840293 2019-09-06

Publications (2)

Publication Number Publication Date
CN112466035A true CN112466035A (zh) 2021-03-09
CN112466035B CN112466035B (zh) 2022-08-12

Family

ID=74807813

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911337957.4A Active CN112466035B (zh) 2019-09-06 2019-12-23 基于视觉和重力感应的商品识别方法、装置和***
CN202010256683.2A Active CN112464697B (zh) 2019-09-06 2020-04-02 基于视觉和重力感应的商品与顾客的匹配方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010256683.2A Active CN112464697B (zh) 2019-09-06 2020-04-02 基于视觉和重力感应的商品与顾客的匹配方法和装置

Country Status (5)

Country Link
US (2) US11416718B2 (zh)
EP (2) EP4027311A4 (zh)
JP (2) JP7068450B2 (zh)
CN (2) CN112466035B (zh)
WO (2) WO2021042698A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133078A (zh) * 2023-10-24 2023-11-28 广州微米物联网科技股份有限公司 基于重力感应的自动售卖***

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6821009B2 (ja) * 2017-12-25 2021-01-27 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 会計方法、装置及びシステム
CN112466035B (zh) * 2019-09-06 2022-08-12 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品识别方法、装置和***
US11966901B2 (en) * 2020-09-01 2024-04-23 Lg Electronics Inc. Automated shopping experience using cashier-less systems
US11922386B2 (en) * 2021-03-12 2024-03-05 Amazon Technologies, Inc. Automated and self-service item kiosk
CN112950329A (zh) * 2021-03-26 2021-06-11 苏宁易购集团股份有限公司 商品动态信息生成方法、装置、设备及计算机可读介质
CN116403339B (zh) * 2023-06-08 2023-08-11 美恒通智能电子(广州)股份有限公司 一种基于rfid标签识别的打印机智能管理***及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110786A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货***
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、***及存储介质
CN108549851A (zh) * 2018-03-27 2018-09-18 合肥美的智能科技有限公司 智能货柜内货品识别方法及装置、智能货柜
CN109003403A (zh) * 2018-06-05 2018-12-14 西安超嗨网络科技有限公司 购物车商品称重和计价方法、装置及***
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技（北京）有限公司 智能货柜的商品识别方法和***及购物订单的生成方法
CN109649915A (zh) * 2018-11-27 2019-04-19 上海京东到家元信信息技术有限公司 一种智能货柜货物识别方法和装置
US10318917B1 (en) * 2015-03-31 2019-06-11 Amazon Technologies, Inc. Multiple sensor data fusion system
CN109886169A (zh) * 2019-02-01 2019-06-14 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3837475B2 (ja) * 2001-07-19 2006-10-25 独立行政法人産業技術総合研究所 自動化ショッピングシステム
US6766270B2 (en) * 2002-03-12 2004-07-20 American Gnc Corporation Gravity-reference vision system
JP2004213232A (ja) * 2002-12-27 2004-07-29 Glory Ltd レンタル物品のオートレジシステム
US20090063176A1 (en) * 2007-08-31 2009-03-05 French John R Shopping cart basket monitor
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
JP2013008116A (ja) * 2011-06-23 2013-01-10 Japan Research Institute Ltd 課金装置、課金方法、およびプログラム
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
US10664795B1 (en) * 2013-09-20 2020-05-26 Amazon Technologies, Inc. Weight based item tracking
US10515309B1 (en) * 2013-09-20 2019-12-24 Amazon Technologies, Inc. Weight based assistance determination
JP2015106380A (ja) * 2013-12-02 2015-06-08 富士通フロンテック株式会社 セルフチェックアウト端末
US10657411B1 (en) * 2014-03-25 2020-05-19 Amazon Technologies, Inc. Item identification
US10713614B1 (en) * 2014-03-25 2020-07-14 Amazon Technologies, Inc. Weight and vision based item tracking
US10163149B1 (en) * 2014-03-28 2018-12-25 Amazon Technologies, Inc. Providing item pick and place information to a user
US11030541B1 (en) * 2014-06-24 2021-06-08 Amazon Technologies, Inc. Proactive resolution of event information
US10339493B1 (en) * 2014-06-24 2019-07-02 Amazon Technologies, Inc. Associating users with totes
US10242393B1 (en) * 2014-06-24 2019-03-26 Amazon Technologies, Inc. Determine an item and user action in a materials handling facility
CN105608459B (zh) * 2014-10-29 2018-09-14 阿里巴巴集团控股有限公司 商品图片的分割方法及其装置
US10332066B1 (en) * 2015-03-30 2019-06-25 Amazon Technologies, Inc. Item management system using weight
US11042836B1 (en) * 2019-06-07 2021-06-22 Amazon Technologies, Inc. Fusion of sensor data for detecting interactions at an inventory location
US10262293B1 (en) * 2015-06-23 2019-04-16 Amazon Technologies, Inc Item management system using multiple scales
US11117744B1 (en) * 2015-12-08 2021-09-14 Amazon Technologies, Inc. Determination of untidy item return to an inventory location
US10565554B2 (en) * 2016-06-10 2020-02-18 Walmart Apollo, Llc Methods and systems for monitoring a retail shopping facility
CN106408369B (zh) * 2016-08-26 2021-04-06 西安超嗨网络科技有限公司 一种智能鉴别购物车内商品信息的方法
CN107103503B (zh) * 2017-03-07 2020-05-12 阿里巴巴集团控股有限公司 一种订单信息确定方法和装置
US11238401B1 (en) * 2017-03-27 2022-02-01 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11087271B1 (en) * 2017-03-27 2021-08-10 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US10943465B1 (en) * 2017-03-28 2021-03-09 Amazon Technologies, Inc. Device notification and aggregation
JP2018169752A (ja) * 2017-03-29 2018-11-01 パナソニックＩｐマネジメント株式会社 商品認識システム、学習済みモデル、及び商品認識方法
US20180285902A1 (en) * 2017-03-31 2018-10-04 Walmart Apollo, Llc System and method for data-driven insight into stocking out-of-stock shelves
US10424174B2 (en) * 2017-07-27 2019-09-24 Acuity-Vct, Inc. Quantitative document tampering protection and monitoring system utilizing weight and video
CN109409175B (zh) * 2017-08-16 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和***
RU2671753C1 (ru) * 2017-09-01 2018-11-06 Тимур Юсупович Закиров Система контроля и идентификации товара в магазине
CN109559453A (zh) * 2017-09-27 2019-04-02 缤果可为（北京）科技有限公司 用于自动结算的人机交互装置及其应用
CN107886655A (zh) * 2017-09-28 2018-04-06 陈维龙 应付账单的生成方法、应付账单与已付账单的匹配方法
US11301684B1 (en) * 2017-09-29 2022-04-12 Amazon Technologies, Inc. Vision-based event detection
CN107862814A (zh) * 2017-11-01 2018-03-30 北京旷视科技有限公司 自动结算***及自动结算方法
US10739551B1 (en) * 2017-12-13 2020-08-11 Amazon Technologies, Inc. Compensating for orientation and temperature related changes in camera focus
CN108497839B (zh) * 2017-12-18 2021-04-09 上海云拿智能科技有限公司 可感知货品的货架
JP6821009B2 (ja) * 2017-12-25 2021-01-27 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司Ｙｉ Ｔｕｎｎｅｌ （Ｂｅｉｊｉｎｇ） Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． 会計方法、装置及びシステム
CN108198052A (zh) * 2018-03-02 2018-06-22 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架***
US20190333039A1 (en) * 2018-04-27 2019-10-31 Grabango Co. Produce and bulk good management within an automated shopping environment
CN208188867U (zh) * 2018-06-01 2018-12-04 西安未来鲜森智能信息技术有限公司 一种用于无人自动售货的商品识别***
CN109102274A (zh) * 2018-06-27 2018-12-28 深圳市赛亿科技开发有限公司 一种无人超市智能购物结算方法及***
CN109064630B (zh) * 2018-07-02 2024-03-05 高堆 无人自动称重计价货柜***
CN108921540A (zh) * 2018-07-09 2018-11-30 南宁市安普康商贸有限公司 基于购买者位置定位的开放式自助销售方法及***
CA3011318A1 (en) * 2018-07-13 2020-01-13 E-Ventor Tech Kft. Automatic product identification in inventories, based on multimodal sensor operation
CA3109571A1 (en) * 2018-07-16 2020-01-23 Accel Robotics Corporation Autonomous store tracking system
US20220230216A1 (en) * 2018-07-16 2022-07-21 Accel Robotics Corporation Smart shelf that combines weight sensors and cameras to identify events
CN109353397B (zh) * 2018-09-20 2021-05-11 北京旷视科技有限公司 商品管理方法、装置和***及存储介质及购物车
US10984239B2 (en) * 2018-09-27 2021-04-20 Ncr Corporation Context-aided machine vision
CN109583942B (zh) * 2018-11-07 2021-05-11 浙江工业大学 一种基于密集网络的多任务卷积神经网络顾客行为分析方法
CN109214806B (zh) * 2018-11-20 2022-01-04 北京京东尚科信息技术有限公司 自助结算方法、装置以及存储介质
US11085809B1 (en) * 2018-12-03 2021-08-10 Amazon Technologies, Inc. Multi-channel weight sensing system
CN109766962B (zh) * 2018-12-18 2021-01-19 创新奇智(南京)科技有限公司 一种商品识别方法、存储介质及商品识别***
CN111523348B (zh) * 2019-02-01 2024-01-05 百度（美国）有限责任公司 信息生成方法和装置、用于人机交互的设备
US20200265494A1 (en) * 2019-02-17 2020-08-20 Grabango Co. Remote sku on-boarding of products for subsequent video identification and sale
CN110197561A (zh) * 2019-06-10 2019-09-03 北京华捷艾米科技有限公司 一种商品识别方法、装置及***
US10902237B1 (en) * 2019-06-19 2021-01-26 Amazon Technologies, Inc. Utilizing sensor data for automated user identification
CN112466035B (zh) * 2019-09-06 2022-08-12 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品识别方法、装置和***
US11270546B1 (en) * 2019-12-06 2022-03-08 Amazon Technologies, Inc. Item dispenser with motion-based removal detection
US20210182921A1 (en) * 2019-12-12 2021-06-17 Amazon Technologies, Inc. Customized retail environments
JP2022528022A (ja) * 2020-03-09 2022-06-08 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司 スーパーマーケット商品棚上の商品の分析方法及びシステム
US20210398097A1 (en) * 2020-03-09 2021-12-23 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
TW202205163A (zh) * 2020-07-22 2022-02-01 李建文 辨識物品及存量的系統與方法
JP7502113B2 (ja) * 2020-08-24 2024-06-18 東芝テック株式会社 商品登録装置及びその制御プログラム
US11966901B2 (en) * 2020-09-01 2024-04-23 Lg Electronics Inc. Automated shopping experience using cashier-less systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160110786A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10318917B1 (en) * 2015-03-31 2019-06-11 Amazon Technologies, Inc. Multiple sensor data fusion system
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货***
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、***及存储介质
CN108549851A (zh) * 2018-03-27 2018-09-18 合肥美的智能科技有限公司 智能货柜内货品识别方法及装置、智能货柜
CN109003403A (zh) * 2018-06-05 2018-12-14 西安超嗨网络科技有限公司 购物车商品称重和计价方法、装置及***
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技（北京）有限公司 智能货柜的商品识别方法和***及购物订单的生成方法
CN109649915A (zh) * 2018-11-27 2019-04-19 上海京东到家元信信息技术有限公司 一种智能货柜货物识别方法和装置
CN109886169A (zh) * 2019-02-01 2019-06-14 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林付春，张荣芬，何倩倩，刘宇红: "机器视觉中的智能无人零售***设计", 《电子技术应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133078A (zh) * 2023-10-24 2023-11-28 广州微米物联网科技股份有限公司 基于重力感应的自动售卖***
CN117133078B (zh) * 2023-10-24 2023-12-29 珠海微米物联科技有限公司 基于重力感应的自动售卖***

Also Published As

Publication number Publication date
EP4027311A1 (en) 2022-07-13
JP2022501660A (ja) 2022-01-06
EP4027311A4 (en) 2023-10-04
JP7068450B2 (ja) 2022-05-16
US20210406617A1 (en) 2021-12-30
CN112464697A (zh) 2021-03-09
JP2022539920A (ja) 2022-09-14
EP3809325A4 (en) 2021-06-02
US11983250B2 (en) 2024-05-14
WO2021042698A1 (zh) 2021-03-11
US11416718B2 (en) 2022-08-16
EP3809325A1 (en) 2021-04-21
WO2021042730A1 (zh) 2021-03-11
CN112464697B (zh) 2024-05-14
US20230160740A1 (en) 2023-05-25
CN112466035B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN112466035B (zh) 基于视觉和重力感应的商品识别方法、装置和***
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、***及存储介质
CN108389316B (zh) 自动售货方法、装置和计算机可读存储介质
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN108171172A (zh) 自助购物方法、自助售卖机及计算机可读存储介质
CN109726759B (zh) 无人售货方法、装置、***、电子设备及计算机可读介质
CN109886169B (zh) 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN111263224A (zh) 视频处理方法、装置及电子设备
US20190370885A1 (en) Data processing method, device and storage medium
CN113077299A (zh) 订单处理方法、装置、设备及存储介质
CN111832590A (zh) 物品识别方法和***
CN110490698A (zh) 一种无人便利店货架物品错放检测方法及装置
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及***
CN111260685A (zh) 视频处理方法、装置及电子设备
CN117437264A (zh) 行为信息的识别方法、设备和存储介质
CN112991379A (zh) 一种基于动态视觉的无人售货方法及***
JP2023504871A (ja) 不正検出システムおよび方法
CN109959974B (zh) 一种异物检测方法、计算机可读存储介质及检测***
CN111311304A (zh) 一种基于视频的智能无人超市管理***
CN114358881A (zh) 自助结算方法、装置和***
CN111738184B (zh) 一种商品取放识别方法、装置、***及设备
CN113128927B (zh) 基于双摄像头无人零售终端机库损的优化方法
CN116611833A (zh) 一种基于ai商品识别的商品结算方法及***
CN114612827A (zh) 商品识别方法、装置及存储介质
CN114782812A (zh) 一种智能秤干扰识别方法、装置、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant