JP6728404B2 - 店舗の棚への製品の配置を追跡する方法 - Google Patents
店舗の棚への製品の配置を追跡する方法 Download PDFInfo
- Publication number
- JP6728404B2 JP6728404B2 JP2018561047A JP2018561047A JP6728404B2 JP 6728404 B2 JP6728404 B2 JP 6728404B2 JP 2018561047 A JP2018561047 A JP 2018561047A JP 2018561047 A JP2018561047 A JP 2018561047A JP 6728404 B2 JP6728404 B2 JP 6728404B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- shelf
- image
- features
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 142
- 238000004806 packaging method and process Methods 0.000 claims description 87
- 230000004044 response Effects 0.000 claims description 54
- 239000000284 extract Substances 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 17
- 239000002131 composite material Substances 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 230000000153 supplemental effect Effects 0.000 claims 2
- 230000007717 exclusion Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 53
- 230000008569 process Effects 0.000 description 19
- 238000013507 mapping Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000001932 seasonal effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002896 database filtering Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/22—Electrical actuation
- G08B13/24—Electrical actuation by interference with electromagnetic field distribution
- G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
- G08B13/2451—Specific applications combined with EAS
- G08B13/2462—Asset location systems combined with EAS
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
- G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/22—Electrical actuation
- G08B13/24—Electrical actuation by interference with electromagnetic field distribution
- G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
- G08B13/2465—Aspects related to the EAS system, e.g. system components other than tags
- G08B13/248—EAS system combined with another detection technology, e.g. dual EAS and video or other presence detection system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Data Mining & Analysis (AREA)
- Radar, Positioning & Navigation (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Finance (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Electromagnetism (AREA)
- Computer Security & Cryptography (AREA)
- Manufacturing & Machinery (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
[0001] 本出願は、2016年5月19日に出願された米国仮出願第62/339,039号の利益を主張し、この参照によりその全体が組み込まれる。
[0010] 図1に示すように、店舗の棚への製品の配置を追跡する方法S100は、ブロックS120において、第1時間にモバイルロボットシステムによって記録された画像データを含む第1画像にアクセスするステップであって、第1画像は、第1時間の店舗内のモバイルロボットシステムの第1場所及び第1向きに関連する、ステップと、ブロックS122において、第1画像の第1領域に近接して表される第1棚を検出するステップと、第1場所、第1向き及び第1画像内の第1棚の垂直位置に基づいて、ブロックS130において第1棚のアドレスにアクセスするステップと、第1棚のアドレスに基づいて、ブロックS130において、店舗の棚割によって第1棚に割り当てられた第1製品リストを検索するステップと、ブロックS140において、テンプレート画像のデータベースからテンプレート画像の第1セットを検索するステップであって、テンプレート画像の第1セットの各テンプレート画像は、第1製品リストで特定された製品の視覚的特徴を含む、ステップと、ブロックS124において、第1画像の第1領域から特徴の第1セットを抽出するステップと、ブロックS150において、特徴の第1セットの特徴と、第1製品を表すテンプレート画像の第1セットの第1テンプレート画像の特徴との間の相関に応答して、第1製品リストの第1製品のユニットが第1棚に存在することを確認するステップと、ブロックS152において、特徴の第1セットの特徴と第1テンプレート画像の特徴との間の偏差に応答して、第1製品のユニットが第1棚に不適切に置かれていると判定するステップと、ブロックS160において、第1製品のユニットが第1棚に不適切に置かれていると判定したことに応答して、第1棚の第1製品について第1補充プロンプトを生成するステップと、を含む。
[0013] 概して、方法S100のブロックは、コンピュータシステムによって実行されることができ、小売スペース(例えば、食料品店)全体の棚に配列された製品の画像を取り込むためのロボットシステムを展開し、ロボットシステムから受信した画像と小売スペース全体にわたる製品の場所を規定する割棚とに基づいて小売スペース全体の棚のスロットに割り当てられた製品の在庫状態を判定し、小売スペース全体の空きスロットを補充するように小売スペースの提携者に自動的に促す。特に、コンピュータシステムは、方法S100のブロックを自動的に実行して、店舗内の棚の画像を収集し、それらの画像からそれらの棚の製品のユニットの存在及び配列を判定し、店舗全体における実際の製品の配列と、店舗の棚割で規定された目標の製品提示要件との間の偏差を識別し、店舗の提携者(例えば、従業員)による消費及び取り扱いのためにそうした偏差を包括化することができる。従って、コンピュータシステムは、ブロックS110において、店舗内の棚の画像を収集するためにロボットシステムを展開し、ブロックS112において、ロボットシステムからの画像を一括してリアルタイムで受信し、ブロックS130、S132及びS134において、これらの画像を処理して、店舗の棚の製品の存在、位置及び/又は向きを判定し、それらの製品の存在、位置及び/又は向きに基づいて店舗の棚割からの偏差を識別し、ブロックS140及びS150において、店舗の提携者にそれらの偏差を補正するように自動的に促すことができる。
[0018] ロボットシステムは、方法S100のブロックS110及びS112を実行して、ウェイポイントにナビゲートし、かつ、店舗の棚の画像を取り込む。概して、ロボットシステムは、自律的に店舗を横断し、店舗内の棚の画像を取り込み、分析のためにリモートコンピュータシステムにそれらの画像をアップロードする、ネットワーク対応モバイルロボットを規定することができる。
[0021] 「製品面」は、本明細書では、スロットに対して指定された(例えば、特定のSKU又は他の製品識別子の)製品の面として参照される。「棚割」は、本明細書では、(例えば店舗全体にわたって)店舗内の複数の棚構造のそれぞれにわたる複数の製品面の図形表示として参照される。棚割に視覚的に記録された製品の識別子、配置及び向きのデータは、対応のテキストの製品配置スプレッドシート、スロットインデックス又は他の店舗データベース(以下、「製品配置データベース」という。)に記録されることもできる。
[0026] コンピュータシステムは、ロボットシステムが走査サイクル中に1以上の画像をナビゲートして取り込む店舗内の場所を規定するウェイポイントのセットを実装することができ、コンピュータシステムは、ウェイポイント(又はウェイポイントの内容)を、ウェイポイントにある又はその付近のロボットシステムによって取り込まれた画像にリンクさせることができる。ウェイポイントで特定された場所に基づいて、コンピュータシステムは、例えば、画像が取り込まれた時のカメラの視野において、例えば棚構造用に指定されたすべてのSKU、棚セグメントのすべてのSKU、棚のセットのすべてのSKU又は特定のスロット用のSKU等の、最小在庫管理単位(SKU)のリスト又はウェイポイント近くの棚への在庫用に指定された製品の他の識別子を取り込むことができる。SKUに基づいて、コンピュータシステムは、テンプレート画像の比較的大きなデータベース(例えば、数百万)を、画像に特に関連するテンプレート画像の比較的小さなセット(例えば、15個)までフィルタリングすることができる。このテンプレート画像の比較的小さなセットを画像の部分領域と比較するコンピュータビジョン技術を実施することによって、コンピュータシステムは、店舗の棚の様々な製品の存在、向き及び/又は位置を比較的迅速にかつ比較的高い精度で判定することができる。
[0032] 方法S100のブロックS110は、ロボットシステムで、予め設定されたウェイポイントによって規定された場所に近接した店舗内の位置にナビゲートするステップを列挙している。概して、ブロックS110の走査サイクル中、ロボットシステムは、ウェイポイントで特定されたように、1以上の画像を取り込むための準備として現在のウェイポイントで特定された位置及び向き−場所の閾値距離及び角度並びに目標の向きの範囲内−に自律的にナビゲートする。代替的に、ブロックS110は、店舗内のスロット、棚、棚セグメント及び/又は棚構造に対応するウェイポイントにリモートコントローラを展開するステップを列挙してもよく、リモートコンピュータシステムは、例えばコンピュータネットワーク上で、ロボットシステムに1以上のウェイポイントを通信することによってブロックS110を実行することができる。
[0035] 方法S100のブロックS112は、予め設定されたウェイポイントによって規定された画像仕様に基づいて、ロボットシステムに配列されたカメラのセットの第1カメラを通じて写真画像を取り込むステップを列挙している。概して、ブロックS112において、ロボットシステムは、図1及び図5に示すように、ロボットシステムがブロックS110で現在のウェイポイントにナビゲートすると、現在のウェイポイントで指定された各カメラを通じてデジタル写真画像(又は「画像」)を取り込む。特に、ロボットシステムが、ウェイポイントで特定された場所(x、y、θ)及び向きからの角度オフセットの閾値距離内の店舗内の位置に到達すると、ロボットシステムは、選択した内蔵光学センサ(例えば、RGB CMOS又はCCDカメラ)をトリガして、ウェイポイントで規定されたカメラアドレスに従って画像を取り込み、その後、それらの画像をローカルメモリに格納する。(代替的に、ロボットシステムが、ウェイポイントで規定された場所に到達すると、ロボットシステムは、ウェイポイントで規定された位置に、選択したカメラを関節運動させ、それらの画像をローカルメモリに格納することができる。)
[0038] 方法S100のブロックS120は、ブロックS120において、第1時間にモバイルロボットシステムによって記録された画像データを含む第1画像にアクセスするステップを列挙しており、第1画像は、第1時間の店舗内のモバイルロボットシステムの第1場所及び第1向きに関連付けられている。概して、ブロックS120において、システムは、店舗内のウェイポイントを占有している間又は店舗内の経路を横切っている間(例えば、走査サイクル中に)、ロボットシステムによって収集された画像データにアクセスする。
[0043] 一変形例では、システムは、1つの棚構造内の隣接する棚セグメント、1つの棚セグメント内の隣接する棚、1つの棚に割り当てられた隣接するスロット及び/又は1つの棚に配列された別個の製品の境界を示す画像(例えば、補正された生画像又は合成画像)から特徴を検出して抽出するためにコンピュータビジョン技術を実施する。次いで、システムは、画像を別個の領域に分割し、画像の各領域を別々に処理して、各画像領域の1以上の製品の存在、不存在及び/又は向きを識別することができる。
[0044] 一実施では、システムは、画像内に表される棚セグメント(例えば、複数の棚セグメントを包含する棚構造のパノラマ画像)を区別するためのコンピュータビジョン技術を実施する。一例では、システムは、棚構造を含む対象のエリアの画像を走査し、棚構造の前の床面を表わす画像のエリアと、棚構造の上方の天井及び開放容積と、を除去するために、画像を最下部の線形エッジの周りで及び画像の最上部(線形又は非線形)のエッジの周りでトリミング等することによって、この対象のエリアの周りで画像をトリミングする。この例では、システムは、画像の特徴を検出し、対象のエリアの下端の近くから上端の近くまで延在する実質的に垂直な実質的に線形の曲線を抽出すること等によって、(実質的にほぼ)連続する垂直線について画像内の対象のエリアを走査し、棚構造の棚セグメントのほぼ既知の幅の実際の距離だけオフセットされた2つの隣接する垂直線の間の画像内の対象のエリアの領域を抽出し(又は、画像内の対象のエリアをトリミングし)、この領域又は画像の対象のエリアを単一の棚セグメントを表すものとしてラベル付けすることができる。システムはまた、棚セグメントのアドレスをこの画像領域に書き込むために以下に説明する方法及び技術を実施することもできる。
[0046] 図1及び図4に示す一変形例では、方法S100はブロックS122を含み、ブロックS122は、第1画像の第1領域に近接して表される第1棚を検出するステップを列挙している。概して、ブロックS122において、システムは、画像(例えば、補正された画像、棚セグメントの周りで切り取られた合成画像)を、この画像で表される棚セグメントの別個の棚の上方のエリア又は容積に対応する領域に分割することができる。
[0050] この変形例では、方法S100は、第1画像の第1領域から特徴の第1セットを抽出するステップを列挙するブロックS124を含むこともできる。概して、ブロックS124において、システムは、棚構造、棚セグメント又は棚に配置された個別のオブジェクトによって、この棚構造の周り、棚セグメントの周り又は単一の棚の上方でトリミングされた若しくは別の方法で境界を規定された画像をセグメント化することができる。
[0053] この変形例では、システムは、棚構造、棚セグメント又は棚の周りでトリミングされた又は境界を規定された画像をスロットごとにセグメント化することもできる。
[0060] 方法S100のブロックS130は、第1場所、第1向き及び第1画像内の第1棚の垂直位置に基づいて第1棚のアドレスにアクセスするステップと、第1棚のアドレスに基づいて店舗の棚割によって第1棚に割り当てられた第1製品リストを検索するステップと、を列挙している。方法S100のブロックS140は、テンプレート画像のデータベースからテンプレート画像の第1セットを検索するステップを含み、テンプレート画像の第1セットの各テンプレート画像は、第1製品リストで特定された製品の視覚的特徴を含む。概して、ブロックS130において、システムは、画像のある領域内に表される棚のアドレスを識別し、この棚に割り当てられた製品リスト(例えば、製品リスト)を検索し、ブロックS140において、システムは、広範囲の製品を表すテンプレート画像の大きなデータベース(例えば、何百万)から、このリストの製品を表すテンプレート画像の比較的小さな部分集合(例えば、数十)を検索する。特に、ブロックS130及びS140において、システムは、利用可能なテンプレート画像の比較的大きなデータベースを、画像に表されるこの棚に割り当てられた製品であって、それによってこの棚に実質的に存在する可能性が高いテンプレート画像の小さなセットに縮小する。次いで、システムは、ブロックS150及びS152において、このテンプレート画像の比較的小さなセットのテンプレート画像の特徴と、棚の上(又は棚の下)の画像の領域から抽出された特徴とを比較して、この棚に割り当てられた製品のユニットの存在、不存在及び/又は向きを確認することができる。
[0062] システムは、テンプレート画像のデータベースを維持し、テンプレート画像データベースの各テンプレート画像は、製品の識別子(例えば、SKU)に関連付けられ、かつ、製品の全部又は一部若しくは製品の包装の写真又は図形(例えば、コンピュータで書かれた)表現を含む。テンプレート画像データベースの各テンプレート画像には、製品説明、供給者、供給期間、図形リリース日、第2図形、バーコード、カラーパレット、包装プロファイル(例えば、包装の形状及びサイズ)、及び/又は、他の定量的な又は定性的な製品包装の特徴又は記述子がタグ付けされてもよい。さらに、テンプレート画像データベースの各テンプレート画像には製品包装の向きがタグ付けされてもよい。例えば、特定のSKUに関連付けられ、6面の箱に包装されたある製品の場合、テンプレート画像データベースは、箱の前面(又は、主面)を正方形に示し、それに応じてタグ付けされた第1テンプレート画像と、箱の背面を正方形に示し、それに応じてタグ付けされた第2テンプレート画像と、箱の右面を正方形に示し、それに応じてタグ付けされた第3テンプレート画像と、箱の左面を正方形に示し、それに応じてタグ付けされた第4テンプレート画像と、箱の上面を正方形に示し、それに応じてタグ付けされた第5テンプレート画像と、箱の底面を正方形に示し、それに応じてタグ付けされた第6テンプレート画像と、を含む。この例では、テンプレート画像データベースは、箱の前面及び右面の両方を均等に露出させる角度を有する箱であって、それに応じてタグ付けされた箱を示す第7テンプレート画像と、箱の前面、右面及び上面を露出させる角度を有する箱であって、それに応じてタグ付けされた第8テンプレート画像等を含んでもよい。テンプレート画像データベースで表される各製品について、テンプレート画像データベースは、製品の代表ユニット上の様々な照明条件を表す複数のテンプレート画像と、製品包装の損傷した例(例えば、くぼんだ缶、破れた箱)、及び/又は、季節の製品包装(すなわち、特定の季節又は期間中に供給される製品包装)等を包含してもよい。
[0065] 一実施では、システムは、テンプレート画像データベースから、棚構造の高さ及び長さに沿ってスロットに割り当てられた製品の視覚的特徴を表すテンプレート画像のセットを選択する。この実施では、システムは、画像のメタデータに格納された棚構造アドレス(又は「ID」)を読み取り、画像(又は関連する生画像)が記録された時にロボットシステムによって(おおよそ)占有されたウェイポイントに関連付けられた棚構造アドレスを検索し、若しくは、画像(又は関連する生画像)が店舗の建築計画に記録された時にロボットシステムの場所及び向きを投影して、ブロックS130において、棚構造のアドレスを判定することができる。次いで、システムは、棚構造アドレスを棚割、スロットインデックス、製品場所スプレッドシート又は店舗に関連する他の製品場所データベースに渡して、ブロックS130において、この棚構造を横切るスロットに割り当てられた製品のリスト(例えば、製品のリスト)を検索することができる。
[0069] 別の実施では、システムは、棚構造内の単一の棚セグメントのスロットに割り当てられた製品の視覚的特徴を表すテンプレート画像のセットを、テンプレート画像データベースから選択する。この実施では、システムは、ブロックS130において、上述の方法及び技術を実施して、例えば、画像(又は関連する生画像)が記録されたウェイポイントに関連付けられた棚セグメントアドレスを検索することによって、又は、この時点でロボットシステムに面する棚セグメントのアドレスを検索するために画像(又は関連する生画像)が記録された時点のロボットシステムの位置及び向きを用いて店舗の棚割又は建築計画を照会することによって、画像に表された棚セグメントのアドレスにアクセスすることができる。次いで、システムは、上述のように、ブロックS130において、棚セグメントアドレスを製品場所データベースに渡して、棚セグメント内の棚に割り当てられた製品のリスト(例えば、SKUのセット)を検索し、ブロックS140において、棚セグメントに割り当てられた製品のリストの製品(例えば、製品包装)を表すデータ(例えば、画像、ベクトル、又はマトリクス形式)を包含するテンプレート画像の比較的小さなセットを、テンプレート画像データベースから集約することができる。
[0071] さらに別の実施では、システムは、店舗の単一の棚セグメント内の単一の棚のスロットに割り当てられた製品の視覚的特徴を表すテンプレート画像のセットを、テンプレート画像データベースから選択する。この実施では、システムは、上述したように、棚セグメントアドレスを検索し、画像に示された棚セグメント内の特定の棚の垂直位置を検出し(例えば、ブロックS122)、特定の棚の棚セグメントアドレス及び垂直位置に基づいて特定の棚のアドレスを検索することができる。次いで、システムは、上述したように、ブロックS130において、特定の棚に割り当てられた製品のリスト(例えば、SKUのセット)を検索するために製品場所データベースに棚アドレスを渡し、ブロックS140において、特定の棚に割り当てられた製品のリストの製品(例えば、製品包装)を表すデータ(例えば、画像、ベクトル又はマトリクス形式)を包含するテンプレート画像の比較的小さなセットを、テンプレート画像データベースから集約することができる。
[0073] 別の実施では、システムは、店舗の単一の棚セグメント内の1つの棚の単一のスロットに割り当てられた単一の製品の視覚的特徴を表すテンプレート画像のセットを、テンプレート画像データベースから選択する。この実施では、システムは、上述したように、特定のスロットを包含する棚のアドレスを検索し、画像に示された棚セグメント内の特定の棚の水平位置を検出し、棚アドレス及び棚に沿った特定のスロットの水平位置に基づいて、特定のスロットのアドレスを検索することができる。ブロックS140では、システムはその後、スロットアドレスを製品場所データベースに渡して、上述したように、特定のスロットに割り当てられた単一の製品のSKUを検索し、特定のスロットに割り当てられたこの単一の製品を表すデータ(例えば、画像、ベクトル又はマトリックス形式)を含むテンプレート画像の単一又は比較的小さなセットを、テンプレート画像データベースから検索することができる。
[0074] 一変形例では、システムは、コンピュータビジョン技術を実施して、画像内の棚の製品ラベルを検出し、ブロックS130において、バーコード、QRコード、SKU、製品説明及び/又は他の製品識別子を読み取り、ブロックS140において、同一のバーコード、QRコード、SKU、製品説明、面の数及び/又は他の製品識別子でタグ付けされたテンプレート画像のセットを選択し、テンプレート画像のセットを製品ラベルに近接した(例えば、上方の)画像内のスロット領域に割り当てる。この変形例では、システムはその後、棚に貼付された製品ラベルに現れる製品の面の数及び製品識別子データに直接基づいて、ブロックS152において、対応のスロットの棚に配列された製品の状態を判定することができる。代替的に、システムは、製品ラベルから読み取られた製品識別子を製品場所データベースに渡すことによってスロットの在庫条件を検索し、以下で説明するように、それらの在庫条件を、画像のスロット領域に一致するテンプレート画像にタグ付けされたデータと比較して、スロットの在庫状態を判定することができる。
[0077] 前述の実施では、システムは、ブロックS130で製品のリストを収集し、画像の時間制約に適合するテンプレート画像の対応のセットをブロックS140で収集することができる。特に、システムは、画像のメタデータ(又は関連する生画像のメタデータ)に格納されたタイムスタンプから画像の日付及び時間を抽出し、図1に示すように、画像タイムスタンプの日付及び時刻に現在の製品場所データベース、棚割等を選択し、この現在の製品場所データベース、現在の棚割等によって、画像に示されているスロット、棚、棚セグメント又は棚構造等に割り当てられた製品のリストを集約することができる。例えば、毎日、毎週、毎月、四半期ごと又は年次ベース等のような季節の変化を予期して、次の休日の準備として、店舗の製品を並べ替えたり取り除いたり、新しい製品を店舗に時間とともに追加したりすることができ、それらの変更は、店舗の棚割のセットにまたがって規定されてもよい。従って、システムは、ブロックS130において、現在の棚割(又は、現在の棚割からのデータを包含する現在の製品場所データベース)によって、特定のスロット、棚、棚セグメント又は棚構造等に割り当てられた製品(例えば、SKU)のリストを集約することができ、店舗全体にわたる製品場所の割り当てに対する毎日の、毎週の、毎月の、四半期の、年次の、予定された及び予定外の変更に対応する。
[0080] 方法S100のブロックS150は、特徴の第1セットと、第1製品を表すテンプレート画像の第1セットの第1テンプレート画像の特徴との間の相関に応答して、ブロックS150において、第1棚に第1製品リストの第1製品のユニットが存在することを確認することを含む。概して、ブロックS150において、システムは、特定の製品に関連するテンプレート画像の特徴を、画像の領域から抽出された特徴と突き合わせることによって、特定の棚のブロックS140で選択されたテンプレート画像に対応する特定の製品のユニットの存在を検出し、特定の棚の特定の製品の存在及び場所が、店舗の棚割によって対応のスロットに割り当てられた在庫条件に整合していることを確認する。
[0082] ブロックS150において、システムは、画像の領域(又は部分領域)を、画像に示されたスロット、棚、棚セグメント又は棚構造に具体的に割り当てられた製品のセットを表すテンプレート画像のセットと比較するテンプレートマッチング技術を実施することができる。例えば、システムは、棚ごとに画像をセグメント化し、画像に示された第1棚に対応する画像の第1領域を抽出し、第1棚上に示されたオブジェクトの周りの第1領域をトリミングし(すなわち、第1領域から背景エリアを除去し)、及び、エッジ検出、オブジェクト検出又は他のコンピュータビジョン技術を実施して、画像の第1領域の別個の部分領域を識別することができ、各部分領域は、第1棚に配列された単一のオブジェクト(例えば、製品の単一ユニット)を表す(この例では、システムは、第1棚について棚割で規定されたスロット寸法を画像の第1領域に投影して、第1棚上の別個のオブジェクトの検出を知らせる又は案内することもできる)。次いで、システムは、テンプレートマッチング技術を実施して、一致が見つかるまで又はテンプレート画像のセットが各部分領域に対してそれぞれ使い果たされるまで、画像の第1領域の各部分領域をと、第1棚に対して選択されたテンプレート画像のセットのテンプレート画像とを比較する。
[0089] 図1及び図2に示す一変形例では、システムは、この製品を表す画像の特徴の存在及び相対位置に基づいて、画像の部分領域で識別された製品の向きを判定する。次いで、システムは、上述したように、ブロックS150及びS152において、在庫マップの対応のスロットコンテナにこの製品の検出された向きを格納し、向きが、棚割によって規定された許容可能な向きの範囲と異なる場合、このスロットコンテナにフラグを書き込むことができる。
[0095] 別の変形例では、システムは、棚の製品の横方向位置を判定し、この棚の画像で検出された特徴の相対位置に基づいて、製品の位置と棚割によって割り当てられた位置との間の不一致を識別する。次いで、システムは、上述したように、ブロックS150及びS152において、この製品の検出された位置を在庫マップの対応のスロットコンテナに格納し、検出された横方向位置が、棚割によって規定された許容可能な向きの範囲と異なる場合、このスロットコンテナにフラグを書き込む。
[00100] 図1及び図2に示すさらに別の変形例では、システムは、棚で検出された特定の製品の製品面の数を計数し、棚の特定の製品のこの面の数を、棚割によって棚に割り当てられた特定の製品の製品面の数と比較し、特定の製品の面の実際の数が、棚割によって特定された面の数と異なる(例えば、それ未満である又はそれを超える)場合、在庫マップの対応のスロットコンテナにフラグを書き込む。
[00103] 別の変形例では、システムは、棚の製品の製品包装を識別し、その製品(例えば、製品SKU)が正しいことを確認し、次いで、この製品包装が棚割の条件を満たすかどうかを判定する。
[00107] 図4に示すさらに別の変形例では、システムは、ロボットシステムによって記録された画像から抽出された特徴に基づいて、製品がない「空の」スロットを検出することができる。
[00110] システムは、画像に表された他のスロットに配列された製品を識別するために、(例えば、棚セグメント又は棚構造の全体の)画像の領域(例えば、棚セグメント内の単一の棚を表す)内の複数の部分領域(例えば、別個のスロットを表す)の各々について前述のプロセスを繰り返すことができる。システムは、図4に示すように、店舗の走査全体を通じてロボットシステムによって記録された他の画像について前述のプロセスをさらに繰り返すことができる。
[00114] 図4の一変形例では、システムが、画像の部分領域にオブジェクトを検出するが、オブジェクトに突き合わせるテンプレート画像を十分な類似度スコアで識別することができない場合、システムは、テンプレート画像データベースから検索されたテンプレート画像のセットを増大させ、ブロックS130において、単一の棚に、次いで単一の棚セグメントの複数の棚に、次いで単一の棚構成の複数の棚セグメントに、次いで単一の通路の複数の棚構造等に、割り当てられた製品のテンプレート画像を含むように、テンプレート画像データベースから検索されたテンプレート画像のセットを増大させる。特に、システムは、例えば、製品を取り出して店舗全体の間違った場所にそれらの製品を戻す顧客に起因して、又は、店舗の提携者によって実行された意図的又は意図的でない在庫の変更に起因して、棚割によって規定された在庫計画からの逸脱に適応する一方で、店舗全体の棚に配列された製品を識別する際に比較的高い効率を維持するため、特定のオブジェクトに最も軽度に一致するが肯定的な結果(すなわち、肯定的な一致)を戻すことができないと予測される製品を表すテンプレート画像のこのセットとして、画像の特定の部分領域で検出された特定のオブジェクトとの比較のために、テンプレート画像のセットを成長させることができる。
[00116] 一実施では、システムは、上述したように、ブロックS122において、第1棚、第1棚及び第2棚を包含する第1棚セグメント、第1棚セグメント及び第2棚セグメントを包含する第1棚構造、並びに、第1棚構造及び第2棚構造に面する第1通路を識別し、ブロックS122において、棚割によって第1製品を割り当てられた第1棚の第1スロットに対応する第1画像の第1領域の第1部分領域を識別し、ブロックS124において、第1画像の第1部分領域から特徴の第1セットを抽出し、ブロックS150において、特徴の第1セットに基づいて、第1スロットのオブジェクトの検出の存在に割り当てられたテンプレート画像の第1セット又は製品を検索し、その後、テンプレート画像の第1セットの特徴とテンプレート画像の特徴との間の弱い相関(例えば、閾値の類似度未満)に応答して、第1製品リストの製品ではないオブジェクトを識別する。
[00119] 代替的に、前述の実施では、システムは、画像の第1部分領域から抽出された特徴の第1セットと、第1棚セグメントに割り当てられた製品のテンプレート画像の第2セットのテンプレート画像の特徴との間の弱い相関に応答して、ブロックS152において、第2製品リストの製品以外のものとして(すなわち、第1棚を包含する棚セグメントに割り当てられた製品ではない)オブジェクトを識別する。従って、第2製品リストの製品以外のものとしてオブジェクトを識別することに応答して、システムは、ブロックS130において、棚割によって、第1棚セグメント及び追加の棚セグメント、棚及び/又はスロットを包含する第1棚構造に割り当てられた第3製品リストを検索し、第3製品リストは第1製品リスト及び第2製品リストを除外し、ブロックS140において、テンプレート画像のデータベースからテンプレート画像の第3セットを検索し、テンプレート画像の第3セットの各テンプレート画像は、第3製品リストで特定された製品の視覚的特徴を含む。システムは、次いで、特徴の第1部分集合の特徴と第3製品を表すテンプレート画像の第3セットの第3テンプレート画像の特徴との間の相関に応答して、ブロックS150において、第3製品リストの第3製品のユニットとしてオブジェクトを識別することができる。従って、システムが第3製品のユニットとしてオブジェクトを識別した場合、システムは、第1スロットを現在占有している第3製品のユニットを第1製品のユニットに置き換えるようにするためのプロンプトを生成することができる。
[00121] 代替的に、前述の実施では、システムは、画像の第1部分領域から抽出された特徴の第1セットと、第1棚構造に割り当てられた製品のテンプレート画像の第3セットのテンプレート画像の特徴との間の弱い相関に応答して、ブロックS152において、第3製品リストの製品以外のもの(すなわち、第1棚セグメントを包含する棚構造に割り当てられた製品ではない)としてオブジェクトを識別することができる。従って、第3製品リストの製品以外のものとしてオブジェクトを識別することに応答して、システムは、ブロックS130において、棚割によって、第1棚構造及び追加の棚構造、棚セグメント、棚及び/又はスロットを包含する第1通路に割り当てられた第4製品リストを検索し、第4製品リストは、製品の第1、第2及び第3リストを除外し、ブロックS140において、テンプレート画像のデータベースからテンプレート画像の第4セットを検索し、テンプレート画像の第4セットの各テンプレート画像は、第4製品リストで特定された製品の視覚的特徴を含む。システムは、次いで、特徴の第1部分集合の特徴と、第4製品を表すテンプレート画像の第4セットの特徴との間の相関に応答し、ブロックS150において、第4製品リストの第4製品のユニットとしてオブジェクトを識別することができる。従って、システムがオブジェクトを第4製品のユニットとして識別した場合、システムは、第1スロットを現在占有している第4製品のユニットを第1製品のユニットに置き換えるためのプロンプトを生成することができる。
[00126] 方法S100のブロックS160は、第1製品のユニットが第1棚に不適切に置かれていると判定したことに応答して、第1棚の第1製品の第1補充プロンプトを生成するステップを含む。概して、ブロックS160において、システムは、例えば店舗の現在の棚割から検出された偏差に応答して店舗全体の棚の製品の存在、位置及び/又は向きを手で補正するためのプロンプトを含む、店舗内の1以上のスロット、棚、棚セグメント、棚構造等の在庫状態を、店舗に関連した団体に提供する。
[00127] 図2に示す一実施では、システムは、走査中にロボットシステムによって画像化された店舗の(実質的に)すべてのスロットのスロット状態データを包含する在庫マップを出力する。例えば、在庫マップは、店舗内の各棚構造についての1つの2次元オーバレイを含むことができ、各2次元オーバレイは、棚構造内の別個のスロットの輪郭を描くベクトル化された線図を規定し、当該線図は、棚構造の各スロットに割り当てられた全製品の面の比率を示す数値表示(例えば、1/2、50%)と、棚構造のスロットの空の、在庫不足の、不適切に置かれた及び間違った向きの製品面に対する色分けされたフラグと、を含む。システムは、これらの2次元オーバレイを、対応の棚構造のパノラマ画像上に整列させ、次いで、マネージャポータルを介して提携者(又は、マネージャ、企業代表者)にそれらの合成画像を提供することにより、提携者が、図5に示すように、店舗の現実の画像データと、それらの画像データから抽出された定量的及び定性的な在庫データとを見ることを可能にする。
[00128] システムは、付加的又は代替的に、例えば製品の追加、製品の交換又は製品の矯正等、店舗全体にわたる補正が必要なスロットのフィルタリングされたリストを包含する電子補充リストを生成することができる。例えば、システムは、図2及び図5に示すように、このリストの不適切に置かれた各スロットについて、例えば間違い在庫モード(例えば、面が多すぎる、面が少なすぎる、間違った向きの包装、破損した包装、期限切れの包装等)を含む、店舗全体の不適切に置かれたスロットの在庫状態グラフ、テーブル又はリストを生成することができる。この実施では、システムは、例えばデスクトップコンピュータ、ラップトップコンピュータ、タブレット又はスマートフォン等で実行するような、マネージャポータルを介して、このグラフ、テーブル又はリストを店舗のマネージャに提供することができる。
[00132] ブロックS160において、システムは、補充プロンプトに応答するために必要な製品のユニットの現在の在庫の有無に基づいて、それらの補充プロンプトを選択的に非活性化又は破棄することができる。特に、特定のスロットが、在庫が足りない、不適切に置かれた又は間違って置かれたとシステムが判定した場合、システムは、店舗裏在庫マネージャと連動して、特定のスロットに割り当てられた製品の追加ユニットが現在在庫にあるかどうかを判定し、在庫にある場合、システムは、店舗の提携者にスロットの補充プロンプトを提供し、在庫にない場合、システムは補充プロンプトを破棄することができる。
[00135] システムが、棚割によって第1製品を割り当てられた第1スロットの第2製品のユニットを検出する上記の実施では、システムは、第1スロットに最も近く、かつ、第2製品を割り当てられた第2スロットについての棚割を走査し、次いで、第2プロンプトを生成して、第2製品のユニットを第1スロットから第2スロットに移動させることができる。従って、この実施では、システムは、店舗全体の複数のスロットにまたがって検出された棚割の偏差を、店舗の提携者がスロットを補充し、改善した効率でそれらの正しいスロットに店舗の製品を再分配することを可能にする改訂された(例えば、改良された)プロンプト又はタスクのセットに融合させることができる。例えば、システムは、店舗の提携者に、第1スロットに現在陳列されている第2製品のユニットを第1製品のユニットに置き換えるための第1プロンプトを提供し、第1プロンプトを第2プロンプトと対にして、第2製品を割り当てられて最も近くて現在在庫が足りないスロットに第2製品を戻すことができる。
Claims (20)
- 店舗の棚の製品の配置を追跡する方法であって、
第1時間にモバイルロボットシステムによって記録された画像データを含む第1画像にアクセスするステップであって、前記第1画像は、前記第1時間の前記店舗内での前記モバイルロボットシステムの第1場所及び第1向きに関連付けられる、ステップと、
前記第1画像の第1領域に近接して表された第1棚を検出するステップと、
前記第1場所、前記第1向き及び前記第1画像内の前記第1棚の垂直位置に基づいて前記第1棚のアドレスを判定するステップと、
前記第1棚のアドレスに基づいて、前記店舗の棚割によって前記第1棚に割り当てられた第1製品リストを検索するステップと、
テンプレート画像のデータベースからテンプレート画像の第1セットを検索するステップであって、前記テンプレート画像の第1セットの各テンプレート画像は、前記第1製品リストで特定された製品の視覚的特徴を含む、ステップと、
前記第1画像の前記第1領域から特徴の第1セットを抽出するステップと、
前記特徴の第1セットの特徴と、前記第1製品リストの第1製品を表す前記テンプレート画像の第1セットの第1テンプレート画像の特徴との間の相関に応答して、前記第1製品のユニットが前記第1棚に存在することを確認するステップと、
前記特徴の第1セットの特徴と前記第1テンプレート画像の特徴との間の偏差に応答して、前記第1製品のユニットが前記第1棚に不適切に置かれていると判定するステップと、
前記第1製品のユニットが前記第1棚に不適切に置かれていると判定したことに応答して、前記第1棚の前記第1製品のための第1補充プロンプトを生成するステップと、を含む方法。 - 前記第1画像の前記第1領域から前記特徴の第1セットを抽出するステップは、
前記第1画像の前記第1領域から、前記第1棚に配列された別個のオブジェクトのセットを検出するステップと、
前記第1棚の第1位置に配置された別個のオブジェクトのセットの別個の第1オブジェクトに対応する前記第1画像の前記第1領域の第1部分領域を識別するステップと、
前記第1画像の前記第1領域の前記第1部分領域から前記特徴の第1セットを抽出するステップと、を含み、
前記第1棚に前記第1製品のユニットが存在することを確認するステップは、前記特徴の第1セットの特徴と、前記第1製品を表す前記第1テンプレート画像の特徴との間の相関に応答して、前記別個の第1オブジェクトを前記第1製品のユニットとして識別するステップを含む、請求項1に記載の方法。 - 前記第1棚の第2位置に配置された前記別個のオブジェクトのセットの別個の第2オブジェクトに対応する前記第1画像の前記第1領域の第2部分領域を識別するステップと、
前記第1画像の前記第1領域の前記第2部分領域から特徴の第2セットを抽出するステップと、
前記特徴の第2セットの特徴と、前記第1製品リストの第2製品を表す前記テンプレート画像の第1セットの第2テンプレート画像の特徴との間の相関に応答して、前記別個の第2オブジェクトを前記第2製品のユニットとして識別するステップと、
前記別個の第1オブジェクトを前記第1製品のユニットとして識別したこと、かつ、前記別個の第2オブジェクトを前記第2製品のユニットとして識別したことに応答して、前記棚割によって前記第1棚の前記第1製品及び前記第2製品に割り当てられた目標の横方向ずれから逸脱した前記第1位置と前記第2位置との間の横方向ずれに応答して、前記第1製品のユニット及び前記第2製品のユニットの不適切な配列を検出するステップと、をさらに含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記第1棚の前記第1製品及び前記第2製品の不適切な配列を検出したことに応答して、前記第1製品のユニット及び前記第2製品のユニットの相対位置の補正を特定する前記第1補充プロンプトを生成するステップを含む、請求項2に記載の方法。 - 前記第1棚に前記第1製品のユニットが存在することを確認するステップは、前記第1製品を表す前記第1テンプレート画像の特徴に対して強い相関を示す前記特徴の第1セットの特徴の別個のクラスタに応答して、前記第1棚に前記第1製品の別個のユニットのセットが存在することを確認するステップを含み、
前記方法は、
前記第1棚の前記第1製品の別個のユニットのセットの前記第1製品のユニットの計数を生成するステップと、
前記棚割によって前記第1棚に割り当てられた前記第1製品の面の数に等しい前記計数に応答して、前記第1棚の前記第1製品の適切な在庫を確認するステップと、
前記棚割によって前記第1棚に割り当てられた前記第1製品の面の数から逸脱した前記計数に応答して、前記第1棚の前記第1製品の不適切な在庫を検出するステップと、をさらに含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記第1棚の前記第1製品の不適切な在庫を検出したことに応答して、前記第1棚の前記第1製品の面の補正を特定する前記第1補充プロンプトを生成するステップを含む、請求項1に記載の方法。 - 前記第1領域の下方の前記第1画像の第2領域に表される第2棚を検出するステップと、
前記第1場所、前記第1向き及び前記第1画像内の前記第2棚の垂直位置に基づいて前記第2棚のアドレスを判定するステップと、
前記第2棚のアドレスに基づいて、前記棚割によって前記第2棚に割り当てられた第2製品リストを検索するステップと、
前記テンプレート画像のデータベースからテンプレート画像の第2セットを検索するステップであって、前記テンプレート画像の第2セットの各テンプレート画像は、前記第2製品リストで特定された製品の視覚的特徴を含む、ステップと、
前記第1画像の前記第2領域から特徴の第2セットを抽出するステップと、
前記特徴の第2セットの特徴と、前記第2製品リストの第2製品を表す前記テンプレート画像の第2セットの第2テンプレート画像の特徴との間の第1程度の相関に応答して、前記第2棚に前記第2製品のユニットが存在することを確認するステップと、
前記特徴の第2セットの特徴と前記第2テンプレート画像の特徴との間の前記第1程度未満の第2程度の相関に応答して、前記第2製品のユニットが前記第2棚に不適切に置かれていることを判定するステップと、
前記第2製品のユニットが前記第1棚に不適切に置かれていると判定したことに応答して、前記第2棚の前記第2製品のための第2補充プロンプトを生成するステップと、
前記第1補充プロンプト及び前記第2補充プロンプトを包括電子補充リストにコンパイルするステップと、をさらに含む、請求項1に記載の方法。 - 前記第1棚に前記第1製品のユニットが存在することを確認するステップは、
前記第1画像の前記第1領域から抽出された前記特徴の第1セットの特徴を、前記第1製品の前記第1テンプレート画像で規定された特徴の第1グループに突き合わせるステップと、
前記第1テンプレート画像で規定された特徴の第2グループが、前記第1画像の前記第1領域から抽出された前記特徴の第1セットから欠落していることを確認するステップと、
前記特徴の第1セットが前記特徴の第1グループに整合する特徴を含むことに応答して、前記棚上での目標の向き以外の前記第1製品のユニットの向きを検出し、前記第1製品を表す前記第1テンプレート画像の前記特徴の第2グループを除外するステップと、を含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記目標の向き以外の前記棚上での前記第1製品のユニットの向きを検出したことに応答して、前記第1棚の前記第1製品のユニットの向きを補正する前記第1補充プロンプトを生成するステップを含む、請求項1に記載の方法。 - 前記第1画像の前記第1領域の下側縁に近接する第1棚タグを識別するステップと、
前記第1棚に前記第1製品のユニットが存在することを確認したことに応答して、前記第1棚タグの左垂直縁から前記第1製品のユニットの左垂直縁までの水平距離を抽出するステップと、
前記水平距離が閾値距離を超えたことに応答して、前記第1製品のユニットが前記第1棚で間違った向きであると判定するステップと、をさらに含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記第1棚で前記第1製品のユニットが間違った向きであると判定したことに応答して、前記第1棚の前記第1製品のユニットの向きを補正する前記第1補充プロンプトを生成するステップを含む、請求項1に記載の方法。 - 前記第1画像の前記第1領域から前記特徴の第1セットを抽出するステップは、
前記棚割によって前記第1製品に割り当てられた前記第1棚の第1スロットに対応する前記第1画像の前記第1領域の第1部分領域を識別するステップと、
前記第1画像の前記第1部分領域から特徴の第1部分集合を抽出するステップと、を含み、
前記第1製品のユニットが前記第1棚に不適切に置かれていると判定するステップは、
前記特徴の第1部分集合が前記第1テンプレート画像の特徴に対する閾値相関よりも小さいことを示したことに応答して、前記第1棚の前記第1スロットからの前記第1製品のユニットの除外を検出するステップと、
前記特徴の第1部分集合の特徴と、空の棚を表す特徴の第2セットの特徴との間の相関に応答して、前記第1棚の前記第1スロットを空として識別するステップと、を含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記第1棚の前記第1スロットを空として識別したことに応答して、前記第1棚の前記第1スロットを前記第1製品のユニットで充填する前記第1補充プロンプトを生成するステップを含む、請求項1に記載の方法。 - 前記第1棚のアドレスを判定するステップは、前記第1棚、前記第1棚及び第2棚を含む第1棚セグメント、前記第1棚セグメント及び第2棚セグメントを含む第1棚構造、並びに、前記第1棚構造及び第2棚構造に面する第1通路を識別するステップを含み、
前記第1画像の前記第1領域から前記特徴の第1セットを抽出するステップは、
前記棚割によって前記第1製品を割り当てられた前記第1棚の第1スロットに対応する前記第1画像の前記第1領域の第1部分領域を識別するステップと、
前記第1画像の前記第1部分領域から前記特徴の第1セットを抽出するステップと、を含み、
前記第1製品のユニットが前記第1棚に不適切に置かれていると判定するステップは、
前記特徴の第1セットに基づいて前記第1スロットにオブジェクトが存在することを検出するステップと、
前記特徴の第1セットと、前記テンプレート画像の第1セットのテンプレート画像の特徴との間の閾値類似度未満に応答して、前記第1製品リストの製品以外のものとして前記オブジェクトを識別するステップと、を含み、
前記方法は、
前記第1スロットに前記オブジェクトが存在することを検出し、かつ、前記第1製品リストの製品以外のものとして前記オブジェクトを識別したことに応答して、
前記棚割によって前記第1棚セグメントに割り当てられた第2製品リストを検索するステップであって、前記第2製品リストは前記第1製品リストを除いたものである、ステップと、
前記テンプレート画像のデータベースからテンプレート画像の第2セットを検索するステップであって、前記テンプレート画像の第2セットの各テンプレート画像は、前記第2製品リストで特定された製品の視覚的特徴を含む、ステップと、
前記特徴の第1セットの特徴と、前記第2製品リストの第2製品を表す前記テンプレート画像の第2セットの第2テンプレート画像の特徴との間の相関に応答して、前記第2製品のユニットとして前記オブジェクトを識別するステップと、をさらに含み、
前記第1補充プロンプトを生成するステップは、前記第2製品のユニットとして前記オブジェクトを識別したことに応答して、前記第1スロットを現在占有している前記第2製品のユニットを前記第1製品のユニットで置き換えるプロンプトを生成するステップを含む、請求項1に記載の方法。 - 前記第2製品のユニットとして前記オブジェクトを識別することに応答して、
前記第1スロットに最も近く、かつ、前記第2製品を割り当てられた第2スロットについて前記棚割を走査するステップと、
前記第2製品のユニットを前記第2スロットに移動させる第2プロンプトを生成するステップと、をさらに含む、請求項9に記載の方法。 - 前記第2製品のユニットとして前記オブジェクトを識別したことに応答して、
前記店舗で前記第1製品のユニットの利用可能な在庫にアクセスするステップと、
前記店舗に前記第1製品のユニットの在庫がないことに応答して、
前記第1スロットを現在占有している前記第2製品のユニットを前記第1製品のユニットに置き換えるための前記プロンプトを保留するステップと、
前記棚割において、前記第1製品に代えて、前記第2製品を前記第1スロットに一時的に書き込むステップと、をさらに含む、請求項9に記載の方法。 - 前記特徴の第1セットと、前記テンプレート画像の第2セットのテンプレート画像の特徴との間の閾値類似度未満に応答して、前記第2製品リストの製品以外のものとして前記オブジェクトを識別するステップと、
前記第2製品リストの製品以外のものとして前記オブジェクトを識別したことに応答して、
前記棚割によって前記第1棚構造に割り当てられた第3製品リストを検索するステップであって、前記第3製品リストは前記第1製品リスト及び前記第2製品リストを除いたものである、ステップと、
前記テンプレート画像のデータベースからテンプレート画像の第3セットを検索するステップであって、前記テンプレート画像の第3セットの各テンプレート画像は、前記第3製品リストで特定された製品の視覚的特徴を含む、ステップと、
前記特徴の第1部分集合の特徴と、前記第3製品リストの第3製品を表す第3テンプレート画像の特徴との間の相関に応答して、前記第3製品のユニットとして前記オブジェクトを識別するステップと、を含み、
前記第1補充プロンプトを生成するステップは、前記第3製品のユニットとして前記オブジェクトを識別したことに応答して、前記第1スロットを現在占有している前記第3製品のユニットを前記第1製品のユニットに置き換えるプロンプトを生成するステップを含む、請求項9に記載の方法。 - 前記特徴の第1セットと前記テンプレート画像の第3セットのテンプレート画像の特徴との間の閾値類似度未満に応答して、前記第3製品リストの製品以外のものとして前記オブジェクトを識別するステップと、
前記第3製品リストの製品以外のものとして前記オブジェクトを識別したことに応答して、
前記棚割によって前記第1通路に割り当てられた第4製品リストを検索するステップであって、前記第4製品リストは、前記第1製品リスト、前記第2製品リスト及び前記第3製品リストを除いたものである、ステップと、
前記テンプレート画像のデータベースからテンプレート画像の第4セットを検索するステップであって、前記テンプレート画像の第4セットの各テンプレート画像は、前記第4製品リストで特定された製品の視覚的特徴を含む、ステップと、
前記特徴の第1セットの特徴と、前記第4製品リストの第4製品を表す前記テンプレート画像の第4セットの特徴との間の相関に応答して、前記製品の第4ユニットとして前記オブジェクトを識別するステップと、をさらに含み、
前記第1補充プロンプトを生成するステップは、前記製品の第4ユニットとして前記オブジェクトを識別したことに応答して、前記第1スロットを現在占有している前記製品の第4ユニットを前記製品の第1ユニットに置き換えるプロンプトを生成するステップを含む、請求項12に記載の方法。 - 前記テンプレート画像のデータベースから前記テンプレート画像の第1セットを検索するステップは、現在の包装の前記第1製品の前記第1テンプレート画像及び前記現在の包装とは異なる以前の包装の前記第1製品の第2テンプレート画像を検索するステップを含み、
前記第1棚に前記第1製品のユニットが存在することを確認するステップは、
前記特徴の第1セットの特徴と前記第1テンプレート画像の特徴との間の相関に応答して、前記第1棚に前記現在の包装の前記第1製品のユニットが存在することを確認するステップと、
前記特徴の第1セットの特徴と前記第2テンプレート画像の特徴との間の相関に応答して、前記第1棚に前記以前の包装の前記第1製品のユニットが存在することを確認するステップと、を含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記第1棚に前記以前の包装の前記第1製品のユニットが存在することを確認したことに応答して、前記以前の包装の前記第1製品のユニットを前記現在の包装の前記第1製品のユニットに置き換える前記第1補充プロンプトを生成するステップを含む、請求項1に記載の方法。 - 前記特徴の第1セットの特徴と前記第1テンプレート画像及び前記第2テンプレート画像の特徴との間の相関に応答して、かつ、前記特徴の第1セットが前記第1テンプレート画像及び前記第2テンプレート画像に固有の特徴を含むことに応答して、前記第1棚に新しい包装の前記第1製品のユニットが存在することを予測するステップと、
前記第1製品のユニットに対応する前記第1画像の前記第1領域の部分領域を、前記新しい包装の前記第1製品の新しいテンプレート画像として格納するステップと、
前記新しいテンプレート画像を前記テンプレート画像のデータベースに書き込むステップと、
前記新しい包装の前記第1製品の在庫画像を供給するプロンプトを生成するステップと、を含む、請求項14に記載の方法。 - 前記テンプレート画像のデータベースから前記テンプレート画像の第1セットを検索するステップは、多次元ベクトルのセットを検索するステップを含み、前記多次元ベクトルのセットの各多次元ベクトルは、前記第1製品リストの製品を表す特徴を規定し、
前記第1画像の前記第1領域から前記特徴の第1セットを抽出するステップは、
別個の第1オブジェクトの境界を規定する前記第1画像の前記第1領域の第1部分領域を識別するステップと、
前記第1画像の前記第1領域の前記第1部分領域から、形態、色及びテキストの特徴を含む前記特徴の第1セットを検出して抽出するためのコンピュータビジョン技術を実施するステップと、を含み
前記第1棚に前記第1製品のユニットが存在することを確認するステップは、
前記特徴の第1セットと、前記第1製品を表す前記多次元ベクトルのセットの第1多次元ベクトルによって規定された特徴との間の相関についての複合スコアを計算するステップと、
前記複合スコアが閾値スコアを超えたことに応答して、前記第1製品のユニットとして前記第1オブジェクトを識別するステップと、を含む、請求項1に記載の方法。 - 前記第1画像の前記第1領域に近接して表される前記第1棚を検出するステップは、
前記第1画像を横切って横方向に延びる第1線形特徴を検出するステップと、
前記第1線形特徴を第1棚セグメントの前記第1棚に相関させるステップと、
前記第1線形特徴の上方で前記第1画像を横切って横方向に延びる第2線形特徴を検出するステップと、
前記第2線形特徴を前記第1棚セグメントの前記第1棚の上方の第2棚に相関させるステップと、
前記第1画像において前記第1線形特徴の近くから前記第2線形特徴の近くまで延在する前記第1画像の前記第1領域の境界を規定するステップであって、前記第1領域は前記第1棚のアクセス可能な容積に対応する、ステップと、を含む、請求項1に記載の方法。 - 前記第1製品のユニットが前記第1棚に不適切に置かれていると判定するステップは、前記棚割によって前記第1製品のユニットの第1数を割り当てられた前記第1棚の第1スロットからの前記第1製品のユニットの排除を検出するステップを含み、
前記第1棚の前記第1製品のための前記第1補充プロンプトを生成するステップは、前記棚割によって規定された、前記第1製品の識別子、前記第1製品のユニットの第1数、前記第1棚の前記第1スロットの場所及び前記店舗内の前記第1棚の場所を特定する通知を生成するステップと、
前記店舗の提携者に割り当てられたモバイルコンピューティングデバイスに前記通知を送信するステップと、を含む、請求項1に記載の方法。 - 前記第1画像にアクセスするステップは、
ほぼ前記第1時間に、前記モバイルロボットシステムに組み込まれた別個のカラーカメラのセットによって記録されたデジタル写真画像のセットを受信するステップであって、前記モバイルロボットシステムは、前記第1場所を占有し、かつ、前記第1時間に前記店舗内において前記第1向きで配列され、前記第1場所は、前記第1棚を含む第1棚セグメントに隣接する、ステップと、
前記モバイルロボットシステム内の別個のカラーカメラのセットの既知の位置に基づいて、前記デジタル写真画像のセットを前記第1画像にまとめるステップと、
前記第1画像のメタデータに、前記第1場所、前記第1向き及び前記第1時間を格納するステップと、を含む、請求項1に記載の方法。 - 前記第1時間の後の第2時間に、前記モバイルロボットシステムによって記録された画像データを含む第2画像にアクセスするステップであって、前記第2画像は、前記第2時間に前記店舗内で前記モバイルロボットシステムの前記第1場所からずれた第2場所及び第2向きに関連付けられる、ステップと、
前記第2画像の第2領域に近接して表される第2棚を検出するステップと、
前記第2場所、前記第2向き及び前記第2画像内の前記第2棚の垂直位置に基づいて前記第2棚のアドレスを判定するステップと、
前記第2棚のアドレスに基づいて、前記棚割によって前記第2棚に割り当てられた第2製品リストを検索するステップと、
前記テンプレート画像のデータベースからテンプレート画像の第2セットを検索するステップであって、前記テンプレート画像の第2セットの各テンプレート画像は、前記第2製品リストで特定された製品の視覚的特徴を含む、ステップと、
前記第2画像の前記第2領域から特徴の第2セットを抽出するステップと、
前記特徴の第2セットの特徴と、前記第2製品リストの第2製品を表す前記テンプレート画像の第2セットの第2テンプレート画像の特徴との間の第1程度の相関に応答して、前記第2棚に前記第2製品のユニットが存在することを確認するステップと、
前記特徴の第2セットの特徴と前記第2テンプレート画像の特徴との間の前記第1程度の相関より小さい第2程度の相関に応答して、前記第2製品のユニットが前記第2棚に不適切に置かれていることを判定するステップと、
前記第2製品のユニットが前記第2棚に不適切に置かれていると判定したことに応答して、前記第2棚の前記第2製品のための第2補充プロンプトを生成するステップと、
前記第1補充プロンプト及び前記第2補充プロンプトを前記店舗用の包括補充リストにまとめるステップと、を含む、請求項1に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662339039P | 2016-05-19 | 2016-05-19 | |
US62/339,039 | 2016-05-19 | ||
US15/347,689 US10607182B2 (en) | 2015-11-09 | 2016-11-09 | Method for tracking stock level within a store |
US15/347,689 | 2016-11-09 | ||
PCT/US2017/033655 WO2017201483A1 (en) | 2016-05-19 | 2017-05-19 | Method for tracking placement of products on shelves in a store |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020113826A Division JP7082160B2 (ja) | 2016-05-19 | 2020-07-01 | 店舗の棚への製品の配置を追跡する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019523925A JP2019523925A (ja) | 2019-08-29 |
JP6728404B2 true JP6728404B2 (ja) | 2020-07-22 |
Family
ID=60325725
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018561047A Expired - Fee Related JP6728404B2 (ja) | 2016-05-19 | 2017-05-19 | 店舗の棚への製品の配置を追跡する方法 |
JP2020113826A Active JP7082160B2 (ja) | 2016-05-19 | 2020-07-01 | 店舗の棚への製品の配置を追跡する方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020113826A Active JP7082160B2 (ja) | 2016-05-19 | 2020-07-01 | 店舗の棚への製品の配置を追跡する方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10467587B2 (ja) |
EP (1) | EP3459008A4 (ja) |
JP (2) | JP6728404B2 (ja) |
KR (1) | KR102216498B1 (ja) |
CN (1) | CN109564619A (ja) |
WO (1) | WO2017201483A1 (ja) |
Families Citing this family (93)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015173869A1 (ja) * | 2014-05-12 | 2015-11-19 | 富士通株式会社 | 商品情報出力方法、商品情報出力プログラムおよび制御装置 |
US10373116B2 (en) * | 2014-10-24 | 2019-08-06 | Fellow, Inc. | Intelligent inventory management and related systems and methods |
KR102216498B1 (ko) | 2016-05-19 | 2021-02-17 | 심베 로보틱스 인코포레이션 | 상점의 선반 상의 제품의 배치를 추적하기 위한 방법 |
AU2017342154B2 (en) * | 2016-10-12 | 2019-07-25 | Tata Consultancy Services Limited | System and method for object recognition based estimation of planogram compliance |
US20180121868A1 (en) * | 2016-11-02 | 2018-05-03 | Vocollect, Inc. | Planogram compliance |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10552789B2 (en) * | 2017-01-09 | 2020-02-04 | Target Brands, Inc. | Store workload manager |
US20180217603A1 (en) * | 2017-01-31 | 2018-08-02 | GM Global Technology Operations LLC | Efficient situational awareness from perception streams in autonomous driving systems |
WO2018159132A1 (ja) * | 2017-03-03 | 2018-09-07 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム |
US10997552B2 (en) | 2017-03-15 | 2021-05-04 | Walmart Apollo, Llc | System and method for determination and management of root cause for inventory problems |
US20180268356A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for perpetual inventory management |
US20180268355A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of perpetual inventory values associated with nil picks |
US20180268367A1 (en) | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of perpetual inventory values based upon customer product purchases |
US11055662B2 (en) | 2017-03-15 | 2021-07-06 | Walmart Apollo, Llc | System and method for perpetual inventory management |
US20180268509A1 (en) * | 2017-03-15 | 2018-09-20 | Walmart Apollo, Llc | System and method for management of product movement |
DE112018002314T5 (de) | 2017-05-01 | 2020-01-23 | Symbol Technologies, Llc | Verfahren und vorrichtung zur erkennung eines objektstatus |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
US20180341906A1 (en) | 2017-05-26 | 2018-11-29 | Walmart Apollo, Llc | System and method for management of perpetual inventory values based upon confidence level |
US10782822B2 (en) * | 2017-06-08 | 2020-09-22 | Walmart Apollo, Llc | Augmented touch-sensitive display system |
US9977965B1 (en) * | 2017-06-26 | 2018-05-22 | Fujitsu Limited | Teaching a robot to place objects in dynamic environments |
JP7167926B2 (ja) * | 2017-09-29 | 2022-11-09 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6960061B2 (ja) | 2018-01-10 | 2021-11-05 | シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. | 溢れおよび危険物を検出して対応する方法 |
EP3754545A1 (en) | 2018-01-10 | 2020-12-23 | Trax Technology Solutions Pte Ltd. | Automatically monitoring retail products based on captured images |
US10628660B2 (en) * | 2018-01-10 | 2020-04-21 | Trax Technology Solutions Pte Ltd. | Withholding notifications due to temporary misplaced products |
JP7069736B2 (ja) * | 2018-01-16 | 2022-05-18 | 富士通株式会社 | 商品情報管理プログラム、方法及び装置 |
US11468400B1 (en) * | 2018-03-28 | 2022-10-11 | Amazon Technologies, Inc. | System to determine item weight using data from weight sensors |
JP6575628B1 (ja) * | 2018-03-30 | 2019-09-18 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP6939855B2 (ja) * | 2018-03-30 | 2021-09-22 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
US10691745B2 (en) * | 2018-05-23 | 2020-06-23 | At&T Intellectual Property I, L.P. | Planogram compliance scoring based on image analysis |
WO2019246452A1 (en) * | 2018-06-20 | 2019-12-26 | Simbe Robotics, Inc | Method for managing click and delivery shopping events |
CA3120688A1 (en) * | 2018-06-23 | 2019-12-26 | Simbe Robotics, Inc | Method for managing stock within a store |
US20200030967A1 (en) * | 2018-07-30 | 2020-01-30 | Ncr Corporation | Robots for picking products to complete an order |
CN109214306A (zh) * | 2018-08-15 | 2019-01-15 | 京东方科技集团股份有限公司 | 货架扫货机器人及货架扫货*** |
WO2020051213A1 (en) * | 2018-09-05 | 2020-03-12 | Trax Technology Solutions Pte Ltd. | Systems and methods for monitoring products and aggregating product information |
US11481726B2 (en) | 2018-09-05 | 2022-10-25 | Trax Technology Solutions Pte Ltd. | Managing inventory of perishable products |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
WO2020077066A1 (en) * | 2018-10-10 | 2020-04-16 | Adroit Worldwide Media, Inc. | Systems, method and apparatus for automated and intelligent inventory stocking |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11205217B2 (en) * | 2018-12-04 | 2021-12-21 | Columbia Insurance Company | Product location system |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
CN110188605B (zh) * | 2019-04-18 | 2021-07-06 | 浙江大华技术股份有限公司 | 目标物体识别方法、装置、***、计算机设备和存储介质 |
US20200342518A1 (en) * | 2019-04-29 | 2020-10-29 | Ncr Corporation | Item recognition and presention within images |
US11295269B2 (en) | 2019-05-16 | 2022-04-05 | Kyndryl, Inc. | Cognitive retail facing |
CN110147838B (zh) * | 2019-05-20 | 2021-07-02 | 苏州微创关节医疗科技有限公司 | 一种产品规格录入、检测方法及*** |
US20200380454A1 (en) * | 2019-06-03 | 2020-12-03 | Zebra Technologies Corporation | Method, System and Apparatus for Detecting Product Facings |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11093785B1 (en) | 2019-06-27 | 2021-08-17 | Amazon Technologies, Inc. | Inferring facility planograms |
CN110363138B (zh) * | 2019-07-12 | 2024-07-26 | 腾讯科技(深圳)有限公司 | 模型训练方法、图像处理方法、装置、终端及存储介质 |
CN112308869A (zh) * | 2019-07-30 | 2021-02-02 | 阿里巴巴集团控股有限公司 | 图像采集方法、装置、电子设备及计算机存储介质 |
US11531958B2 (en) * | 2019-07-30 | 2022-12-20 | Ncr Corporation | Frictionless re-ordering and re-stocking |
WO2021033310A1 (ja) * | 2019-08-22 | 2021-02-25 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
JP7279755B2 (ja) * | 2019-08-22 | 2023-05-23 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
CN110610149B (zh) * | 2019-09-03 | 2023-01-20 | 卓尔智联(武汉)研究院有限公司 | 一种信息处理方法、装置及计算机存储介质 |
CN110647886A (zh) | 2019-09-19 | 2020-01-03 | 北京百度网讯科技有限公司 | 兴趣点标注方法、装置、计算机设备和存储介质 |
WO2021108555A1 (en) * | 2019-11-25 | 2021-06-03 | Simbe Robotics, Inc | Method for tracking and maintaining inventory in a store |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
US20210241226A1 (en) * | 2020-02-01 | 2021-08-05 | AiFi Corp | Robotic arm with an auto-checkout system |
US11126962B2 (en) * | 2020-02-05 | 2021-09-21 | Simbe Robotics, Inc. | Method for tracking and maintaining promotional states of slots in inventory structures within a store |
CN111339957B (zh) * | 2020-02-28 | 2024-04-26 | 广州运通科金技术有限公司 | 基于图像识别的金库钱捆状态检测方法、***及介质 |
WO2021194413A1 (en) * | 2020-03-27 | 2021-09-30 | Ascent Solutions Pte Ltd | Asset monitoring system |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
WO2021216357A1 (en) * | 2020-04-22 | 2021-10-28 | Walmart Apollo, Llc | Systems and methods of defining and identifying product display areas on product display shelves |
WO2021222786A1 (en) * | 2020-04-30 | 2021-11-04 | Simbe Robotics, Inc. | Method for maintaining perpetual inventory within a store |
GB2611452A (en) * | 2020-05-18 | 2023-04-05 | Roadbotics Inc | Systems and methods for creating and/or analyzing three-dimensional models of infrastructure assets |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11600085B2 (en) | 2020-07-27 | 2023-03-07 | International Business Machines Corporation | Automated training data collection for object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
CN112380953B (zh) * | 2020-11-10 | 2023-05-09 | 支付宝(杭州)信息技术有限公司 | 售货柜摄像设备的通信地址标定方法、装置及标定板 |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
CN113487262A (zh) * | 2021-07-12 | 2021-10-08 | 深圳市坤同智能仓储科技有限公司 | 一种基于图像识别的智能货架物料管理***及方法 |
KR102574044B1 (ko) * | 2021-09-13 | 2023-09-04 | 인하대학교 산학협력단 | 자율무인점포의 인벤토리 관리를 위한 대규모 카테고리 객체 검출인식 방법 |
US11941860B2 (en) * | 2021-09-24 | 2024-03-26 | Zebra Tehcnologies Corporation | Computational load mitigation for image-based item recognition |
KR102401233B1 (ko) * | 2021-11-22 | 2022-05-24 | 이동민 | 시각 장애인용 스마트 안경을 이용한 오프라인 쇼핑 안내 시스템 |
US20230196424A1 (en) * | 2021-12-16 | 2023-06-22 | ThredUp Inc. | Real-time identification of garments in a rail-based garment intake process |
WO2023230687A1 (pt) * | 2022-05-31 | 2023-12-07 | Mc1 Technologies Inc. | MÉTODO E SISTEMA DE PROCESSAMENTO LOCAL DE IMAGEM PARA IDENTIFICAÇÃO E CLASSIFICAÇÃO DE OBJETOS E GERAÇÃO DE KPIs |
US20240135317A1 (en) * | 2022-10-20 | 2024-04-25 | Home Depot Product Authority, Llc | Image-based inventory system |
Family Cites Families (122)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3470370A (en) * | 1967-02-13 | 1969-09-30 | Herbert T Landow | Vehicle route tracer |
US5226782A (en) * | 1990-05-07 | 1993-07-13 | Stanley-Vidmar, Inc. | Automatic storage and retrieval system |
US5583950A (en) * | 1992-09-16 | 1996-12-10 | Mikos, Ltd. | Method and apparatus for flash correlation |
CA2228423A1 (en) | 1995-07-31 | 1997-02-13 | Intelledge, Corporation | Electronic product information display system |
US6226622B1 (en) * | 1995-11-27 | 2001-05-01 | Alan James Dabbiere | Methods and devices utilizing a GPS tracking system |
US6952705B2 (en) | 1997-03-25 | 2005-10-04 | Mci, Inc. | Method, system and program product that utilize a hierarchical conceptual framework to model an environment containing a collection of items |
US6147686A (en) | 1998-02-24 | 2000-11-14 | Entrada Technologies, Ltd. | Method and system for real-time manipulation of merchandise layout and data collection |
JP2000306077A (ja) | 1999-04-21 | 2000-11-02 | Hitachi Zosen Corp | 図書管理設備 |
US6553402B1 (en) | 1999-05-05 | 2003-04-22 | Nextpage, Inc. | Method for coordinating activities and sharing information using a data definition language |
US6845297B2 (en) | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
US6954728B1 (en) | 2000-05-15 | 2005-10-11 | Avatizing, Llc | System and method for consumer-selected advertising and branding in interactive media |
US6584375B2 (en) | 2001-05-04 | 2003-06-24 | Intellibot, Llc | System for a retail environment |
US20030154141A1 (en) | 2001-09-18 | 2003-08-14 | Pro Corp Holdings International Ltd. | Image recognition inventory management system |
US8396809B1 (en) * | 2002-05-14 | 2013-03-12 | Hewlett-Packard Development Company, L.P. | Method for reducing purchase time |
GB2389836B (en) | 2002-06-19 | 2006-10-11 | Ilutra Systems Ltd | Luggage tracking system |
US8326451B2 (en) * | 2002-08-19 | 2012-12-04 | Q-Track Corporation | Inventory control and method |
US20040162765A1 (en) * | 2003-02-19 | 2004-08-19 | Hobie Reber | System and a method for locating an item offered for sale by a merchant |
JP4135556B2 (ja) * | 2003-05-16 | 2008-08-20 | 株式会社日立製作所 | 映像認識装置 |
US20050049914A1 (en) | 2003-08-25 | 2005-03-03 | Parish David H. | Systems and methods for a retail system |
US20070061041A1 (en) * | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
US20050216182A1 (en) | 2004-03-24 | 2005-09-29 | Hussain Talib S | Vehicle routing and path planning |
JP4181102B2 (ja) * | 2004-03-31 | 2008-11-12 | 株式会社東芝 | 循環型ビジネス評価装置、循環型ビジネス評価方法およびプログラム |
US20050261975A1 (en) | 2004-04-21 | 2005-11-24 | Ross Carver | Graphics-based inventory control system |
JP2005339408A (ja) | 2004-05-28 | 2005-12-08 | Toshiba Corp | 自走式ロボット及びその制御方法 |
US7440903B2 (en) * | 2005-01-28 | 2008-10-21 | Target Brands, Inc. | System and method for evaluating and recommending planograms |
US8429004B2 (en) | 2005-04-13 | 2013-04-23 | Store Eyes, Inc. | Method and system for automatically measuring retail store display compliance |
US20070038528A1 (en) * | 2005-08-11 | 2007-02-15 | Sitoa Corporation | Inventory-less distribution |
US20070106627A1 (en) | 2005-10-05 | 2007-05-10 | Mohit Srivastava | Social discovery systems and methods |
US7475205B2 (en) * | 2005-12-01 | 2009-01-06 | International Business Machines Corporation | System for inventory control of an automated data storage library |
US20070288296A1 (en) | 2006-05-05 | 2007-12-13 | Graham Lewis | System and method for automatic placement of products within shelving areas using a planogram with two-dimensional sequencing |
US7913839B2 (en) * | 2006-07-11 | 2011-03-29 | Checkpoint Systems, Inc. | Merchandise security display bag |
WO2008013846A2 (en) | 2006-07-26 | 2008-01-31 | Sensormatic Electronics Corporation | Mobile readpoint system and method for reading electronic tags |
US20080046317A1 (en) | 2006-08-21 | 2008-02-21 | The Procter & Gamble Company | Systems and methods for predicting the efficacy of a marketing message |
US7693757B2 (en) * | 2006-09-21 | 2010-04-06 | International Business Machines Corporation | System and method for performing inventory using a mobile inventory robot |
US8321303B1 (en) | 2007-04-02 | 2012-11-27 | Checkpoint Systems, Inc. | Retail product out-of-stock detection and dynamic scripting |
JP5047709B2 (ja) | 2007-07-04 | 2012-10-10 | 株式会社日立製作所 | 移動装置、システム、移動方法及び移動プログラム |
JP4490997B2 (ja) | 2007-07-18 | 2010-06-30 | 株式会社東芝 | 移動ロボット |
US8002181B2 (en) | 2007-08-24 | 2011-08-23 | Wal-Mart Stores, Inc. | RFID promotional compliance |
US8189855B2 (en) | 2007-08-31 | 2012-05-29 | Accenture Global Services Limited | Planogram extraction based on image processing |
US9135491B2 (en) | 2007-08-31 | 2015-09-15 | Accenture Global Services Limited | Digital point-of-sale analyzer |
US8630924B2 (en) | 2007-08-31 | 2014-01-14 | Accenture Global Services Limited | Detection of stock out conditions based on image processing |
US8009864B2 (en) | 2007-08-31 | 2011-08-30 | Accenture Global Services Limited | Determination of inventory conditions based on image processing |
US8417444B2 (en) | 2007-11-27 | 2013-04-09 | Nav-Track, Inc. | Method and system for locating and navigating an autonomous vehicle |
KR101437916B1 (ko) | 2008-01-14 | 2014-09-15 | 삼성전자주식회사 | 초음파 센서를 이용한 지도 작성 방법 및 이를 이용하는이동 로봇 |
US8098888B1 (en) * | 2008-01-28 | 2012-01-17 | Videomining Corporation | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras |
JP2009187482A (ja) * | 2008-02-08 | 2009-08-20 | Nippon Sogo System Kk | 棚割再現方法、棚割再現プログラム、棚割評価方法、棚割評価プログラム及び記録媒体 |
US9870629B2 (en) | 2008-06-20 | 2018-01-16 | New Bis Safe Luxco S.À R.L | Methods, apparatus and systems for data visualization and related applications |
US8014791B2 (en) * | 2008-06-30 | 2011-09-06 | Intelligent Sciences, Ltd. | Method and system for determining position of a wireless electronic device within a volume |
US20100070369A1 (en) * | 2008-09-12 | 2010-03-18 | At&T Intellectual Property I, L.P. | Method and system for locating consumers in a retail establishment |
US8939842B2 (en) | 2009-01-13 | 2015-01-27 | Meimadtek Ltd. | Method and system for operating a self-propelled vehicle according to scene images |
US9613335B2 (en) | 2009-02-25 | 2017-04-04 | Optricity Corporation | System and methods for automatic reorganization of pick slot assignments in a warehouse |
WO2011101800A1 (en) | 2010-02-17 | 2011-08-25 | Alon Atsmon | Automatic method and system for visual analysis of object against preset |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
JP4914528B1 (ja) | 2010-08-31 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | 拡張現実提供システム、情報処理端末、情報処理装置、拡張現実提供方法、情報処理方法、及びプログラム |
US9141987B2 (en) * | 2010-11-15 | 2015-09-22 | Microsoft Technology Licensing, Llc | System, method, and medium for generating a map of a geographic region based on client location data |
EP2643792A4 (en) * | 2010-11-18 | 2015-09-02 | Sky Trax Inc | LOAD TRACKING WITH LOAD IDENTIFICATION MARKINGS AND SPATIAL DISTINCTION |
US8577136B1 (en) | 2010-12-28 | 2013-11-05 | Target Brands, Inc. | Grid pixelation enhancement for in-stock analytics |
JP5905031B2 (ja) | 2011-01-28 | 2016-04-20 | インタッチ テクノロジーズ インコーポレイテッド | モバイルテレプレゼンスロボットとのインタフェーシング |
JP2012162341A (ja) * | 2011-02-04 | 2012-08-30 | Casio Computer Co Ltd | コード情報読取装置及び物品管理システム並びにプログラム |
RU2569343C2 (ru) * | 2011-03-01 | 2015-11-20 | Дзе Проктер Энд Гэмбл Компани | Отображение данных, относящихся к розничной среде, на виртуальной схеме физической розничной среды |
US8848970B2 (en) | 2011-04-26 | 2014-09-30 | Digimarc Corporation | Salient point-based arrangements |
US9785898B2 (en) * | 2011-06-20 | 2017-10-10 | Hi-Tech Solutions Ltd. | System and method for identifying retail products and determining retail product arrangements |
WO2012178048A1 (en) | 2011-06-24 | 2012-12-27 | Seegrid Corporation | Robot-enabled case picking |
US20130005443A1 (en) | 2011-07-01 | 2013-01-03 | 3G Studios, Inc. | Automated facial detection and eye tracking techniques implemented in commercial and consumer environments |
TWI622540B (zh) | 2011-09-09 | 2018-05-01 | 辛波提克有限責任公司 | 自動化儲存及取放系統 |
US10127564B2 (en) | 2011-09-15 | 2018-11-13 | Stephan HEATH | System and method for using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and information for generating mobile and internet posted promotions or offers for, and/or sales of, products and/or services |
WO2013071150A1 (en) | 2011-11-11 | 2013-05-16 | Bar Code Specialties, Inc. (Dba Bcs Solutions) | Robotic inventory systems |
US9159047B2 (en) * | 2011-11-11 | 2015-10-13 | James T. Winkel | Projected image planogram system |
US20140304107A1 (en) | 2012-12-03 | 2014-10-09 | CLARKE William McALLISTER | Webrooming with rfid-scanning robots |
EP2791860A4 (en) | 2011-12-16 | 2015-05-27 | Thomas Michael Cozad Jr | SYSTEMS AND METHODS FOR MANAGING PRODUCT LOCATION INFORMATION |
US9754169B2 (en) * | 2011-12-16 | 2017-09-05 | Nec Corporation | Information processing system, information processing method, information processing device and control method and control program thereof, and communication terminal and control method and control program thereof |
US8600844B2 (en) | 2012-02-02 | 2013-12-03 | W.W. Grainger, Inc. | Methods and systems for customizing inventory in an automated dispensing cabinet |
US8396254B1 (en) | 2012-02-09 | 2013-03-12 | Google Inc. | Methods and systems for estimating a location of a robot |
WO2013138193A2 (en) | 2012-03-12 | 2013-09-19 | Bar Code Specialties, Inc. (Dba Bcs Solutions) | Rail-mounted robotic inventory system |
WO2013134865A1 (en) * | 2012-03-16 | 2013-09-19 | In Situ Media Corporation | System and method for scanning, tracking and collating customer shopping selections |
US8851379B2 (en) | 2012-06-29 | 2014-10-07 | Intel Corporation | Method and system for decoding small sized barcodes from blurred images |
JP5891143B2 (ja) | 2012-08-24 | 2016-03-22 | 富士フイルム株式会社 | 物品マスターテーブル作成装置および方法並びにプログラム |
JP6054136B2 (ja) | 2012-10-23 | 2016-12-27 | シャープ株式会社 | 機器制御装置、および自走式電子機器 |
KR102009482B1 (ko) | 2012-10-30 | 2019-08-14 | 한화디펜스 주식회사 | 로봇의 경로계획 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체 |
US20150161715A1 (en) * | 2013-03-07 | 2015-06-11 | Google Inc. | Using indoor maps to direct consumers to sale items, shopping lists, or other specific locations in a store, retail establishment, or other geographic area |
US20140279294A1 (en) | 2013-03-14 | 2014-09-18 | Nordstrom, Inc. | System and methods for order fulfillment, inventory management, and providing personalized services to customers |
US8965561B2 (en) | 2013-03-15 | 2015-02-24 | Cybernet Systems Corporation | Automated warehousing using robotic forklifts |
CN104077306B (zh) | 2013-03-28 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 一种搜索引擎的结果排序方法及*** |
US9142151B2 (en) | 2013-06-03 | 2015-09-22 | Points Lab Co. | Robotic smart sign system and methods |
US9015072B2 (en) | 2013-08-19 | 2015-04-21 | Xerox Corporation | Method and apparatus for automated inventory management using depth sensing |
US9663309B2 (en) | 2013-09-06 | 2017-05-30 | Liquor Control Board Of Ontario (Lcbo) | Automated palletization method, system and software |
JP5913236B2 (ja) * | 2013-09-06 | 2016-04-27 | 東芝テック株式会社 | 棚割支援装置、サーバおよびプログラム |
US20150088937A1 (en) * | 2013-09-20 | 2015-03-26 | Darrin K. Lons | Systems and Methods of Mapping Locales |
US20150088701A1 (en) | 2013-09-23 | 2015-03-26 | Daniel Norwood Desmarais | System and method for improved planogram generation |
US9886678B2 (en) * | 2013-09-25 | 2018-02-06 | Sap Se | Graphic representations of planograms |
US20150098775A1 (en) | 2013-10-09 | 2015-04-09 | Sergey N. Razumov | Automatic order picking system and method in retail facility |
US9495606B2 (en) * | 2014-02-28 | 2016-11-15 | Ricoh Co., Ltd. | Method for product recognition from multiple images |
US20150310601A1 (en) | 2014-03-07 | 2015-10-29 | Digimarc Corporation | Methods and arrangements for identifying objects |
JP6699547B2 (ja) * | 2014-03-12 | 2020-05-27 | 日本電気株式会社 | 陳列状況解析装置、陳列状況解析方法およびプログラム |
US20150262116A1 (en) | 2014-03-16 | 2015-09-17 | International Business Machines Corporation | Machine vision technology for shelf inventory management |
US10453046B2 (en) * | 2014-06-13 | 2019-10-22 | Conduent Business Services, Llc | Store shelf imaging system |
US10176452B2 (en) | 2014-06-13 | 2019-01-08 | Conduent Business Services Llc | Store shelf imaging system and method |
US9659204B2 (en) * | 2014-06-13 | 2017-05-23 | Conduent Business Services, Llc | Image processing methods and systems for barcode and/or product label recognition |
JP2016057983A (ja) | 2014-09-11 | 2016-04-21 | 安川情報システム株式会社 | 自己位置推定システムおよび自己位置推定方法 |
WO2016052383A1 (ja) | 2014-09-30 | 2016-04-07 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP6202215B2 (ja) | 2014-09-30 | 2017-09-27 | 日本電気株式会社 | 情報処理装置、棚札管理システム、制御方法、及びプログラム |
GB2530769B (en) | 2014-10-01 | 2017-05-17 | Asda Stores Ltd | System and method for monitoring display unit compliance |
US10169660B1 (en) * | 2014-12-19 | 2019-01-01 | Amazon Technologies, Inc. | Counting inventory items using image analysis |
US20160217447A1 (en) | 2015-01-23 | 2016-07-28 | Shyamal K. Sarkar | Dynamic Price Change Management |
US10162043B2 (en) * | 2015-07-16 | 2018-12-25 | Sensormatic Electronics, LLC | Optical locating system |
US9930494B2 (en) * | 2015-10-13 | 2018-03-27 | Cisco Technology, Inc. | Leveraging location data from mobile devices for user classification |
WO2017083424A1 (en) * | 2015-11-09 | 2017-05-18 | Simbe Robotics, Inc. | Method for tracking stock level within a store |
US10339536B2 (en) * | 2015-11-17 | 2019-07-02 | Schneider Enterprise Resources, LLC | Geolocation compliance for a mobile workforce |
US10134146B2 (en) | 2016-01-14 | 2018-11-20 | RetailNext, Inc. | Detecting, tracking and counting objects in videos |
JP6319669B2 (ja) * | 2016-01-20 | 2018-05-09 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
US9908702B2 (en) * | 2016-02-05 | 2018-03-06 | Invia Robotics, Inc. | Robotic navigation and mapping |
WO2017172782A1 (en) * | 2016-03-29 | 2017-10-05 | Bossa Nova Robotics Ip, Inc. | SYSTEM AND METHOD FOR LOCATING, IDENTIFYING AND COUNTING lTEMS |
KR102216498B1 (ko) | 2016-05-19 | 2021-02-17 | 심베 로보틱스 인코포레이션 | 상점의 선반 상의 제품의 배치를 추적하기 위한 방법 |
EP3459033A4 (en) | 2016-05-19 | 2019-11-27 | Simbe Robotics, Inc. | METHOD FOR THE AUTOMATIC PRODUCTION OF A PLANOGRAM TO GIVE PRODUCTS TO A SHELF STRUCTURE WITHIN A STORE |
US10002344B2 (en) | 2016-10-17 | 2018-06-19 | Conduent Business Services, Llc | System and method for retail store promotional price tag detection |
US10198711B2 (en) * | 2017-02-28 | 2019-02-05 | Walmart Apollo, Llc | Methods and systems for monitoring or tracking products in a retail shopping facility |
US11134797B2 (en) | 2017-03-03 | 2021-10-05 | William R. Goehring | Space saving manual shelf management system |
US10438165B2 (en) | 2017-03-07 | 2019-10-08 | Ricoh Company, Ltd. | Planogram generation |
WO2018187788A1 (en) | 2017-04-07 | 2018-10-11 | Simbe Robotics Inc | Method for tracking stock level within a store |
USD819712S1 (en) | 2017-04-19 | 2018-06-05 | Simbe Robotics, Inc. | Inventory-tracking robotic system |
US10474988B2 (en) | 2017-08-07 | 2019-11-12 | Standard Cognition, Corp. | Predicting inventory events using foreground/background processing |
CL2017003463A1 (es) | 2017-12-28 | 2019-10-11 | Univ Pontificia Catolica Chile | Sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas |
-
2017
- 2017-05-19 KR KR1020187035807A patent/KR102216498B1/ko active IP Right Grant
- 2017-05-19 WO PCT/US2017/033655 patent/WO2017201483A1/en unknown
- 2017-05-19 CN CN201780044524.2A patent/CN109564619A/zh active Pending
- 2017-05-19 US US15/600,527 patent/US10467587B2/en active Active
- 2017-05-19 JP JP2018561047A patent/JP6728404B2/ja not_active Expired - Fee Related
- 2017-05-19 EP EP17800295.2A patent/EP3459008A4/en not_active Withdrawn
-
2019
- 2019-09-23 US US16/578,406 patent/US11341454B2/en active Active
-
2020
- 2020-07-01 JP JP2020113826A patent/JP7082160B2/ja active Active
-
2022
- 2022-04-22 US US17/727,044 patent/US20220391825A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7082160B2 (ja) | 2022-06-07 |
JP2019523925A (ja) | 2019-08-29 |
US20220391825A1 (en) | 2022-12-08 |
EP3459008A1 (en) | 2019-03-27 |
KR20190032284A (ko) | 2019-03-27 |
WO2017201483A1 (en) | 2017-11-23 |
EP3459008A4 (en) | 2019-11-27 |
US11341454B2 (en) | 2022-05-24 |
JP2020184356A (ja) | 2020-11-12 |
CN109564619A (zh) | 2019-04-02 |
US10467587B2 (en) | 2019-11-05 |
US20170337508A1 (en) | 2017-11-23 |
US20200013007A1 (en) | 2020-01-09 |
KR102216498B1 (ko) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6728404B2 (ja) | 店舗の棚への製品の配置を追跡する方法 | |
US20230131517A1 (en) | Method for automatically generating planograms of shelving structures within a store | |
US11593755B2 (en) | Method for stock keeping in a store with fixed cameras | |
US11107035B2 (en) | Method for tracking and maintaining inventory in a store | |
CN110709868A (zh) | 用于跟踪在商店内的库存水平的方法 | |
US20220058425A1 (en) | System and method for the automatic enrollment of object images into a gallery | |
US20220172156A1 (en) | Method for maintaining perpetual inventory within a store | |
US11126962B2 (en) | Method for tracking and maintaining promotional states of slots in inventory structures within a store | |
US20230421705A1 (en) | Method for stock keeping in a store with fixed cameras | |
US20230376893A1 (en) | Method for classifying product organization in an inventory structure | |
JP7434986B2 (ja) | 物品判別システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6728404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |