JP6656423B2 - 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 - Google Patents
店舗内の棚を撮像するウェイポイントを自動的に生成する方法 Download PDFInfo
- Publication number
- JP6656423B2 JP6656423B2 JP2018561051A JP2018561051A JP6656423B2 JP 6656423 B2 JP6656423 B2 JP 6656423B2 JP 2018561051 A JP2018561051 A JP 2018561051A JP 2018561051 A JP2018561051 A JP 2018561051A JP 6656423 B2 JP6656423 B2 JP 6656423B2
- Authority
- JP
- Japan
- Prior art keywords
- shelf
- store
- shelf structure
- product
- waypoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 159
- 238000003384 imaging method Methods 0.000 claims description 92
- 238000013507 mapping Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 22
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000003032 molecular docking Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 13
- 235000014171 carbonated beverage Nutrition 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000002360 preparation method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000001747 exhibiting effect Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 239000003599 detergent Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008045 co-localization Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 235000013324 preserved food Nutrition 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Finance (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Warehouses Or Storage Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本出願は、2016年5月19日に出願された米国仮出願第62/339,047号、2016年5月19日出願の米国仮出願第62/339,039号、および2016年5月19日出願の米国仮出願第62/339,045号の利益を主張しており、その全体が本参照によって援用される。
1.方法
2.応用
3.ロボットシステム
4.階層および用語
5.ロボットシステムのプロビジョニング
5−1 複数のロボットシステム
6.実際のフロアマップ
6.1 監視された棚構造の検出
7.アーキテクチャメタスペース
7.1 建築計画
7.2 棚割表と立面マップ
7.3 アーキテクチャメタスペース内の仮想棚構造
7.4 アーキテクチャメタスペースでの仮想棚区画
7.5 手動による棚構造の識別
7.6 既存のアーキテクチャメタスペース
8.正規化されたメタスペース
9.店舗の座標系
10.ウェイポイントの生成
11.パス計画
11.1 個別のウェイポイントのランキング
製品値=マージンx一日あたり販売する単位数
これにより、システムは、各ウェイポイントを占拠する際にロボットシステムの視野内のスロットに割り当てられた単一SKUの製品値を最大化することにより、ウェイポイントをランク付けすることができる。あるいは、各ウェイポイントに対して、システムは、特定のウェイポイントを占拠するときに、ロボットシステムの視野内のすべての識別可能なスロットに割り当てられたSKUの製品値を合計することによって、特定のウェイポイントについて「集約製品値」を計算することができ、その後、システムは、最大集約製品値によって、ウェイポイントをランク付けすることができる。
製品値=マージンx最後の撮像ルーチン以来販売した単位数
で計算することができる。店舗全体にわたって定義される各ウェイポイントについて、システムは、特定のウェイポイントを占拠しているとき、ロボットシステムの視野内にあるSKUの最近の販売頻度を表す新しい製品値に基づいて、特定のウェイポイントについての集約製品値を再計算することができる。これにより、システムは各ウェイポイントをランク付けしたり優先順位を付けたりすることができる。
11.2 個々のウェイポイント値によるウェイポイントの順序付け
11.3 棚構造の優先順位によるウェイポイントの順序
11.4 予定した再在庫補充期間別のウェイポイントの順序付け
11.5 予定した配送毎のウェイポイントの順序付け
11.6 手動の選択によるウェイポイントの順序付け
12.撮像ルーチン
13.製品の識別と在庫補充指示
14.正規化されたメタスペースの変形例
15.手動のウェイポイント
16.リアルタイムのウェイポイントと一時的な棚構造
Claims (20)
- 店舗内の棚を撮像するためのウェイポイントを自動的に生成する方法であって、
マッピングルーチンの間に前記店舗内の床空間のマップデータを自律的に収集するためのロボットシステムを送ることと、
前記マッピングルーチンの間に前記ロボットシステムによって収集されたマップデータから前記床空間のマップを生成することと、
前記店舗内の棚構造の集合の目標の位置とアドレスを定義するアーキテクチャメタスペースにアクセスすることと、
前記アーキテクチャメタスペースの特徴を変形させてマップ内での類似した特徴と整合させ、前記店舗内の棚構造の集合の実際の位置とアドレスを表す正規化されたメタスペースを生成することと、
前記正規化されたメタスペース内で座標系を定義することと、
前記座標系に対する前記正規化されたメタスペース内の、第1の棚構造の実際の位置に沿って、またそこからオフセットして長手方向に分布する第1のウェイポイントのサブセットを備えたウェイポイントの集合を定義することであって、棚構造の前記集合において、前記正規化されたメタスペースに表され、前記第1のウェイポイントのサブセットの各ウェイポイントは、前記ロボットシステムの中の光学センサの既知の位置と、前記正規化されたメタスペースの前記第1の棚構造の前記実際の位置に基づいて前記座標系に対する方位を定義し、
撮像ルーチンの間に、前記第1のウェイポイントのサブセットの各ウェイポイントを占拠しながら光学データを記録する前記ロボットシステムを送ることと、を含む方法。 - さらに、
前記店舗の棚割表から、前記第1の棚構造の第1のアドレスに関連付けられ、前記第1の棚構造の第1の側面に割り当てられた製品陳列面の位置を指定する第1の立面マップにアクセスすることと、
前記第1の棚構造における第1の棚区画の集合の位置を前記第1の立面マップから抽出することと、
前記正規化されたメタスペース内の前記第1の棚構造の位置に前記第1の棚区画の集合の位置を投影して前記正規化されたメタスペース内の前記第1の棚構造の棚区画を位置決めすることと、を含み、
前記正規化されたメタスペース内の前記ウェイポイントの集合を定義することは、
前記正規化されたメタスペースに表される前記第1の棚構造における各棚区画間で長手方向に中心合わせしたウェイポイントを定義することと、
前記正規化されたメタスペース内で、前記座標系に対し、前記第1の棚構造の長手面に垂直な前記角度方位を計算することと、
前記第1のウェイポイントのサブセット内の各ウェイポイントに角度方位を書き込むことができることを含む請求項1に記載の方法。 - さらに、
前記正規化されたメタスペースで表される各棚構造における各棚区画について、前記棚割表によって前記棚区画に割り当てられた製品の値の線形結合を計算することと、
前記ウェイポイントの集合内の各ウェイポイントに対して、前記ウェイポイントに隣接する棚区画に割り当てられた製品の値の線形結合に基づいて、前記ウェイポイントに値を割り当てることと、
前記ウェイポイントの集合に割り当てられた値に基づいて、前記ウェイポイントの集合の順序を定義することと、
撮像ルーチン中に実行するために、ロボットシステムへの前記ウェイポイントの集合の前記順序を提供することと、を含む請求項2に記載の方法。 - 前記ウェイポイントの集合の前記順序を定義することは、店舗内のドッキングステーションから前記ロボットシステムが、割り当てられた製品の値の最大線形結合に関連付けられた第1の棚区画に隣接する第1のウェイポイントに、そして、割り当てられた製品の値の最下位線形結合に関連付けられた第2の棚区画に隣接する第2のウェイポイントに、そして、そこからドッキングステーションに戻るまでに通過する総距離を最小限とする前記ウェイポイントの集合の前記順序を計算することを含む請求項3に記載の方法。
- 前記正規化されたメタスペースを生成することは、棚構造間の実際のギャップ、隣接する棚構造の位置ずれ、建築計画から省略された前記店舗内の棚構造、前記建築計画上に追加された前記店舗内の棚構造、および前記店舗内の棚区画の位置を表す前記正規化されたメタスペースを生成することを含む請求項2に記載の方法。
- さらに
前記第1の立面マップから前記第1の棚構造の高さを抽出することを含み、
前記正規化されたメタスペース内の前記ウェイポイントの集合を定義することは、
前記第1の棚構造の前記高さと、ロボットシステムに組み込まれたカメラの光学性能に基づいて、前記第1の棚構造からの目標とする横方向のオフセット距離を計算することと、
前記目標とする横方向のオフセット距離によって、前記第1の棚構造の前記長手面から横方向にオフセットされた前記第1のウェイポイントのサブセットを定義することとを含む請求項2に記載の方法。 - さらに、
前記ウェイポイントの集合内の各ウェイポイントに対して、ロボットシステムが前記ウェイポイントで定義した位置と方位を占拠すると、光学センサの視野に入ると予測される特定の棚構造と特定の棚区画のアドレスを有する前記ウェイポイントにラベルを付けることと、
前記撮像ルーチンの間、前記ウェイポイントの集合のうち、前記第1の棚構造の第1の棚区画に隣接する第1のウェイポイントを占拠しつつ、前記ロボットシステムによって記録された第1の画像を受信することと、
前記第1のウェイポイントに格納されている前記第1の棚区画の第1のアドレスに基づいて、前記第1の棚区画に割り当てられた製品の識別子の第1のリストにアクセスすることと、
前記第1のウェイポイントとともに格納された前記第1の製品リスト内の製品を表すテンプレート画像のデータベースから第1のテンプレート画像の集合を読み出すことと、
前記第1の画像と、前記第1のテンプレート画像の集合のテンプレート画像内に検出された特徴間の類似度に基づいて、前記第1の棚区画の棚の製品を識別することとを含む請求項2に記載の方法。 - さらに、
撮像ルーチンの間、前記第1の棚構造の第1の棚区画に隣接する第1のウェイポイントを占拠しつつ、ロボットシステムの前記第1のカメラによって記録された第1の画像を受信することと、
前記ロボットシステム上の前記第1のカメラの既知の位置に基づいて、前記第1の立面マップによって第1の棚区画に割り当てられた第1の集合棚の高さを、前記第1の画像に基づいて投影することと、
前記第1の棚区画の第1の棚に対応する前記画像内の第1の領域を識別することと、
第1の棚に割り当てられた製品の識別子の第1のリストを前記第1の立面マップによって抽出することと、
前記第1の製品リスト内の製品を表すテンプレート画像のデータベースから第1のテンプレート画像の集合を読み出すことと、
前記第1の画像の前記第1の領域で検出された特徴と、前記第1のテンプレート画像の集合のテンプレート画像の間の類似度に基づいて前記第1の棚上の製品を識別することとを含む請求項2に記載の方法。 - 前記正規化されたメタスペースを生成することは、
前記マップに表されている棚構造を検出することと、
前記アーキテクチャメタスペースに表される棚構造を検出することと、
前記アーキテクチャメタスペースで検出された棚構造に、前記マップ上で検出された棚構造を略中心合わせする変換を計算することと、
前記アーキテクチャメタスペースで棚構造と棚構造のアドレスの位置に前記変換を適用して正規化されたメタスペースを生成することとを含む請求項1に記載の方法。 - 前記アーキテクチャメタスペースにアクセスすることは、店舗に関連付けられた小売ブランドの、前記小売りブランドに関連付けられた前記店舗の棚構造の標準目標位置を画定する標準化された店舗レイアウトにアクセスすることを含み、
前記アーキテクチャメタスペースに表される棚構造を検出することは、前記標準化された店舗レイアウトに表される棚構造を検出することを含み、
前記変換を計算することは、前記マップで検出された第1の棚構造のサブセットを前記標準化された店舗レイアウトで検出された第1の棚構造のサブセットに対して略中心となるような前記変換を計算することを含み、前記アーキテクチャメタスペース内の棚構造と棚構造のアドレスの位置に前記変換を適用することは、前記正規化されたメタスペースを前記第1の棚構造のサブセットの位置とアドレスで初期化することを含み、
さらに、
前記標準化された店舗レイアウト内の最も近い棚構造の位置から閾値距離を超えて逸脱する前記マップ内の第2の棚構造のサブセットを識別することと、
前記標準化された店舗レイアウトの第2の棚構造のサブセットに、前記マップ内の前記第2の棚構造のサブセットを手動でリンクするようにユーザに指示することと、
前記マップの前記第2の棚構造のサブセットを前記正規化されたメタスペースに挿入することと、
前記アーキテクチャメタスペース内の前記第2棚構造のサブセットから正規化されたメタスペースの前記第2の棚構造のサブセットに、前記ユーザが手動で提供するリンクに基づいてアドレスを書き込むことと、を含む請求項9に記載の方法。 - 前記ロボットシステムを送って前記店舗内の前記床空間のマップデータを自律的に収集することは、演算装置におけるオペレータポータルを介して入力する前記店舗レイアウトに対する変更の兆候に呼応して前記ロボットシステムを送って、前記店舗内の前記床空間のマップデータを自律的に収集することを含み、
前記正規化されたメタスペースを生成することは、前記店舗レイアウトに対する変更を表す前記正規化されたメタスペースを生成することを含み、
前記ウェイポイントの集合を定義することは、前記正規化されたメタスペースに表される前記店舗レイアウトへの前記変更にしたがって、ウェイポイントの前記集合を定義することを含む請求項1に記載の方法。 - さらに、
前記マッピングルーチンの間、第1の位置を占拠しながら前記ロボットシステムによって記録された第1の画像を受信することと、
第1の通路のアドレスの前記第1の画像を走査することと、
前記ロボットシステムの前記第1の位置と前記ロボットシステムに一体化されたカメラの既知の位置に基づいて前記マップ上に前記第1の通路のアドレスを投影することと、
前記第1の通路のアドレスと、前記アーキテクチャメタスペースから前記正規化されたメタスペースへインポートされたアドレスの間の整合に基づいて前記マップへの前記アーキテクチャメタスペースの整合を確認することとを含む請求項1に記載の方法。 - さらに、
前記撮像ルーチンの間に前記ウェイポイントの集合の中で第1のウェイポイントを占拠するときに前記ロボットシステムによって記録された視覚データを含む第1の画像にアクセスすることと、
前記第1の画像内の第1の棚を検出することと、
前記第1のウェイポイントと関連付けられた第1の棚構造の第1のアドレスと、前記第1の画像内の前記第1の棚の垂直方向の位置とに基づいて、前記第1の棚のアドレスを判別することと、
前記第1の棚のアドレスに基づいて、前記店舗の棚割表によって前記第1の棚に割り当てられた第1の製品リストを読み出すことと、
それぞれが前記第1の製品リストに指定された製品の視覚的特徴を含む第1のテンプレート画像の集合をテンプレート画像のデータベースから読み出すことと、
前記第1の棚に隣接する前記第1の画像の第1の領域から第1の特徴の集合を抽出することと、
前記第1の特徴の集合と前記第1の製品を表す前記第1のテンプレート画像の集合の中の第1のテンプレート画像の特徴の間の相関に呼応して、前記第1の棚に前記第1の製品リストに第1の製品の単位が存在するかを確認することと、
前記第1の特徴の集合の中の特徴と、前記第1のテンプレート画像の中の特徴の間の偏差に呼応して第1の製品の単位が前記第1の棚に不適切に在庫保有されていることを判断することと、
前記第1の製品の前記単位が前記第1の棚に不適切に在庫保有されている旨の判断に呼応して、前記第1の棚上の前記第1の製品に対して第1の在庫補充の指示を生成することと、を含む請求項1に記載の方法。 - さらに、
前記ロボットシステムでは、前記撮像ルーチンの間に
前記ロボットシステムの第2の光学センサの視野内でマトリクスバーコードを検出することと、
前記第2の光学センサの視野内のマトリクスバーコードの位置と方位に基づいて、光学センサの視野をマトリクスバーコードに結合させた一時的な棚構造に整合させる第1の位置および第1の方位を定義する一時的なウェイポイントを計算することと、
前記一時的なウェイポイントを占拠しながら、前記光学センサを通して第1の画像を記録することと、
前記マトリクスバーコードに基づいて前記一時的な棚構造のアイデンティティを判断することと、
前記一時的な棚構造の前記アイデンティティに基づいて、前記店舗の棚割表によって前記一時的な棚構造に割り当てられた第1の製品リストを読み出すことと、
それぞれが前記第1の製品リストに指定された製品の視覚的特徴を含む第1のテンプレート画像の集合をテンプレート画像のデータベースから読み出すことと、
前記第1の画像の特徴と前記第1の製品を表す前記第1のテンプレート画像の集合の第1のテンプレート画像の特徴の間の相関に呼応して一時的な棚構造の前記第1の製品リストから前記第1の製品の単位の存在を確認することと、
前記第1の画像の特徴と、第2の製品を表す前記第1のテンプレート画像の集合の第2のテンプレート画像の特徴の間の偏差に呼応して前記一時的な棚構造上に第2の製品の単位が不適切に在庫保有されていると判断することと、
前記第2の製品の単位が前記一時的な棚構造に不適切に在庫保有されていると判断することに呼応して、一時的な棚構造上の前記第2の製品について第1の在庫補充指示を生成することとを含む請求項1に記載の方法。 - 前記一時的なウェイポイントを計算することは、
前記第2の光学センサの前記視野内の前記マトリクスバーコードの位置および方位、並びに座標系に対する前記ロボットシステムの位置および方位に基づいて、前記座標系に対する前記一時的な棚構造の正面の前記位置および前記方位を計算することと、
前記光学センサの前記一時的な棚構造の前記正面からの目標の画像の距離を適用して前記一時的なウェイポイントを計算することと、を含む請求項14に記載の方法。 - 店舗内の棚を撮像するためのウェイポイントを自動的に生成する方法であって、
前記店舗内の床空間を自律的にマッピングするためのロボットシステムを送ることと、
前記ロボットシステムから前記床空間のマップを受信することと、
前記店舗内の棚構造の位置と前記店舗内の棚構造のアドレスを定義するアーキテクチャメタスペースにアクセスすることと、
前記マップの特徴に前記アーキテクチャメタスペースの特徴を整合させることによって、正規化されたメタスペースを生成することと、
前記正規化されたメタスペース内の前記店舗の座標系を定義することと、
前記正規化されたメタスペース内の棚構造の位置とロボットシステムの撮像能力に基づいて正規化されたメタスペース内の、前記座標系に対する位置と方位を含むウェイポイントの集合を定義することと、
前記ウェイポイントの近傍にある棚構造のアドレスと共に、前記ウェイポイントの集合の各ウェイポイントにラベルを付けることと、
後続の撮像ルーチンで実行するために、前記ロボットシステムに前記ウェイポイントの集合をアップロードすることと、
前記撮像ルーチンの間に前記ウェイポイントの集合の中で第1のウェイポイントを占拠するときに前記ロボットシステムによって記録された視覚データを含む第1の画像にアクセスすることと、
前記第1の画像内の第1の棚を検出することと、
前記第1のウェイポイントと関連付けられた第1の棚構造の第1のアドレスと、前記第1の画像内の前記第1の棚の垂直方向の位置とに基づいて、前記第1の棚のアドレスを判別することと、
前記第1の棚のアドレスに基づいて、前記店舗の棚割表によって前記第1の棚に割り当てられた第1の製品リストを読み出すことと、
それぞれが前記第1の製品リストに指定された製品の視覚的特徴を含む第1のテンプレート画像の集合をテンプレート画像のデータベースから読み出すことと、
前記第1の棚に隣接する前記第1の画像の第1の領域から第1の特徴の集合を抽出することと、
前記第1の特徴の集合と前記第1の製品を表す前記第1のテンプレート画像の集合の中の第1のテンプレート画像の特徴の間の相関に呼応して、前記第1の棚に前記第1の製品リストに第1の製品の単位が存在するかを確認することとを含む方法。 - さらに、
前記第1の特徴の集合の中の特徴と、前記第1のテンプレート画像の中の特徴の間の偏差に呼応して第1の製品の単位が前記第1の棚に不適切に在庫保有されていることを判断することと、
前記第1の製品の前記単位が前記第1の棚に不適切に在庫保有されている旨の判断に呼応して、前記第1の棚上の前記第1の製品に対して第1の在庫補充の指示を生成することと、を含む請求項16に記載の方法。 - さらに、
前記店舗の棚割表から、前記第1の棚構造の第1のアドレスに関連付けられ、前記第1の棚構造の第1の側面に割り当てられた製品陳列面の位置を指定する第1の立面マップにアクセスすることと、
前記第1の棚構造における第1の棚区画の集合の位置を前記第1の立面マップから抽出することと、
前記正規化されたメタスペース内の前記第1の棚構造の位置に前記第1の棚区画の集合の位置を投影して前記正規化されたメタスペース内の前記第1の棚構造の棚区画を位置決めすることと、を含み、
前記正規化されたメタスペース内の前記ウェイポイントの集合を定義することは、
前記正規化されたメタスペースに表される前記第1の棚構造における各棚区画間で長手方向に中心合わせしたウェイポイントを定義することと、
前記正規化されたメタスペース内で、前記座標系に対し、前記第1の棚構造の長手面に垂直な前記角度方位を計算することと、
前記第1のウェイポイントのサブセット内の各ウェイポイントに角度方位を書き込むことができることを含む請求項16に記載の方法。 - さらに、
前記ロボットシステムでは、前記撮像ルーチンの間に
前記ロボットシステムの第2の光学センサの視野内でマトリクスバーコードを検出することと、
前記第2の光学センサの視野内のマトリクスバーコードの位置と方位に基づいて、光学センサの視野をマトリクスバーコードに結合させた一時的な棚構造に整合させる第1の位置および第1の方位を定義する一時的なウェイポイントを計算することと、
前記一時的なウェイポイントを占拠しながら、前記光学センサを通して第2の画像を記録することと、
前記マトリクスバーコードに基づいて前記一時的な棚構造のアイデンティティを判断することと、
前記一時的な棚構造の前記アイデンティティに基づいて、前記一時的な棚構造に関連付けられた第2の棚割表によって前記一時的な棚構造に割り当てられた第1の製品リストを読み出すことと、
それぞれが前記第1の製品リストに指定された製品の視覚的特徴を含む第1のテンプレート画像の集合を前記テンプレート画像のデータベースから読み出すことと、
前記第2の画像の特徴と第2の製品を表す前記第1のテンプレート画像の集合の第1のテンプレート画像の特徴の間の相関に呼応して前記一時的な棚構造の前記第1の製品リストから前記第2の製品の単位の存在を確認することと、
前記第2の画像の特徴と第2のテンプレート画像の特徴の間の偏差に呼応して前記一時的な棚構造上に前記第2の製品の単位が不適切に在庫保有されていると判断することと、
前記第2の製品の前記単位が前記一時的な棚構造に不適切に在庫保有されていると判断することに呼応して、前記一時的な棚構造上の前記第2の製品について第1の在庫補充指示を生成することとを含む請求項16に記載の方法。 - さらに、
前記撮像ルーチンの間に前記ロボットシステムによって収集された画像に基づいて、店舗内の棚構造物上の製品の単位を検出することと、
前記店舗の棚構造物で検出された製品の単位と前記店舗の前記棚割表との偏差に基づいて、グローバルな在庫補充リストを生成することと、
前記グローバルな在庫補充リストを前記店舗の共同出資者に提供することと、
前記一時的な棚構造で検出された製品の単位と前記一時的な棚構造に関連付けられた前記棚割表の間の偏差に基づいて一時的な在庫補充リストを生成することと、
前記一時的な在庫補充リストを前記店舗外の前記一時的な棚構造物のアフィリエイトに提供することと、を含む請求項19に記載の方法。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662339039P | 2016-05-19 | 2016-05-19 | |
US201662339045P | 2016-05-19 | 2016-05-19 | |
US201662339047P | 2016-05-19 | 2016-05-19 | |
US62/339,047 | 2016-05-19 | ||
US62/339,039 | 2016-05-19 | ||
US62/339,045 | 2016-05-19 | ||
US15/347,689 US10607182B2 (en) | 2015-11-09 | 2016-11-09 | Method for tracking stock level within a store |
US15/347,689 | 2016-11-09 | ||
PCT/US2017/033660 WO2017201486A1 (en) | 2016-05-19 | 2017-05-19 | Method for automatically generating waypoints for imaging shelves within a store |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020016973A Division JP6860714B2 (ja) | 2016-05-19 | 2020-02-04 | 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019517077A JP2019517077A (ja) | 2019-06-20 |
JP6656423B2 true JP6656423B2 (ja) | 2020-03-04 |
Family
ID=60325669
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018561051A Expired - Fee Related JP6656423B2 (ja) | 2016-05-19 | 2017-05-19 | 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 |
JP2018560993A Expired - Fee Related JP6744430B2 (ja) | 2016-05-19 | 2017-05-19 | 製品を店舗内の棚構造に割り当てる棚割表を自動的に生成する方法 |
JP2020016973A Active JP6860714B2 (ja) | 2016-05-19 | 2020-02-04 | 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560993A Expired - Fee Related JP6744430B2 (ja) | 2016-05-19 | 2017-05-19 | 製品を店舗内の棚構造に割り当てる棚割表を自動的に生成する方法 |
JP2020016973A Active JP6860714B2 (ja) | 2016-05-19 | 2020-02-04 | 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 |
Country Status (5)
Country | Link |
---|---|
US (6) | US10625426B2 (ja) |
EP (2) | EP3459033A4 (ja) |
JP (3) | JP6656423B2 (ja) |
CN (1) | CN109564651A (ja) |
WO (2) | WO2017201490A1 (ja) |
Families Citing this family (128)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468500B2 (en) * | 2014-05-12 | 2022-10-11 | Blackhawk Network, Inc. | Optimized planograms |
CN106885813B (zh) * | 2015-12-16 | 2019-06-07 | 清华大学 | 检查货物的方法、***和装置 |
US10318843B2 (en) * | 2016-03-30 | 2019-06-11 | Rakuten Kobo, Inc. | Method and apparatus for image processing and comparison based on spatial relationships between image features |
US11593755B2 (en) * | 2016-05-19 | 2023-02-28 | Simbe Robotics, Inc. | Method for stock keeping in a store with fixed cameras |
US10467587B2 (en) | 2016-05-19 | 2019-11-05 | Simbe Robotics, Inc. | Method for tracking placement of products on shelves in a store |
WO2018016494A1 (ja) * | 2016-07-20 | 2018-01-25 | 株式会社サンクレエ | 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法 |
US10265856B2 (en) * | 2016-07-21 | 2019-04-23 | X Development Llc | Reorienting a distance sensor using an adjustable leveler |
US10679275B2 (en) * | 2016-08-19 | 2020-06-09 | Jacob Kaufman | System and method for locating in-store products |
EP3526728B1 (en) * | 2016-10-12 | 2024-04-24 | Tata Consultancy Services Limited | System and method for object recognition based estimation of planogram compliance |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10929759B2 (en) | 2017-04-06 | 2021-02-23 | AIBrain Corporation | Intelligent robot software platform |
US10963493B1 (en) | 2017-04-06 | 2021-03-30 | AIBrain Corporation | Interactive game with robot system |
US11151992B2 (en) * | 2017-04-06 | 2021-10-19 | AIBrain Corporation | Context aware interactive robot |
US10839017B2 (en) | 2017-04-06 | 2020-11-17 | AIBrain Corporation | Adaptive, interactive, and cognitive reasoner of an autonomous robotic system utilizing an advanced memory graph structure |
US10810371B2 (en) | 2017-04-06 | 2020-10-20 | AIBrain Corporation | Adaptive, interactive, and cognitive reasoner of an autonomous robotic system |
US11978011B2 (en) | 2017-05-01 | 2024-05-07 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US10505057B2 (en) | 2017-05-01 | 2019-12-10 | Symbol Technologies, Llc | Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
US10742940B2 (en) | 2017-05-05 | 2020-08-11 | VergeSense, Inc. | Method for monitoring occupancy in a work area |
US11044445B2 (en) | 2017-05-05 | 2021-06-22 | VergeSense, Inc. | Method for monitoring occupancy in a work area |
US11600084B2 (en) | 2017-05-05 | 2023-03-07 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
WO2018226644A1 (en) * | 2017-06-08 | 2018-12-13 | Walmart Apollo, Llc | Augmented touch-sensitive display system |
US10933533B2 (en) * | 2017-06-23 | 2021-03-02 | Kindred Systems Inc. | Systems, devices, articles, and methods for stow verification |
JP6440043B1 (ja) * | 2017-06-27 | 2018-12-19 | 株式会社マーケットヴィジョン | 商品特定システム |
DE102018116065A1 (de) | 2017-07-13 | 2019-01-17 | Vorwerk & Co. Interholding Gmbh | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Servicegerätes |
DE102017115847A1 (de) * | 2017-07-14 | 2019-01-17 | Vorwerk & Co. Interholding Gmbh | Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Roboters |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
US11448508B2 (en) * | 2017-10-13 | 2022-09-20 | Kohl's, Inc. | Systems and methods for autonomous generation of maps |
WO2019087519A1 (ja) * | 2017-10-30 | 2019-05-09 | パナソニックIpマネジメント株式会社 | 棚監視装置、棚監視方法、及び、棚監視プログラム |
US11039084B2 (en) * | 2017-11-14 | 2021-06-15 | VergeSense, Inc. | Method for commissioning a network of optical sensors across a floor space |
US10642293B2 (en) * | 2018-01-10 | 2020-05-05 | Simbe Robotics, Inc. | Method for monitoring temperature-controlled units in a store |
WO2019140091A1 (en) | 2018-01-10 | 2019-07-18 | Trax Technology Solutions Pte Ltd. | Automatically monitoring retail products based on captured images |
US10643059B2 (en) * | 2018-01-10 | 2020-05-05 | Trax Technology Solutions Pte Ltd. | Inspecting store shelf capacity |
US10445913B2 (en) | 2018-03-05 | 2019-10-15 | Faro Technologies, Inc. | System and method of scanning and editing two dimensional floorplans |
US11048374B2 (en) * | 2018-03-08 | 2021-06-29 | Ebay Inc. | Online pluggable 3D platform for 3D representations of items |
WO2019191605A1 (en) * | 2018-03-30 | 2019-10-03 | Jabil Inc. | Apparatus, system, and method of providing hazard detection and control for a mobile robot |
CN110351678B (zh) | 2018-04-03 | 2021-08-20 | 汉朔科技股份有限公司 | 商品定位方法及装置、设备和存储介质 |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US10755229B2 (en) | 2018-04-11 | 2020-08-25 | International Business Machines Corporation | Cognitive fashion-ability score driven fashion merchandising acquisition |
AU2018203338B2 (en) * | 2018-05-14 | 2020-06-25 | Deutsche Post Ag | Autonomous robot vehicle |
US11538083B2 (en) | 2018-05-17 | 2022-12-27 | International Business Machines Corporation | Cognitive fashion product recommendation system, computer program product, and method |
US10956928B2 (en) | 2018-05-17 | 2021-03-23 | International Business Machines Corporation | Cognitive fashion product advertisement system and method |
JP2019200697A (ja) * | 2018-05-18 | 2019-11-21 | 東芝テック株式会社 | 棚管理システムおよびプログラム |
US10691745B2 (en) * | 2018-05-23 | 2020-06-23 | At&T Intellectual Property I, L.P. | Planogram compliance scoring based on image analysis |
AU2019278136A1 (en) | 2018-06-01 | 2020-12-17 | Beijing Geekplus Technology Co., Ltd. | Management method, device and system applied to goods-to-person system, server and computer storage medium |
US10963744B2 (en) | 2018-06-27 | 2021-03-30 | International Business Machines Corporation | Cognitive automated and interactive personalized fashion designing using cognitive fashion scores and cognitive analysis of fashion trends and data |
US10934045B2 (en) | 2018-07-27 | 2021-03-02 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
JP7347435B2 (ja) * | 2018-09-12 | 2023-09-20 | ソニーグループ株式会社 | 画像処理装置、プログラムおよび画像処理方法 |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
ES2951128T3 (es) * | 2018-11-07 | 2023-10-18 | Wuerth Int Ag | Sistema de gestión de almacenes, con detección de posición de artículos y áreas de almacén asociadas |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11090811B2 (en) * | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11120707B2 (en) * | 2018-11-15 | 2021-09-14 | International Business Machines Corporation | Cognitive snapshots for visually-impaired users |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
US11631119B2 (en) * | 2019-01-11 | 2023-04-18 | Target Brands, Inc. | Electronic product recognition |
EP3938975A4 (en) | 2019-03-15 | 2022-12-14 | Vergesense, Inc. | ARRIVAL DETECTION OF BATTERY POWERED OPTICAL SENSORS |
EP3953879A4 (en) * | 2019-04-11 | 2022-11-23 | Carnegie Mellon University | SYSTEM AND PROCEDURE FOR ASSOCIATION OF PRODUCTS AND PRODUCT LABELS |
CN110118973B (zh) * | 2019-05-27 | 2020-12-18 | 杭州亚美利嘉科技有限公司 | 仓库智能感知识别方法、装置及电子设备 |
US10956696B2 (en) | 2019-05-31 | 2021-03-23 | Advanced New Technologies Co., Ltd. | Two-dimensional code identification and positioning |
CN115456002A (zh) * | 2019-05-31 | 2022-12-09 | 创新先进技术有限公司 | 二维码识别方法、二维码定位识别模型建立方法及其装置 |
CN110189319B (zh) * | 2019-05-31 | 2021-08-13 | 北京百度网讯科技有限公司 | 置物架分割方法、装置、设备和存储介质 |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
US11037099B2 (en) * | 2019-06-10 | 2021-06-15 | Salesforce.Com, Inc. | System and method for live product report generation without annotated training data |
US11093785B1 (en) * | 2019-06-27 | 2021-08-17 | Amazon Technologies, Inc. | Inferring facility planograms |
EP3994532A4 (en) * | 2019-07-02 | 2023-07-19 | Brain Corporation | SYSTEMS AND METHODS FOR FEATURE DETECTION IN DATA COLLECTED BY A PLURALITY OF ROBOTS BY A CENTRALIZED SERVER |
CN110363138A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 模型训练方法、图像处理方法、装置、终端及存储介质 |
CA3087587A1 (en) | 2019-07-24 | 2021-01-24 | Walmart Apollo, Llc | Systems and methods for automated association of product information with electronic shelf labels |
US11915192B2 (en) | 2019-08-12 | 2024-02-27 | Walmart Apollo, Llc | Systems, devices, and methods for scanning a shopping space |
US11620808B2 (en) | 2019-09-25 | 2023-04-04 | VergeSense, Inc. | Method for detecting human occupancy and activity in a work area |
GB201914058D0 (en) * | 2019-09-30 | 2019-11-13 | Botsandus Ltd | A robot fleet and control system therefor |
CN112817510B (zh) * | 2019-11-15 | 2022-11-15 | 台达电子工业股份有限公司 | 图形程序语言的垂直线连续编辑方法 |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
DE112020005958T5 (de) * | 2019-12-05 | 2022-09-22 | Sensitel Inc. | System und Verfahren zum Zählen und Überwachen von Behältern |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
RU2736559C1 (ru) * | 2019-12-27 | 2020-11-18 | Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» | Способ навигации мобильного сервисного робота |
US20210209550A1 (en) * | 2020-01-08 | 2021-07-08 | Zebra Technologies Corporation | Systems, apparatuses, and methods for triggering object recognition and planogram generation via shelf sensors |
WO2021142388A1 (en) * | 2020-01-10 | 2021-07-15 | Adroit Worldwide Media, Inc. | System and methods for inventory management |
US11126962B2 (en) * | 2020-02-05 | 2021-09-21 | Simbe Robotics, Inc. | Method for tracking and maintaining promotional states of slots in inventory structures within a store |
US11328170B2 (en) * | 2020-02-19 | 2022-05-10 | Toyota Research Institute, Inc. | Unknown object identification for robotic device |
US11734767B1 (en) | 2020-02-28 | 2023-08-22 | State Farm Mutual Automobile Insurance Company | Systems and methods for light detection and ranging (lidar) based generation of a homeowners insurance quote |
CN113449749B (zh) * | 2020-03-25 | 2023-02-17 | 日日顺供应链科技股份有限公司 | 一种货位高度确定方法及*** |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
CN111126536A (zh) * | 2020-03-31 | 2020-05-08 | 炬星科技(深圳)有限公司 | 储位点信息生成方法、设备及存储介质 |
CN113298452A (zh) * | 2020-06-01 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 商品库存确定方法及装置、商品处理方法及装置 |
EP4208763A1 (en) * | 2020-06-19 | 2023-07-12 | MetraLabs GmbH Neue Technologien und Systeme | Method of operating a mobile device |
KR102672536B1 (ko) * | 2020-07-15 | 2024-06-04 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라에서의 시점 수차-보정 |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
CN112433537B (zh) * | 2020-11-11 | 2022-09-16 | 广西电网有限责任公司电力科学研究院 | 一种输电线路铁塔组立施工的可视化监督方法及*** |
CN112733346B (zh) * | 2020-12-31 | 2022-08-09 | 博迈科海洋工程股份有限公司 | 一种电气操作间宜人化区域规划方法 |
US11914733B2 (en) * | 2021-01-21 | 2024-02-27 | International Business Machines Corporation | Timing for user data erasure requests |
WO2022187354A1 (en) * | 2021-03-04 | 2022-09-09 | Focal Systems, Inc. | On-shelf image based barcode reader for inventory management system |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
US20230023551A1 (en) | 2021-07-20 | 2023-01-26 | Murata Machinery, Ltd. | Autonomous traveling body |
WO2023023366A1 (en) * | 2021-08-19 | 2023-02-23 | Rehrig Pacific Company | Imaging system with unsupervised learning |
US11941860B2 (en) * | 2021-09-24 | 2024-03-26 | Zebra Tehcnologies Corporation | Computational load mitigation for image-based item recognition |
CN114511694B (zh) * | 2022-01-28 | 2023-05-12 | 北京百度网讯科技有限公司 | 图像识别方法、装置、电子设备和介质 |
CN114727064B (zh) * | 2022-04-02 | 2022-11-25 | 清华大学 | 施工安全宏观监控***及方法 |
CN114890035B (zh) * | 2022-06-16 | 2023-05-12 | 合肥新思路智能科技有限公司 | 一种立体仓库用amr移动机器人货物自动存放方法 |
WO2024003966A1 (ja) * | 2022-06-27 | 2024-01-04 | 日本電信電話株式会社 | 設備情報管理システム、及び設備情報管理方法 |
WO2024013596A1 (en) * | 2022-07-11 | 2024-01-18 | Oriient New Media Ltd. | Realogram generation from crowdsourced indoor positioning system and product scan data |
WO2024073237A1 (en) | 2022-09-29 | 2024-04-04 | NOMAD Go, Inc. | Methods and apparatus for machine learning system for edge computer vision and active reality |
CN115879861B (zh) * | 2023-01-07 | 2023-09-01 | 南京东华材料科技有限公司 | 一种金属材料仓储数据采集分析管理方法 |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5226782A (en) * | 1990-05-07 | 1993-07-13 | Stanley-Vidmar, Inc. | Automatic storage and retrieval system |
US5583950A (en) * | 1992-09-16 | 1996-12-10 | Mikos, Ltd. | Method and apparatus for flash correlation |
JP2000306077A (ja) * | 1999-04-21 | 2000-11-02 | Hitachi Zosen Corp | 図書管理設備 |
US6553402B1 (en) * | 1999-05-05 | 2003-04-22 | Nextpage, Inc. | Method for coordinating activities and sharing information using a data definition language |
US6845297B2 (en) * | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
US6584375B2 (en) | 2001-05-04 | 2003-06-24 | Intellibot, Llc | System for a retail environment |
US20030154141A1 (en) * | 2001-09-18 | 2003-08-14 | Pro Corp Holdings International Ltd. | Image recognition inventory management system |
US8326451B2 (en) * | 2002-08-19 | 2012-12-04 | Q-Track Corporation | Inventory control and method |
US7356393B1 (en) * | 2002-11-18 | 2008-04-08 | Turfcentric, Inc. | Integrated system for routine maintenance of mechanized equipment |
US20040162765A1 (en) * | 2003-02-19 | 2004-08-19 | Hobie Reber | System and a method for locating an item offered for sale by a merchant |
US20070061041A1 (en) * | 2003-09-02 | 2007-03-15 | Zweig Stephen E | Mobile robot with wireless location sensing apparatus |
JP4181102B2 (ja) * | 2004-03-31 | 2008-11-12 | 株式会社東芝 | 循環型ビジネス評価装置、循環型ビジネス評価方法およびプログラム |
US20050261975A1 (en) | 2004-04-21 | 2005-11-24 | Ross Carver | Graphics-based inventory control system |
JP2005339408A (ja) * | 2004-05-28 | 2005-12-08 | Toshiba Corp | 自走式ロボット及びその制御方法 |
JP4833544B2 (ja) * | 2004-12-17 | 2011-12-07 | パナソニック株式会社 | 半導体装置 |
US8429004B2 (en) * | 2005-04-13 | 2013-04-23 | Store Eyes, Inc. | Method and system for automatically measuring retail store display compliance |
US7475205B2 (en) * | 2005-12-01 | 2009-01-06 | International Business Machines Corporation | System for inventory control of an automated data storage library |
US20070288296A1 (en) * | 2006-05-05 | 2007-12-13 | Graham Lewis | System and method for automatic placement of products within shelving areas using a planogram with two-dimensional sequencing |
US7733230B2 (en) * | 2006-07-26 | 2010-06-08 | Sensormatic Electronics, LLC | Mobile readpoint system and method for reading electronic tags |
US7693757B2 (en) * | 2006-09-21 | 2010-04-06 | International Business Machines Corporation | System and method for performing inventory using a mobile inventory robot |
JP4490997B2 (ja) * | 2007-07-18 | 2010-06-30 | 株式会社東芝 | 移動ロボット |
US8009864B2 (en) * | 2007-08-31 | 2011-08-30 | Accenture Global Services Limited | Determination of inventory conditions based on image processing |
US8189855B2 (en) * | 2007-08-31 | 2012-05-29 | Accenture Global Services Limited | Planogram extraction based on image processing |
US9135491B2 (en) * | 2007-08-31 | 2015-09-15 | Accenture Global Services Limited | Digital point-of-sale analyzer |
US8630924B2 (en) * | 2007-08-31 | 2014-01-14 | Accenture Global Services Limited | Detection of stock out conditions based on image processing |
KR101437916B1 (ko) * | 2008-01-14 | 2014-09-15 | 삼성전자주식회사 | 초음파 센서를 이용한 지도 작성 방법 및 이를 이용하는이동 로봇 |
US8098888B1 (en) * | 2008-01-28 | 2012-01-17 | Videomining Corporation | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras |
US8014791B2 (en) * | 2008-06-30 | 2011-09-06 | Intelligent Sciences, Ltd. | Method and system for determining position of a wireless electronic device within a volume |
US20100070369A1 (en) * | 2008-09-12 | 2010-03-18 | At&T Intellectual Property I, L.P. | Method and system for locating consumers in a retail establishment |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US8718837B2 (en) | 2011-01-28 | 2014-05-06 | Intouch Technologies | Interfacing with a mobile telepresence robot |
US8894256B2 (en) * | 2011-05-18 | 2014-11-25 | Peter Gold | Motor vehicle window having frame with electrical illumination means |
US9785898B2 (en) * | 2011-06-20 | 2017-10-10 | Hi-Tech Solutions Ltd. | System and method for identifying retail products and determining retail product arrangements |
EP3246775B1 (en) | 2011-06-24 | 2018-12-26 | Seegrid Corporation | Automatic guided vehicle for order picking |
WO2013071150A1 (en) | 2011-11-11 | 2013-05-16 | Bar Code Specialties, Inc. (Dba Bcs Solutions) | Robotic inventory systems |
WO2013138193A2 (en) | 2012-03-12 | 2013-09-19 | Bar Code Specialties, Inc. (Dba Bcs Solutions) | Rail-mounted robotic inventory system |
JP5891143B2 (ja) * | 2012-08-24 | 2016-03-22 | 富士フイルム株式会社 | 物品マスターテーブル作成装置および方法並びにプログラム |
JP6054136B2 (ja) * | 2012-10-23 | 2016-12-27 | シャープ株式会社 | 機器制御装置、および自走式電子機器 |
US20150161715A1 (en) * | 2013-03-07 | 2015-06-11 | Google Inc. | Using indoor maps to direct consumers to sale items, shopping lists, or other specific locations in a store, retail establishment, or other geographic area |
US20140279294A1 (en) | 2013-03-14 | 2014-09-18 | Nordstrom, Inc. | System and methods for order fulfillment, inventory management, and providing personalized services to customers |
US9663309B2 (en) | 2013-09-06 | 2017-05-30 | Liquor Control Board Of Ontario (Lcbo) | Automated palletization method, system and software |
US20150088937A1 (en) * | 2013-09-20 | 2015-03-26 | Darrin K. Lons | Systems and Methods of Mapping Locales |
US9495606B2 (en) * | 2014-02-28 | 2016-11-15 | Ricoh Co., Ltd. | Method for product recognition from multiple images |
US10176452B2 (en) * | 2014-06-13 | 2019-01-08 | Conduent Business Services Llc | Store shelf imaging system and method |
US10453046B2 (en) * | 2014-06-13 | 2019-10-22 | Conduent Business Services, Llc | Store shelf imaging system |
JP2016057983A (ja) * | 2014-09-11 | 2016-04-21 | 安川情報システム株式会社 | 自己位置推定システムおよび自己位置推定方法 |
US10162043B2 (en) * | 2015-07-16 | 2018-12-25 | Sensormatic Electronics, LLC | Optical locating system |
EP3374947A4 (en) * | 2015-11-09 | 2019-03-27 | Simbe Robotics, Inc. | METHOD FOR FOLLOWING A STOCK LEVEL IN A STORE |
US9984451B2 (en) * | 2015-12-18 | 2018-05-29 | Michael Gormish | Linear grouping of recognized items in an image |
-
2017
- 2017-05-19 CN CN201780044793.9A patent/CN109564651A/zh active Pending
- 2017-05-19 EP EP17800301.8A patent/EP3459033A4/en not_active Withdrawn
- 2017-05-19 JP JP2018561051A patent/JP6656423B2/ja not_active Expired - Fee Related
- 2017-05-19 US US15/600,591 patent/US10625426B2/en active Active
- 2017-05-19 EP EP17800298.6A patent/EP3458235A4/en not_active Withdrawn
- 2017-05-19 JP JP2018560993A patent/JP6744430B2/ja not_active Expired - Fee Related
- 2017-05-19 WO PCT/US2017/033668 patent/WO2017201490A1/en unknown
- 2017-05-19 US US15/600,556 patent/US10399230B2/en not_active Expired - Fee Related
- 2017-05-19 WO PCT/US2017/033660 patent/WO2017201486A1/en unknown
-
2019
- 2019-07-16 US US16/513,228 patent/US11130239B2/en active Active
-
2020
- 2020-02-04 JP JP2020016973A patent/JP6860714B2/ja active Active
- 2020-03-16 US US16/820,539 patent/US20200215698A1/en not_active Abandoned
-
2021
- 2021-08-25 US US17/412,065 patent/US20210379765A1/en not_active Abandoned
-
2022
- 2022-08-25 US US17/896,004 patent/US20230131517A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN109564651A (zh) | 2019-04-02 |
US10399230B2 (en) | 2019-09-03 |
EP3459033A4 (en) | 2019-11-27 |
WO2017201486A1 (en) | 2017-11-23 |
EP3459033A1 (en) | 2019-03-27 |
JP2019517077A (ja) | 2019-06-20 |
JP6860714B2 (ja) | 2021-04-21 |
JP2020098617A (ja) | 2020-06-25 |
US20180001481A1 (en) | 2018-01-04 |
US10625426B2 (en) | 2020-04-21 |
US20210379765A1 (en) | 2021-12-09 |
EP3458235A1 (en) | 2019-03-27 |
US20190337158A1 (en) | 2019-11-07 |
US20180005035A1 (en) | 2018-01-04 |
US11130239B2 (en) | 2021-09-28 |
US20200215698A1 (en) | 2020-07-09 |
JP6744430B2 (ja) | 2020-08-19 |
JP2019523924A (ja) | 2019-08-29 |
WO2017201490A1 (en) | 2017-11-23 |
US20230131517A1 (en) | 2023-04-27 |
EP3458235A4 (en) | 2019-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6656423B2 (ja) | 店舗内の棚を撮像するウェイポイントを自動的に生成する方法 | |
US11341454B2 (en) | Method for tracking placement of products on shelves in a store | |
US9928438B2 (en) | High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database | |
US11593755B2 (en) | Method for stock keeping in a store with fixed cameras | |
US11107035B2 (en) | Method for tracking and maintaining inventory in a store | |
CN110709868A (zh) | 用于跟踪在商店内的库存水平的方法 | |
US20180101813A1 (en) | Method and System for Product Data Review | |
US20220147914A1 (en) | Method for managing click and delivery shopping events | |
US20220172156A1 (en) | Method for maintaining perpetual inventory within a store | |
US20230421705A1 (en) | Method for stock keeping in a store with fixed cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6656423 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |