JP6755292B2 - How to associate target objects with items, devices, and systems - Google Patents

How to associate target objects with items, devices, and systems Download PDF

Info

Publication number
JP6755292B2
JP6755292B2 JP2018229736A JP2018229736A JP6755292B2 JP 6755292 B2 JP6755292 B2 JP 6755292B2 JP 2018229736 A JP2018229736 A JP 2018229736A JP 2018229736 A JP2018229736 A JP 2018229736A JP 6755292 B2 JP6755292 B2 JP 6755292B2
Authority
JP
Japan
Prior art keywords
laser radar
target
target object
shelf
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018229736A
Other languages
Japanese (ja)
Other versions
JP2020011031A (en
Inventor
丹青 劉
丹青 劉
予春 丁
予春 丁
鵬飛 鄭
鵬飛 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Publication of JP2020011031A publication Critical patent/JP2020011031A/en
Application granted granted Critical
Publication of JP6755292B2 publication Critical patent/JP6755292B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Freezers Or Refrigerated Showcases (AREA)
  • Display Racks (AREA)

Description

本発明はインテリジェント監視の技術分野に関し、特に、ターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムに関する。 The present invention relates to the technical field of intelligent monitoring, and more particularly to methods, devices, and systems for associating target objects with items.

シェルフは各種の業種において広く応用され、例えば、ショッピングモールで使用される商品棚、飲料を貯蔵可能な縦型冷蔵キャビネット、冷凍製品を保管可能なガラス冷凍ショーケース、図書館や書店で使用される本棚、倉庫で使用される棚などが、いずれもシェルフに属する。 Shelf is widely applied in various industries, for example, product shelves used in shopping malls, vertical refrigerated cabinets that can store beverages, glass frozen showcases that can store frozen products, bookshelves used in libraries and bookstores. , The shelves used in the warehouse belong to the shelves.

シェルフの応用では、使用者がシェルフからアイテムを取り出す場面がよくあり、異なる応用場所において異なる目的で、ターゲットオブジェクト（例えば消費者、係員など）がシェルフにおけるどの種類のアイテムを触れたのかを把握する要望がある。例えば、スマート小売場所では、売り手は、消費者が商品を選んで購入するプロセスで商品棚にあるどの商品を触れたかを把握する要望があり、保管場所では、管理者は、係員が保管棚からどの物品を取り出したのか、又は搬送ロボットが保管棚から取り出した物品が正しいか否か、を把握する要望がある。従来技術では、主にビジュアルAI方式により監視したが、この方式ではコストが高すぎ、広く応用することが困難である。また、従来技術では、各種商品に対応してセンサーを設けることで各種の商品を個別に監視する方法があるが、各種の商品のそれぞれに対して１つ又は複数のセンサーが必要とされ、センサー数が多くなり、配線が複雑になるので、例えば、ガラス冷凍ショーケース、冷蔵キャビネット、又はアイテムが密に配列された本棚などのシェルフに適用することが困難である。 In shelf applications, users often remove items from the shelf to understand what type of item on the shelf the target object (eg, consumer, clerk, etc.) has touched for different purposes in different application locations. There is a request. For example, in a smart retail location, the seller wants to know which item on the shelves the consumer touched in the process of selecting and purchasing the item, and in the storage location, the manager tells the attendant from the storage shelf. There is a need to know which item was taken out, or whether the item taken out from the storage shelf by the transfer robot is correct. In the conventional technology, monitoring is mainly performed by the visual AI method, but this method is too costly and difficult to be widely applied. Further, in the conventional technology, there is a method of individually monitoring various products by providing sensors corresponding to various products, but one or more sensors are required for each of the various products, and the sensors. Due to the large number and complexity of wiring, it is difficult to apply to shelves such as glass refrigeration showcases, refrigerated cabinets, or bookshelves with densely arranged items.

本発明は、このような事情に鑑み、その課題は、多種のシェルフに広く応用でき、多種の監視場面に適用できるターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムを提供することにある。 In view of such circumstances, an object of the present invention is to provide a method, an apparatus, and a system for associating a target object with an item, which can be widely applied to various shelves and can be applied to various monitoring situations.

上記課題を解決するために、本発明の実施例は以下の技術案を採用する。 In order to solve the above problems, the following technical proposals are adopted in the examples of the present invention.

第１の態様として、本発明の実施例は、ターゲットオブジェクトとアイテムとの関連付け方法を提供する。前記方法は、シェルフに取り付けられたレーザーレーダーに接続された処理機器に適用する。前記レーザーレーダーは、チャンネル数が予め設定されたチャンネル数の値より低く、かつ、センシング範囲がシェルフにおける各種のアイテムをカバーする。前記方法は、前記レーザーレーダーがターゲットオブジェクトをセンシングすることで得られたセンス情報を取得するステップと、前記センス情報に基づいて前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するステップと、前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種の前記アイテムの位置座標に基づいて、前記ターゲットオブジェクトに関連付けるアイテムを特定するステップと、を含む。 As a first aspect, embodiments of the present invention provide a method of associating a target object with an item. The method applies to processing equipment connected to a laser radar mounted on a shelf. The laser radar has a number of channels lower than a preset number of channels and a sensing range that covers various items on the shelf. The method includes a step of acquiring sense information obtained by sensing the target object by the laser radar, and a step of specifying the trigger point coordinates of the target object within the sensing range based on the sense information. It includes a step of identifying an item associated with the target object based on the trigger point coordinates of the target object and the various pre-stored position coordinates of the item.

さらに、本発明の実施例は、第１の態様の第１実施可能な形態を提供する。前記レーザーレーダーは、チャンネル数が少ない機械走査式のレーザーレーダーである。前記チャンネル数が少ない機械走査式のレーザーレーダーの数は少なくとも１つである。全ての前記チャンネル数が少ない機械走査式のレーザーレーダーのセンシング範囲の組み合わせが、前記シェルフにおける各種のアイテムをカバーする。 Furthermore, the examples of the present invention provide the first feasible embodiment of the first aspect. The laser radar is a mechanical scanning type laser radar having a small number of channels. The number of mechanically scanning laser radars having a small number of channels is at least one. The combination of all the low channel count mechanical scanning laser radar sensing ranges covers the various items on the shelf.

さらに、本発明の実施例は、第１の態様の第２実施可能な形態を提供する。前記レーザーレーダーは、シングルポイント測距レーザーレーダーであり、前記シングルポイント測距レーザーレーダーの数は複数である。複数の前記シングルポイント測距レーザーレーダーは、予め設定された間隔で一列に配列され、複数の前記シングルポイント測距レーザーレーダーのセンシング範囲の組み合わせが、前記シェルフにおける各種のアイテムをカバーする。 Furthermore, the examples of the present invention provide a second feasible embodiment of the first aspect. The laser radar is a single-point ranging laser radar, and the number of the single-point ranging laser radars is plural. The plurality of single-point ranging laser radars are arranged in a row at preset intervals, and the combination of sensing ranges of the plurality of said single-point ranging laser radars covers various items on the shelf.

さらに、本発明の実施例は、第１の態様の第３実施可能な形態を提供する。前記センス情報に基づいて前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するステップは、ターゲットレーザーレーダーによって生成され、かつ、前記ターゲットオブジェクトの前記ターゲットレーザーレーダーに対する距離値及び方位角を含む前記センス情報に基づいて、ターゲットレーザーレーダーの番号を特定するステップと、前記ターゲットレーザーレーダーの番号に基づいて、前記ターゲットレーザーレーダーの位置座標を調べるステップと、前記ターゲットレーザーレーダーの位置座標と、前記ターゲットオブジェクトの前記ターゲットレーザーレーダーに対する距離値及び方位角に基づいて、前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するステップと、を含む。 Furthermore, the examples of the present invention provide a third feasible embodiment of the first aspect. The step of identifying the trigger point coordinates of the target object within the sensing range based on the sense information is generated by the target laser radar and includes the distance value and the azimuth angle of the target object with respect to the target laser radar. A step of identifying the number of the target laser radar based on the sense information, a step of examining the position coordinates of the target laser radar based on the number of the target laser radar, the position coordinates of the target laser radar, and the target. It includes a step of identifying the trigger point coordinates of the target object within the sensing range based on the distance value and azimuth of the object with respect to the target laser radar.

さらに、本発明の実施例は、第１の態様の第４実施可能な形態を提供する。前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種の前記アイテムの位置座標に基づいて、前記ターゲットオブジェクトに関連付けるアイテムを特定するステップは、前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種の前記アイテムの位置座標に基づいて、ターゲットアイテムを特定するステップであって、前記ターゲットアイテムの位置座標と、前記ターゲットオブジェクトのトリガ点座標とは、予め設定された距離範囲にあるステップと、前記ターゲットアイテムを、前記ターゲットオブジェクトに関連付けるアイテムとして特定するステップと、を含む。 Furthermore, the examples of the present invention provide a fourth feasible embodiment of the first aspect. Based on the trigger point coordinates of the target object and the various pre-stored position coordinates of the item, the step of identifying the item associated with the target object is the trigger point coordinates of the target object and the various pre-stored said items. A step of identifying a target item based on the position coordinates of an item, wherein the position coordinates of the target item and the trigger point coordinates of the target object are a step within a preset distance range and the target item. Includes a step of identifying the item as an item associated with the target object.

さらに、本発明の実施例は、第１の態様の第５実施可能な形態を提供する。前記方法は、前記シェルフの各レイヤーの高さを取得するステップと、各種の前記アイテムの位置情報及びサイズ情報を取得するステップであり、前記位置情報は、前記アイテムが存在するレイヤーの番号、及び前記アイテムがその存在するレイヤーにおける水平ソート番号を含むステップと、各種の前記アイテムが存在するレイヤーの番号及び前記各レイヤーの高さに基づいて、各種の前記アイテムの縦方向の位置座標を特定するステップと、各種の前記アイテムの水平ソート番号及びサイズ情報に基づいて、各種の前記アイテムの横方向の位置座標を特定するステップと、をさらに含む。 Furthermore, the examples of the present invention provide a fifth feasible embodiment of the first aspect. The method is a step of acquiring the height of each layer of the shelf and a step of acquiring the position information and size information of various items, and the position information includes the number of the layer in which the item exists and the number of the layer in which the item exists. Specify the vertical position coordinates of various items based on the step including the horizontal sort number in the layer in which the item exists, the number of the layer in which each item exists, and the height of each layer. It further includes a step and a step of identifying the lateral position coordinates of the various items based on the horizontal sort numbers and size information of the various items.

さらに、本発明の実施例は、第１の態様の第６実施可能な形態を提供する。前記シェルフには、縦方向に回路基板がさらに設けられ、前記回路基板は予め設定された間隔で縦方向に沿って複数の電気接点が設けられ、それぞれの前記レイヤーには、エジェクタピンが設けられ、前記エジェクタピンを介して前記回路基板における電気接点に接続され、前記回路基板は、さらに前記処理機器に接続される。前記シェルフの各レイヤーの高さを取得するステップは、前記回路基板上の各前記電気接点の、自由状態又は接触状態を含む状態を取得するステップと、各電気接点の状態に応じてターゲット電気接点の番号を特定するステップであり、前記ターゲット電気接点が接触状態にある電気接点であり、前記ターゲット電気接点の数が前記レイヤーの数に合わせるステップと、前記ターゲット電気接点の番号及び予め作られた電気接点情報テーブルに基づいて、各前記ターゲット電気接点情報の位置情報を調べるステップであり、前記電気接点情報テーブルには電気接点番号と位置情報との対応関係が記憶されたステップと、各前記ターゲット電気接点の位置情報に基づいて各前記レイヤーの高さを特定するステップと、を含む。 Furthermore, the examples of the present invention provide a sixth feasible embodiment of the first aspect. The shelves are further provided with circuit boards in the vertical direction, the circuit boards are provided with a plurality of electrical contacts along the vertical direction at preset intervals, and each of the layers is provided with ejector pins. , The circuit board is connected to an electrical contact in the circuit board via the ejector pin, and the circuit board is further connected to the processing device. The step of acquiring the height of each layer of the shelf is a step of acquiring a state including a free state or a contact state of each of the electrical contacts on the circuit board, and a target electrical contact according to the state of each electrical contact. The step of specifying the number of the target electrical contact, the step of matching the number of the target electrical contacts with the number of the layers, the number of the target electrical contacts, and the prefabricated one. It is a step of checking the position information of each target electric contact information based on the electric contact information table, and the step in which the correspondence relationship between the electric contact number and the position information is stored in the electric contact information table, and each target. Includes a step of identifying the height of each layer based on the location information of the electrical contacts.

さらに、本発明の実施例は、第１の態様の第７実施可能な形態を提供する。前記回路基板には、各前記レイヤーにおける電気機器に電力を供給するための電源がさらに設けられ、前記電気機器は、電子タグ及び/又は照明ランプを含む。 Furthermore, the examples of the present invention provide a seventh feasible embodiment of the first aspect. The circuit board is further provided with a power source for supplying power to the electrical equipment in each of the layers, the electrical equipment including an electronic tag and / or a lighting lamp.

第２の態様として、本発明の実施例は、ターゲットオブジェクトとアイテムとの関連付け装置をさらに提供する。前記装置は、シェルフに取り付けられたレーザーレーダーに接続された処理機器に応用され、前記レーザーレーダーのセンシング範囲は、所定のエリアをカバーする。前記装置は、前記レーザーレーダーがターゲットオブジェクトをセンシングすることで得られたセンス情報を取得するための情報取得モジュールと、前記センス情報に基づいて前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するためのトリガ点特定モジュールと、前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種の前記アイテムの位置座標に基づいて、前記ターゲットオブジェクトに関連付けるアイテムを特定するための関連特定モジュールと、を含む。 As a second aspect, the embodiments of the present invention further provide an association device for target objects and items. The device is applied to processing equipment connected to a laser radar mounted on a shelf, and the sensing range of the laser radar covers a predetermined area. The device specifies an information acquisition module for acquiring sense information obtained by sensing the target object by the laser radar, and the trigger point coordinates of the target object within the sensing range based on the sense information. Includes a trigger point identification module for identifying the target object and a related identification module for identifying the item associated with the target object based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance. ..

第３の態様として、本発明の実施例は、ターゲットオブジェクトとアイテムとの関連付けシステムを提供する。前記システムは、センス情報を生成するためのレーザーレーダーと、コンピュータプログラムが記憶された処理機器と、を含み、前記コンピュータプログラムは前記処理機器によって実行されると、第１の態様のいずれか一項に記載の方法を実行する。 As a third aspect, embodiments of the present invention provide an association system for target objects and items. The system includes a laser radar for generating sense information and a processing device in which a computer program is stored, and when the computer program is executed by the processing device, any one of the first aspects. Perform the method described in.

第４の態様として、本発明の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、処理機器によって実行されると、上記第１の態様のいずれか一項に記載の方法のステップを実行する。 As a fourth aspect, embodiments of the present invention provide a computer-readable storage medium. A computer program is stored in the computer-readable storage medium, and when the computer program is executed by a processing device, the step of the method according to any one of the first aspects is executed.

本発明の実施例はターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムを提供する。処理機器は、シェルフに取り付けられたレーザーレーダーに接続され、レーザーレーダーのセンス情報に基づいてセンシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定することができ、さらにターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、ターゲットオブジェクトに関連付けるオブジェクトを特定することができる。本発明の実施例においては、チャンネル数が少ないレーザーレーダーを採用し、シェルフにおける各アイテムを一括で検出することで、チャンネル数が少ないレーザレーダは安価であり、高価なビジョンAI設備が必要とされず、アイテムの種類毎に１つ又は複数のセンサーを設ける必要もないので、多種のシェルフに広く応用でき、多種の監視場面に適用する。 Embodiments of the present invention provide methods, devices, and systems for associating target objects with items. The processing device is connected to a laser radar mounted on the shelf, can identify the trigger point coordinates of the target object within the sensing range based on the sense information of the laser radar, and further stores the trigger point coordinates of the target object and stores in advance. It is possible to identify the object to be associated with the target object based on the position coordinates of various items. In the embodiment of the present invention, a laser radar having a small number of channels is adopted, and each item on the shelf is detected at once. Therefore, the laser radar having a small number of channels is inexpensive and requires expensive vision AI equipment. Since it is not necessary to provide one or more sensors for each type of item, it can be widely applied to various shelves and applied to various monitoring situations.

本発明の実施例の他の特徴及び利点は、後述の明細書に記載され、或いは、一部の特徴及び利点は、明細書の記載から推測でき、又は疑うことなく確定でき、或いは、本発明の実施例の上記技術を実施することで習得され得る。 Other features and advantages of the embodiments of the present invention are described in the specification below, or some features and advantages can be inferred from or can be undoubtedly determined from the description of the present invention, or the present invention. It can be learned by carrying out the above technique of the above embodiment.

本発明の実施例の上記の目的、特徴及び利点をより明瞭にするために、以下で、添付した図面を参照して、本発明の好適な実施例について詳説する。 In order to further clarify the above object, features and advantages of the embodiments of the present invention, preferred embodiments of the present invention will be described in detail below with reference to the accompanying drawings.

本発明の具体的な実施形態又は従来技術の技術案をより明確に説明するために、以下に、具体的な実施形態又は従来技術の記載に用いられる図面を簡単に説明する。無論、以下の説明における図面は、本発明の実施形態の一部であり、当業者にとっては、これらの図面に基づいて、創造的な労働をすることなく他の図面を得ることができる。
本発明の実施例に係る電子システムを示す構造模式図である。 本発明の実施例に係る第１のシェルフを示す構造模式図である。 本発明の実施例に係る第２のシェルフを示す構造模式図である。 本発明の実施例に係る第３のシェルフを示す構造模式図である。 本発明の実施例に係るターゲットオブジェクトとアイテムとの関連付け方法を示すフロー図である。 本発明の実施例に係る座標特定原理図を示す。 本発明の実施例に係る回路基板を示す構造模式図である。 本発明の実施例に係る回路基板が取り付けられたシェルフを示す側面図である。 本発明の実施例に係る別の回路基板を示す構造模式図である。 本発明の実施例に係るターゲットオブジェクトとアイテムとの関連付け装置を示す構造ブロック図である。 In order to more clearly explain the specific embodiment of the present invention or the technical proposal of the prior art, the drawings used for describing the specific embodiment or the prior art will be briefly described below. Of course, the drawings in the following description are part of the embodiments of the present invention, and those skilled in the art can obtain other drawings based on these drawings without any creative labor.
It is a structural schematic diagram which shows the electronic system which concerns on embodiment of this invention. It is a structural schematic diagram which shows the 1st shelf which concerns on embodiment of this invention. It is a structural schematic diagram which shows the 2nd shelf which concerns on embodiment of this invention. It is a structural schematic diagram which shows the 3rd shelf which concerns on embodiment of this invention. It is a flow figure which shows the method of associating a target object and an item which concerns on embodiment of this invention. The coordinate specification principle diagram which concerns on the Example of this invention is shown. It is a structural schematic diagram which shows the circuit board which concerns on embodiment of this invention. It is a side view which shows the shelf which attached the circuit board which concerns on embodiment of this invention. It is a structural schematic diagram which shows another circuit board which concerns on embodiment of this invention. It is a structural block diagram which shows the association | association device of a target object and an item which concerns on embodiment of this invention.

本発明の実施例の目的、技術案、及び利点をより明確にするために、以下に、図面を結合して、本発明の実施例の技術案を明確且つ完全に説明する。無論、以下に記載された実施例は本発明の一部の実施例に過ぎず、全ての実施例ではない。当業者にとっては、本発明の実施例に基づいて創造的な労働をすることなく得られた全ての他の実施例は、本発明の保護範囲に含まれる。 In order to further clarify the objectives, technical proposals, and advantages of the examples of the present invention, the technical proposals of the examples of the present invention will be described clearly and completely by combining the drawings below. Of course, the examples described below are only a part of the examples of the present invention, not all the examples. For those skilled in the art, all other embodiments obtained based on the embodiments of the present invention without creative labor are included in the scope of protection of the present invention.

従来、ターゲットオブジェクトがシェルフにおけるどの種類のアイテムに触れたかを監視する場合に、AIビジュアル方式を使用することも、アイテムの種類ごとにセンサーを別々に配置する方式を使用することも、異なる種類のシェルフに広く応用することが困難である。この課題を改善するために、本発明の実施例はターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムを提供する。該技術は対応するソフトウェアやハードウェアにより実現でき、例えば、各ショッピング場のスマート小売シナリオ、インテリジェント図書館、インテリジェント倉庫/ロジスティクス産業などのような多種の監視場面に適用できる。以下に、本発明の実施例について詳細に説明する。 Traditionally, different types of AI visuals have been used to monitor what type of item the target object touches on the shelf, or sensors are placed separately for each item type. Difficult to apply widely to shelves. To remedy this problem, embodiments of the present invention provide methods, devices, and systems for associating target objects with items. The technology can be realized by the corresponding software and hardware, and can be applied to various monitoring situations such as smart retail scenarios of each shopping place, intelligent libraries, intelligent warehouse / logistics industry, and the like. Hereinafter, examples of the present invention will be described in detail.

〈実施例１〉
まず、図１を参照しながら本発明の実施例に係るターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムを実現するための例である電子システム１００を説明する。 <Example 1>
First, an electronic system 100, which is an example for realizing a method, an apparatus, and a system for associating a target object and an item according to an embodiment of the present invention with reference to FIG. 1, will be described.

図１に示す電子システムの構造模式図のように、電子システム１００は、１つ又は複数の処理機器１０２と、１つ又は複数の記憶装置１０４と、入力装置１０６と、出力装置１０８と、深度センサー１１０とを含み、これらの構成要素はバスシステム１１２及び/又は他の形態の接続機構（図示せず）を介して互いに接続される。なお、図１に示す電子システム１００の構成要素及び構造は例示的なものであり、限定的なものではない。前記電子システムは、必要に応じて他の構成要素及び構造を有してもよい。 As shown in the schematic structural diagram of the electronic system shown in FIG. 1, the electronic system 100 includes one or more processing devices 102, one or more storage devices 104, an input device 106, an output device 108, and a depth. These components, including the sensor 110, are connected to each other via the bus system 112 and / or other form of connection mechanism (not shown). The components and structure of the electronic system 100 shown in FIG. 1 are exemplary and are not limited. The electronic system may have other components and structures as needed.

前記処理機器１０２は、ゲートウェイ、スマート端末、中央処理装置（ＣＰＵ）又はデータ処理能力及び/又は指令実行能力を持つ他の形態の処理装置を含む機器であってもよい。前記処理機器１０２は、前記電子システム１００内の他の構成要素のデータを処理してもよいし、前記電子システム１００内の他の構成要素を所望の機能を実行させるように制御してもよい。 The processing device 102 may be a device including a gateway, a smart terminal, a central processing unit (CPU), or another form of processing device having data processing capability and / or command execution capability. The processing device 102 may process data of other components in the electronic system 100, or may control the other components in the electronic system 100 to perform a desired function. ..

前記記憶装置１０４は、例えば、揮発性メモリ及び/又は不揮発性メモリなどの様々な形態のコンピュータ可読記憶媒体を含む１つ又は複数のコンピュータプログラム製品を含む。前記揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び/又はキャッシュ（ｃａｃｈｅ）などを含む。前記不揮発性メモリは、例えば、読み出し専用のメモリ（ＲＯＭ）、ハードディスク、フラッシュメモリ等を含む。前記コンピュータ可読記憶媒体には、１つ又は複数のコンピュータプログラム指令が格納され、処理機器１０２は、前記プログラム指令を実行することで、後述する本発明の実施例における（処理機器により実現する）クライアント側の機能及び/又は他の所望の機能を実現する。前記コンピュータ可読記憶媒体には、様々なアプリケーションや様々なデータ、例えば前記アプリケーションによって使用及び/又は生成される様々なデータなどをさらに記憶することができる。 The storage device 104 includes one or more computer program products including various forms of computer-readable storage media such as, for example, volatile memory and / or non-volatile memory. The volatile memory includes, for example, random access memory (RAM) and / or cache (cache) and the like. The non-volatile memory includes, for example, a read-only memory (ROM), a hard disk, a flash memory, and the like. One or a plurality of computer program commands are stored in the computer-readable storage medium, and the processing device 102 executes the program commands to execute the client (realized by the processing device) in the embodiment of the present invention described later. Achieve side functions and / or other desired functions. The computer-readable storage medium can further store various applications and various data, such as various data used and / or generated by the application.

前記入力装置１０６は、ユーザが指令を入力するための装置であり、キーボード、マウス、マイクロホン、タッチスクリーンなどのうちの１つ又は複数を含む。 The input device 106 is a device for a user to input a command, and includes one or more of a keyboard, a mouse, a microphone, a touch screen, and the like.

前記出力装置１０８は、様々な情報（例えば、画像又は音声）を外部（例えば、ユーザ）に出力でき、ディスプレイやスピーカなどのうちの１つ又は複数を含んでよい。 The output device 108 can output various information (for example, images or sounds) to the outside (for example, a user), and may include one or more of a display, a speaker, and the like.

前記チャンネル数が少ないレーザーレーダー１１０は、チャンネル数が少ないメカニカルスキャン型レーザーレーダー又はシングルポイント測距レーザーレーダー（シングルポイントＴＯＦレーザーレーダーとしても呼ばれる）であればよい。チャンネル数が少ないレーザーレーダーは、ライトカーテンと類似するようなセンシング面を形成するとともに、センシング面により確定されたセンス情報を処理機器１０２に送信でき、又は他の構成要素によって使用されるように前記記憶装置１０４に記憶することができる。 The laser radar 110 having a small number of channels may be a mechanical scan type laser radar or a single-point ranging laser radar (also referred to as a single-point TOF laser radar) having a small number of channels. A laser radar with a small number of channels can form a sensing surface similar to a light curtain and can transmit the sense information determined by the sensing surface to the processing device 102, or can be used by other components. It can be stored in the storage device 104.

例示的に、本発明の実施例に係るターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムを実現するための例である電子システムにおける各部品は、一体に集積されてもよいし、個別に設置されてもよい。例えば、処理装置１０２、記憶装置１０４、入力装置１０６、及び出力装置１０８を一体に集積し、チャンネル数が少ないレーザーレーダーをシェルフの他の箇所、例えば、シェルフのトップレイヤーの縁側、ボトムレイヤーの縁側、又は左右の縁側などの箇所に個別に設置することができる。 Illustratively, each component in an electronic system, which is an example for realizing a method of associating a target object and an item according to an embodiment of the present invention, a device, and a system, may be integrated or individually. It may be installed. For example, the processing device 102, the storage device 104, the input device 106, and the output device 108 are integrally integrated, and a laser radar having a small number of channels is mounted on another part of the shelf, for example, the edge side of the top layer of the shelf and the edge side of the bottom layer. , Or it can be installed individually at places such as the left and right edges.

理解を容易にするために、以下に、本実施例の電子システムの応用例をさらに説明する。該電子システムは、スーパーマーケット、図書館、倉庫などのシェルフが配置された箇所に設置される。チャンネル数が少ないレーザーレーダーは、シェルフに設置され、チャンネル数が少ない機械走査式のレーザーレーダー又はシングルポイント測距レーザーレーダーであってもよい。 In order to facilitate understanding, an application example of the electronic system of this embodiment will be further described below. The electronic system is installed in a supermarket, a library, a warehouse, or the like where shelves are arranged. The laser radar with a small number of channels may be a mechanical scanning laser radar or a single point ranging laser radar installed on a shelf and having a small number of channels.

前記電子システムが設置されたシェルフは、様々な場面に活用でき、スマートシェルフとも呼ばれる。 The shelf on which the electronic system is installed can be used in various situations and is also called a smart shelf.

〈実施例２〉
本実施例はターゲットオブジェクトとアイテムとの関連付け方法を提供する。理解を容易にするために、本実施例はまず該方法の応用場面を以下のように説明する。 <Example 2>
This embodiment provides a method of associating a target object with an item. In order to facilitate understanding, this embodiment first describes the application scene of the method as follows.

本実施例におけるシェルフは、商品棚、本棚、冷蔵庫、冷蔵キャビネット等のアイテムを置くことができる任意のものであればよく、本実施例では、シェルフの構成及び実際の用途について限定しない。シェルフ上のアイテムは、ＳＫＵ（Ｓｔｏｃｋ Ｋｅｅｐｉｎｇ Ｕｎｉｔ、在庫管理単位）とも呼ばれ、単一のアイテムである。アイテムについて、ブランド、型番、配置、グレード、色柄、パッケージの容量、ユニット、用途などの属性のうちのいずれかが他のアイテムと異なる場合は、単一のアイテムと呼ばれることができる。シェルフにおける各種のアイテムは離間して放置され、各種のアイテムは複数ある可能性があり、同種類の複数のアイテムが一緒に放置される。実際の応用において、シェルフにはレイヤーが設けられてもよく、各レイヤーには異なる種類のアイテムを離間するための仕切りがさらに設けられてもよい。無論、シェルフは、フックの形式によりアイテムを引っ掛けてもよいし、複数の収納バスケットの形式によりアイテムを収納してもよい。 本発明の実施例は、シェルフの構造を制限するものではなく、シェルフにおけるアイテムの配置形式を制限するものでもない。 The shelves in this embodiment may be any one on which items such as product shelves, bookshelves, refrigerators, and refrigerating cabinets can be placed, and the shelves in this embodiment are not limited to the configuration and actual use of the shelves. Items on the shelf are also called SKUs (Stock Keeping Units) and are a single item. An item can be called a single item if any of its attributes, such as brand, model number, placement, grade, color pattern, package capacity, unit, usage, etc., differ from other items. Various items on the shelf are left apart, there may be multiple different items, and multiple items of the same type are left together. In practical applications, the shelves may be provided with layers, and each layer may be further provided with dividers to separate different types of items. Of course, the shelf may hook items in the form of hooks, or may store items in the form of a plurality of storage baskets. The embodiments of the present invention do not limit the structure of the shelf, nor do they limit the arrangement of items on the shelf.

シェルフにはレーザーレーダーが取り付けられる。レーザーレーダーは、レーザビームを出射することでターゲットの位置、速度などの特徴量を検知するレーダーシステムであり、例えば、外に検知信号（レーザビーム）を出射し、受信したターゲットから反射された信号（目標エコー）を出射信号と比較することで、ターゲットに関する情報、例えばターゲットとの距離、方位ひいては形状などのパラメータを取得でき、ターゲットの検知を実現する。本実施例で用いられるレーザーレーダーのチャンネル数（即ち、レーザーチャンネル数）は、予め設定されたチャンネル数よりも低く、チャンネル数が少ない機械走査式のレーザーレーダー又はシングルポイント測距レーザーレーダー（シングルポイントＴＯＦレーザーレーダーとも呼ばれる）であってもよい。 本実施例は、以下の２種類の応用例を列挙する。 A laser radar is attached to the shelf. A laser radar is a radar system that detects features such as the position and speed of a target by emitting a laser beam. For example, a detection signal (laser beam) is emitted to the outside and a signal reflected from the received target. By comparing (target echo) with the output signal, it is possible to acquire information about the target, for example, parameters such as the distance to the target, the orientation, and the shape, and the target can be detected. The number of channels (that is, the number of laser channels) of the laser radar used in this embodiment is lower than the preset number of channels, and the number of channels is small. The mechanical scanning type laser radar or the single point ranging laser radar (single point). It may also be a TOF laser radar). This embodiment enumerates the following two types of application examples.

応用例１：レーザーレーダーは、チャンネル数が少ない機械走査式のレーザーレーダーであり、レーザーチャンネル数は１〜８チャンネルであり、すべてのチャンネル数が少ない機械走査式のレーザーレーダーの検知範囲の組み合わせが、指定エリアをカバーする。該指定エリアは、レーザーレーダーが存在するシェルフの展示側の面であってもよい。シェルフ上に、少なくとも１つのチャンネル数が少ない機械走査式のレーザーレーダーが設けられる。当然、異なるシェルフの寸法が異なることと、機械走査式のレーザーレーダーの検知範囲には限界があり、シェルフに検知されないエリアがないように、シェルフには２つ又は複数のチャンネル数が少ない機械走査式のレーザーレーダーを設置してもよい。 Application example 1: The laser radar is a mechanical scanning type laser radar having a small number of channels, the number of laser channels is 1 to 8, and the combination of the detection ranges of the mechanical scanning type laser radar having a small number of all channels is , Cover the designated area. The designated area may be the display side surface of the shelf on which the laser radar is located. A mechanical scanning laser radar with a small number of at least one channel is provided on the shelf. Naturally, the shelves have a small number of two or more channels, so that the different shelves have different dimensions and the detection range of the machine-scanning laser radar is limited and there are no undetected areas on the shelves. A type laser radar may be installed.

図２に示す第１種のシェルフの構造模式図のように、該シェルフ１０においては、シェルフの上部だけに一つのシングルチャンネル機械走査式のレーザーレーダー２０ａが設けられることが示され、シェルフ１０のレイヤー１０ａも示されている。 図２に示すように、該シングルチャンネル機械走査式のレーザーレーダー２０ａは、シェルフ１０の上部の縁の中心に設置され、シェルフの展示側の面に１つの「ライトカーテン」（図２に破線で簡略に示す）を形成でき、該「ライトカーテン」は、レーザーレーダーのセンシング範囲でもあり、該センシング範囲は平面でもよいし、一定のスペースを有してもよい。また、該センシング範囲は、シェルフの展示側の面をカバーし、シェルフに陳列された様々なアイテムを監視できる。ターゲットオブジェクト（例えば、アイテムを主動的に取ることが可能な人、ロボットなどのオブジェクト）がシェルフにおけるアイテムを取る場合、必ずレーザーレーダーがシェルフの展示側の面の前に形成された「ライトカーテン」に侵入し、シングルチャンネル機械走査式のレーザーレーダー２０ａによって検知され、それなりのセンス情報が生成される。 As shown in the schematic structural diagram of the first type shelf shown in FIG. 2, it is shown that in the shelf 10, one single-channel mechanical scanning laser radar 20a is provided only on the upper part of the shelf, and the shelf 10 is provided with one single-channel mechanical scanning laser radar 20a. Layer 10a is also shown. As shown in FIG. 2, the single channel mechanical scanning laser radar 20a is installed in the center of the upper edge of the shelf 10 and has one "light curtain" on the display side surface of the shelf (shown in FIG. 2 with a dashed line). The "light curtain" can also be a sensing range of a laser radar, which may be flat or have a certain space. In addition, the sensing range covers the display side surface of the shelf and can monitor various items displayed on the shelf. Whenever a target object (for example, a person who can take the item dynamically, an object such as a robot) takes an item on the shelf, a laser radar is always formed in front of the exhibit side surface of the shelf as a "light curtain". Is detected by the single-channel machine-scanning laser radar 20a, and a certain amount of sense information is generated.

シェルフの前で複数のターゲットオブジェクトがアイテムを取る場合、互いに遮る可能性がある。例えば、２人以上の消費者が同時にシェルフの前で商品を取る場合、レーザーレーダーは、消費者１が商品を取ることだけをセンシングし、消費者２は消費者１によって遮られ、レーザーレーダーによってセンシングされなくなる。アイテムの監視精度をさらに向上するために、例えば、複数のレーザーレーダーにより異なる方向からターゲットオブジェクトを監視することで、複数のターゲットオブジェクトが互いに遮ることを抑制できる。 If multiple target objects take items in front of the shelf, they can block each other. For example, if two or more consumers pick up goods in front of the shelf at the same time, the laser radar only senses that consumer 1 picks up the goods, consumer 2 is blocked by consumer 1, and is blocked by the laser radar. It will not be sensed. In order to further improve the monitoring accuracy of the item, for example, by monitoring the target objects from different directions by a plurality of laser radars, it is possible to prevent the plurality of target objects from blocking each other.

具体的には、図３に示す第２種のシェルフの構造模式図のように、該シェルフ１０のトップレイヤーの両端側には２つのシングルチャンネル機械走査式のレーザーレーダー２０ａが設置されたことが示され、各シングルチャンネル機械走査式のレーザーレーダー２０ａは、それぞれ１つのシェルフの上部に設置される。なお、図３には、手でアイテムを取るターゲットオブジェクトが簡略に示されている。図３から分かるように、１つのシングルチャンネル機械走査式のレーザーレーダー２０ａに対して、エリアＡ及びエリアＢがターゲットオブジェクトによって遮られ、別のシングルチャンネル機械走査式のレーザーレーダーに対して、エリアＡ及びエリアＣがターゲットオブジェクトによって遮られ、２つのシングルチャンネル機械走査式のレーザーレーダー２０ａの組み合わせに対しては、エリアＡがターゲットオブジェクトによって遮られ、その他のエリアは、レーザーレーダーのセンシング可能な範囲にある。レーザーレーダーは、エリアＡ以外の他のエリアにあるターゲットオブジェクトを検知できる。このような複数のレーザーレーダーにより協同で検知する方式は、複数のターゲットオブジェクトが互いに遮るエリアの面積を小さくすることができ、監視の信頼性を効果的に向上させることができる。 Specifically, as shown in the structural schematic diagram of the second type shelf shown in FIG. 3, two single-channel mechanical scanning laser radars 20a were installed on both ends of the top layer of the shelf 10. As shown, each single-channel machine-scanning laser radar 20a is installed on top of one shelf. Note that FIG. 3 briefly shows a target object for picking up an item by hand. As can be seen from FIG. 3, for one single-channel machine-scanning laser radar 20a, Area A and Area B are blocked by the target object, and for another single-channel machine-scanning laser radar, Area A. And area C is blocked by the target object, and for the combination of two single-channel machine-scanning laser radars 20a, area A is blocked by the target object and the other areas are within the measurable range of the laser radar. is there. The laser radar can detect target objects in areas other than area A. Such a method of jointly detecting by a plurality of laser radars can reduce the area of the area where the plurality of target objects block each other, and can effectively improve the reliability of monitoring.

応用例２：レーザーレーダーは、シングルポイント測距レーザーレーダーであり、シングルポイント測距レーザーレーダーの数は複数である。複数のシングルポイント測距レーザーレーダーは、予め設定された間隔で一列に配列され、それらのセンシング範囲の組み合わせは、指定エリアをカバーする。但し、予め設定された間隔は、等間隔でもよいし、非等間隔でもよく、具体的には実際の要望に応じて柔軟に設定することができる。 Application example 2: The laser radar is a single-point ranging laser radar, and the number of single-point ranging laser radars is plural. A plurality of single-point ranging laser radars are arranged in a row at preset intervals, and the combination of their sensing ranges covers a designated area. However, the preset intervals may be equal intervals or non-equal intervals, and specifically, can be flexibly set according to an actual request.

シングルポイントレーザーレーダーは、シングルポイントＴｏＦレーザーレーダーとも呼ばれ、複数のシングルポイントＴｏＦレーザーレーダーは、シングルポイントＴｏＦアレイを形成し、シェルフに設置される。具体的には、シングルポイントＴｏＦアレイがシェルフの上部の縁、底部の縁、左右両側のうちのいずれかの縁側に設置され、複数のシングルポイントＴｏＦレーザーレーダーの組み合わせは、シェルフの展示側の面を覆う「ライトカーテン」を形成する。 The single point laser radar is also called a single point ToF laser radar, and a plurality of single point ToF laser radars form a single point ToF array and are installed on a shelf. Specifically, a single-point ToF array is installed on the top edge of the shelf, the bottom edge, or one of the left and right sides, and the combination of multiple single-point ToF laser radars is the display side surface of the shelf. Form a "light curtain" that covers the area.

本実施例において採用されるシングルポイントＴｏＦレーザーレーダーの主な特徴は、発散角が小さく、例えば、各シングルポイントＴｏＦレーザーレーダーの視角（ＦｏＶ）が２°未満であり、そのようなレーザーレーダーによって出射されるビームのスポットのサイズは、隣り合うシングルポイントＴｏＦレーザーレーダーの間隔よりも小さいことにある。実際の応用においては、スイスのＥｓｐｒｏｓ社のＴＯＦＲＡＮＧＥ６００モジュールにより実現できる。発散角が小さいシングルポイントＴｏＦレーザーレーダーを採用するメリットは、隣り合うレーザーレーダーの干渉を大幅に抑制でき、位置精度を向上できることにある。図４に示す第３種のシェルフの構造模式図のように、シェルフのトップレイヤーの縁側に、複数のシングルポイントＴｏＦレーザーレーダー２０ｂが配列され、図４に示すように、複数のシングルポイントＴｏＦレーザーレーダー２０ｂのセンシング範囲の組み合わせがシェルフの展示側の面をカバーし、ターゲットオブジェクトに対して正確な測距を実現するように、各シングルポイントＴｏＦレーザーレーダー２０ｂの発散角が小さい。 The main feature of the single point ToF laser radar adopted in this embodiment is that the divergence angle is small, for example, the viewing angle (FoV) of each single point ToF laser radar is less than 2 °, and it is emitted by such a laser radar. The size of the spots of the beam to be produced is smaller than the distance between adjacent single point ToF laser radars. In actual application, it can be realized by the TOFRANGE 600 module of Espros of Switzerland. The merit of adopting the single point ToF laser radar with a small divergence angle is that the interference of adjacent laser radars can be significantly suppressed and the position accuracy can be improved. A plurality of single point ToF laser radars 20b are arranged on the edge side of the top layer of the shelf as shown in the structural schematic diagram of the third type shelf shown in FIG. 4, and as shown in FIG. 4, a plurality of single point ToF lasers are arranged. The divergence angle of each single point ToF laser radar 20b is small so that the combination of sensing ranges of the radar 20b covers the display side surface of the shelf and provides accurate ranging for the target object.

伝統的なＴｏＦセンサーは通常視角が広く、例えば、携帯電話によく使用されるＴｏＦセンサーのＦＯＶが約２５°であり、大きいＦＯＶには以下のように問題がある。即ち、ＴｏＦセンサーが通常、ＦＯＶ視野（即ち、センサのセンシング範囲）内で検知された各ターゲットの距離を加重平均処理することでターゲットオブジェクトの測定距離を得るようにする。センシングされたターゲットオブジェクトがアームであり、アームとＴｏＦセンサーとの距離が設定された長さ（例えば、１ｍ）を超え、且つＴｏＦセンサーのＦＯＶが大きい場合、ＦｏＶ視野の面積に対しては、アームの面積がはるかに小さく、計算により得られたアームとＴＯＦセンサーとの間の測定距離は実際の距離との間に大きな誤差が生じ、正確に位置決めを行うことができない。 Traditional ToF sensors usually have a wide viewing angle, for example, the FOV of a ToF sensor often used in mobile phones is about 25 °, and large FOVs have the following problems. That is, the ToF sensor normally obtains the measurement distance of the target object by performing a weighted average processing on the distance of each target detected in the FOV field of view (that is, the sensing range of the sensor). When the sensed target object is an arm, the distance between the arm and the ToF sensor exceeds a set length (for example, 1 m), and the FOV of the ToF sensor is large, the arm is relative to the area of the FoV field of view. The area of is much smaller, and the measured distance between the arm and the TOF sensor obtained by calculation has a large error with the actual distance, and accurate positioning cannot be performed.

したがって、本実施例は、ありふれたコンシューマ電子機器（例えば、携帯電話）に搭載されたＴｏＦセンサーを採用せず、ＦｏＶが小さいシングルポイント測距レーザーレーダー（即ち、シングルポイントＴＯＦレーザーレーダー）により、ターゲットオブジェクトに対するセンシングを行うことで、ターゲットオブジェクトの接点座標を正確に確定する。 Therefore, this embodiment does not employ the ToF sensor mounted on a common consumer electronic device (for example, a mobile phone), and targets with a single-point ranging laser radar (that is, a single-point TOF laser radar) having a small FoV. By sensing the object, the contact coordinates of the target object are accurately determined.

当然、応用例１及び応用例２は制限するためのものとみなすべきではない。実際の応用において、シェルフのサイズ、必要とされる監視データの精度要件及びコスト要件に応じて、チャンネル数が少ないレーザーレーダーの種類、数量や取り付け方式を柔軟に選択でき、ここでは説明を省略する。 Of course, Application 1 and Application 2 should not be considered as limiting. In a practical application, the type, quantity and mounting method of the laser radar with a small number of channels can be flexibly selected according to the shelf size, the accuracy requirement of the required monitoring data and the cost requirement, and the description is omitted here. ..

上記レーザーレーダーは、ターゲットオブジェクトとアイテムとの関連付け方法を実行する処理機器に接続され、該処理機器は、ゲートウェイであってもよいし、データ処理能力を持つ他の装置、例えば、コンピュータなどのスマート端末などであってもよい。該処理機器は、レーザーレーダーのセンス情報を独立に処理してもよいし、サーバに接続し協働で情報を分析処理し、処理結果をクラウドにアップロードしてもよい。 The laser radar is connected to a processing device that executes a method of associating a target object with an item, and the processing device may be a gateway or another device having data processing capability, for example, a smart such as a computer. It may be a terminal or the like. The processing device may independently process the sense information of the laser radar, or may be connected to a server to collaboratively analyze and process the information and upload the processing result to the cloud.

以上の説明に基づいて、図５に示すターゲットオブジェクトとアイテムとの関連付け方法のフロー図にように、該方法は、シェルフ上に取り付けられたレーザーレーダーに接続された処理機器によって行われ、該レーザーレーダーのセンシング範囲は、シェルフ上の各種のアイテムをカバーする。該方法は、以下のステップを含む。 Based on the above description, as shown in the flow chart of the method of associating a target object with an item shown in FIG. 5, the method is performed by a processing device connected to a laser radar mounted on a shelf, and the laser is used. The radar sensing range covers various items on the shelf. The method comprises the following steps.

ステップＳ５０２：レーザーレーダーがターゲットオブジェクトをセンシングすることで得られたセンス情報を取得する。なお、該センス情報は、ターゲットレーザーレーダーに対するターゲットオブジェクトの距離値及び方位角を含んでもよい。ターゲットオブジェクトは消費者、図書の閲覧者又は係員などであってもよいし、監視される作業ロボットなどであってもよい。ショッピングの場合、該ターゲットオブジェクトは消費者であり、倉庫の場合、該ターゲットオブジェクトは係員又はロボットなどであり、図書館の場合、該ターゲットオブジェクトは、図書の閲覧者である。異なる場合において、ターゲットオブジェクトが異なるアイデンティティを有することは理解できる。 Step S502: The laser radar acquires the sense information obtained by sensing the target object. The sense information may include the distance value and the azimuth of the target object with respect to the target laser radar. The target object may be a consumer, a book viewer, a clerk, or the like, or a monitored work robot or the like. In the case of shopping, the target object is a consumer, in the case of a warehouse, the target object is a clerk or robot, and in the case of a library, the target object is a reader of a book. It is understandable that the target objects have different identities in different cases.

ステップＳ５０４：センス情報に基づいてセンシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定する。 Step S504: The trigger point coordinates of the target object within the sensing range are specified based on the sense information.

レーザーレーダーの数が１つだけであれば、例えば、シェルフの上部の縁の中心には１つのシングルチャンネルの機械走査式のレーザーレーダーが設置され、該センス情報は、該唯一のレーザーレーダーがターゲットオブジェクトを検知することで生成されたのである。該ライラ―は、シェルフの展示側の面に１つの「ライトカーテン」を形成し、該「ライトカーテン」がレーザーレーダーのセンシング範囲となる。ターゲットオブジェクトが人であることを例にすると、人が手を出してアイテムを取る時に、手がセンシング範囲に侵入し、レーザーレーダーがセンシング範囲内における人の手の座標（即ち、上記トリガ点座標）を取得できる。 If there is only one laser radar, for example, one single channel mechanical scanning laser radar is installed in the center of the upper edge of the shelf, and the sense information is targeted at the only laser radar. It was created by detecting an object. The lyler forms one "light curtain" on the display side surface of the shelf, and the "light curtain" becomes the sensing range of the laser radar. Taking the case where the target object is a person, when a person reaches out and picks up an item, the hand enters the sensing range, and the laser radar moves the coordinates of the human hand within the sensing range (that is, the above-mentioned trigger point coordinates). ) Can be obtained.

レーザーレーダーの数が複数であれば、ターゲットオブジェクトがアイテムを取る時に、その所在位置によって、そのうちの１つのレーザーレーダーにセンシングされる可能性があり、当然、複数のレーザーレーダーによって同時にセンシングされる可能性もある。本実施例において、ターゲットオブジェクトをセンシングしたレーザーレーダーをターゲットレーザーレーダーとして、具体的には、以下のステップを参照して実行する。 If there are multiple laser radars, when the target object picks up an item, it may be sensed by one of the laser radars depending on its location, and of course, it can be sensed by multiple laser radars at the same time. There is also sex. In this embodiment, the laser radar that senses the target object is used as the target laser radar, and specifically, it is executed with reference to the following steps.

（１）センス情報に基づいてターゲットレーザーレーダーの番号を特定する。なお、センス情報は、ターゲットレーザーレーダーによって生成され、ターゲットレーザーレーダーに対するターゲットオブジェクトの距離値及び方位角を含む。これで分かるように、ターゲットオブジェクトをセンシングしたレーザーレーダーは、各自のセンス情報を処理機器に送信し、処理機器がセンス情報に基づいて対応するターゲットレーザーレーダーを特定する。 (1) Specify the target laser radar number based on the sense information. The sense information is generated by the target laser radar and includes the distance value and the azimuth angle of the target object with respect to the target laser radar. As can be seen, the laser radar that senses the target object transmits its own sense information to the processing device, and the processing device identifies the corresponding target laser radar based on the sense information.

（２）ターゲットレーザーレーダーの番号に基づいてターゲットレーザーレーダーの位置座標を調べる。通常、各レーザーレーダーはシェルフ上に固定されるもので、位置座標が予め標定され、処理機器又はクラウドに記憶される。１つの実施形態において、処理機器はローカルにレーダー情報テーブルが記憶され、レーダー情報テーブルにはレーザーレーダー番号と位置座標との対応関係が記録されている。 (2) Check the position coordinates of the target laser radar based on the number of the target laser radar. Usually, each laser radar is fixed on a shelf, and the position coordinates are pre-oriented and stored in a processing device or a cloud. In one embodiment, the processing equipment locally stores a radar information table, and the radar information table records the correspondence between the laser radar number and the position coordinates.

（３）ターゲットレーザーレーダーの位置座標と、ターゲットレーザーレーダーに対するターゲットオブジェクトの距離値及び方位角とに基づいて、センシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定する。 (3) The trigger point coordinates of the target object within the sensing range are specified based on the position coordinates of the target laser radar and the distance value and azimuth angle of the target object with respect to the target laser radar.

図６に示す座標特定原理図には、トリガ点座標を特定する原理が簡略に示される。図７において、レーザーレーダーＬの座標を（ａ,ｂ）とし、トリガ点Ｘの座標を（ｘ,ｙ）とし、レーザーレーダーの検知によって得られた、Ｘとの距離をｄとし、Ｌに対するＸの方位角をθとすると、トリガ点座標ｘ＝ａ＋ｄ＊ｃｏｓθであり、ｙ＝ｂ＋ｄ＊ｓｉｎθであることを簡単に確定できる。複数のトリガー点座標が存在し得ることが理解でき、例えば、ターゲットオブジェクトが手を出してアイテムを取る時に、手における複数の点がターゲットレーザーレーダーによってセンシングされ、ターゲットオブジェクトがセンシングされた点がトリガー点である。 The coordinate specification principle diagram shown in FIG. 6 briefly shows the principle of specifying the trigger point coordinates. In FIG. 7, the coordinates of the laser radar L are (a, b), the coordinates of the trigger point X are (x, y), the distance to X obtained by the detection of the laser radar is d, and X with respect to L. If the azimuth angle of is θ, it can be easily determined that the trigger point coordinates x = a + d * cosθ and y = b + d * sinθ. It can be understood that there can be multiple trigger point coordinates, for example, when the target object reaches out and picks up an item, multiple points in the hand are sensed by the target laser radar, and the point where the target object is sensed triggers. It is a point.

ステップＳ５０６：ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、ターゲットオブジェクトに関連付けるアイテムを特定する。 Step S506: The item to be associated with the target object is specified based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance.

具体的には、ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、ターゲットアイテムを特定すればよい。ターゲットアイテムの位置座標とターゲットオブジェクトのトリガ点座標との距離が予め設定された距離範囲内にある。そして、ターゲットアイテムを、ターゲットオブジェクトに関連付けられるアイテムとして特定する。 Specifically, the target item may be specified based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance. The distance between the position coordinates of the target item and the trigger point coordinates of the target object is within a preset distance range. Then, the target item is specified as an item associated with the target object.

実際の応用において、ターゲットアイテムの位置座標及びトリガ点座標としてそれぞれ代表的な１つを選択すればよい。例えば、ターゲットアイテムの中心点座標をターゲットアイテムの位置座標として選択し、複数のトリガ点座標の中心座標をトリガ点座標として選択する。無論、ターゲットアイテムの位置座標は座標点の集合であってもよく、トリガ点座標も複数であってもよく、ターゲットアイテムの位置座標を点群Ａとして表現し、ターゲットアイテムのトリガ点座標を点群Ｂとして表現し、そして、点群Ａと点群Ｂとの間の距離を判断する。実際の応用において、二つの点群の一致度を直接判断することができ、一致度が高いほど、ターゲットアイテムの位置座標とターゲットオブジェクトのトリガ点座標とが近づくとみなす。トリガ点座標と、あるアイテムの位置座標との距離が近ければ近いほど、ターゲットオブジェクトが該アイテムを取ろうとすることを確定でき、該アイテムをターゲットオブジェクトに関連付ける。 In an actual application, one representative one may be selected as the position coordinate and the trigger point coordinate of the target item. For example, the center point coordinates of the target item are selected as the position coordinates of the target item, and the center coordinates of the plurality of trigger point coordinates are selected as the trigger point coordinates. Of course, the position coordinates of the target item may be a set of coordinate points, and the trigger point coordinates may be plural. The position coordinates of the target item may be expressed as a point cloud A, and the trigger point coordinates of the target item may be points. Expressed as group B, and the distance between point group A and point group B is determined. In an actual application, the degree of coincidence between two point clouds can be directly determined, and the higher the degree of coincidence, the closer the position coordinates of the target item and the trigger point coordinates of the target object are considered. The closer the distance between the trigger point coordinates and the position coordinates of an item, the more certain that the target object will try to take the item, and the more the item is associated with the target object.

本発明の実施例は上記ターゲットオブジェクトとアイテムとの関連付け方法を提供し、処理機器は、レーザーレーダーのセンス情報に基づいてセンシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定することができ、ひいてはターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標とに基づいて、ターゲットオブジェクトに関連付けるオブジェクトを特定することができる。本発明の実施例においては、チャンネル数が少ないレーザーレーダーを用いてシェルフにおける各アイテムを一括で検出するので、ローラインレーザレーダは安価であり、高価なAIビジョン機を必要とせず、アイテムの種類毎に１つ又は複数設ける必要もないため、多種のシェルフに幅広く応用することができ、多種の監視場面に適用される。 An embodiment of the present invention provides a method of associating the target object with an item, and the processing apparatus can specify the trigger point coordinates of the target object within the sensing range based on the sense information of the laser radar, and thus the target. The object associated with the target object can be specified based on the trigger point coordinates of the object and the position coordinates of various items stored in advance. In the embodiment of the present invention, since each item on the shelf is collectively detected by using a laser radar having a small number of channels, the low-line laser radar is inexpensive, does not require an expensive AI vision machine, and is a type of item. Since it is not necessary to provide one or more for each, it can be widely applied to various shelves and is applied to various monitoring situations.

処理機器は通常、横方向の位置座標及び縦方向の位置座標を含むそれぞれのアイテムの位置座標を予め記憶する必要がある。従来の方法では、マニュアルで各アイテムの縦横の位置座標を１つずつ標定していたが、これは時間及び手間がかかり効率の面では好ましくない。そして、レイヤーの位置が上下に調整されると、各アイテムの縦方向の位置座標がそれにつれて変化され、アイテムの位置座標の正確性を保証するために、通常マニュアルで各レイヤーの高さを再標定し、それに応じて各種のアイテムの位置情報を調整する必要がある。人件費を低減するために、本実施例は、各種のアイテムの位置座標を自動的に特定するための具体的な実施形態を提供し、以下のステップで実行することができる。 The processing device usually needs to store the position coordinates of each item including the horizontal position coordinates and the vertical position coordinates in advance. In the conventional method, the vertical and horizontal position coordinates of each item are manually oriented one by one, but this is not preferable in terms of time and labor and efficiency. Then, as the position of the layers is adjusted up and down, the vertical position coordinates of each item change accordingly, and the height of each layer is usually manually re-heighted to ensure the accuracy of the item's position coordinates. It is necessary to orient and adjust the position information of various items accordingly. In order to reduce labor costs, this embodiment provides a specific embodiment for automatically specifying the position coordinates of various items, which can be executed in the following steps.

ステップ１：シェルフの各レイヤーの高さを取得する。 Step 1: Get the height of each layer on the shelf.

ステップ２：各種のアイテムの、アイテムが存在するレイヤーの番号及びアイテムがその存在するレイヤーにおける水平ソート番号を含む位置情報と、寸法情報とを取得する。即ち、各種のアイテムの縦方向の位置と、横方向の位置と、寸法情報とを取得し、縦方向の位置をアイテムが存在するレイヤーの番号で表現し、横方向の位置をアイテムが存在するレイヤーにおけるソート番号で表現する。 Step 2: Acquire the position information including the number of the layer in which the item exists and the horizontal sort number in the layer in which the item exists, and the dimension information of various items. That is, the vertical position, the horizontal position, and the dimensional information of various items are acquired, the vertical position is represented by the number of the layer in which the item exists, and the horizontal position is the item. Expressed by the sort number in the layer.

ステップ３：各種のアイテムが存在するレイヤーの番号及び各レイヤーの高さに基づいて、各種のアイテムの縦方向の位置座標を特定する。例えば、１つのシェルフは、レイヤーａと、レイヤーｂと、レイヤーｃと、レイヤーｄとの４つのレイヤーを含み、シェルフの初期状態では、レイヤーａの地面からの高さが１０ｃｍで、レイヤーｂの地面からの高さが４０ｃｍで、レイヤーｃの地面からの高さが７０ｃｍで、レイヤーｄの地面からの高さが１００ｃｍである。レイヤーｂ上には、ＳＫＵ−ｂ１と、ＳＫＵ−ｂ２と、ＳＫＵ−ｂ３との３つのアイテムが設置され、レイヤーｃ上には、ＳＫＵ−ｃ１と、ＳＫＵ−ｃ２と、ＳＫＵ−ｃ３との３つのアイテムが設置される。ＳＫＵ−ｂ１及びＳＫＵ−ｃ１を例とし、ＳＫＵ−ｂ１はレイヤーｂに位置し、レイヤーｂの高さが４０ｃｍであると、ＳＫＵ−ｂ１の縦方向の位置座標が４０になり、同様に、ＳＫＵ−ｃ１の縦方向の位置座標が７０になる。 Step 3: Identify the vertical position coordinates of the various items based on the number of the layer on which the various items are located and the height of each layer. For example, one shelf contains four layers, layer a, layer b, layer c, and layer d. In the initial state of the shelf, the height of layer a from the ground is 10 cm, and that of layer b. The height from the ground is 40 cm, the height of layer c from the ground is 70 cm, and the height of layer d from the ground is 100 cm. Three items, SKU-b1, SKU-b2, and SKU-b3, are installed on layer b, and SKU-c1, SKU-c2, and SKU-c3 are three on layer c. Two items will be installed. Taking SKU-b1 and SKU-c1 as an example, if SKU-b1 is located on layer b and the height of layer b is 40 cm, the vertical position coordinates of SKU-b1 will be 40, and similarly, SKU. The vertical position coordinates of −c1 are 70.

ステップ４：各種のアイテムの水平ソート番号及びサイズ情報に基づいて、各種のアイテムの横方向の位置座標を特定する。 Step 4: Identify the lateral position coordinates of the various items based on the horizontal sort numbers and size information of the various items.

ＳＫＵ−ｂ１、ＳＫＵ−ｂ２、ＳＫＵ−ｂ３がシェルフ上に順に配列される場合を想定すると、ＳＫＵ−ｂ１の横方向の寸法が４０ｃｍとなり、ＳＫＵ−ｂ２の横方向の寸法が３０ｃｍとなり、ＳＫＵ−ｂ３の横方向の寸法が５０ｃｍとなる。さらに、隣り合う２つのＳＫＵの間にある程度の隙間（１０ｃｍとする）を有する場合を想定すると、ＳＫＵ−ｂ１の横方向の位置座標が０〜４０となり、ＳＫＵ−ｂ２の横方向の位置座標が５０〜８０となり、ＳＫＵ−ｂ３の横方向の位置座標が９０〜１４０となる。 Assuming that SKU-b1, SKU-b2, and SKU-b3 are arranged in order on the shelf, the lateral dimension of SKU-b1 is 40 cm, the lateral dimension of SKU-b2 is 30 cm, and SKU- The lateral dimension of b3 is 50 cm. Further, assuming that there is a certain gap (10 cm) between two adjacent SKUs, the lateral position coordinates of the SKU-b1 are 0 to 40, and the lateral position coordinates of the SKU-b2 are. It becomes 50 to 80, and the lateral position coordinates of SKU-b3 become 90 to 140.

１つの実施形態において、各ＳＫＵの中心点をＳＫＵの横方向の位置座標とし、各ＳＫＵの縦方向の位置座標を結合し、ＳＫＵ−ｂ１の位置座標が（２０,４０）であり、ＳＫＵ−ｂ２の位置座標が（６５,４０）であり、ＳＫＵ−ｂ３の位置座標が（１１５,４０）であることが分かる。 In one embodiment, the center point of each SKU is the lateral position coordinate of the SKU, the vertical position coordinates of each SKU are combined, the position coordinate of the SKU-b1 is (20,40), and the SKU- It can be seen that the position coordinates of b2 are (65,40) and the position coordinates of SKU-b3 are (115,40).

シェルフにおける各種のアイテムの位置座標が特定されたら、その後の応用のために、各種のアイテムの位置座標を処理機器のローカル又はクラウドに記憶することができる。 Once the position coordinates of the various items on the shelf have been identified, the position coordinates of the various items can be stored locally on the processing device or in the cloud for further application.

以上のように、シェルフにおける各種のアイテムの位置座標をマニュアルで標定することなく簡単に特定することができるので、処理機器がターゲットオブジェクトのトリガ点座標及び各アイテムの位置座標に基づいてターゲットオブジェクトに関連付けるアイテムを特定し、即ち、ターゲットオブジェクトが取ったアイテムを特定する。 As described above, since the position coordinates of various items on the shelf can be easily specified without manually defining them, the processing device can set the target object based on the trigger point coordinates of the target object and the position coordinates of each item. Identify the item to associate, that is, identify the item taken by the target object.

シェルフのレイヤーが調整される可能性があり、例えば、スーパーのスタッフは商品の配置のためにシェルフ上のレイヤーの高さを調整することを想定すると、これに基づいて、本実施例はシェルフ上のレイヤーごとの高さを自動的に取得する方法を提供し、以下に詳しく説明する。 Layers on the shelf may be adjusted, for example, assuming supermarket staff adjust the height of the layers on the shelf for product placement, based on this, this example is on the shelf. Provides a method to automatically get the height of each layer of, which is explained in detail below.

シェルフには縦方向に回路基板がさらに設けられ、回路基板は予め設定された間隔で縦方向に沿って複数の電気接点が設けられ、レイヤーごとにエジェクタピンが設けられ、エジェクタピンにより回路基板における電気接点に接続される。具体的には、回路基板はＰＣＢ（Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ、プリント回路基板）であってもよい。該回路基板には処理機器がされに接続され、回路基板における各電気接点の状態を処理機器に報告する。 The shelf is further provided with a circuit board in the vertical direction, the circuit board is provided with a plurality of electrical contacts along the vertical direction at preset intervals, ejector pins are provided for each layer, and the ejector pins are used in the circuit board. Connected to electrical contacts. Specifically, the circuit board may be a PCB (Printed Circuit Board, printed circuit board). A processing device is connected to the circuit board, and the state of each electrical contact on the circuit board is reported to the processing device.

理解を容易にするために、図７に示す回路基板の構造模式図を参照し、回路基板３０に複数の電気接点３１が縦方向に設けられ、異なる電気接点の地面からの高さが異なり、各電気接点がレイヤーのエジェクタピンに接続されていない時に、フリー状態にあるとみなすことができる。エジェクタピンに接続される時に、接触状態にあるとみなすことができる。回路基板の縦方向の長さは、シェルフの高さに合わせることができ、例えば、回路基板の縦方向の長さはシェルフの高さに等しい。シェルフのトップレイヤーとボトムレイヤーは通常に位置が固定されているため、回路基板の縦方向の長さを適切に縮小し、シェルフの中央の複数のレイヤーの位置をセンシングするためにのみ使用できる。 In order to facilitate understanding, referring to the structural schematic diagram of the circuit board shown in FIG. 7, a plurality of electric contacts 31 are provided in the vertical direction on the circuit board 30, and the heights of the different electric contacts from the ground are different. When each electrical contact is not connected to the ejector pin of the layer, it can be considered free. When connected to the ejector pin, it can be considered in contact. The vertical length of the circuit board can be matched to the height of the shelf, for example, the vertical length of the circuit board is equal to the height of the shelf. Since the top and bottom layers of the shelf are normally fixed in position, they can only be used to adequately reduce the longitudinal length of the circuit board and to sense the position of multiple layers in the center of the shelf.

図８に示す回路基板が取り付けられたシェルフの側面図を参照し、回路基板３０がシェルフ１０のバックプレートに取り付けられていることを示している。もちろん、シェルフにバックプレートがない場合は、回路基板をシェルフの支持バーに取り付けることができ、シェルフの構造にかかわらず、回路基板はシェルフとレイヤーとの固定側に設置すればよく、レイヤーがシェルフに接続される時に、回路基板に触れる必要がある。 図８に示すように、回路基板３０上に複数の電気接点３１が設けられ、４つのレイヤー１０ａそれぞれのシェルフのバックプレートとの接合部にエジェクタピン（図８に明示されていない）が設けられ、エジェクタピンが電気接点と接触されている。レイヤーの高さを調整すると、そのエジェクタピンが接触する電気接点も自然にそれにつれて変化する。 With reference to the side view of the shelf to which the circuit board shown in FIG. 8 is attached, it is shown that the circuit board 30 is attached to the back plate of the shelf 10. Of course, if the shelf does not have a back plate, the circuit board can be attached to the support bar of the shelf, and regardless of the structure of the shelf, the circuit board can be installed on the fixed side between the shelf and the layer, and the layer is the shelf. You need to touch the circuit board when connected to. As shown in FIG. 8, a plurality of electrical contacts 31 are provided on the circuit board 30, and ejector pins (not specified in FIG. 8) are provided at the joints of the shelves of the four layers 10a with the back plates. , The ejector pin is in contact with the electrical contact. When you adjust the height of the layer, the electrical contacts that the ejector pins come in contact with naturally change accordingly.

１つの実施形態においては、複数の電気接点は、回路基板上に設置された処理チップ（回路基板処理チップと略称）に直接に接続されることができ、電気接点がレイヤーにおけるエジェクタピンに接続されると、 該電気接点はローレベル信号を回路基板の処理チップに送信し、エジェクタピンに接続されていない電気接点がフリー状態にあり、常にハイレベル信号を回路基板の処理チップに送信する。回路基板の処理チップは受信した信号によって各電気接点の状態を特定し、各電気接点の状態を処理機器に送信することができる。もちろん、エジェクタピンに接続された電気接点が回路基板の処理チップにハイレベル信号を送信し、エジェクタピンに接続されていない電気接点が回路基板の処理チップにローレベル信号を送信するようにしてもよく、ここで制限されない。処理機器は各電気接点が送信した信号によって、どの電気接点がレイヤーのエジェクタピンに接続されているかを識別でき、さらにレイヤーの高さを特定することができる。 In one embodiment, the plurality of electrical contacts can be directly connected to a processing chip (abbreviated as circuit board processing chip) installed on the circuit board, and the electrical contacts are connected to ejector pins in the layer. Then, the electric contact transmits a low level signal to the processing chip of the circuit board, the electric contact not connected to the ejector pin is in the free state, and the high level signal is always transmitted to the processing chip of the circuit board. The processing chip of the circuit board can identify the state of each electric contact by the received signal and transmit the state of each electric contact to the processing device. Of course, even if the electrical contacts connected to the ejector pins send high-level signals to the processing chip of the circuit board, and the electrical contacts not connected to the ejector pins send low-level signals to the processing chips of the circuit board. Well, not limited here. The processing equipment can identify which electrical contact is connected to the ejector pin of the layer by the signal transmitted by each electrical contact, and can further specify the height of the layer.

これに基づいて、処理機器がシェルフの各レイヤーの高さを取得する時に、以下のステップを参照して実行することができる。 Based on this, when the processing equipment obtains the height of each layer of the shelf, it can be performed with reference to the following steps.

（１）回路基板における各電気接点の、フリー状態又は接触状態を含む状態を取得する。フリー状態は、電気接点がエジェクタピンに接続されていない時にある状態（ダングリング状態ともいう）である。接触状態は電気接点がレイヤーのエジェクタピンに接続される際の状態である。 (1) Acquire the state including the free state or the contact state of each electric contact on the circuit board. The free state is a state in which the electrical contact is not connected to the ejector pin (also referred to as a dangling state). The contact state is the state when the electrical contact is connected to the ejector pin of the layer.

（２）各電気接点の状態によって、ターゲット電気接点の番号を特定し、ターゲット電気接点は接触状態にある電気接点であり、ターゲット電気接点の数はレイヤーの数に合わせる。例えば、回路基板においてＣ１〜Ｃ２０の合計２０個の電気接点が下から上まで順に設けられ、Ｃ２、Ｃ８、Ｃ１４とＣ１９の状態が接触状態であり、その他の電気接点はすべてフリー状態であるとすると、Ｃ２、Ｃ８、Ｃ１４とＣ１９がターゲット電気接点になり、１つのレイヤーに１つのエジェクタピンがあれば、ターゲット電気接点の数量がレイヤーの数量に等しく、即ち、合計４つのレイヤーがあると特定できる。 (2) The number of the target electric contact is specified according to the state of each electric contact, the target electric contact is an electric contact in a contact state, and the number of target electric contacts is matched with the number of layers. For example, on a circuit board, a total of 20 electrical contacts C1 to C20 are provided in order from bottom to top, the states of C2, C8, C14 and C19 are in contact state, and all other electrical contacts are in a free state. Then, C2, C8, C14 and C19 become target electrical contacts, and if there is one ejector pin in one layer, it is specified that the quantity of target electrical contacts is equal to the quantity of layers, that is, there are a total of four layers. it can.

（３）ターゲット電気接点の番号及び予め作られた電気接点情報テーブルに基づいて、各ターゲット電気接点の位置情報を検索し、電気接点情報テーブルに電気接点番号と電気接点の位置情報との対応関係が記憶されている。容易にするために、電気接点の位置情報は高さのみで表現してもよい。 (3) The position information of each target electric contact is searched based on the target electric contact number and the electric contact information table created in advance, and the correspondence between the electric contact number and the position information of the electric contact is displayed in the electric contact information table. Is remembered. For the sake of simplicity, the position information of the electrical contacts may be expressed only by the height.

（４）各ターゲット電気接点の位置情報に基づいて各レイヤーの高さを特定する。例えば、Ｃ２、Ｃ８、Ｃ１４とＣ１９の高さがそれぞれ１０ｃｍ、４０ｃｍ、７０ｃｍ、および１００ｃｍであれば、レイヤーと電気接点との対応関係は、レイヤーａがＣ２に対応し、レイヤーｂがＣ８に対応し、レイヤーｃがＣ１４に対応し、レイヤーｄがＣ１９に対応する。即ち、レイヤーａの地面からの高さが１０ｃｍで、レイヤーｂの地面からの高さが４０ｃｍで、レイヤーｃの地面からの高さが７０ｃｍで、レイヤーｄの地面からの高さが１００ｃｍであると特定できる。 (4) The height of each layer is specified based on the position information of each target electrical contact. For example, if the heights of C2, C8, C14 and C19 are 10 cm, 40 cm, 70 cm, and 100 cm, respectively, the correspondence between the layer and the electrical contact is such that layer a corresponds to C2 and layer b corresponds to C8. Then, layer c corresponds to C14, and layer d corresponds to C19. That is, the height of the layer a from the ground is 10 cm, the height of the layer b from the ground is 40 cm, the height of the layer c from the ground is 70 cm, and the height of the layer d from the ground is 100 cm. Can be identified.

係員がレイヤーｂの高さを調整したとすると、処理機器が各電気接点の状態においてＣ２、Ｃ１０、Ｃ１４とＣ１９が接触状態と表示され、Ｃ１０の高さが４８ｃｍで、それに応じてＣ１０がレイヤーｂに対応し、レイヤーｂの現在の高さが４８ｃｍで、その他のレイヤーの位置が変わらない。この時に、処理機器は、シェルフにおける各アイテムの位置正確性を確保するために、レイヤーｂにおける各アイテムの縦方向の位置座標をさらに修正する。 If the clerk adjusts the height of layer b, C2, C10, C14 and C19 are displayed as in contact with the processing equipment in the state of each electrical contact, the height of C10 is 48 cm, and C10 is layered accordingly. Corresponding to b, the current height of layer b is 48 cm, and the positions of other layers do not change. At this time, the processing device further modifies the vertical position coordinates of each item on layer b in order to ensure the position accuracy of each item on the shelf.

その他、現在のシェルフ上に例えば電子タグ、照明ランプなどの電気機器が存在する可能性があることを考慮すると、回路基板には各レイヤーにおける電気機器に電力を供給するための電源をさらに設けてもよい。図９に示す別の回路基板の構造模式図を参照し、接点エリア３０ａと電源エリア３０ｂを示し、電源エリア３０ｂは接点エリア３０ａと並設されており、縦方向に沿った長尺領域でもある。電源エリア３０ｂは、外部電源に一括で接続される電源入力端と、シェルフにおける各レイヤーが固定する電気機器に電力を供給できる複数の電源出力端とを有することができる。回路基板がシェルフ側に垂直に固定され、かつ、電源エリアの長さもそれに応じてシェルフの高さに合わせるため、シェルフにおける各レイヤーが固定する電気機器により便利に電力を供給することができ、従来のシェルフがその自身の構造に制限されるため、シェルフ上に分布された各電気機器への電力の供給が不便である課題をよりよく改善する。 In addition, considering that there may be electrical devices such as electronic tags and lighting lamps on the current shelf, the circuit board is further provided with a power source for supplying power to the electrical devices in each layer. May be good. The contact area 30a and the power supply area 30b are shown with reference to the structural schematic diagram of another circuit board shown in FIG. 9, and the power supply area 30b is juxtaposed with the contact area 30a and is also a long region along the vertical direction. .. The power supply area 30b can have a power input end that is collectively connected to an external power source and a plurality of power output ends that can supply power to electrical equipment fixed by each layer on the shelf. Since the circuit board is fixed vertically to the shelf side and the length of the power supply area is adjusted to the height of the shelf accordingly, it is possible to more conveniently supply power to the electrical equipment to which each layer of the shelf is fixed. It better remedies the inconvenience of supplying power to each electrical device distributed on the shelf, as the shelves are restricted to their own structure.

本実施例に係るターゲットオブジェクトとアイテムとの関連付け方法は、主にロービームレーザーレーダーの方式でターゲットオブジェクトが触れたシェフルにおけるアイテムを監視し、そして、回路基板でシェルフのレイヤーの高さを自動的に取得することができる。スマート小売シナリオ、インテリジェント図書館、インテリジェント倉庫／ロジスティクス産業等のようなターゲットオブジェクトとアイテムとの関係を監視する必要がある場合に幅広く応用でき、以下にスマート小売シナリオを例として、ターゲットオブジェクトが消費者で、アイテムがシェフルにおける商品で、本実施例の利点をさらに述べる。 The method of associating the target object with the item according to this embodiment mainly monitors the item in the shelves touched by the target object by the method of low beam laser radar, and automatically adjusts the height of the shelf layer on the circuit board. Can be obtained. It can be widely applied when it is necessary to monitor the relationship between the target object and the item such as smart retail scenario, intelligent library, intelligent warehouse / logistics industry, etc. The target object is the consumer as an example of the smart retail scenario below. The item is a retail product, further describing the advantages of this embodiment.

（１）スマート小売シナリオにおいて、ＡＩビション機は、複数の角度から画像情報を収集するために、通常シェルフ上に複数のカメラを配置する必要がある。コストが高い一方、カメラがリアルタイムで消費者の肖像情報を収集するため、カメラの配置は、消費者に心理的な圧力を与え、消費者のプライバシーを暴露する可能性もあり、消費者の安全性が低く、ユーザーエクスペリエンスが悪い。 (1) In the smart retail scenario, the AI Bichon machine usually needs to arrange a plurality of cameras on a shelf in order to collect image information from a plurality of angles. While costly, the placement of the camera can put psychological pressure on the consumer and expose consumer privacy, as the camera collects portrait information of the consumer in real time, and is safe for the consumer. Poor sex and poor user experience.

本実施例に係るロービームレーザーレーダーはシェルフの表示平面に「ライトカーテン」を形成でき、「ライトカーテン」により消費者をセンシングし、消費者の画像情報を収集せず、消費者のプライベートにほとんど関係なく、消費者を気楽にショッピングさせることができる。 The low beam laser radar according to this embodiment can form a "light curtain" on the display plane of the shelf, senses the consumer by the "light curtain", does not collect the consumer's image information, and is mostly related to the consumer's private life. It is possible to make consumers feel comfortable shopping.

（２）通常、レーザーレーダーのレーザービームが低いほど、コストが低い。本実施例はコストが低いロービームレーザーレーダーで消費者が商品を取る動作を監視し、例えば、シングルチャンネル型スキャンレーザーレーダーで監視効果に達し、ＡＩビジュアル機及び深度センサーよりコストが遥かに低い。現在の深度センサーはコストがまた高騰である一方、本実施例で使用されるロービームレーザーレーダーはコストが低く、各場合に普及できる。 (2) Generally, the lower the laser beam of the laser radar, the lower the cost. In this embodiment, a low-cost low-beam laser radar monitors the operation of a consumer picking up a product, for example, a single-channel scan laser radar reaches a monitoring effect, and the cost is much lower than that of an AI visual machine and a depth sensor. While the cost of current depth sensors is also high, the low beam laser radar used in this embodiment is low cost and can be used in each case.

（３）本実施例で使用されるレーザーレーダーの数は少なくとも１つで、シェルフの縁側に設けられるだけで、商品を取る消費者をセンシングし、シェルフにおける各商品に対する監視を実現することができる。シェルフにおけるアイテムごとに１つ又は複数の赤外線距離センサーに対応する必要がない。本実施例に係るこのような方式は配線が簡単で、例えばガラス表示冷蔵庫、冷蔵キャビネット等のような特別なタイプのシェフルにも適用でき、実現に容易である。 (3) The number of laser radars used in this embodiment is at least one, and only by being provided on the veranda of the shelf, it is possible to sense the consumer who takes the product and realize monitoring of each product on the shelf. .. There is no need to correspond to one or more infrared distance sensors for each item on the shelf. Such a method according to the present embodiment is easy to wire, and can be applied to a special type of shepherd such as a glass display refrigerator, a refrigerator cabinet, etc., and is easy to realize.

（４）本実施例は電気接点が設けられた回路基板でシェルフのレイヤーの高さを把握でき、レイヤーの高さが調整されても、調整された後の各レイヤーの高さを自動的に取得することができ、ひいては各商品の位置座標をそれに応じて特定することができ、消費者と商品との関連正確性を確保する。このような方式はマニュアルでレイヤーの高さを改めて標定する必要がなく、人件費をよりよく節約し、効率を上げる基礎で、データの正確性もよりよく保障することができ、マニュアルの標定で出た測定間違い、記録間違いなどのよくある問題を避ける。 (4) In this embodiment, the height of the layers of the shelf can be grasped by the circuit board provided with the electrical contacts, and even if the height of the layers is adjusted, the height of each layer after the adjustment is automatically adjusted. It can be obtained, and the position coordinates of each product can be specified accordingly, ensuring the accuracy of the relationship between the consumer and the product. Such a method does not require manual re-orientation of layer heights, is the basis for better labor cost savings and efficiency, and can better ensure data accuracy, with manual orientation. Avoid common problems such as measurement errors and recording errors.

（５）本実施例に係る回路基板に電源エリアをさらに設置してもよく、電源エリアの長さもそれに応じてシェルフの高さに合わせる、シェルフにおける各レイヤーが固定する電気機器により便利に電力を供給することができ、従来のシェルフがその自身の構造に制限されるため、シェルフ上に分布された各電気機器への電力の供給が不便である課題をよりよく改善する。 (5) A power supply area may be further installed on the circuit board according to the present embodiment, and the length of the power supply area is adjusted accordingly to the height of the shelf. It better remedies the inconvenience of supplying power to each electrical device distributed on the shelf, as it can be supplied and the conventional shelf is limited to its own structure.

以上により、本実施例に係る上記ターゲットオブジェクトとアイテムとの関連方法は、主にロービームレーザーレーダーによりターゲットオブジェクトが触れたシェルフにおけるアイテムを監視し、「人物関係」をよりうまく作り、チャンネル数が少ないレーザーレーダーは通常、ターゲットの位置（距離と角度）をより正確に測定することができ、ＡＩビジョン、ハイビームレーザーレーダー、深度センサー等よりもコストがはるかに低く、多種類のシェルフに幅広く応用でき、さまざまな監視場面に適用される。 Based on the above, the method of relating the target object and the item according to the present embodiment mainly monitors the item on the shelf touched by the target object by the low beam laser radar, creates a "personal relationship" better, and has a small number of channels. Laser radars can usually measure the position of the target (distance and angle) more accurately, are much less expensive than AI vision, high beam laser radar, depth sensors, etc., and can be widely applied to many types of shelves. It is applied to various surveillance situations.

〈実施例３〉
前記実施例に係るターゲットオブジェクトとアイテムとの関連付け方法に対応し、本実施例はターゲットオブジェクトとアイテムとの関連付け装置を提供し、該装置はシェルフに取り付けられたレーザーレーダーに接続された処理機器に応用され、該レーザーレーダーはセンシング範囲が指定エリアをカバーする。 <Example 3>
Corresponding to the method of associating a target object with an item according to the above embodiment, the present embodiment provides an associating device between a target object and an item, and the device is attached to a processing device connected to a laser radar mounted on a shelf. Applied, the laser radar has a sensing range that covers a designated area.

図１０に示すターゲットオブジェクトとアイテムとの関連付け装置の構造ブロック図にように、
レーザーレーダーがターゲットオブジェクトをセンシングすることで得られたセンス情報を取得するためのセンス情報取得モジュール１００２と、
センス情報に基づいてセンシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定するためのトリガ点特定モジュール１００４と、
ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、ターゲットオブジェクトに関連付けるアイテムを特定するための関連特定モジュール１００６と、を含む。 As shown in the structural block diagram of the device for associating the target object with the item shown in FIG.
The sense information acquisition module 1002 for acquiring the sense information obtained by the laser radar sensing the target object, and
Trigger point identification module 1004 for specifying the trigger point coordinates of the target object within the sensing range based on the sense information, and
It includes a related identification module 1006 for identifying an item associated with a target object based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance.

本発明の実施例は、上記ターゲットオブジェクトとアイテムとの関連付け装置を提供し、処理機器は、レーザーレーダーのセンス情報に基づいてセンシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定することができ、ひいてはターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標とに基づいて、ターゲットオブジェクトに関連付けるオブジェクトを特定することができる。本発明の実施例においては、チャンネル数が少ないレーザーレーダーによりシェルフにおける各アイテムを一括で検出できるので、ローラインレーザレーダは安価であり、高価なＡＩビジョン機を必要とせず、アイテムの種類毎に１つ又は複数設ける必要もないため、多種のシェルフに幅広く応用することができ、多種の監視場面に適用される。 An embodiment of the present invention provides a device for associating the target object with an item, and the processing device can specify the trigger point coordinates of the target object within the sensing range based on the sense information of the laser radar, and thus the trigger point coordinates of the target object can be specified. The object associated with the target object can be specified based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance. In the embodiment of the present invention, since each item on the shelf can be collectively detected by a laser radar having a small number of channels, the low-line laser radar is inexpensive, does not require an expensive AI vision machine, and is used for each item type. Since it is not necessary to provide one or more, it can be widely applied to various shelves and is applied to various monitoring situations.

１つの実施形態において、レーザーレーダーは機械走査式のレーザーレーダーであり、機械走査式のレーザーレーダーの数は少なくとも１つであり、全ての機械走査式のレーザーレーダーのセンシング範囲の組み合わせがシェルフにおける各種のアイテムをカバーする。 In one embodiment, the laser radar is a mechanically scanning laser radar, the number of mechanically scanning laser radars is at least one, and the combination of sensing ranges of all mechanically scanning laser radars varies on the shelf. Cover the items of.

別の実施形態において、レーザーレーダーはシングルポイント測距レーザーレーダーであり、シングルポイント測距レーザーレーダーの数は複数であり、複数のシングルポイント測距レーザーレーダーは、予め設定された間隔で一列に配列され、複数のシングルポイント測距レーザーレーダーのセンシング範囲の組み合わせは、シェルフにおける各種のアイテムをカバーする。 In another embodiment, the laser radar is a single point ranging laser radar, the number of single point ranging laser radars is plural, and the plurality of single point ranging laser radars are arranged in a row at preset intervals. The combination of sensing ranges of multiple single-point ranging laser radars covers a variety of items on the shelf.

具体的に実施する時に、上記トリガ点特定モジュール１００４は以下のために用いられる。 When specifically implemented, the trigger point identification module 1004 is used for:

センス情報に基づいてターゲットレーザーレーダーの番号を特定し、センス情報はターゲットレーザーレーダーによって生成され、ターゲットレーザーレーダーに対するターゲットオブジェクトの距離値及び方位角を含む。 The number of the target laser radar is specified based on the sense information, and the sense information is generated by the target laser radar and includes the distance value and the azimuth angle of the target object with respect to the target laser radar.

ターゲットレーザーレーダーの番号に基づいてターゲットレーザーレーダーの位置座標を調べる。 Find the position coordinates of the target laser radar based on the number of the target laser radar.

ターゲットレーザーレーダーの位置座標、及びターゲットレーザーレーダーに対するターゲットオブジェクトの距離値と方位角に基づいて、センシング範囲内におけるターゲットオブジェクトのトリガ点座標を特定する。 The trigger point coordinates of the target object within the sensing range are specified based on the position coordinates of the target laser radar and the distance value and azimuth angle of the target object with respect to the target laser radar.

上記関連特定モジュール１００６は、以下に用いられる。 The related specific module 1006 is used below.

ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、ターゲットアイテムを特定し、ターゲットアイテムの位置座標とターゲットオブジェクトのトリガ点座標との距離が予め設定された距離範囲内にある。 The target item is specified based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance, and the distance between the position coordinates of the target item and the trigger point coordinates of the target object is within a preset distance range. It is in.

ターゲットアイテムをターゲットオブジェクトが関連するアイテムとして特定する。 Identify the target item as the item with which the target object is associated.

さらに、上記装置は、
シェルフの各レイヤーの高さを取得するための高さ取得モジュールと、
各種のアイテムの、アイテムが存在するレイヤーの番号及びアイテムがその存在するレイヤーにおける水平ソート番号を含む位置情報と、寸法情報とを取得するためのアイテム情報取得モジュールと、
各種のアイテムが存在するレイヤーの番号と各レイヤーの高さに基づいて、各種のアイテムの縦方向の位置座標を特定するための縦方向座標特定モジュールと、
各種のアイテムの水平ソート番号とサイズ情報に基づいて、各種のアイテムの横方向の位置座標を特定するための横方向座標特定モジュールと、を含む。 Furthermore, the above device
With the height acquisition module to acquire the height of each layer of the shelf,
An item information acquisition module for acquiring position information including the number of the layer in which the item exists and the horizontal sort number in the layer in which the item exists of various items, and dimension information.
A vertical coordinate identification module for specifying the vertical position coordinates of various items based on the layer number where various items exist and the height of each layer.
Includes a horizontal coordinate identification module for identifying the horizontal position coordinates of various items based on the horizontal sort number and size information of the various items.

１つの実施形態において、シェルフには回路基板が縦方向にさらに設けられ、回路基板は予め設定された間隔で縦方向に沿って複数の電気接点が設けられ、レイヤーごとにエジェクタピンが設けられ、エジェクタピンによって回路基板における電気接点に接続され、回路基板は処理機器にも接続される。それに基づいて、上記高さ取得モジュールは、以下にも用いられる。 In one embodiment, the shelf is further provided with circuit boards in the vertical direction, the circuit boards are provided with a plurality of electrical contacts along the vertical direction at preset intervals, and ejector pins are provided for each layer. It is connected to the electrical contacts on the circuit board by the ejector pins, and the circuit board is also connected to the processing equipment. Based on that, the height acquisition module is also used below.

回路基板における各電気接点の、フリー状態又は接触状態を含む状態を取得する。 Acquires the state including the free state or the contact state of each electric contact on the circuit board.

各電気接点の状態によって、ターゲット電気接点の番号を特定し、ターゲット電気接点は接触状態にある電気接点であり、ターゲット電気接点の数はレイヤーの数に合わせる。
ターゲット電気接点の番号及び予め作られた電気接点情報テーブルに基づいて、各ターゲット電気接点の位置情報を検索し、電気接点情報テーブルに電気接点番号と位置情報との対応関係が記憶されている。 The number of the target electrical contact is specified according to the state of each electrical contact, the target electrical contact is an electrical contact in the contact state, and the number of target electrical contacts is matched with the number of layers.
The position information of each target electric contact is searched based on the target electric contact number and the electric contact information table created in advance, and the correspondence between the electric contact number and the position information is stored in the electric contact information table.

各ターゲット電気接点の位置情報に基づいて各レイヤーの高さを特定する。 The height of each layer is specified based on the position information of each target electrical contact.

別の実施形態において、上記回路基板には、各前記レイヤーにおける電気機器に電力を供給するための電源がさらに設けられ、電気機器は、電子タグ及び/又は照明ランプを含む。 In another embodiment, the circuit board is further provided with a power source for supplying power to the electrical equipment in each layer, the electrical equipment comprising an electronic tag and / or a lighting lamp.

本実施例に係る装置は、実現原理及び生じた技術的効果が前記実施例と同じで、説明を簡単にするために、装置の実施例の部分が及ばないところについて、前記方法の実施例に対応する内容を参照することができる。 The device according to the present embodiment has the same realization principle and the technical effect as the above-described embodiment, and in order to simplify the explanation, the example of the above-mentioned method is described in a place where the part of the device embodiment does not cover. You can refer to the corresponding content.

〈実施例４〉
本発明の実施例は、レーザーレーダーと処理機器とを含む、ターゲットオブジェクトとアイテムとの関連付けシステムを提供する。レーザーレーダーはセンス情報を生成するためのものであり、処理機器にコンピュータプログラムが記憶され、コンピュータプログラムは処理機器によって実行される時に前記実施例２に記載のいずれかの方法を実行する。 <Example 4>
Embodiments of the present invention provide an association system for target objects and items, including laser radar and processing equipment. The laser radar is for generating sense information, a computer program is stored in the processing device, and when the computer program is executed by the processing device, any of the methods described in the second embodiment is executed.

当業者は、説明の便宜上、以上に説明したシステムの具体的な作業プロセスは、前述の方法の実施例における対応するプロセスを参照することができ、詳細はここで省略することを明確に理解することができる。 Those skilled in the art will clearly understand that, for convenience of explanation, the specific working processes of the system described above may refer to the corresponding processes in the embodiments of the above methods, the details of which are omitted herein. be able to.

さらに、本実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体には、処理機器によって実行される時に上記第１の態様のいずれかの方法のステップを実行するコンピュータプログラムが記憶される。 Further, the present embodiment provides a computer-readable storage medium, which stores a computer program that executes the steps of any of the methods of the first aspect when executed by a processing device. To.

本発明の実施例に係るターゲットオブジェクトとアイテムとの関連付け方法、装置、及びシステムのコンピュータプログラム製品は、プログラムコードが記憶されたコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれた指令は前記方法の実施形態において説明された方法の実行に用いられることができ、具体的には方法の実施例を参照することができ、詳細はここでは省略する。 The computer program product of the method, apparatus, and system for associating a target object with an item according to an embodiment of the present invention includes a computer-readable storage medium in which the program code is stored, and the instruction contained in the program code is the method. It can be used to carry out the method described in the embodiment of the above, and specific examples of the method can be referred to, the details of which are omitted here.

前記機能は、ソフトウェア機能ユニットの形で実現され、スタンドアロン製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の技術案は実質的に、又は従来技術に対して貢献する部分、又は該技術案の部分が、ソフトウェア製品の形で表現することができ、該コンピュータソフトウェア製品が記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、又はネットワークデバイスなどであってもよい）を、本発明の各実施例で説明された方法のステップのすべて又は一部を実行させるように、複数の指令を含む。前記記憶媒体には、プログラムコードを記憶可能なディスク、携帯型のハードディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどが含まれる。 The function is realized in the form of a software functional unit and may be stored on a computer-readable storage medium when sold or used as a stand-alone product. Based on such an understanding, the technical proposal of the present invention can be expressed in the form of a software product in substance, a part that contributes to the prior art, or a part of the technical proposal, and the computer software. The product is stored on a storage medium so that the computer device (which may be a personal computer, server, or network device, etc.) performs all or part of the steps of the method described in each embodiment of the invention. Includes multiple instructions. The storage medium includes a disk capable of storing a program code, a portable hard disk, a read-only memory (ROM, Read-Only Memory), a random access memory (RAM, Random Access Memory), a magnetic disk, an optical disk, and the like. ..

最後に説明すべきなのは、上記の実施例は本発明の具体的な実施形態に過ぎず、本発明の技術案を説明するためのものであり、限定的なものではなく、本発明の保護範囲がこれに限定されるものではない。 前記実施例に基づいて本発明を詳細に説明したが、当業者にとっては、本発明が開示する技術的範囲内で、前記実施例に記載の技術案を修正するか、又は変化を容易に想到するか、又はそのうちの一部の技術特徴を同等に置き換えることが可能であることが理解できる。これらの修正、変化、又は置換は、対応する技術案の本質を本発明の実施例の技術案の精神と範囲から逸脱することなく、全て本発明の保護範囲内に包含されるべきである。したがって、本発明の保護範囲は、請求の範囲によって確定される。 Lastly, it should be explained that the above-described embodiment is merely a specific embodiment of the present invention and is for explaining the technical proposal of the present invention, and is not a limitation and is not a limitation, and is a scope of protection of the present invention. Is not limited to this. Although the present invention has been described in detail based on the above-mentioned Examples, those skilled in the art can easily modify or easily conceive a change in the technical proposal described in the above-mentioned Examples within the technical scope disclosed by the present invention. It can be understood that it is possible to do so or replace some of the technical features equally. All of these modifications, changes, or substitutions should be included within the scope of the invention without departing from the spirit and scope of the proposed embodiment of the invention. Therefore, the scope of protection of the present invention is determined by the claims.

１０ シェルフ
１０ａ レイヤー
２０ａ シングルチャンネル機械走査式のレーザーレーダー
２０ｂ シングルポイントＴｏＦレーザーレーダー
３０ 回路基板
３０ａ 接点エリア
３０ｂ 電源エリア
３１ 電気接点 10 Shelf 10a Layer 20a Single channel mechanical scanning laser radar 20b Single point ToF laser radar 30 Circuit board 30a Contact area 30b Power supply area 31 Electrical contacts

Claims (9)

ターゲットオブジェクトとアイテムとの関連付け方法であって、
前記方法は、シェルフ上に取り付けられたレーザーレーダーに接続された処理機器に適用され、前記レーザーレーダーは、チャンネル数が予め設定されたチャンネル数の値より低く、かつ、センシング範囲が前記シェルフにおける各種のアイテムをカバーし、
前記方法は、
前記レーザーレーダーがターゲットオブジェクトをセンシングすることで得られたセンス情報を取得するステップと、
前記センス情報に基づいて、前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するステップと、
前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、前記ターゲットオブジェクトに関連付けるアイテムを特定するステップと、を含み、
前記レーザーレーダーは、シングルポイント測距レーザーレーダーであり、前記シングルポイント測距レーザーレーダーの数は、複数であり、かつ、前記複数のシングルポイント測距レーザーレーダーは、予め設定された間隔で一列に配列されており、
前記複数のシングルポイント測距レーダーレーダーのセンシング範囲の組み合わせが、前記シェルフにおける各種のアイテムをカバーする、
方法。 How to associate a target object with an item
The method is applied to a processing device connected to a laser radar mounted on a shelf, in which the laser radar has a number of channels lower than a preset number of channels and various sensing ranges on the shelf. Cover the items of
The method is
The step of acquiring the sense information obtained by the laser radar sensing the target object, and
A step of specifying the trigger point coordinates of the target object within the sensing range based on the sense information, and
Based on the position coordinates of the various items that are triggered point coordinates and previously stored in the target object, viewed including the steps of: identifying the items to be associated with the target object,
The laser radar is a single-point ranging laser radar, the number of the single-point ranging laser radars is plural, and the plurality of single-point ranging laser radars are arranged in a row at preset intervals. Arranged and
The combination of the sensing ranges of the plurality of single-point ranging radar radars covers various items on the shelf.
Method. 前記センス情報に基づいて、前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するステップは、
前記センス情報に基づいてターゲットレーザーレーダーの番号を特定するステップであり、前記センス情報はターゲットレーザーレーダーによって生成され、前記ターゲットレーザーレーダーに対する前記ターゲットオブジェクトの距離値及び方位角を含む、ステップと、
前記ターゲットレーザーレーダーの番号に基づいて前記ターゲットレーザーレーダーの位置座標を調べるステップと、
前記ターゲットレーザーレーダーの位置座標、及び、前記ターゲットレーザーレーダーに対する前記ターゲットオブジェクトの距離値及び方位角に基づいて、前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するステップと、を含む、
請求項１に記載の方法。 The step of specifying the trigger point coordinates of the target object within the sensing range based on the sense information is
A step of identifying the number of the target laser radar based on the sense information, wherein the sense information is generated by the target laser radar and includes a distance value and an azimuth of the target object with respect to the target laser radar.
The step of checking the position coordinates of the target laser radar based on the number of the target laser radar, and
A step of identifying the trigger point coordinates of the target object within the sensing range based on the position coordinates of the target laser radar and the distance value and azimuth angle of the target object with respect to the target laser radar.
The method according to claim 1 . 前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、前記ターゲットオブジェクトに関連付けるアイテムを特定するステップは、
前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種のアイテムの位置座標に基づいて、ターゲットアイテムを特定するステップであり、前記ターゲットアイテムの位置座標と前記ターゲットオブジェクトのトリガ点座標との距離が予め設定された距離範囲内にある、ステップと、
前記ターゲットアイテムを前記ターゲットオブジェクトに関連付けるアイテムとして特定するステップと、を含む、
請求項１に記載の方法。 The step of identifying the item associated with the target object based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance is
It is a step of specifying the target item based on the trigger point coordinates of the target object and the position coordinates of various items stored in advance, and the distance between the position coordinates of the target item and the trigger point coordinates of the target object is predetermined. Steps and steps within the set distance range,
Includes a step that identifies the target item as an item associated with the target object.
The method according to claim 1. 前記方法は、
前記シェルフの各レイヤーの高さを取得するステップと、
各種の前記アイテムの、前記アイテムが存在するレイヤーの番号及び前記アイテムが、その存在するレイヤーにおける水平ソート番号を含む位置情報と、寸法情報とを取得するステップと、
各種の前記アイテムが存在するレイヤーの番号と前記各レイヤーの高さに基づいて、各種の前記アイテムの縦方向の位置座標を特定するステップと、
各種の前記アイテムの水平ソート番号及びサイズ情報に基づいて、各種の前記アイテムの横方向の位置座標を特定するステップと、をさらに含む、
請求項１に記載の方法。 The method is
Steps to get the height of each layer of the shelf,
A step of acquiring the number of the layer in which the item exists and the position information including the horizontal sort number in the layer in which the item exists and the dimensional information of various items.
A step of identifying the vertical position coordinates of various items based on the number of the layer in which the various items are present and the height of each layer.
Further including a step of identifying the lateral position coordinates of the various items based on the horizontal sort number and size information of the various items.
The method according to claim 1. 前記シェルフには、縦方向に回路基板がさらに設けられ、
前記回路基板には、予め設定された間隔で縦方向に沿って複数の電気接点が設けられ、
前記レイヤーごとにエジェクタピンが設けられ、前記エジェクタピンにより前記回路基板における電気接点に接続され、
前記回路基板は、前記処理機器にも接続され、
前記シェルフの各レイヤーの高さを取得するステップは、
前記回路基板における各前記電気接点の、フリー状態又は接触状態を含む状態を取得するステップと、
各前記電気接点の状態に基づいて、ターゲット電気接点の番号を特定するステップであり、前記ターゲット電気接点は接触状態にある電気接点であり、前記ターゲット電気接点の数は前記レイヤーの数に対応する、ステップと、
前記ターゲット電気接点の番号及び予め作られた電気接点情報テーブルに基づいて、各前記ターゲット電気接点の位置情報を調べるステップであり、前記電気接点情報テーブルには電気接点番号と位置情報との対応関係が記憶されている、ステップと、
各前記ターゲット電気接点の位置情報に基づいて各前記レイヤーの高さを特定するステップと、をさらに含む、
請求項４に記載の方法。 The shelf is further provided with a circuit board in the vertical direction.
The circuit board is provided with a plurality of electrical contacts along the vertical direction at preset intervals.
Ejector pins are provided for each layer, and are connected to electrical contacts on the circuit board by the ejector pins.
The circuit board is also connected to the processing device.
The step of obtaining the height of each layer of the shelf is
A step of acquiring a state including a free state or a contact state of each of the electrical contacts on the circuit board.
It is a step of specifying the number of the target electric contact based on the state of each of the electric contacts, the target electric contact is an electric contact in a contact state, and the number of the target electric contacts corresponds to the number of the layers. , Steps and
It is a step of checking the position information of each target electric contact based on the target electric contact number and the electric contact information table prepared in advance, and the correspondence relationship between the electric contact number and the position information is displayed in the electric contact information table. Is remembered, steps and
A step of identifying the height of each layer based on the position information of each target electrical contact is further included.
The method according to claim 4 . 前記回路基板には、各前記レイヤーにおける電気機器に電力を供給するための電源がさらに設けられ、
前記電気機器は、電子タグ及び/又は照明ランプを含む、
請求項５に記載の方法。 The circuit board is further provided with a power source for supplying power to the electrical equipment in each of the layers.
The electrical device includes an electronic tag and / or a lighting lamp.
The method according to claim 5 . ターゲットオブジェクトとアイテムとの関連付け装置であって、
前記装置は、シェルフ上に取り付けられたレーザーレーダーに接続された処理機器に適用され、前記レーザーレーダーは、チャンネル数が予め設定されたチャンネル数の値より低く、かつ、センシング範囲が指定エリアをカバーし、
前記装置は、
前記レーザーレーダーがターゲットオブジェクトをセンシングすることで得られたセンス情報を取得するための情報取得モジュールと、
前記センス情報に基づいて、前記センシング範囲内における前記ターゲットオブジェクトのトリガ点座標を特定するためのトリガ点特定モジュールと、
前記ターゲットオブジェクトのトリガ点座標及び予め記憶された各種の前記アイテムの位置座標に基づいて、前記ターゲットオブジェクトに関連付けるアイテムを特定するための関連特定モジュールと、を含み、
前記レーザーレーダーは、シングルポイント測距レーザーレーダーであり、前記シングルポイント測距レーザーレーダーの数は、複数であり、かつ、前記複数のシングルポイント測距レーザーレーダーは、予め設定された間隔で一列に配列されており、
前記複数のシングルポイント測距レーダーレーダーのセンシング範囲の組み合わせが、前記シェルフにおける各種のアイテムをカバーする、
装置。 A device that associates a target object with an item
The device is applied to a processing device connected to a laser radar mounted on a shelf, the laser radar having a number of channels lower than a preset number of channels and a sensing range covering a designated area. And
The device
An information acquisition module for acquiring sense information obtained by the laser radar sensing a target object, and
Based on the sense information, a trigger point identification module for specifying the trigger point coordinates of the target object within the sensing range, and
On the basis of the position coordinates of the trigger point coordinates and previously stored various the items of the target object, seen including and a related identification module for identifying the item associated with the target object,
The laser radar is a single-point ranging laser radar, the number of the single-point ranging laser radars is plural, and the plurality of single-point ranging laser radars are arranged in a row at preset intervals. Arranged and
The combination of the sensing ranges of the plurality of single-point ranging radar radars covers various items on the shelf.
apparatus. センス情報を生成するためのレーザーレーダーと、
コンピュータプログラムが記憶された処理機器と、を含み、
前記コンピュータプログラムが前記処理機器によって実行されると、請求項１から請求項６のいずれか一項に記載の方法を実行する、
ターゲットオブジェクトとアイテムとの関連付けシステム。 With a laser radar to generate sense information,
Including processing equipment in which computer programs are stored,
When the computer program is executed by the processing device, the method according to any one of claims 1 to 6 is executed.
A system for associating target objects with items. コンピュータ可読記憶媒体であって、
コンピュータプログラムが記憶され、
前記コンピュータプログラムは、処理機器によって実行されると、請求項１から請求項６のいずれか一項に記載の方法を実行する、
コンピュータ可読記憶媒体。 A computer-readable storage medium
The computer program is stored
When the computer program is executed by the processing device, the method according to any one of claims 1 to 6 is executed.
Computer-readable storage medium.
JP2018229736A 2018-07-16 2018-12-07 How to associate target objects with items, devices, and systems Active JP6755292B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810781202.2 2018-07-16
CN201810781202.2A CN109001748B (en) 2018-07-16 2018-07-16 Target object and article association method, device and system

Publications (2)

Publication Number Publication Date
JP2020011031A JP2020011031A (en) 2020-01-23
JP6755292B2 true JP6755292B2 (en) 2020-09-16

Family

ID=64600281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018229736A Active JP6755292B2 (en) 2018-07-16 2018-12-07 How to associate target objects with items, devices, and systems

Country Status (5)

Country Link
US (1) US20200018855A1 (en)
EP (1) EP3598173A1 (en)
JP (1) JP6755292B2 (en)
KR (1) KR102213156B1 (en)
CN (1) CN109001748B (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670751A (en) * 2018-12-17 2019-04-23 北京旷视科技有限公司 Shelf object amount detection method, device, electronic equipment and shelf
CN109727370B (en) * 2018-12-27 2020-12-15 广州甘来信息科技有限公司 Control method, device, equipment and storage medium of vending machine
CN109637017B (en) * 2018-12-27 2020-12-15 广州甘来信息科技有限公司 Control method, device, equipment and medium for vending machine based on touch film
EP3904239A4 (en) * 2018-12-28 2022-09-28 Japan Tobacco Inc. Cigarette product management system and cigarette product management method
CN110297251A (en) * 2019-06-27 2019-10-01 杭州一隅千象科技有限公司 The method and system for the substantially space of planes covering that more TOF are realized
CN111746787B (en) * 2020-03-11 2022-02-18 广州极飞科技股份有限公司 Method for determining spreading uniformity and related device
CN111402308B (en) * 2020-03-17 2023-08-04 阿波罗智能技术(北京)有限公司 Method, device, equipment and medium for determining obstacle speed
CN113449749B (en) * 2020-03-25 2023-02-17 日日顺供应链科技股份有限公司 Goods space height determining method and system
EP3968051A1 (en) * 2020-09-15 2022-03-16 Infineon Technologies AG Guiding system for a robot, base station including such a guiding system, and method for guiding a robot
KR102428740B1 (en) * 2021-03-30 2022-08-02 센스타임 인터내셔널 피티이. 리미티드. Point Cloud Completion Network Creation and Point Cloud Data Processing
CN114125330B (en) * 2021-12-08 2024-04-19 杭州海康威视数字技术股份有限公司 Snapshot system, method, device and equipment
CN114918932B (en) * 2022-04-29 2024-05-14 上海擎朗智能科技有限公司 Tray detection method, tray detection device and autonomous operation terminal
US20240061079A1 (en) * 2022-08-22 2024-02-22 Nec Laboratories America, Inc. Scalable biometric sensing using distributed mimo radars

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4949972A (en) * 1986-01-31 1990-08-21 Max W. Goodwin Target scoring and display system
JP2857744B2 (en) * 1996-01-18 1999-02-17 バブコック日立株式会社 Aircraft position measurement device
JPH09257657A (en) * 1996-03-18 1997-10-03 Himu Kenkyusho:Kk Inspecting system and method for inspecting by using the system
JP3528733B2 (en) * 2000-01-13 2004-05-24 Ｊｆｅスチール株式会社 Method for measuring cross-sectional dimensions of H-section steel
DE10043523C2 (en) * 2000-09-05 2002-11-07 Ulrich Hellak Device for electronic hit evaluation
JP4764132B2 (en) * 2005-10-19 2011-08-31 東芝テック株式会社 Store system
US7652889B2 (en) * 2005-10-25 2010-01-26 Hewlett-Packard Development Company, L.P. Information technology (IT) equipment position locating system using jumper connections
JP4960025B2 (en) * 2006-06-09 2012-06-27 日立情報通信エンジニアリング株式会社 Work management system
JP2009126660A (en) * 2007-11-27 2009-06-11 Toshiba Tec Corp Article management system and information processing apparatus
JP5387355B2 (en) * 2009-11-24 2014-01-15 コニカミノルタ株式会社 shelf
JP5092010B2 (en) * 2010-12-07 2012-12-05 バブコック日立株式会社 Bullet position measuring device
US9067744B2 (en) * 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
US9799044B2 (en) * 2013-12-26 2017-10-24 Panasonic Intellectual Property Corporation Of America Control method, and control system
JP6475052B2 (en) * 2015-03-24 2019-02-27 トヨタホーム株式会社 Information display device
CN105245828A (en) * 2015-09-02 2016-01-13 北京旷视科技有限公司 Item analysis method and equipment
JP6742886B2 (en) * 2016-11-07 2020-08-19 東日本旅客鉄道株式会社 Laser measuring device, laser measuring method and laser measuring program
CN107782316B (en) * 2017-11-01 2019-07-12 北京旷视科技有限公司 The track of target object determines method, apparatus and system
CN107862360A (en) * 2017-11-01 2018-03-30 北京旷视科技有限公司 Destination object and the correlating method of merchandise news, apparatus and system
CN108629325B (en) * 2018-05-11 2021-06-22 北京旷视科技有限公司 Method, device and system for determining position of article
CN108830251A (en) * 2018-06-25 2018-11-16 北京旷视科技有限公司 Information correlation method, device and system

Also Published As

Publication number Publication date
KR102213156B1 (en) 2021-02-08
KR20200008488A (en) 2020-01-28
US20200018855A1 (en) 2020-01-16
CN109001748B (en) 2021-03-23
CN109001748A (en) 2018-12-14
JP2020011031A (en) 2020-01-23
EP3598173A1 (en) 2020-01-22

Similar Documents

Publication Publication Date Title
JP6755292B2 (en) How to associate target objects with items, devices, and systems
CN107782316B (en) The track of target object determines method, apparatus and system
US7154395B2 (en) Interactive wireless tag location and identification system
US10169677B1 (en) Counting stacked inventory using image analysis
US10591348B1 (en) System to process load cell data using door sensor data
US10520353B1 (en) System to process load cell data
KR102255268B1 (en) Method, apparatus, and system for determining a position of an item
US10520352B1 (en) System to validate load cell data
US20180165626A1 (en) Merchandising communication and stock-out condition monitoring system
US9235795B2 (en) Optical system and method for monitoring and locating objects
US10380858B2 (en) Method and montoring device for monitoring a tag
US11961303B1 (en) Agent re-verification and resolution using imaging
US20200202095A1 (en) Positional relationship detection device and positional relationship detection system
CN109051494A (en) Goods monitoring system and method
CN108876249B (en) Article monitoring system and method
CN108710845A (en) The correlating method of target object and article, apparatus and system
CN108896156A (en) Article monitoring method, apparatus and system
CN109711498B (en) Target object behavior prediction method and device, processing equipment and intelligent commodity shelf
CN106248058A (en) A kind of for the storage localization method of means of transport, Apparatus and system
US10885632B1 (en) Camera calibration system
CN112532874B (en) Method and device for generating plane thermodynamic diagram, storage medium and electronic equipment
US20240036635A1 (en) Display system, control apparatus, and control program
US20240037776A1 (en) Analysis system, analysis apparatus, and analysis program
JP2021062958A (en) Detection system, detection method and program
US20210300680A1 (en) Perpetual inventory management system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200825

R150 Certificate of patent or registration of utility model

Ref document number: 6755292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250