JP7483236B2 - Method, device and computer program for providing logistics management solutions using 3D geofences based on LIDAR point cloud - Google Patents

Method, device and computer program for providing logistics management solutions using 3D geofences based on LIDAR point cloud Download PDF

Info

Publication number
JP7483236B2
JP7483236B2 JP2022156237A JP2022156237A JP7483236B2 JP 7483236 B2 JP7483236 B2 JP 7483236B2 JP 2022156237 A JP2022156237 A JP 2022156237A JP 2022156237 A JP2022156237 A JP 2022156237A JP 7483236 B2 JP7483236 B2 JP 7483236B2
Authority
JP
Japan
Prior art keywords
geofence
point cloud
shelf
providing
loading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022156237A
Other languages
Japanese (ja)
Other versions
JP2024016781A (en
Inventor
キョンシク キム
チョルヒョン ファン
ヒュンス チュン
ダウォン イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2024016781A publication Critical patent/JP2024016781A/en
Application granted granted Critical
Publication of JP7483236B2 publication Critical patent/JP7483236B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明の多様な実施例はライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法、装置およびコンピュータプログラムに関し、より具体的には、ライダセンサを通じて収集されたポイントクラウドに基づいて設定された3Dジオフェンスを利用してより効率的な物流管理を可能にさせるライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法、装置およびコンピュータプログラムに関する。 Various embodiments of the present invention relate to a method, device, and computer program for providing a logistics management solution using 3D geofences based on a lidar point cloud, and more specifically, to a method, device, and computer program for providing a logistics management solution using 3D geofences based on a lidar point cloud that enables more efficient logistics management by using 3D geofences set based on a point cloud collected through a lidar sensor.

通常的に、工場で生産された物品が販売されてその物品を購入する消費者に伝達されるためには、多くの段階の物流処理過程を経なければならない。具体的な物流処理過程の場合、販売される物品の種類によって異なり得るが、生産工場で物品が生産されると、その物品は一定の数量別にコンテナなどに搭載された後、トラックなどの運送手段によって全国各地にある物流会社の物流センターに移送され、各物流センターではさらに各地域の代理店や集荷場などに物品を移送してから、最終的に小売店や消費者に伝達されながら販売がなされるのが一般的である。 Generally, goods produced in a factory must go through many stages of logistics processing before they can be sold and delivered to consumers who purchase them. The specific logistics processing process may vary depending on the type of goods being sold, but once goods are produced in a production factory, they are loaded into containers or other containers in certain quantities and transported by trucks or other means of transportation to logistics centers of logistics companies located throughout the country. Each logistics center then transports the goods to local agencies or collection points before finally being delivered to retailers or consumers for sale.

特に、物流処理過程において、物品が工場で出荷された後、小売店や消費者に最終的に伝達されるまで物流倉庫に積載されている場合が多いが、物流処理過程を経る間に物流倉庫に入庫されたり物流倉庫から出庫される物品の入出庫状況や、現在物流倉庫に積載されている在庫の現況を正確に把握することすなわち、物流倉庫内で遂行される物流管理が非常に重要な要素と言える。
一方、従来の物流倉庫での物品積載管理および在庫管理は、在庫現況を管理する作業者や管理者が各物流センターごとに備えられている倉庫のサーバーコンピュータなどから該当物品に対する現在の在庫現況を検索した後、検索された在庫現況を出力して直接倉庫の積載台に行って物品を確認するなどの手作業によって遂行されてきたという不都合な点があった。
In particular, in the logistics process, after goods are shipped from a factory, they are often stored in a logistics warehouse until they are finally delivered to a retailer or consumer. During the logistics process, it is very important to accurately grasp the in- and out-of-stock status of goods entering and leaving the logistics warehouse, as well as the current status of the inventory currently stored in the logistics warehouse, i.e., logistics management carried out within the logistics warehouse.
Meanwhile, in the conventional logistics warehouse, the loading management and inventory management of goods have been performed manually by an operator or manager who searches for the current inventory status of the relevant goods from a server computer in the warehouse installed in each logistics center, prints out the searched inventory status, and goes directly to the loading platform of the warehouse to check the goods.

また、検索された在庫現況と積載台で確認した実際の物品積載現況が一致しない場合には、再び倉庫のサーバーコンピュータに戻って該当物品の在庫現況を修正するなど、在庫現況を把握するための過程を反復的にいちいち遂行しなければならないという点で、非常に非効率的であるという問題がある。
また、物品が積載される物流センターに備えられている倉庫は、全国各地から集まった物品や全国各地に送られる物品が一定期間の間積載されていなければならないため比較的規模が大きく形成され、このように大規模な倉庫を管理するためには多数の人員が必要であるという問題がある。
In addition, if the searched inventory status does not match the actual loading status of the goods confirmed on the loading platform, the process of grasping the inventory status must be repeatedly carried out, such as returning to the server computer of the warehouse and correcting the inventory status of the corresponding goods, which is very inefficient.
In addition, the warehouses installed in the logistics centers where the goods are loaded are relatively large in scale since goods collected from all over the country or goods to be sent to all over the country must be loaded there for a certain period of time, and there is a problem that a large number of personnel are required to manage such a large warehouse.

本発明が解決しようとする課題は、前述された従来の問題を解消するための目的で、ライダセンサを通じて物品を積載するための棚をスキャンすることによって収集されたポイントクラウドを利用して棚に対応する3Dジオフェンスを設定し、3Dジオフェンスを利用して物品の積載の有無、物品の積載量などの物品の積載に関連した物品積載情報を生成し、生成された物品積載情報を利用して物流管理ソリューションを提供することによって、より効率的に物流管理を遂行できるようにするライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法、装置およびコンピュータプログラムを提供することである。
本発明が解決しようとする課題は以上で言及された課題に制限されず、言及されていないさらに他の課題は下記の記載から通常の技術者に明確に理解され得るであろう。
The problem to be solved by the present invention is to provide a method, device, and computer program for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud, which sets a 3D geofence corresponding to a shelf using a point cloud collected by scanning a shelf for loading goods using a LIDAR sensor, generates goods loading information related to the loading of goods, such as whether goods are loaded and the amount of goods loaded, using the 3D geofence, and provides a logistics management solution using the generated goods loading information, thereby enabling more efficient logistics management.
The problems to be solved by the present invention are not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

前述した課題を解決するための本発明の一実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法は、コンピューティング装置によって遂行される方法において、所定の領域に配置された棚に対応する3Dジオフェンスを設定する段階、前記設定された3Dジオフェンスを利用して前記棚に対する物品積載情報を生成する段階および前記生成された物品積載情報を利用して物流管理ソリューションを提供する段階を含むことができる。 A method for providing a logistics management solution using a 3D geofence based on a lidar point cloud according to one embodiment of the present invention for solving the above-mentioned problems may include, in a method performed by a computing device, a step of setting a 3D geofence corresponding to a shelf arranged in a predetermined area, a step of generating goods loading information for the shelf using the set 3D geofence, and a step of providing a logistics management solution using the generated goods loading information.

多様な実施例において、前記3Dジオフェンスを設定する段階は、ライダセンサを通じて前記棚をスキャンすることによって生成されたポイントクラウドを出力するユーザインターフェース(User Interface、UI)を提供する段階、前記提供されたユーザインターフェースを通じて前記棚の外形に対応する3次元空間を定義するユーザ入力を獲得する段階および前記獲得されたユーザ入力に基づいて前記棚に対応する3Dジオフェンスを設定する段階を含むことができる。 In various embodiments, the step of setting the 3D geofence may include providing a user interface (UI) that outputs a point cloud generated by scanning the shelf through a lidar sensor, acquiring user input through the provided user interface that defines a three-dimensional space corresponding to an outline of the shelf, and setting a 3D geofence corresponding to the shelf based on the acquired user input.

多様な実施例において、前記3Dジオフェンスを設定する段階は、ライダセンサを通じて前記棚をスキャンすることによって生成されたポイントクラウドを収集する段階、前記収集されたポイントクラウドを分析して前記棚の外形に対応するベクトルを抽出する段階および前記抽出されたベクトルに基づいて前記棚に対応する3Dジオフェンスを設定する段階を含むことができる。 In various embodiments, the step of setting the 3D geofence may include collecting a point cloud generated by scanning the shelf through a lidar sensor, analyzing the collected point cloud to extract a vector corresponding to the outline of the shelf, and setting a 3D geofence corresponding to the shelf based on the extracted vector.

多様な実施例において、前記物品積載情報を生成する段階は、前記所定の領域に対するポイントクラウドを収集する段階、前記収集されたポイントクラウドを分析して前記設定された3Dジオフェンスを識別する段階および前記収集されたポイントクラウドのうち前記識別された3Dジオフェンスに対応するポイントクラウドを分析して客体を識別し、前記識別された客体を利用して前記棚に対する第1物品積載情報-前記第1物品積載情報は客体の識別の有無、客体の位置および客体の種類のうち少なくとも一つを含む-を生成する段階を含むことができる。 In various embodiments, the step of generating the item loading information may include the steps of collecting a point cloud for the specified area, analyzing the collected point cloud to identify the set 3D geofence, and analyzing a point cloud from the collected point cloud that corresponds to the identified 3D geofence to identify an object, and generating first item loading information for the shelf using the identified object - the first item loading information including at least one of whether an object is identified, the object's location, and the object's type.

多様な実施例において、前記物品積載情報を生成する段階は、前記所定の領域に対するポイントクラウドを収集する段階、前記収集されたポイントクラウドを分析して前記設定された3Dジオフェンスを識別する段階および前記収集されたポイントクラウドのうち前記識別された3Dジオフェンスに対応するポイントクラウドを分析して前記棚の積載率を算出し、前記算出された積載率に関する情報を含む第2物品積載情報を生成する段階を含むことができる。 In various embodiments, the step of generating the item loading information may include the steps of collecting a point cloud for the specified area, analyzing the collected point cloud to identify the set 3D geofence, and analyzing a point cloud from the collected point clouds that corresponds to the identified 3D geofence to calculate a loading rate of the shelf, and generating second item loading information including information regarding the calculated loading rate.

多様な実施例において、前記第2物品積載情報を生成する段階は、前記識別された3Dジオフェンスに対応するポイントクラウドを分析して前記設定された3Dジオフェンス内に積載された客体を識別する段階および前記棚の積載率として、前記識別された3Dジオフェンスの面積対比前記識別された客体の面積の比率を算出する段階を含むことができる。
多様な実施例において、前記第2物品積載情報を生成する段階は、前記識別された3Dジオフェンスが複数の段を含む場合、前記複数の段それぞれに対応するポイントクラウドを分析して前記複数の段それぞれに積載された客体を識別する段階、前記複数の段それぞれの積載率として、前記複数の段それぞれの高さ対比前記識別された客体の高さの比率を算出する段階および前記複数の段それぞれの積載率を合算して前記棚の積載率を算出する段階を含むことができる。
In various embodiments, the step of generating the second item loading information may include the steps of: analyzing a point cloud corresponding to the identified 3D geofence to identify objects loaded within the set 3D geofence; and calculating a ratio of an area of the identified objects to an area of the identified 3D geofence as a loading rate of the shelf.
In various embodiments, the step of generating the second item loading information may include, when the identified 3D geofence includes a plurality of tiers, analyzing point clouds corresponding to each of the tiers to identify objects loaded on each of the tiers, calculating a ratio of a height of the identified objects to a height of each of the tiers as a loading rate of each of the tiers, and calculating a loading rate of the shelf by adding up the loading rates of each of the tiers.

多様な実施例において、前記物流管理ソリューションを提供する段階は、前記生成された物品積載情報に基づいて予め設定された条件が満足されるかどうかを判断し、前記予め設定された条件が満足されるものと判断される場合、ユーザに通知を提供するものの、前記予め設定された条件は前記所定の領域に配置される複数の棚、前記複数の棚それぞれに含まれた複数の段およびマスそれぞれに個別的に設定されることである、段階を含むことができる。 In various embodiments, the step of providing the logistics management solution may include determining whether a pre-set condition is satisfied based on the generated item loading information, and providing a notification to a user if it is determined that the pre-set condition is satisfied, where the pre-set condition is set individually for each of a plurality of shelves arranged in the specified area and each of a plurality of tiers and squares included in each of the plurality of shelves.

前述した課題を解決するための本発明の他の実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供装置は、プロセッサ、ネットワークインターフェース、メモリおよび前記メモリにロード(load)され、前記プロセッサによって実行されるコンピュータプログラムを含むものの、前記コンピュータプログラムは、所定の領域に配置された棚に対応する3Dジオフェンスを設定するインストラクション(instruction)、前記設定された3Dジオフェンスを利用して前記棚に対する物品積載情報を生成するインストラクションおよび前記生成された物品積載情報を利用して物流管理ソリューションを提供するインストラクションを含むことができる。 An apparatus for providing a logistics management solution using a 3D geofence based on a lidar point cloud according to another embodiment of the present invention for solving the above-mentioned problems includes a processor, a network interface, a memory, and a computer program that is loaded into the memory and executed by the processor, and the computer program may include instructions for setting a 3D geofence corresponding to a shelf arranged in a predetermined area, instructions for generating goods loading information for the shelf using the set 3D geofence, and instructions for providing a logistics management solution using the generated goods loading information.

前述した課題を解決するための本発明のさらに他の実施例に係るコンピュータプログラムは、コンピューティング装置と結合され、所定の領域に配置された棚に対応する3Dジオフェンスを設定する段階、前記設定された3Dジオフェンスを利用して前記棚に対する物品積載情報を生成する段階および前記生成された物品積載情報を利用して物流管理ソリューションを提供する段階を含むライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法を実行させるためにコンピューティング装置で読み取り可能な記録媒体に保存され得る。
本発明のその他の具体的な事項は詳細な説明および図面に含まれている。
A computer program according to yet another embodiment of the present invention for solving the above-mentioned problems may be stored on a recording medium readable by a computing device to execute a method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud, the method including the steps of: setting a 3D geofence corresponding to a shelf arranged in a predetermined area; generating goods loading information for the shelf using the set 3D geofence; and providing a logistics management solution using the generated goods loading information.
Further details of the invention are contained in the detailed description and the drawings.

本発明の多様な実施例によると、ライダセンサを通じて物品を積載するための棚をスキャンすることによって収集されたポイントクラウドを利用して棚に対応する3Dジオフェンスを設定し、3Dジオフェンスを利用して物品の積載の有無、物品の積載量などの物品の積載に関連した物品積載情報を生成し、生成された物品積載情報を利用して物流管理ソリューションを提供することによって、より効率的に物流管理を遂行できるようにするという利点がある。
本発明の効果は以上で言及された効果に制限されず、言及されていないさらに他の効果は下記の記載から通常の技術者に明確に理解され得るであろう。
According to various embodiments of the present invention, a 3D geofence corresponding to a shelf is set using a point cloud collected by scanning a shelf for loading goods using a lidar sensor, and goods loading information related to the loading of goods, such as whether goods are loaded and the amount of goods loaded, is generated using the 3D geofence, and a logistics management solution is provided using the generated goods loading information, thereby advantageously enabling more efficient logistics management.
The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

本発明の一実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供システムを図示した図面である。1 is a diagram illustrating a system for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud in accordance with an embodiment of the present invention. 本発明の他の実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供装置のハードウェア構成図である。FIG. 11 is a hardware configuration diagram of a logistics management solution providing device using a 3D geofence based on a LIDAR point cloud in accordance with another embodiment of the present invention. 本発明のさらに他の実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法のフローチャートである。11 is a flowchart of a method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud according to yet another embodiment of the present invention. 多様な実施例において、棚に対応する3Dジオフェンスを例示的に図示した図面である。1 is a diagram illustrating an example of a 3D geofence corresponding to a shelf in accordance with various embodiments. 多様な実施例において、ユーザ入力により3Dジオフェンスを設定する方法を説明するためのフローチャートである。1 is a flowchart illustrating a method for setting a 3D geofence through user input in various embodiments. 多様な実施例において、ユーザ入力により3Dジオフェンスの属性を決定する形態を例示的に図示した図面である。1 is a diagram illustrating an example of determining attributes of a 3D geofence through user input in various embodiments. 多様な実施例において、ユーザ入力により3Dジオフェンスの属性を決定する形態を例示的に図示した図面である。1 is a diagram illustrating an example of determining attributes of a 3D geofence through user input in various embodiments. 多様な実施例において、ポイントクラウドに基づいて3Dジオフェンスを自動設定する方法を説明するためのフローチャートである。1 is a flowchart illustrating a method for automatically setting a 3D geofence based on a point cloud in accordance with various embodiments. 多様な実施例において、物品積載情報を生成する方法を説明するためのフローチャートである。4 is a flow chart illustrating a method for generating item load information according to various embodiments. 多様な実施例において、棚に対する積載率を算出する過程を説明するための図面である。11 is a diagram illustrating a process of calculating a load rate for a shelf in various embodiments; 多様な実施例において、棚に対する積載率を算出する過程を説明するための図面である。11 is a diagram illustrating a process of calculating a load rate for a shelf in various embodiments; 多様な実施例において、棚、棚に含まれた段およびマスそれぞれに対して条件を設定する形態を例示的に図示した図面である。11A to 11C are diagrams illustrating exemplary configurations of setting conditions for a shelf, a step included in the shelf, and a mass in various embodiments; 多様な実施例において、物流管理ソリューションを提供するユーザインターフェース(User Interface、UI)を例示的に図示した図面である。1 is a diagram illustrating an example of a user interface (UI) that provides a logistics management solution in various embodiments. 多様な実施例において、物流管理ソリューションを提供するユーザインターフェース(User Interface、UI)を例示的に図示した図面である。1 is a diagram illustrating an example of a user interface (UI) that provides a logistics management solution in various embodiments. 多様な実施例において、物流管理ソリューションを提供するユーザインターフェース(User Interface、UI)を例示的に図示した図面である。1 is a diagram illustrating an example of a user interface (UI) that provides a logistics management solution in various embodiments.

本発明の利点および特徴、そしてそれらを達成する方法は、添付される図面と共に詳細に後述されている実施例を参照すると明確となるであろう。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で具現され得、ただし、本実施例は本発明の開示を完全なものとし、本発明が属する技術分野の通常の技術者に本発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるのみである。 The advantages and features of the present invention, as well as the methods for achieving them, will become clearer with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and may be embodied in various different forms, and the embodiments are provided to complete the disclosure of the present invention and to fully inform those skilled in the art of the present invention of the scope of the present invention, and the present invention is defined only by the scope of the claims.

本明細書で使われた用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書で、単数型は文面で特に言及しない限り複数型も含む。明細書で使われる「含む(comprises)」および/または「含む(comprising)」は言及された構成要素の他に一つ以上の他の構成要素の存在または追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を指し示し、「および/または」は言及された構成要素のそれぞれおよび一つ以上のすべての組み合わせを含む。たとえ「第1」、「第2」等が多様な構成要素を叙述するために使われるが、これらの構成要素はこれらの用語によって制限されないことは言うまでもない。これらの用語は単に一つの構成要素を他の構成要素と区別するために使うものである。したがって、以下で言及される第1構成要素は本発明の技術的思想内で第2構成要素であってもよいことは言うまでもない。
他の定義がない限り、本明細書で使われるすべての用語(技術および科学的用語を含む)は、本発明が属する技術分野の通常の技術者に共通して理解され得る意味で使われ得るであろう。また、一般的に使われる辞書に定義されている用語は明白に特に定義されていない限り理想的にまたは過度に解釈されない。
The terms used in the present specification are for the purpose of describing the embodiments and are not intended to limit the present invention. In the present specification, the singular includes the plural unless otherwise specified in the text. The terms "comprises" and/or "comprising" used in the specification do not exclude the presence or addition of one or more other components in addition to the components mentioned. The same reference numerals refer to the same components throughout the specification, and "and/or" includes each and every combination of one or more of the components mentioned. Although "first", "second", etc. are used to describe various components, it is understood that these components are not limited by these terms. These terms are used merely to distinguish one component from another component. Therefore, it is understood that the first component mentioned below may be the second component within the technical concept of the present invention.
Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used in the sense commonly understood by a person of ordinary skill in the art to which the present invention belongs. Furthermore, terms defined in commonly used dictionaries are not to be interpreted ideally or excessively unless specifically and explicitly defined.

明細書で使われる「部」または「モジュール」という用語は、ソフトウェア、FPGAまたはASICのようなハードウェア構成要素を意味し、「部」または「モジュール」は何らかの役割を遂行する。しかし、「部」または「モジュール」はソフトウェアまたはハードウェアに限定される意味ではない。「部」または「モジュール」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「部」または「モジュール」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と「部」または「モジュール」内で提供される機能はさらに小さい数の構成要素および「部」または「モジュール」に結合されるか追加的な構成要素と「部」または「モジュール」にさらに分離され得る。
空間的に相対的な用語である「下(below)」、「下(beneath)」、「下部(lower)」、「上(above)」、「上部(upper)」などは、図面に図示されているように一つの構成要素と他の構成要素との相関関係を容易に記述するために使われ得る。空間的に相対的な用語は、図面に図示されている方向に加え、使用時または動作時の構成要素の互いに異なる方向を含む用語で理解されるべきである。例えば、図面に図示されている構成要素をひっくり返す場合、他の構成要素の「下(below)」または「下(beneath)」と記述された構成要素は他の構成要素の「上(above)」に置かれ得る。したがって、例示的な用語である「下」は下と上の方向をすべて含むことができる。構成要素は他の方向にも配向され得、これに伴い、空間的に相対的な用語は配向により解釈され得る。
The term "module" or "module" as used in the specification means a hardware component such as software, FPGA, or ASIC, and the "module" or "module" performs a certain function. However, the term "module" or "module" is not limited to software or hardware. A "module" or "module" may be configured to reside on an addressable storage medium and to execute one or more processors. Thus, by way of example, a "module" or "module" includes components such as software components, object-oriented software components, class components, and task components, as well as processes, functions, attributes, procedures, subroutines, program code segments, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables. The components and functions provided within a "module" or "module" may be combined into a smaller number of components and "modules" or "modules" or may be further separated into additional components and "modules" or "modules".
Spatially relative terms such as "below,""beneath,""lower,""above,""upper," and the like, may be used to easily describe the relationship of one component to another as illustrated in the drawings. Spatially relative terms should be understood to include different orientations of components in use or operation in addition to the orientation illustrated in the drawings. For example, if a component illustrated in the drawings is turned over, a component described as "below" or "beneath" another component may be placed "above" the other component. Thus, the exemplary term "below" can include both an orientation of below and above. Components may be oriented in other directions, and the spatially relative terms may be interpreted accordingly.

本明細書で、コンピュータは少なくとも一つのプロセッサを含むすべての種類のハードウェア装置を意味するものであり、実施例により該当ハードウェア装置で動作するソフトウェア的構成も包括する意味として理解され得る。例えば、コンピュータはスマートフォン、タブレットPC、デスクトップ、ノートパソコンおよび各装置で駆動されるユーザクライアントおよびアプリケーションをすべて含む意味として理解され得、また、これに制限されるものではない。 In this specification, a computer refers to any type of hardware device that includes at least one processor, and may also be understood to include software configurations that operate on the hardware device in some embodiments. For example, a computer may be understood to include all types of devices, including smartphones, tablet PCs, desktops, and laptops, as well as user clients and applications that run on each device, and is not limited thereto.

以下、添付された図面を参照して本発明の実施例を詳細に説明する。
本明細書で説明される各段階はコンピュータによって遂行されるものとして説明されるが、各段階の主体はこれに制限されるものではなく、実施例により各段階の少なくとも一部が互いに異なる装置で遂行されてもよい。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
Although each step described in this specification is described as being performed by a computer, the subject of each step is not limited to this, and depending on the embodiment, at least a portion of each step may be performed by different devices.

図1は、本発明の一実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供システムを図示した図面である。
図1を参照すると、本発明の一実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供システムは、物流管理ソリューション提供装置100、ユーザ端末200、外部サーバー300およびネットワーク400を含むことができる。
FIG. 1 illustrates a system for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud in accordance with an embodiment of the present invention.
Referring to FIG. 1, a logistics management solution providing system using a 3D geofence based on a LIDAR point cloud in accordance with one embodiment of the present invention may include a logistics management solution providing device 100, a user terminal 200, an external server 300 and a network 400.

ここで、図1に図示されたライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供システムは一実施例によるものであり、その構成要素は図1に図示された実施例に限定されず、必要に応じて付加、変更または削除され得る。
一実施例において、物流管理ソリューション提供装置100(以下、「コンピューティング装置100」)はより効率的な物流管理のための目的で、物流管理を遂行するユーザに物流管理ソリューションを提供することができる。
Here, the system for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud illustrated in FIG. 1 is according to one embodiment, and its components are not limited to the embodiment illustrated in FIG. 1 and may be added, modified or deleted as necessary.
In one embodiment, a logistics management solution providing device 100 (hereinafter, "computing device 100") can provide a logistics management solution to a user who performs logistics management for the purpose of more efficient logistics management.

一例として、コンピューティング装置100はユーザの要請により所定の領域(例えば、物流倉庫)内に配置された複数の棚それぞれに対する物品積載情報を生成し、これを通じて複数の棚それぞれに対する物品積載の有無、物品の積載率および積載された物品の種類に関する情報を提供する物流管理ソリューションを提供することができる。
他の例として、コンピューティング装置100は複数の棚それぞれに対する物品積載情報に基づいてユーザに通知を提供する物流管理ソリューションを提供することができる。
As an example, the computing device 100 may generate item loading information for each of a number of shelves arranged in a given area (e.g., a logistics warehouse) at the request of a user, thereby providing a logistics management solution that provides information on whether or not items are loaded on each of the multiple shelves, the loading rate of items, and the type of items loaded.
As another example, the computing device 100 can provide a logistics management solution that provides notifications to a user based on item loading information for each of a number of shelves.

さらに他の例として、コンピューティング装置100は所定期間の間の物品積載情報を統計化して提供する物流管理ソリューションを提供することができる。
さらに他の例として、コンピューティング装置100は特定物品の種類、特定物品の積載位置、特定物品の移動履歴などを含むヒストリー情報を提供する物流管理ソリューションを提供することができる。しかし、これに限定されない。
As yet another example, the computing device 100 may provide a logistics management solution that provides statistical information about the loading of goods over a given period of time.
As yet another example, the computing device 100 may provide a logistics management solution that provides history information including, but not limited to, the type of a particular item, the loading location of the particular item, and the movement history of the particular item.

多様な実施例において、コンピューティング装置100は特定の棚に対応する3Dジオフェンスを設定することができ、3Dジオフェンスを利用して特定の棚に対する物品積載情報を生成することができる。 In various embodiments, the computing device 100 can set a 3D geofence corresponding to a particular shelf and can generate item loading information for the particular shelf using the 3D geofence.

多様な実施例において、コンピューティング装置100はネットワーク400を通じてユーザ端末200と連結され得、ユーザ端末200に物流管理ソリューションを提供することができる。例えば、コンピューティング装置100が提供する物流管理ソリューション提供サービスはウェブまたはアプリケーションの形態で具現され得、ユーザ端末200を通じてウェブまたはアプリケーションを駆動することによってコンピューティング装置100が提供する物流管理ソリューション提供サービスが実行され得る。 In various embodiments, the computing device 100 may be connected to the user terminal 200 through the network 400 and may provide a logistics management solution to the user terminal 200. For example, the logistics management solution providing service provided by the computing device 100 may be embodied in the form of a web page or an application, and the logistics management solution providing service provided by the computing device 100 may be executed by running the web page or the application through the user terminal 200.

ここで、ユーザ端末200はウェブまたはアプリケーションの駆動が可能な運営体制を含み、ウェブまたはアプリケーションを実行することによって提供されるUI(例:図12~図15)を出力するためのディスプレイが少なくとも一部の領域に備えられるスマートフォン(Smartphone)であり得るが、これに限定されず、ユーザ端末200は、携帯性と移動性が保障される無線通信装置であって、ナビゲーション、PCS(Personal Communication System)、GSM(Global System for Mobile communications)、PDC(Personal Digital Cellular)、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、IMT(International Mobile Telecommunication)-2000、CDMA(Code Division Multiple Access)-2000、W-CDMA(W-Code Division Multiple Access)、Wibro(Wireless Broadband Internet)端末、スマートパッド(Smartpad)、タブレットPC(Tablet PC)などのようなすべての種類のハンドヘルド(Handheld)基盤の無線通信装置を含むことができるが、これに限定されない。 Here, the user terminal 200 may be a smartphone including an operating system capable of running a web or application, and having a display in at least a portion of the area for outputting a UI (e.g., FIGS. 12 to 15) provided by executing the web or application, but is not limited thereto. The user terminal 200 may be a wireless communication device that ensures portability and mobility, and may be a navigation system, a PCS (Personal Communication System), a GSM (Global System for Mobile communications), a PDC (Personal Digital Cellular), a PHS (Personal Handyphone System), a PDA (Personal Digital Assistant), an IMT (International Mobile This may include, but is not limited to, all kinds of handheld-based wireless communication devices such as Telecommunication-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), Wibro (Wireless Broadband Internet) terminals, smart pads, tablet PCs, etc.

一実施例において、外部サーバー300はネットワーク400を通じてコンピューティング装置100と連結され得、コンピューティング装置100がライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法を遂行するために必要な各種情報およびデータを保存および管理したり、ライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法を遂行することによって生成する各種情報およびデータを収集して保存および管理することができる。例えば、外部サーバー300はコンピューティング装置100の外部に別途に備えられる保存サーバーであり得るが、これに限定されない。以下、図2を参照してライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法を遂行するコンピューティング装置100のハードウェア構成について説明することにする。 In one embodiment, the external server 300 may be connected to the computing device 100 through a network 400, and may store and manage various information and data required for the computing device 100 to perform the method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud, or may collect, store and manage various information and data generated by performing the method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud. For example, the external server 300 may be, but is not limited to, a storage server separately provided outside the computing device 100. Hereinafter, the hardware configuration of the computing device 100 performing the method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud will be described with reference to FIG. 2.

図2は、本発明の他の実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供装置のハードウェア構成図である。
図2を参照すると、多様な実施例において、コンピューティング装置100は一つ以上のプロセッサ110、プロセッサ110によって遂行されるコンピュータプログラム151をロード(Load)するメモリ120、バス130、通信インターフェース140およびコンピュータプログラム151を保存するストレージ150を含むことができる。ここで、図2には本発明の実施例と関連する構成要素のみ図示されている。したがって、本発明が属した技術分野の通常の技術者であれば、図2に図示された構成要素の他に他の汎用的な構成要素がさらに含まれ得ることが分かる。
FIG. 2 is a hardware configuration diagram of an apparatus for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud in accordance with another embodiment of the present invention.
2, in various embodiments, a computing device 100 may include one or more processors 110, a memory 120 for loading a computer program 151 executed by the processor 110, a bus 130, a communication interface 140, and a storage 150 for storing the computer program 151. Here, only components related to the embodiment of the present invention are illustrated in FIG. 2. Therefore, a person skilled in the art to which the present invention pertains will understand that other general components may be included in addition to the components illustrated in FIG. 2.

プロセッサ110はコンピューティング装置100の各構成の全般的な動作を制御する。プロセッサ110はCPU(Central Processing Unit)、MPU(Micro Processor Unit)、MCU(Micro Controller Unit)、GPU(Graphic Processing Unit)または本発明の技術分野に広く知られている任意の形態のプロセッサを含んで構成され得る。 The processor 110 controls the overall operation of each component of the computing device 100. The processor 110 may be configured to include a CPU (Central Processing Unit), an MPU (Micro Processor Unit), an MCU (Micro Controller Unit), a GPU (Graphic Processing Unit), or any other type of processor commonly known in the technical field of the present invention.

また、プロセッサ110は本発明の実施例に係る方法を実行するための少なくとも一つのアプリケーションまたはプログラムに対する演算を遂行すことができ、コンピューティング装置100は一つ以上のプロセッサを具備することができる。 Furthermore, the processor 110 may perform operations for at least one application or program for executing a method according to an embodiment of the present invention, and the computing device 100 may include one or more processors.

多様な実施例において、プロセッサ110はプロセッサ110内部で処理される信号(またはデータ)を一時的および/または永久的に保存するラム(RAM:Random Access Memory、図示されず)およびロム(ROM:Read-Only Memory、図示されず)をさらに含むことができる。また、プロセッサ110はグラフィック処理部、ラムおよびロムのうち少なくとも一つを含むシステムオンチップ(SoC:system on chip)の形態で具現され得る。 In various embodiments, the processor 110 may further include a RAM (Random Access Memory, not shown) and a ROM (Read-Only Memory, not shown) for temporarily and/or permanently storing signals (or data) processed within the processor 110. The processor 110 may also be embodied in the form of a system on chip (SoC) including at least one of a graphics processing unit, a RAM, and a ROM.

メモリ120は各種データ、命令および/または情報を保存する。メモリ120は本発明の多様な実施例に係る方法/動作を実行するためにストレージ150からコンピュータプログラム151をロードすることができる。メモリ120にコンピュータプログラム151がロードされると、プロセッサ110はコンピュータプログラム151を構成する一つ以上のインストラクションを実行することによって前記方法/動作を遂行できる。メモリ120はRAMのような揮発性メモリで具現され得るが、本開示の技術的範囲はこれに限定されるものではない。 Memory 120 stores various data, instructions and/or information. Memory 120 may load computer program 151 from storage 150 to perform methods/operations according to various embodiments of the present invention. When computer program 151 is loaded into memory 120, processor 110 may perform the methods/operations by executing one or more instructions constituting computer program 151. Memory 120 may be embodied as a volatile memory such as RAM, although the technical scope of the present disclosure is not limited in this respect.

バス130はコンピューティング装置100の構成要素間の通信機能を提供する。バス130はアドレスバス(address Bus)、データバス(Data Bus)および制御バス(Control Bus)などの多様な形態のバスで具現され得る。
通信インターフェース140はコンピューティング装置100の有線/無線インターネット通信を支援する。また、通信インターフェース140はインターネット通信以外の多様な通信方式を支援してもよい。このために、通信インターフェース140は本発明の技術分野に広く知られている通信モジュールを含んで構成され得る。いくつかの実施例において、通信インターフェース140は省略されてもよい。
The bus 130 provides a communication function between the components of the computing device 100. The bus 130 may be implemented as various types of buses such as an address bus, a data bus, and a control bus.
The communication interface 140 supports wired/wireless Internet communication of the computing device 100. The communication interface 140 may also support various communication methods other than Internet communication. To this end, the communication interface 140 may be configured to include a communication module that is widely known in the art of the present invention. In some embodiments, the communication interface 140 may be omitted.

ストレージ150はコンピュータプログラム151を非臨時的に保存することができる。コンピューティング装置100を通じてライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供プロセスを遂行する場合、ストレージ150はライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供プロセスを提供するために必要な各種情報を保存することができる。 The storage 150 may non-temporarily store the computer program 151. When a logistics management solution provision process using a 3D geofence based on a LIDAR point cloud is performed through the computing device 100, the storage 150 may store various information required to provide the logistics management solution provision process using a 3D geofence based on a LIDAR point cloud.

ストレージ150はROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリなどのような不揮発性メモリ、ハードディスク、着脱型ディスク、または本発明が属する技術分野で広く知られている任意の形態のコンピュータで読み取り可能な記録媒体を含んで構成され得る。 Storage 150 may be configured to include non-volatile memory such as ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), flash memory, a hard disk, a removable disk, or any other form of computer-readable recording medium widely known in the technical field to which the present invention pertains.

コンピュータプログラム151はメモリ120にロードされる時、プロセッサ110に本発明の多様な実施例に係る方法/動作を遂行するようにさせる一つ以上のインストラクションを含むことができる。すなわち、プロセッサ110は前記一つ以上のインストラクションを実行することによって、本発明の多様な実施例に係る前記方法/動作を遂行できる。
一実施例において、コンピュータプログラム151は所定の領域に配置された棚に対応する3Dジオフェンスを設定する段階、設定された3Dジオフェンスを利用して棚に対する物品積載情報を生成する段階および生成された物品積載情報を利用して物流管理ソリューションを提供する段階を含むライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法を遂行するようにする一つ以上のインストラクションを含むことができる。
The computer program 151 may include one or more instructions that, when loaded into the memory 120, cause the processor 110 to perform the methods/operations according to various embodiments of the present invention. That is, the processor 110 may execute the one or more instructions to perform the methods/operations according to various embodiments of the present invention.
In one embodiment, the computer program 151 may include one or more instructions for performing a method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud, the method including the steps of setting a 3D geofence corresponding to a shelf located in a predetermined area, generating goods loading information for the shelf using the set 3D geofence, and providing a logistics management solution using the generated goods loading information.

本発明の実施例と関連して説明された方法またはアルゴリズムの段階はハードウェアで直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現されるか、またはこれらの結合によって具現され得る。ソフトウェアモジュールはRAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリ(Flash Memory)、ハードディスク、着脱型ディスク、CD-ROM。または本発明が属する技術分野で広く知られている任意の形態のコンピュータ読み取り可能記録媒体に常駐してもよい。 The steps of the method or algorithm described in connection with the embodiments of the present invention may be implemented directly in hardware, or in a software module executed by hardware, or in a combination thereof. The software module may reside in a random access memory (RAM), a read only memory (ROM), an erasable programmable ROM (EPROM), an electrically erasable programmable ROM (EEPROM), a flash memory, a hard disk, a removable disk, a CD-ROM, or in any other form of computer readable recording medium commonly known in the art to which the present invention pertains.

本発明の構成要素はハードウェアであるコンピュータと結合されて実行されるために、プログラム(またはアプリケーション)で具現されて媒体に保存され得る。本発明の構成要素はソフトウェアプログラミングまたはソフトウェア要素で実行され得、これと同様に、実施例はデータ構造、プロセス、ルーチンまたは他のプログラミング構成の組み合わせで具現される多様なアルゴリズムを含み、C、C++、ジャバ(Java)、アセンブラ(assembler)などのようなプログラミングまたはスクリプト言語で具現され得る。機能的な側面は一つ以上のプロセッサで実行されるアルゴリズムで具現され得る。以下、図3~図15を参照して、コンピューティング装置100により実行されるライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法について説明することにする。 The components of the present invention may be implemented as a program (or application) and stored on a medium to be executed in combination with a computer, which is hardware. The components of the present invention may be implemented as software programming or software elements, and similarly, embodiments may include various algorithms implemented as a combination of data structures, processes, routines, or other programming constructs, and may be implemented in programming or scripting languages such as C, C++, Java, assembler, etc. Functional aspects may be implemented as algorithms executed by one or more processors. Hereinafter, a method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud executed by a computing device 100 will be described with reference to FIGS. 3 to 15.

図3は、本発明のさらに他の実施例に係るライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法のフローチャートである。
図3を参照すると、S110段階で、コンピューティング装置100は所定の領域に配置された棚に対応する3Dジオフェンスを設定することができる。
多様な実施例において、コンピューティング装置100はライダセンサを通じて所定の領域(例えば、物流倉庫内部領域)をスキャンすることによって収集されるポイントクラウド(Point Cloud)を利用して所定の領域に配置される複数の棚それぞれに対応する複数の3Dジオフェンスを設定することができる(例:図4)。
FIG. 3 is a flowchart of a method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud according to yet another embodiment of the present invention.
Referring to FIG. 3, in step S110, the computing device 100 may set a 3D geofence corresponding to shelves located in a predetermined area.
In various embodiments, the computing device 100 may set a plurality of 3D geofences corresponding to each of a plurality of shelves arranged in a predetermined area (e.g., an internal area of a logistics warehouse) using a point cloud collected by scanning the predetermined area with a lidar sensor (e.g., FIG. 4).

ここで、ポイントクラウドはライダセンサを通じて収集された点群形態のライダセンサデータであるものとして説明しているが、これに限定されず、レーダーセンサ、カメラセンサ(例:Depth Camera)等の点群形態のセンサデータを収集可能な装置であればいかなる装置であっても適用が可能である。 Here, the point cloud is described as lidar sensor data in the form of a point cloud collected through a lidar sensor, but it is not limited to this and can be applied to any device that can collect sensor data in the form of a point cloud, such as a radar sensor or a camera sensor (e.g., a depth camera).

また、ここで、ポイントクラウドを収集するライダセンサは、物流倉庫の内部を移動しながら棚に物品を移送する車両(例えば、リフト車)に設置され得、ライダセンサが設置された車両が物流倉庫を走行する過程でリアルタイム/周期的にポイントクラウドを収集することができる。 In addition, the lidar sensor that collects the point cloud can be installed on a vehicle (e.g., a lift truck) that moves around the logistics warehouse and transfers items to shelves, and the point cloud can be collected in real time/periodically as the vehicle on which the lidar sensor is installed travels through the logistics warehouse.

このように、ライダセンサが所定の領域(物流倉庫)内の特定位置に固定設置されるのではなくリフト車に設置される場合、リフト車が移動する過程で所定の領域内に配置された棚に対応するポイントクラウドを収集できるため、特定位置にライダセンサを固定的に設置する方式対比少ない個数のライダセンサのみを利用してより効率的にポイントクラウド収集が可能であるという利点がある。 In this way, when the lidar sensor is installed on the lift vehicle rather than fixedly installed at a specific location within a predetermined area (logistics warehouse), a point cloud corresponding to shelves placed within the predetermined area can be collected as the lift vehicle moves, which has the advantage of making it possible to collect point clouds more efficiently using only a smaller number of lidar sensors compared to a method in which the lidar sensor is fixedly installed at a specific location.

また、ライダセンサがリフト車に設置される場合、物流倉庫内の特定位置にライダセンサを固定的に設置する方式対比近距離で棚に対するポイントクラウドを収集できるため、棚および棚に積載された物品に対するポイントクラウドをより正確に収集することができるという利点がある。 In addition, when a lidar sensor is installed on a lift vehicle, it has the advantage that it can collect point clouds for shelves at close range compared to a method in which a lidar sensor is fixedly installed at a specific position within a logistics warehouse, making it possible to more accurately collect point clouds for shelves and items loaded on the shelves.

また、ライダセンサがリフト車に設置される場合、特定の棚に物品を積載したり、特定の棚に積載された物品を他の場所に移動する過程で特定の棚に対するポイントクラウドをリアルタイムで収集できるため、このようなポイントクラウドに基づいて特定の棚に対する物流積載情報をより迅速かつ正確に更新することができるという利点がある。 In addition, when a lidar sensor is installed on a lift vehicle, a point cloud for a specific shelf can be collected in real time during the process of loading items onto a specific shelf or moving items loaded onto a specific shelf to another location, which has the advantage that logistics loading information for a specific shelf can be updated more quickly and accurately based on such point cloud.

また、ライダセンサがリフト車に設置される場合、リフト車を利用して物品を運んだり、特定の棚に積載された物品を他の棚に移動する過程に対するポイントクラウドを収集できるため、このようなポイントクラウドとリフト車の移動経路に基づいてリフト車を通じて運搬される物品に対する移動内訳などのヒストリー管理が容易であるという利点がある。 In addition, when a lidar sensor is installed on a lift vehicle, a point cloud can be collected for the process of using the lift vehicle to transport goods or move goods loaded on a specific shelf to another shelf, which has the advantage that it is easy to manage the history of the movement of goods transported through the lift vehicle, such as the details of the movement of the goods, based on the point cloud and the movement path of the lift vehicle.

ここで、所定の領域内に複数のリフト車が運用される場合、複数のリフト車それぞれにライダセンサが設置され得るが、場合により複数のリフト車のうち少なくとも一つのリフト車にのみ選択的にライダセンサが設置され得る。また、場合によりリフト車に設置されたライダセンサと所定の領域内に固定的に設置されるライダセンサを共に運用する形態でも具現され得る。 Here, when multiple lift cars are operated within a given area, a lidar sensor may be installed on each of the multiple lift cars, but in some cases, a lidar sensor may be selectively installed on only at least one of the multiple lift cars. In some cases, the system may be embodied in a form in which a lidar sensor installed on the lift car and a lidar sensor fixedly installed within the given area are both used.

多様な実施例において、コンピューティング装置100はユーザ入力により3Dジオフェンスを設定したりまたはポイントクラウドに基づいて3Dジオフェンスを自動設定することができる。以下、図5~図8を参照してより具体的に説明することにする。 In various embodiments, the computing device 100 can set a 3D geofence based on user input or automatically set a 3D geofence based on a point cloud. This will be described in more detail below with reference to Figures 5 to 8.

図5は、多様な実施例において、ユーザ入力により3Dジオフェンスを設定する方法を説明するためのフローチャートである。
図5を参照すると、多様な実施例において、コンピューティング装置100はポイントクラウドに基づいて獲得されたユーザ入力に基づいて、棚に対応する3Dジオフェンスを設定することができる。
FIG. 5 is a flow chart illustrating a method for setting a 3D geofence via user input in various embodiments.
Referring to FIG. 5, in various embodiments, the computing device 100 can set a 3D geofence corresponding to a shelf based on user input acquired based on the point cloud.

S210段階で、コンピューティング装置100は所定の領域に対するポイントクラウドを収集することができる。例えば、コンピューティング装置100はリフト車に設置されたライダセンサを通じて所定の領域をスキャンすることによって生成されるポイントクラウドを収集することができるが、これに限定されない。 In step S210, the computing device 100 may collect a point cloud for a predetermined area. For example, the computing device 100 may collect a point cloud generated by scanning a predetermined area through a lidar sensor installed on a lift vehicle, but is not limited thereto.

S220段階で、コンピューティング装置100はS210段階を経て収集されたポイントクラウドを出力するUIをユーザに提供することができる。
ここで、ユーザに提供するUIは、ポイントクラウドを出力するポイントクラウド出力フィールドとポイントクラウド上に3Dジオフェンスを設定するための入力道具を出力する入力道具フィールドを含むことができるが、これに限定されない。
In operation S220, the computing device 100 may provide a user with a UI that outputs the point cloud collected in operation S210.
Here, the UI provided to the user may include, but is not limited to, a point cloud output field for outputting a point cloud and an input tool field for outputting an input tool for setting a 3D geofence on the point cloud.

S230段階で、コンピューティング装置100はS220段階を経て提供されたUIを通じて、ユーザから特定の棚の外形に対応する3次元空間を定義するユーザ入力を獲得することができ、獲得したユーザ入力に基づいて特定の棚に対応する3Dジオフェンスを設定することができる。 In step S230, the computing device 100 can acquire user input from the user through the UI provided in step S220 to define a three-dimensional space corresponding to the outline of a particular shelf, and can set a 3D geofence corresponding to the particular shelf based on the acquired user input.

多様な実施例において、コンピューティング装置100はUIの入力道具フィールドを通じて複数の入力道具(例えば、ポイントクラウド上に点、線および面を描くことによって3次元空間を定義する道具)を提供することができ、入力道具フィールドを通じて獲得されたユーザ入力とポイントクラウド出力フィールドを通じて獲得されたユーザ入力に基づいて特定の棚に対応する3Dジオフェンスを設定することができる。 In various embodiments, the computing device 100 can provide multiple input tools (e.g., tools for defining a three-dimensional space by drawing points, lines, and surfaces on a point cloud) through an input tool field in the UI and can set a 3D geofence corresponding to a particular shelf based on user input obtained through the input tool field and user input obtained through the point cloud output field.

例えば、コンピューティング装置100はユーザから複数の入力道具のうち「点」を選択するユーザ入力とポイントクラウド上の4個の点を選択するユーザ入力を獲得することによりポイントクラウド上に4個の点を設定することによって3Dジオフェンスの底面を設定することができ、4個の点それぞれに対する高さを設定するユーザ入力(例えば、4個のポイントそれぞれに対する高さ軸方向へのドラッグ入力など)を獲得することにより特定の棚に対応する3次元空間形態の3Dジオフェンスを設定することができる。 For example, the computing device 100 can set the bottom of a 3D geofence by setting four points on the point cloud by acquiring user input from the user to select "point" from among multiple input tools and user input to select four points on the point cloud, and can set a 3D geofence in a three-dimensional spatial form corresponding to a particular shelf by acquiring user input to set the height for each of the four points (e.g., drag input in the height axis direction for each of the four points).

多様な実施例において、コンピューティング装置100は事前に設定されたプレセット(Pre-set)(例えば、3Dジオフェンス設定のために事前に設定された3Dジオフェンステンプレートとして、例えば、互いに異なる大きさの正六面体、直六面体など)に基づいて特定の棚に対する3Dジオフェンスを設定することができる。 In various embodiments, the computing device 100 can set a 3D geofence for a particular shelf based on a pre-set (e.g., a 3D geofence template pre-set for setting a 3D geofence, e.g., a regular hexahedron, a rectangular hexahedron, etc., of different sizes).

例えば、コンピューティング装置100はUIを通じて事前に設定された複数のプレセットを提供することができ、ユーザが特定のプレセットを選択することに対応してポイントクラウド上に特定のプレセットを出力することができ、特定のプレセットに対するユーザ入力(例えば、特定のプレセットの位置、大きさ、形態および角度のうち少なくとも一つを調節するユーザ入力)により特定のプレセットを加工することによって、特定の棚に対応する3Dジオフェンス領域を設定することができる。
この時、コンピューティング装置100は所定期間の間ユーザの3Dジオフェンス設定履歴に基づいて、特定の属性(例えば、大きさ、形態、角度等)を有する3Dジオフェンスが予め設定された回数以上設定される場合、予め設定された回数以上設定された3Dジオフェンスをプレセットとして設定して保存すなわち、ユーザがよく使う形態の3Dジオフェンスをテンプレート化することによって、今後ユーザがより迅速かつ便利に3Dジオフェンスを設定できるようにする。
For example, the computing device 100 may provide multiple presets predefined through the UI, and may output the specific preset on the point cloud in response to a user selecting the specific preset, and may set a 3D geofence area corresponding to a specific shelf by processing the specific preset according to user input for the specific preset (e.g., user input adjusting at least one of the position, size, shape, and angle of the specific preset).
At this time, if a 3D geofence having a particular attribute (e.g., size, shape, angle, etc.) is set more than a predetermined number of times based on the user's 3D geofence setting history for a predetermined period of time, the computing device 100 sets and saves the 3D geofence that has been set more than a predetermined number of times as a preset, i.e., by making a 3D geofence of a shape that the user frequently uses into a template, the user can set up a 3D geofence more quickly and conveniently in the future.

多様な実施例において、コンピューティング装置100は特定の棚の大きさ値に基づいて特定の棚に対する3Dジオフェンスを設定することができる。例えば、コンピューティング装置100はUIを通じて特定の棚に対する大きさ値(例えば、特定の棚の横、縦および高さ値)の入力を受けることができ、入力された大きさ値に基づいて3次元空間を生成および出力することができ、出力された3次元空間に対するユーザ入力(例えば、3次元空間の位置、大きさ、形態および角度を調節するユーザ入力)により特定の棚に対応する3Dジオフェンス領域を設定することができる。 In various embodiments, the computing device 100 can set a 3D geofence for a particular shelf based on the size values of the particular shelf. For example, the computing device 100 can receive input of size values for a particular shelf (e.g., width, length, and height values of a particular shelf) through a UI, generate and output a three-dimensional space based on the input size values, and set a 3D geofence area corresponding to a particular shelf based on user input for the output three-dimensional space (e.g., user input adjusting the position, size, shape, and angle of the three-dimensional space).

多様な実施例において、コンピューティング装置100は予め学習された人工知能モデルを通じてポイントクラウドを分析することによって特定の棚の外形に関する一つ以上の特徴値を抽出することができ、抽出された一つ以上の特徴値を利用して特定の棚に対応する3次元空間を生成することができ、生成された3次元空間に対するユーザ入力(例えば、3次元空間の位置、大きさ、形態および角度を調節するユーザ入力)により特定の棚に対応する3Dジオフェンス領域を設定することができる。 In various embodiments, the computing device 100 can extract one or more feature values related to the outline of a particular shelf by analyzing the point cloud through a pre-trained artificial intelligence model, generate a three-dimensional space corresponding to the particular shelf using the extracted one or more feature values, and set a 3D geofence area corresponding to the particular shelf based on user input for the generated three-dimensional space (e.g., user input adjusting the position, size, shape, and angle of the three-dimensional space).

ここで、予め学習された人工知能モデルは複数の棚それぞれに対応するポイントクラウドを学習データとして予め学習されたモデルであり得る。
人工知能モデル(例:ニューラルネットワーク)は一つ以上のネットワーク関数で構成され、一つ以上のネットワーク関数は一般的に「ノード」と指称され得る互いに連結された計算単位の集合で構成され得る。このような「ノード」は「ニューロン(neuron)」と指称されてもよい。一つ以上のネットワーク関数は少なくとも一つ以上のノードを含んで構成される。一つ以上のネットワーク関数を構成するノード(またはニューロン)は一つ以上の「リンク」により互いに連結され得る。
Here, the pre-trained artificial intelligence model may be a model that is pre-trained using point clouds corresponding to each of the multiple shelves as training data.
An artificial intelligence model (e.g., a neural network) is composed of one or more network functions, which may be composed of a collection of interconnected computational units that may generally be referred to as "nodes." Such "nodes" may be referred to as "neurons." One or more network functions are composed of at least one or more nodes. The nodes (or neurons) that make up one or more network functions may be connected to each other by one or more "links."

人工知能モデル内で、リンクを通じて連結された一つ以上のノードは、相対的に入力ノードおよび出力ノードの関係を形成することができる。入力ノードおよび出力ノードの概念は相対的なものであり、一つのノードに対して出力ノード関係にある任意のノードは他のノードとの関係で入力ノード関係にあり得、その逆も成立できる。前述した通り、入力ノード対出力ノード関係はリンクを中心に生成され得る。一つの入力ノードに一つ以上の出力ノードがリンクを通じて連結され得、その逆も成立できる。 Within an artificial intelligence model, one or more nodes connected through links can form a relative input node and output node relationship. The concepts of input node and output node are relative, and any node that is in an output node relationship with one node can also be in an input node relationship with another node, and vice versa. As mentioned above, the input node to output node relationship can be generated around links. One or more output nodes can be connected to an input node through links, and vice versa.

一つのリンクを通じて連結された入力ノードおよび出力ノード関係で、出力ノードは入力ノードに入力されたデータに基づいてその値が決定され得る。ここで入力ノードと出力ノードを互いに連結するノードは加重値(weight)を有することができる。加重値は可変的であり得、人工知能モデルが望む機能を遂行するために、ユーザまたはアルゴリズムによって可変され得る。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクによって互いに連結された場合、出力ノードは前記出力ノードと連結された入力ノードに入力された値およびそれぞれの入力ノードに対応するリンクに設定された加重値に基づいて出力ノード値を決定することができる。 In a relationship between an input node and an output node connected through a link, the value of the output node can be determined based on the data input to the input node. Here, the node connecting the input node and the output node to each other can have a weight. The weight can be variable and can be changed by a user or an algorithm to perform a function desired by the artificial intelligence model. For example, when one or more input nodes are connected to one output node by respective links, the output node can determine the output node value based on the value input to the input node connected to the output node and the weight set to the link corresponding to each input node.

前述した通り、人工知能モデルは一つ以上のノードが一つ以上のリンクを通じて互いに連結されて人工知能モデル内で入力ノードおよび出力ノード関係を形成する。人工知能モデル内でノードとリンクの個数およびノードとリンクの間の相関関係、リンクそれぞれに付与された加重値の値により、人工知能モデルの特性が決定され得る。例えば、同じ個数のノードおよびリンクが存在し、リンク間の加重値値が異なる二つの人工知能モデルが存在する場合、二つの人工知能モデルは互いに異なるものと認識され得る。 As mentioned above, an artificial intelligence model has one or more nodes connected to each other through one or more links to form input node and output node relationships within the artificial intelligence model. The characteristics of an artificial intelligence model can be determined by the number of nodes and links within the artificial intelligence model, the correlation between the nodes and links, and the weight values assigned to each link. For example, if there are two artificial intelligence models that have the same number of nodes and links but different weight values between the links, the two artificial intelligence models can be recognized as different from each other.

人工知能モデルを構成するノードのうち一部は、最初入力ノードからの距離に基づいて、一つのレイヤ(layer)を構成することができる。例えば、最初入力ノードから距離がnであるノードの集合は、nレイヤを構成することができる。最初入力ノードから距離は、最初入力ノードから該当ノードまで到達するために経なければならないリンクの最小個数によって定義され得る。しかし、このようなレイヤの定義は説明のための任意的なものであって、人工知能モデル内でレイヤの次数は前述したものと異なる方法で定義され得る。例えば、ノードのレイヤは最終出力ノードから距離によって定義されてもよい。 Some of the nodes constituting the artificial intelligence model may constitute a layer based on their distance from the initial input node. For example, a set of nodes whose distance from the initial input node is n may constitute an nth layer. The distance from the initial input node may be defined by the minimum number of links that must be traversed to reach the corresponding node from the initial input node. However, this definition of a layer is arbitrary for the purpose of explanation, and the order of a layer in an artificial intelligence model may be defined in a manner different from that described above. For example, a layer of nodes may be defined by the distance from the final output node.

最初入力ノードは人工知能モデル内のノードのうち、他のノードとの関係でリンクを経ずにデータが直接入力される一つ以上のノードを意味し得る。または人工知能モデルネットワーク内で、リンクを基準としたノード間の関係において、リンクで連結された他の入力ノードを有さないノードを意味し得る。これと同様に、最終出力ノードは人工知能モデル内のノードのうち、他のノードとの関係で出力ノードを有さない一つ以上のノードを意味し得る。また、隠れノードは最初入力ノードおよび最後出力ノードでない人工知能モデルを構成するノードを意味し得る。本発明の一実施例に係る人工知能モデルは入力レイヤのノードが出力レイヤに近い隠れレイヤのノードより多くてもよく、入力レイヤから隠れレイヤに進行されるにつれてノードの数が減少する形態の人工知能モデルであり得る。 The initial input node may refer to one or more nodes in an artificial intelligence model to which data is directly input without passing through a link in relation to other nodes. Or, in an artificial intelligence model network, it may refer to a node that does not have other input nodes connected by a link in a node-to-node relationship based on a link. Similarly, the final output node may refer to one or more nodes in an artificial intelligence model that does not have an output node in relation to other nodes. Also, a hidden node may refer to a node constituting an artificial intelligence model that is not the initial input node or the final output node. The artificial intelligence model according to one embodiment of the present invention may have more nodes in the input layer than the nodes in the hidden layer close to the output layer, and may be an artificial intelligence model in which the number of nodes decreases as it progresses from the input layer to the hidden layer.

人工知能モデルは一つ以上の隠れレイヤを含むことができる。隠れレイヤの隠れノードは、以前のレイヤの出力と周辺の隠れノードの出力を入力とすることができる。各隠れレイヤ別隠れノードの数は同一であってもよく、異なってもよい。入力レイヤのノードの数は入力データのデータフィールドの数に基づいて決定され得、隠れノードの数と同一であってもよく、異なってもよい。入力レイヤに入力された入力データは隠れレイヤの隠れノードによって演算され得、出力レイヤである完全連結レイヤ(FCL:fully connected layer)により出力され得る。 The artificial intelligence model may include one or more hidden layers. The hidden nodes of the hidden layers may receive the output of the previous layer and the output of the surrounding hidden nodes as input. The number of hidden nodes for each hidden layer may be the same or different. The number of nodes in the input layer may be determined based on the number of data fields of the input data, and may be the same or different from the number of hidden nodes. The input data input to the input layer may be operated by the hidden nodes of the hidden layer, and may be output by the fully connected layer (FCL), which is the output layer.

多様な実施例において、人工知能モデルはディープラーニング(Deep learning)モデルであり得る。
ディープラーニングモデル(例:ディープニューラルネットワーク(DNN:deep neural network、深層ニューラルネットワーク)は入力レイヤと出力レイヤの他に複数の隠れレイヤを含む人工知能モデルを意味し得る。ディープニューラルネットワークを利用すればデータの潜在的な構造(latent structures)を把握することができる。すなわち、写真、文章、ビデオ、音声、音楽の潜在的な構造(例えば、どの物体が写真にあるか、文章の内容と感情が何であるか、音声の内容と感情が何であるかなど)を把握することができる。
In various embodiments, the artificial intelligence model may be a deep learning model.
A deep learning model (e.g., deep neural network (DNN)) can refer to an artificial intelligence model that includes multiple hidden layers in addition to an input layer and an output layer. A deep neural network can be used to understand the latent structures of data, that is, the latent structures of photos, text, video, audio, and music (e.g., what objects are in the photo, what is the content and emotion of the text, what is the content and emotion of the audio, etc.).

ディープニューラルネットワークは畳み込みニューラルネットワーク(CNN:convolutional neural network)、リカレントニューラルネットワーク(RNN:recurrent neural network)、オートエンコーダ(auto encoder)、GAN(Generative Adversarial Networks)、制限ボルツマンマシン(RBM:restricted boltzmann machine)、深層信頼ネットワーク(DBN:deep belief network)、Qネットワーク、Uネットワーク、シャムネットワークなどを含むことができるが、これに限定されない。 Deep neural networks can include, but are not limited to, convolutional neural networks (CNN), recurrent neural networks (RNN), autoencoders, Generative Adversarial Networks (GANs), restricted Boltzmann machines (RBMs), deep belief networks (DBNs), Q networks, U networks, and Siamese networks.

多様な実施例において、ネットワーク関数はオートエンコーダを含んでもよい。ここで、オートエンコーダは入力データに類似する出力データを出力するための人工ニューラルネットワークの一種であり得る。 In various embodiments, the network function may include an autoencoder, where an autoencoder may be a type of artificial neural network for outputting output data that is similar to input data.

オートエンコーダは少なくとも一つの隠れレイヤを含むことができ、奇数個の隠れレイヤが入出力レイヤの間に配置され得る。それぞれのレイヤのノードの数は、入力レイヤのノードの数からボトルネックレイヤ(エンコーディング)という中間レイヤに縮小されてから、ボトルネックレイヤから出力レイヤ(入力レイヤと対称)に縮小と対称して拡張されてもよい。次元減少レイヤと次元復元レイヤのノードは対称であってもよく対称でなくてもよい。また、オートエンコーダは非線形次元減少を遂行できる。入力レイヤおよび出力レイヤの数は入力データの前処理以後に残ったセンサの数と対応し得る。オートエンコーダ構造でエンコーダに含まれた隠れレイヤのノードの数は、入力レイヤから遠ざかるほど減少する構造を有し得る。ボトルネックレイヤ(エンコーダとデコーダの間に位置する最も少ないノードを有するレイヤ)のノードの数は、過度に小さい場合は十分な量の情報が伝達されない可能性があるので、特定数以上(例えば、入力レイヤの半分以上など)に維持されてもよい。
ニューラルネットワークは教師あり学習(supervised learning)、教師なし学習(unsupervised learning)、および半教師あり学習(semi supervised learning)のうち少なくとも一つの方式で学習され得る。ニューラルネットワークの学習は出力のエラーを最小化するためのものである。より具体的には、ニューラルネットワークの学習は反復的にデータをニューラルネットワークに入力させ、学習データに対するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向にニューラルネットワークのエラーをニューラルネットワークの出力レイヤから入力レイヤ方向に逆伝播(backpropagation)してニューラルネットワークの各ノードの加重値をアップデートする過程である。
An autoencoder may include at least one hidden layer, and an odd number of hidden layers may be arranged between the input and output layers. The number of nodes in each layer may be reduced from the number of nodes in the input layer to an intermediate layer called a bottleneck layer (encoding), and then expanded symmetrically from the bottleneck layer to the output layer (symmetrical to the input layer). The nodes in the dimension reduction layer and the dimension restoration layer may be symmetrical or not symmetrical. In addition, the autoencoder may perform nonlinear dimension reduction. The number of input layers and output layers may correspond to the number of sensors remaining after preprocessing of the input data. In the autoencoder structure, the number of nodes in the hidden layer included in the encoder may be structured to decrease as it moves away from the input layer. The number of nodes in the bottleneck layer (the layer with the fewest nodes located between the encoder and the decoder) may be maintained at a certain number or more (e.g., more than half of the input layer) because if it is too small, a sufficient amount of information may not be transmitted.
The neural network may be trained by at least one of supervised learning, unsupervised learning, and semi-supervised learning. The training of the neural network is for minimizing the error of the output. More specifically, the training of the neural network is a process of repeatedly inputting data into the neural network, calculating the error of the neural network output and the target for the training data, and backpropagating the error of the neural network from the output layer to the input layer of the neural network in a direction to reduce the error, thereby updating the weight value of each node of the neural network.

まず、教師あり学習の場合、それぞれの学習データに正解がラベリングされている学習データを使用(すなわち、ラベリングされた学習データ)し、教師なし学習の場合はそれぞれの学習データに正解がラベリングされていない場合もある。すなわち、例えばデータ分類に関する教師あり学習の場合の学習データは、学習データそれぞれにカテゴリーがラベリングされたデータであり得る。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力(カテゴリー)と学習データのラベルを比較することによってエラー(error)が計算され得る。 First, in the case of supervised learning, training data in which the correct answer is labeled for each piece of training data is used (i.e., labeled training data), whereas in the case of unsupervised learning, the correct answer may not be labeled for each piece of training data. That is, for example, in the case of supervised learning for data classification, the training data may be data in which each piece of training data is labeled with a category. The labeled training data is input to a neural network, and an error can be calculated by comparing the output (category) of the neural network with the label of the training data.

次に、データ分類に関する教師なし学習の場合、入力である学習データがニューラルネットワーク出力と比較されることによってエラーが計算され得る。計算されたエラーは、ニューラルネットワークで逆方向(すなわち、出力レイヤから入力レイヤ方向)に逆伝播され、逆伝播によりニューラルネットワークの各レイヤの各ノードの連結加重値がアップデートされ得る。アップデートされる各ノードの連結加重値は学習率(learning rate)によって変化量が決定され得る。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習サイクル(epoch)を構成することができる。学習率はニューラルネットワークの学習サイクルの反復回数によって異なって適用され得る。例えば、ニューラルネットワークの学習初期には高い学習率を使ってニューラルネットワークが早く一定水準の性能を確保するようにして効率性を高め、学習後期には低い学習率を使って正確度を高めることができる。 Next, in the case of unsupervised learning for data classification, an error may be calculated by comparing the input learning data with the neural network output. The calculated error may be backpropagated in the reverse direction (i.e., from the output layer to the input layer) in the neural network, and the connection weights of each node in each layer of the neural network may be updated by the backpropagation. The amount of change in the connection weights of each node to be updated may be determined by a learning rate. The calculation of the neural network for the input data and the backpropagation of the error may constitute a learning cycle. The learning rate may be applied differently depending on the number of iterations of the learning cycle of the neural network. For example, a high learning rate may be used in the early stages of learning the neural network to quickly ensure a certain level of performance, thereby improving efficiency, and a low learning rate may be used in the later stages of learning to improve accuracy.

ニューラルネットワークの学習において、一般的に学習データは実際のデータ(すなわち、学習されたニューラルネットワークを利用して処理しようとするデータ)の部分集合であり得、したがって、学習データに対するエラーは減少するが実際のデータについてはエラーが増加する学習サイクルが存在し得る。過適合(overfitting)は、このように学習データに過度に学習して実際のデータに対するエラーが増加する現象である。例えば、黄色の猫を見せて猫を学習したニューラルネットワークが、黄色以外の猫を見ては猫であることを認識できない現象が過適合の一種であり得る。過適合はマシンラーニングアルゴリズムのエラーを増加させる原因として作用し得る。このような過適合を防ぐために多様な最適化方法が使われ得る。過適合を防ぐためには、学習データを増加させたり、正規化(regularization)、学習の過程でネットワークのノードの一部を省略するドロップアウト(dropout)等の方法が適用され得る。 In learning a neural network, the learning data may generally be a subset of the actual data (i.e., data to be processed using the trained neural network), and therefore, there may be a learning cycle in which the error for the learning data decreases but the error for the actual data increases. Overfitting is a phenomenon in which the learning data is over-learned in this way, resulting in an increase in the error for the actual data. For example, a neural network that has learned cats by showing them yellow cats may be unable to recognize that a cat is a cat if it sees a cat other than yellow, which may be a type of overfitting. Overfitting may act as a cause of increasing errors in machine learning algorithms. Various optimization methods may be used to prevent such overfitting. To prevent overfitting, methods such as increasing the learning data, regularization, and dropout, which omits some nodes of the network during the learning process, may be applied.

多様な実施例において、コンピューティング装置100は特定の棚が複数の段、複数のマスを含む場合、ユーザ入力に基づいて特定の棚に対応する3Dジオフェンスを複数の段、複数のマスそれぞれに合わせて分割することによって複数のグリッドセルを生成することができる。
一例として、コンピューティング装置100は図6に図示された通り、UIを通じてユーザから特定の棚に対する段の個数とマスの個数が入力(例えば、NxM)され得、入力された段の個数およびマスの個数により3Dジオフェンスを分割することによって、複数の段、複数のマスそれぞれに対応する複数のグリッドセルを生成することができる。しかし、これに限定されず、コンピューティング装置100はユーザから3Dジオフェンスを分割するユーザ入力(例えば、3Dジオフェンスを複数のグリッドセルに分割する点、線、面を描くユーザ入力)により3Dジオフェンスを分割することによって、複数のグリッドセルを生成することができる。
In various embodiments, the computing device 100 may generate multiple grid cells by dividing the 3D geofence corresponding to a particular shelf into multiple tiers or multiple squares based on user input if the particular shelf includes multiple tiers or multiple squares.
As an example, as shown in Fig. 6, the computing device 100 may receive input of the number of rows and the number of cells for a specific shelf (e.g., NxM) from a user through a UI, and may divide the 3D geofence according to the input number of rows and the number of cells to generate a plurality of grid cells corresponding to each of the plurality of rows and the plurality of cells. However, without being limited thereto, the computing device 100 may generate a plurality of grid cells by dividing the 3D geofence according to a user input for dividing the 3D geofence from a user (e.g., a user input for drawing a point, a line, or a surface that divides the 3D geofence into a plurality of grid cells).

この時、コンピューティング装置100は図7に図示された通り、UIを通じて複数のグリッドセルを出力することができ、ユーザ入力(例えば、複数のグリッドセルを区分する境界線を除去または追加したり、境界線の位置を移動させるユーザ入力)により複数のグリッドセルを補正することができる。 At this time, the computing device 100 can output multiple grid cells through a UI as shown in FIG. 7, and can correct the multiple grid cells based on user input (e.g., user input to remove or add a boundary line separating the multiple grid cells, or to move the position of the boundary line).

図8は、多様な実施例において、ポイントクラウドに基づいて3Dジオフェンスを自動設定する方法を説明するためのフローチャートである。
図8を参照すると、多様な実施例において、コンピューティング装置100はポイントクラウドを分析して棚に対応する3Dジオフェンスを自動で設定することができる。
S310段階で、コンピューティング装置100は特定の棚をスキャンすることによって生成されたポイントクラウドを収集することができる。例えば、コンピューティング装置100はリフト車に設置されたライダセンサを通じて所定の領域をスキャンすることによって生成されるポイントクラウドを収集でき、収集されたポイントクラウドで特定の棚に対応するポイントクラウドのみを抽出することができるが、これに限定されない。
FIG. 8 is a flow diagram illustrating a method for automatically setting a 3D geofence based on a point cloud in accordance with various embodiments.
Referring to FIG. 8, in various embodiments, the computing device 100 can analyze the point cloud to automatically set a 3D geofence corresponding to the shelf.
In step S310, the computing device 100 may collect a point cloud generated by scanning a specific shelf. For example, the computing device 100 may collect a point cloud generated by scanning a specific area using a lidar sensor installed in a lift vehicle, and may extract only a point cloud corresponding to a specific shelf from the collected point clouds, but is not limited thereto.

S320段階で、コンピューティング装置100はポイントクラウドを分析して特定の棚の外形に対応するベクトルを抽出することができる。例えば、コンピューティング装置100は特定の棚に対応するポイントクラウドを分析して特定の棚に対する横軸ベクトル(例えば、特定の棚の幅方向(X軸)ベクトル)、縦軸ベクトル(例えば、特定の棚の深さ方向(Y軸)ベクトル)および高さ軸ベクトル(例えば、特定の棚の高さ方向(Z軸)ベクトル)を抽出することができる。 At step S320, the computing device 100 may analyze the point cloud to extract vectors corresponding to the outline of a particular shelf. For example, the computing device 100 may analyze the point cloud corresponding to a particular shelf to extract a horizontal axis vector (e.g., a width direction (X-axis) vector of a particular shelf), a vertical axis vector (e.g., a depth direction (Y-axis) vector of a particular shelf), and a height axis vector (e.g., a height direction (Z-axis) vector of a particular shelf) for the particular shelf.

ここで、コンピューティング装置100は特定の棚が正六面体または直六面体の形状を有するという点を考慮して、特定の棚に対する4個の横軸ベクトル、4個の縦軸ベクトルおよび4個の高さ軸ベクトルを抽出することができるが、これに限定されない。
また、コンピューティング装置100は特定の棚が複数の段および複数のマスを含む場合、複数の段それぞれに対するベクトルと複数のマスそれぞれに対するベクトルを抽出することができるが、これに限定されない。
Here, the computing device 100 may extract, but is not limited to, four horizontal axis vectors, four vertical axis vectors, and four height axis vectors for a particular shelf, taking into account that the particular shelf has a regular hexahedron or rectangular hexahedron shape.
Additionally, the computing device 100 may extract, but is not limited to, a vector for each of the multiple rows and a vector for each of the multiple rows when a particular shelf includes multiple rows and multiple squares.

S330段階で、コンピューティング装置100はS320段階で抽出されたベクトルを利用して特定の棚に対する3Dジオフェンスを設定することができる。
多様な実施例において、コンピューティング装置100はポイントクラウドに含まれた複数のポイントのうち、抽出されたベクトルに対応するポイントをグループ化することによって、特定の棚に対する3Dジオフェンスを設定することができる。
In step S330, the computing device 100 may set a 3D geofence for a particular shelf using the vector extracted in step S320.
In various embodiments, the computing device 100 can set a 3D geofence for a particular shelf by grouping points in the point cloud that correspond to the extracted vector.

例えば、コンピューティング装置100は複数のポイントのうち横軸ベクトルに対応するポイントをグループ化してグループ化されたポイントを連結することによって3Dジオフェンスの横軸を設定することができ、縦軸ベクトルに対応するポイントをグループ化してグループ化されたポイントを連結することによって3Dジオフェンスの縦軸を設定することができ、高さ軸ベクトルに対応するポイントをグループ化してグループ化されたポイントを連結することによってジオフェンスの高さ軸を設定することができ、これを利用して最終的に3次元空間形態の3Dジオフェンスを設定することができる。 For example, the computing device 100 can set the horizontal axis of the 3D geofence by grouping points corresponding to a horizontal axis vector among the multiple points and connecting the grouped points, set the vertical axis of the 3D geofence by grouping points corresponding to a vertical axis vector and connecting the grouped points, and set the height axis of the geofence by grouping points corresponding to a height axis vector and connecting the grouped points, and finally use this to set a 3D geofence in a three-dimensional spatial form.

多様な実施例において、コンピューティング装置100は予め学習された人工知能モデルを通じてポイントクラウドを分析することによって、特定の棚に対応する3次元空間形態の3Dジオフェンスを設定することができる。例えば、コンピューティング装置100は予め学習された人工知能モデルを通じてポイントクラウドを分析することによって特定の棚の外形に関する一つ以上の特徴値を抽出することができ、抽出された一つ以上の特徴値を利用して特定の棚に対応する3Dジオフェンスを設定することができる。 In various embodiments, the computing device 100 can set a 3D geofence of a three-dimensional spatial form corresponding to a specific shelf by analyzing the point cloud through a pre-trained artificial intelligence model. For example, the computing device 100 can extract one or more feature values related to the outline of a specific shelf by analyzing the point cloud through a pre-trained artificial intelligence model, and can set a 3D geofence corresponding to the specific shelf using the extracted one or more feature values.

この時、特定の棚に一つ以上の物品が積載された場合、積載された物品に対応するポイントによって特定の棚の外形に対する特徴値が正確に抽出され難いこともあるところ、コンピューティング装置100は予め学習された人工知能モデルを通じてポイントクラウドを分析することによって客体(物品)を識別することができ、ポイントクラウドに含まれた複数のポイントのうち客体に対応するポイントを除去することができ、客体に対応するポイントが除去されたポイントクラウドを分析して特定の棚に対応する3次元空間形態の3Dジオフェンスを設定することができる。
再び、図3を参照すると、多様な実施例において、コンピューティング装置100はS110段階を経て設定された3Dジオフェンスに対する検証を遂行できる。
In this case, when one or more items are loaded on a specific shelf, it may be difficult to accurately extract feature values for the outer shape of the specific shelf based on points corresponding to the loaded items. However, the computing device 100 may identify objects (items) by analyzing the point cloud through a pre-trained artificial intelligence model, remove points corresponding to objects from among a plurality of points included in the point cloud, and set a 3D geofence in a three-dimensional spatial form corresponding to the specific shelf by analyzing the point cloud from which the points corresponding to the objects have been removed.
Referring again to FIG. 3, in various embodiments, the computing device 100 may perform verification of the set 3D geofence via step S110.

一例として、リフト車にはライダセンサの他にカメラセンサをさらに含むことができ、コンピューティング装置100はカメラセンサを通じて特定の棚を撮影することによって生成された棚イメージと特定の棚に対応する3Dジオフェンスに対する類似度を算出することができ、算出された類似度に基づいて特定の棚に対応する3Dジオフェンスが適切に設定されたかどうかを判断することができる。 As an example, the lift vehicle may further include a camera sensor in addition to the lidar sensor, and the computing device 100 may calculate the similarity between a shelf image generated by photographing a specific shelf through the camera sensor and a 3D geofence corresponding to the specific shelf, and may determine whether the 3D geofence corresponding to the specific shelf has been properly set based on the calculated similarity.

他の例として、コンピューティング装置100はS110段階を経て特定の棚に対する3Dジオフェンスが設定された場合、所定の領域内に配置された複数の棚のうち特定の棚と類似度が予め設定された値以上の少なくとも一つの棚を選択し、選択された少なくとも一つの棚に対応する3Dジオフェンスと特定の棚に対応する3Dジオフェンス間の類似度を算出することができ、算出された類似度に基づいて特定の棚に対応する3Dジオフェンスが適切に設定されたかどうかを判断することができる。 As another example, when a 3D geofence for a specific shelf is set through step S110, the computing device 100 can select at least one shelf among a plurality of shelves arranged within a predetermined area whose similarity to the specific shelf is equal to or greater than a preset value, calculate a similarity between the 3D geofence corresponding to the at least one selected shelf and the 3D geofence corresponding to the specific shelf, and determine whether the 3D geofence corresponding to the specific shelf has been properly set based on the calculated similarity.

多様な実施例において、コンピューティング装置100は所定の領域に対するポイントクラウドを分析して棚を識別することができ、識別された棚に対応して予め設定された3Dジオフェンスを呼び出すことができる。例えば、コンピューティング装置100は所定の領域に対するポイントクラウドを分析して特定の棚が識別される場合、特定の棚が識別された位置に対応して予め設定された3Dジオフェンスを呼び出すことができるが、これに限定されない。 In various embodiments, the computing device 100 may analyze a point cloud for a given area to identify a shelf, and may call up a pre-defined 3D geofence corresponding to the identified shelf. For example, the computing device 100 may analyze a point cloud for a given area to identify a particular shelf, and may call up a pre-defined 3D geofence corresponding to the location where the particular shelf is identified, but is not limited thereto.

この時、コンピューティング装置100は識別された棚に対応する3Dジオフェンスが呼び出されない場合(例えば、識別された棚に対して3Dジオフェンスがまだ設定されていないか、識別された棚が所定の領域内に新規配置された場合)、識別された棚に対する3Dジオフェンス設定動作を遂行できる。
一例として、コンピューティング装置100は所定の領域に対するポイントクラウドを分析して識別された棚に対応する3Dジオフェンスが呼び出されない場合、ユーザが直接識別された棚に対応する3Dジオフェンスを設定(例:図5)できるように識別された棚に対応するポイントクラウドを出力するUIをユーザに提供することができる。
例えば、コンピューティング装置100はポイントクラウド分析を通じて識別された棚に対して3Dジオフェンスが設定されていないものと判断される場合、該当棚に対する3Dジオフェンスを設定することを案内する通知と共に、該当棚に対応するポイントクラウドを出力するUIをユーザに提供することができるが、3Dジオフェンスが設定されていない棚をリスト化して保存しておいて、ユーザが特定の棚に対する3Dジオフェンス設定のためにUIを出力する場合、保存されたリストをUI上に出力することができる。
At this time, the computing device 100 may perform a 3D geofence setting operation for the identified shelf if a 3D geofence corresponding to the identified shelf is not called (e.g., if a 3D geofence has not yet been set for the identified shelf or if the identified shelf is newly placed within a specified area).
As an example, the computing device 100 may analyze the point cloud for a given area, and if a 3D geofence corresponding to the identified shelf is not invoked, the computing device 100 may provide a user with a UI that outputs the point cloud corresponding to the identified shelf so that the user can directly set a 3D geofence corresponding to the identified shelf (e.g., FIG. 5).
For example, if the computing device 100 determines that a 3D geofence has not been set for a shelf identified through point cloud analysis, it may provide the user with a UI that outputs a point cloud corresponding to the shelf along with a notification guiding the user to set a 3D geofence for the shelf. However, the shelves for which a 3D geofence has not been set may be listed and saved, and when the user outputs the UI to set a 3D geofence for a specific shelf, the saved list may be output on the UI.

他の例として、コンピューティング装置100は所定の領域に対するポイントクラウドを分析して識別された棚に対応する3Dジオフェンスが呼び出されない場合、識別された棚に対応するポイントクラウドを分析して識別された棚に対する3Dジオフェンスを自動で設定(例:図8)することができる。
すなわち、コンピューティング装置100は所定の領域に対するポイントクラウドを分析することによって識別された棚に対応する3Dジオフェンスが呼び出されない場合、該当棚に対する3Dジオフェンス設定動作を遂行すことができ、所定の領域に対するポイントクラウドを分析することによって識別された棚に対応する3Dジオフェンスが呼び出される場合、後述されるS120段階を繰り返し遂行して該当棚に対する物品積載情報を生成およびアップデートすることができる。
As another example, if the computing device 100 analyzes the point cloud for a predetermined area to call up a 3D geofence corresponding to the identified shelf, the computing device 100 may analyze the point cloud corresponding to the identified shelf to automatically set a 3D geofence for the identified shelf (e.g., FIG. 8).
That is, when a 3D geofence corresponding to a shelf identified by analyzing the point cloud for a predetermined area is not called, the computing device 100 may perform a 3D geofence setting operation for the shelf, and when a 3D geofence corresponding to a shelf identified by analyzing the point cloud for a predetermined area is called, the computing device 100 may repeatedly perform step S120 described below to generate and update item loading information for the shelf.

多様な実施例において、コンピューティング装置100は所定の領域に対するポイントクラウドに基づいて、3Dジオフェンスが設定された位置に対応するポイントクラウドで3Dジオフェンスに対応する棚が識別されない場合、3Dジオフェンスを除去することができる。
コンピューティング装置100は前述された方法により所定の領域内に配置された複数の棚それぞれに対する3Dジオフェンスが設定された以後、より効率的な物流管理ソリューションを提供するための目的で所定の領域に対する物流管理システムを構築することができる。
In various embodiments, the computing device 100 can remove the 3D geofence if a shelf corresponding to the 3D geofence is not identified in the point cloud corresponding to the location where the 3D geofence is set based on the point cloud for a given area.
After the computing device 100 has set 3D geofences for each of the multiple shelves located within a given area in the manner described above, the computing device 100 can build a logistics management system for the given area in order to provide a more efficient logistics management solution.

まず、コンピューティング装置100は前述された方法により生成された複数の3Dジオフェンスをグループ化することができる。
一例として、コンピューティング装置100はユーザ入力に基づいて二つ以上の3Dジオフェンスをグループ化することができる。例えば、ユーザから二つ以上の3Dジオフェンスが選択されることによって二つ以上の3Dジオフェンスを一つのジオフェンスグループにグループ化することができる。また、コンピューティング装置100はユーザから二つ以上のジオフェンスグループが選択されることによって二つ以上のジオフェンスグループを一つのストレージにグループ化することができ、二つ以上のストレージが選択されることによって二つ以上のストレージを一つのストレージグループにグループ化することができる。
他の例として、コンピューティング装置100は事前に定義された基準により二つ以上の3Dジオフェンスをグループ化することができる。例えば、コンピューティング装置100は複数の3Dジオフェンスを層別にグループ化したり、物流倉庫別にグループ化することができる。また、コンピューティング装置100は複数の3Dジオフェンスのうち同じ属性(例えば、大きさ、位置、方向など)を有する二つ以上の3Dジオフェンスをグループ化することができる。また、コンピューティング装置100は複数の3Dジオフェンスのうち同じ物品が積載された棚に対応する3Dジオフェンス同士でグループ化することができる。また、コンピューティング装置100は複数の3Dジオフェンスのうち相互の離隔距離が予め設定された値以内である3Dジオフェンス同士でしグループ化することができる。
次に、コンピューティング装置100は複数の棚それぞれに積載された物品に関する情報を記録、保存することができる。例えば、コンピューティング装置100は複数の棚それぞれに対して、物品の積載の有無、物品の積載率(積載量)、物品の積載位置、物品の種類、物品の移動履歴など、物品に関連した各種情報を複数の棚それぞれに対応する3Dジオフェンスとマッチングして保存することができる。
First, computing device 100 can group multiple 3D geofences generated by the methods described above.
As an example, the computing device 100 may group two or more 3D geofences based on user input. For example, the computing device 100 may group two or more 3D geofences into one geofence group when two or more 3D geofences are selected by the user. The computing device 100 may also group two or more geofence groups into one storage when two or more geofence groups are selected by the user, and may group two or more storages into one storage group when two or more storages are selected.
As another example, the computing device 100 may group two or more 3D geofences according to a predefined criterion. For example, the computing device 100 may group a plurality of 3D geofences by layer or by logistics warehouse. The computing device 100 may also group two or more 3D geofences having the same attribute (e.g., size, position, direction, etc.) among the plurality of 3D geofences. The computing device 100 may also group 3D geofences corresponding to shelves on which the same items are loaded among the plurality of 3D geofences. The computing device 100 may also group 3D geofences that are separated from each other by a predetermined value or less among the plurality of 3D geofences.
Next, the computing device 100 may record and store information about the items loaded on each of the multiple shelves. For example, the computing device 100 may match various information related to the items, such as whether the items are loaded on each of the multiple shelves, the loading rate (loading amount) of the items, the loading position of the items, the type of the items, and the movement history of the items, with the 3D geofences corresponding to each of the multiple shelves and store the information.

次に、コンピューティング装置100は所定の領域に対する物流管理マップを生成することができる。例えば、コンピューティング装置100は所定の領域に対する地図データ上に複数の棚それぞれに対応して設定された複数の3Dジオフェンスを表示し、複数の3Dジオフェンスそれぞれに対する情報と複数の3Dジオフェンスそれぞれに対して予めマッチングされた情報(例えば複数の棚それぞれに積載された物品に関する情報)を記録することによって、物流管理マップを生成することができる。 Then, the computing device 100 can generate a logistics management map for a given area. For example, the computing device 100 can generate a logistics management map by displaying a plurality of 3D geofences set corresponding to each of a plurality of shelves on map data for a given area, and recording information for each of the plurality of 3D geofences and information previously matched for each of the plurality of 3D geofences (e.g., information regarding items loaded on each of the plurality of shelves).

S120段階で、コンピューティング装置100はS110段階を経て設定された3Dジオフェンスを利用して3Dジオフェンスに対応する棚に対する物品積載情報を生成することができる。例えば、コンピューティング装置100は3Dジオフェンスに基づいて所定の領域に対するポイントクラウドを分析することによって、棚内部に対する分析結果(例:棚に含まれたそれぞれの段およびマスに物品が積載されてあるかどうか、物品の積載率など)を含む物品積載情報を生成することができる。以下、図9を参照して説明することにする。 In step S120, the computing device 100 may generate item loading information for a shelf corresponding to the 3D geofence using the 3D geofence set in step S110. For example, the computing device 100 may generate item loading information including analysis results for the inside of the shelf (e.g., whether items are loaded on each level and square included in the shelf, item loading rate, etc.) by analyzing a point cloud for a specific area based on the 3D geofence. This will be described below with reference to FIG. 9.

図9は、多様な実施例において、物品積載情報を生成する方法を説明するためのフローチャートである。
図9を参照すると、S410段階で、コンピューティング装置100は所定の領域に対するポイントクラウドを収集することができる。例えば、コンピューティング装置100はリフト車に設置されたライダセンサを通じて所定の領域をスキャンすることによって生成されるポイントクラウドを収集することができるが、これに限定されない。
FIG. 9 is a flow chart illustrating a method for generating item load information according to various embodiments.
9, in operation S410, the computing device 100 may collect a point cloud for a predetermined area. For example, the computing device 100 may collect a point cloud generated by scanning a predetermined area using a lidar sensor installed in a lift vehicle, but is not limited thereto.

S420段階で、コンピューティング装置100はS410段階を経て収集されたポイントクラウドを分析して第1物品積載情報を生成することができる。
多様な実施例において、コンピューティング装置100は所定の領域に対するポイントクラウドを分析して特定の棚に対応する3Dジオフェンスを識別することができ、所定の領域に対するポイントクラウドのうち、3Dジオフェンスに対応するポイントクラウドを分析して客体(物品)を識別することができ、識別された客体に基づいて特定の棚に対する第1物品積載情報を生成することができる。
In operation S420, the computing device 100 may generate first item loading information by analyzing the point cloud collected in operation S410.
In various embodiments, the computing device 100 may analyze a point cloud for a predetermined area to identify a 3D geofence corresponding to a specific shelf, may analyze a point cloud for the predetermined area that corresponds to the 3D geofence to identify an object (item), and may generate first item loading information for a specific shelf based on the identified object.

例えば、コンピューティング装置100は3Dジオフェンスに対応するポイントクラウドを分析して客体の識別の有無(特定の棚に物品が積載されてあるかどうか)、客体の位置(客体が特定の棚のどの段/マスに積載されているかに関する情報で、客体が識別された場合に限る)および客体の種類(物品の種類に関する情報であって、客体が識別された場合に限る)を判断することができ、判断結果を含む第1物品積載情報を生成することができる。
S430段階で、コンピューティング装置100はS410段階を経て収集されたポイントクラウドを分析して第2物品積載情報を生成することができる。
For example, the computing device 100 can analyze a point cloud corresponding to a 3D geofence to determine whether an object has been identified (whether an item is loaded on a particular shelf), the object's location (information regarding which level/square the object is loaded on on a particular shelf, only if the object has been identified), and the object's type (information regarding the type of item, only if the object has been identified), and can generate first item loading information including the determination result.
In operation S430, the computing device 100 may generate second item loading information by analyzing the point cloud collected in operation S410.

多様な実施例において、コンピューティング装置100は所定の領域に対するポイントクラウドを分析して特定の棚に対応する3Dジオフェンスを識別することができ、所定の領域に対するポイントクラウドのうち、3Dジオフェンスに対応するポイントクラウドを分析して棚の積載率を算出することができ、算出された積載率に関する情報を含む第2物品積載情報を生成することができる。 In various embodiments, the computing device 100 can analyze a point cloud for a given area to identify a 3D geofence corresponding to a particular shelf, can analyze a point cloud corresponding to the 3D geofence among the point clouds for the given area to calculate a shelf loading rate, and can generate second item loading information including information regarding the calculated loading rate.

多様な実施例において、コンピューティング装置100は3Dジオフェンスに対応するポイントクラウドを分析して3Dジオフェンス内に積載された客体を識別することができ、3Dジオフェンス面積対比客体の面積の比率を棚の積載率として算出することができる。この時、コンピューティング装置100は特定の棚が複数の段および複数のマスを含む場合、複数の段および複数のマスそれぞれに対する積載率を個別的に算出することができ、算出された積載率を合算して最終的な棚の積載率を算出することができる。 In various embodiments, the computing device 100 can analyze a point cloud corresponding to a 3D geofence to identify objects loaded within the 3D geofence, and can calculate the ratio of the area of the objects to the area of the 3D geofence as the shelf loading rate. In this case, if a particular shelf includes multiple levels and multiple squares, the computing device 100 can calculate the loading rate for each of the multiple levels and multiple squares individually, and can add up the calculated loading rates to calculate the final shelf loading rate.

例えば、コンピューティング装置100は図10に図示された通り、特定の棚が二つの段を含む場合、各段の面積S対比客体の面積Sの比率を算出することによって、各段の積載率を算出することができ、算出された各段の積載率を合算することによって二つの段を含む特定の棚に対する積載率を算出することができる。 For example, as shown in FIG. 10, when a specific shelf includes two levels, the computing device 100 can calculate the loading rate of each level by calculating the ratio of the area S1 of each level to the area S2 of the object, and can calculate the loading rate for the specific shelf including two levels by adding up the calculated loading rates of each level.

多様な実施例において、コンピューティング装置100は3Dジオフェンスに対応するポイントクラウドを分析して3Dジオフェンス内に積載された客体を識別することができ、3Dジオフェンスの高さ対比客体の高さの比率を棚の積載率として算出することができる。この時、コンピューティング装置100は特定の棚が複数の段および複数のマスを含む場合、複数の段および複数のマスそれぞれに対する積載率を個別的に算出することができ、算出された積載率を合算して最終的な棚の積載率を算出することができる。 In various embodiments, the computing device 100 can analyze a point cloud corresponding to a 3D geofence to identify objects loaded within the 3D geofence, and can calculate the ratio of the height of the objects to the height of the 3D geofence as the shelf loading rate. In this case, if a particular shelf includes multiple levels and multiple squares, the computing device 100 can calculate the loading rate for each of the multiple levels and multiple squares individually, and can add up the calculated loading rates to calculate the final shelf loading rate.

例えば、コンピューティング装置100は図11に図示された通り、特定の棚が二つの段を含む場合、各段の高さH対比客体の高さHの比率を算出することによって、各段の積載率を算出することができ、算出された各段の積載率を合算することによって二つの段を含む特定の棚に対する積載率を算出することができる。 For example, as shown in FIG. 11, when a specific shelf includes two levels, the computing device 100 can calculate the loading rate of each level by calculating the ratio of the height H1 of each level to the height H2 of the object, and can calculate the loading rate for the specific shelf including two levels by adding up the calculated loading rates of each level.

多様な実施例において、コンピューティング装置100は3Dジオフェンスに対応するポイントクラウドを分析して3Dジオフェンス内に積載された客体を識別することができ、3Dジオフェンスの体積対比客体の体積の比率を棚の積載率として算出することができる。この時、コンピューティング装置100は特定の棚が複数の段および複数のマスを含む場合、複数の段および複数のマスそれぞれに対する積載率を個別的に算出することができ、算出された積載率を合算して最終的な棚の積載率を算出することができる。
例えば、コンピューティング装置100は特定の棚が二つの段を含む場合、特定の棚をスキャンすることによって収集されたポイントクラウドを利用して各段の体積Vと各段に積載された物品の体積Vを算出することができ、算出された各段の体積Vと各段に積載された物品の体積Vの比率を算出することによって、各段の積載率を算出することができ、算出された各段の積載率を合算することによって二つの段を含む特定の棚に対する積載率を算出することができる。
この時、特定の棚をスキャンすることによって収集されたポイントクラウドには棚に対応する複数のポイントと棚に積載された物品に対応する複数のポイントをすべて含んでいるので、棚に対応する複数のポイントによって物品に対する体積を算出する過程で誤差が発生し得る。
In various embodiments, the computing device 100 may analyze a point cloud corresponding to a 3D geofence to identify objects loaded within the 3D geofence, and may calculate a ratio of the volume of the objects to the volume of the 3D geofence as a shelf loading rate. In this case, when a specific shelf includes multiple levels and multiple blocks, the computing device 100 may calculate a loading rate for each of the multiple levels and multiple blocks individually, and may add up the calculated loading rates to calculate a final shelf loading rate.
For example, if a specific shelf includes two tiers, the computing device 100 can calculate the volume V1 of each tier and the volume V2 of the items loaded on each tier using the point cloud collected by scanning the specific shelf, calculate the loading rate of each tier by calculating the ratio between the calculated volume V1 of each tier and the volume V2 of the items loaded on each tier, and calculate the loading rate for the specific shelf including two tiers by adding up the calculated loading rates of each tier.
At this time, since the point cloud collected by scanning a specific shelf includes multiple points corresponding to the shelf and multiple points corresponding to the items loaded on the shelf, errors may occur in the process of calculating the volume of the items based on the multiple points corresponding to the shelf.

このような点を考慮して、コンピューティング装置100は特定の棚をスキャンすることによって収集されたポイントクラウドに基づいて物品に対する体積Vを算出し、算出された物品の体積Vから棚に対応する複数のポイントによって追加された体積値を差し引く補正を遂行することによって、物品に対する実際的な体積を算出することができる。しかし、これに限定されず、コンピューティング装置100はポイントクラウドで、棚に対応する複数のポイントを除去したりまたは物品に対する複数のポイントのみを選択して物品に対する体積Vを算出することができる。 In consideration of this, the computing device 100 may calculate a volume V2 of an item based on a point cloud collected by scanning a specific shelf, and may calculate an actual volume of the item by performing a correction to subtract a volume value added by a plurality of points corresponding to the shelf from the calculated volume V2 of the item. However, without being limited thereto, the computing device 100 may calculate the volume V2 of the item by removing a plurality of points corresponding to the shelf from the point cloud, or by selecting only a plurality of points for the item.

再び図3を参照すると、S130段階で、コンピューティング装置100はS120段階を経て生成された物品積載情報に基づいて物流管理ソリューションを提供することができる。
多様な実施例において、コンピューティング装置100は物品積載情報に基づいて予め設定された条件が満足されるかどうかを判断し、予め設定された条件が満足されるものと判断される場合、ユーザに通知を提供する物流管理ソリューションを提供することができる。
ここで、予め設定された条件はユーザに通知を提供するための条件を意味するものであり、所定の領域に配置される複数の棚、複数の棚それぞれに含まれた複数の段およびマスそれぞれに個別的に設定されてもよい。
Referring back to FIG. 3, in operation S130, the computing device 100 may provide a logistics management solution based on the item loading information generated in operation S120.
In various embodiments, the computing device 100 may provide a logistics management solution that determines whether a preset condition is satisfied based on the item loading information, and provides a notification to a user if it is determined that the preset condition is satisfied.
Here, the pre-set conditions refer to conditions for providing a notification to a user, and may be set individually for multiple shelves arranged in a specified area, and for multiple levels and squares included in each of the multiple shelves.

まず、コンピューティング装置100は図12の(A)に図示された通り、ユーザにUIを提供して、UIを通じてのユーザ入力により複数の棚(棚A、BおよびC)、複数の棚に含まれた複数の段(棚AのA-1~A-3、棚BのB-1~B-3、棚CのC-1~C-3)それぞれに対して積載通知条件(YまたはN)を設定することができる。 First, as shown in FIG. 12(A), the computing device 100 provides a UI to a user, and allows the user to set loading notification conditions (Y or N) for multiple shelves (shelves A, B, and C) and multiple levels included in the multiple shelves (A-1 to A-3 on shelf A, B-1 to B-3 on shelf B, and C-1 to C-3 on shelf C) through user input via the UI.

以後、コンピューティング装置100は第1物品積載情報に基づいて、特定の棚に物品が積載されたものと判断される場合、予め設定された条件により物品積載に関する通知を提供することができる。例えば、コンピューティング装置100は積載通知条件が「Y」に設定された棚CのC-1段に物品が積載されたものと判断される場合、ユーザにC-1段に物品が積載されたことを案内する通知を提供することができる。一方、コンピューティング装置100は積載通知条件が「N」に設定された棚AのA-2段に物品が積載されたものと判断される場合、物品の積載の有無にかかわらず、ユーザに通知を提供しなくてもよい。 Then, when the computing device 100 determines that an item is loaded on a specific shelf based on the first item loading information, the computing device 100 may provide a notification regarding the loading of items according to a preset condition. For example, when the computing device 100 determines that an item is loaded on level C-1 of shelf C, for which the loading notification condition is set to "Y," the computing device 100 may provide a notification to inform the user that an item is loaded on level C-1. On the other hand, when the computing device 100 determines that an item is loaded on level A-2 of shelf A, for which the loading notification condition is set to "N," the computing device 100 may not provide a notification to the user regardless of whether an item is loaded or not.

次に、コンピューティング装置100は図12の(B)に図示された通り、ユーザにUIを提供して、UIを通じてのユーザ入力により複数の棚(棚A、BおよびC)、複数の棚に含まれた複数の段(棚AのA-1~A-3、棚BのB-1~B-3、棚CのC-1~C-3)それぞれに対して積載率通知条件(%)を設定することができる。 Then, the computing device 100 provides a UI to the user as shown in FIG. 12(B), and the user can set the load ratio notification condition (%) for each of multiple shelves (shelves A, B, and C) and multiple levels included in the multiple shelves (A-1 to A-3 on shelf A, B-1 to B-3 on shelf B, and C-1 to C-3 on shelf C) through user input via the UI.

以後、コンピューティング装置100は第2物品積載情報に基づいて特定の棚に対する積載率が予め設定された条件を超過する場合、物品の過積載に関する通知を提供することができる。例えば、コンピューティング装置100は積載率アラーム条件が70%に設定された棚BのB-1段の積載率が70%を超過した場合、ユーザにB-2段が過積載されたことを案内する通知を提供することができる。一方、コンピューティング装置100は積載率アラーム条件が80%に設定された棚AのA-1段の積載率が80%以下である場合、ユーザに通知を提供しなくてもよい。 Then, the computing device 100 may provide a notification regarding overloading of items when the loading rate for a specific shelf exceeds a preset condition based on the second item loading information. For example, the computing device 100 may provide a notification to the user informing that the B-2 level is overloaded when the loading rate of the B-1 level of shelf B, for which the loading rate alarm condition is set to 70%, exceeds 70%. On the other hand, the computing device 100 may not provide a notification to the user when the loading rate of the A-1 level of shelf A, for which the loading rate alarm condition is set to 80%, is below 80%.

多様な実施例において、コンピューティング装置100は一緒に物流管理ソリューションであって、所定の領域に対する3Dジオフェンスマップを提供することができる。例えば、コンピューティング装置100は図13に図示された通り、所定の領域に配置された複数の棚それぞれに対して設定された3Dジオフェンスの位置、大きさ、形態が表示された地図を出力するUIを提供することができる。 In various embodiments, the computing device 100 may provide a 3D geofence map for a given area together with a logistics management solution. For example, the computing device 100 may provide a UI that outputs a map showing the position, size, and shape of the 3D geofences set for each of a number of shelves arranged in a given area, as shown in FIG. 13.

また、コンピューティング装置100は図14に図示された通り、UIを通じて特定3Dジオフェンスまたは特定3Dジオフェンスグループ(ストレージグループまたはストレージグループに含まれた特定ストレージ)を選択する場合、選択した3Dジオフェンスまたは3Dジオフェンスグループとマッチングされて記録、保存された情報(例えば、物品の積載の有無、棚の積載率などを含む物品積載情報、物品に関連した情報(移動内訳、積載内訳など))を提供することができる。 In addition, when the computing device 100 selects a specific 3D geofence or a specific 3D geofence group (a storage group or a specific storage included in a storage group) through the UI as shown in FIG. 14, it can provide information that is matched with the selected 3D geofence or 3D geofence group and recorded and stored (e.g., item loading information including whether or not items are loaded, shelf loading rate, etc., and information related to the items (movement details, loading details, etc.)).

また、コンピューティング装置100は図15に図示された通り、特定の棚または特定の棚に含まれた特定の段/マスが選択される場合、選択された棚または選択された段/マスに対する積載率情報を提供するだけでなく、特定の棚の積載率統計、特定の棚に含まれた段/マスそれぞれに対する積載率統計情報を提供することができる。 Furthermore, as shown in FIG. 15, when a specific shelf or a specific level/mass included in a specific shelf is selected, the computing device 100 can provide loading rate information for the selected shelf or selected level/mass, as well as loading rate statistics for the specific shelf and loading rate statistics for each level/mass included in the specific shelf.

前述したライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法は、図面に図示されたフローチャートを参照して説明した。簡単な説明のためにライダポイントクラウド基盤の3Dジオフェンスを利用した物流管理ソリューション提供方法は一連のブロックで図示して説明したが、本発明は前記ブロックの順序に限定されず、いくつかのブロックは本明細書に図示し、叙述されたものと異なる順序で遂行されるかまたは同時に遂行され得る。また、本明細書および図面に記載されていない新しいブロックが追加されたり、一部のブロックが削除または変更された状態で遂行されてもよい。
以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野の通常の技術者は本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施できることが理解できるであろう。したがって、以上で記述した実施例はすべての面で例示的なものであって、制限的ではないものと理解されるべきである。
The method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud has been described with reference to the flowchart shown in the drawings. For ease of explanation, the method for providing a logistics management solution using a 3D geofence based on a LIDAR point cloud has been illustrated and described as a series of blocks, but the present invention is not limited to the order of the blocks, and some blocks may be performed in a different order or simultaneously than those illustrated and described herein. In addition, new blocks not described in the present specification and drawings may be added, or some blocks may be deleted or modified.
Although the embodiments of the present invention have been described above with reference to the attached drawings, those skilled in the art will understand that the present invention can be embodied in other specific forms without changing the technical spirit or essential features of the present invention. Therefore, the embodiments described above should be understood to be illustrative in all respects and not restrictive.

100:物流管理ソリューション提供装置(コンピューティング装置)
200:ユーザ端末
300:外部サーバー
400:ネットワーク
100: Logistics management solution providing device (computing device)
200: User terminal 300: External server 400: Network

Claims (9)

コンピューティング装置によって遂行される方法において、
所定の領域に配置された棚に対応する3Dジオフェンスを設定する段階;
前記設定された3Dジオフェンスを利用して前記棚に対する物品積載情報を生成する段階;および
前記生成された物品積載情報を利用して物流管理ソリューションを提供する段階を含み、
前記物品積載情報を生成する段階は、
前記所定の領域に対するポイントクラウドを収集する段階;
前記収集されたポイントクラウドを分析して前記設定された3Dジオフェンスを識別する段階を含み、
前記物流管理ソリューションを提供する段階は、
前記生成された物品積載情報に基づいて予め設定された条件が満足されるかどうかを判断し、前記予め設定された条件が満足されるものと判断される場合、ユーザに通知を提供する段階を含み、前記予め設定された条件は、前記所定の領域に配置される複数の棚、前記複数の棚それぞれに含まれた複数の段およびマスそれぞれに個別的に設定されるものであり、積載通知条件及び積載率通知条件を含み、
前記ユーザに通知を提供する段階は、
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して、前記積載通知条件が設定された第1段に物品が積載されたと判断された場合、前記ユーザに前記第1段に物品が積載されたことを案内する通知を提供する段階;と
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して、前記積載率通知条件が設定された第2段の積載率が予め設定された値を超える場合、前記ユーザに前記第2段が過積載されたことを案内する通知を提供する段階を含む、
ライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
1. A method performed by a computing device, comprising:
setting a 3D geofence corresponding to shelves located in a given area;
generating item loading information for the shelf using the set 3D geofence; and providing a logistics management solution using the generated item loading information,
The step of generating the item loading information includes:
collecting a point cloud for the predetermined region;
analyzing the collected point cloud to identify the established 3D geofence;
The step of providing the logistics management solution includes:
determining whether a preset condition is satisfied based on the generated item loading information, and providing a notification to a user when it is determined that the preset condition is satisfied, the preset condition being set individually for a plurality of shelves arranged in the predetermined area, and a plurality of levels and spaces included in each of the plurality of shelves, and including a loading notification condition and a loading rate notification condition;
The step of providing a notification to the user comprises:
The method includes: analyzing a point cloud corresponding to the identified 3D geofence, and when it is determined that the first stage, for which the loading notification condition is set, providing a notification to the user that the first stage is loaded with goods; and analyzing a point cloud corresponding to the identified 3D geofence, and when the loading rate of the second stage, for which the loading rate notification condition is set, exceeds a preset value, providing a notification to the user that the second stage is overloaded.
A method for providing logistics management solutions using 3D geofencing of lidar point clouds.
前記3Dジオフェンスを設定する段階は、
ライダセンサを通じて前記棚をスキャンすることによって生成されたポイントクラウドを出力するユーザインターフェース(User Interface、UI)を提供する段階;
前記提供されたユーザインターフェースを通じて前記棚の外形に対応する3次元空間を定義するユーザ入力を獲得する段階;および
前記獲得されたユーザ入力に基づいて前記棚に対応する3Dジオフェンスを設定する段階を含む、請求項1に記載のライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
The step of setting the 3D geofence includes:
providing a User Interface (UI) that outputs a point cloud generated by scanning the shelf via a LIDAR sensor;
2. The method for providing a logistics management solution using a 3D geofence of a Lidar point cloud as claimed in claim 1, comprising: acquiring user input defining a three-dimensional space corresponding to an outline of the shelf through the provided user interface; and setting a 3D geofence corresponding to the shelf based on the acquired user input.
前記3Dジオフェンスを設定する段階は、
ライダセンサを通じて前記棚をスキャンすることによって生成されたポイントクラウドを収集する段階;
前記収集されたポイントクラウドを分析して前記棚の外形に対応するベクトルを抽出する段階;および
前記抽出されたベクトルに基づいて前記棚に対応する3Dジオフェンスを設定する段階を含む、請求項1に記載のライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
The step of setting the 3D geofence includes:
collecting a point cloud generated by scanning the shelf via a lidar sensor;
2. The method for providing a logistics management solution using 3D geofences of Lidar point clouds as claimed in claim 1, comprising: analyzing the collected point cloud to extract vectors corresponding to the outline of the shelf; and setting a 3D geofence corresponding to the shelf based on the extracted vectors.
前記物品積載情報を生成する段階は、更に、
前記収集されたポイントクラウドのうち前記識別された3Dジオフェンスに対応するポイントクラウドを分析して客体を識別し、前記識別された客体を利用して前記棚に対する第1物品積載情報-前記第1物品積載情報は客体の識別の有無、客体の位置および客体の種類のうち少なくとも一つを含む-を生成する段階を含む、請求項1に記載のライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
The step of generating the item loading information further comprises:
2. The method for providing a logistics management solution using a 3D geofence of a Lidar point cloud as claimed in claim 1, further comprising: analyzing a point cloud corresponding to the identified 3D geofence from the collected point clouds to identify objects; and generating first item loading information for the shelf using the identified objects, the first item loading information including at least one of whether an object is identified, a location of the object, and a type of the object.
前記物品積載情報を生成する段階は、更に、
前記収集されたポイントクラウドのうち前記識別された3Dジオフェンスに対応するポイントクラウドを分析して前記棚の積載率を算出し、前記算出された積載率に関する情報を含む第2物品積載情報を生成する段階を含む、請求項1に記載のライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
The step of generating the item loading information further comprises:
2. The method for providing a logistics management solution using a 3D geofence of a Lidar point cloud as claimed in claim 1, further comprising: calculating a loading rate of the shelf by analyzing a point cloud corresponding to the identified 3D geofence among the collected point clouds; and generating second item loading information including information regarding the calculated loading rate.
前記第2物品積載情報を生成する段階は、
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して前記設定された3Dジオフェンス内に積載された客体を識別する段階;および
前記棚の積載率として、前記識別された3Dジオフェンスの面積と前記識別された客体の面積の比率を算出する段階を含む、請求項5に記載のライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
The step of generating the second item loading information comprises:
6. The method of claim 5, further comprising: analyzing a point cloud corresponding to the identified 3D geofence to identify objects loaded within the set 3D geofence; and calculating a ratio of an area of the identified 3D geofence to an area of the identified object as a loading rate of the shelf.
前記第2物品積載情報を生成する段階は、
前記識別された3Dジオフェンスが複数の段を含む場合、前記複数の段それぞれに対応するポイントクラウドを分析して前記複数の段それぞれに積載された客体を識別する段階;
前記複数の段それぞれの積載率として、前記複数の段それぞれの高さと前記識別された客体の高さの比率を算出する段階;および
前記複数の段それぞれの積載率を合算して前記棚の積載率を算出する段階を含む、請求項5に記載のライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法。
The step of generating the second item loading information comprises:
If the identified 3D geofence includes a plurality of stages, analyzing the point clouds corresponding to each of the plurality of stages to identify objects loaded on each of the plurality of stages;
6. The method of claim 5, further comprising: calculating a ratio of a height of each of the plurality of steps to a height of the identified object as a loading rate of each of the plurality of steps; and calculating a loading rate of the shelf by adding up the loading rates of each of the plurality of steps.
プロセッサ;
ネットワークインターフェース;
メモリ;および
前記メモリにロード(load)され、前記プロセッサによって実行されるコンピュータプログラムを含み、
前記コンピュータプログラムは、
所定の領域に配置された棚に対応する3Dジオフェンスを設定する段階;
前記設定された3Dジオフェンスを利用して前記棚に対する物品積載情報を生成する段階;および
前記生成された物品積載情報を利用して物流管理ソリューションを提供する段階;を実行させるためのものであり、
前記物品積載情報を生成する段階は、
前記所定の領域に対するポイントクラウドを収集する段階;
前記収集されたポイントクラウドを分析して前記設定された3Dジオフェンスを識別する段階を含み、
前記物流管理ソリューションを提供する段階は、
前記生成された物品積載情報に基づいて予め設定された条件が満足されるかどうかを判断し、前記予め設定された条件が満足されるものと判断される場合、ユーザに通知を提供する段階を含み、
前記予め設定された条件は前記所定の領域に配置される複数の棚、前記複数の棚それぞれに含まれた複数の段およびマスそれぞれに個別的に設定されるものであり、積載通知条件及び積載率通知条件を含み、
ユーザに通知を提供する段階は、
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して、前記積載通知条件が設定された第1段に物品が積載されたと判断された場合、前記ユーザに前記第1段に物品が積載されたことを案内する通知を提供する段階;と
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して、前記積載率通知条件が設定された第2段の積載率が予め設定された値を超える場合、前記ユーザに前記第2段が過積載されたことを案内する通知を提供する段階を含む、
ライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供装置。
Processor;
Network interface;
A computer program that is loaded into the memory and executed by the processor,
The computer program comprises:
setting a 3D geofence corresponding to shelves located in a given area;
generating item loading information for the shelf using the set 3D geofence; and providing a logistics management solution using the generated item loading information,
The step of generating the item loading information includes:
collecting a point cloud for the predetermined region;
analyzing the collected point cloud to identify the established 3D geofence;
The step of providing the logistics management solution includes:
determining whether a preset condition is satisfied based on the generated item loading information, and providing a notification to a user when it is determined that the preset condition is satisfied;
The preset conditions are set individually for a plurality of shelves arranged in the predetermined area, and for a plurality of levels and spaces included in each of the plurality of shelves, and include a loading notification condition and a loading rate notification condition,
Providing a notification to a user includes:
The method includes: analyzing a point cloud corresponding to the identified 3D geofence, and when it is determined that the first stage, for which the loading notification condition is set, providing a notification to the user that the first stage is loaded with goods; and analyzing a point cloud corresponding to the identified 3D geofence, and when a loading rate of the second stage, for which the loading rate notification condition is set, exceeds a preset value, providing a notification to the user that the second stage is overloaded.
A logistics management solution provider that utilizes 3D geofencing from lidar point clouds.
コンピューティング装置と結合されて、
所定の領域に配置された棚に対応する3Dジオフェンスを設定する段階;
前記設定された3Dジオフェンスを利用して前記棚に対する物品積載情報を生成する段階;および
前記生成された物品積載情報を利用して物流管理ソリューションを提供する段階を含み、
前記物品積載情報を生成する段階は、
前記所定の領域に対するポイントクラウドを収集する段階;
前記収集されたポイントクラウドを分析して前記設定された3Dジオフェンスを識別する段階を含み、
前記物流管理ソリューションを提供する段階は、
前記生成された物品積載情報に基づいて予め設定された条件が満足されるかどうかを判断し、前記予め設定された条件が満足されるものと判断される場合、ユーザに通知を提供する段階を含み、
前記予め設定された条件は
前記所定の領域に配置される複数の棚、前記複数の棚それぞれに含まれた複数の段およびマスそれぞれに個別的に設定されるものであり、積載通知条件及び積載率通知条件を含み、
前記ユーザに通知を提供する段階は、
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して、前記積載通知条件が設定された第1段に物品が積載されたと判断された場合、前記ユーザに前記第1段に物品が積載されたことを案内する通知を提供する段階;と
前記識別された3Dジオフェンスに対応するポイントクラウドを分析して、前記積載率通知条件が設定された第2段の積載率が予め設定された値を超える場合、前記ユーザに前記第2段が過積載されたことを案内する通知を提供する段階を含む、
ライダポイントクラウドの3Dジオフェンスを利用した物流管理ソリューション提供方法を実行させるためにコンピューティング装置で読み取り可能な記録媒体に保存された、コンピュータプログラム。
In combination with a computing device,
setting a 3D geofence corresponding to shelves located in a given area;
generating item loading information for the shelf using the set 3D geofence; and providing a logistics management solution using the generated item loading information,
The step of generating the item loading information includes:
collecting a point cloud for the predetermined region;
analyzing the collected point cloud to identify the established 3D geofence;
The step of providing the logistics management solution includes:
determining whether a preset condition is satisfied based on the generated item loading information, and providing a notification to a user when it is determined that the preset condition is satisfied;
The preset conditions are set individually for a plurality of shelves arranged in the predetermined area, and for a plurality of levels and spaces included in each of the plurality of shelves, and include a loading notification condition and a loading rate notification condition,
The step of providing a notification to the user comprises:
The method includes: analyzing a point cloud corresponding to the identified 3D geofence, and when it is determined that the first stage, for which the loading notification condition is set, providing a notification to the user that the first stage is loaded with goods; and analyzing a point cloud corresponding to the identified 3D geofence, and when the loading rate of the second stage, for which the loading rate notification condition is set, exceeds a preset value, providing a notification to the user that the second stage is overloaded.
A computer program stored on a recording medium readable by a computing device for executing a method for providing a logistics management solution using 3D geofences of a lidar point cloud.
JP2022156237A 2022-07-26 2022-09-29 Method, device and computer program for providing logistics management solutions using 3D geofences based on LIDAR point cloud Active JP7483236B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0092244 2022-07-26
KR1020220092244A KR102548867B1 (en) 2022-07-26 2022-07-26 Method, apparatus and computer program for providing distribution management solution using 3d geofence based on lidar point cloud

Publications (2)

Publication Number Publication Date
JP2024016781A JP2024016781A (en) 2024-02-07
JP7483236B2 true JP7483236B2 (en) 2024-05-15

Family

ID=86945967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022156237A Active JP7483236B2 (en) 2022-07-26 2022-09-29 Method, device and computer program for providing logistics management solutions using 3D geofences based on LIDAR point cloud

Country Status (3)

Country Link
JP (1) JP7483236B2 (en)
KR (2) KR102548867B1 (en)
WO (1) WO2024025021A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187207U (en) 2013-09-04 2013-11-14 キムラユニティー株式会社 Frontage management device
WO2017175312A1 (en) 2016-04-05 2017-10-12 株式会社日立物流 Measurement system and measurement method
JP2019008571A (en) 2017-06-26 2019-01-17 株式会社デンソーアイティーラボラトリ Object recognition device, object recognition method, program, and trained model
JP2020107137A (en) 2018-12-27 2020-07-09 株式会社メルカリ Program, information processing method, and information processing device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903801B1 (en) * 2007-10-29 2009-06-25 유한테크노스 (주) Common application system of a warehouse used empty location and method therof
KR101116196B1 (en) * 2011-10-06 2012-03-06 주식회사 이킵비즈 Distribution center management method using 3 dimension modeling, and computer readable recording medium storing distribution center management program for the same
KR20160044320A (en) * 2014-10-15 2016-04-25 삼성에스디에스 주식회사 Method and apparatus for item put-away task management
KR101815583B1 (en) * 2016-02-29 2018-01-05 성균관대학교 산학협력단 Goods loading system using 3d camera and bigdata system, and thereof method
KR102408933B1 (en) * 2020-09-03 2022-06-13 주식회사 에스엠코어 Automatic warehouse manage system using carmer device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3187207U (en) 2013-09-04 2013-11-14 キムラユニティー株式会社 Frontage management device
WO2017175312A1 (en) 2016-04-05 2017-10-12 株式会社日立物流 Measurement system and measurement method
JP2019008571A (en) 2017-06-26 2019-01-17 株式会社デンソーアイティーラボラトリ Object recognition device, object recognition method, program, and trained model
JP2020107137A (en) 2018-12-27 2020-07-09 株式会社メルカリ Program, information processing method, and information processing device

Also Published As

Publication number Publication date
JP2024016781A (en) 2024-02-07
KR20240015566A (en) 2024-02-05
KR102548867B1 (en) 2023-06-29
WO2024025021A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
CN106682697B (en) End-to-end object detection method based on convolutional neural network
CN109685152B (en) Image target detection method based on DC-SPP-YOLO
US20230089380A1 (en) Neural network construction method and apparatus
US11138516B2 (en) GPU enhanced graph model build and scoring engine
US11238576B2 (en) Information processing device, data structure, information processing method, and non-transitory computer readable storage medium
KR102382448B1 (en) Method, apparatus and computer program for generating input feature map of artificial intelligence model to detect object based on lidar
CN111292377B (en) Target detection method, device, computer equipment and storage medium
KR20210093875A (en) Video analysis methods and associated model training methods, devices, and devices
US20220335293A1 (en) Method of optimizing neural network model that is pre-trained, method of providing a graphical user interface related to optimizing neural network model, and neural network model processing system performing the same
WO2020043070A1 (en) Customer flow line and customer flow hot zone determining method and apparatus
JP7483236B2 (en) Method, device and computer program for providing logistics management solutions using 3D geofences based on LIDAR point cloud
Bukchin et al. A comprehensive toolbox for load retrieval in puzzle-based storage systems with simultaneous movements
KR102481367B1 (en) Method, apparatus and computer program for training artificial intelligence model for generating surface data from point cloud data
US20150106392A1 (en) Planar graph generation device and method
CN110942345B (en) Seed user selection method, device, equipment and storage medium
CN114841664A (en) Method and device for determining multitasking sequence
CN111782837B (en) Image retrieval method and device
CN113901157A (en) Data processing method and device
CN111160831A (en) Intensive storage task generation method and device and electronic equipment
Pratama et al. Application of yolo (you only look once) v. 4 with preprocessing image and network experiment
Švogor et al. Multi-criteria software component allocation on a heterogeneous platform
KR102507906B1 (en) Automatic driving vehicle localization method, apparatus and computer program using low-volume normal distribution transform map
KR102606630B1 (en) Method, apparatus and computer program for generating occupancy grid map using artificial intelligence model to predict obstacle near a vehicle and to design driving plan
CN114118631B (en) Loading and unloading goods point recommendation method and device based on graph neural network
KR102593827B1 (en) Method, apparatus and computer program for providing work management solution in construction site using lidar sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7483236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150