JP2022184425A - Edge position detection method, transfer position determination method, and article transfer system - Google Patents

Edge position detection method, transfer position determination method, and article transfer system Download PDF

Info

Publication number
JP2022184425A
JP2022184425A JP2021092270A JP2021092270A JP2022184425A JP 2022184425 A JP2022184425 A JP 2022184425A JP 2021092270 A JP2021092270 A JP 2021092270A JP 2021092270 A JP2021092270 A JP 2021092270A JP 2022184425 A JP2022184425 A JP 2022184425A
Authority
JP
Japan
Prior art keywords
article
edge
arrangement direction
edge position
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021092270A
Other languages
Japanese (ja)
Inventor
学 橋本
Manabu Hashimoto
亮輔 城
Ryosuke Jo
将生 岡部
Masao Okabe
大祐 福島
Daisuke Fukushima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Umemura Educational Institutions
Original Assignee
Murata Machinery Ltd
Umemura Educational Institutions
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd, Umemura Educational Institutions filed Critical Murata Machinery Ltd
Priority to JP2021092270A priority Critical patent/JP2022184425A/en
Priority to PCT/JP2022/018425 priority patent/WO2022254990A1/en
Publication of JP2022184425A publication Critical patent/JP2022184425A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

To accurately detect an edge position of articles disposed side by side.SOLUTION: An article transfer system 100 includes: a detector 140 for performing three-dimensional ranging; a rack 110 for storing multiple articles 200 by arranging them in a predetermined arrangement direction; a transfer device 130 for transferring the articles 200 between the rack 110 and itself; a conveyance apparatus 120 to which the detector 140 is mounted; and an edge position detection device 150 for detecting an edge position of the articles 200 extending along an orthogonal direction that crosses the arrangement direction at right angles. The edge position detection device 150 includes: a point group acquisition part 151 for acquiring point data in multiple places of a detection surface part 201 as a point group; a section detection part 152 for detecting a non-article section in which articles 200 do not exist in the arrangement direction from the point group; and an edge retrieval section 153 for detecting an edge position of the articles 200 by retrieving edges from a reference position in the non-article section to both the sides in the arrangement direction by using the point data.SELECTED DRAWING: Figure 3

Description

本発明は、物品の移載位置決定の基準となる物品のエッジ位置検出方法、およびこれを用いた移載位置決定方法、物品移載システムに関する。 The present invention relates to an article edge position detection method that serves as a reference for determining the transfer position of an article, a transfer position determination method using the same, and an article transfer system.

例えば特許文献１には、箱状の物品の三次元形状を示す点群から、当該物品のエッジ部分に対応する点群を抽出し、当該点群に基づいて各物品の位置及び姿勢を認識する技術が記載されている。 For example, in Patent Document 1, a point group corresponding to an edge portion of a box-shaped article is extracted from a point group representing the three-dimensional shape of the box-shaped article, and the position and posture of each article are recognized based on the point group. technique is described.

特開２０１０－２４７９５９号公報JP 2010-247959 A

ところが従来の技術では、箱状物品の三次元形状を示す点群から、物品のエッジ部分に対応する点群を直接抽出するため、エッジ位置を高い精度で検出することが困難であった。 However, in the conventional technique, it is difficult to detect the edge position with high accuracy because the point group corresponding to the edge portion of the article is directly extracted from the point group representing the three-dimensional shape of the box-shaped article.

本発明は上記課題に鑑みなされたものであり、物品のエッジの位置を高精度で検出するエッジ位置検出方法、およびこれを用いた移載位置決定方法、物品移載システムに関する。 The present invention has been made in view of the above problems, and relates to an edge position detection method for detecting the position of an edge of an article with high accuracy, a transfer position determination method using the same, and an article transfer system.

上記目的を達成するために、本発明の１つであるエッジ位置検出方法は、物品との距離を三次元的な複数の点データとして取得する検出器を用い、所定の配列方向に並べて配置された略直方体状の複数の物品について、物品の前記検出器と対向する面を含む検出面部において前記配列方向に直交する直交方向に沿って延在する物品のエッジ位置を検出するエッジ位置検出方法であって、物品の検出面部の複数箇所の点データを点群として取得する点群取得工程と、前記点群取得工程において取得された点群から、前記配列方向において物品が存在しない無物品区間を検出する区間検出工程と、前記配列方向における前記無物品区間の中間の基準位置から、前記配列方向の両側に向かって前記点データを用いてエッジを探索することで、物品のエッジ位置を検出するエッジ探索工程と、を含む。 In order to achieve the above object, an edge position detection method, which is one of the present invention, uses a detector that acquires the distance to an article as a plurality of three-dimensional point data, arranged side by side in a predetermined arrangement direction. An edge position detection method for detecting the edge position of a plurality of substantially rectangular parallelepiped articles extending along the orthogonal direction orthogonal to the arrangement direction on a detection surface portion including the surface of the article facing the detector. a point cloud acquiring step of acquiring point data of a plurality of locations on the detection surface of an article as a point cloud; and detecting edge positions of articles by searching for edges using the point data toward both sides in the arrangement direction from a reference position in the middle of the non-item section in the arrangement direction. and an edge search step.

上記目的を達成するために、本発明の他の１つである移載位置決定方法は、物品との距離を三次元的な複数の点データとして取得する検出器を用い、所定の配列方向に並べて配置された略直方体状の複数の物品について、物品の前記検出器と対向する面を含む検出面部において前記配列方向に直交する直交方向に沿って延在する物品のエッジ位置を検出するエッジ位置検出方法であって、物品の検出面部の複数箇所の点データを点群として取得する点群取得工程と、前記点群取得工程において取得された点群から、前記配列方向において物品が存在しない無物品区間を検出する区間検出工程と、前記配列方向における前記無物品区間の中間の基準位置から、前記配列方向の両側に向かって前記点データを用いてエッジを探索することで、物品のエッジ位置を検出するエッジ探索工程と、を含むエッジ位置検出方法により検出された物品のエッジ位置に基づいて、物品の移載位置を決定する移載位置決定工程を含む。 In order to achieve the above object, another transfer position determination method of the present invention uses a detector that acquires the distance to an article as three-dimensional multiple point data, Edge positions for detecting edge positions of a plurality of substantially rectangular parallelepiped articles arranged side by side, the edge positions of the articles extending along an orthogonal direction perpendicular to the arrangement direction on a detection surface portion including a surface of the articles facing the detector. A detection method comprising: a point cloud acquisition step of acquiring point data at a plurality of locations on a detection surface portion of an article as a point cloud; a section detection step of detecting an article section; and searching for edges from a reference position in the middle of the non-item section in the arrangement direction toward both sides in the arrangement direction using the point data to detect the edge position of the article. and a transfer position determination step of determining the transfer position of the article based on the edge position of the article detected by the edge position detection method.

上記目的を達成するために、本発明の他の１つである物品移載システムは、物品との距離を三次元的な複数の点データとして取得する検出器と、略直方体状の複数の物品を所定の配列方向に並べて保管するラックと、前記配列方向に直交する奥行方向において前記ラックに対し物品を移載する移載装置と、物品を搬送し、前記検出器が取り付けられる搬送装置と、物品の前記検出器と対向する面を含む検出面部において前記配列方向に直交する直交方向に沿って延在する物品のエッジ位置を検出するエッジ位置検出装置とを備え、前記エッジ位置検出装置は、物品の検出面部の複数箇所の点データを点群として取得する点群取得部と、前記点群取得部において取得された点群から、前記配列方向において物品が存在しない無物品区間を検出する区間検出部と、前記配列方向における前記無物品区間の中間の基準位置から、前記配列方向の両側に向かって前記点データを用いてエッジを探索することで、物品のエッジ位置を検出するエッジ探索部と、を備える。 To achieve the above object, another object transfer system of the present invention includes a detector that acquires distances to an object as a plurality of three-dimensional point data, and a plurality of substantially rectangular parallelepiped objects. a rack for arranging and storing in a predetermined arrangement direction, a transfer device for transferring an article to the rack in a depth direction orthogonal to the arrangement direction, a conveying device for conveying the article and having the detector attached, an edge position detection device for detecting an edge position of an article extending along an orthogonal direction orthogonal to the arrangement direction on a detection surface portion including a surface of the article facing the detector, wherein the edge position detection device comprises: A point cloud acquisition unit that acquires point data of a plurality of locations on the detection surface of an article as a point cloud, and a section that detects an empty section in which no article exists in the arrangement direction from the point cloud acquired by the point cloud acquisition unit. a detection unit, and an edge search unit that detects edge positions of articles by searching for edges using the point data toward both sides in the arrangement direction from a reference position in the middle of the non-item section in the arrangement direction. And prepare.

本発明によれば、高い精度で物品のエッジを検出することができる。 According to the present invention, the edge of an article can be detected with high accuracy.

エッジ位置検出方法、および移載位置決定方法が適用される物品移載システムを示す斜視図である。1 is a perspective view showing an article transfer system to which an edge position detection method and a transfer position determination method are applied; FIG. 物品移載システムの移載装置１３０近傍を示す斜視図である。Fig. 2 is a perspective view showing the vicinity of a transfer device 130 of the article transfer system; 物品移載システムの機能構成を示すブロック図である。1 is a block diagram showing a functional configuration of an article transfer system; FIG. 区間検出部の処理の流れを示すフローチャートである。7 is a flow chart showing the flow of processing by a section detection unit; 区間検出部の工程の各段階における処理状態を示す図である。It is a figure which shows the processing state in each stage of the process of an area detection part. エッジ探索部の処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing of an edge search unit; エッジ探索部の工程の各段階における処理状態を示す図である。It is a figure which shows the processing state in each stage of the process of an edge search part.

以下、本発明に係るエッジ位置検出方法、移載位置決定方法、および物品移載システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本発明を説明するために一例を挙示するものであり、本発明を限定する主旨ではない。例えば、以下の実施の形態において示される形状、構造、材料、構成要素、相対的位置関係、接続状態、数値、数式、方法における各段階の内容、各段階の順序などは、一例であり、以下に記載されていない内容を含む場合がある。また、平行、直交などの幾何学的な表現を用いる場合があるが、これらの表現は、数学的な厳密さを示すものではなく、実質的に許容される誤差、ずれなどが含まれる。また、同時、同一などの表現も、実質的に許容される範囲を含んでいる。 BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of an edge position detection method, a transfer position determination method, and an article transfer system according to the present invention will be described below with reference to the drawings. It should be noted that the following embodiments are examples for explaining the present invention, and are not intended to limit the present invention. For example, the shapes, structures, materials, constituent elements, relative positional relationships, connection states, numerical values, formulas, contents of each step in the method, order of each step, etc. shown in the following embodiments are examples, and are described below. may include content not listed in In addition, geometric expressions such as parallel and orthogonal are sometimes used, but these expressions do not indicate mathematical rigor, and substantially allowable errors, deviations, and the like are included. Expressions such as "simultaneous" and "identical" also include substantially permissible ranges.

また、図面は、本発明を説明するために適宜強調、省略、または比率の調整を行った模式的な図となっており、実際の形状、位置関係、および比率とは異なる。 In addition, the drawings are schematic diagrams that have been appropriately emphasized, omitted, or adjusted in proportion in order to explain the present invention, and are different from the actual shape, positional relationship, and proportion.

また、以下では複数の発明を一つの実施の形態として包括的に説明する場合がある。また、以下に記載する内容の一部は、本発明に関する任意の構成要素として説明している。 Further, in some cases, a plurality of inventions will be collectively described as one embodiment below. Also, some of the contents described below are described as optional components related to the present invention.

図１は、エッジ位置検出方法、および移載位置決定方法が適用される物品移載システムを示す斜視図である。図２は、物品移載システムの移載装置１３０近傍を示す斜視図である。物品移載システム１００は、搬入された物品２００を自動的に搬送して物品２００の保管位置へ物品２００を自動的に移載し、また保管位置から自動的に移載した物品２００を搬送することができる装置であり、ラック１１０と、搬送装置１２０と、移載装置１３０と、検出器１４０と、エッジ位置検出装置１５０（図１、図２において不図示）と、を備えている。 FIG. 1 is a perspective view showing an article transfer system to which the edge position detection method and the transfer position determination method are applied. FIG. 2 is a perspective view showing the vicinity of the transfer device 130 of the article transfer system. The article transfer system 100 automatically conveys the article 200 that has been brought in, automatically transfers the article 200 to the storage position of the article 200, and also conveys the automatically transferred article 200 from the storage position. 1, and includes a rack 110, a transport device 120, a transfer device 130, a detector 140, and an edge position detection device 150 (not shown in FIGS. 1 and 2).

物品移載システム１００の移載対象である物品２００は、略直方体状であれば特に限定されるものではない。略直方体状とは、平坦な矩形の六面で形成される形状を含み、またリブ状、フランジ状の突出、持ち手のような窪みや孔などを備える形状も含むものとして記載している。具体的に物品２００としては、段ボール箱、コンテナ、トレー、折りたたみ可能なコンテナなどを例示することができる。 The article 200 to be transferred by the article transfer system 100 is not particularly limited as long as it has a substantially rectangular parallelepiped shape. The term “substantially rectangular parallelepiped shape” includes a shape formed by six flat rectangular parallelepipeds, and also includes a shape having ribs, flange-like protrusions, depressions and holes like a handle. Specific examples of the article 200 include cardboard boxes, containers, trays, foldable containers, and the like.

ラック１１０は、搬送装置１２０が移動する領域に面する物品２００の検出面部２０１が所定の配列方向（図中Ｘ軸方向）に沿うように並べて配置された略直方体状の複数の物品２００を保管する設備である。本実施の形態の場合、ラック１１０は、物品２００を載置状態で保持する棚板１１１と、棚板１１１を支持する支柱１１２とを備えている。棚板１１１は、平板状であり物品２００を保管する位置は特に限定されない。ラック１１０は、同一形状の物品２００のみを保管してもよく、複数種類の形状の物品２００が混在した状態で保管してもよい。なお、図には搬送装置１２０の移動方向に視て一方の側方にラック１１０を記載しているが、両側方にラック１１０が配置されていてもかまわない。 The rack 110 stores a plurality of substantially rectangular parallelepiped articles 200 arranged side by side such that the detection surfaces 201 of the articles 200 facing the area where the conveying device 120 moves are along a predetermined arrangement direction (the X-axis direction in the figure). It is a facility to In the case of this embodiment, the rack 110 includes a shelf board 111 that holds the articles 200 in a placed state, and supports 112 that support the shelf board 111 . The shelf board 111 has a flat plate shape, and the position where the article 200 is stored is not particularly limited. The rack 110 may store only articles 200 having the same shape, or may store articles 200 having different shapes. Although the drawing shows the rack 110 on one side as viewed in the moving direction of the conveying device 120, the racks 110 may be arranged on both sides.

搬送装置１２０は、物品２００を保持して搬送する装置であって、検出器１４０が取り付けられるものであれば特に限定されるものではない。搬送装置１２０としては、物品２００を保持して床面上を自律的に走行する無軌道の無人搬送車、物品２００を保持してレールなどの所定の軌道に沿って走行する有軌道台車などを例示することができる。本実施の形態の場合、搬送装置１２０は、レール１２１と、レール１２１上を走行する台車１２２と、台車１２２に起立状に取り付けられ台車１２２とともに移動するマスト１２３と、物品２００を保持可能でありマスト１２３に沿って昇降する昇降台１２４とを備えたいわゆるスタッカクレーンである。 The conveying device 120 is a device that holds and conveys the article 200, and is not particularly limited as long as the detector 140 is attached. Examples of the transport device 120 include a trackless automated guided vehicle that holds the article 200 and autonomously travels on the floor, and a track-guided vehicle that holds the article 200 and travels along a predetermined track such as a rail. can do. In the case of this embodiment, the conveying device 120 can hold a rail 121, a truck 122 running on the rail 121, a mast 123 attached to the truck 122 in an upright state and moving together with the truck 122, and an article 200. It is a so-called stacker crane provided with an elevator 124 that moves up and down along a mast 123 .

移載装置１３０は、ラック１１０と搬送装置１２０の昇降台１２４との間で物品２００を移載する装置であり、水平面内において物品２００の配列方向（図中Ｘ軸方向）と直交する奥行方向（図中Ｙ軸方向）に物品２００を移動させて移載する。移載装置１３０の種類は、特に限定されるものではなく、例えば物品２００の対向する両側面を挟持して移載するもの、物品２００の奥側の面、手前側の面などに爪を引っ掛けて物品２００を滑らせながら移載するもの、物品２００をすくい上げて移載するもの等を例示することができる。 The transfer device 130 is a device that transfers the articles 200 between the rack 110 and the lifting platform 124 of the transport device 120, and is arranged in a depth direction perpendicular to the direction in which the articles 200 are arranged (the X-axis direction in the drawing) in the horizontal plane. The article 200 is moved and transferred in the Y-axis direction in the drawing. The type of the transfer device 130 is not particularly limited. For example, the article 200 is transferred while being slid, or the article 200 is scooped up and transferred.

本実施の形態の場合、移載装置１３０は、搬送装置１２０の昇降台１２４に取り付けられており、ラック１１０と昇降台１２４との間で物品２００を移載することができるものとなっている。なお、搬送装置１２０の両側方にラック１１０が配置されている場合、移載装置１３０はいずれの側のラック１１０に対しても物品２００を移載できるように構成される。 In the case of this embodiment, the transfer device 130 is attached to the lift table 124 of the transport device 120, and can transfer the article 200 between the rack 110 and the lift table 124. . Note that when the racks 110 are arranged on both sides of the conveying device 120, the transfer device 130 is configured to transfer the articles 200 to the racks 110 on either side.

検出器１４０は、物品２００における検出器１４０と対向する面を含む検出面部２０１の複数箇所と検出器１４０との間の距離を三次元的な複数の点データとして取得するセンサである。検出器１４０の種類は、特に限定されるものではないが、例えばＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサ、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラなどの三次元測距センサを例示することができる。 The detector 140 is a sensor that acquires distances between the detector 140 and multiple locations on the detection surface portion 201 including the surface facing the detector 140 of the article 200 as multiple three-dimensional point data. The type of detector 140 is not particularly limited, but examples thereof include three-dimensional ranging sensors such as LiDAR (Laser Imaging Detection and Ranging) sensors and TOF (Time of Flight) cameras.

検出器１４０が取り付けられる場所は、搬送装置１２０における一部であれば特に限定されないが、例えば物品２００が移載される箇所の近傍に取り付けられると、移載位置と物品２００との相対的な位置関係を正確に検出できるため好ましい。本実施の形態の場合、検出器１４０は、搬送装置１２０の昇降台１２４に取り付けられている。物品移載システム１００が備える検出器１４０の個数は、特に限定されるものではないが、本実施の形態の場合、物品２００の配列方向に並ぶ２台の検出器１４０を備えている。２台の検出器１４０の距離は、所定の密度以上の点データを取得でき、配列方向におけるラック１１０に保管される物品２００の想定される最長の幅、およびその両側に設定される隣り合う物品２００との隙間をカバーする領域を一度に検出できる距離の範囲を含むように設定される。本実施の形態の場合、検出器１４０は、昇降台１２４の幅方向（図中Ｘ軸方向）の両側部に一台ずつ取り付けられている。つまり、検出器１４０は、移載装置１３０によって移載される物品２００が通過する領域の両側にそれぞれ配置されている。これにより、物品２００が移載される領域とその近傍のラック１１０に保管される物品２００との位置関係を正確に検出することが可能となる。 The place where the detector 140 is attached is not particularly limited as long as it is part of the conveying device 120. This is preferable because the positional relationship can be detected accurately. In the case of this embodiment, the detector 140 is attached to the lifting platform 124 of the transport device 120 . The number of detectors 140 provided in the article transfer system 100 is not particularly limited, but in the case of this embodiment, two detectors 140 are provided in line in the arrangement direction of the articles 200 . The distance between the two detectors 140 is such that point data with a predetermined density or more can be acquired, and the assumed longest width of the articles 200 stored in the rack 110 in the arrangement direction and the adjacent articles set on both sides thereof 200 is set so as to include a distance range in which the area covering the gap with 200 can be detected at once. In the case of the present embodiment, the detectors 140 are attached one by one to both sides of the lift table 124 in the width direction (X-axis direction in the figure). That is, the detectors 140 are arranged on both sides of the area through which the articles 200 transferred by the transfer device 130 pass. This makes it possible to accurately detect the positional relationship between the area where the article 200 is transferred and the article 200 stored in the rack 110 in the vicinity thereof.

図３は、物品移載システムの機能構成を示すブロック図である。エッジ位置検出装置１５０は、物品２００の検出面部２０１において配列方向（図中Ｘ軸方向）に直交する直交方向に沿って延在する物品２００のエッジの搬送装置１２０に対する位置関係を示すエッジ位置を検出する装置である。エッジ位置検出装置１５０は、プログラムをプロセッサーに実行させることにより実現される処理部として、点群取得部１５１と、区間検出部１５２と、エッジ探索部１５３と、を備えている。本実施の形態の場合、エッジ位置検出装置１５０は、移載位置決定部１５４を備えている。 FIG. 3 is a block diagram showing the functional configuration of the article transfer system. The edge position detection device 150 detects the edge position indicating the positional relationship of the edge of the article 200 extending along the orthogonal direction perpendicular to the arrangement direction (the X-axis direction in the drawing) with respect to the conveying device 120 on the detection surface portion 201 of the article 200 . It is a device that detects The edge position detection device 150 includes a point group acquisition unit 151, a section detection unit 152, and an edge search unit 153 as processing units realized by causing a processor to execute a program. In the case of this embodiment, the edge position detection device 150 includes a transfer position determination section 154 .

点群取得部１５１は、物品２００の検出面部２０１における複数箇所の点データを検出器１４０から点群として取得する。点データのデータ構造は、特に限定されるものではないが、例えば移載装置１３０に対する相対的な位置関係を示す三次元のデータを含んでいる。本実施の形態の場合、ラック１１０の棚板１１１における物品２００の配列方向（図中Ｘ軸方向）、検出面部２０１において配列方向に直交する直交方向（図中Ｚ軸方向）、および配列方向と直交方向のいずれにも直交する奥行方向（図中Ｙ軸方向）のデータを備えた直交座標系のデータを含んでいる。 The point cloud acquisition unit 151 acquires point data of a plurality of locations on the detection surface portion 201 of the article 200 from the detector 140 as a point cloud. The data structure of the point data is not particularly limited, but includes, for example, three-dimensional data indicating the relative positional relationship with respect to the transfer device 130 . In the case of this embodiment, the arrangement direction of articles 200 on shelf board 111 of rack 110 (the X-axis direction in the figure), the orthogonal direction (the Z-axis direction in the figure) perpendicular to the arrangement direction on detection surface 201, and the arrangement direction and It contains Cartesian coordinate system data with data in the depth direction (the Y-axis direction in the figure) that is perpendicular to any of the orthogonal directions.

本実施の形態の場合、物品移載システム１００は、配列方向に並ぶ複数の検出器１４０を備えており、点群取得部１５１は、検出器１４０のそれぞれから点群を取得している。隣り合う検出器１４０は、撮像画角の一部が重複しているため、点群取得部１５１は、重複している領域に含まれる点データを統計処理し、複数の検出器１４０の点群を一枚の画像となるように合成している。これにより、配列方向において複数の物品２００の検出面部２０１に関する点データを一枚の画像として処理することが可能となる。なお、複数の検出器１４０の点群を１枚の画像に合成せず、各検出器１４０の点群に対応する画像を用いて処理結果を出し、その結果を合成するものであってもよい。 In the case of this embodiment, the article transfer system 100 includes a plurality of detectors 140 arranged in the arrangement direction, and the point cloud acquisition unit 151 acquires a point cloud from each of the detectors 140 . Since the adjacent detectors 140 partially overlap the imaging field angles, the point cloud acquisition unit 151 statistically processes the point data included in the overlapping regions, and obtains the point clouds of the plurality of detectors 140. are combined to form a single image. This makes it possible to process point data relating to the detection surface portions 201 of a plurality of articles 200 in the arrangement direction as one image. It should be noted that instead of synthesizing the point groups of the plurality of detectors 140 into one image, processing results may be obtained using images corresponding to the point groups of the respective detectors 140, and the results may be synthesized. .

区間検出部１５２は、点群取得部１５１において取得された点群から配列方向において物品２００が存在しない無物品区間を検出する。図４は、区間検出部の処理の流れを示すフローチャートである。図５は、区間検出部の工程の各段階における処理状態を示す図である。 The section detection unit 152 detects, from the point cloud acquired by the point cloud acquisition unit 151, an article-free section in which no article 200 exists in the arrangement direction. FIG. 4 is a flow chart showing the processing flow of the section detection unit. FIG. 5 is a diagram showing the processing state at each stage of the process of the section detection unit.

区間検出部１５２の処理の流れの例を説明する。まず、区間検出部１５２は、点群取得部１５１から取得した点群から所定の領域内に含まれる点データを取り出すトリミング処理を実行する（Ｓ１０１、トリミング工程）。所定の領域は、特に限定されるものではないが、例えばラック１１０に保管される物品２００の最小高さ（直交方向の長さ）の中央位置を含み、所定の高さを有する帯状の領域を例示できる。具体的には、第一閾値未満の直交方向（図中Ｚ軸方向）の値を有する点データを除外し、かつ第二閾値（＞第一閾値）より大の直交方向（図中Ｚ軸方向）の値を有する点データを除外する。つまり、第一閾値以上、第二閾値以下の範囲にある点データを抽出する。トリミング工程により所定の高さ範囲のデータにより無物品区間の検出を行うため、ラック１１０の棚板１１１による反射などの影響、物品２００の表面に設けられるリブ、フランジ、孔などの影響を抑制する事ができ、正確に無物品区間を検出することが可能となる。また、点群のデータ量を抑制して次工程の処理の促進を図ることができる。 An example of the processing flow of the section detection unit 152 will be described. First, the section detection unit 152 executes a trimming process of extracting point data included in a predetermined region from the point cloud acquired from the point cloud acquisition unit 151 (S101, trimming step). The predetermined area is not particularly limited, but includes, for example, the central position of the minimum height (the length in the orthogonal direction) of the article 200 stored in the rack 110, and is a band-shaped area having a predetermined height. I can give an example. Specifically, point data having a value in the orthogonal direction (Z-axis direction in the figure) less than the first threshold is excluded, and the orthogonal direction (Z-axis direction in the figure) greater than the second threshold (> first threshold) is excluded. ) are excluded. That is, the point data in the range of the first threshold value or more and the second threshold value or less are extracted. Since the no-item section is detected based on the data of the predetermined height range in the trimming process, the effects of reflection from the shelf plate 111 of the rack 110 and the effects of ribs, flanges, holes, etc. provided on the surface of the article 200 are suppressed. This makes it possible to accurately detect empty sections. In addition, it is possible to suppress the data amount of the point group and promote the processing of the next step.

次に、区間検出部１５２は、トリミング工程によってトリミングされた点群を直交方向（図中Ｚ軸方向）、又は直交方向及び配列方向の双方に直交する奥行方向（本実施の形態の場合奥行方向（移載方向））に投影して図５の（ａ）に示す二次元の第一投影画像を生成する（Ｓ１０２、第一投影工程）。具体的には、各点データから奥行方向（図中Ｙ軸方向）のデータを除外することにより二次元の第一投影画像を生成する。ここで、区間検出部１５２は、トリミング工程によってトリミングされた点群を上下方向に投影して二次元の第一投影画像を生成するものであってもよい。 Next, the section detection unit 152 detects the point group trimmed by the trimming process in the orthogonal direction (the Z-axis direction in the drawing), or in the depth direction orthogonal to both the orthogonal direction and the arrangement direction (the depth direction in this embodiment). (transfer direction)) to generate a two-dimensional first projection image shown in FIG. 5A (S102, first projection step). Specifically, a two-dimensional first projection image is generated by excluding data in the depth direction (the Y-axis direction in the figure) from each point data. Here, the section detection unit 152 may generate a two-dimensional first projection image by vertically projecting the point group trimmed by the trimming process.

次に、区間検出部１５２は、第一投影画像に対しモフォロジー処理を実行し、荒い点として存在していた点データの間を補完して図５の（ｂ）に示すように物品２００に対応する部分が一塊（図５の画像中における白色部分）となるようにデータを変更する（Ｓ１０３、第一モフォロジー工程）。本実施の形態の場合、区間検出部１５２は、モフォロジー処理として膨張と収縮とを繰り返すクロージング処理を行う。 Next, the section detection unit 152 performs morphology processing on the first projected image, interpolates between point data that existed as rough points, and corresponds to the article 200 as shown in FIG. 5(b). The data is changed so that the portion to be processed becomes a mass (white portion in the image of FIG. 5) (S103, first morphology step). In the case of the present embodiment, the section detection unit 152 performs closing processing that repeats expansion and contraction as morphology processing.

次に、区間検出部１５２は、物品２００が存在している区間を示す存在区間を探索する（Ｓ１０４、存在区間荒探索工程）。本実施の形態の場合、区間検出部１５２は、第一モフォロジー工程により白色の一塊とみなした部分（図５の（ｂ）中の白色部分）について、上下方向において途切れた部分、欠落した部分を補完して白色の一塊とみなす部分を更新する。存在区間端探索工程を実行すると例えば図５の（ｃ）の画像の様な状態になる。 Next, the section detection unit 152 searches for an existence section indicating a section in which the article 200 exists (S104, existence section rough search step). In the case of the present embodiment, the section detection unit 152 detects discontinuous parts and missing parts in the vertical direction for the part (the white part in (b) of FIG. 5) regarded as a single white mass in the first morphology process. Complement and update the part regarded as a white mass. When the existing interval end searching step is executed, the state becomes as shown in the image of FIG. 5(c), for example.

次に、区間検出部１５２は、隣り合う白色の一塊の部分の間の区間の配列方向に対応する画像における横方向（図面に向かって左右方向）の黒色部分の距離と所定のギャップ閾値とを比較する（Ｓ１０５）。黒色部分の距離がギャップ閾値以下の場合（Ｓ１０５：Ｙｅｓ）、区間検出部１５２は、図５の（ｄ）に示すように、当該ギャップを埋めるように補完して白色の一塊とみなす部分を更新する（Ｓ１０６、ギャップ充填工程）。なお、図４中に記載される「＜＝」は小なりイコールを示している。 Next, the section detection unit 152 calculates the distance of the black section in the horizontal direction (horizontal direction as viewed in the drawing) in the image corresponding to the arrangement direction of the section between adjacent white blocks and a predetermined gap threshold. Compare (S105). When the distance of the black portion is equal to or less than the gap threshold (S105: Yes), the section detection unit 152 updates the portion regarded as a white lump by interpolating to fill the gap, as shown in (d) of FIG. (S106, gap filling step). Note that "<=" shown in FIG. 4 indicates less than equal.

次に、区間検出部１５２は、ギャップ充填工程において更新された白色の一塊の部分、または存在区間荒探索工程で更新された白色の一塊の部分の配列方向（図５中横方向）における一端部から他端部まで（図５の（ｄ）（ｅ）の逆三角印）を物品２００が存在する区間に対応する存在区間として特定する（Ｓ１０７、存在区間特定工程）。また、隣り合う存在区間の間など存在区間以外の区間を無物品区間として特定する。 Next, the interval detection unit 152 detects one end in the arrangement direction (horizontal direction in FIG. 5) of the white mass updated in the gap filling process or the white mass updated in the existence interval rough search process. to the other end (inverted triangular marks in (d) and (e) of FIG. 5) as the existence section corresponding to the section in which the article 200 exists (S107, existence section identification step). Also, sections other than existing sections, such as between adjacent existing sections, are identified as non-item sections.

次に、区間検出部１５２は、無物品区間の配列方向（図５の横方向）における中間の位置を基準位置（図５の（ｅ）の矢印の位置）として決定する（Ｓ１０８、基準位置決定工程）。基準位置の決定基準は特に限定されるものではないが、例えば、隣り合う存在区間の端部の間の中央の位置を基準位置として決定してもよい。また、所定の第一区間閾値以上の長さの無物品区間が存在する場合（図５の（ｅ）の左側）、存在区間の端部から所定の距離離れた位置に仮想の存在区間の端部（図５の（ｅ）の三角印）を設定し、存在区間の端部と仮想的な存在区間の端部との間に基準位置を設定してもかまわない。なお、仮想の存在区間を設ける距離は、第一区間閾値と同等であってもかまわない。また、存在区間の端部に挟まれていない無物品区間であって所定の第二区間閾値以下の無物品区間の場合（図５の（ｅ）の右側）、画像の端部を基準位置として設定してもかまわない。 Next, the section detection unit 152 determines the middle position in the arrangement direction (horizontal direction in FIG. 5) of the empty section as the reference position (the position of the arrow in (e) of FIG. 5) (S108, reference position determination process). The criteria for determining the reference position are not particularly limited, but for example, the center position between the ends of adjacent existing intervals may be determined as the reference position. In addition, when there is an empty section with a length equal to or greater than the first section threshold (the left side of (e) in FIG. 5), the end of the virtual existing section is located at a predetermined distance from the end of the existing section. The reference position may be set between the edge of the existing section and the edge of the virtual existing section. Note that the distance at which the virtual existing section is provided may be equal to the first section threshold. In addition, in the case of an empty section that is not sandwiched between the ends of existing sections and is equal to or smaller than the predetermined second section threshold value (the right side of (e) in FIG. 5), the end of the image is used as the reference position. You can set it.

エッジ探索部１５３は、区間検出部１５２が決定した基準位置から物品２００の配列方向の両側に向かって点群取得部１５１が取得した点データを用いてエッジを探索することで、物品２００のエッジ位置を検出する。図６は、エッジ探索部の処理の流れを示すフローチャートである。図７は、エッジ探索部の工程の各段階における処理状態を示す図である。 The edge search unit 153 searches for edges from the reference position determined by the section detection unit 152 toward both sides in the arrangement direction of the articles 200 using the point data acquired by the point group acquisition unit 151 , thereby detecting the edge of the article 200 . Detect location. FIG. 6 is a flow chart showing the processing flow of the edge search unit. FIG. 7 is a diagram showing the processing state at each stage of the process of the edge search section.

次に、エッジ探索部１５３の処理の流れの例を説明する。まず、エッジ探索部１５３は、点群取得部１５１が取得した点群を直交方向（高さ方向）に投影して図７の（ａ）に示す二次元の第二投影画像を生成する（Ｓ２０１、第二投影工程）。なお、エッジ探索部１５３は、点群取得部１５１が取得した点群を奥行方向に投影して二次元の第二投影画像を生成し、以下の処理を行うものであってもよい。具体的には、各点データから高さ方向（図中Ｚ軸方向）のデータを除外することにより二次元の第二投影画像を生成する。なお、区間検出部１５２がトリミング工程にてトリミングした後の点データを用いてもかまわない。 Next, an example of the processing flow of the edge searching unit 153 will be described. First, the edge search unit 153 projects the point cloud acquired by the point cloud acquisition unit 151 in the orthogonal direction (height direction) to generate a two-dimensional second projection image shown in FIG. 7A (S201 , second projection step). Note that the edge search unit 153 may project the point cloud acquired by the point cloud acquisition unit 151 in the depth direction to generate a two-dimensional second projection image, and perform the following processing. Specifically, a two-dimensional second projection image is generated by excluding data in the height direction (the Z-axis direction in the drawing) from each point data. Note that point data after trimming in the trimming process by the section detection unit 152 may be used.

次に、エッジ探索部１５３は、第二投影画像に対しモフォロジー処理を実行し、荒い点として存在していた点データの間を補完して、図７の（ｂ）に示すような、物品２００に対応する部分が一塊の線状（図７の画像中における白色部分）となるようにデータを変更する（Ｓ２０２、第二モフォロジー工程）。本実施の形態の場合、エッジ探索部１５３は、区間検出部１５２と同様、モフォロジー処理として膨張と収縮とを繰り返すクロージング処理を行う。 Next, the edge search unit 153 performs morphology processing on the second projection image to interpolate between point data that existed as rough points to obtain the article 200 as shown in FIG. 7(b). The data is changed so that the portion corresponding to is a lump of linear shape (the white portion in the image of FIG. 7) (S202, second morphology step). In the case of the present embodiment, the edge search unit 153 performs closing processing that repeats expansion and contraction as morphology processing, similarly to the section detection unit 152 .

次に、エッジ探索部１５３は、モフォロジー処理が施された点データからノイズを除去する（Ｓ２０３、ノイズ処理工程）。本実施の形態の場合、エッジ探索部１５３は、ラベリング処理を行って、一塊の点データを区別する。そして、所定の長さ閾値以下の一塊の点データを削除する。これにより、図７の（ｃ）に示すような画像となる。 Next, the edge search unit 153 removes noise from the morphology-processed point data (S203, noise processing step). In the case of the present embodiment, the edge searching unit 153 performs labeling processing to distinguish a mass of point data. Then, a mass of point data whose length is equal to or less than a predetermined length threshold is deleted. This results in an image as shown in FIG. 7(c).

次に、エッジ探索部１５３は、エッジの候補となる点を抽出する（Ｓ２０４、エッジ候補点抽出工程）。エッジ候補点の抽出方法は特に限定されるものではないが、本実施の形態の場合、第二モフォロジー工程により得られる一塊の線状の部分について、奥行方向に関して検出器１４０に近い側の点データ（図面における下側の点データ）における縁にあたる部分をエッジ候補点として抽出している。 Next, the edge searching unit 153 extracts edge candidate points (S204, edge candidate point extraction step). Although the method for extracting edge candidate points is not particularly limited, in the case of the present embodiment, point data on the side closer to the detector 140 in the depth direction is extracted from the linear part obtained by the second morphology process. (Point data on the lower side of the drawing) are extracted as edge candidate points.

次に、エッジ探索部１５３は、エッジ候補点抽出工程にて抽出された点データに基づき、区間検出部１５２が決定した基準位置から物品２００の配列方向の両側に向かって点データを探索し物品２００の直交方向に沿うエッジの位置（図７の（ｅ）の白色矢印）を検出する（Ｓ２０５、エッジ位置検出工程）。エッジ位置の具体的な検出方法は、限定されるものではないが、本実施の形態の場合、以下の方法によりエッジ位置を検出している。つまり、第二投影画像である図７の（ｄ）における一塊の線状の部分において、配列方向（図７の（ｄ）中の横方向）に並ぶ（例えば隣り合う）二つの点データ相互間の配列方向の距離に対する奥行方向（図７の（ｄ）中の上下方向）の距離である傾き、または二つの点データ相互間の前記奥行方向の距離に対する前記配列方向の距離である傾きを基準位置から遠ざかる方向に向かって順次算出し、隣り合う点データの組の傾きの差分が所定の差分閾値以下になった場合、それらの組の基準位置に最も近い点データの配列方向における位置をエッジ位置として検出している。また、エッジ探索部１５３は、配列方向において基準位置から両側に向かって点データを探索するが、所定距離探索しても点データが検出できない側、または点データが検出できずに画像の端縁まで到達した側はエッジ位置がないとして処理してもかまわない。 Next, based on the point data extracted in the edge candidate point extraction process, the edge search unit 153 searches for point data from the reference position determined by the section detection unit 152 toward both sides in the arrangement direction of the articles 200, The position of the edge along the orthogonal direction of 200 (white arrow in FIG. 7(e)) is detected (S205, edge position detection step). A specific detection method of the edge position is not limited, but in the case of the present embodiment, the edge position is detected by the following method. That is, in the linear portion of the block in FIG. 7(d), which is the second projection image, between two point data aligned (for example, adjacent) in the arrangement direction (horizontal direction in FIG. 7(d)) Inclination, which is the distance in the depth direction (vertical direction in (d) of FIG. 7) with respect to the distance in the arrangement direction, or inclination, which is the distance in the arrangement direction with respect to the distance in the depth direction between two point data Calculation is performed sequentially in the direction away from the position, and when the difference in inclination between adjacent point data sets is equal to or less than a predetermined difference threshold, the position in the array direction of the point data closest to the reference position of those sets is defined as an edge. Detected as a position. The edge search unit 153 searches for point data from the reference position toward both sides in the arrangement direction, but the side where point data cannot be detected even after searching for a predetermined distance, or the edge of the image where point data cannot be detected. The side that has reached the edge may be processed as if there is no edge position.

以上により、大きく変化する点データの並びをエッジ位置の候補から除外し、安定した点データの端部をエッジ位置として検出することができ、実際の物品２００のエッジに対応したエッジ位置を正確に検出することが可能となる。 As described above, it is possible to exclude a row of point data that changes greatly from edge position candidates, detect the end of stable point data as an edge position, and accurately determine the edge position corresponding to the actual edge of the article 200. detection becomes possible.

移載位置決定部１５４は、エッジ探索部１５３によって検出された物品２００のエッジ位置に基づいて、搬送装置１２０がラック１１０に対し停止し物品２００を移載する移載位置を決定する移載位置決定工程を実行する。具体的には、エッジ探索部１５３が検出するエッジ位置は、搬送装置１２０に対するラック１１０に保管された物品２００の相対的な位置関係を示しているため、移載位置決定部１５４は、検出されたエッジ位置に基づき隣り合う物品２００の間である無物品区間に移載装置１３０を挿入してラック１１０から物品２００を搬送装置１２０に移載できるように搬送装置１２０の配列方向の停止位置を決定する。また、移載位置決定部１５４は、ラック１１０に保管される物品２００のとなりに物品２００が保管されていない場合、保管されている物品２００のエッジ位置から所定の距離で物品２００が保管できるように搬送装置１２０の停止位置を決定する。搬送装置１２０は、決定された停止位置を取得して搬送装置１２０の現在位置と比較し位置ずれが存在している場合、停止位置に合致するように配列方向に移動する。 Based on the edge position of the article 200 detected by the edge search section 153, the transfer position determining section 154 determines the transfer position where the conveying device 120 stops with respect to the rack 110 and transfers the article 200. Execute the decision process. Specifically, since the edge position detected by the edge search unit 153 indicates the relative positional relationship of the article 200 stored in the rack 110 with respect to the transport device 120, the transfer position determination unit 154 Based on the edge position obtained, the stop position of the conveying device 120 in the arrangement direction is set so that the conveying device 130 can be inserted into the empty section between the adjacent articles 200 and the articles 200 can be transferred from the rack 110 to the conveying device 120. decide. In addition, when the article 200 is not stored next to the article 200 stored in the rack 110, the transfer position determination unit 154 is arranged so that the article 200 can be stored at a predetermined distance from the edge position of the stored article 200. , the stop position of the conveying device 120 is determined. The transport device 120 acquires the determined stop position and compares it with the current position of the transport device 120. If there is a positional deviation, it moves in the arrangement direction so as to match the stop position.

以上の実施の形態に係る物品移載システム１００によれば、隣り合う物品２００の間における物品２００が存在しない区間である無物品区間を検出して物品２００相互の分離と粗い位置決めを行う工程と、無物品区間に基づいて物品２００のエッジ位置の詳細に決定する工程と、の二段階の処理を行うことで、配列方向に並べて配置された複数の物品２００それぞれの配列方向におけるエッジ位置を高精度で検出することができる。これにより、物品２００を高密度な状態でラック１１０に保管することが可能となる。 According to the article transfer system 100 according to the above embodiment, a step of detecting an article-free section, which is a section in which no article 200 exists between the adjacent articles 200, and separating and roughly positioning the articles 200 from each other; , and a step of determining in detail the edge positions of the articles 200 based on the no-item section. can be detected with precision. This allows the articles 200 to be stored in the rack 110 in a high-density state.

また、検出器１４０から取得した三次元の点データを奥行方向（移載方向）に投影した二次元データに落とした第一投影画像により無物品区間を特定して基準位置を決定し、第一投影画像の投影方向と直交する方向（直交方向）に投影した第二投影画像と決定した基準位置に基づきエッジ位置を詳細に探索することにより、配列方向に対して検出面部２０１が傾いて保管された物品２００、外面部にリブ、フランジ、孔などが設けられた物品２００等でも正確に物品２００のエッジ位置を検出することが可能となる。 Also, the three-dimensional point data acquired from the detector 140 is projected in the depth direction (transfer direction) to two-dimensional data, and the first projection image is used to identify the empty section and determine the reference position. By searching the edge position in detail based on the second projection image projected in the direction (perpendicular direction) perpendicular to the projection direction of the projection image and the determined reference position, the detection surface portion 201 is stored tilted with respect to the arrangement direction. It is possible to accurately detect the edge position of the article 200 even if the article 200 has a rib, a flange, a hole, or the like on its outer surface.

また、第一投影画像、第二投影画像に対し、エッジ検出に適したモフォロジー処理、ノイズ処理等を実行することにより、第一投影画像における物品２００に対応する点データの塊が存在する範囲を適切に探索することができ、第二投影画像における探索された物品２００に対応する点データの塊の存在する範囲に基づいて誤差を抑制して物品２００のエッジ位置を検出することが可能となる。 In addition, by executing morphology processing, noise processing, etc. suitable for edge detection on the first projection image and the second projection image, the range in which the mass of point data corresponding to the article 200 in the first projection image exists is It is possible to search appropriately, and to detect the edge position of the article 200 while suppressing errors based on the range in which the mass of point data corresponding to the searched article 200 exists in the second projection image. .

なお、本発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本発明の実施の形態としてもよい。また、上記実施の形態に対して本発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本発明に含まれる。 It should be noted that the present invention is not limited to the above embodiments. For example, another embodiment realized by arbitrarily combining the constituent elements described in this specification or omitting some of the constituent elements may be an embodiment of the present invention. The present invention also includes modifications obtained by making various modifications to the above-described embodiment within the scope of the gist of the present invention, that is, the meaning of the words described in the claims, which a person skilled in the art can think of. be

例えば、実施の形態におけるエッジ検出工程では配列方向において隣り合う二つの点データの組の配列方向の距離に対する奥行方向（図７中の上下方向）の距離である傾きの変化が安定する点データの組に基づきエッジ位置を検出したが、点データの組の奥行方向の距離に対する配列方向の距離である傾きに基づきエッジ位置を検出してもかまわない。 For example, in the edge detection process in the embodiment, point data whose tilt change is stable, which is the distance in the depth direction (vertical direction in FIG. 7) with respect to the distance in the array direction between two sets of point data adjacent in the array direction. Although the edge position is detected based on the set, the edge position may be detected based on the inclination, which is the distance in the arrangement direction with respect to the distance in the depth direction of the set of point data.

また、検出器１４０を複数備える場合を例示したが、ラック１１０の棚板１１１に連続して三つ並ぶ物品２００の中央に位置する物品２００の幅に両側に存在する無物品区間の幅を加えた範囲を一度に検出できる１台の検出器１４０を備えてもかまわない。 In addition, although the case where a plurality of detectors 140 are provided has been illustrated, the width of the article 200 located in the center of the three articles 200 continuously arranged on the shelf board 111 of the rack 110 is added to the width of the empty sections existing on both sides. A single detector 140 may be provided to detect the entire range at once.

また、鉛直面内において物品２００を自在に搬送する搬送装置１２０を例示したが、搬送装置１２０は、水平面内において物品２００を搬送する有軌道、または無軌道の搬送台車などであってもかまわない。 Moreover, although the conveying device 120 that freely conveys the article 200 in the vertical plane has been illustrated, the conveying device 120 may be a tracked or non-tracked carriage that conveys the article 200 in the horizontal plane.

また、水平方向、および鉛直方向に物品２００を二次元的に保管できるラック１１０を例示したが、ラック１１０は、搬送台車の走行する方向に沿って一次元的に物品２００を保管するものでもかまわない。 Moreover, although the rack 110 that can two-dimensionally store the articles 200 in the horizontal direction and the vertical direction has been exemplified, the rack 110 may store the articles 200 one-dimensionally along the traveling direction of the carriage. do not have.

また、点群のトリミング工程や、ノイズの除去処理工程などは省略することが可能である。 Also, the point group trimming process, the noise removal process, and the like can be omitted.

本発明は、物品を搬送装置によって搬送し、ラックと搬送装置との間で物品を移載する自動倉庫、物流拠点、工場設備などに利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used in automated warehouses, physical distribution centers, factory facilities, etc., in which articles are transported by transport devices and the articles are transferred between racks and transport devices.

１００ 物品移載システム
１１０ ラック
１１１ 棚板
１１２ 支柱
１２０ 搬送装置
１２１ レール
１２２ 台車
１２３ マスト
１２４ 昇降台
１３０ 移載装置
１４０ 検出器
１５０ エッジ位置検出装置
１５１ 点群取得部
１５２ 区間検出部
１５３ エッジ探索部
１５４ 移載位置決定部
２００ 物品
２０１ 検出面部 100 Goods Transfer System 110 Rack 111 Shelf 112 Post 120 Conveying Device 121 Rail 122 Carriage 123 Mast 124 Lifting Table 130 Transfer Device 140 Detector 150 Edge Position Detector 151 Point Group Acquisition Unit 152 Section Detector 153 Edge Searcher 154 Transfer position determination unit 200 Article 201 Detection surface unit

Claims (7)

物品との距離を三次元的な複数の点データとして取得する検出器を用い、所定の配列方向に並べて配置された略直方体状の複数の物品について、物品の前記検出器と対向する面を含む検出面部において前記配列方向に直交する直交方向に沿って延在する物品のエッジ位置を検出するエッジ位置検出方法であって、
物品の検出面部の複数箇所の点データを点群として取得する点群取得工程と、
前記点群取得工程において取得された点群から、前記配列方向において物品が存在しない無物品区間を検出する区間検出工程と、
前記無物品区間における基準位置から、前記配列方向の両側に向かって前記点データを用いてエッジを探索することで、物品のエッジ位置を検出するエッジ探索工程と、
を含むエッジ位置検出方法。 For a plurality of substantially rectangular parallelepiped articles arranged side by side in a predetermined arrangement direction using a detector that acquires the distance from the article as a plurality of three-dimensional point data, including the surface of the article facing the detector An edge position detection method for detecting an edge position of an article extending along an orthogonal direction orthogonal to the arrangement direction on a detection surface, comprising:
a point cloud acquiring step of acquiring point data at a plurality of locations on the detection surface of the article as a point cloud;
a section detection step of detecting an article-free section in which no article exists in the arrangement direction from the point cloud acquired in the point cloud acquisition step;
an edge search step of detecting an edge position of an article by searching for an edge using the point data toward both sides in the arrangement direction from a reference position in the article-free section;
Edge location detection method, including 前記区間検出工程において、
前記点群を前記直交方向、又は前記直交方向及び前記配列方向の双方に直交する奥行方向に投影して第一投影画像を生成し、前記第一投影画像に基づき物品が存在しない無物品区間を検出する
請求項１に記載のエッジ位置検出方法。 In the section detection step,
projecting the point group in the orthogonal direction or in a depth direction orthogonal to both the orthogonal direction and the arrangement direction to generate a first projection image, and based on the first projection image, an article-free section in which no article is present; 2. The edge position detection method according to claim 1. 前記区間検出工程において、
前記第一投影画像をモフォロジー処理し、モフォロジー処理後の前記第一投影画像に基づき前記配列方向において物品が存在する存在区間を特定し、隣り合う存在区間の間を無物品区間として特定する
請求項２に記載のエッジ位置検出方法。 In the section detection step,
3. Morphologically processing the first projection image, identifying an existence section in which an article exists in the arrangement direction based on the first projection image after the morphology processing, and identifying a section between adjacent existence sections as an article-free section. 2. The edge position detection method according to 2. 前記エッジ探索工程において、
前記点群を前記直交方向に投影して第二投影画像を生成し、前記第二投影画像に基づきエッジを探索する
請求項１から３のいずれか一項に記載のエッジ位置検出方法。 In the edge search step,
4. The edge position detection method according to any one of claims 1 to 3, wherein a second projection image is generated by projecting the point cloud in the orthogonal direction, and edges are searched based on the second projection image. 前記エッジ探索工程において、
前記第二投影画像に含まれる二つの点データ相互間の前記配列方向の距離に対する前記奥行方向の距離である傾き、または二つの点データ相互間の前記奥行方向の距離に対する前記配列方向の距離である傾きに基づきエッジ位置を検出する
請求項４に記載のエッジ位置検出方法。 In the edge search step,
Inclination that is the distance in the depth direction with respect to the distance in the arrangement direction between two pieces of point data included in the second projection image, or the distance in the arrangement direction with respect to the distance in the depth direction between two pieces of point data 5. The edge position detection method according to claim 4, wherein the edge position is detected based on a certain inclination. 請求項１から５のいずれか一項に記載のエッジ位置検出方法により検出された物品のエッジ位置に基づいて、物品の移載位置を決定する移載位置決定工程を含む
移載位置決定方法。 A transfer position determination method comprising a transfer position determination step of determining a transfer position of an article based on the edge position of the article detected by the edge position detection method according to any one of claims 1 to 5. 物品との距離を三次元的な複数の点データとして取得する検出器と、
略直方体状の複数の物品を所定の配列方向に並べて保管するラックと、
前記配列方向に直交する奥行方向において前記ラックに対し物品を移載する移載装置と、
物品を搬送し、前記検出器が取り付けられる搬送装置と、
物品の前記検出器と対向する面を含む検出面部において前記配列方向に直交する直交方向に沿って延在する物品のエッジ位置を検出するエッジ位置検出装置とを備え、
前記エッジ位置検出装置は、
物品の検出面部の複数箇所の点データを点群として取得する点群取得部と、
前記点群取得部において取得された点群から、前記配列方向において物品が存在しない無物品区間を検出する区間検出部と、
前記無物品区間における基準位置から、前記配列方向の両側に向かって前記点データを用いてエッジを探索することで、物品のエッジ位置を検出するエッジ探索部と、
を備える物品移載システム。 a detector that acquires the distance to the article as three-dimensional multiple point data;
a rack for arranging and storing a plurality of substantially rectangular parallelepiped articles in a predetermined arrangement direction;
a transfer device for transferring articles to the rack in a depth direction orthogonal to the arrangement direction;
a conveying device that conveys an article and to which the detector is attached;
an edge position detection device for detecting an edge position of an article extending along an orthogonal direction orthogonal to the arrangement direction on a detection surface portion including a surface of the article facing the detector,
The edge position detection device is
a point cloud acquisition unit that acquires point data at a plurality of locations on the detection surface of the article as a point cloud;
a section detection unit that detects an article-free section in which no article exists in the arrangement direction from the point cloud acquired by the point cloud acquisition unit;
an edge search unit that detects an edge position of an article by searching for an edge using the point data toward both sides in the arrangement direction from a reference position in the article-free section;
Goods transfer system comprising.
JP2021092270A 2021-06-01 2021-06-01 Edge position detection method, transfer position determination method, and article transfer system Pending JP2022184425A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021092270A JP2022184425A (en) 2021-06-01 2021-06-01 Edge position detection method, transfer position determination method, and article transfer system
PCT/JP2022/018425 WO2022254990A1 (en) 2021-06-01 2022-04-21 Edge position detection method, transfer position determination method, and article transfer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021092270A JP2022184425A (en) 2021-06-01 2021-06-01 Edge position detection method, transfer position determination method, and article transfer system

Publications (1)

Publication Number Publication Date
JP2022184425A true JP2022184425A (en) 2022-12-13

Family

ID=84323126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021092270A Pending JP2022184425A (en) 2021-06-01 2021-06-01 Edge position detection method, transfer position determination method, and article transfer system

Country Status (2)

Country Link
JP (1) JP2022184425A (en)
WO (1) WO2022254990A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291944A (en) * 2023-09-28 2023-12-26 腾讯科技（深圳）有限公司 Image processing method and related equipment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5429614B2 (en) * 2009-04-16 2014-02-26 株式会社Ｉｈｉ Box-shaped workpiece recognition apparatus and method
JP5346863B2 (en) * 2010-03-30 2013-11-20 大日本スクリーン製造株式会社 Three-dimensional position / posture recognition apparatus and system, method, and program using the same
JP2012153470A (en) * 2011-01-25 2012-08-16 Murata Machinery Ltd Automatic warehouse
JP5566353B2 (en) * 2011-09-02 2014-08-06 株式会社パスコ Data analysis apparatus, data analysis method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291944A (en) * 2023-09-28 2023-12-26 腾讯科技（深圳）有限公司 Image processing method and related equipment

Also Published As

Publication number Publication date
WO2022254990A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US9715232B1 (en) Using planar sensors for pallet detection
RU2565011C1 (en) Method and system of use of distinctive reference points for locating of industrial vehicles at beginning of work
US9574883B2 (en) Associating semantic location data with automated environment mapping
KR102227035B1 (en) Depression detecting apparatus, transfer apparatus, and depression detecting method
CN107390679B (en) Storage device and laser navigation forklift
CN111328408B (en) Shape information generating device, control device, loading/unloading device, distribution system, program, and control method
JP6364373B2 (en) Inclination detection method and inclination detection apparatus
US9630774B2 (en) Automated warehouses
CN113253737B (en) Shelf detection method and device, electronic equipment and storage medium
US10012992B2 (en) Integrated obstacle detection and payload centering sensor system
WO2022254990A1 (en) Edge position detection method, transfer position determination method, and article transfer system
JP7189661B2 (en) Automated warehouse system
KR20240082267A (en) Method and system for inspecting objects stored in a 3D warehouse
WO2022254991A1 (en) Method for determining article type and system for determining article type
WO2022254992A1 (en) Angle detection method and angle detection system
JP2012153470A (en) Automatic warehouse
JP5601332B2 (en) Transport vehicle
EP3488689B1 (en) Storage unit for cheese
TWI843363B (en) Shelf positioning method of a transporting device and transporting device capable of positioning a shelf
JP2020067692A (en) Learning suitability determination method and learning suitability determination apparatus
US20230400858A1 (en) Identifying transport structures
JP7179102B2 (en) Mobile object control method, mobile object and program
CN213301104U (en) Size detection system
US20220262132A1 (en) Control method for mobile object, mobile object, and computer-readable storage medium
JP2017201493A (en) Columnar object recognition method, columnar object recognition apparatus, and unmanned traveling vehicle

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20210624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240329