JP7280655B2 - Transfer target workpiece height measurement system - Google Patents

Transfer target workpiece height measurement system Download PDF

Info

Publication number
JP7280655B2
JP7280655B2 JP2019157689A JP2019157689A JP7280655B2 JP 7280655 B2 JP7280655 B2 JP 7280655B2 JP 2019157689 A JP2019157689 A JP 2019157689A JP 2019157689 A JP2019157689 A JP 2019157689A JP 7280655 B2 JP7280655 B2 JP 7280655B2
Authority
JP
Japan
Prior art keywords
height
box
work
unit
pallet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019157689A
Other languages
Japanese (ja)
Other versions
JP2021036204A (en
Inventor
暁明 牛
エドモンド ワイ イェン ソ
晋輔 樫原
Original Assignee
株式会社日立オートメーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立オートメーション filed Critical 株式会社日立オートメーション
Priority to JP2019157689A priority Critical patent/JP7280655B2/en
Publication of JP2021036204A publication Critical patent/JP2021036204A/en
Application granted granted Critical
Publication of JP7280655B2 publication Critical patent/JP7280655B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、パレット上に積まれた複数の段ボール箱等のワークを移載する移載対象ワークの高さを計測する移載対象ワーク高さ計測システムに関する。 The present invention relates to a transfer target work height measuring system for measuring the height of a transfer target work to which a plurality of works such as cardboard boxes stacked on a pallet are transferred.

近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている（例えば、特許文献１参照）。 In recent years, automation of work such as sorting, loading, and unloading in warehouses has been demanded in the logistics industry, and various automation systems have been introduced (see, for example, Patent Document 1).

特開平０６－０５５４７７号公報JP-A-06-055477

ところで、上記のようなシステムでは、パレット上に積まれた複数の段ボール箱等のワークを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行うにあたり、ワークの高さを計測するようになっている。この高さを計測する方法として、ワークを移動させる前後の画像の差分を用いて高さを推定する方法が知られている。 By the way, in the system as described above, the height of the work is measured when the work such as a plurality of cardboard boxes stacked on the pallet is sorted one by one, that is, when performing the depalletizing work process. there is As a method of measuring this height, a method of estimating the height using a difference between images before and after moving the workpiece is known.

ところで、このような高さを推定する方法を行うにあたり、三次元点群計測を用いて差分を取るような場合、移動させたワークの下に空間があると、差分の領域が本来のワークの領域より大きくなり、もって、空間部分を含めて高さを推定することとなり、結果として、ワークの高さの計測を誤る可能性があるという問題があった。 By the way, in performing such a method of estimating the height, when taking the difference using 3D point cloud measurement, if there is a space under the moved work, the area of the difference will be the original work. Since it becomes larger than the area, the height is estimated including the space portion, and as a result, there is a possibility that the height of the workpiece is measured incorrectly.

そこで、本発明は、上記問題に鑑み、移載対象ワークの高さを正確に計測することができる移載対象ワーク高さ計測システムを提供することを目的としている。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a transfer target work height measuring system capable of accurately measuring the height of a transfer target work.

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 The above objects of the present invention are achieved by the following means. In addition, although the inside of parenthesis is attached with the reference code|symbol of embodiment mentioned later, this invention is not limited to this.

請求項１の発明に係る移載対象ワーク高さ計測システムは、荷積みされた複数のワーク（例えば、図１に示す箱Ｗ）の三次元点群情報を取得し、移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）を仮移動させた後の荷積みされた複数のワーク（例えば、図１３（ｂ）に示す箱Ｗ）の三次元点群情報を取得する三次元点群情報取得手段（例えば、図１に示す撮像部３）と、
前記ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の高さを計測する際に必要な当該ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、前記三次元点群情報取得手段（例えば、図１に示す撮像部３）にて取得された三次元点群情報から選別する選別手段（例えば、図２に示す箱の高さ推定部４０６）と、を有してなることを特徴としている。 A transfer target work height measurement system according to the invention of claim 1 acquires three-dimensional point cloud information of a plurality of loaded works (for example, a box W shown in FIG. 1), and acquires the transfer target work (for example, , the uppermost box W shown in FIG. 13(a) is temporarily moved, and the three-dimensional point cloud information of a plurality of loaded works (for example, the box W shown in FIG. 13(b)) is acquired. Three-dimensional point cloud information acquisition means (for example, the imaging unit 3 shown in FIG. 1);
A plane used to acquire a plane of the work (for example, the box W shown in FIG. 13(b)) necessary for measuring the height of the work (for example, the box W shown in FIG. 13(b)) Selecting means (for example, Fig. 2) and a box height estimation unit 406).

また、請求項２の発明によれば、上記請求項１に記載の移載対象ワーク高さ計測システムにおいて、前記選別手段（例えば、図２に示す箱の高さ推定部４０６）は、前記ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の高さを計測する際に必要な当該ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、クラスタリングすることによって選別してなる（例えば、図１６に示すステップＳ５６ｇ）ことを特徴としている。 According to the invention of claim 2, in the transfer target work height measurement system of claim 1, the selection means (for example, the box height estimation unit 406 shown in FIG. (For example, the box W shown in FIG. 13(b)) necessary for measuring the height of the work (for example, the box W shown in FIG. 13(b)) Plane fitting used when acquiring the plane It is characterized in that target three-dimensional point group information is selected by clustering (for example, step S56g shown in FIG. 16).

さらに、請求項３の発明によれば、上記請求項１又は２に記載の移載対象ワーク高さ計測システムにおいて、前記選別手段（例えば、図２に示す箱の高さ推定部４０６）は、前記ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の高さを計測する際に必要な当該ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報の範囲を広げることができる（例えば、図１６に示すステップＳ５６ｂ）ことを特徴としている。 Furthermore, according to the invention of claim 3, in the transfer target work height measurement system according to claim 1 or 2, the selection means (for example, the box height estimation unit 406 shown in FIG. 2) A plane used to acquire a plane of the work (for example, the box W shown in FIG. 13(b)) necessary for measuring the height of the work (for example, the box W shown in FIG. 13(b)) The feature is that the range of the three-dimensional point group information to be fitted can be expanded (for example, step S56b shown in FIG. 16).

そしてさらに、請求項４の発明によれば、上記請求項２に記載の移載対象ワーク高さ計測システムにおいて、前記選別手段（例えば、図２に示す箱の高さ推定部４０６）は、前記クラスタリングすることによって得られた三次元点群情報の高さ方向のばらつきを用いて、該三次元点群情報を前記平面フィッティングの対象とするか否かを判定してなる（例えば、図１８に示すステップＳ１０１，ステップＳ１０２）ことを特徴としている。 Further, according to the invention of claim 4, in the transfer target work height measurement system of claim 2 , the selection means (for example, the box height estimation unit 406 shown in FIG. 2) includes the Using the variation in the height direction of the three-dimensional point group information obtained by clustering, it is determined whether or not the three-dimensional point group information is to be subjected to the plane fitting (for example, in FIG. 18 It is characterized by steps S101 and S102) shown.

一方、請求項５の発明によれば、上記請求項１～４の何れか１項に記載の移載対象ワーク高さ計測システムにおいて、仮移動させた前記移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）の上面の法線方向と、前記平面フィッティングの対象となる三次元点群情報の法線方向を比較する比較手段（例えば、図１８に示すステップＳ１００）と、
前記比較手段（例えば、図１８に示すステップＳ１００）にて比較した結果、法線方向が一致しない場合には、エラーと判定してなる第１エラー判定手段（例えば、図１８に示すステップＳ１００）と、をさらに有してなることを特徴としている。 On the other hand, according to the invention of claim 5, in the transfer target work height measuring system according to any one of the above claims 1 to 4, the transfer target work temporarily moved (for example, FIG. 13 ( A comparison means (for example, step S100 shown in FIG. 18) for comparing the normal direction of the upper surface of the uppermost box W) shown in a) with the normal direction of the three-dimensional point cloud information to be subjected to the plane fitting ,
First error determination means (for example, step S100 shown in FIG. 18) for determining an error when the normal directions do not match as a result of comparison by the comparison means (for example, step S100 shown in FIG. 18) and further comprising:

また、請求項６の発明によれば、上記請求項１～５の何れか１項に記載の移載対象ワーク高さ計測システムにおいて、前記荷積みされた複数のワーク（例えば、図１に示す箱Ｗ）は、パレット（例えば、図１に示すパレットＰａ）上に荷積みされており、
前記平面フィッティングの対象となる三次元点群情報を用いて、前記移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）の上面と、前記移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）を支持していた荷積みされた複数のワーク（例えば、図１３（ｂ）に示す新たに最上段となった箱Ｗ）の上面との距離を計測し、前記ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の高さを推定する高さ推定手段（例えば、図１５に示すステップＳ５８）と、
前記移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）の上面と、前記パレット（例えば、図１に示すパレットＰａ）の上面との距離を計測する計測手段（例えば、図１９に示すステップＳ５９ａ）と、
前記高さ推定手段（例えば、図１５に示すステップＳ５８）にて推定した高さと、前記計測手段（例えば、図１９に示すステップＳ５９ａ）にて計測した計測結果とを用いて、荷積みされた複数のワーク（例えば、図２４に示す箱Ｗ）の積み上げ段数を推定する積み上げ段数推定手段（例えば、図１９に示すステップＳ５９ｂ）と、をさらに有してなることを特徴としている。 Further, according to the invention of claim 6, in the transfer target workpiece height measuring system according to any one of claims 1 to 5, the plurality of loaded workpieces (for example, shown in FIG. 1) box W) is loaded on a pallet (eg pallet Pa shown in FIG. 1) and
Using the three-dimensional point cloud information that is the target of the plane fitting, the upper surface of the transfer target work (for example, the uppermost box W shown in FIG. 13A) and the transfer target work (for example, the 13(a), the uppermost box W shown in FIG. Height estimating means (for example, step S58 shown in FIG. 15) for measuring and estimating the height of the work (for example, box W shown in FIG. 13(b));
Measuring means (for example, Step S59a) shown in FIG. 19;
Loaded using the height estimated by the height estimation means (for example, step S58 shown in FIG. 15) and the measurement result measured by the measurement means (for example, step S59a shown in FIG. 19) It is characterized by further comprising stacking stage number estimating means (for example, step S59b shown in FIG. 19) for estimating the number of stacked stages of a plurality of works (eg, boxes W shown in FIG. 24).

さらに、請求項７の発明によれば、上記請求項６に記載の移載対象ワーク高さ計測システムにおいて、前記積み上げ段数推定手段（例えば、図１９に示すステップＳ５９ｂ）にて推定された積み上げ段数の推定値と、積み上げ段数に依存する平均的な高さの減少値を用いて、前記高さ推定手段（例えば、図１５に示すステップＳ５８）にて推定した高さが不正であるか否かの検証を行う検証手段（例えば、図１９に示すステップＳ５９ｃ）と、
前記検証手段（例えば、図１９に示すステップＳ５９ｃ）にて検証した結果、前記高さ推定手段（例えば、図１５に示すステップＳ５８）にて推定した高さが不正である場合にエラーと判定してなる第２エラー判定手段（例えば、図１５，図１９に示すステップＳ６０）と、をさらに有してなることを特徴としている。 Further, according to the seventh aspect of the invention, in the system for measuring the height of a work to be transferred according to the sixth aspect, the number of stacked stages estimated by the number of stacked stages estimation means (for example, step S59b shown in FIG. 19) and the average height reduction value depending on the number of stacked stages, whether or not the height estimated by the height estimation means (for example, step S58 shown in FIG. 15) is incorrect Verification means (for example, step S59c shown in FIG. 19) for verifying the
If the height estimated by the height estimation means (for example, step S58 shown in FIG. 15) is incorrect as a result of verification by the verification means (for example, step S59c shown in FIG. 19), it is determined as an error. and second error determination means (for example, step S60 shown in FIGS. 15 and 19).

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 Next, the effects of the present invention will be described with reference to the drawings. In addition, although the inside of parenthesis is attached with the reference code|symbol of embodiment mentioned later, this invention is not limited to this.

請求項１に係る発明によれば、移載対象ワークの高さを正確に計測することができる。 According to the first aspect of the invention, the height of the work to be transferred can be accurately measured.

また、請求項２に係る発明によれば、ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の高さを計測する際に必要な当該ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、クラスタリングすることによって選別しているから、最適な第２の上面（この第２の上面については、後述する）を得ることが可能となり、もって、移載対象ワークの高さをより正確に計測することができる。 Further, according to the invention of claim 2, the workpiece (eg, the box W shown in FIG. 13(b)) necessary for measuring the height of the workpiece (eg, the box W shown in FIG. 13(b)) ) is selected by clustering the 3D point cloud information that is the target of the plane fitting used when acquiring the plane of ), the optimum second top surface (this second top surface will be described later) ) can be obtained, so that the height of the work to be transferred can be measured more accurately.

さらに、請求項３に係る発明によれば、ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の高さを計測する際に必要な当該ワーク（例えば、図１３（ｂ）に示す箱Ｗ）の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報の範囲を広げることができることとなるから、探索範囲が広がることとなり、もって、移載対象ワークの高さをより正確に計測することができる。 Furthermore, according to the invention according to claim 3, the work (for example, the box W shown in FIG. 13 (b)) required when measuring the height of the work (for example, the box W shown in FIG. 13 (b)) ), the range of 3D point cloud information that is the target of plane fitting used when acquiring the plane of ) can be expanded, so the search range is expanded, and the height of the work to be transferred is increased. can be measured accurately.

そしてさらに、請求項４に係る発明によれば、クラスタリングすることによって得られた三次元点群情報の高さ方向のばらつきを用いて、該三次元点群情報を平面フィッティングの対象とするか否かを判定しているから、ノイズによる影響を軽減させることができ、もって、もって、移載対象ワークの高さをより正確に計測することができる。 Further, according to the invention according to claim 4, by using the variation in the height direction of the three-dimensional point group information obtained by clustering, whether or not the three-dimensional point group information is to be subjected to plane fitting Since it is determined whether or not, the influence of noise can be reduced, and the height of the work to be transferred can be measured more accurately.

一方、請求項５に係る発明によれば、仮移動させた移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）の上面の法線方向と、平面フィッティングの対象となる三次元点群情報の法線方向を比較した結果、法線方向が一致しない場合には、エラーと判定しているから、ノイズの影響により不正確な面を認識している可能性を除去することができ、もって、移載対象ワークの高さをより正確に計測することができる。 On the other hand, according to the fifth aspect of the invention, the normal direction of the upper surface of the temporarily moved transfer target work (for example, the uppermost box W shown in FIG. 13A) and the plane fitting target As a result of comparing the normal direction of the 3D point cloud information, if the normal direction does not match, it is determined as an error, eliminating the possibility of recognizing an inaccurate surface due to the influence of noise. As a result, the height of the work to be transferred can be measured more accurately.

また、請求項６に係る発明によれば、推定した高さと、移載対象ワーク（例えば、図１３（ａ）に示す最上段の箱Ｗ）の上面と、パレット（例えば、図１に示すパレットＰａ）の上面との距離を計測した計測結果とを用いて、荷積みされた複数のワーク（例えば、図２４に示す箱Ｗ）の積み上げ段数を推定しているから、積み上げ段数を考慮した高さチェックを行うことができ、もって、移載対象ワークの高さをより正確に計測することができる。 Further, according to the sixth aspect of the invention, the estimated height, the upper surface of the work to be transferred (for example, the uppermost box W shown in FIG. 13A), and the pallet (for example, the pallet shown in FIG. Pa) is used to estimate the number of stacked work pieces (for example, the box W shown in FIG. 24) using the measurement result of measuring the distance from the top surface of Pa). height check can be performed, and the height of the work to be transferred can be measured more accurately.

さらに、請求項７に係る発明によれば、推定した高さが不正であるか否かの検証をした結果、不正である場合にエラーと判定しているから、ノイズの影響により不正確な移載対象ワークの高さを認識している可能性を除去することができ、もって、移載対象ワークの高さをより正確に計測することができる。 Furthermore, according to the seventh aspect of the present invention, as a result of verifying whether or not the estimated height is incorrect, it is determined as an error if the estimated height is incorrect. The possibility of recognizing the height of the work to be placed can be eliminated, and the height of the work to be transferred can be measured more accurately.

本発明の一実施形態に係る移載対象ワーク高さ計測システムの概略全体図である。1 is a schematic overall view of a transfer target workpiece height measurement system according to an embodiment of the present invention; FIG. 同実施形態に係る情報処理装置の機能構成図である。It is a functional block diagram of the information processing apparatus which concerns on the same embodiment. 同実施形態に係る情報処理装置の処理内容を示すフローチャート図である。It is a flowchart figure which shows the processing content of the information processing apparatus which concerns on the same embodiment. 箱情報テーブルを示すテーブル図である。4 is a table diagram showing a box information table; FIG. 設定項目テーブルを示すテーブル図である。FIG. 4 is a table diagram showing a setting item table; （ａ）は、撮像部が撮影した距離画像を示す図、（ｂ）は、エッジ抽出処理画像を示す図、（ｃ）は、（ｂ）に示す画像を用い、直線、交点、閉領域を検出した状態を示す図である。(a) is a diagram showing a distance image captured by the imaging unit, (b) is a diagram showing an edge extraction processed image, and (c) is a diagram showing straight lines, intersection points, and closed regions using the image shown in (b). It is a figure which shows the detected state. （ａ）は、パレット上に積まれた複数の箱同士の境界抽出結果を示す図、（ｂ）は、１つの箱の端の部分をずらした状態を示す図である。(a) is a diagram showing a boundary extraction result between a plurality of boxes stacked on a pallet, and (b) is a diagram showing a state in which the end portion of one box is shifted. （ａ）は、パレット上の最上段に積まれた箱の上面の高さを求めることを説明する説明図、（ｂ）は、箱の高さを求めることを説明する説明図である。(a) is an explanatory diagram for explaining how to obtain the height of the upper surface of the boxes stacked on the top of the pallet, and (b) is an explanatory diagram for explaining how to obtain the height of the boxes. パレット上に積まれた複数の箱を撮像部の座標系のＺ軸プラス方向から見た図である。It is the figure which looked at several boxes stacked on the pallet from the Z-axis positive direction of the coordinate system of an imaging part. （ａ）は、箱の向きを決定する方法を説明する説明図、（ｂ）は、箱のコンベア上での置き位置の決定する方法を説明する説明図、（ｃ）は、吸着ハンドの位置姿勢を決定する方法を説明する説明図である。(a) is an explanatory diagram explaining how to determine the orientation of the box, (b) is an explanatory diagram explaining how to determine the placement position of the box on the conveyor, and (c) is the position of the suction hand. FIG. 4 is an explanatory diagram for explaining a method of determining a posture; 重量計測部を用いて重量推定する方法を説明する説明図である。FIG. 4 is an explanatory diagram for explaining a method of estimating weight using a weight measuring unit; 箱の重量と加減速度との関係を示すグラフ図である。It is a graph showing the relationship between the weight of a box and acceleration/deceleration. （ａ）は、パレット上に空間が空いた状態で複数の箱が積まれている状態を示す正面図、（ｂ）は、（ａ）に示す最上段の箱が撮影範囲外へ移動した後の状態を示す正面図である。(a) is a front view showing a state in which a plurality of boxes are stacked with empty spaces on the pallet, and (b) is a view after the topmost box shown in (a) has moved out of the shooting range. It is a front view showing the state of. 図１３（ｂ）に示す図の状態を三次元点群計測した場合を説明する説明図である。It is explanatory drawing explaining the case where the state of the figure shown in FIG.13(b) was measured by three-dimensional point group. 箱の高さ推定部の処理内容の詳細を説明するフローチャート図である。FIG. 10 is a flowchart for explaining the details of processing performed by a box height estimating unit; 図１５に示すステップＳ５６の詳細を説明するフローチャート図である。FIG. 16 is a flowchart for explaining details of step S56 shown in FIG. 15; 図１５に示すステップＳ５６の詳細を説明するフローチャート図である。FIG. 16 is a flowchart for explaining details of step S56 shown in FIG. 15; 図１７に示すステップＳ５６ｐ，ステップＳ５６ｑの詳細を説明するフローチャート図である。FIG. 18 is a flowchart for explaining details of steps S56p and S56q shown in FIG. 17; 図１５に示すステップＳ５９，ステップＳ６０の詳細を説明するフローチャート図である。FIG. 16 is a flowchart for explaining details of steps S59 and S60 shown in FIG. 15; （ａ）は、パレット上に複数の箱が積まれた状態を上から見た状態を示す図、（ｂ）は、１つの箱がロボットにて所定の待機場所に移動させられた際、太枠で囲まれた部分を第２の上面推定の対象から外す処理を行うことを説明する説明図、（ｃ）は、（ｂ）に示す内容を、箱の高さ推定部にて処理した後の状態を示す図である。(a) is a top view of a plurality of boxes stacked on a pallet; Explanatory diagram for explaining the process of excluding the portion surrounded by the frame from the target of the second top surface estimation, (c) is after the content shown in (b) is processed by the height estimation unit of the box. It is a figure which shows the state of. （ａ）は、三次元点群探索範囲を説明する説明図、（ｂ）は、（ａ）に示す太枠の部分を箱の高さ推定部にて処理した後の状態を示し、（ｃ）は、（ａ）に示す破線枠の部分を箱の高さ推定部にて処理した後の状態を示す図である。(a) is an explanatory diagram for explaining the three-dimensional point group search range, (b) shows the state after the thick frame portion shown in (a) is processed by the box height estimation unit, (c ) is a diagram showing a state after the part surrounded by a dashed line frame shown in (a) is processed by the box height estimating unit. 三次元点群探索範囲を説明する説明図である。It is an explanatory view explaining a three-dimensional point group search range. （ａ）は、第１面フィッティング対象点群を上から見た状態を示す図、（ｂ）は、第１面フィッティング対象点群を横から見た状態を示す図である。(a) is a diagram showing a top view of the first-surface fitting target point group, and (b) is a side view of the first-surface fitting target point group. 箱の高さ推定部にて積み上げ段数を求めることを説明する説明図である。FIG. 10 is an explanatory diagram for explaining how a box height estimating unit calculates the number of stacking stages;

以下、本発明に係る移載対象ワーク高さ計測システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。 An embodiment of a transfer target workpiece height measurement system according to the present invention will be specifically described below with reference to the drawings. In the following description, when the directions of up, down, left, and right are indicated, they refer to up, down, left, and right when viewed from the front of the drawing.

＜移載対象ワーク高さ計測システムの説明＞
図１に示すように、移載対象ワーク高さ計測システム１は、パレットＰａ上に積まれた複数の箱Ｗの一つをロボット２に備えた吸着ハンド２０を用いてコンベアＣへ移載する装置である。 <Description of the height measurement system for the workpiece to be transferred>
As shown in FIG. 1, the transfer target workpiece height measurement system 1 transfers one of a plurality of boxes W stacked on a pallet Pa to a conveyor C using a suction hand 20 provided on a robot 2. It is a device.

ここで、この移載対象ワーク高さ計測システム１の動作について、より詳しく説明すると、移載対象ワーク高さ計測システム１は、まず、撮像部３を用いて、パレットＰａ上に積まれた複数の箱Ｗを撮像する。次いで、撮像した画像から情報処理装置４を用いて、箱Ｗの位置を認識する。この情報処理装置４は、認識したパレットＰａ上に積まれた箱Ｗの位置をプログラマブルロジックコントローラ５（以下、ＰＬＣ５と呼ぶ）経由で、ロボットコントローラ６へ送信する。そして、このロボットコントローラ６は、ロボット２を制御し、パレットＰａ上に積まれた複数の箱Ｗの中から一つの箱Ｗをピックし、コンベアＣへ移載することとなる。 Here, the operation of this transfer object work height measurement system 1 will be described in more detail. The box W of is imaged. Next, the position of the box W is recognized using the information processing device 4 from the captured image. The information processing device 4 transmits the recognized positions of the boxes W stacked on the pallet Pa to the robot controller 6 via the programmable logic controller 5 (hereinafter referred to as PLC 5). The robot controller 6 controls the robot 2 to pick up one box W from the plurality of boxes W stacked on the pallet Pa and transfer it to the conveyor C.

次に、図１の各部について詳細に説明することとする。 Next, each part of FIG. 1 will be described in detail.

ロボット２は、例えば、４自由度の垂直多関節型ロボットである。より詳しく説明すると、このロボット２は、パレットＰａ上に積まれた複数の箱Ｗを、吸着ハンド２０を用いてパレットＰａからコンベアＣへ移載する為のロボットアームである。なお、本実施形態においては、ロボット２として、４自由度の垂直多関節型ロボットを例示したが、これに限らず、６自由度であってもよいし、直角座標型ロボット、極座標型ロボット、水平多関節型(スカラ型)ロボット、パラレルリンク型ロボットであってもよい。すなわち、パレットＰａ上に積まれた複数の箱ＷをコンベアＣへ移載可能であれば、どのような形式であってもよい。 The robot 2 is, for example, a vertically articulated robot with four degrees of freedom. More specifically, the robot 2 is a robot arm for transferring a plurality of boxes W stacked on the pallet Pa from the pallet Pa to the conveyor C using the suction hand 20 . In this embodiment, the robot 2 is a vertically articulated robot with 4 degrees of freedom. It may be a horizontal articulated (scalar type) robot or a parallel link type robot. That is, as long as the plurality of boxes W stacked on the pallet Pa can be transferred to the conveyor C, any format may be used.

ところで、吸着ハンド２０は、ロボット２のフランジに重量センサ２１を介して装着するものである。より詳しく説明すると、この吸着ハンド２０は、コンプレッサ７から送られる圧縮エアを吸着ハンド２０内に内蔵している真空発生装置を用いて、真空を発生させパレットＰａ上に積まれた複数の箱Ｗを吸着するものである。なお、本実施形態においては、吸着することにより、複数の箱Ｗを移載する例を示したが、それに限らず、パレットＰａ上に積まれた複数の箱Ｗをグリッパーで挟み込むようなハンドであっても良く、パレットＰａ上に積まれた複数の箱Ｗを移載可能であれば、どのような形式のハンドでも良い。 By the way, the suction hand 20 is attached to the flange of the robot 2 via the weight sensor 21 . In more detail, the suction hand 20 generates a vacuum by using a vacuum generating device in which compressed air sent from the compressor 7 is built in the suction hand 20, and a plurality of boxes W stacked on the pallet Pa are compressed. is to be adsorbed. In this embodiment, an example is shown in which a plurality of boxes W are transferred by suction. Any type of hand may be used as long as it can transfer a plurality of boxes W stacked on the pallet Pa.

一方、重量センサ２１は、吸着ハンド２０で吸着したパレットＰａ上に積まれた複数の箱Ｗの重量を計測するための静電容量型力覚センサであり、ロボット２のフランジと吸着ハンド２０の間に設置される。なお、重量センサ２１は、計測した値をＰＬＣ５に出力する。 On the other hand, the weight sensor 21 is a capacitive force sensor for measuring the weight of a plurality of boxes W stacked on the pallet Pa sucked by the suction hand 20. placed in between. In addition, the weight sensor 21 outputs the measured value to PLC5.

撮像部３は、パレットＰａ上に積まれた複数の箱Ｗを撮影するものであって、三次元点群情報を出力可能な三次元点群計測装置である。この撮像部３は、カメラとプロジェクタを備えており、カメラとプロジェクタによるアクティブステレオ法により被写体の三次元点群情報を算出するものである。なお、カメラとプロジェクタを用いたアクティブステレオ法は、一般的な技術であるため、詳細な説明は省略する。 The imaging unit 3 is a three-dimensional point cloud measurement device that captures images of a plurality of boxes W stacked on the pallet Pa and can output three-dimensional point cloud information. The imaging unit 3 includes a camera and a projector, and calculates three-dimensional point group information of a subject by an active stereo method using the camera and the projector. Note that the active stereo method using a camera and a projector is a common technique, and detailed description thereof will be omitted.

情報処理装置４は、図１に示すように、ＣＰＵ４０と、ＲＡＭ４１と、ＲＯＭ４２と、補助記憶装置４３と、入出力インタフェース４４と、通信インタフェース４５と、表示装置４６と、バス４７と、入力コントローラ４８と、入力装置４９と、を有している。ＣＰＵ４０は、情報処理装置４が備える各機能を実行、制御するもので、ＲＡＭ４１は、外部装置などから供給されるプログラムやデータを一時記憶するものである。 The information processing device 4 includes a CPU 40, a RAM 41, a ROM 42, an auxiliary storage device 43, an input/output interface 44, a communication interface 45, a display device 46, a bus 47, an input controller, and 48 and an input device 49 . The CPU 40 executes and controls each function provided in the information processing apparatus 4, and the RAM 41 temporarily stores programs and data supplied from an external device or the like.

一方、ＲＯＭ４２は、変更を必要としないプログラムや各種パラメータを格納し、補助記憶装置４３は、各種情報を記憶するものである。そして、入出力インタフェース４４は、外部の機器とデータの送受信を行い、通信インタフェース４５は、ネットワークに接続するための装置であり、ネットワークを介して外部の機器とデータの送受信を行うものである。 On the other hand, the ROM 42 stores programs and various parameters that do not require modification, and the auxiliary storage device 43 stores various information. The input/output interface 44 transmits and receives data to and from an external device, and the communication interface 45 is a device for connecting to a network and transmits and receives data to and from an external device via the network.

一方、表示装置４６は、ＣＰＵ４０で描画されたグラフィックスを表示し、バス４７は、システムバスであり、ＣＰＵ４０、ＲＡＭ４１、ＲＯＭ４２、補助記憶装置４３、入出力インタフェース４４、通信インタフェース４５、表示装置４６、入力コントローラ４８を接続するものである。そして、入力コントローラ４８は、入力装置４９からの入力信号を制御するコントローラであり、入力装置４９は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、キーボード、マウスなどである。なお、後述する情報処理装置４の機能や処理は、ＣＰＵ４０がＲＯＭ４２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現することとなる。 On the other hand, a display device 46 displays graphics drawn by the CPU 40 , a bus 47 is a system bus, and includes the CPU 40 , RAM 41 , ROM 42 , auxiliary storage device 43 , input/output interface 44 , communication interface 45 , display device 46 . , to which the input controller 48 is connected. The input controller 48 is a controller that controls input signals from the input device 49, and the input device 49 is an external input device for receiving operation instructions from the user, such as a keyboard and mouse. The functions and processes of the information processing device 4, which will be described later, are realized by the CPU 40 reading a program stored in the ROM 42 or the like and executing the program.

ＰＬＣ５は、情報処理装置４とロボットコントローラ６の間の命令を受け渡し、重量センサ２１から重量の計測値を入力し、ＰＬＣ５内臓のメモリに書き込む。そしてさらにＰＬＣ５は、コンベアＣを制御し、コンベアＣ上に乗せた箱Ｗを移動するものである。 The PLC 5 transfers commands between the information processing device 4 and the robot controller 6, inputs the weight measurement value from the weight sensor 21, and writes it in the PLC 5 built-in memory. Further, the PLC 5 controls the conveyor C to move the boxes W placed on the conveyor C.

ロボットコントローラ６は、サーボアンプや基板などが収納された制御装置であり、ロボット２の動きを総合的にコントロールする装置である。また、ロボットコントローラ６は、あらかじめ作成したロボット２を制御するプログラムを記憶し、実行することができる。 The robot controller 6 is a control device containing a servo amplifier, a substrate, and the like, and is a device that comprehensively controls the movement of the robot 2 . Further, the robot controller 6 can store and execute a pre-created program for controlling the robot 2 .

コンプレッサ７は、空気を圧縮し供給する空気圧縮機であり、吸着ハンド２０へ圧縮エアを供給するものである。 The compressor 7 is an air compressor that compresses and supplies air, and supplies compressed air to the suction hand 20 .

箱Ｗは、段ボールであり、パレットＰａ上に複数積層されているものである。なお、本実施形態においては、段ボールを例に説明するが、パレットＰａ上に積層可能であれば、材質は段ボール以外でも良く、例えば、プラスチックや木製であっても良く、箱形状に近似できれば袋状の物であっても良い。 The box W is made of corrugated cardboard, and a plurality of boxes W are stacked on the pallet Pa. In this embodiment, cardboard will be described as an example, but the material may be other than cardboard as long as it can be stacked on the pallet Pa. For example, plastic or wood may be used. It may be in a shape.

パレットＰａは、物流に用いる荷物を載せるための荷役台であり、パレットＰａの脚と脚の間にフォークリフトやハンドリフトの爪を差し込んで持ち上げることができるものである。なお、本実施形態においては、パレットＰａ上に複数の箱Ｗを積載しているが、もちろんパレットではなくカゴ台車であってもよい。 The pallet Pa is a loading platform for loading cargoes used for physical distribution, and can be lifted by inserting the claws of a forklift or a handlift between the legs of the pallet Pa. In this embodiment, a plurality of boxes W are loaded on the pallet Pa, but of course the pallet may be replaced by a cart.

コンベアＣは、ローラーコンベアであり、ロボット２がコンベアＣ上へ移載した箱Ｗをロボット２近辺から所望の位置まで搬送するものである。なお、コンベアＣは必ずしもローラ―コンベアである必要はなく、ベルトコンベアでも良い。また、コンベアＣは、パレット上に積まれた複数の箱Ｗをロボット２の近傍から移動できれば良い。例えば、無人搬送車の上にパレットＰａ上に積まれた複数の箱Ｗを移載することで、パレットＰａ上に積まれた箱Ｗを移動してもよい。 The conveyor C is a roller conveyor, and conveys the box W transferred onto the conveyor C by the robot 2 from the vicinity of the robot 2 to a desired position. Incidentally, the conveyor C does not necessarily have to be a roller conveyor, and may be a belt conveyor. Further, the conveyor C only needs to be able to move a plurality of boxes W stacked on a pallet from the vicinity of the robot 2 . For example, the boxes W stacked on the pallet Pa may be moved by transferring a plurality of boxes W stacked on the pallet Pa onto an automatic guided vehicle.

図１に示す符号ＳＫは、倉庫管理システムであり、倉庫管理システムＳＫは、倉庫の入出庫管理、在庫管理を行うシステムである。この倉庫管理システムＳＫは、情報処理装置４に対して、パレットＰａ上に積まれた複数の箱Ｗを何個デパレタイズするかを指示する。また、パレットＰａ上に積まれた複数の箱Ｗの種類を一意に特定するためのＩＴＦコードを情報処理装置４へ出力する。なお、情報処理装置４へのデパレタイズ指示は、必ずしも倉庫管理システムＳＫから指示する必要はなく、情報処理装置４の入力装置４９がタッチパネルであれば、タッチパネル用いて指示してもよい。 Reference numeral SK shown in FIG. 1 denotes a warehouse management system, and the warehouse management system SK is a system for performing warehouse entry/exit management and inventory management. The warehouse management system SK instructs the information processing device 4 how many boxes W stacked on the pallet Pa are to be depalletized. It also outputs an ITF code for uniquely identifying the types of boxes W stacked on the pallet Pa to the information processing device 4 . The depalletizing instruction to the information processing device 4 does not necessarily have to be issued from the warehouse management system SK. If the input device 49 of the information processing device 4 is a touch panel, the instruction may be given using the touch panel.

＜情報処理装置の説明＞
次に、図２を用いて、本実施形態に係る情報処理装置４の機能構成について説明する。図２に示すように、情報処理装置４の機能構成としては、情報処理装置４は、判断部４００と、箱情報保持部４０１と、設定保持部４０２と、箱認識部４０３と、ずらし判定部４０４と、サイズ推定部４０５と、箱の高さ推定部４０６と、移載順決定部４０７と、箱の向き決定部４０８と、コンベア上での置き位置姿勢決定部４０９と、ハンドの位置姿勢決定部４１０と、重量計測部４１１と、移載速度決定部４１２と、で構成されている。以下、各構成について説明することとする。 <Description of Information Processing Device>
Next, the functional configuration of the information processing device 4 according to this embodiment will be described with reference to FIG. As shown in FIG. 2, the functional configuration of the information processing device 4 includes a judgment unit 400, a box information holding unit 401, a setting holding unit 402, a box recognition unit 403, and a shift judgment unit. 404, a size estimation unit 405, a box height estimation unit 406, a transfer order determination unit 407, a box orientation determination unit 408, a placement position/posture determination unit 409 on the conveyor, and a hand position/posture. It is composed of a determination unit 410 , a weight measurement unit 411 , and a transfer speed determination unit 412 . Each configuration will be described below.

判断部４００は、判断部４００が保持する状態または、各機能ブロックが保持する状態に基づいて、各機能ブロック間との情報をやり取りし、さらに、外部機器とのやり取りも行い、倉庫管理システムＳＫ、撮像部３、ＰＬＣ５経由で、ロボット２、コンベアを制御するものである。 Based on the state held by the judgment unit 400 or the state held by each functional block, the judgment unit 400 exchanges information with each functional block, further exchanges with external devices, and operates the warehouse management system SK. , the imaging unit 3, and the PLC 5, the robot 2 and the conveyor are controlled.

箱情報保持部４０１は、図４に示す箱情報テーブルＴＢＬＡのようにテーブル形式で情報を保持している。この箱情報テーブルＴＢＬＡのカラムは、ＩＴＦコードＴＢＬＡａ、重量ＴＢＬＡｂ、ＬサイズＴＢＬＡｃ、ＷサイズＴＢＬＡｄ、ＨサイズＴＢＬＡｅである。ＩＴＦコードＴＢＬＡａのＩＴＦとは、Ｉｎｔｅｒｌｅａｖｅｄ Ｔｗｏ ｏｆ Ｆｉｖｅの略であり、ＩＴＦコードＴＢＬＡａは、ＩＴＦ－１４規格のバーコードを表す値であり、箱情報テーブルＴＢＬＡはＩＴＦコードＴＢＬＡａが主キーであり、ＩＴＦコードを用いて任意のレコードを呼び出すことができる。 The box information holding unit 401 holds information in a table format like the box information table TBLA shown in FIG. The columns of this box information table TBLA are ITF code TBLAa, weight TBLAb, L size TBLAc, W size TBLAd, and H size TBLAe. ITF in ITF code TBLAa is an abbreviation for Interleaved Two of Five. ITF code TBLAa is a value representing a bar code of the ITF-14 standard. You can call any record with code.

一方、重量ＴＢＬＡｂは、ＩＴＦコードＴＢＬＡａ毎の箱の重量を示す値であり、単位はＫｇである。例えば、レコードＴＢＬＡｈの箱の重さは３ｋｇである。パレットＰａ上に積まれた複数の箱Ｗには個体差があるが、箱Ｗの重さは最初に計測した重量を保持する。なお、レコードＴＢＬＡｆ、レコードＴＢＬＡｇは、まだ重量未計測のレコードである。 On the other hand, the weight TBLAb is a value indicating the weight of the box for each ITF code TBLAa, and the unit is Kg. For example, the box of record TBLAh weighs 3 kg. Although there are individual differences in the plurality of boxes W stacked on the pallet Pa, the weight of the box W retains the weight that was measured first. Note that the record TBLAf and the record TBLAg are records whose weight has not yet been measured.

他方、ＬサイズＴＢＬＡｃは、パレットＰａ上に積まれた箱Ｗの長さの値が保持されるカラムであり、長さの単位は、ミリメートルである。なお、ＬサイズＴＢＬＡｃには最初に計測した値を保持する。同様にＷサイズＴＢＬＡｄは、パレットＰａ上に積まれた箱Ｗの幅の値を保持するカラムであり、ＨサイズＴＢＬＡｅは、パレットＰａ上に積まれた箱Ｗの高さの値を保持するカラムである。なお、箱情報テーブルＴＢＬＡにおけるサイズ未計測および重量未計測のレコードには、ＮＵＬＬが格納されている。 On the other hand, the L size TBLAc is a column that holds the length value of the boxes W stacked on the pallet Pa, and the unit of length is millimeters. Note that the L-size TBLAc retains the first measured value. Similarly, W size TBLAd is a column that holds the width value of boxes W stacked on pallet Pa, and H size TBLAe is a column that holds the height value of boxes W stacked on pallet Pa. is. Note that NULL is stored in records of unmeasured size and unmeasured weight in the box information table TBLA.

設定保持部４０２は、処理に必要な設定値を保持するものである。この設定保持部４０２で保持する設定は、図５に示すような設定項目テーブルＴＢＬＢを保持している。この設定項目テーブルＴＢＬＢのカラムは、設定項目ＴＢＬＢａと値ＴＢＬＢｂである。設定項目ＴＢＬＢａは、設定項目を表す名称であり、値ＴＢＬＢｂは、各設定項目の値である。例えば、レコードＴＢＬＢｃは、境界の明瞭度の閾値を表しており、その値は１００である。 The setting holding unit 402 holds setting values necessary for processing. The settings held in the setting holding unit 402 hold a setting item table TBLB as shown in FIG. The columns of this setting item table TBLB are setting item TBLBa and value TBLBb. The setting item TBLBa is the name representing the setting item, and the value TBLBb is the value of each setting item. For example, the record TBLBc represents the boundary clarity threshold, which has a value of 100;

かくして、図２に示す設定保持部４０２は、図５に示す設定項目テーブルＴＢＬＢの設定項目ＴＢＬＢａの名称をキーにして値ＴＢＬＢｂを呼び出すこととなる。 Thus, the setting holding unit 402 shown in FIG. 2 uses the name of the setting item TBLBa in the setting item table TBLB shown in FIG. 5 as a key to call up the value TBLBb.

箱認識部４０３は、撮像部３から出力された距離画像に基づいて、パレットＰａ上に積まれた複数の箱Ｗの位置姿勢を認識するものである。この箱認識部４０３における箱認識の方法について、図６を用いて詳細に説明する。 The box recognition unit 403 recognizes the positions and orientations of the boxes W stacked on the pallet Pa based on the distance image output from the imaging unit 3 . A method of box recognition in this box recognition unit 403 will be described in detail with reference to FIG.

図６（ａ）は、撮像部３（図２参照）が撮影した距離画像ＧＡである。距離画像とは撮像部３からの対象までの距離を輝度に置き換えた画像であり、撮像部３に近いほど大きい値をとる画像である。なお、図６（ａ）に示す距離画像ＧＡは、パレットＰａ上に積まれた複数の箱Ｗを示している。 FIG. 6(a) is a distance image GA photographed by the imaging unit 3 (see FIG. 2). The distance image is an image obtained by replacing the distance from the imaging unit 3 to the object with luminance, and is an image that takes a larger value as the distance to the imaging unit 3 increases. Note that the distance image GA shown in FIG. 6A shows a plurality of boxes W stacked on the pallet Pa.

次いで、箱認識部４０３は、図６（ａ）に示す距離画像ＧＡについてエッジ抽出処理を行い、図６（ｂ）に示すように、エッジ抽出処理画像ＧＢを生成する。なお、エッジ抽出処理には、Ｃａｎｎｙ法を用いる。 Next, the box recognition unit 403 performs edge extraction processing on the distance image GA shown in FIG. 6(a) to generate an edge extraction processed image GB as shown in FIG. 6(b). Note that the Canny method is used for edge extraction processing.

次いで、箱認識部４０３は、図６（ｂ）に示すエッジ抽出処理画像ＧＢについてハフ変換を用いて直線検出を行う。この直線検出した結果が、図６（ｃ）に示す画像ＧＣである。この画像ＧＣのうち、図６（ｃ）に示す符号ＧＣａは、検出した直線である。なお、図６（ｃ）に示すように、直線は、直線ＧＣａ以外にも存在しているが、全てに記号を付すことは省略することとする。 Next, the box recognition unit 403 performs straight line detection using the Hough transform on the edge extraction processed image GB shown in FIG. 6(b). The result of this straight line detection is the image GC shown in FIG. 6(c). In this image GC, the symbol GCa shown in FIG. 6(c) is the detected straight line. As shown in FIG. 6(c), there are other straight lines than the straight line GCa, but it is omitted to label them all.

次いで、箱認識部４０３は、図６（ｃ）に示すように、直線同士の交点を検出する。検出した交点は、例えば、ＧＣｂである。なお、図６（ｃ）に示すように、交点は、交点ＧＣｂ以外にも存在しているが、全てに記号を付すことは省略することとする。 Next, the box recognition unit 403 detects intersections between straight lines, as shown in FIG. 6(c). The detected intersection is, for example, GCb. As shown in FIG. 6(c), there are intersections other than the intersection GCb, but it is omitted to label them all.

次いで、箱認識部４０３は、図６（ｃ）に示すように、検出した全ての交点に対して閉領域を検出する。検出した閉領域は、例えば、ＧＣｃである。しかして、箱認識部４０３は、この閉領域ＧＣｃを一つの箱Ｗとして認識することとなる。なお、図６（ｃ）に示すように、閉領域は、閉領域ＧＣｃ以外も検出しているが、全てに記号を付すことは省略することとする。 Next, the box recognition unit 403 detects closed regions for all the detected intersections, as shown in FIG. 6(c). The detected closed region is, for example, GCc. Thus, the box recognition unit 403 recognizes this closed region GCc as one box W. FIG. As shown in FIG. 6(c), the closed regions other than the closed region GCc are also detected, but the symbols are omitted for all of them.

ずらし判定部４０４は、撮像部３から入力した距離画像ＧＡ（図６（ａ）参照）に基づいて、パレットＰａ上に積まれた箱Ｗをずらすかどうかを判定するものである。実際に、ずらし判定部４０４にて、パレットＰａ上に積まれた箱Ｗをずらすと判定した場合、判断部４００は、ＰＬＣ５経由でロボット２を制御し、パレットＰａ上に積まれた箱Ｗの一部を吸着し、パレットＰａ上に積まれた箱Ｗをずらすこととなる。 The shift determination unit 404 determines whether or not to shift the boxes W stacked on the pallet Pa based on the distance image GA (see FIG. 6A) input from the imaging unit 3 . In fact, when the shift determination unit 404 determines that the boxes W stacked on the pallet Pa should be shifted, the determination unit 400 controls the robot 2 via the PLC 5 to move the boxes W stacked on the pallet Pa. A part of the box W is sucked and the box W stacked on the pallet Pa is shifted.

ここで、パレットＰａ上に積まれた箱Ｗをずらす必要がある理由について、図７を用いて説明する。図７（ａ）は、境界抽出結果である。この抽出された境界抽出結果のうち、図７（ａ）に示す境界Ｋａは、明瞭な境界であり、境界Ｋｂは、不明瞭な境界を示している。この不明瞭な境界Ｋｂが箱認識部４０３にて認識されなかった場合、図７（ａ）に示すように、実際の箱Ｗ（右下の箱Ｗ、右中の箱Ｗ）は別々であるが、右下の箱Ｗと右中の箱Ｗが合わさったサイズを箱ＷＡとして認識してしまうこととなる。しかして、このように、図７（ａ）に示すように、箱ＷＡと認識してしまうと、実際の吸着ハンド２０（図１参照）は、箱ＷＡの中央部分を吸着することとなる。これにより、右下の箱Ｗ、右中の箱Ｗを二つ一度に移載することになり、もって、箱Ｗを途中で落下させてしまう可能性がある。そこで、図７（ｂ）に示すように、箱Ｗの端の部分Ｗａを、吸着ハンド２０で吸着して箱Ｗの位置を箱Ｗが存在しない方向へずらすようにする。これによって、箱Ｗの周りに明瞭な境界が出現し、箱Ｗを認識する確率が向上するという効果がある。なお、箱Ｗの端の部分Ｗａのサイズは、ロボット２を設置した倉庫で取り扱う最小サイズの箱のサイズである。これにより、２つの箱を同時にずらしてしまう確率が減少するという効果がある。 Here, the reason why it is necessary to shift the boxes W stacked on the pallet Pa will be described with reference to FIG. FIG. 7A shows the boundary extraction result. Among the extracted boundary extraction results, the boundary Ka shown in FIG. 7A is a clear boundary, and the boundary Kb is an unclear boundary. If this ambiguous boundary Kb is not recognized by the box recognition unit 403, the actual boxes W (bottom right box W, right middle box W) are separate as shown in FIG. 7(a). However, the combined size of the lower right box W and the middle right box W will be recognized as the box WA. Thus, if the box WA is recognized as shown in FIG. 7A, the actual suction hand 20 (see FIG. 1) will suction the central portion of the box WA. As a result, the box W on the lower right and the box W on the middle right are transferred at once, and there is a possibility that the box W will be dropped on the way. Therefore, as shown in FIG. 7(b), the end portion Wa of the box W is sucked by the sucking hand 20 to shift the position of the box W in the direction where the box W does not exist. As a result, a clear boundary appears around the box W, and the probability of recognizing the box W is improved. The size of the end portion Wa of the box W is the size of the smallest size box that can be handled in the warehouse where the robot 2 is installed. This has the effect of reducing the probability of simultaneously shifting two boxes.

ここで、ずらし判定の方法について説明する。 Here, a method for judging the shift will be described.

ずらし判定部４０４は、撮像部３から入力した距離画像ＧＡ（図６（ａ）参照）に対して、ラプラシアンフィルターをかける。そして、ずらし判定部４０４は、ラプラシアンフィルターをかけた距離画像ＧＡ（図６（ａ）参照）の画素値の分散を計算し、その値が閾値以下であれば、境界が不明瞭であると判定し、ずらし動作を行う。ここで用いる設定の閾値は、図５に示す、設定保持部４０２にて保持している設定項目テーブルＴＢＬＢの境界の明瞭度の値を読み出すことで得ることとなる。 The shift determination unit 404 applies a Laplacian filter to the distance image GA (see FIG. 6A) input from the imaging unit 3 . Then, the shift determination unit 404 calculates the variance of the pixel values of the Laplacian filtered distance image GA (see FIG. 6A), and determines that the boundary is unclear if the value is equal to or less than the threshold. and perform the shift operation. The setting threshold value used here is obtained by reading out the boundary clarity value of the setting item table TBLB held in the setting holding unit 402 shown in FIG.

なお、本実施形態においては、ラプラシアンフィルターを用いて、境界が不明瞭であることを判定したが、他のフィルターを用いてもよい。例えばソーベルフィルタを用いても良く、境界が不明瞭であることを判定可能であればどのようなフィルターを用いてもよい。 In this embodiment, the Laplacian filter is used to determine that the boundary is unclear, but other filters may be used. For example, a Sobel filter may be used, or any filter may be used as long as it can be determined that the boundary is unclear.

サイズ推定部４０５は、図６(ｃ)に示す直線ＧＣａの交点ＧＣｂに基づいて箱のサイズを推定するものである。この箱のサイズの推定は、４角形を構成する直線ＧＣａの交点ＧＣｂ間の距離を求める事で推定するものである。なお、推定する箱のサイズは、箱の上面の長さと幅であり、推定した箱のサイズの情報は、箱情報保持部４０１にて保持される。 The size estimation unit 405 estimates the size of the box based on the intersection point GCb of the straight line GCa shown in FIG. 6(c). The size of the box is estimated by finding the distance between the intersections GCb of the straight lines GCa forming the quadrangle. The estimated box size is the length and width of the upper surface of the box.

箱の高さ推定部４０６は、パレットＰａ上に積まれた箱Ｗの高さを推定するものである。この箱の高さ推定部４０６にて、パレットＰａ上に積まれた箱Ｗの高さの推定方法について、図８を用いて説明する。 The box height estimation unit 406 estimates the height of the boxes W stacked on the pallet Pa. A method of estimating the height of the boxes W stacked on the pallet Pa by the box height estimating unit 406 will be described with reference to FIG.

まず、箱の高さ推定部４０６は、図８（ａ）に示すように、パレットＰａ上の最上段に積まれた箱Ｗの上面の高さを求める。ここで、箱の高さ推定部４０６は、パレットＰａ上の最上段に積まれた箱Ｗの上面の高さＨ１を求める為に、箱認識部４０３にて認識した箱の認識情報を用いる。そして、箱の高さ推定部４０６は、箱の認識情報に基づいて、パレットＰａ上の最上段に積まれた箱Ｗ上面の三次元点群を抽出し、三次元点群における撮像部３に設定した座標系３０のＺ軸方向の値の平均を、パレットＰａ上の最上段に積まれた箱Ｗの上面の高さＨ１とする。 First, the box height estimator 406 obtains the height of the upper surface of the boxes W stacked on the top of the pallet Pa, as shown in FIG. 8(a). Here, the box height estimation unit 406 uses the recognition information of the boxes recognized by the box recognition unit 403 in order to obtain the height H1 of the upper surface of the boxes W stacked on the top of the pallet Pa. Based on the box recognition information, the box height estimating unit 406 extracts a three-dimensional point cloud of the upper surface of the box W stacked on the top shelf on the pallet Pa. The average of the values in the Z-axis direction of the set coordinate system 30 is set as the height H1 of the upper surface of the boxes W stacked on the topmost tier on the pallet Pa.

次いで、図８（ｂ）に示すように、パレットＰａ上の左最上段に積まれた箱Ｗをロボット２により、撮像部３の撮影範囲外へ移動した状態で、座標系３０において箱Ｗの上面を構成する四角形のＸＹの座標が略同一でかつＺ軸方向の位置がプラス方向に存在する三次元点群を抽出する。そして、同様に抽出した三次元点群における座標系３０におけるＺ軸方向の値の平均をパレットＰａ上の左最上段に積まれた箱Ｗの底面の高さＨ２とする。これにより、図８（ｂ）に示す高さＨ１から高さＨ２を差し引けば、箱Ｗの高さＨＡの値が算出されることとなる。しかして、このように箱の高さを推定することにより、撮像部３以外のセンサを用いることなく、箱の高さが推定できるため、装置が簡略になるという効果がある。 Next, as shown in FIG. 8(b), the robot 2 moves the boxes W stacked on the upper leftmost stage of the pallet Pa out of the photographing range of the imaging unit 3, and the boxes W are placed in the coordinate system 30. A three-dimensional point group in which the XY coordinates of the quadrangles forming the upper surface are substantially the same and the position in the Z-axis direction is in the positive direction is extracted. Then, the average of the values in the Z-axis direction in the coordinate system 30 in the three-dimensional point group extracted in the same manner is taken as the height H2 of the bottom of the boxes W stacked on the upper leftmost stage on the pallet Pa. Accordingly, the value of the height HA of the box W can be calculated by subtracting the height H2 from the height H1 shown in FIG. 8(b). By estimating the height of the box in this way, the height of the box can be estimated without using a sensor other than the imaging unit 3, so that the device can be simplified.

移載順決定部４０７は、箱認識部４０３で認識した箱の移載順番を決めるものである。この移載順決定部４０７で決定する箱の移載順の決定方法について、図９を用いて説明する。 The transfer order determination unit 407 determines the transfer order of the boxes recognized by the box recognition unit 403 . A method for determining the transfer order of boxes determined by the transfer order determination unit 407 will be described with reference to FIG.

図９は、パレットＰａ上に積まれた複数の箱Ｗを撮像部３の座標系３０のＺ軸プラス方向から見た図である。移載順決定部４０７は、コンベアＣと箱認識部４０３で認識した箱の座標系３０におけるＸＹ平面上の距離に基づいて移載順番を決定する。コンベアＣと箱認識部４０３で認識した箱の距離とは、コンベアＣ上に定義したプレース位置Ｃａと、認識した箱の中心、例えばＯ１、Ｏ２である。ここで、プレース位置Ｃａと箱の中心Ｏ１、Ｏ２との距離は、それぞれ距離Ｌ１，Ｌ２である。距離Ｌ１と距離Ｌ２を比べた時、距離Ｌ１の方が短いため、移載順番は、中心Ｏ１を有する箱Ｗが先になる。同様に、パレットＰａ上に積まれた複数の箱Ｗの他の箱Ｗの移載順番もプレース位置Ｃａとの距離によって決定する。しかして、このように、プレース位置Ｃａと箱Ｗの中心との距離により移載順番を決定することで、ロボット２の移載時間を削減することができるという効果がある。また、ロボット２の移載時間を削減することで、箱Ｗを移載する時に箱Ｗが落下する可能性が減少するという効果もある。 FIG. 9 is a diagram of a plurality of boxes W stacked on the pallet Pa viewed from the Z-axis plus direction of the coordinate system 30 of the imaging unit 3. As shown in FIG. The transfer order determination unit 407 determines the transfer order based on the distance between the conveyor C and the box recognized by the box recognition unit 403 on the XY plane in the coordinate system 30 . The distance between the conveyor C and the box recognized by the box recognition unit 403 is the place position Ca defined on the conveyor C and the center of the recognized box, eg, O1, O2. Here, the distances between the place position Ca and the centers O1 and O2 of the boxes are distances L1 and L2, respectively. When the distance L1 and the distance L2 are compared, since the distance L1 is shorter, the box W having the center O1 is transferred first. Similarly, the transfer order of other boxes W among the plurality of boxes W stacked on the pallet Pa is also determined by the distance from the place position Ca. Thus, by determining the transfer order based on the distance between the place position Ca and the center of the box W, there is an effect that the transfer time of the robot 2 can be reduced. Also, by reducing the transfer time of the robot 2, there is an effect that the possibility of the box W falling when the box W is transferred is reduced.

箱の向き決定部４０８は、サイズ推定部４０５で推定した箱のサイズに基づいて箱Ｗの向きを決定するものである。ここで、箱の向きの決定とは、箱Ｗに対して箱座標系を対応付ける事である。この箱Ｗの向きは、箱Ｗの上面の長辺と短辺の長さに基づいて決定する。この箱の向き推定について、図１０（ａ）を用いて説明する。 The box orientation determination unit 408 determines the orientation of the box W based on the size of the box estimated by the size estimation unit 405 . Here, determining the orientation of the box means associating the box W with the box coordinate system. The orientation of this box W is determined based on the lengths of the long and short sides of the upper surface of the box W. This orientation estimation of the box will be described with reference to FIG.

図１０（ａ）に示す箱Ｗにおいて、この箱Ｗの長辺はＷＬａ、短辺はＷＨａである。そして、箱Ｗの向きは、箱座標系ＷＺａによって定義する。箱座標系ＷＺａのＸ軸は箱Ｗにおける長辺ＷＬａと平行に設定し、箱座標系ＷＺａのＹ軸は、箱Ｗの短辺ＷＨａと平行に設定する。そして、箱座標系ＷＺａのＺ軸は、箱Ｗの内側の方向に定義する。また、箱座標系ＷＺａの原点は、箱Ｗの上面の四角形の重心に設定する。 In the box W shown in FIG. 10(a), the long side of the box W is WLa and the short side is WHa. The orientation of the box W is defined by the box coordinate system WZa. The X axis of the box coordinate system WZa is set parallel to the long side WLa of the box W, and the Y axis of the box coordinate system WZa is set parallel to the short side WHa of the box W. The Z-axis of the box coordinate system WZa is defined in the direction inside the box W. The origin of the box coordinate system WZa is set at the center of gravity of the square on the upper surface of the box W.

しかして、このように、箱Ｗの向きを箱のサイズに基づいて決定することで、ＩＴＦコードが印刷された箱であれば、少なくとも、長辺に属する面にバーコードがある場合が多いため、箱ＷをコンベアＣに配置するときに箱Ｗの向きを毎回同じ向きに置くことで複数のバーコードリーダーを置く必要がなくなり、もって、機器の構成が単純になるという効果がある。 Therefore, by determining the orientation of the box W based on the size of the box in this way, if the ITF code is printed on the box, there are many cases where at least the surface belonging to the long side has the bar code. By placing the boxes W in the same direction each time when placing the boxes W on the conveyor C, there is no need to install a plurality of bar code readers, thereby simplifying the configuration of the equipment.

コンベア上での置き位置姿勢決定部４０９は、箱の高さ推定部４０６で推定した箱の高さの値、箱の向き決定部４０８で決定した箱Ｗの箱座標系ＷＺａ（図１０（ａ）参照）の情報に基づいて、箱ＷのコンベアＣ上での置き位置を決定する。ここで、箱ＷのコンベアＣ上での置き位置の決定とは、コンベアＣ上に定義されたコンベア座標系に対して、箱の向き決定部４０８で決定した、箱Ｗの箱座標系ＷＺａ（図１０（ａ）参照）の位置姿勢を決定することである。この点、図１０（ｂ）を用いて、コンベア上での置き位置姿勢決定部４０９による、箱ＷのコンベアＣ上での置き位置の決定方法について説明する。 A placement position/orientation determination unit 409 on the conveyor determines the value of the height of the box estimated by the box height estimation unit 406, the box coordinate system WZa of the box W determined by the box orientation determination unit 408 (Fig. 10(a) )), the placement position of the box W on the conveyor C is determined. Here, the determination of the placement position of the box W on the conveyor C means that the box coordinate system WZa ( (See FIG. 10(a)) to determine the position and orientation. In this regard, a method for determining the placement position of the box W on the conveyor C by the placement position/orientation determining unit 409 on the conveyor will be described with reference to FIG. 10B.

図１０（ｂ）に示す符号ＣＺａは、コンベアＣ上に定義したコンベア座標系である。コンベア座標系ＣＺａは、コンベアＣ上の表面の位置に定義する。このコンベア座標系ＣＺａは、右手系の座標系であり、コンベアＣの長辺方向は、コンベア座標系ＣＺａのＸ軸と平行に設定し、コンベアＣの短辺方向は、コンベア座標系ＣＺａのＹ軸と平行に設定し、コンベアＣの重力方向は、コンベア座標系ＣＺａのＺ軸と平行に設定する。これにより、箱ＷのコンベアＣ上での置き姿勢は、コンベア座標系ＣＺａに対して箱座標系ＷＺａはコンベア座標系ＣＺａと同一となる。それゆえ、箱ＷのコンベアＣ上での置き位置は、コンベア座標系ＣＺａのＺ軸マイナス方向に箱の高さ推定部４０６で推定した箱Ｗの高さの値分だけ平行移動した位置となる。なお、この際、箱ＷのコンベアＣ上での置き位置は箱の高さ推定部４０６で推定した箱Ｗの高さに加えて誤差の値を考慮しあらかじめ計算した誤差の分散に基づいて箱ＷのコンベアＣ上での置き位置を決定すると良い。しかして、このようにすることで、箱Ｗの箱の高さを低く推定してしまった場合に、箱Ｗ配置時に箱Ｗを吸着ハンド２０（図１参照）によって押しつぶすリスクを低減するという効果がある。 A symbol CZa shown in FIG. 10B is a conveyor coordinate system defined on the conveyor C. A conveyor coordinate system CZa is defined at the position of the surface on the conveyor C. This conveyor coordinate system CZa is a right-handed coordinate system. The direction of gravity of the conveyor C is set parallel to the Z axis of the conveyor coordinate system CZa. As a result, the orientation of the box W placed on the conveyor C is such that the box coordinate system WZa is the same as the conveyor coordinate system CZa with respect to the conveyor coordinate system CZa. Therefore, the placement position of the box W on the conveyor C is a position translated in the Z-axis negative direction of the conveyor coordinate system CZa by the height value of the box W estimated by the box height estimation unit 406. . At this time, the placement position of the box W on the conveyor C is based on the variance of the error calculated in advance in consideration of the error value in addition to the height of the box W estimated by the box height estimating unit 406. It is preferable to determine the placement position of W on the conveyor C. By doing so, there is an effect of reducing the risk of the box W being crushed by the suction hand 20 (see FIG. 1) when the box W is placed when the height of the box W is estimated to be low. There is

ハンドの位置姿勢決定部４１０は、図１０に示す箱Ｗの箱座標系ＷＺａに対して、吸着ハンド２０（図１参照）に定義されているハンド座標系の位置を決定するものである。ここで、図１０（ｃ）を用いて、ハンドの位置姿勢決定部４１０による、箱座標系ＷＺａに対して、吸着ハンド２０に定義されているハンド座標系２０Ｚａの位置姿勢を決定する方法について説明する。 The hand position/orientation determination unit 410 determines the position of the hand coordinate system defined in the suction hand 20 (see FIG. 1) with respect to the box coordinate system WZa of the box W shown in FIG. Here, a method for determining the position and orientation of the hand coordinate system 20Za defined for the suction hand 20 with respect to the box coordinate system WZa by the hand position and orientation determination unit 410 will be described with reference to FIG. do.

図１０（ｃ）に示すハンド座標系２０Ｚａは、箱座標系ＷＺａと同様、右手系の座標系である。このハンド座標系２０Ｚａは、吸着ハンド２０の上面の重心に定義されており、吸着ハンド２０の上面の四角形の長辺がＸ軸と平行に設定され、短辺がＹ軸に平行に設定されている。そして、吸着ハンド２０の箱Ｗと吸着する側に対して、Ｚ軸方向に設定されている。ここで、箱Ｗに対する吸着ハンド２０の姿勢は、箱座標系ＷＺａに対してハンド座標系２０Ｚａと同一となるから、箱Ｗに対する吸着ハンド２０の位置は、箱座標系ＷＺａのＺ軸マイナス方向に吸着ハンド２０の厚み２０ａの距離だけ平行移動した位置となる。 A hand coordinate system 20Za shown in FIG. 10C is a right-handed coordinate system, like the box coordinate system WZa. This hand coordinate system 20Za is defined at the center of gravity of the upper surface of the suction hand 20. The long sides of the square on the upper surface of the suction hand 20 are set parallel to the X axis, and the short sides are set parallel to the Y axis. there is It is set in the Z-axis direction with respect to the side of the suction hand 20 that suctions the box W. As shown in FIG. Here, since the posture of the suction hand 20 with respect to the box W is the same as the hand coordinate system 20Za with respect to the box coordinate system WZa, the position of the suction hand 20 with respect to the box W is in the Z-axis minus direction of the box coordinate system WZa. It is a position translated by a distance corresponding to the thickness 20a of the suction hand 20 .

重量計測部４１１は、吸着ハンド２０とロボット２のフランジ間に設置した重量センサ２１（図１参照）が出力した値をＰＬＣ５（図１参照）経由で読み取り吸着ハンド２０で吸着している箱の重量を推定し出力するものである。この重量センサ２１が出力する値は、吸着ハンド２０の重量も含む為、あらかじめ設定保持部４０２に吸着ハンド２０の重量を保持して置き、重量センサ２１の出力値から差し引いて出力する。 The weight measurement unit 411 reads the value output by the weight sensor 21 (see FIG. 1) installed between the suction hand 20 and the flange of the robot 2 via the PLC 5 (see FIG. 1) and measures the weight of the box that is being sucked by the suction hand 20. It estimates and outputs the weight. Since the value output by the weight sensor 21 also includes the weight of the suction hand 20, the weight of the suction hand 20 is held in advance in the setting holding unit 402, and is subtracted from the output value of the weight sensor 21 and output.

ここで、図１１を用いて、重量計測部４１１の重量推定方法について説明する。重量計測部４１１は、箱Ｗが、吸着ハンド２０に吸着した状態で、重量を計測する。また、重量計測部４１１は、ロボット２が静止した状態で、且つ、箱Ｗが静止した状態で重量を計測し、箱Ｗが振動している場合は、振動が収まるまで待ってから計測することとなる。しかして、このようにロボット２、及び、箱Ｗが静止した状態において、箱Ｗの重量を計測することで、箱Ｗの振動が箱の重量計測に与える影響を削減する事ができ、もって、重量の計測精度が向上するという効果がある。なお、重量センサ２１が出力する値は、吸着ハンド２０の重量も含む為、あらかじめ設定保持部４０２に吸着ハンド２０の重量を保持して置き、重量センサ２１の出力値から差し引いて出力することとなる。 Here, the weight estimation method of the weight measurement unit 411 will be described with reference to FIG. 11 . The weight measurement unit 411 measures the weight of the box W while it is being sucked by the suction hand 20 . Further, the weight measurement unit 411 measures the weight while the robot 2 is stationary and the box W is stationary, and if the box W is vibrating, it waits until the vibration subsides before performing the measurement. becomes. By measuring the weight of the box W while the robot 2 and the box W are stationary, it is possible to reduce the influence of the vibration of the box W on the measurement of the weight of the box. This has the effect of improving the measurement accuracy of the weight. Since the value output by the weight sensor 21 also includes the weight of the suction hand 20, the weight of the suction hand 20 is held in advance in the setting holding unit 402, and is subtracted from the output value of the weight sensor 21 and output. Become.

移載速度決定部４１２は、ロボット２の吸着ハンド２０の加減速度を決定するものである。決定するロボット２の加減速度は、ロボット２のフランジ部分の加減速度を表すものである。この加減速度は、ロボット２が移載する箱Ｗの重さに基づいて数式１によって求められることとなる。 The transfer speed determination unit 412 determines the acceleration/deceleration of the suction hand 20 of the robot 2 . The acceleration/deceleration of the robot 2 to be determined represents the acceleration/deceleration of the flange portion of the robot 2 . This acceleration/deceleration is obtained by Equation 1 based on the weight of the box W to be transferred by the robot 2 .

Figure 0007280655000001
Figure 0007280655000001

この数１において、ｘは箱の重量であり単位はｋｇである。そして、ｆ（ｘ）は加減速度を表し、単位はｍ／ｓ２である。 In this equation 1, x is the weight of the box in kg. And f(x) represents the acceleration/deceleration, and the unit is m/ s2 .

図１２は、数１のグラフを表す図であり、横軸は箱Ｗの重量を表し、縦軸は加減速度を表している。図１２に示すように、箱Ｗの重量の増加とともに、ロボット２の加減速度は減少し、箱Ｗの重量が３０ｋｇの時に、ロボット２の加減速度は、０．５ ｍ／ｓ２になり、箱の重量が３０ｋｇ以上である場合は、ロボット２の加減速度は、 ０．５ｍ／ｓ２固定となる。 FIG. 12 is a diagram showing a graph of Equation 1, in which the horizontal axis represents the weight of the box W and the vertical axis represents the acceleration/deceleration. As shown in FIG. 12 , the acceleration/deceleration of the robot 2 decreases as the weight of the box W increases. When the weight of the box is 30 kg or more, the acceleration/deceleration of the robot 2 is fixed at 0.5 m/ s2 .

ところで、ロボット２の移載速度の設定に加減速度を用いている理由は、加減速の大きさに応じて箱Ｗと吸着ハンド２０との間に力が生じ、箱Ｗが搬送時に落下する可能性があるからである。それゆえ、箱Ｗの重量が重い場合にロボット２の加減速度を減少させることによって、箱Ｗの移載時の落下する確率が減少するという効果がある。 By the way, the reason why the acceleration/deceleration is used to set the transfer speed of the robot 2 is that a force is generated between the box W and the suction hand 20 according to the magnitude of the acceleration/deceleration, and the box W may drop during transportation. It is because there is a nature. Therefore, by reducing the acceleration/deceleration of the robot 2 when the weight of the box W is heavy, there is an effect that the probability of the box W falling during transfer is reduced.

＜情報処理装置の処理内容の説明＞
次に、図３に示すフローチャートも参照し、本実施形態に示す情報処理装置４の処理内容について説明する。 <Explanation of processing contents of information processing device>
Next, the processing contents of the information processing apparatus 4 shown in this embodiment will be described with reference to the flowchart shown in FIG.

まず、図２に示す判断部４００は、ロボット２の姿勢をホームポジションへ戻す処理を行う（ステップＳ１）。 First, the determination unit 400 shown in FIG. 2 performs processing for returning the posture of the robot 2 to the home position (step S1).

次いで、判断部４００は、倉庫管理システムＳＫからデパレタイズの指示があった場合（ステップＳ２：ＹＥＳ）に、Ｓ３へ進み、デパレタイズの指示がない場合（ステップＳ２：ＮＯ）は、再度Ｓ２の処理へ戻り、倉庫管理システムＳＫからデパレタイズの指示を待ち続ける。 Next, if there is a depalletizing instruction from the warehouse management system SK (step S2: YES), the determination unit 400 proceeds to S3, and if there is no depalletizing instruction (step S2: NO), the determination unit 400 proceeds to the processing of S2 again. It returns and waits for a depalletizing instruction from the warehouse management system SK.

次いで、判断部４００は、倉庫管理システムＳＫからピック対象に紐づいているＩＴＦコードと必要ピック数を入力する（ステップＳ３）。ここで必要ピック数とは、パレットＰａ上に積まれた複数の箱Ｗに対して、ロボット２で移載する箱の数である。 Next, the determination unit 400 inputs the ITF code linked to the pick target and the required number of picks from the warehouse management system SK (step S3). Here, the required number of picks is the number of boxes to be transferred by the robot 2 from the plurality of boxes W stacked on the pallet Pa.

次いで、判断部４００は、必要ピック数として入力した箱の数を移載したかどうかチェックする（ステップＳ４）。もし、必要ピック数として入力した箱の数を移載完了していた場合（ステップＳ４：ＹＥＳ）、ステップＳ１の処理へ戻り、そうでなければ（ステップＳ４：ＮＯ）、ステップＳ５の処理へ進む。 Next, the determination unit 400 checks whether or not the number of boxes input as the required number of picks has been transferred (step S4). If the number of boxes input as the required number of picks has been transferred (step S4: YES), the process returns to step S1; otherwise (step S4: NO), the process proceeds to step S5. .

次いで、判断部４００は、撮像部３を制御し、パレットＰａ上に積まれた複数の箱Ｗを撮影する（ステップＳ５）。 Next, the determination section 400 controls the imaging section 3 to photograph the plurality of boxes W stacked on the pallet Pa (step S5).

次いで、判断部４００は、撮像部３から入力した距離画像（例えば、図６（ａ）に示す距離画像ＧＡ参照）を箱認識部４０３へ出力する。これを受けて、箱認識部４０３は、図６（ｂ），（ｃ）に示すような箱認識処理を行う（ステップＳ６）。 Next, the determination section 400 outputs the distance image input from the imaging section 3 (see, for example, the distance image GA shown in FIG. 6A) to the box recognition section 403 . In response to this, the box recognition unit 403 performs box recognition processing as shown in FIGS. 6(b) and 6(c) (step S6).

次いで、ずらし判定部４０４は、上記説明したように、ずらし動作を行うかどうか判断する（ステップＳ７）。ずらし動作を行うと判断した場合（ステップＳ７：ＹＥＳ）、ステップＳ８へ進み、ずらし動作を行わないと判断した場合（ステップＳ７：ＮＯ）、ステップＳ１１へ進む。 Next, the shift determination unit 404 determines whether or not to perform a shift operation, as described above (step S7). If it is determined to perform the shifting operation (step S7: YES), the process proceeds to step S8, and if it is determined not to perform the shifting operation (step S7: NO), the process proceeds to step S11.

次いで、判断部４００は、ずらし判定部４０４がずらし動作を行うと判断した場合（ステップＳ７：ＹＥＳ）、ロボット２を制御し、ずらし動作を行うこととなる。 Next, when the shift determination unit 404 determines to perform the shift motion (step S7: YES), the determination unit 400 controls the robot 2 to perform the shift motion.

次いで、判断部４００は、撮像部３を制御し、ずらし動作を行った後に、パレットＰａ上に積まれた複数の箱Ｗを再撮影する（ステップＳ９）。 Next, the determination section 400 controls the imaging section 3 to perform the shifting operation, and then re-photographs the plurality of boxes W stacked on the pallet Pa (step S9).

次いで、判断部４００は、撮像部３から入力した距離画像（例えば、図６（ａ）に示す距離画像ＧＡ参照）を箱認識部４０３へ出力する。これを受けて、箱認識部４０３は、図６（ｂ），（ｃ）に示すような箱認識処理を行う（ステップＳ１０）。 Next, the determination section 400 outputs the distance image input from the imaging section 3 (see, for example, the distance image GA shown in FIG. 6A) to the box recognition section 403 . In response to this, the box recognition unit 403 performs box recognition processing as shown in FIGS. 6(b) and 6(c) (step S10).

次いで、サイズ推定部４０５は、上記説明したように、箱Ｗのサイズを推定し、推定した箱Ｗのサイズの情報を箱情報保持部４０１で保持する処理を行う（ステップＳ１１）。 Next, as described above, the size estimation unit 405 estimates the size of the box W, and performs processing for storing information on the estimated size of the box W in the box information storage unit 401 (step S11).

次いで、箱の向き決定部４０８は、上記説明したように、箱Ｗの向きを推定する処理を行う（ステップＳ１２）。 Next, the box orientation determination unit 408 performs the process of estimating the orientation of the box W as described above (step S12).

次いで、移載順決定部４０７は、上記説明したように、箱認識部４０３で認識した箱Ｗの位置情報に基づいて、箱の移載順を決定する処理を行う（ステップＳ１３）。 Next, as described above, the transfer order determination unit 407 performs processing for determining the transfer order of the boxes based on the position information of the boxes W recognized by the box recognition unit 403 (step S13).

次いで、判断部４００は、移載順決定部４０７で決定した移載順の最初に吸着すべき箱Ｗに対して、ハンドの位置姿勢決定部４１０の吸着ハンド２０の位置姿勢情報に基づいてロボット２を制御する。これにより、ロボット２は、吸着ハンド２０にて箱Ｗを吸着することとなる（ステップＳ１４）。 Next, the determination unit 400 determines the position/orientation of the pickup hand 20 of the hand position/attitude determination unit 410 for the first box W to be picked up in the transfer order determined by the transfer order determination unit 407 . 2. As a result, the robot 2 picks up the box W with the picking hand 20 (step S14).

次いで、判断部４００は、箱情報保持部４０１を参照し、倉庫管理システムＳＫから入力したＩＴＦコードに対して、箱Ｗの高さの情報が存在するか否かを確かめる。箱の高さの情報が存在すれば（ステップＳ１５：ＹＥＳ）、ステップＳ１９へ進み、存在しなければ（ステップＳ１５：ＮＯ）、ステップＳ１６へ進む。 Next, the determination unit 400 refers to the box information holding unit 401 and checks whether information on the height of the box W exists for the ITF code input from the warehouse management system SK. If the box height information exists (step S15: YES), the process proceeds to step S19, and if not (step S15: NO), the process proceeds to step S16.

次いで、判断部４００は、箱の高さの情報が存在しなければ（ステップＳ１５：ＮＯ）、ロボット２を制御し、パレットＰａ上に積まれた複数の箱Ｗが撮影可能な位置にロボット２を退避させる（ステップＳ１６）。 Next, if there is no box height information (step S15: NO), the determination unit 400 controls the robot 2 to move the robot 2 to a position where the plurality of boxes W stacked on the pallet Pa can be photographed. is saved (step S16).

次いで、判断部４００は、撮像部３を制御し、パレットＰａ上に積まれた複数の箱Ｗを撮影する（ステップＳ１７）。 Next, the determination section 400 controls the imaging section 3 to photograph the plurality of boxes W stacked on the pallet Pa (step S17).

次いで、箱の高さ推定部４０６は、撮像部３から入力した２つの距離画像に基づいて箱の高さを算出し、算出した箱の高さを、箱情報保持部４０１に格納されている図４に示す箱情報テーブルＴＢＬＡの対応するＩＴＦコードＴＢＬＡａのレコードに保存する処理を行う（ステップＳ１８）。 Next, the box height estimating unit 406 calculates the height of the box based on the two distance images input from the imaging unit 3, and the calculated box height is stored in the box information holding unit 401. A process of saving in the record of the corresponding ITF code TBLAa in the box information table TBLA shown in FIG. 4 is performed (step S18).

次いで、判断部４００は、箱情報保持部４０１を参照し、倉庫管理システムＳＫから入力したＩＴＦコードに対して重量の情報が存在するか否かを確かめる（ステップＳ１９）。重量の情報が存在すれば（ステップＳ１９：ＹＥＳ）、ステップＳ２２へ進み、存在しなければ（ステップＳ１９：ＮＯ）、ステップＳ２０へ進む。 Next, the determination unit 400 refers to the box information holding unit 401 and checks whether weight information exists for the ITF code input from the warehouse management system SK (step S19). If weight information exists (step S19: YES), the process proceeds to step S22, and if not (step S19: NO), the process proceeds to step S20.

次いで、判断部４００は、重量の情報が存在しなければ（ステップＳ１９：ＮＯ）、ロボット２を制御し、吸着している箱Ｗを、あらかじめ設定した重量計測位置で静止させる（ステップＳ２０）。 Next, if the weight information does not exist (step S19: NO), the determination unit 400 controls the robot 2 to stop the sucked box W at a preset weight measurement position (step S20).

次いで、重量計測部４１１は、重量センサ２１の箱の重量の情報を、ＰＬＣ５経由で読み取り、箱情報保持部４０１に格納されている図４に示す箱情報テーブルＴＢＬＡの対応するＩＴＦコードＴＢＬＡａのレコードに保存する（ステップＳ２１）。 Next, the weight measurement unit 411 reads the information on the weight of the box from the weight sensor 21 via the PLC 5, and the record of the corresponding ITF code TBLAa in the box information table TBLA shown in FIG. (step S21).

次いで、移載速度決定部４１２は、上記説明したように、箱情報保持部４０１より箱の重量の情報を読み出し、箱の重量に基づいて移載時の加減速度を決定する（ステップＳ２２）。 Next, the transfer speed determining unit 412 reads out the information on the weight of the box from the box information holding unit 401 and determines the acceleration/deceleration during transfer based on the weight of the box, as described above (step S22).

次いで、コンベア上での置き位置姿勢決定部４０９は、上記説明したように、コンベアＣ上での箱Ｗの置き位置を決定し、その決定した情報を、判断部４００へ出力する（ステップＳ２３）。 Next, the placement position/orientation determination section 409 on the conveyor determines the placement position of the box W on the conveyor C as described above, and outputs the determined information to the determination section 400 (step S23). .

次いで、判断部４００は、ロボット２を制御し、コンベア上での置き位置姿勢決定部４０９で決定したコンベアＣの上での箱Ｗの置き位置に対して、移載速度決定部４１２で決定した加減速度で箱Ｗを移載し、もって、ピック数を１つ減少させる（ステップＳ２４）。 Next, the determination unit 400 controls the robot 2 to determine the placement position of the box W on the conveyor C determined by the placement position/orientation determination unit 409 on the conveyor C by the transfer speed determination unit 412. The box W is transferred by acceleration/deceleration, thereby reducing the number of picks by one (step S24).

次いで、判断部４００は、ＰＬＣ５を介して、コンベアＣを制御し、コンベアＣ上に置かれた箱Ｗを倉庫へ移送することとなる（ステップＳ２５）。そして、この処理を終えた後、ステップＳ４の処理へ戻ることとなる。 Next, the determination unit 400 controls the conveyor C via the PLC 5 to transfer the boxes W placed on the conveyor C to the warehouse (step S25). After completing this process, the process returns to step S4.

＜箱の高さ計測に関する説明＞
ここで、本実施形態の特徴とするところは、箱の高さ推定部４０６の処理内容に関するところであるため、この点、以下、詳しく説明することとする。 <Explanation on box height measurement>
Here, since the feature of this embodiment relates to the processing content of the box height estimation unit 406, this point will be described in detail below.

上記説明したように、箱の高さ推定部４０６は、パレットＰａ上に積まれた箱Ｗの高さを推定するものであるが、図１３（ａ）に示すように、パレットＰａ上に空間Ｓが空いた状態で複数の箱Ｗが積まれていた場合、箱Ｗの高さの推定を誤って計測してしまう可能性がある。すなわち、箱Ｗの高さを推定するにあたっては、撮像部３にて、図１３（ａ）に示すように、パレットＰａ上に積まれた複数の箱Ｗの三次元点群計測を行い、次いで、図１３（ｂ）に示すように、パレットＰａ上の最上段に積まれた箱Ｗをロボット２により、撮像部３の撮影範囲外へ移動した後、再度、撮像部３にて、パレットＰａ上に積まれた複数の箱Ｗの三次元点群計測を行った上で、箱Ｗの高さを推定することとなる。しかしながら、この際、箱の高さ推定部４０６が、空間Ｓも含めた箇所（図１３（ｂ）に示す破線部分参照）を箱Ｗの高さと推定しまう可能性がある。この点、より詳しく説明すると、図１４（ａ）に示すように、パレットＰａ上の最上段に積まれた箱Ｗをロボット２により、撮像部３の撮影範囲外へ移動した後、再度、撮像部３にて、パレットＰａ上に積まれた複数の箱Ｗの三次元点群計測を行うと、図１４（ｂ）に示すような三次元点群が計測されることとなる。すなわち、図１４に示すように、パレットＰａ上の最上段に積まれた箱Ｗをロボット２により移動した結果として、新たに最上面となる位置にあるａ．の面内の三次元点群、そして、パレットＰａ上の最上段に積まれた箱Ｗをロボット２により移動した結果として表れた空間Ｓの底の位置にあるｂ．の面内の三次元点群、そしてさらに、空間Ｓの側面の位置にあるｃ．の面内の三次元点群が計測されることとなる。 As described above, the box height estimation unit 406 estimates the height of the boxes W stacked on the pallet Pa. As shown in FIG. If a plurality of boxes W are stacked while S is empty, there is a possibility that the height of each box W will be erroneously measured. That is, in estimating the height of the box W, as shown in FIG. 13(b), after the robot 2 moves the boxes W stacked on the top of the pallet Pa out of the imaging range of the imaging unit 3, the imaging unit 3 picks up the pallet Pa The height of each box W is estimated after performing three-dimensional point cloud measurement of a plurality of boxes W stacked on top. However, at this time, the box height estimation unit 406 may estimate the height of the box W to be the part including the space S (see the dashed line portion shown in FIG. 13B). To explain this in more detail, as shown in FIG. 14(a), the robot 2 moves the boxes W stacked on the top of the pallet Pa out of the imaging range of the imaging unit 3, and then images them again. When the three-dimensional point group measurement of a plurality of boxes W stacked on the pallet Pa is performed in the section 3, a three-dimensional point group as shown in FIG. 14(b) is measured. That is, as shown in FIG. 14, as a result of moving the box W stacked on the top of the pallet Pa by the robot 2, the box a. and b. at the bottom of the space S that appears as a result of moving the box W stacked on the top of the pallet Pa by the robot 2. b. , and in addition, c. A three-dimensional point cloud in the plane of is measured.

ところで、このように計測された三次元点群を何ら分類することなく、面フィッティングと呼ばれる手法を適用すると、上記のように計測された三次元点群それぞれが持つ高さ方向の位置の差が面フィッティングに影響し、もって、適切な高さを推定することができないこととなる。それゆえ、箱の高さ推定部４０６が、空間Ｓも含めた箇所（図１３（ｂ）に示す破線部分参照）を箱Ｗの高さと推定しまう可能性がある。 By the way, if a method called surface fitting is applied without classifying the 3D point clouds measured in this way, the difference in the position in the height direction of each 3D point cloud measured as described above is It will affect the surface fitting and thus will not be able to estimate the proper height. Therefore, there is a possibility that the height estimation unit 406 of the box estimates the height of the box W to be the part including the space S (see the broken line portion shown in FIG. 13B).

そこで、本実施形態においては、上記のような問題点を解消すべく、箱の高さ推定部４０６にて以下のような処理を行っている。 Therefore, in this embodiment, the following processing is performed by the box height estimation unit 406 in order to solve the above problems.

図１５に示すように、まず、判断部４００（図２参照）は、撮像部３を制御し、パレットＰａ上に積まれた複数の箱Ｗ（図１３（ａ）参照）を撮影し、第１点群計測を行う（ステップＳ５０）。 As shown in FIG. 15, first, the determination unit 400 (see FIG. 2) controls the image capturing unit 3 to capture an image of a plurality of boxes W stacked on the pallet Pa (see FIG. 13A). One point group measurement is performed (step S50).

次いで、判断部４００は、撮像部３から入力した距離画像（例えば、図６（ａ）に示す距離画像ＧＡ参照）を箱認識部４０３へ出力する。これを受けて、箱認識部４０３は、図６（ｂ），（ｃ）に示すような箱認識処理を行う（ステップＳ５１）。 Next, the determination section 400 outputs the distance image input from the imaging section 3 (see, for example, the distance image GA shown in FIG. 6A) to the box recognition section 403 . In response to this, the box recognition unit 403 performs box recognition processing as shown in FIGS. 6(b) and 6(c) (step S51).

次いで、判断部４００は、箱認識部４０３にて認識した箱の認識情報を用い、移載対象の箱Ｗを定める（ステップＳ５２）。 Next, the determination unit 400 determines the boxes W to be transferred using the recognition information of the boxes recognized by the box recognition unit 403 (step S52).

次いで、判断部４００にて定められた移載対象の箱Ｗの上面（第１の上面）の位置を箱の高さ推定部４０６にて求める。すなわち、箱の高さ推定部４０６は、箱認識部４０３にて認識した箱の認識情報を用い、撮像部３からの距離Ｄｍ（図１３（ａ）参照）、及び、撮像部３内の平面座標（Ｘｃ，Ｙｃ）を求めることにより、移載対象の箱Ｗの上面（第１の上面）の位置（図８（ａ）に示すＨ１参照）を求める。そして、サイズ推定部４０５は、移載対象の箱Ｗの縦、横のサイズを求める。そしてさらに、箱の向き決定部４０８は、移載対象の箱Ｗの法線方向を求める（ステップＳ５３）。これにより、第１箱情報が取得できることとなる。 Next, the position of the upper surface (first upper surface) of the box W to be transferred determined by the determining unit 400 is obtained by the box height estimating unit 406 . That is, the box height estimation unit 406 uses the recognition information of the box recognized by the box recognition unit 403 to determine the distance Dm from the imaging unit 3 (see FIG. 13A) and the plane inside the imaging unit 3. By obtaining the coordinates (Xc, Yc), the position of the upper surface (first upper surface) of the box W to be transferred (see H1 shown in FIG. 8A) is obtained. Then, the size estimation unit 405 obtains the vertical and horizontal sizes of the box W to be transferred. Further, the box orientation determining unit 408 obtains the normal direction of the box W to be transferred (step S53). As a result, the first box information can be obtained.

次いで、判断部４００は、ロボット２を制御し、移載対象の箱Ｗを吸着ハンド２０にて吸着し、そのまま所定の待機場所に移動させる（ステップＳ５４）。 Next, the determination unit 400 controls the robot 2 to suck the box W to be transferred by the suction hand 20, and moves it to a predetermined waiting place (step S54).

次いで、判断部４００（図２参照）は、撮像部３を制御し、パレットＰａ上に積まれた複数の箱Ｗ（図１３（ｂ）参照）を撮影し、第２点群計測を行う（ステップＳ５６）。 Next, the determination unit 400 (see FIG. 2) controls the imaging unit 3 to shoot a plurality of boxes W (see FIG. 13B) stacked on the pallet Pa, and performs second point cloud measurement ( step S56).

次いで、箱の高さ推定部４０６は、移載対象の箱Ｗを支えていた面（第２の上面、図１３（ｂ）では、空間Ｓを空けて並列している２つの箱Ｗの上面）を推定する（ステップＳ５６）。 Next, the box height estimating unit 406 determines the surface that supported the box W to be transferred (the second upper surface; in FIG. ) is estimated (step S56).

ここで、このステップＳ５６の処理について、図１６～図１８を参照して具体的に説明する。図１６に示すように、第２点群計測を行った後（ステップＳ５５）、箱の高さ推定部４０６は、第２点群計測で得られた三次元点群のうち、第１箱情報で得られた撮像部３からの距離Ｄｍと同じ距離に属する三次元点群で、かつ、第１箱情報で得られた箱Ｗのサイズを持つ領域の三次元点群を第２の上面推定の対象から外す処理を行う（ステップＳ５６ａ）。この点、具体例を用いて説明すると、図２０（ａ）に示すように、パレットＰａ上に複数の箱Ｗが積まれた状態で、図２０（ｂ）に示すように、図示右下の箱ＷがステップＳ５４の処理により、ロボット２にて所定の待機場所に移動させられた際、箱の高さ推定部４０６は、太枠ＷＫで囲まれた部分を第２の上面推定の対象から外す処理を行うこととなる。しかして、このような処理を行うことにより、図２０（ｃ）に示すように、破線枠ＨＫを第２の上面推定の対象にしようというものである。 Here, the processing of step S56 will be specifically described with reference to FIGS. 16 to 18. FIG. As shown in FIG. 16, after performing the second point cloud measurement (step S55), the box height estimation unit 406 extracts the first box information from the three-dimensional point cloud obtained by the second point cloud measurement. A three-dimensional point cloud belonging to the same distance as the distance Dm from the imaging unit 3 obtained in , and a three-dimensional point cloud of an area having the size of the box W obtained from the first box information is subjected to the second top surface estimation is removed from the target (step S56a). To explain this point using a specific example, as shown in FIG. When the box W is moved to a predetermined standby location by the robot 2 in step S54, the box height estimation unit 406 removes the portion surrounded by the thick frame WK from the second top surface estimation target. It will be removed. Thus, by performing such processing, as shown in FIG. 20(c), the dashed-line frame HK is to be subjected to the second upper surface estimation.

次いで、箱の高さ推定部４０６は、パレットＰａ高さと、撮像部３からの距離Ｄｍとの間の三次元点群で、かつ、第１箱情報で得られた箱Ｗの画面上の位置（Ｘｃ，Ｙｃ）において三次元点群探索範囲を設定する。この三次元点群探索範囲としては、本実施例において、第１箱情報で得られた箱Ｗの画面上の位置（Ｘｃ，Ｙｃ）を基準として、第１箱情報で得られた箱Ｗの縦、横のサイズの１倍を第１探索範囲とし、１．７倍を第２探索範囲としている（ステップＳ５６ｂ）。この点、具体例を用いて説明すると、図２１（ａ），図２２に示すように、図２１（ａ）に示す太枠ＷＫ１で囲まれた部分が、図２２に示す箱Ｗの縦Ｗ１０、横Ｌ１０のサイズの１倍である第１探索範囲であり、図２１（ａ），図２２に示すように、図２１（ａ）に示す破線枠ＨＫ１で囲まれた部分が、図２２に示す箱Ｗの縦Ｗ１０、横Ｌ１０のサイズの１．７倍である第２探索範囲である。この第１探索範囲では、ステップＳ５６ａにて示す処理を行うことにより、図２１（ｂ）に示す白枠の部分が第２の上面推定の対象部分の三次元点群となり、第２探索範囲では、図２１（ｃ）に示す白枠の部分が第２の上面推定の対象部分の三次元点群となる。しかして、このようにすれば、探索範囲が広がることとなり、もって、正確な高さを推定できるという効果がある。なお、このパレットＰａ高さは、調整段階、点検時、始業時等においてパレットＰａだけを、予め、三次元点群計測を行い、求めておいたものである。 Next, the box height estimating unit 406 calculates the position of the box W on the screen obtained from the first box information in the three-dimensional point group between the height of the pallet Pa and the distance Dm from the imaging unit 3. A three-dimensional point group search range is set at (Xc, Yc). As the three-dimensional point group search range, in this embodiment, the position (Xc, Yc) of the box W obtained from the first box information on the screen is used as a reference, and the position (Xc, Yc) of the box W obtained from the first box information is The first search range is set to 1 times the vertical and horizontal sizes, and the second search range is set to 1.7 times the size (step S56b). To explain this point using a specific example, as shown in FIGS. 21A and 22, the portion surrounded by the thick frame WK1 shown in FIG. , and L10, and as shown in FIGS. This is the second search range that is 1.7 times the size of the box W shown in length W10 and width L10. In this first search range, by performing the processing shown in step S56a, the white frame portion shown in FIG. , and the white-framed portion shown in FIG. Thus, by doing so, the search range is expanded, and there is an effect that the accurate height can be estimated. The height of the pallet Pa is determined in advance by three-dimensional point cloud measurement of only the pallet Pa at the time of adjustment, inspection, and the start of work.

次いで、箱の高さ推定部４０６は、第１探索範囲において、図２１（ｂ）に示す白枠の部分の三次元点群に属する点の数が既定の数（例えば、１００）を超えたか否かを確認する（ステップＳ５６ｃ）。既定の数（例えば、１００）を超えていなければ（ステップＳ５６ｃ：ＮＯ）、図１５に示すステップＳ６３の処理を行い、表示装置４６（図１参照）に高さ計測失敗を報知する。 Next, the box height estimation unit 406 determines whether the number of points belonging to the three-dimensional point cloud in the white frame portion shown in FIG. Confirm whether or not (step S56c). If the predetermined number (for example, 100) is not exceeded (step S56c: NO), the process of step S63 shown in FIG. 15 is performed, and height measurement failure is reported to the display device 46 (see FIG. 1).

一方、既定の数（例えば、１００）を超えていれば（ステップＳ５６ｃ：ＹＥＳ）、箱の高さ推定部４０６は、第２探索範囲において、図２１（ｃ）に示す白枠の部分の三次元点群に属する点の数が既定の数（例えば、５００）を超えたか否かを確認する（ステップＳ５６ｄ）。既定の数（例えば、５００）を超えていなければ（ステップＳ５６ｄ：ＮＯ）、図１５に示すステップＳ６３の処理を行い、表示装置４６（図１参照）に高さ計測失敗を報知する。 On the other hand, if the predetermined number (for example, 100) is exceeded (step S56c: YES), the box height estimation unit 406 determines the cubic height of the white frame portion shown in FIG. 21C in the second search range. It is checked whether or not the number of points belonging to the original point cloud exceeds a predetermined number (eg, 500) (step S56d). If the predetermined number (for example, 500) is not exceeded (step S56d: NO), the process of step S63 shown in FIG. 15 is performed, and height measurement failure is reported to the display device 46 (see FIG. 1).

一方、既定の数（例えば、５００）を超えていれば（ステップＳ５６ｄ：ＹＥＳ）、箱の高さ推定部４０６は、第１探索範囲で得られた三次元点群を面フィッティング対象候補点群（第１対象点群候補抽出）とする（ステップＳ５６ｅ）。 On the other hand, if the predetermined number (for example, 500) is exceeded (step S56d: YES), the box height estimating unit 406 converts the three-dimensional point group obtained in the first search range into a plane fitting target candidate point group. (First target point cloud candidate extraction) (step S56e).

次いで、箱の高さ推定部４０６は、第２探索範囲で得られた三次元点群を面フィッティング対象候補点群（第２対象点群候補抽出）とする（ステップＳ５６ｆ）。 Next, the box height estimation unit 406 sets the three-dimensional point group obtained in the second search range as a plane fitting target candidate point group (second target point group candidate extraction) (step S56f).

次いで、箱の高さ推定部４０６は、面フィッティング対象候補点群を各点の高さに基づいて２群にクラスタリングする処理を行う（ステップＳ５６ｇ）。しかして、このようにクラスタリング処理を行うことにより、最適な第２の上面を得ることが可能となり、もって、移載対象の箱Ｗの高さをより正確に計測することができることとなる。 Next, the box height estimation unit 406 clusters the surface fitting target candidate point groups into two groups based on the height of each point (step S56g). By performing the clustering process in this manner, it becomes possible to obtain the optimum second upper surface, and thus the height of the boxes W to be transferred can be measured more accurately.

次いで、箱の高さ推定部４０６は、図１７に示すように、第１対象点群候補抽出のクラスタリング結果のそれぞれに属する三次元点群の点の数が既定の数（例えば、１００）を下回ればエラーの可能性有と判定する（ステップＳ５６ｈ）。 Next, as shown in FIG. 17, the box height estimation unit 406 determines that the number of points of the three-dimensional point cloud belonging to each clustering result of the first target point cloud candidate extraction is a predetermined number (for example, 100). If less, it is determined that there is a possibility of an error (step S56h).

次いで、箱の高さ推定部４０６は、第２対象点群候補抽出のクラスタリング結果のそれぞれに属する三次元点群の点の数が既定の数（例えば、５００）を下回ればエラーの可能性有と判定する（ステップＳ５６ｉ）。 Next, if the number of points of the three-dimensional point cloud belonging to each clustering result of the second target point cloud candidate extraction is less than a predetermined number (for example, 500), the box height estimating unit 406 may cause an error. (step S56i).

次いで、箱の高さ推定部４０６は、ステップＳ５６ｈ，ステップＳ５６ｉにて何れもエラーの可能性有と判定されたか否かを確認する（ステップＳ５６ｊ）。何れもエラーの可能性有と判定された場合（ステップＳ５６ｊ：ＹＥＳ）、図１５に示すステップＳ６３の処理を行い、表示装置４６（図１参照）に高さ計測失敗を報知する。 Next, the box height estimating unit 406 checks whether or not it is determined that there is a possibility of an error in both steps S56h and S56i (step S56j). If it is determined that there is a possibility of an error in both cases (step S56j: YES), the process of step S63 shown in FIG. 15 is performed, and height measurement failure is reported to the display device 46 (see FIG. 1).

一方、ステップＳ５６ｈ，ステップＳ５６ｉにて何れか一方がエラーの可能性有と判定されていなければ（ステップＳ５６ｊ：ＮＯ）、箱の高さ推定部４０６は、ノイズ除去のため、第１対象点群候補抽出に属する三次元点群の外周となる三次元点群を除去し、第１面フィッティング対象点群とする（ステップＳ５６ｋ）。 On the other hand, if it is not determined that there is a possibility of an error in either step S56h or step S56i (step S56j: NO), the box height estimation unit 406 removes noise from the first target point group A three-dimensional point group that is the outer perimeter of the three-dimensional point group belonging to the candidate extraction is removed and set as a first surface fitting target point group (step S56k).

次いで、箱の高さ推定部４０６は、ノイズ除去のため、第２対象点群候補抽出に属する三次元点群の外周となる三次元点群を除去し、第２面フィッティング対象点群とする（ステップＳ５６ｌ）。 Next, in order to remove noise, the box height estimation unit 406 removes the three-dimensional point group that is the outer periphery of the three-dimensional point group belonging to the second target point group candidate extraction, and sets it as the second surface fitting target point group. (Step S56l).

次いで、箱の高さ推定部４０６は、第１面フィッティング対象点群の点の数を確認し（ステップＳ５６ｍ）、第２面フィッティング対象点群の点の数を確認する（ステップＳ５６ｎ）。 Next, the box height estimation unit 406 confirms the number of points in the first-surface fitting target point cloud (step S56m), and confirms the number of points in the second-surface fitting target point cloud (step S56n).

次いで、箱の高さ推定部４０６は、第１面フィッティング対象点群の点の数が、既定の数（例えば、１００）を下回り、かつ、第２面フィッティング対象点群の点の数が、既定の数（例えば、５００）を下回っているか否かを確認する（ステップＳ５６ｏ）。何れも下回っていれば（ステップＳ５６ｏ：ＹＥＳ）、図１５に示すステップＳ６３の処理を行い、表示装置４６（図１参照）に高さ計測失敗を報知する。 Next, the box height estimation unit 406 determines that the number of points in the first surface fitting target point cloud is less than a predetermined number (for example, 100) and the number of points in the second surface fitting target point cloud is It is checked whether the number is below a predetermined number (eg, 500) (step S56o). If both are below (step S56o: YES), the process of step S63 shown in FIG. 15 is performed, and height measurement failure is reported to the display device 46 (see FIG. 1).

一方、何れか一方が下回っていなければ（ステップＳ５６ｏ：ＮＯ）、箱の高さ推定部４０６は、第１面フィッティング対象点群で得られる面で第１の高さを計算する（ステップＳ５６ｐ）。この点、より詳しく説明すると、図１８に示すように、まず、箱の高さ推定部４０６は、第１面フィッティング対象点群で得られる面の法線方向と、図１５に示すステップＳ５３にて求めた第１の上面の法線方向を比較する。その結果、許容範囲（予め設定された許容値）外であれば、エラーの可能性有と判定する（ステップＳ１００）。しかして、このようにすれば、ノイズの影響により不正確な面を認識している可能性を除去することができ、もって、移載対象の箱Ｗの高さをより正確に計測することができることとなる。 On the other hand, if either one is not below (step S56o: NO), the box height estimating unit 406 calculates the first height on the surface obtained from the first surface fitting target point group (step S56p). . To explain this point in more detail, as shown in FIG. Then, the normal directions of the first upper surface obtained by the method are compared. As a result, if it is outside the allowable range (preset allowable value), it is determined that there is a possibility of an error (step S100). Thus, by doing so, it is possible to eliminate the possibility of inaccurately recognizing the surface due to the influence of noise, thereby making it possible to more accurately measure the height of the box W to be transferred. It can be done.

次いで、箱の高さ推定部４０６は、第１面フィッティング対象点群を上から見て、図２３（ａ）に示すように、三次元点群を囲む外形ＨＫ１０を設定し、外形ＨＫ１０の縦Ｌ２０、横Ｗ２０を得る。そしてさらに、箱の高さ推定部４０６は、第１面フィッティング対象点群を横から見て、図２３（ｂ）に示すように、高さ方向にばらつきのある三次元点群を囲む外形ＨＫ１０を設定し、外形ＨＫ１０の厚みＨ２０を得る（ステップＳ１０１）。 Next, the box height estimating unit 406 sets an outline HK10 surrounding the three-dimensional point group as shown in FIG. Obtain L20 and lateral W20. Further, the box height estimating unit 406 determines the outline HK10 surrounding the three-dimensional point group with variations in the height direction when viewing the first surface fitting target point group from the side, as shown in FIG. is set to obtain the thickness H20 of the outline HK10 (step S101).

次いで、箱の高さ推定部４０６は、外形ＨＫ１０の縦Ｌ２０、横Ｗ２０と厚みＨ２０の比（縦Ｌ２０／厚みＨ２０、横Ｗ２０／厚みＨ２０）が既定値（例えば、５）を超えていなければ、エラーの可能性無と判定し、超えていれば、エラーの可能性有と判定する（ステップＳ１０２）。しかして、このようにすれば、ノイズによる影響を軽減させることができ、もって、移載対象の箱Ｗの高さをより正確に計測することができることとなる。 Next, the box height estimator 406 determines that if the ratio of the length L20, width W20, and thickness H20 of the outer shape HK10 (length L20/thickness H20, width W20/thickness H20) does not exceed a default value (for example, 5) , it is determined that there is no possibility of an error, and if it exceeds, it is determined that there is a possibility of an error (step S102). Thus, by doing so, the influence of noise can be reduced, so that the height of the box W to be transferred can be measured more accurately.

次いで、箱の高さ推定部４０６は、第１面フィッティング対象点群を用いて、平面フィッティングを行い、第２の上面とする（ステップＳ１０３）。 Next, the box height estimating unit 406 performs plane fitting using the first plane fitting target point group to obtain a second top plane (step S103).

次いで、箱の高さ推定部４０６は、第１面フィッティング対象点群を用いて、上記決定した第２の上面の高さ、及び、撮像部３内の平面座標（Ｘｃ，Ｙｃ）を得る（ステップＳ１０４）。 Next, the box height estimation unit 406 uses the first surface fitting target point group to obtain the height of the second upper surface determined above and the plane coordinates (Xc, Yc) in the imaging unit 3 ( step S104).

次いで、箱の高さ推定部４０６は、第２の上面の高さ（図８（ｂ）に示すＨ２参照）と、第１の上面の高さ（図８（ａ）に示すＨ１参照）の差を求め、箱Ｗの第１高さＨＡａとする（ステップＳ１０５）。 Next, the box height estimation unit 406 calculates the height of the second top surface (see H2 shown in FIG. 8B) and the height of the first top surface (see H1 shown in FIG. 8A). The difference is obtained and taken as the first height HAa of the box W (step S105).

かくして、上記のような処理を経て、箱の高さ推定部４０６は、第１面フィッティング対象点群で得られる面で第１高さＨＡａを計算することとなる（ステップＳ５６ｐ）。 Thus, through the above-described processing, the box height estimation unit 406 calculates the first height HAa on the surface obtained from the first surface fitting target point group (step S56p).

次いで、箱の高さ推定部４０６は、上記ステップＳ５６ｐと同様の処理（図１８に示す処理）を行い、第２面フィッティング対象点群で得られる面で第２高さＨＡｂを計算する（ステップＳ５６ｑ）。 Next, the box height estimating unit 406 performs the same processing as in step S56p (the processing shown in FIG. 18), and calculates the second height HAb on the surface obtained from the second surface fitting target point group (step S56q).

次いで、箱の高さ推定部４０６は、上記ステップＳ５６ｐ、ステップＳ５６ｑにて、何れもエラー可能性有と判定されたか否かを確認する（ステップＳ５６ｒ）。何れもエラー可能性有と判定されていれば（ステップＳ５６ｒ：ＹＥＳ）、図１５に示すステップＳ６３の処理を行い、表示装置４６（図１参照）に高さ計測失敗を報知する。 Next, the box height estimating unit 406 checks whether or not it is determined that there is a possibility of an error in both steps S56p and S56q (step S56r). If it is determined that there is a possibility of an error in both cases (step S56r: YES), the process of step S63 shown in FIG. 15 is performed, and height measurement failure is reported to the display device 46 (see FIG. 1).

一方、何れもエラー可能性有と判定されていなければ（ステップＳ５６ｒ：ＮＯ）、箱の高さ推定部４０６は、箱Ｗの高さを確定する（ステップＳ５６ｓ）。この点、具体的に説明すると、上記ステップＳ５６ｐ、ステップＳ５６ｑのうち、上記ステップＳ５６ｐがエラー可能性有と判定され、上記ステップＳ５６ｑがエラー可能性有と判定されていなければ、高さ推定部４０６は、第２高さＨＡｂを箱Ｗの高さＨＡ（図８（ｂ）参照）とする。一方、上記ステップＳ５６ｐがエラー可能性有と判定されておらず、上記ステップＳ５６ｑがエラー可能性有と判定されていれば、高さ推定部４０６は、第１高さＨＡａを箱Ｗの高さＨＡ（図８（ｂ）参照）とする。 On the other hand, if none of them is determined to have the possibility of an error (step S56r: NO), the box height estimation unit 406 determines the height of the box W (step S56s). Specifically, if it is determined that there is a possibility of an error in step S56p among steps S56p and S56q, and if it is not determined that there is a possibility of an error in step S56q, the height estimation unit 406 Let the second height HAb be the height HA of the box W (see FIG. 8(b)). On the other hand, if it is not determined that there is a possibility of an error in step S56p, but if it is determined that there is a possibility of an error in step S56q, the height estimator 406 calculates the first height HAa as the height of the box W HA (see FIG. 8B).

他方、上記ステップＳ５６ｐ、ステップＳ５６ｑの何れもエラー可能性有と判定されていなければ、高さ推定部４０６は、第１面フィッティング対象点群を用いて算出した面積と、図１５に示すステップＳ５３にて求めた移載対象の箱Ｗのサイズを用いて算出した面積の比を計算し、比率１とする。そして、高さ推定部４０６は、第２面フィッティング対象点群を用いて算出した面積と、図１５に示すステップＳ５３にて求めた移載対象の箱Ｗのサイズを用いて算出した面積の比を計算し、比率２とする。比率１≧比率２であれば、高さ推定部４０６は、第１高さＨＡａを箱Ｗの高さＨＡ（図８（ｂ）参照）とする。一方、比率１＜比率２であれば、高さ推定部４０６は、第１高さＨＡａと第２高さＨＡｂの差分を取り、その差分が既定値（例えば、２０）より小さい場合は、第１高さＨＡａを箱Ｗの高さＨＡ（図８（ｂ）参照）とし、それ以外の場合は、第１高さＨＡａと第２高さＨＡｂのうち、小さい値の方を箱Ｗの高さＨＡ（図８（ｂ）参照）とする。 On the other hand, if neither step S56p nor step S56q determines that there is a possibility of an error, the height estimating unit 406 calculates the area calculated using the first surface fitting target point cloud and the A ratio of the area calculated using the size of the box W to be transferred obtained in 1 is calculated, and the ratio is set to 1. Then, the height estimation unit 406 calculates the ratio of the area calculated using the second surface fitting target point group to the area calculated using the size of the box W to be transferred obtained in step S53 shown in FIG. is calculated as a ratio of 2. If the ratio 1≧the ratio 2, the height estimation unit 406 sets the first height HAa to be the height HA of the box W (see FIG. 8B). On the other hand, if the ratio 1<ratio 2, the height estimation unit 406 takes the difference between the first height HAa and the second height HAb, and if the difference is smaller than a default value (for example, 20), The first height HAa is the height HA of the box W (see FIG. 8(b)). Let it be HA (see FIG. 8(b)).

かくして、このようにして、箱の高さ推定部４０６は、移載対象の箱Ｗを支えていた面（第２の上面、図１３（ｂ）では、空間Ｓを空けて並列している２つの箱Ｗの上面）を推定する（ステップＳ５６）。そして、推定できていなければ（ステップＳ５７：ＮＯ）、表示装置４６（図１参照）に高さ計測失敗を報知し（ステップＳ６３）、推定できていれば（ステップＳ５７：ＹＥＳ）、上記説明したように、箱Ｗの高さＨＡ（図８（ｂ）参照）を確定することとなる（ステップＳ５８）。 Thus, in this way, the box height estimating unit 406 determines the surface (the second upper surface, in FIG. The upper surface of one box W) is estimated (step S56). If not estimated (step S57: NO), the height measurement failure is reported to the display device 46 (see FIG. 1) (step S63). Thus, the height HA of the box W (see FIG. 8(b)) is determined (step S58).

次いで、箱の高さ推定部４０６は、図１５に示すように、ステップＳ５８の処理後、箱Ｗの積み上げ段数を考慮した高さチェックを行う（ステップＳ５９）。この高さチェックにおいて、不正があれば（ステップＳ６０：ＹＥＳ）、表示装置４６（図１参照）に高さ計測失敗を報知し（ステップＳ６３）する。一方、不正がなければ（ステップＳ６０：ＮＯ）、判断部４００は、ロボット２を制御し、移載対象の箱Ｗを所定の待機場所からコンベアＣ（図１参照）に移動させる（ステップＳ６１）。 Next, as shown in FIG. 15, the box height estimating unit 406 performs a height check considering the number of stacked boxes W after the process of step S58 (step S59). If there is an irregularity in this height check (step S60: YES), the height measurement failure is reported to the display device 46 (see FIG. 1) (step S63). On the other hand, if there is no illegality (step S60: NO), the determination unit 400 controls the robot 2 to move the box W to be transferred from the predetermined standby location to the conveyor C (see FIG. 1) (step S61). .

次いで、判断部４００は、得られた高さを基準として、以後の移載を実行するようにロボット２を制御することとなる（ステップＳ６２）。 Next, the determination unit 400 controls the robot 2 so as to perform subsequent transfers based on the obtained height (step S62).

ここで、上記ステップＳ５９、ステップＳ６０の処理について、図１９を参照して、詳しく説明する。 Here, the processing of steps S59 and S60 will be described in detail with reference to FIG.

図１９に示すように、箱の高さ推定部４０６は、移載対象の箱Ｗの第１の上面の高さ（図２４に示すＨ１参照）と、図２４に示すパレットＰａの高さとの差分を取り、その差分を、図２４に示すように、Ｈ１ａとする（ステップＳ５９ａ）。なお、このパレットＰａ高さは、調整段階、点検時、始業時等においてパレットＰａだけを、予め、三次元点群計測を行い、求めておいたものである。 As shown in FIG. 19, the box height estimator 406 calculates the height of the first upper surface of the box W to be transferred (see H1 shown in FIG. 24) and the height of the pallet Pa shown in FIG. A difference is obtained, and the difference is defined as H1a as shown in FIG. 24 (step S59a). The height of the pallet Pa is determined in advance by three-dimensional point cloud measurement of only the pallet Pa at the time of adjustment, inspection, and the start of work.

次いで、箱の高さ推定部４０６は、図２４に示す差分Ｈ１ａを、図１７に示すステップＳ５６ｓで確定した箱Ｗの高さＨＡ（図２４参照）で割り整数化（四捨五入）して積み上げ段数Ｔとする（ステップＳ５９ｂ）。しかして、このようにすれば、箱Ｗの積み上げ段数を考慮した高さチェックを行うことができ、もって、移載対象の箱Ｗの高さをより正確に計測することができることとなる。 Next, the box height estimation unit 406 divides (rounds off) the difference H1a shown in FIG. 24 by the height HA (see FIG. 24) of the box W determined in step S56s shown in FIG. T (step S59b). Thus, by doing so, it is possible to perform a height check in consideration of the number of stacked boxes W, so that the height of the boxes W to be transferred can be measured more accurately.

次いで、箱の高さ推定部４０６は、予め実験によって求めておいた積み上げ段数Ｔに依存する箱のつぶれ度合い（Δ）を用いて、下記、数式２を用いて、検証計算を行う（ステップＳ５９ｃ）。 Next, the box height estimating unit 406 performs verification calculation using Equation 2 below, using the degree of box collapse (Δ) that depends on the number of stacked stages T, which has been experimentally obtained in advance (step S59c ).

Figure 0007280655000002
Figure 0007280655000002

次いで、箱の高さ推定部４０６は、上記数式２の計算結果が、０と見なされる範囲（例えば、小数点第１が０である値（０．０・・・・））であるか否かを確認する（ステップＳ６０）。０と見なされる範囲でなければ、不正であると判定し（ステップＳ６０：ＮＯ）、図１５に示すように、表示装置４６（図１参照）に高さ計測失敗を報知し（ステップＳ６３）する。しかして、このようにすれば、ノイズの影響により不正確な箱の高さを認識している可能性を除去することができ、もって、移載対象の箱Ｗの高さをより正確に計測することができることとなる。 Next, the box height estimating unit 406 determines whether the calculation result of Equation 2 is within a range considered to be 0 (for example, a value where the first decimal point is 0 (0.0 . . . )). is confirmed (step S60). If it is not within the range considered to be 0, it is determined to be illegal (step S60: NO), and as shown in FIG. 15, the display device 46 (see FIG. 1) is notified of height measurement failure (step S63). . By doing so, it is possible to eliminate the possibility of inaccurately recognizing the height of the box due to the influence of noise, thereby more accurately measuring the height of the box W to be transferred. It can be done.

一方、０と見なされる範囲であれば、不正でない判定し（ステップＳ６０：ＹＥＳ）、判断部４００は、ロボット２を制御し、移載対象の箱Ｗを所定の待機場所からコンベアＣ（図１参照）に移動させる（ステップＳ６１）。 On the other hand, if it is within the range considered to be 0, it is determined that there is no illegality (step S60: YES), and the determination unit 400 controls the robot 2 to move the box W to be transferred from the predetermined standby location to the conveyor C (see FIG. 1). (see step S61).

次いで、判断部４００は、得られた高さを基準として、以後の移載を実行するようにロボット２を制御することとなる（ステップＳ６２）。 Next, the determination unit 400 controls the robot 2 so as to perform subsequent transfers based on the obtained height (step S62).

しかして、以上説明した本実施形態によれば、移載対象の箱Ｗの高さを正確に計測することができることとなる。 Thus, according to the present embodiment described above, the height of the boxes W to be transferred can be accurately measured.

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。 It should be noted that the content illustrated in the present embodiment is merely an example, and various modifications and changes are possible within the scope of the gist of the invention described in the scope of claims.

例えば、本実施形態においては、箱Ｗを例示したが、勿論、パレットＰａ上に積層可能であれば、どのようなものにも適用可能である。 For example, in the present embodiment, the box W was illustrated, but of course, any item that can be stacked on the pallet Pa can be applied.

１ 移載対象ワーク高さ計測システム
２ ロボット
３ 撮像部（三次元点群情報取得手段）
４ 情報処理装置
４０６ 箱の高さ推定部（選別手段）
Ｐａ パレット
Ｗ 箱（ワーク）


1 Transfer target workpiece height measurement system 2 Robot 3 Imaging unit (three-dimensional point cloud information acquisition means)
4 Information processing device 406 Box height estimation unit (selection means)
Pa Pallet W Box (workpiece)

Claims (7)

荷積みされた複数のワークの三次元点群情報を取得し、移載対象ワークを仮移動させた後の荷積みされた複数のワークの三次元点群情報を取得する三次元点群情報取得手段と、
前記ワークの高さを計測する際に必要な当該ワークの平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、前記三次元点群情報取得手段にて取得された三次元点群情報から選別する選別手段と、を有してなる移載対象ワーク高さ計測システム。 3D point cloud information acquisition to acquire 3D point cloud information of multiple loaded workpieces, and to acquire 3D point cloud information of multiple loaded workpieces after temporarily moving the workpiece to be transferred means and
The three-dimensional point cloud information to be the target of plane fitting used when acquiring the plane of the work required when measuring the height of the work is obtained by the three-dimensional point cloud information acquisition means. and a sorting means for sorting from original point cloud information. 前記選別手段は、前記ワークの高さを計測する際に必要な当該ワークの平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、クラスタリングすることによって選別してなる請求項１に記載の移載対象ワーク高さ計測システム。 The selection means selects, by clustering, three-dimensional point cloud information to be subjected to plane fitting used when acquiring a plane of the work necessary for measuring the height of the work. Item 1. The transfer target workpiece height measurement system according to Item 1. 前記選別手段は、前記ワークの高さを計測する際に必要な当該ワークの平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報の範囲を広げることができる請求項１又は２に記載の移載対象ワーク高さ計測システム。 2. The selecting means can widen the range of three-dimensional point group information to be subjected to plane fitting used when acquiring a plane of the work necessary for measuring the height of the work. 2. The transfer target workpiece height measurement system according to 2. 前記選別手段は、前記クラスタリングすることによって得られた三次元点群情報の高さ方向のばらつきを用いて、該三次元点群情報を前記平面フィッティングの対象とするか否かを判定してなる請求項２に記載の移載対象ワーク高さ計測システム。 The selecting means uses variations in the height direction of the three-dimensional point group information obtained by the clustering to determine whether or not the three-dimensional point group information is to be subjected to the plane fitting. 3. The transfer object workpiece height measurement system according to claim 2 . 仮移動させた前記移載対象ワークの上面の法線方向と、前記平面フィッティングの対象となる三次元点群情報の法線方向を比較する比較手段と、
前記比較手段にて比較した結果、法線方向が一致しない場合には、エラーと判定してなる第１エラー判定手段と、をさらに有してなる請求項１～４の何れか１項に記載の移載対象ワーク高さ計測システム。 comparison means for comparing the normal direction of the upper surface of the temporarily moved transfer target work with the normal direction of the three-dimensional point cloud information to be subjected to the plane fitting;
5. The method according to any one of claims 1 to 4, further comprising first error determination means for determining an error when the normal directions do not match as a result of comparison by said comparison means. A system for measuring the height of workpieces to be transferred. 前記荷積みされた複数のワークは、パレット上に荷積みされており、
前記平面フィッティングの対象となる三次元点群情報を用いて、前記移載対象ワークの上面と、前記移載対象ワークを支持していた荷積みされた複数のワークの上面との距離を計測し、前記ワークの高さを推定する高さ推定手段と、
前記移載対象ワークの上面と、前記パレットの上面との距離を計測する計測手段と、
前記高さ推定手段にて推定した高さと、前記計測手段にて計測した計測結果とを用いて、荷積みされた複数のワークの積み上げ段数を推定する積み上げ段数推定手段と、をさらに有してなる請求項１～５の何れか１項に記載の移載対象ワーク高さ計測システム。 The plurality of loaded workpieces are loaded on a pallet,
Using the three-dimensional point group information to be subjected to the planar fitting, the distance between the upper surface of the transfer target work and the upper surfaces of the plurality of loaded works supporting the transfer target work is measured. , height estimation means for estimating the height of the work;
measuring means for measuring the distance between the upper surface of the work to be transferred and the upper surface of the pallet;
and stacking stage number estimation means for estimating the number of stacked workpieces by using the height estimated by the height estimation means and the measurement results obtained by the measurement means. The system for measuring the height of a work to be transferred according to any one of claims 1 to 5. 前記積み上げ段数推定手段にて推定された積み上げ段数の推定値と、積み上げ段数に依存する平均的な高さの減少値を用いて、前記高さ推定手段にて推定した高さが不正であるか否かの検証を行う検証手段と、
前記検証手段にて検証した結果、前記高さ推定手段にて推定した高さが不正である場合にエラーと判定してなる第２エラー判定手段と、をさらに有してなる請求項６に記載の移載対象ワーク高さ計測システム。

Whether the height estimated by the height estimation means is incorrect using the estimated value of the number of stacked stages estimated by the said estimated number of stacked stages and the average height reduction value depending on the number of stacked stages. Verification means for verifying whether or not
7. The method according to claim 6, further comprising second error determination means for determining an error when the height estimated by said height estimation means is incorrect as a result of verification by said verification means. A system for measuring the height of workpieces to be transferred.
JP2019157689A 2019-08-30 2019-08-30 Transfer target workpiece height measurement system Active JP7280655B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019157689A JP7280655B2 (en) 2019-08-30 2019-08-30 Transfer target workpiece height measurement system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019157689A JP7280655B2 (en) 2019-08-30 2019-08-30 Transfer target workpiece height measurement system

Publications (2)

Publication Number Publication Date
JP2021036204A JP2021036204A (en) 2021-03-04
JP7280655B2 true JP7280655B2 (en) 2023-05-24

Family

ID=74716783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019157689A Active JP7280655B2 (en) 2019-08-30 2019-08-30 Transfer target workpiece height measurement system

Country Status (1)

Country Link
JP (1) JP7280655B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010247959A (en) 2009-04-16 2010-11-04 Ihi Corp Box-shaped work recognizing device and method
JP2014109464A (en) 2012-11-30 2014-06-12 Toshiba Corp Object measuring device and object measuring method
JP2017191605A (en) 2016-04-13 2017-10-19 ジック インクＳＩＣＫ Ｉｎｃ． Method and system for measuring dimensions of target object
JP2019136828A (en) 2018-02-13 2019-08-22 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 Box-shaped object picking device and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3028016B2 (en) * 1993-02-26 2000-04-04 村田機械株式会社 3D image measurement method for cargo

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010247959A (en) 2009-04-16 2010-11-04 Ihi Corp Box-shaped work recognizing device and method
JP2014109464A (en) 2012-11-30 2014-06-12 Toshiba Corp Object measuring device and object measuring method
JP2017191605A (en) 2016-04-13 2017-10-19 ジック インクＳＩＣＫ Ｉｎｃ． Method and system for measuring dimensions of target object
JP2019136828A (en) 2018-02-13 2019-08-22 Ｋｙｏｔｏ Ｒｏｂｏｔｉｃｓ株式会社 Box-shaped object picking device and method

Also Published As

Publication number Publication date
JP2021036204A (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP7411932B2 (en) Automated package registration systems, devices, and methods
US11780101B2 (en) Automated package registration systems, devices, and methods
CN110054121B (en) Intelligent forklift and container pose deviation detection method
CN110322457B (en) 2D and 3D vision combined unstacking method
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
JP5429614B2 (en) Box-shaped workpiece recognition apparatus and method
JP2019509559A (en) Box location, separation, and picking using a sensor-guided robot
JP4565023B2 (en) Article take-out device
JP4087874B2 (en) Work picking device
JP4655309B2 (en) Picking order determination method, apparatus and program thereof, and picking system
JP6052103B2 (en) Article recognition apparatus and article recognition equipment
JP5360369B2 (en) Picking apparatus and method
WO2019240273A1 (en) Information processing device, unloading system provided with information processing device, and computer-readable storage medium
JP2016078180A (en) Abnormality cause estimating device, picking device, and abnormality cause estimating method for picking device
JP7280655B2 (en) Transfer target workpiece height measurement system
CN116374474B (en) Picking intelligent decision-making system based on machine vision
JP2010032258A (en) Apparatus and method for recognizing position of work for depalletizing
JP7385424B2 (en) Transfer target workpiece orientation recognition system
JP7218521B2 (en) picking system
JP7261597B2 (en) Work storage system to be transferred
JP7232652B2 (en) Work transfer system
CN115003613A (en) Device and method for separating piece goods
US20230173668A1 (en) Robot system
WO2022264381A1 (en) Workpiece retrieval count calculation device, hand system, and display device
WO2022264726A1 (en) Transport system, method executed by computer for controlling transport of articles, and program for causing computer to execute this method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230405

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20230508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230508

R150 Certificate of patent or registration of utility model

Ref document number: 7280655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230508