JP7280655B2 - Transfer target workpiece height measurement system - Google Patents
Transfer target workpiece height measurement system Download PDFInfo
- Publication number
- JP7280655B2 JP7280655B2 JP2019157689A JP2019157689A JP7280655B2 JP 7280655 B2 JP7280655 B2 JP 7280655B2 JP 2019157689 A JP2019157689 A JP 2019157689A JP 2019157689 A JP2019157689 A JP 2019157689A JP 7280655 B2 JP7280655 B2 JP 7280655B2
- Authority
- JP
- Japan
- Prior art keywords
- height
- box
- work
- unit
- pallet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、パレット上に積まれた複数の段ボール箱等のワークを移載する移載対象ワークの高さを計測する移載対象ワーク高さ計測システムに関する。 The present invention relates to a transfer target work height measuring system for measuring the height of a transfer target work to which a plurality of works such as cardboard boxes stacked on a pallet are transferred.
近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている(例えば、特許文献1参照)。 In recent years, automation of work such as sorting, loading, and unloading in warehouses has been demanded in the logistics industry, and various automation systems have been introduced (see, for example, Patent Document 1).
ところで、上記のようなシステムでは、パレット上に積まれた複数の段ボール箱等のワークを一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程を行うにあたり、ワークの高さを計測するようになっている。この高さを計測する方法として、ワークを移動させる前後の画像の差分を用いて高さを推定する方法が知られている。 By the way, in the system as described above, the height of the work is measured when the work such as a plurality of cardboard boxes stacked on the pallet is sorted one by one, that is, when performing the depalletizing work process. there is As a method of measuring this height, a method of estimating the height using a difference between images before and after moving the workpiece is known.
ところで、このような高さを推定する方法を行うにあたり、三次元点群計測を用いて差分を取るような場合、移動させたワークの下に空間があると、差分の領域が本来のワークの領域より大きくなり、もって、空間部分を含めて高さを推定することとなり、結果として、ワークの高さの計測を誤る可能性があるという問題があった。 By the way, in performing such a method of estimating the height, when taking the difference using 3D point cloud measurement, if there is a space under the moved work, the area of the difference will be the original work. Since it becomes larger than the area, the height is estimated including the space portion, and as a result, there is a possibility that the height of the workpiece is measured incorrectly.
そこで、本発明は、上記問題に鑑み、移載対象ワークの高さを正確に計測することができる移載対象ワーク高さ計測システムを提供することを目的としている。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a transfer target work height measuring system capable of accurately measuring the height of a transfer target work.
上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 The above objects of the present invention are achieved by the following means. In addition, although the inside of parenthesis is attached with the reference code|symbol of embodiment mentioned later, this invention is not limited to this.
請求項1の発明に係る移載対象ワーク高さ計測システムは、荷積みされた複数のワーク(例えば、図1に示す箱W)の三次元点群情報を取得し、移載対象ワーク(例えば、図13(a)に示す最上段の箱W)を仮移動させた後の荷積みされた複数のワーク(例えば、図13(b)に示す箱W)の三次元点群情報を取得する三次元点群情報取得手段(例えば、図1に示す撮像部3)と、
前記ワーク(例えば、図13(b)に示す箱W)の高さを計測する際に必要な当該ワーク(例えば、図13(b)に示す箱W)の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、前記三次元点群情報取得手段(例えば、図1に示す撮像部3)にて取得された三次元点群情報から選別する選別手段(例えば、図2に示す箱の高さ推定部406)と、を有してなることを特徴としている。
A transfer target work height measurement system according to the invention of claim 1 acquires three-dimensional point cloud information of a plurality of loaded works (for example, a box W shown in FIG. 1), and acquires the transfer target work (for example, , the uppermost box W shown in FIG. 13(a) is temporarily moved, and the three-dimensional point cloud information of a plurality of loaded works (for example, the box W shown in FIG. 13(b)) is acquired. Three-dimensional point cloud information acquisition means (for example, the
A plane used to acquire a plane of the work (for example, the box W shown in FIG. 13(b)) necessary for measuring the height of the work (for example, the box W shown in FIG. 13(b)) Selecting means (for example, Fig. 2) and a box height estimation unit 406).
また、請求項2の発明によれば、上記請求項1に記載の移載対象ワーク高さ計測システムにおいて、前記選別手段(例えば、図2に示す箱の高さ推定部406)は、前記ワーク(例えば、図13(b)に示す箱W)の高さを計測する際に必要な当該ワーク(例えば、図13(b)に示す箱W)の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、クラスタリングすることによって選別してなる(例えば、図16に示すステップS56g)ことを特徴としている。
According to the invention of
さらに、請求項3の発明によれば、上記請求項1又は2に記載の移載対象ワーク高さ計測システムにおいて、前記選別手段(例えば、図2に示す箱の高さ推定部406)は、前記ワーク(例えば、図13(b)に示す箱W)の高さを計測する際に必要な当該ワーク(例えば、図13(b)に示す箱W)の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報の範囲を広げることができる(例えば、図16に示すステップS56b)ことを特徴としている。
Furthermore, according to the invention of
そしてさらに、請求項4の発明によれば、上記請求項2に記載の移載対象ワーク高さ計測システムにおいて、前記選別手段(例えば、図2に示す箱の高さ推定部406)は、前記クラスタリングすることによって得られた三次元点群情報の高さ方向のばらつきを用いて、該三次元点群情報を前記平面フィッティングの対象とするか否かを判定してなる(例えば、図18に示すステップS101,ステップS102)ことを特徴としている。
Further, according to the invention of
一方、請求項5の発明によれば、上記請求項1~4の何れか1項に記載の移載対象ワーク高さ計測システムにおいて、仮移動させた前記移載対象ワーク(例えば、図13(a)に示す最上段の箱W)の上面の法線方向と、前記平面フィッティングの対象となる三次元点群情報の法線方向を比較する比較手段(例えば、図18に示すステップS100)と、
前記比較手段(例えば、図18に示すステップS100)にて比較した結果、法線方向が一致しない場合には、エラーと判定してなる第1エラー判定手段(例えば、図18に示すステップS100)と、をさらに有してなることを特徴としている。
On the other hand, according to the invention of
First error determination means (for example, step S100 shown in FIG. 18) for determining an error when the normal directions do not match as a result of comparison by the comparison means (for example, step S100 shown in FIG. 18) and further comprising:
また、請求項6の発明によれば、上記請求項1~5の何れか1項に記載の移載対象ワーク高さ計測システムにおいて、前記荷積みされた複数のワーク(例えば、図1に示す箱W)は、パレット(例えば、図1に示すパレットPa)上に荷積みされており、
前記平面フィッティングの対象となる三次元点群情報を用いて、前記移載対象ワーク(例えば、図13(a)に示す最上段の箱W)の上面と、前記移載対象ワーク(例えば、図13(a)に示す最上段の箱W)を支持していた荷積みされた複数のワーク(例えば、図13(b)に示す新たに最上段となった箱W)の上面との距離を計測し、前記ワーク(例えば、図13(b)に示す箱W)の高さを推定する高さ推定手段(例えば、図15に示すステップS58)と、
前記移載対象ワーク(例えば、図13(a)に示す最上段の箱W)の上面と、前記パレット(例えば、図1に示すパレットPa)の上面との距離を計測する計測手段(例えば、図19に示すステップS59a)と、
前記高さ推定手段(例えば、図15に示すステップS58)にて推定した高さと、前記計測手段(例えば、図19に示すステップS59a)にて計測した計測結果とを用いて、荷積みされた複数のワーク(例えば、図24に示す箱W)の積み上げ段数を推定する積み上げ段数推定手段(例えば、図19に示すステップS59b)と、をさらに有してなることを特徴としている。
Further, according to the invention of
Using the three-dimensional point cloud information that is the target of the plane fitting, the upper surface of the transfer target work (for example, the uppermost box W shown in FIG. 13A) and the transfer target work (for example, the 13(a), the uppermost box W shown in FIG. Height estimating means (for example, step S58 shown in FIG. 15) for measuring and estimating the height of the work (for example, box W shown in FIG. 13(b));
Measuring means (for example, Step S59a) shown in FIG. 19;
Loaded using the height estimated by the height estimation means (for example, step S58 shown in FIG. 15) and the measurement result measured by the measurement means (for example, step S59a shown in FIG. 19) It is characterized by further comprising stacking stage number estimating means (for example, step S59b shown in FIG. 19) for estimating the number of stacked stages of a plurality of works (eg, boxes W shown in FIG. 24).
さらに、請求項7の発明によれば、上記請求項6に記載の移載対象ワーク高さ計測システムにおいて、前記積み上げ段数推定手段(例えば、図19に示すステップS59b)にて推定された積み上げ段数の推定値と、積み上げ段数に依存する平均的な高さの減少値を用いて、前記高さ推定手段(例えば、図15に示すステップS58)にて推定した高さが不正であるか否かの検証を行う検証手段(例えば、図19に示すステップS59c)と、
前記検証手段(例えば、図19に示すステップS59c)にて検証した結果、前記高さ推定手段(例えば、図15に示すステップS58)にて推定した高さが不正である場合にエラーと判定してなる第2エラー判定手段(例えば、図15,図19に示すステップS60)と、をさらに有してなることを特徴としている。
Further, according to the seventh aspect of the invention, in the system for measuring the height of a work to be transferred according to the sixth aspect, the number of stacked stages estimated by the number of stacked stages estimation means (for example, step S59b shown in FIG. 19) and the average height reduction value depending on the number of stacked stages, whether or not the height estimated by the height estimation means (for example, step S58 shown in FIG. 15) is incorrect Verification means (for example, step S59c shown in FIG. 19) for verifying the
If the height estimated by the height estimation means (for example, step S58 shown in FIG. 15) is incorrect as a result of verification by the verification means (for example, step S59c shown in FIG. 19), it is determined as an error. and second error determination means (for example, step S60 shown in FIGS. 15 and 19).
次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 Next, the effects of the present invention will be described with reference to the drawings. In addition, although the inside of parenthesis is attached with the reference code|symbol of embodiment mentioned later, this invention is not limited to this.
請求項1に係る発明によれば、移載対象ワークの高さを正確に計測することができる。 According to the first aspect of the invention, the height of the work to be transferred can be accurately measured.
また、請求項2に係る発明によれば、ワーク(例えば、図13(b)に示す箱W)の高さを計測する際に必要な当該ワーク(例えば、図13(b)に示す箱W)の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、クラスタリングすることによって選別しているから、最適な第2の上面(この第2の上面については、後述する)を得ることが可能となり、もって、移載対象ワークの高さをより正確に計測することができる。
Further, according to the invention of
さらに、請求項3に係る発明によれば、ワーク(例えば、図13(b)に示す箱W)の高さを計測する際に必要な当該ワーク(例えば、図13(b)に示す箱W)の平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報の範囲を広げることができることとなるから、探索範囲が広がることとなり、もって、移載対象ワークの高さをより正確に計測することができる。
Furthermore, according to the invention according to
そしてさらに、請求項4に係る発明によれば、クラスタリングすることによって得られた三次元点群情報の高さ方向のばらつきを用いて、該三次元点群情報を平面フィッティングの対象とするか否かを判定しているから、ノイズによる影響を軽減させることができ、もって、もって、移載対象ワークの高さをより正確に計測することができる。
Further, according to the invention according to
一方、請求項5に係る発明によれば、仮移動させた移載対象ワーク(例えば、図13(a)に示す最上段の箱W)の上面の法線方向と、平面フィッティングの対象となる三次元点群情報の法線方向を比較した結果、法線方向が一致しない場合には、エラーと判定しているから、ノイズの影響により不正確な面を認識している可能性を除去することができ、もって、移載対象ワークの高さをより正確に計測することができる。 On the other hand, according to the fifth aspect of the invention, the normal direction of the upper surface of the temporarily moved transfer target work (for example, the uppermost box W shown in FIG. 13A) and the plane fitting target As a result of comparing the normal direction of the 3D point cloud information, if the normal direction does not match, it is determined as an error, eliminating the possibility of recognizing an inaccurate surface due to the influence of noise. As a result, the height of the work to be transferred can be measured more accurately.
また、請求項6に係る発明によれば、推定した高さと、移載対象ワーク(例えば、図13(a)に示す最上段の箱W)の上面と、パレット(例えば、図1に示すパレットPa)の上面との距離を計測した計測結果とを用いて、荷積みされた複数のワーク(例えば、図24に示す箱W)の積み上げ段数を推定しているから、積み上げ段数を考慮した高さチェックを行うことができ、もって、移載対象ワークの高さをより正確に計測することができる。 Further, according to the sixth aspect of the invention, the estimated height, the upper surface of the work to be transferred (for example, the uppermost box W shown in FIG. 13A), and the pallet (for example, the pallet shown in FIG. Pa) is used to estimate the number of stacked work pieces (for example, the box W shown in FIG. 24) using the measurement result of measuring the distance from the top surface of Pa). height check can be performed, and the height of the work to be transferred can be measured more accurately.
さらに、請求項7に係る発明によれば、推定した高さが不正であるか否かの検証をした結果、不正である場合にエラーと判定しているから、ノイズの影響により不正確な移載対象ワークの高さを認識している可能性を除去することができ、もって、移載対象ワークの高さをより正確に計測することができる。 Furthermore, according to the seventh aspect of the present invention, as a result of verifying whether or not the estimated height is incorrect, it is determined as an error if the estimated height is incorrect. The possibility of recognizing the height of the work to be placed can be eliminated, and the height of the work to be transferred can be measured more accurately.
以下、本発明に係る移載対象ワーク高さ計測システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。 An embodiment of a transfer target workpiece height measurement system according to the present invention will be specifically described below with reference to the drawings. In the following description, when the directions of up, down, left, and right are indicated, they refer to up, down, left, and right when viewed from the front of the drawing.
<移載対象ワーク高さ計測システムの説明>
図1に示すように、移載対象ワーク高さ計測システム1は、パレットPa上に積まれた複数の箱Wの一つをロボット2に備えた吸着ハンド20を用いてコンベアCへ移載する装置である。
<Description of the height measurement system for the workpiece to be transferred>
As shown in FIG. 1, the transfer target workpiece height measurement system 1 transfers one of a plurality of boxes W stacked on a pallet Pa to a conveyor C using a
ここで、この移載対象ワーク高さ計測システム1の動作について、より詳しく説明すると、移載対象ワーク高さ計測システム1は、まず、撮像部3を用いて、パレットPa上に積まれた複数の箱Wを撮像する。次いで、撮像した画像から情報処理装置4を用いて、箱Wの位置を認識する。この情報処理装置4は、認識したパレットPa上に積まれた箱Wの位置をプログラマブルロジックコントローラ5(以下、PLC5と呼ぶ)経由で、ロボットコントローラ6へ送信する。そして、このロボットコントローラ6は、ロボット2を制御し、パレットPa上に積まれた複数の箱Wの中から一つの箱Wをピックし、コンベアCへ移載することとなる。
Here, the operation of this transfer object work height measurement system 1 will be described in more detail. The box W of is imaged. Next, the position of the box W is recognized using the
次に、図1の各部について詳細に説明することとする。 Next, each part of FIG. 1 will be described in detail.
ロボット2は、例えば、4自由度の垂直多関節型ロボットである。より詳しく説明すると、このロボット2は、パレットPa上に積まれた複数の箱Wを、吸着ハンド20を用いてパレットPaからコンベアCへ移載する為のロボットアームである。なお、本実施形態においては、ロボット2として、4自由度の垂直多関節型ロボットを例示したが、これに限らず、6自由度であってもよいし、直角座標型ロボット、極座標型ロボット、水平多関節型(スカラ型)ロボット、パラレルリンク型ロボットであってもよい。すなわち、パレットPa上に積まれた複数の箱WをコンベアCへ移載可能であれば、どのような形式であってもよい。
The
ところで、吸着ハンド20は、ロボット2のフランジに重量センサ21を介して装着するものである。より詳しく説明すると、この吸着ハンド20は、コンプレッサ7から送られる圧縮エアを吸着ハンド20内に内蔵している真空発生装置を用いて、真空を発生させパレットPa上に積まれた複数の箱Wを吸着するものである。なお、本実施形態においては、吸着することにより、複数の箱Wを移載する例を示したが、それに限らず、パレットPa上に積まれた複数の箱Wをグリッパーで挟み込むようなハンドであっても良く、パレットPa上に積まれた複数の箱Wを移載可能であれば、どのような形式のハンドでも良い。
By the way, the
一方、重量センサ21は、吸着ハンド20で吸着したパレットPa上に積まれた複数の箱Wの重量を計測するための静電容量型力覚センサであり、ロボット2のフランジと吸着ハンド20の間に設置される。なお、重量センサ21は、計測した値をPLC5に出力する。
On the other hand, the
撮像部3は、パレットPa上に積まれた複数の箱Wを撮影するものであって、三次元点群情報を出力可能な三次元点群計測装置である。この撮像部3は、カメラとプロジェクタを備えており、カメラとプロジェクタによるアクティブステレオ法により被写体の三次元点群情報を算出するものである。なお、カメラとプロジェクタを用いたアクティブステレオ法は、一般的な技術であるため、詳細な説明は省略する。
The
情報処理装置4は、図1に示すように、CPU40と、RAM41と、ROM42と、補助記憶装置43と、入出力インタフェース44と、通信インタフェース45と、表示装置46と、バス47と、入力コントローラ48と、入力装置49と、を有している。CPU40は、情報処理装置4が備える各機能を実行、制御するもので、RAM41は、外部装置などから供給されるプログラムやデータを一時記憶するものである。
The
一方、ROM42は、変更を必要としないプログラムや各種パラメータを格納し、補助記憶装置43は、各種情報を記憶するものである。そして、入出力インタフェース44は、外部の機器とデータの送受信を行い、通信インタフェース45は、ネットワークに接続するための装置であり、ネットワークを介して外部の機器とデータの送受信を行うものである。
On the other hand, the
一方、表示装置46は、CPU40で描画されたグラフィックスを表示し、バス47は、システムバスであり、CPU40、RAM41、ROM42、補助記憶装置43、入出力インタフェース44、通信インタフェース45、表示装置46、入力コントローラ48を接続するものである。そして、入力コントローラ48は、入力装置49からの入力信号を制御するコントローラであり、入力装置49は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、キーボード、マウスなどである。なお、後述する情報処理装置4の機能や処理は、CPU40がROM42等に格納されているプログラムを読み出し、このプログラムを実行することにより実現することとなる。
On the other hand, a
PLC5は、情報処理装置4とロボットコントローラ6の間の命令を受け渡し、重量センサ21から重量の計測値を入力し、PLC5内臓のメモリに書き込む。そしてさらにPLC5は、コンベアCを制御し、コンベアC上に乗せた箱Wを移動するものである。
The
ロボットコントローラ6は、サーボアンプや基板などが収納された制御装置であり、ロボット2の動きを総合的にコントロールする装置である。また、ロボットコントローラ6は、あらかじめ作成したロボット2を制御するプログラムを記憶し、実行することができる。
The
コンプレッサ7は、空気を圧縮し供給する空気圧縮機であり、吸着ハンド20へ圧縮エアを供給するものである。
The
箱Wは、段ボールであり、パレットPa上に複数積層されているものである。なお、本実施形態においては、段ボールを例に説明するが、パレットPa上に積層可能であれば、材質は段ボール以外でも良く、例えば、プラスチックや木製であっても良く、箱形状に近似できれば袋状の物であっても良い。 The box W is made of corrugated cardboard, and a plurality of boxes W are stacked on the pallet Pa. In this embodiment, cardboard will be described as an example, but the material may be other than cardboard as long as it can be stacked on the pallet Pa. For example, plastic or wood may be used. It may be in a shape.
パレットPaは、物流に用いる荷物を載せるための荷役台であり、パレットPaの脚と脚の間にフォークリフトやハンドリフトの爪を差し込んで持ち上げることができるものである。なお、本実施形態においては、パレットPa上に複数の箱Wを積載しているが、もちろんパレットではなくカゴ台車であってもよい。 The pallet Pa is a loading platform for loading cargoes used for physical distribution, and can be lifted by inserting the claws of a forklift or a handlift between the legs of the pallet Pa. In this embodiment, a plurality of boxes W are loaded on the pallet Pa, but of course the pallet may be replaced by a cart.
コンベアCは、ローラーコンベアであり、ロボット2がコンベアC上へ移載した箱Wをロボット2近辺から所望の位置まで搬送するものである。なお、コンベアCは必ずしもローラ―コンベアである必要はなく、ベルトコンベアでも良い。また、コンベアCは、パレット上に積まれた複数の箱Wをロボット2の近傍から移動できれば良い。例えば、無人搬送車の上にパレットPa上に積まれた複数の箱Wを移載することで、パレットPa上に積まれた箱Wを移動してもよい。
The conveyor C is a roller conveyor, and conveys the box W transferred onto the conveyor C by the
図1に示す符号SKは、倉庫管理システムであり、倉庫管理システムSKは、倉庫の入出庫管理、在庫管理を行うシステムである。この倉庫管理システムSKは、情報処理装置4に対して、パレットPa上に積まれた複数の箱Wを何個デパレタイズするかを指示する。また、パレットPa上に積まれた複数の箱Wの種類を一意に特定するためのITFコードを情報処理装置4へ出力する。なお、情報処理装置4へのデパレタイズ指示は、必ずしも倉庫管理システムSKから指示する必要はなく、情報処理装置4の入力装置49がタッチパネルであれば、タッチパネル用いて指示してもよい。
Reference numeral SK shown in FIG. 1 denotes a warehouse management system, and the warehouse management system SK is a system for performing warehouse entry/exit management and inventory management. The warehouse management system SK instructs the
<情報処理装置の説明>
次に、図2を用いて、本実施形態に係る情報処理装置4の機能構成について説明する。図2に示すように、情報処理装置4の機能構成としては、情報処理装置4は、判断部400と、箱情報保持部401と、設定保持部402と、箱認識部403と、ずらし判定部404と、サイズ推定部405と、箱の高さ推定部406と、移載順決定部407と、箱の向き決定部408と、コンベア上での置き位置姿勢決定部409と、ハンドの位置姿勢決定部410と、重量計測部411と、移載速度決定部412と、で構成されている。以下、各構成について説明することとする。
<Description of Information Processing Device>
Next, the functional configuration of the
判断部400は、判断部400が保持する状態または、各機能ブロックが保持する状態に基づいて、各機能ブロック間との情報をやり取りし、さらに、外部機器とのやり取りも行い、倉庫管理システムSK、撮像部3、PLC5経由で、ロボット2、コンベアを制御するものである。
Based on the state held by the
箱情報保持部401は、図4に示す箱情報テーブルTBLAのようにテーブル形式で情報を保持している。この箱情報テーブルTBLAのカラムは、ITFコードTBLAa、重量TBLAb、LサイズTBLAc、WサイズTBLAd、HサイズTBLAeである。ITFコードTBLAaのITFとは、Interleaved Two of Fiveの略であり、ITFコードTBLAaは、ITF-14規格のバーコードを表す値であり、箱情報テーブルTBLAはITFコードTBLAaが主キーであり、ITFコードを用いて任意のレコードを呼び出すことができる。
The box
一方、重量TBLAbは、ITFコードTBLAa毎の箱の重量を示す値であり、単位はKgである。例えば、レコードTBLAhの箱の重さは3kgである。パレットPa上に積まれた複数の箱Wには個体差があるが、箱Wの重さは最初に計測した重量を保持する。なお、レコードTBLAf、レコードTBLAgは、まだ重量未計測のレコードである。 On the other hand, the weight TBLAb is a value indicating the weight of the box for each ITF code TBLAa, and the unit is Kg. For example, the box of record TBLAh weighs 3 kg. Although there are individual differences in the plurality of boxes W stacked on the pallet Pa, the weight of the box W retains the weight that was measured first. Note that the record TBLAf and the record TBLAg are records whose weight has not yet been measured.
他方、LサイズTBLAcは、パレットPa上に積まれた箱Wの長さの値が保持されるカラムであり、長さの単位は、ミリメートルである。なお、LサイズTBLAcには最初に計測した値を保持する。同様にWサイズTBLAdは、パレットPa上に積まれた箱Wの幅の値を保持するカラムであり、HサイズTBLAeは、パレットPa上に積まれた箱Wの高さの値を保持するカラムである。なお、箱情報テーブルTBLAにおけるサイズ未計測および重量未計測のレコードには、NULLが格納されている。 On the other hand, the L size TBLAc is a column that holds the length value of the boxes W stacked on the pallet Pa, and the unit of length is millimeters. Note that the L-size TBLAc retains the first measured value. Similarly, W size TBLAd is a column that holds the width value of boxes W stacked on pallet Pa, and H size TBLAe is a column that holds the height value of boxes W stacked on pallet Pa. is. Note that NULL is stored in records of unmeasured size and unmeasured weight in the box information table TBLA.
設定保持部402は、処理に必要な設定値を保持するものである。この設定保持部402で保持する設定は、図5に示すような設定項目テーブルTBLBを保持している。この設定項目テーブルTBLBのカラムは、設定項目TBLBaと値TBLBbである。設定項目TBLBaは、設定項目を表す名称であり、値TBLBbは、各設定項目の値である。例えば、レコードTBLBcは、境界の明瞭度の閾値を表しており、その値は100である。
The
かくして、図2に示す設定保持部402は、図5に示す設定項目テーブルTBLBの設定項目TBLBaの名称をキーにして値TBLBbを呼び出すこととなる。
Thus, the
箱認識部403は、撮像部3から出力された距離画像に基づいて、パレットPa上に積まれた複数の箱Wの位置姿勢を認識するものである。この箱認識部403における箱認識の方法について、図6を用いて詳細に説明する。
The
図6(a)は、撮像部3(図2参照)が撮影した距離画像GAである。距離画像とは撮像部3からの対象までの距離を輝度に置き換えた画像であり、撮像部3に近いほど大きい値をとる画像である。なお、図6(a)に示す距離画像GAは、パレットPa上に積まれた複数の箱Wを示している。
FIG. 6(a) is a distance image GA photographed by the imaging unit 3 (see FIG. 2). The distance image is an image obtained by replacing the distance from the
次いで、箱認識部403は、図6(a)に示す距離画像GAについてエッジ抽出処理を行い、図6(b)に示すように、エッジ抽出処理画像GBを生成する。なお、エッジ抽出処理には、Canny法を用いる。
Next, the
次いで、箱認識部403は、図6(b)に示すエッジ抽出処理画像GBについてハフ変換を用いて直線検出を行う。この直線検出した結果が、図6(c)に示す画像GCである。この画像GCのうち、図6(c)に示す符号GCaは、検出した直線である。なお、図6(c)に示すように、直線は、直線GCa以外にも存在しているが、全てに記号を付すことは省略することとする。
Next, the
次いで、箱認識部403は、図6(c)に示すように、直線同士の交点を検出する。検出した交点は、例えば、GCbである。なお、図6(c)に示すように、交点は、交点GCb以外にも存在しているが、全てに記号を付すことは省略することとする。
Next, the
次いで、箱認識部403は、図6(c)に示すように、検出した全ての交点に対して閉領域を検出する。検出した閉領域は、例えば、GCcである。しかして、箱認識部403は、この閉領域GCcを一つの箱Wとして認識することとなる。なお、図6(c)に示すように、閉領域は、閉領域GCc以外も検出しているが、全てに記号を付すことは省略することとする。
Next, the
ずらし判定部404は、撮像部3から入力した距離画像GA(図6(a)参照)に基づいて、パレットPa上に積まれた箱Wをずらすかどうかを判定するものである。実際に、ずらし判定部404にて、パレットPa上に積まれた箱Wをずらすと判定した場合、判断部400は、PLC5経由でロボット2を制御し、パレットPa上に積まれた箱Wの一部を吸着し、パレットPa上に積まれた箱Wをずらすこととなる。
The
ここで、パレットPa上に積まれた箱Wをずらす必要がある理由について、図7を用いて説明する。図7(a)は、境界抽出結果である。この抽出された境界抽出結果のうち、図7(a)に示す境界Kaは、明瞭な境界であり、境界Kbは、不明瞭な境界を示している。この不明瞭な境界Kbが箱認識部403にて認識されなかった場合、図7(a)に示すように、実際の箱W(右下の箱W、右中の箱W)は別々であるが、右下の箱Wと右中の箱Wが合わさったサイズを箱WAとして認識してしまうこととなる。しかして、このように、図7(a)に示すように、箱WAと認識してしまうと、実際の吸着ハンド20(図1参照)は、箱WAの中央部分を吸着することとなる。これにより、右下の箱W、右中の箱Wを二つ一度に移載することになり、もって、箱Wを途中で落下させてしまう可能性がある。そこで、図7(b)に示すように、箱Wの端の部分Waを、吸着ハンド20で吸着して箱Wの位置を箱Wが存在しない方向へずらすようにする。これによって、箱Wの周りに明瞭な境界が出現し、箱Wを認識する確率が向上するという効果がある。なお、箱Wの端の部分Waのサイズは、ロボット2を設置した倉庫で取り扱う最小サイズの箱のサイズである。これにより、2つの箱を同時にずらしてしまう確率が減少するという効果がある。
Here, the reason why it is necessary to shift the boxes W stacked on the pallet Pa will be described with reference to FIG. FIG. 7A shows the boundary extraction result. Among the extracted boundary extraction results, the boundary Ka shown in FIG. 7A is a clear boundary, and the boundary Kb is an unclear boundary. If this ambiguous boundary Kb is not recognized by the
ここで、ずらし判定の方法について説明する。 Here, a method for judging the shift will be described.
ずらし判定部404は、撮像部3から入力した距離画像GA(図6(a)参照)に対して、ラプラシアンフィルターをかける。そして、ずらし判定部404は、ラプラシアンフィルターをかけた距離画像GA(図6(a)参照)の画素値の分散を計算し、その値が閾値以下であれば、境界が不明瞭であると判定し、ずらし動作を行う。ここで用いる設定の閾値は、図5に示す、設定保持部402にて保持している設定項目テーブルTBLBの境界の明瞭度の値を読み出すことで得ることとなる。
The
なお、本実施形態においては、ラプラシアンフィルターを用いて、境界が不明瞭であることを判定したが、他のフィルターを用いてもよい。例えばソーベルフィルタを用いても良く、境界が不明瞭であることを判定可能であればどのようなフィルターを用いてもよい。 In this embodiment, the Laplacian filter is used to determine that the boundary is unclear, but other filters may be used. For example, a Sobel filter may be used, or any filter may be used as long as it can be determined that the boundary is unclear.
サイズ推定部405は、図6(c)に示す直線GCaの交点GCbに基づいて箱のサイズを推定するものである。この箱のサイズの推定は、4角形を構成する直線GCaの交点GCb間の距離を求める事で推定するものである。なお、推定する箱のサイズは、箱の上面の長さと幅であり、推定した箱のサイズの情報は、箱情報保持部401にて保持される。
The
箱の高さ推定部406は、パレットPa上に積まれた箱Wの高さを推定するものである。この箱の高さ推定部406にて、パレットPa上に積まれた箱Wの高さの推定方法について、図8を用いて説明する。
The box
まず、箱の高さ推定部406は、図8(a)に示すように、パレットPa上の最上段に積まれた箱Wの上面の高さを求める。ここで、箱の高さ推定部406は、パレットPa上の最上段に積まれた箱Wの上面の高さH1を求める為に、箱認識部403にて認識した箱の認識情報を用いる。そして、箱の高さ推定部406は、箱の認識情報に基づいて、パレットPa上の最上段に積まれた箱W上面の三次元点群を抽出し、三次元点群における撮像部3に設定した座標系30のZ軸方向の値の平均を、パレットPa上の最上段に積まれた箱Wの上面の高さH1とする。
First, the
次いで、図8(b)に示すように、パレットPa上の左最上段に積まれた箱Wをロボット2により、撮像部3の撮影範囲外へ移動した状態で、座標系30において箱Wの上面を構成する四角形のXYの座標が略同一でかつZ軸方向の位置がプラス方向に存在する三次元点群を抽出する。そして、同様に抽出した三次元点群における座標系30におけるZ軸方向の値の平均をパレットPa上の左最上段に積まれた箱Wの底面の高さH2とする。これにより、図8(b)に示す高さH1から高さH2を差し引けば、箱Wの高さHAの値が算出されることとなる。しかして、このように箱の高さを推定することにより、撮像部3以外のセンサを用いることなく、箱の高さが推定できるため、装置が簡略になるという効果がある。
Next, as shown in FIG. 8(b), the
移載順決定部407は、箱認識部403で認識した箱の移載順番を決めるものである。この移載順決定部407で決定する箱の移載順の決定方法について、図9を用いて説明する。
The transfer
図9は、パレットPa上に積まれた複数の箱Wを撮像部3の座標系30のZ軸プラス方向から見た図である。移載順決定部407は、コンベアCと箱認識部403で認識した箱の座標系30におけるXY平面上の距離に基づいて移載順番を決定する。コンベアCと箱認識部403で認識した箱の距離とは、コンベアC上に定義したプレース位置Caと、認識した箱の中心、例えばO1、O2である。ここで、プレース位置Caと箱の中心O1、O2との距離は、それぞれ距離L1,L2である。距離L1と距離L2を比べた時、距離L1の方が短いため、移載順番は、中心O1を有する箱Wが先になる。同様に、パレットPa上に積まれた複数の箱Wの他の箱Wの移載順番もプレース位置Caとの距離によって決定する。しかして、このように、プレース位置Caと箱Wの中心との距離により移載順番を決定することで、ロボット2の移載時間を削減することができるという効果がある。また、ロボット2の移載時間を削減することで、箱Wを移載する時に箱Wが落下する可能性が減少するという効果もある。
FIG. 9 is a diagram of a plurality of boxes W stacked on the pallet Pa viewed from the Z-axis plus direction of the coordinate
箱の向き決定部408は、サイズ推定部405で推定した箱のサイズに基づいて箱Wの向きを決定するものである。ここで、箱の向きの決定とは、箱Wに対して箱座標系を対応付ける事である。この箱Wの向きは、箱Wの上面の長辺と短辺の長さに基づいて決定する。この箱の向き推定について、図10(a)を用いて説明する。
The box
図10(a)に示す箱Wにおいて、この箱Wの長辺はWLa、短辺はWHaである。そして、箱Wの向きは、箱座標系WZaによって定義する。箱座標系WZaのX軸は箱Wにおける長辺WLaと平行に設定し、箱座標系WZaのY軸は、箱Wの短辺WHaと平行に設定する。そして、箱座標系WZaのZ軸は、箱Wの内側の方向に定義する。また、箱座標系WZaの原点は、箱Wの上面の四角形の重心に設定する。 In the box W shown in FIG. 10(a), the long side of the box W is WLa and the short side is WHa. The orientation of the box W is defined by the box coordinate system WZa. The X axis of the box coordinate system WZa is set parallel to the long side WLa of the box W, and the Y axis of the box coordinate system WZa is set parallel to the short side WHa of the box W. The Z-axis of the box coordinate system WZa is defined in the direction inside the box W. The origin of the box coordinate system WZa is set at the center of gravity of the square on the upper surface of the box W.
しかして、このように、箱Wの向きを箱のサイズに基づいて決定することで、ITFコードが印刷された箱であれば、少なくとも、長辺に属する面にバーコードがある場合が多いため、箱WをコンベアCに配置するときに箱Wの向きを毎回同じ向きに置くことで複数のバーコードリーダーを置く必要がなくなり、もって、機器の構成が単純になるという効果がある。 Therefore, by determining the orientation of the box W based on the size of the box in this way, if the ITF code is printed on the box, there are many cases where at least the surface belonging to the long side has the bar code. By placing the boxes W in the same direction each time when placing the boxes W on the conveyor C, there is no need to install a plurality of bar code readers, thereby simplifying the configuration of the equipment.
コンベア上での置き位置姿勢決定部409は、箱の高さ推定部406で推定した箱の高さの値、箱の向き決定部408で決定した箱Wの箱座標系WZa(図10(a)参照)の情報に基づいて、箱WのコンベアC上での置き位置を決定する。ここで、箱WのコンベアC上での置き位置の決定とは、コンベアC上に定義されたコンベア座標系に対して、箱の向き決定部408で決定した、箱Wの箱座標系WZa(図10(a)参照)の位置姿勢を決定することである。この点、図10(b)を用いて、コンベア上での置き位置姿勢決定部409による、箱WのコンベアC上での置き位置の決定方法について説明する。
A placement position/
図10(b)に示す符号CZaは、コンベアC上に定義したコンベア座標系である。コンベア座標系CZaは、コンベアC上の表面の位置に定義する。このコンベア座標系CZaは、右手系の座標系であり、コンベアCの長辺方向は、コンベア座標系CZaのX軸と平行に設定し、コンベアCの短辺方向は、コンベア座標系CZaのY軸と平行に設定し、コンベアCの重力方向は、コンベア座標系CZaのZ軸と平行に設定する。これにより、箱WのコンベアC上での置き姿勢は、コンベア座標系CZaに対して箱座標系WZaはコンベア座標系CZaと同一となる。それゆえ、箱WのコンベアC上での置き位置は、コンベア座標系CZaのZ軸マイナス方向に箱の高さ推定部406で推定した箱Wの高さの値分だけ平行移動した位置となる。なお、この際、箱WのコンベアC上での置き位置は箱の高さ推定部406で推定した箱Wの高さに加えて誤差の値を考慮しあらかじめ計算した誤差の分散に基づいて箱WのコンベアC上での置き位置を決定すると良い。しかして、このようにすることで、箱Wの箱の高さを低く推定してしまった場合に、箱W配置時に箱Wを吸着ハンド20(図1参照)によって押しつぶすリスクを低減するという効果がある。
A symbol CZa shown in FIG. 10B is a conveyor coordinate system defined on the conveyor C. A conveyor coordinate system CZa is defined at the position of the surface on the conveyor C. This conveyor coordinate system CZa is a right-handed coordinate system. The direction of gravity of the conveyor C is set parallel to the Z axis of the conveyor coordinate system CZa. As a result, the orientation of the box W placed on the conveyor C is such that the box coordinate system WZa is the same as the conveyor coordinate system CZa with respect to the conveyor coordinate system CZa. Therefore, the placement position of the box W on the conveyor C is a position translated in the Z-axis negative direction of the conveyor coordinate system CZa by the height value of the box W estimated by the box
ハンドの位置姿勢決定部410は、図10に示す箱Wの箱座標系WZaに対して、吸着ハンド20(図1参照)に定義されているハンド座標系の位置を決定するものである。ここで、図10(c)を用いて、ハンドの位置姿勢決定部410による、箱座標系WZaに対して、吸着ハンド20に定義されているハンド座標系20Zaの位置姿勢を決定する方法について説明する。
The hand position/
図10(c)に示すハンド座標系20Zaは、箱座標系WZaと同様、右手系の座標系である。このハンド座標系20Zaは、吸着ハンド20の上面の重心に定義されており、吸着ハンド20の上面の四角形の長辺がX軸と平行に設定され、短辺がY軸に平行に設定されている。そして、吸着ハンド20の箱Wと吸着する側に対して、Z軸方向に設定されている。ここで、箱Wに対する吸着ハンド20の姿勢は、箱座標系WZaに対してハンド座標系20Zaと同一となるから、箱Wに対する吸着ハンド20の位置は、箱座標系WZaのZ軸マイナス方向に吸着ハンド20の厚み20aの距離だけ平行移動した位置となる。
A hand coordinate system 20Za shown in FIG. 10C is a right-handed coordinate system, like the box coordinate system WZa. This hand coordinate system 20Za is defined at the center of gravity of the upper surface of the
重量計測部411は、吸着ハンド20とロボット2のフランジ間に設置した重量センサ21(図1参照)が出力した値をPLC5(図1参照)経由で読み取り吸着ハンド20で吸着している箱の重量を推定し出力するものである。この重量センサ21が出力する値は、吸着ハンド20の重量も含む為、あらかじめ設定保持部402に吸着ハンド20の重量を保持して置き、重量センサ21の出力値から差し引いて出力する。
The
ここで、図11を用いて、重量計測部411の重量推定方法について説明する。重量計測部411は、箱Wが、吸着ハンド20に吸着した状態で、重量を計測する。また、重量計測部411は、ロボット2が静止した状態で、且つ、箱Wが静止した状態で重量を計測し、箱Wが振動している場合は、振動が収まるまで待ってから計測することとなる。しかして、このようにロボット2、及び、箱Wが静止した状態において、箱Wの重量を計測することで、箱Wの振動が箱の重量計測に与える影響を削減する事ができ、もって、重量の計測精度が向上するという効果がある。なお、重量センサ21が出力する値は、吸着ハンド20の重量も含む為、あらかじめ設定保持部402に吸着ハンド20の重量を保持して置き、重量センサ21の出力値から差し引いて出力することとなる。
Here, the weight estimation method of the
移載速度決定部412は、ロボット2の吸着ハンド20の加減速度を決定するものである。決定するロボット2の加減速度は、ロボット2のフランジ部分の加減速度を表すものである。この加減速度は、ロボット2が移載する箱Wの重さに基づいて数式1によって求められることとなる。
The transfer
この数1において、xは箱の重量であり単位はkgである。そして、f(x)は加減速度を表し、単位はm/s2である。 In this equation 1, x is the weight of the box in kg. And f(x) represents the acceleration/deceleration, and the unit is m/ s2 .
図12は、数1のグラフを表す図であり、横軸は箱Wの重量を表し、縦軸は加減速度を表している。図12に示すように、箱Wの重量の増加とともに、ロボット2の加減速度は減少し、箱Wの重量が30kgの時に、ロボット2の加減速度は、0.5 m/s2になり、箱の重量が30kg以上である場合は、ロボット2の加減速度は、 0.5m/s2固定となる。
FIG. 12 is a diagram showing a graph of Equation 1, in which the horizontal axis represents the weight of the box W and the vertical axis represents the acceleration/deceleration. As shown in FIG. 12 , the acceleration/deceleration of the
ところで、ロボット2の移載速度の設定に加減速度を用いている理由は、加減速の大きさに応じて箱Wと吸着ハンド20との間に力が生じ、箱Wが搬送時に落下する可能性があるからである。それゆえ、箱Wの重量が重い場合にロボット2の加減速度を減少させることによって、箱Wの移載時の落下する確率が減少するという効果がある。
By the way, the reason why the acceleration/deceleration is used to set the transfer speed of the
<情報処理装置の処理内容の説明>
次に、図3に示すフローチャートも参照し、本実施形態に示す情報処理装置4の処理内容について説明する。
<Explanation of processing contents of information processing device>
Next, the processing contents of the
まず、図2に示す判断部400は、ロボット2の姿勢をホームポジションへ戻す処理を行う(ステップS1)。
First, the
次いで、判断部400は、倉庫管理システムSKからデパレタイズの指示があった場合(ステップS2:YES)に、S3へ進み、デパレタイズの指示がない場合(ステップS2:NO)は、再度S2の処理へ戻り、倉庫管理システムSKからデパレタイズの指示を待ち続ける。
Next, if there is a depalletizing instruction from the warehouse management system SK (step S2: YES), the
次いで、判断部400は、倉庫管理システムSKからピック対象に紐づいているITFコードと必要ピック数を入力する(ステップS3)。ここで必要ピック数とは、パレットPa上に積まれた複数の箱Wに対して、ロボット2で移載する箱の数である。
Next, the
次いで、判断部400は、必要ピック数として入力した箱の数を移載したかどうかチェックする(ステップS4)。もし、必要ピック数として入力した箱の数を移載完了していた場合(ステップS4:YES)、ステップS1の処理へ戻り、そうでなければ(ステップS4:NO)、ステップS5の処理へ進む。
Next, the
次いで、判断部400は、撮像部3を制御し、パレットPa上に積まれた複数の箱Wを撮影する(ステップS5)。
Next, the
次いで、判断部400は、撮像部3から入力した距離画像(例えば、図6(a)に示す距離画像GA参照)を箱認識部403へ出力する。これを受けて、箱認識部403は、図6(b),(c)に示すような箱認識処理を行う(ステップS6)。
Next, the
次いで、ずらし判定部404は、上記説明したように、ずらし動作を行うかどうか判断する(ステップS7)。ずらし動作を行うと判断した場合(ステップS7:YES)、ステップS8へ進み、ずらし動作を行わないと判断した場合(ステップS7:NO)、ステップS11へ進む。
Next, the
次いで、判断部400は、ずらし判定部404がずらし動作を行うと判断した場合(ステップS7:YES)、ロボット2を制御し、ずらし動作を行うこととなる。
Next, when the
次いで、判断部400は、撮像部3を制御し、ずらし動作を行った後に、パレットPa上に積まれた複数の箱Wを再撮影する(ステップS9)。
Next, the
次いで、判断部400は、撮像部3から入力した距離画像(例えば、図6(a)に示す距離画像GA参照)を箱認識部403へ出力する。これを受けて、箱認識部403は、図6(b),(c)に示すような箱認識処理を行う(ステップS10)。
Next, the
次いで、サイズ推定部405は、上記説明したように、箱Wのサイズを推定し、推定した箱Wのサイズの情報を箱情報保持部401で保持する処理を行う(ステップS11)。
Next, as described above, the
次いで、箱の向き決定部408は、上記説明したように、箱Wの向きを推定する処理を行う(ステップS12)。
Next, the box
次いで、移載順決定部407は、上記説明したように、箱認識部403で認識した箱Wの位置情報に基づいて、箱の移載順を決定する処理を行う(ステップS13)。
Next, as described above, the transfer
次いで、判断部400は、移載順決定部407で決定した移載順の最初に吸着すべき箱Wに対して、ハンドの位置姿勢決定部410の吸着ハンド20の位置姿勢情報に基づいてロボット2を制御する。これにより、ロボット2は、吸着ハンド20にて箱Wを吸着することとなる(ステップS14)。
Next, the
次いで、判断部400は、箱情報保持部401を参照し、倉庫管理システムSKから入力したITFコードに対して、箱Wの高さの情報が存在するか否かを確かめる。箱の高さの情報が存在すれば(ステップS15:YES)、ステップS19へ進み、存在しなければ(ステップS15:NO)、ステップS16へ進む。
Next, the
次いで、判断部400は、箱の高さの情報が存在しなければ(ステップS15:NO)、ロボット2を制御し、パレットPa上に積まれた複数の箱Wが撮影可能な位置にロボット2を退避させる(ステップS16)。
Next, if there is no box height information (step S15: NO), the
次いで、判断部400は、撮像部3を制御し、パレットPa上に積まれた複数の箱Wを撮影する(ステップS17)。
Next, the
次いで、箱の高さ推定部406は、撮像部3から入力した2つの距離画像に基づいて箱の高さを算出し、算出した箱の高さを、箱情報保持部401に格納されている図4に示す箱情報テーブルTBLAの対応するITFコードTBLAaのレコードに保存する処理を行う(ステップS18)。
Next, the box
次いで、判断部400は、箱情報保持部401を参照し、倉庫管理システムSKから入力したITFコードに対して重量の情報が存在するか否かを確かめる(ステップS19)。重量の情報が存在すれば(ステップS19:YES)、ステップS22へ進み、存在しなければ(ステップS19:NO)、ステップS20へ進む。
Next, the
次いで、判断部400は、重量の情報が存在しなければ(ステップS19:NO)、ロボット2を制御し、吸着している箱Wを、あらかじめ設定した重量計測位置で静止させる(ステップS20)。
Next, if the weight information does not exist (step S19: NO), the
次いで、重量計測部411は、重量センサ21の箱の重量の情報を、PLC5経由で読み取り、箱情報保持部401に格納されている図4に示す箱情報テーブルTBLAの対応するITFコードTBLAaのレコードに保存する(ステップS21)。
Next, the
次いで、移載速度決定部412は、上記説明したように、箱情報保持部401より箱の重量の情報を読み出し、箱の重量に基づいて移載時の加減速度を決定する(ステップS22)。
Next, the transfer
次いで、コンベア上での置き位置姿勢決定部409は、上記説明したように、コンベアC上での箱Wの置き位置を決定し、その決定した情報を、判断部400へ出力する(ステップS23)。
Next, the placement position/
次いで、判断部400は、ロボット2を制御し、コンベア上での置き位置姿勢決定部409で決定したコンベアCの上での箱Wの置き位置に対して、移載速度決定部412で決定した加減速度で箱Wを移載し、もって、ピック数を1つ減少させる(ステップS24)。
Next, the
次いで、判断部400は、PLC5を介して、コンベアCを制御し、コンベアC上に置かれた箱Wを倉庫へ移送することとなる(ステップS25)。そして、この処理を終えた後、ステップS4の処理へ戻ることとなる。
Next, the
<箱の高さ計測に関する説明>
ここで、本実施形態の特徴とするところは、箱の高さ推定部406の処理内容に関するところであるため、この点、以下、詳しく説明することとする。
<Explanation on box height measurement>
Here, since the feature of this embodiment relates to the processing content of the box
上記説明したように、箱の高さ推定部406は、パレットPa上に積まれた箱Wの高さを推定するものであるが、図13(a)に示すように、パレットPa上に空間Sが空いた状態で複数の箱Wが積まれていた場合、箱Wの高さの推定を誤って計測してしまう可能性がある。すなわち、箱Wの高さを推定するにあたっては、撮像部3にて、図13(a)に示すように、パレットPa上に積まれた複数の箱Wの三次元点群計測を行い、次いで、図13(b)に示すように、パレットPa上の最上段に積まれた箱Wをロボット2により、撮像部3の撮影範囲外へ移動した後、再度、撮像部3にて、パレットPa上に積まれた複数の箱Wの三次元点群計測を行った上で、箱Wの高さを推定することとなる。しかしながら、この際、箱の高さ推定部406が、空間Sも含めた箇所(図13(b)に示す破線部分参照)を箱Wの高さと推定しまう可能性がある。この点、より詳しく説明すると、図14(a)に示すように、パレットPa上の最上段に積まれた箱Wをロボット2により、撮像部3の撮影範囲外へ移動した後、再度、撮像部3にて、パレットPa上に積まれた複数の箱Wの三次元点群計測を行うと、図14(b)に示すような三次元点群が計測されることとなる。すなわち、図14に示すように、パレットPa上の最上段に積まれた箱Wをロボット2により移動した結果として、新たに最上面となる位置にあるa.の面内の三次元点群、そして、パレットPa上の最上段に積まれた箱Wをロボット2により移動した結果として表れた空間Sの底の位置にあるb.の面内の三次元点群、そしてさらに、空間Sの側面の位置にあるc.の面内の三次元点群が計測されることとなる。
As described above, the box
ところで、このように計測された三次元点群を何ら分類することなく、面フィッティングと呼ばれる手法を適用すると、上記のように計測された三次元点群それぞれが持つ高さ方向の位置の差が面フィッティングに影響し、もって、適切な高さを推定することができないこととなる。それゆえ、箱の高さ推定部406が、空間Sも含めた箇所(図13(b)に示す破線部分参照)を箱Wの高さと推定しまう可能性がある。
By the way, if a method called surface fitting is applied without classifying the 3D point clouds measured in this way, the difference in the position in the height direction of each 3D point cloud measured as described above is It will affect the surface fitting and thus will not be able to estimate the proper height. Therefore, there is a possibility that the
そこで、本実施形態においては、上記のような問題点を解消すべく、箱の高さ推定部406にて以下のような処理を行っている。
Therefore, in this embodiment, the following processing is performed by the box
図15に示すように、まず、判断部400(図2参照)は、撮像部3を制御し、パレットPa上に積まれた複数の箱W(図13(a)参照)を撮影し、第1点群計測を行う(ステップS50)。
As shown in FIG. 15, first, the determination unit 400 (see FIG. 2) controls the
次いで、判断部400は、撮像部3から入力した距離画像(例えば、図6(a)に示す距離画像GA参照)を箱認識部403へ出力する。これを受けて、箱認識部403は、図6(b),(c)に示すような箱認識処理を行う(ステップS51)。
Next, the
次いで、判断部400は、箱認識部403にて認識した箱の認識情報を用い、移載対象の箱Wを定める(ステップS52)。
Next, the
次いで、判断部400にて定められた移載対象の箱Wの上面(第1の上面)の位置を箱の高さ推定部406にて求める。すなわち、箱の高さ推定部406は、箱認識部403にて認識した箱の認識情報を用い、撮像部3からの距離Dm(図13(a)参照)、及び、撮像部3内の平面座標(Xc,Yc)を求めることにより、移載対象の箱Wの上面(第1の上面)の位置(図8(a)に示すH1参照)を求める。そして、サイズ推定部405は、移載対象の箱Wの縦、横のサイズを求める。そしてさらに、箱の向き決定部408は、移載対象の箱Wの法線方向を求める(ステップS53)。これにより、第1箱情報が取得できることとなる。
Next, the position of the upper surface (first upper surface) of the box W to be transferred determined by the determining
次いで、判断部400は、ロボット2を制御し、移載対象の箱Wを吸着ハンド20にて吸着し、そのまま所定の待機場所に移動させる(ステップS54)。
Next, the
次いで、判断部400(図2参照)は、撮像部3を制御し、パレットPa上に積まれた複数の箱W(図13(b)参照)を撮影し、第2点群計測を行う(ステップS56)。
Next, the determination unit 400 (see FIG. 2) controls the
次いで、箱の高さ推定部406は、移載対象の箱Wを支えていた面(第2の上面、図13(b)では、空間Sを空けて並列している2つの箱Wの上面)を推定する(ステップS56)。
Next, the box
ここで、このステップS56の処理について、図16~図18を参照して具体的に説明する。図16に示すように、第2点群計測を行った後(ステップS55)、箱の高さ推定部406は、第2点群計測で得られた三次元点群のうち、第1箱情報で得られた撮像部3からの距離Dmと同じ距離に属する三次元点群で、かつ、第1箱情報で得られた箱Wのサイズを持つ領域の三次元点群を第2の上面推定の対象から外す処理を行う(ステップS56a)。この点、具体例を用いて説明すると、図20(a)に示すように、パレットPa上に複数の箱Wが積まれた状態で、図20(b)に示すように、図示右下の箱WがステップS54の処理により、ロボット2にて所定の待機場所に移動させられた際、箱の高さ推定部406は、太枠WKで囲まれた部分を第2の上面推定の対象から外す処理を行うこととなる。しかして、このような処理を行うことにより、図20(c)に示すように、破線枠HKを第2の上面推定の対象にしようというものである。
Here, the processing of step S56 will be specifically described with reference to FIGS. 16 to 18. FIG. As shown in FIG. 16, after performing the second point cloud measurement (step S55), the box
次いで、箱の高さ推定部406は、パレットPa高さと、撮像部3からの距離Dmとの間の三次元点群で、かつ、第1箱情報で得られた箱Wの画面上の位置(Xc,Yc)において三次元点群探索範囲を設定する。この三次元点群探索範囲としては、本実施例において、第1箱情報で得られた箱Wの画面上の位置(Xc,Yc)を基準として、第1箱情報で得られた箱Wの縦、横のサイズの1倍を第1探索範囲とし、1.7倍を第2探索範囲としている(ステップS56b)。この点、具体例を用いて説明すると、図21(a),図22に示すように、図21(a)に示す太枠WK1で囲まれた部分が、図22に示す箱Wの縦W10、横L10のサイズの1倍である第1探索範囲であり、図21(a),図22に示すように、図21(a)に示す破線枠HK1で囲まれた部分が、図22に示す箱Wの縦W10、横L10のサイズの1.7倍である第2探索範囲である。この第1探索範囲では、ステップS56aにて示す処理を行うことにより、図21(b)に示す白枠の部分が第2の上面推定の対象部分の三次元点群となり、第2探索範囲では、図21(c)に示す白枠の部分が第2の上面推定の対象部分の三次元点群となる。しかして、このようにすれば、探索範囲が広がることとなり、もって、正確な高さを推定できるという効果がある。なお、このパレットPa高さは、調整段階、点検時、始業時等においてパレットPaだけを、予め、三次元点群計測を行い、求めておいたものである。
Next, the box
次いで、箱の高さ推定部406は、第1探索範囲において、図21(b)に示す白枠の部分の三次元点群に属する点の数が既定の数(例えば、100)を超えたか否かを確認する(ステップS56c)。既定の数(例えば、100)を超えていなければ(ステップS56c:NO)、図15に示すステップS63の処理を行い、表示装置46(図1参照)に高さ計測失敗を報知する。
Next, the box
一方、既定の数(例えば、100)を超えていれば(ステップS56c:YES)、箱の高さ推定部406は、第2探索範囲において、図21(c)に示す白枠の部分の三次元点群に属する点の数が既定の数(例えば、500)を超えたか否かを確認する(ステップS56d)。既定の数(例えば、500)を超えていなければ(ステップS56d:NO)、図15に示すステップS63の処理を行い、表示装置46(図1参照)に高さ計測失敗を報知する。
On the other hand, if the predetermined number (for example, 100) is exceeded (step S56c: YES), the box
一方、既定の数(例えば、500)を超えていれば(ステップS56d:YES)、箱の高さ推定部406は、第1探索範囲で得られた三次元点群を面フィッティング対象候補点群(第1対象点群候補抽出)とする(ステップS56e)。
On the other hand, if the predetermined number (for example, 500) is exceeded (step S56d: YES), the box
次いで、箱の高さ推定部406は、第2探索範囲で得られた三次元点群を面フィッティング対象候補点群(第2対象点群候補抽出)とする(ステップS56f)。
Next, the box
次いで、箱の高さ推定部406は、面フィッティング対象候補点群を各点の高さに基づいて2群にクラスタリングする処理を行う(ステップS56g)。しかして、このようにクラスタリング処理を行うことにより、最適な第2の上面を得ることが可能となり、もって、移載対象の箱Wの高さをより正確に計測することができることとなる。
Next, the box
次いで、箱の高さ推定部406は、図17に示すように、第1対象点群候補抽出のクラスタリング結果のそれぞれに属する三次元点群の点の数が既定の数(例えば、100)を下回ればエラーの可能性有と判定する(ステップS56h)。
Next, as shown in FIG. 17, the box
次いで、箱の高さ推定部406は、第2対象点群候補抽出のクラスタリング結果のそれぞれに属する三次元点群の点の数が既定の数(例えば、500)を下回ればエラーの可能性有と判定する(ステップS56i)。
Next, if the number of points of the three-dimensional point cloud belonging to each clustering result of the second target point cloud candidate extraction is less than a predetermined number (for example, 500), the box
次いで、箱の高さ推定部406は、ステップS56h,ステップS56iにて何れもエラーの可能性有と判定されたか否かを確認する(ステップS56j)。何れもエラーの可能性有と判定された場合(ステップS56j:YES)、図15に示すステップS63の処理を行い、表示装置46(図1参照)に高さ計測失敗を報知する。
Next, the box
一方、ステップS56h,ステップS56iにて何れか一方がエラーの可能性有と判定されていなければ(ステップS56j:NO)、箱の高さ推定部406は、ノイズ除去のため、第1対象点群候補抽出に属する三次元点群の外周となる三次元点群を除去し、第1面フィッティング対象点群とする(ステップS56k)。
On the other hand, if it is not determined that there is a possibility of an error in either step S56h or step S56i (step S56j: NO), the box
次いで、箱の高さ推定部406は、ノイズ除去のため、第2対象点群候補抽出に属する三次元点群の外周となる三次元点群を除去し、第2面フィッティング対象点群とする(ステップS56l)。
Next, in order to remove noise, the box
次いで、箱の高さ推定部406は、第1面フィッティング対象点群の点の数を確認し(ステップS56m)、第2面フィッティング対象点群の点の数を確認する(ステップS56n)。
Next, the box
次いで、箱の高さ推定部406は、第1面フィッティング対象点群の点の数が、既定の数(例えば、100)を下回り、かつ、第2面フィッティング対象点群の点の数が、既定の数(例えば、500)を下回っているか否かを確認する(ステップS56o)。何れも下回っていれば(ステップS56o:YES)、図15に示すステップS63の処理を行い、表示装置46(図1参照)に高さ計測失敗を報知する。
Next, the box
一方、何れか一方が下回っていなければ(ステップS56o:NO)、箱の高さ推定部406は、第1面フィッティング対象点群で得られる面で第1の高さを計算する(ステップS56p)。この点、より詳しく説明すると、図18に示すように、まず、箱の高さ推定部406は、第1面フィッティング対象点群で得られる面の法線方向と、図15に示すステップS53にて求めた第1の上面の法線方向を比較する。その結果、許容範囲(予め設定された許容値)外であれば、エラーの可能性有と判定する(ステップS100)。しかして、このようにすれば、ノイズの影響により不正確な面を認識している可能性を除去することができ、もって、移載対象の箱Wの高さをより正確に計測することができることとなる。
On the other hand, if either one is not below (step S56o: NO), the box
次いで、箱の高さ推定部406は、第1面フィッティング対象点群を上から見て、図23(a)に示すように、三次元点群を囲む外形HK10を設定し、外形HK10の縦L20、横W20を得る。そしてさらに、箱の高さ推定部406は、第1面フィッティング対象点群を横から見て、図23(b)に示すように、高さ方向にばらつきのある三次元点群を囲む外形HK10を設定し、外形HK10の厚みH20を得る(ステップS101)。
Next, the box
次いで、箱の高さ推定部406は、外形HK10の縦L20、横W20と厚みH20の比(縦L20/厚みH20、横W20/厚みH20)が既定値(例えば、5)を超えていなければ、エラーの可能性無と判定し、超えていれば、エラーの可能性有と判定する(ステップS102)。しかして、このようにすれば、ノイズによる影響を軽減させることができ、もって、移載対象の箱Wの高さをより正確に計測することができることとなる。
Next, the
次いで、箱の高さ推定部406は、第1面フィッティング対象点群を用いて、平面フィッティングを行い、第2の上面とする(ステップS103)。
Next, the box
次いで、箱の高さ推定部406は、第1面フィッティング対象点群を用いて、上記決定した第2の上面の高さ、及び、撮像部3内の平面座標(Xc,Yc)を得る(ステップS104)。
Next, the box
次いで、箱の高さ推定部406は、第2の上面の高さ(図8(b)に示すH2参照)と、第1の上面の高さ(図8(a)に示すH1参照)の差を求め、箱Wの第1高さHAaとする(ステップS105)。
Next, the box
かくして、上記のような処理を経て、箱の高さ推定部406は、第1面フィッティング対象点群で得られる面で第1高さHAaを計算することとなる(ステップS56p)。
Thus, through the above-described processing, the box
次いで、箱の高さ推定部406は、上記ステップS56pと同様の処理(図18に示す処理)を行い、第2面フィッティング対象点群で得られる面で第2高さHAbを計算する(ステップS56q)。
Next, the box
次いで、箱の高さ推定部406は、上記ステップS56p、ステップS56qにて、何れもエラー可能性有と判定されたか否かを確認する(ステップS56r)。何れもエラー可能性有と判定されていれば(ステップS56r:YES)、図15に示すステップS63の処理を行い、表示装置46(図1参照)に高さ計測失敗を報知する。
Next, the box
一方、何れもエラー可能性有と判定されていなければ(ステップS56r:NO)、箱の高さ推定部406は、箱Wの高さを確定する(ステップS56s)。この点、具体的に説明すると、上記ステップS56p、ステップS56qのうち、上記ステップS56pがエラー可能性有と判定され、上記ステップS56qがエラー可能性有と判定されていなければ、高さ推定部406は、第2高さHAbを箱Wの高さHA(図8(b)参照)とする。一方、上記ステップS56pがエラー可能性有と判定されておらず、上記ステップS56qがエラー可能性有と判定されていれば、高さ推定部406は、第1高さHAaを箱Wの高さHA(図8(b)参照)とする。
On the other hand, if none of them is determined to have the possibility of an error (step S56r: NO), the box
他方、上記ステップS56p、ステップS56qの何れもエラー可能性有と判定されていなければ、高さ推定部406は、第1面フィッティング対象点群を用いて算出した面積と、図15に示すステップS53にて求めた移載対象の箱Wのサイズを用いて算出した面積の比を計算し、比率1とする。そして、高さ推定部406は、第2面フィッティング対象点群を用いて算出した面積と、図15に示すステップS53にて求めた移載対象の箱Wのサイズを用いて算出した面積の比を計算し、比率2とする。比率1≧比率2であれば、高さ推定部406は、第1高さHAaを箱Wの高さHA(図8(b)参照)とする。一方、比率1<比率2であれば、高さ推定部406は、第1高さHAaと第2高さHAbの差分を取り、その差分が既定値(例えば、20)より小さい場合は、第1高さHAaを箱Wの高さHA(図8(b)参照)とし、それ以外の場合は、第1高さHAaと第2高さHAbのうち、小さい値の方を箱Wの高さHA(図8(b)参照)とする。
On the other hand, if neither step S56p nor step S56q determines that there is a possibility of an error, the
かくして、このようにして、箱の高さ推定部406は、移載対象の箱Wを支えていた面(第2の上面、図13(b)では、空間Sを空けて並列している2つの箱Wの上面)を推定する(ステップS56)。そして、推定できていなければ(ステップS57:NO)、表示装置46(図1参照)に高さ計測失敗を報知し(ステップS63)、推定できていれば(ステップS57:YES)、上記説明したように、箱Wの高さHA(図8(b)参照)を確定することとなる(ステップS58)。
Thus, in this way, the box
次いで、箱の高さ推定部406は、図15に示すように、ステップS58の処理後、箱Wの積み上げ段数を考慮した高さチェックを行う(ステップS59)。この高さチェックにおいて、不正があれば(ステップS60:YES)、表示装置46(図1参照)に高さ計測失敗を報知し(ステップS63)する。一方、不正がなければ(ステップS60:NO)、判断部400は、ロボット2を制御し、移載対象の箱Wを所定の待機場所からコンベアC(図1参照)に移動させる(ステップS61)。
Next, as shown in FIG. 15, the box
次いで、判断部400は、得られた高さを基準として、以後の移載を実行するようにロボット2を制御することとなる(ステップS62)。
Next, the
ここで、上記ステップS59、ステップS60の処理について、図19を参照して、詳しく説明する。 Here, the processing of steps S59 and S60 will be described in detail with reference to FIG.
図19に示すように、箱の高さ推定部406は、移載対象の箱Wの第1の上面の高さ(図24に示すH1参照)と、図24に示すパレットPaの高さとの差分を取り、その差分を、図24に示すように、H1aとする(ステップS59a)。なお、このパレットPa高さは、調整段階、点検時、始業時等においてパレットPaだけを、予め、三次元点群計測を行い、求めておいたものである。
As shown in FIG. 19, the
次いで、箱の高さ推定部406は、図24に示す差分H1aを、図17に示すステップS56sで確定した箱Wの高さHA(図24参照)で割り整数化(四捨五入)して積み上げ段数Tとする(ステップS59b)。しかして、このようにすれば、箱Wの積み上げ段数を考慮した高さチェックを行うことができ、もって、移載対象の箱Wの高さをより正確に計測することができることとなる。
Next, the box
次いで、箱の高さ推定部406は、予め実験によって求めておいた積み上げ段数Tに依存する箱のつぶれ度合い(Δ)を用いて、下記、数式2を用いて、検証計算を行う(ステップS59c)。
Next, the box
次いで、箱の高さ推定部406は、上記数式2の計算結果が、0と見なされる範囲(例えば、小数点第1が0である値(0.0・・・・))であるか否かを確認する(ステップS60)。0と見なされる範囲でなければ、不正であると判定し(ステップS60:NO)、図15に示すように、表示装置46(図1参照)に高さ計測失敗を報知し(ステップS63)する。しかして、このようにすれば、ノイズの影響により不正確な箱の高さを認識している可能性を除去することができ、もって、移載対象の箱Wの高さをより正確に計測することができることとなる。
Next, the box
一方、0と見なされる範囲であれば、不正でない判定し(ステップS60:YES)、判断部400は、ロボット2を制御し、移載対象の箱Wを所定の待機場所からコンベアC(図1参照)に移動させる(ステップS61)。
On the other hand, if it is within the range considered to be 0, it is determined that there is no illegality (step S60: YES), and the
次いで、判断部400は、得られた高さを基準として、以後の移載を実行するようにロボット2を制御することとなる(ステップS62)。
Next, the
しかして、以上説明した本実施形態によれば、移載対象の箱Wの高さを正確に計測することができることとなる。 Thus, according to the present embodiment described above, the height of the boxes W to be transferred can be accurately measured.
なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。 It should be noted that the content illustrated in the present embodiment is merely an example, and various modifications and changes are possible within the scope of the gist of the invention described in the scope of claims.
例えば、本実施形態においては、箱Wを例示したが、勿論、パレットPa上に積層可能であれば、どのようなものにも適用可能である。 For example, in the present embodiment, the box W was illustrated, but of course, any item that can be stacked on the pallet Pa can be applied.
1 移載対象ワーク高さ計測システム
2 ロボット
3 撮像部(三次元点群情報取得手段)
4 情報処理装置
406 箱の高さ推定部(選別手段)
Pa パレット
W 箱(ワーク)
1 Transfer target workpiece
4
Pa Pallet W Box (workpiece)
Claims (7)
前記ワークの高さを計測する際に必要な当該ワークの平面を取得する際に用いられる平面フィッティングの対象となる三次元点群情報を、前記三次元点群情報取得手段にて取得された三次元点群情報から選別する選別手段と、を有してなる移載対象ワーク高さ計測システム。 3D point cloud information acquisition to acquire 3D point cloud information of multiple loaded workpieces, and to acquire 3D point cloud information of multiple loaded workpieces after temporarily moving the workpiece to be transferred means and
The three-dimensional point cloud information to be the target of plane fitting used when acquiring the plane of the work required when measuring the height of the work is obtained by the three-dimensional point cloud information acquisition means. and a sorting means for sorting from original point cloud information.
前記比較手段にて比較した結果、法線方向が一致しない場合には、エラーと判定してなる第1エラー判定手段と、をさらに有してなる請求項1~4の何れか1項に記載の移載対象ワーク高さ計測システム。 comparison means for comparing the normal direction of the upper surface of the temporarily moved transfer target work with the normal direction of the three-dimensional point cloud information to be subjected to the plane fitting;
5. The method according to any one of claims 1 to 4, further comprising first error determination means for determining an error when the normal directions do not match as a result of comparison by said comparison means. A system for measuring the height of workpieces to be transferred.
前記平面フィッティングの対象となる三次元点群情報を用いて、前記移載対象ワークの上面と、前記移載対象ワークを支持していた荷積みされた複数のワークの上面との距離を計測し、前記ワークの高さを推定する高さ推定手段と、
前記移載対象ワークの上面と、前記パレットの上面との距離を計測する計測手段と、
前記高さ推定手段にて推定した高さと、前記計測手段にて計測した計測結果とを用いて、荷積みされた複数のワークの積み上げ段数を推定する積み上げ段数推定手段と、をさらに有してなる請求項1~5の何れか1項に記載の移載対象ワーク高さ計測システム。 The plurality of loaded workpieces are loaded on a pallet,
Using the three-dimensional point group information to be subjected to the planar fitting, the distance between the upper surface of the transfer target work and the upper surfaces of the plurality of loaded works supporting the transfer target work is measured. , height estimation means for estimating the height of the work;
measuring means for measuring the distance between the upper surface of the work to be transferred and the upper surface of the pallet;
and stacking stage number estimation means for estimating the number of stacked workpieces by using the height estimated by the height estimation means and the measurement results obtained by the measurement means. The system for measuring the height of a work to be transferred according to any one of claims 1 to 5.
前記検証手段にて検証した結果、前記高さ推定手段にて推定した高さが不正である場合にエラーと判定してなる第2エラー判定手段と、をさらに有してなる請求項6に記載の移載対象ワーク高さ計測システム。
Whether the height estimated by the height estimation means is incorrect using the estimated value of the number of stacked stages estimated by the said estimated number of stacked stages and the average height reduction value depending on the number of stacked stages. Verification means for verifying whether or not
7. The method according to claim 6, further comprising second error determination means for determining an error when the height estimated by said height estimation means is incorrect as a result of verification by said verification means. A system for measuring the height of workpieces to be transferred.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019157689A JP7280655B2 (en) | 2019-08-30 | 2019-08-30 | Transfer target workpiece height measurement system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019157689A JP7280655B2 (en) | 2019-08-30 | 2019-08-30 | Transfer target workpiece height measurement system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021036204A JP2021036204A (en) | 2021-03-04 |
JP7280655B2 true JP7280655B2 (en) | 2023-05-24 |
Family
ID=74716783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019157689A Active JP7280655B2 (en) | 2019-08-30 | 2019-08-30 | Transfer target workpiece height measurement system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7280655B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010247959A (en) | 2009-04-16 | 2010-11-04 | Ihi Corp | Box-shaped work recognizing device and method |
JP2014109464A (en) | 2012-11-30 | 2014-06-12 | Toshiba Corp | Object measuring device and object measuring method |
JP2017191605A (en) | 2016-04-13 | 2017-10-19 | ジック インクSICK Inc. | Method and system for measuring dimensions of target object |
JP2019136828A (en) | 2018-02-13 | 2019-08-22 | Kyoto Robotics株式会社 | Box-shaped object picking device and method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3028016B2 (en) * | 1993-02-26 | 2000-04-04 | 村田機械株式会社 | 3D image measurement method for cargo |
-
2019
- 2019-08-30 JP JP2019157689A patent/JP7280655B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010247959A (en) | 2009-04-16 | 2010-11-04 | Ihi Corp | Box-shaped work recognizing device and method |
JP2014109464A (en) | 2012-11-30 | 2014-06-12 | Toshiba Corp | Object measuring device and object measuring method |
JP2017191605A (en) | 2016-04-13 | 2017-10-19 | ジック インクSICK Inc. | Method and system for measuring dimensions of target object |
JP2019136828A (en) | 2018-02-13 | 2019-08-22 | Kyoto Robotics株式会社 | Box-shaped object picking device and method |
Also Published As
Publication number | Publication date |
---|---|
JP2021036204A (en) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7411932B2 (en) | Automated package registration systems, devices, and methods | |
US11780101B2 (en) | Automated package registration systems, devices, and methods | |
CN110054121B (en) | Intelligent forklift and container pose deviation detection method | |
CN110322457B (en) | 2D and 3D vision combined unstacking method | |
US9707682B1 (en) | Methods and systems for recognizing machine-readable information on three-dimensional objects | |
JP5429614B2 (en) | Box-shaped workpiece recognition apparatus and method | |
JP2019509559A (en) | Box location, separation, and picking using a sensor-guided robot | |
JP4565023B2 (en) | Article take-out device | |
JP4087874B2 (en) | Work picking device | |
JP4655309B2 (en) | Picking order determination method, apparatus and program thereof, and picking system | |
JP6052103B2 (en) | Article recognition apparatus and article recognition equipment | |
JP5360369B2 (en) | Picking apparatus and method | |
WO2019240273A1 (en) | Information processing device, unloading system provided with information processing device, and computer-readable storage medium | |
JP2016078180A (en) | Abnormality cause estimating device, picking device, and abnormality cause estimating method for picking device | |
JP7280655B2 (en) | Transfer target workpiece height measurement system | |
CN116374474B (en) | Picking intelligent decision-making system based on machine vision | |
JP2010032258A (en) | Apparatus and method for recognizing position of work for depalletizing | |
JP7385424B2 (en) | Transfer target workpiece orientation recognition system | |
JP7218521B2 (en) | picking system | |
JP7261597B2 (en) | Work storage system to be transferred | |
JP7232652B2 (en) | Work transfer system | |
CN115003613A (en) | Device and method for separating piece goods | |
US20230173668A1 (en) | Robot system | |
WO2022264381A1 (en) | Workpiece retrieval count calculation device, hand system, and display device | |
WO2022264726A1 (en) | Transport system, method executed by computer for controlling transport of articles, and program for causing computer to execute this method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230405 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20230508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7280655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230508 |