JP7358095B2 - Cargo handling equipment, cargo handling systems and programs - Google Patents
Cargo handling equipment, cargo handling systems and programs Download PDFInfo
- Publication number
- JP7358095B2 JP7358095B2 JP2019128937A JP2019128937A JP7358095B2 JP 7358095 B2 JP7358095 B2 JP 7358095B2 JP 2019128937 A JP2019128937 A JP 2019128937A JP 2019128937 A JP2019128937 A JP 2019128937A JP 7358095 B2 JP7358095 B2 JP 7358095B2
- Authority
- JP
- Japan
- Prior art keywords
- container
- manipulator
- target
- article
- gripping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
本発明の実施形態は、荷役装置、荷役システムおよびプログラムに関する。 Embodiments of the present invention relate to a cargo handling device, a cargo handling system, and a program.
従来、アームおよび把持機構を有したマニピュレータを用いることで容器内の物品に対する荷役（移動）が行われている。例えば、カメラで撮像した撮像画像に基づいて、アームの動作経路（軌道）を計画し、計画した動作経路を通るようにアームを動作させる装置が知られている。 2. Description of the Related Art Conventionally, articles in a container have been handled (moved) using a manipulator having an arm and a gripping mechanism. For example, there is known a device that plans a movement path (orbit) of an arm based on an image taken by a camera and moves the arm along the planned movement path.
しかしながら、従来の技術では、下記のような問題によって把持機構による物品の把持ができない場合がある。すなわち、上面がアームに向かって傾いて置かれた物品の場合、目標把持姿勢、またはその近傍においてアームが特異姿勢となり、正常な動作経路の生成ができない。また、上面がアームと逆側に向かって傾いて置かれた物品の場合、目標把持姿勢、またはその近傍においてアームが容器と干渉するため把持できない。このような場合、荷役（移動）できない物品が容器に残ってしまう。 However, with the conventional technology, the gripping mechanism may not be able to grip the article due to the following problems. That is, in the case of an article placed with the top surface inclined toward the arm, the arm takes an unusual posture at or near the target grasping posture, and a normal motion path cannot be generated. Furthermore, in the case of an article placed with its top surface tilted toward the opposite side of the arm, the arm interferes with the container at or near the target gripping posture, making it impossible to grip the article. In such a case, items that cannot be handled (moved) remain in the container.
本発明が解決しようとする課題は、荷役できない物品が容器に残るのを抑制することができる荷役装置、荷役システムおよびプログラムを得ることである。 The problem to be solved by the present invention is to obtain a cargo handling device, a cargo handling system, and a program that can suppress items that cannot be handled from remaining in a container.
実施形態の荷役装置は、変化装置と、制御装置と、を備える。前記変化装置は、物品を収容する容器の姿勢を所定方向へ傾斜するように変化させる。前記制御装置は、前記容器内をセンシングするセンサのセンシング結果に基づいて、前記物品を把持する把持機構を目標把持点へ移動させるマニピュレータの動作経路を計画し、前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御し、前記動作経路において前記マニピュレータが特異姿勢となる場合、前記動作経路の計画に失敗したとして、前記変化装置の傾斜角度を増やしていって前記動作経路において前記マニピュレータが特異姿勢とならない目標把持点が見つかった時点の傾斜角度を目標傾斜角度とし、前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御する。 The cargo handling device of the embodiment includes a change device and a control device. The changing device changes the attitude of the container that houses the article so that it is tilted in a predetermined direction . The control device plans a movement path of a manipulator that moves a gripping mechanism that grips the article to a target gripping point based on a sensing result of a sensor that senses the inside of the container, and plans a movement path of a manipulator that moves a gripping mechanism that grips the article to a target gripping point, and moves the gripping mechanism based on the movement path. controls the operation of the manipulator so that it grips the article at the target gripping point, and if the manipulator takes a singular posture in the operation path, it is assumed that the operation path planning has failed, and the change device is tilted. As the angle is increased, the inclination angle at the time when a target gripping point at which the manipulator does not take a singular posture is found in the movement path is set as a target inclination angle, and the change device is adjusted so that the change device inclines by the target inclination angle . Control.
以下、実施形態の荷役装置および荷役システムを、図面を参照して説明する。 Hereinafter, a cargo handling device and a cargo handling system according to an embodiment will be described with reference to the drawings.
（第１の実施形態）
図１は、第１の実施形態の荷役システム１の構成の一例を示す図である。また、図２は、第１の実施形態の把持機構１１３の構成の一例を示す図である。
(First embodiment)
FIG. 1 is a diagram showing an example of the configuration of a
＜荷役システムの構成＞
図１に示すように、荷役システム１は、荷役装置１０と、センサ２０と、を備える。また、荷役装置１０は、マニピュレータ１１と、容器２を支持する容器姿勢変更装置７０と、荷役制御装置１２と、を備える。荷役制御装置１２は、マニピュレータ１１、センサ２０、および容器姿勢変更装置７０と、例えば、シリアルケーブルやＬＡＮ（Local Area Network）などを介して通信可能に接続される。荷役システム１は、容器２の中に積み重ねられた複数の物品Ｗ（物品群）から任意の物品Ｗを把持し、任意の場所へ移動（荷役）させる。以下の説明では、任意の場所としてベルトコンベア３が適用された例を説明する。また、物品Ｗは、例えば、例えば方形（直方体状または立方体状）に構成されている。
<Cargo handling system configuration>
As shown in FIG. 1, the
以下の説明では、図１に示すように、Ｘ軸、Ｙ軸およびＺ軸が定義される。Ｘ軸とＹ軸とＺ軸とは、互いに直交する。Ｘ軸およびＹ軸は、水平方向に沿う。Ｚ軸は、鉛直方向に沿う。 In the following description, the X-axis, Y-axis, and Z-axis are defined as shown in FIG. The X-axis, Y-axis, and Z-axis are orthogonal to each other. The X-axis and Y-axis are along the horizontal direction. The Z axis runs in the vertical direction.
容器２および容器姿勢変更装置７０と、ベルトコンベア３とは、マニピュレータ１１の周囲に配置されている。具体的には、マニピュレータ１１に対してＸ軸の軸方向の一方側（図１の右側）に容器２および容器姿勢変更装置７０が配置され、マニピュレータ１１に対してＸ軸の軸方向の他方向（図１の左側）にベルトコンベア３が配置されている。すなわち、容器２および容器姿勢変更装置７０とベルトコンベア３との間にマニピュレータ１１が配置されている。つまり、マニピュレータ１１は、容器２および容器姿勢変更装置７０に面する位置であって、且つ、ベルトコンベア３に面する位置に配置されている。なお、マニピュレータ１１と、容器２および容器姿勢変更装置７０と、ベルトコンベア３との配置は、上記の配置以外であってもよい。
The
容器２は、底部２ａと底部２ａから立ち上がった立上部２ｂとを有し、上方に開放された形状に形成され、内部に複数の物品Ｗを収容する。立上部２ｂは、矩形筒状に形成され、下端部が底部２ａの周縁部に接続されている。立上部２ｂの上端部の開口部から容器２の内部に対して物品Ｗの出し入れがなされる。詳しくは、容器２の内部には、底部２ａと立上部２ｂとに囲まれた収容室（収容空間）が形成されており、この収容室に物品Ｗが収容される。なお、図１などでは立上部２ｂの一部が省略されている。容器２は、収容体とも称される。
The
＜各構成＞ <Each configuration>
マニピュレータ１１は、ベース１１１に支持されている。マニピュレータ１１は、ベース１１１に支持された端部１１ｂと、端部の反対側の端部である先端部１１ａと、を有している。また、マニピュレータ１１は、端部１１ｂを含むアーム１１２と、先端部１１ａを含む把持機構１１３と、を有している。
Manipulator 11 is supported by
アーム１１２は、ベース１１１に支持されている。アーム１１２は、例えば、それぞれがサーボモータで回転駆動される６個（複数）の回転部Ｊ１～Ｊ６と、５個（複数）のリンクＬ１～Ｌ５とを有した多関節型ロボット（多軸型ロボット）である。回転部Ｊ１は、リンクＬ１の一端部をベース１１１に対してＺ軸回りに回転可能に連結している。回転部Ｊ２は、リンクＬ１の他端部にリンクＬ２の一端部を水平方向に沿う回転軸回りに回転可能に連結している。回転部Ｊ３は、リンクＬ２の他端部にリンクＬ３の一端部を水平方向に沿う回転軸回りに回転可能に連結している。回転部Ｊ４は、リンクＬ３の他端部にリンクＬ４の一端部をリンクＬ３の軸方向に沿う回転軸回りに回転可能に連結している。回転部Ｊ５は、リンクＬ４の他端部にリンクＬ５の一端部を水平方向に沿う回転軸回りに回転可能に連結している。回転部Ｊ６は、リンクＬ５の他端部に把持機構１１３をリンクＬ５の軸方向に沿う回転軸回りに回転可能に連結している。上記構成では、回転部Ｊ４～Ｊ６のそれぞれの回転軸が、１点で交差しうる。リンクＬ５は、最終リンクとも称される。
Arm 112 is supported by
把持機構１１３は、アーム１１２におけるベース１１１とは反対側の端部１１２ａ（すなわちリンクＬ５の他端部）に設けられている。すなわち、把持機構１１３は、マニピュレータ１１の先端部１１ａに設けられている。把持機構１１３は、回転部Ｊ６にネジなどで固定され、アーム１１２の回転部Ｊ１～Ｊ６の回転により任意の位置および姿勢で移動可能である。
The
把持機構１１３は、容器２に収容された物品Ｗを把持する。把持機構１１３は、ハンドとも称される。
The
図２を参照して把持機構１１３の詳細を説明する。図２は、第１の実施形態の把持機構１１３の構成の一例を示す図である。図２に示すように、把持機構１１３は、本体１１２０、本体１１２０に取付けられた複数の吸着パッド１１２１（吸着パッド群）、真空発生器１１２２、圧力センサ１１２３、電磁バルブ１１２５、継手１１２６、および内部流路１１２４を有する。把持機構１１３は、真空吸着方式である。
Details of the
内部流路１１２４は、全ての吸着パッド１１２１と、真空発生器１１２２、圧力センサ１１２３、および電磁バルブ１１２５との間を接続する。
真空発生器１１２２は、例えばエジェクタであり、圧縮空気を供給されることで真空を発生させる。
The
電磁バルブ１１２５は、３つの状態に切替え可能であり、一つは真空発生器１１２２へと圧縮空気を供給して真空を発生させる状態（内部流路１１２４は負圧）、一つは内部流路１１２４へと直接圧縮空気を送ることで真空を破壊する状態（内部流路１１２４は大気圧より高い正圧）、またもう一つは閉状態（内部流路１１２４は大気圧）である。なお、バルブ制御、および真空発生器のＯＮ／ＯＦＦ制御はいずれも荷役制御装置１２（計画実行部１２１４（図１２））によってなされる。
The
吸着パッド１１２１は、シリコンゴムなどの剛性が低い素材によって構成され、物品Ｗの表面形状に倣って変形可能である。なお、吸着パッド１１２１は、一つであってもよい。
The
継手１１２６には、エア供給手段としてのコンプレッサ１１３０から圧縮空気がエアチューブなどの配管を介して供給される。配管は複数区間に分割してもよく、その一部はアーム１１２の内部流路を活用するなどしてもよい。
Compressed air is supplied to the joint 1126 from a
図１に戻って、センサ２０は、容器２の上方に配置され、容器２内をセンシングする、センサ２０は、一例としてカメラである。カメラは、例えばＲＧＢカメラである。センサ２０は、センシングとして撮像を行ない、撮像により得られた撮像画像を荷役制御装置１２に出力する。撮像画像は、センシング結果の一例である。センサ２０は、その撮像範囲Ａ２１に容器２内の物品群の全体または一部を含むように、配置される。センサ２０は、例えば、荷役システム１を設置する施設に治具を介して固定されている。なお、センサ２０は、容器２に設置してもよいし、把持機構１１３やアーム１１２に取り付けてもよい。
Returning to FIG. 1, the
容器姿勢変更装置７０は、容器２全体の位置と容器２全体の姿勢との少なくとも一方を変化させる。つまり、容器姿勢変更装置７０は、底部２ａおよび立上部２ｂを含む容器２の位置と底部２ａおよび立上部２ｂを含む容器２の姿勢との少なくとも一方を変化させる。本実施形態では、一例として、容器姿勢変更装置７０は、水平方向に沿った回転軸Ａｘ１回りに容器２を回転させることにより容器２を傾倒させる。ここで、容器姿勢変更装置７０は、支持した容器２の底部２ａが水平方向に沿う姿勢が、初期姿勢である。
The container attitude changing device 70 changes at least one of the position of the
容器姿勢変更装置７０は、駆動源７１、背面支持部材７２、底面支持部材７３、および土台７４（ベース）を有する。背面支持部材７２と底面支持部材７３とは、それぞれ容器２の背面および底面に当接している。背面支持部材７２および底面支持部材７３は、容器２を支持する支持部材７５を構成している。駆動源７１は、例えばサーボモータであり、支持部材７５を回転軸Ａｘ１回りに回転させる。土台７４には、駆動源７１が固定され、土台７４は、アンカーボルトなどにより床に固定される。容器姿勢変更装置７０は、変更装置の一例である。
The container attitude changing device 70 includes a
荷役制御装置１２は、マニピュレータ１１の動作を制御する。荷役制御装置１２は、センサ２０のセンシング結果すなわち撮像画像に基づき、マニピュレータ１１の動作を制御する。荷役制御装置１２は、マニピュレータ１１と一体的に設けられてもよいし、マニピュレータ１１と別体として設けられてもよい。
The cargo
次に、上述した荷役制御装置１２のハードウェア構成について説明する。図３は、荷役制御装置１２のハードウェア構成の一例を示す図である。
Next, the hardware configuration of the cargo
図３に示すように、荷役制御装置１２は、プロセッサ１２１、表示部１２２、操作部１２３、センサコントローラ１２４、アームコントローラ１２５、把持コントローラ１２６、変更コントローラ１２８、通信部１２７、および記憶部１２９を備える。プロセッサ１２１および記憶部１２９は、コンピュータを構成している。
As shown in FIG. 3, the cargo
プロセッサ１２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）などの制御装置である。表示部１２２は、表示装置の一例であり、例えば、液晶ディスプレイ、タッチパネル式ディスプレイなどの表示デバイス（出力装置）によって実現される。操作部１２３は、キーボードやポインティングデバイスなどの入力デバイス（入力装置）によって実現される。なお、操作部１２３は、表示部１２２の画面上に設けられるタッチパネルであってもよい。
The processor 121 is a control device such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an ASIC (Application Specific Integrated Circuit). The display unit 122 is an example of a display device, and is realized by, for example, a display device (output device) such as a liquid crystal display or a touch panel display. The
センサコントローラ１２４は、センサ２０に接続され、プロセッサ１２１の制御の下、センサ２０の動作を制御する。アームコントローラ１２５は、マニピュレータ１１のアーム１１２に接続され、プロセッサ１２１の制御の下、アーム１１２の動作を制御する。把持コントローラ１２６は、マニピュレータ１１の把持機構１１３に接続され、プロセッサ１２１の制御の下、把持機構１１３の動作を制御する。変更コントローラ１２８は、容器姿勢変更装置７０に接続され、プロセッサ１２１の制御の下、容器姿勢変更装置７０の動作を制御する。
The
通信部１２７は、不図示の他装置と接続するための通信インタフェースである。通信部１２７は、プロセッサ１２１の制御の下、他装置との間で各種データの授受を行う。 The communication unit 127 is a communication interface for connecting to other devices (not shown). The communication unit 127 sends and receives various data to and from other devices under the control of the processor 121.
記憶部１２９は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、フラッシュメモリなどの半導体メモリ素子やハードディスクなどの補助記憶装置によって実現される。記憶部１２９は、荷役装置１０の動作に係るプログラムや設定情報などを記憶する。また、記憶部１２９は、マニピュレータ１１の上下方向および水平方向の移動限界位置や、アーム１１２の可動範囲などを示した限界情報を記憶する。また、記憶部１２９は、物品Ｗの各辺のサイズや形状などを示した物品情報、物品Ｗのモデル等を記憶する。
The
次に、図４を参照して、荷役制御装置１２の機能構成について説明する。ここで、図４は、荷役制御装置１２の機能構成の一例を示す図である。かかる機能構成は、プロセッサ１２１が、記憶部１２９に記憶されたプログラムを実行することで実現されるソフトウェア構成としてもよいし、プロセッサ１２１などが備える専用回路によって実現されるハードウェア構成であってもよい。
Next, with reference to FIG. 4, the functional configuration of the cargo
図４に示すように、荷役制御装置１２は、取得部１２１１、認識部１２１２、計画部１２１３、計画実行部１２１４、および変化制御部１２１５を機能構成として備える。
As shown in FIG. 4, the cargo
取得部１２１１は、センサコントローラ１２４を介して、センサ２０で撮像された撮像画像を取得する。
The acquisition unit 1211 acquires a captured image captured by the
認識部１２１２は、取得部１２１１が取得した撮像画像に基づき、容器２内の物品Ｗを認識する。具体的には、認識部１２１２は、センサ２０が撮像した撮像画像を基に物品Ｗの形状、位置、姿勢、およびその他の情報を認識する。なお、物品Ｗの認識方法は特に問わず、パターンマッチングや特定物品認識など、公知の技術を用いてもよい。
The recognition unit 1212 recognizes the article W in the
計画部１２１３は、マニピュレータ１１のアーム１１２および把持機構１１３の駆動機構を動作させるための計画を導出（算出）する。計画部１２１３は、例えば、センサ２０の撮像画像に基づいて、物品Ｗを把持する目標把持点へ把持機構１１３を移動させるマニピュレータ１１の動作経路を計画する。このとき、計画部１２１３は、例えば、移動対象に設定された物品Ｗをベルトコンベア３まで移動する最短の動作経路を示した計画を導出する。なお、計画部１２１３は、記憶部１２９に記憶されたマニピュレータ１１の限界情報に基づいて計画の導出を行う。計画部１２１３は、計画した動作経路の情報（動作経路情報）を、計画実行部１２１４に送る。
The planning unit 1213 derives (calculates) a plan for operating the
計画部１２１３は、動作経路の計画に失敗する場合がある。ここで、図５は、第１の実施形態の動作経路の計画の失敗例を説明するための図である。図６は、第１の実施形態の荷役装置１０を示す図であって、容器姿勢変更装置７０が容器２を傾斜させた状態の図である。
The planning unit 1213 may fail in planning the motion path. Here, FIG. 5 is a diagram for explaining an example of failure in planning the motion path according to the first embodiment. FIG. 6 is a diagram showing the
例えば、図５において実線で示すように、動作経路（目標把持点かそこまでの動作経路）においてアーム１１２が特異姿勢と特異姿勢の近傍の姿勢との少なくとも一方となる位置を通過する場合には、当該動作経路は、無効である。すなわち、この場合、計画結果は棄却される。以後、アーム１１２の特異姿勢と特異姿勢の近傍の姿勢とを含めたアーム１１２の姿勢をアーム１１２の無効姿勢とも称し、アーム１１２が無効姿勢となる位置を無効位置とも称する。無効姿勢となる回転部Ｊ５の角度は、－５度よりも大きく５度よりも小さい範囲である。すなわち、－５度＜回転部Ｊ５の角度＜５度である。このように、無効姿勢に特異姿勢の他に特異姿勢の近傍の姿勢も含めることにより、アーム１１２の急峻な移動が生じるのが抑制される。
For example, as shown by the solid line in FIG. 5, when the
ここで、計画部１２１３は、動作経路の計画において、現在の把持基準点ＧＰ（図２）から目標把持点までの動作経路を数理的に計画し、動作経路上における時系列に沿ったCartesian座標（ＸＹＺφθψ）に把持基準点が来るときのアーム１１２の回転部Ｊ１～Ｊ６の角度（以後、関節姿勢とも称する）を逆運動学に基づいて算出する。回転部Ｊ１～Ｊ６は、所定の基準からの角度である。図５において、実線で示すようなアーム１１２の姿勢の場合、すなわち回転部Ｊ５の角度が０度となる場合、回転部Ｊ４の回転軸と回転部Ｊ６の回転軸とが同一直線状に並ぶことになり、関節姿勢が一意に決まらない特異姿勢となる。
Here, in planning the motion path, the planning unit 1213 mathematically plans the motion path from the current grip reference point GP (FIG. 2) to the target grip point, and calculates the Cartesian coordinates along the time series on the motion path. The angles (hereinafter also referred to as joint postures) of the rotating parts J1 to J6 of the
また、別例として、単純に、目標把持点における回転部Ｊ５が第１の角度範囲かそれ以下、すなわち回転部Ｊ５の角度が５度よりも小さくなる場合、アーム１１２が無効姿勢となる無効位置を通過するものとして、計画結果を棄却してもよい。すなわち、計画部１２１３は、当該動作経路を無効としてよい。
As another example, if the rotating part J5 at the target grasping point is within the first angle range or less, that is, the angle of the rotating part J5 is smaller than 5 degrees, the
上記の場合、図６において実線で示すように、容器２を傾斜させることにより、アーム１１２が無効姿勢を取らないようにすることが可能である。そこで、計画部１２１３は、動作経路の計画に失敗した場合に、センサ２０のセンシング結果すなわち撮像画像に基づいて、有効な動作経路を計画可能な容器姿勢変更装置７０の動作量θ１を算出する。この動作量θ１の算出の詳細は後述する。
In the above case, as shown by the solid line in FIG. 6, by tilting the
また、図５において一点鎖線で示すように、目標把持点に向けてアーム１１２が移動した場合に、マニピュレータ１１が容器２と干渉する、若しくはマニピュレータ１１が把持した物品Ｗが容器２と干渉する動作経路は、無効な動作経路である。すなわち、この場合には、計画部１２１３は、動作経路の計画に失敗したとする。この場合、容器２を傾斜させることにより、図６の一点鎖線で示すように、アーム１１２が無効姿勢を取らないようにすることが可能な場合がある。そこで、計画部１２１３は、このように動作経路の計画に失敗した場合に、有効な動作経路を計画可能な容器姿勢変更装置７０の動作量θ２を算出する。この動作量θ２の算出の詳細は後述する。
Further, as shown by the dashed line in FIG. 5, when the
変化制御部１２１５は、容器２の位置と容器２の姿勢との少なくとも一方が変化するように容器姿勢変更装置７０を制御する。具体的には、変化制御部１２１５は、容器２の姿勢が変化するように容器姿勢変更装置７０を制御する。例えば、変化制御部１２１５は、計画部によって算出された動作量θ１，θ２だけ容器姿勢変更装置７０が動作するように容器姿勢変更装置７０を制御する。このとき、変化制御部１２１５は、ベース１１１とは反対側に向けて容器２が傾倒するように容器姿勢変更装置７０を制御する。
The change control unit 1215 controls the container attitude changing device 70 so that at least one of the position of the
計画実行部１２１４は、計画部１２１３が計画した動作経路に基づいて、把持機構１１３が目標把持点の物品Ｗを把持するように、マニピュレータ１１の動作を制御する。このとき、計画実行部１２１４は、計画部１２１３が立てた計画に基づいてアーム１１２の各回転部Ｊ１～Ｊ６を任意の角速度、角加速度にて任意角度まで回転させ、アーム１１２の可動範囲内における任意の位置、姿勢へと把持機構１１３を移動させる。
The plan execution unit 1214 controls the operation of the
上述した機能構成により、荷役装置１０では、容器２に置かれた物品Ｗを、ベルトコンベア３に自動で荷役（移動）させることができる。
With the above-described functional configuration, the
次に、荷役制御装置１２が行なう処理を詳細に説明する。ここで、図７は、荷役制御装置１２が実行する荷役処理の一例を示すフローチャートである。なお、荷役処理の開始時点では、容器姿勢変更装置７０は、初期姿勢である。
Next, the processing performed by the cargo
図７に示すように、取得部１２１１が、センサ２０に容器２内を撮像させてセンサ２０から撮像画像を取得する（Ｓ１）。なお、このとき、容器２は荷役システム１のワークエリアに置かれている必要があるが、これは作業者によって配置されてもよいし、自動搬送ラインや自走台車などによって自動的にセットされてもよい。また、撮像画像は一枚に限定されず、焦点距離や撮像角度を変えながら撮像した複数枚の撮像であってもよい。
As shown in FIG. 7, the acquisition unit 1211 causes the
次に、認識部１２１２が、撮像画像を画像処理する（Ｓ２）。このとき、容器２内に物品Ｗが一つも認識（検出）されない場合、すなわち撮像画像に容器２だけが写っている場合には（Ｓ３：Ｎｏ）、処理を終了する。認識部１２１２は、容器２内に一つまたは複数の物品Ｗを認識した場合（Ｓ３：Ｙｅｓ）、撮像画像を画像処理することで、複数写った物品Ｗを一つ一つに切り分ける（Ｓ４）。
Next, the recognition unit 1212 performs image processing on the captured image (S2). At this time, if no article W is recognized (detected) in the
次に、計画部１２１３が、切り分けられた一つまたは複数の物品Ｗそれぞれに対し、複数の把持点候補生成する（Ｓ５）。把持点候補は、例えば、物品Ｗの鉛直上方に向いている面の面心および外周近傍である。なお、このとき、物品Ｗが有する面のうち傾斜がきついものについては認識部１２１２から得られる情報が少ないため、画像処理によって取得することが困難なため、目標把持点が生成されない。 Next, the planning unit 1213 generates a plurality of grip point candidates for each of the one or more cut articles W (S5). The gripping point candidates are, for example, the center of the face of the vertically upwardly facing surface of the article W and the vicinity of the outer periphery. Note that at this time, since there is little information obtained from the recognition unit 1212 regarding the steeply sloped surface of the article W, it is difficult to obtain it through image processing, so that the target gripping point is not generated.
次に、計画部１２１３が、複数の把持点候補に対して任意のルールに基づいてスコアを算出する（Ｓ６）。例えば、把持する面の鉛直方向位置、アーム１１２に対する距離、把持する面の傾斜、物品Ｗの面心に近いか否か、などを基準にスコアの高低を決定する。計画部１２１３は、複数の把持点候補の中で最もスコアが高いものを目標把持点として設定する（Ｓ７）。
Next, the planning unit 1213 calculates scores for the plurality of grip point candidates based on an arbitrary rule (S6). For example, the score is determined based on the vertical position of the surface to be gripped, the distance to the
次に、計画部１２１３が、把持機構１１３の把持基準点ＧＰの位置・姿勢が目標把持点の位置・姿勢と一致するように、アーム１１２（マニピュレータ１１）の動作経路を計画する（Ｓ８）。なお、把持機構１１３の把持基準点ＧＰは、任意に設定してよいが、例えば吸着パッド１１２１の外周軌道の凸包絡面における面心とする。
Next, the planning unit 1213 plans the movement path of the arm 112 (manipulator 11) so that the position and orientation of the gripping reference point GP of the
計画部１２１３は、動作経路の計画を行うときには、周辺の固定設備、容器２、および他の物品Ｗに対してアーム１１２および把持機構１１３が干渉しないような動作経路を計画する。具体的には、計画部１２１３内における仮想空間において、計画された動作経路上におけるアーム１１２および把持機構１１３が、周辺の固定設備、容器２、および他の物品Ｗに対して干渉しない（形状モデルが重ならない）ことを確認する。このとき、例えば、アーム１１２、把持機構１１３、周辺の固定設備、および容器２については事前に形状モデルを記憶部１２９に記憶させておき、それを干渉チェックに用いる。一方、例えば、他の物品Ｗについては、Ｓ４にて切り分けられた他の物品Ｗの面を干渉チェックに用いる。ただし、本実施形態において、容器姿勢変更装置７０の動作により容器２の姿勢が変化するため、容器姿勢変更装置７０の動作量に応じて容器２の形状モデルを更新する必要がある。この処理については後述する。
When planning a movement path, the planning unit 1213 plans a movement path in which the
計画部１２１３が動作経路の計画に成功した場合には（Ｓ９：Ｙｅｓ）、計画実行部１２１４が、マニピュレータ１１にピッキング動作を実行させる（Ｓ１０）。
If the planning unit 1213 succeeds in planning the motion path (S9: Yes), the plan execution unit 1214 causes the
ピッキング動作の処理の流れを図８を参照して説明する。図８は、第１の実施形態の荷役制御装置１２が実行するピッキング動作の処理の一例を示すフローチャートである。計画実行部１２１４が、電磁バルブ１１２５を制御して「真空発生器１１２２側に開」とし、把持機構１１３に真空を発生させる（Ｓ１０１）。
The processing flow of the picking operation will be explained with reference to FIG. FIG. 8 is a flowchart showing an example of a picking operation process executed by the cargo
次に、計画実行部１２１４が、アーム１１２を制御・動作させ、把持基準点ＧＰを目標把持点に向けて移動させる（Ｓ１０２）。その間、計画実行部１２１４は、圧力センサ１１２３の値が所定の閾値（負の圧力値）を超えるまでを常に監視し続ける（Ｓ１０３：Ｎｏ）。圧力センサ１１２３の値が閾値を超えた場合（Ｓ１０３：Ｙｅｓ）、計画実行部１２１４は、物品Ｗの把持に成功したものと判定し、アーム１１２を動作させて把持基準点ＧＰをリリース点まで移動させる（Ｓ１０４）。なお、このときの圧力の閾値は使用環境に応じて任意に設定してよいが、例えば－２０～－４０ｋＰａの間の任意の値である。また、閾値は一定値に限定されず、物品Ｗの特徴（例えば大きさや形状、重量など）によって個別に変えてもよい。また、リリース点は荷役システム１の使用環境に応じて任意に決定してよく、例えば図１においてはベルトコンベア３の鉛直上方位置にて、把持機構１１３の吸着パッド１１２１を鉛直下方に向けた状態である。また、物品Ｗの特徴（例えば大きさや重量など）によって個別にリリース点を変えるよう制御してもよい。また、目標把持点まで到達しても圧力センサ１１２３の値が閾値を超えない場合のエラー処理については、任意のタイムアウト処理やリトライ処理などを組み合わせることで対応可能である。
Next, the plan execution unit 1214 controls and operates the
把持基準点ＧＰのリリース点到達後、計画実行部１２１４は、電磁バルブ１１２５を「内部流路１１２４側に開」とし、内部流路１１２４を正圧にすることで真空圧による把持力を消失させて把持機構１１３に物品Ｗをリリースさせる（Ｓ１０５）。計画実行部１２１４は、内部流路１１２４の圧力を圧力センサ１１２３で測定し、内部流路１１２４の圧力が閾値以下になるまで待つ（Ｓ１０６：Ｎｏ）。計画実行部１２１４は、内部流路１１２４の圧力を圧力センサ１１２３で測定し、内部流路１１２４の圧力が閾値以下になった時点でリリースに成功したと判定する（Ｓ１０６：Ｙｅｓ）。計画実行部１２１４は、上記の判定後に、電磁バルブ１１２５を「閉」にして内部流路１１２４を大気圧にする（Ｓ１０７）。以上でピッキング動作が完了となる。
After the gripping reference point GP reaches the release point, the plan execution unit 1214 sets the
図７に戻って、計画部１２１３が、アーム１１２を所定の待機位置まで移動させる動作経路の計画を行い（Ｓ１１）、計画実行部１２１４が、Ｓ１１で計画された動作経路に基づいて、アーム１１２を動作させる（Ｓ１２）。
Returning to FIG. 7, the planning unit 1213 plans a movement path for moving the
計画部１２１３は、容器姿勢変更装置７０が初期姿勢かどうかを確認し（Ｓ１３）、容器姿勢変更装置７０が初期姿勢の場合（Ｓ１３：Ｙｅｓ）、全ての把持点候補を消去する（Ｓ１４）。そして、荷役制御装置１２は、Ｓ１に戻り、容器２内に物品Ｗが検出されなくなるまで上記処理を繰り返す。
The planning unit 1213 checks whether the container attitude changing device 70 is in the initial attitude (S13), and if the container attitude changing device 70 is in the initial attitude (S13: Yes), deletes all gripping point candidates (S14). Then, the cargo
以下、計画部１２１３が目標把持点への動作経路の計画に失敗した場合（Ｓ９：Ｎｏ）について説明する。 A case in which the planning unit 1213 fails to plan the motion path to the target gripping point (S9: No) will be described below.
計画部１２１３は、動作経路の計画に失敗した場合、その原因に基づいて処理を分岐する。 If planning of a motion path fails, the planning unit 1213 branches the process based on the cause.
まず、計画部１２１３は、動作経路（目標把持点かそこまでの動作経路）においてアーム１１２が無効姿勢となる無効位置を通過するか否かについて、すなわち無効姿勢が原因で動作経路の計画に失敗したか否かを判定する（Ｓ１７）。
First, the planning unit 1213 determines whether or not the
変化制御部１２１５は、アーム１１２が無効姿勢となることが原因で失敗した場合（Ｓ１７：Ｙｅｓ）、当該原因を解消可能な容器姿勢変更装置７０の動作量θ１を算出する（Ｓ１８）。動作量θ１は、回転軸Ａｘ１回りの支持部材７５（容器２）の回転角度である。動作量θ１は任意の固定値としてもよいし、目標把持点における、把持機構１１３の姿勢（以後、手先姿勢とも称する）に基づく関数として算出してもよいし、探索的に算出してもよい。ここでは、探索的に算出する例について説明する。変化制御部１２１５は、駆動源７１の回転軸Ａｘ１を中心に規定角度（例えば５度程度）回転させ、計画部１２１３が目標把持点を更新し、更新後の目標把持点に対して逆運動学を用いてアーム１１２の関節姿勢を算出する。計画部１２１３は、算出された回転部Ｊ５の角度が第１の範囲内となるとき、目標把持点までの動作経路上にてアーム１１２が無効位置を通過するとみなし、当該動作経路を無効とみなす。上記処理を繰り返していき、アーム１１２の回転部Ｊ５の角度が第１の範囲外となる目標把持点が見つかった時点で、累積された回転量の総和を動作量θ１とする。
If the change control unit 1215 fails due to the
変化制御部１２１５は、算出された動作量θ１だけ容器姿勢変更装置７０の駆動源７１を駆動し、容器２の姿勢を変更する（Ｓ１９）。これにより、容器２内における全ての物品Ｗの姿勢を一様に変えることが可能である。
The change control unit 1215 drives the
次に、計画部１２１３は、容器姿勢変更装置７０の動作により容器２の姿勢が変化しているため、記憶部１２９に記憶された容器２の形状モデルを更新する（Ｓ１６）。容器２の形状モデルの更新方法は任意であるが、例えば、容器姿勢変更装置７０の動作量θ１だけ仮想空間上における容器２の形状モデルを回転させる。また、容器姿勢変更装置７０の動作量θ１は、計画部１２１３から送信した指令値をそのまま用いてもよいし、任意の角度検出装置（例えばロータリーエンコーダなど）を用いて検出した実測値を用いてもよいし、センサ２０と認識部１２１２とを用いて画像処理によって取得してもよい。
Next, the planning unit 1213 updates the shape model of the
次に、計画部１２１３は、全ての把持点候補を消去する（Ｓ１４）。そして、荷役制御装置１２は、Ｓ１に戻り、Ｓ１以降の処理を繰り返す。これにより、アーム１１２が特異姿勢になることなく物品Ｗを把持できる把持点候補を新たに得ることができる（Ｓ１～Ｓ５）。計画部１２１３は、得られた把持点候補に対して同様にスコアを算出し（Ｓ６）、最もスコアが高い把持点候補を目標把持点に設定する（Ｓ７）。Ｓ７以降の処理（Ｓ７～Ｓ１２）は同様であるが、容器姿勢変更装置７０が動作しているため、容器姿勢変更装置７０が初期姿勢かの判定で否となる（Ｓ１３：Ｎｏ）。このとき、変化制御部１２１５が、容器姿勢変更装置７０の駆動源７１を駆動して容器姿勢変更装置７０（支持部材７５）を初期姿勢に戻し（Ｓ１５）、容器２の形状モデルを更新し（Ｓ１６）、全ての把持点候補を消去する（Ｓ１４）。
Next, the planning unit 1213 deletes all gripping point candidates (S14). Then, the cargo
また、計画部１２１３は、目標把持点に向けてアーム１１２が移動した場合に、容器２とアーム１１２または把持機構１１３が干渉すると判定した場合、すなわち容器２とアーム１１２または把持機構１１３の干渉が原因で計画が失敗した場合（Ｓ２０：Ｙｅｓ）、物品Ｗの姿勢が特定の状態（容器姿勢変更装置７０を駆動することによって解消可能と予測される姿勢）にあるか否かで処理を変える（Ｓ２１）。
Furthermore, when the planning unit 1213 determines that the
ここで、特定の状態とは、図５に一点鎖線で示すマニピュレータ１１と接触した物品Ｗの姿勢であり、把持基準点ＧＰがマニピュレータ１１のベース１１１側を向いた姿勢となる状態のことを指す。このとき、物品Ｗが直方体であると仮定した場合、目標把持点を有する面を把持する限りにおいて容器２とアーム１１２または把持機構１１３との干渉は避けられない。そこで、この特定の状態においては（Ｓ２１：Ｙｅｓ）、計画部１２１３は、干渉を解消可能な容器姿勢変更装置７０の動作量θ２を算出する（Ｓ２２）。動作量θ２は、任意の固定値としてもよいし、目標把持点における手先姿勢に基づく関数として算出してもよい。ここでは、手先姿勢に基づく関数として算出する例を示す。具体的には、物品Ｗの把持基準点ＧＰを有する面の角度をθＧ、センサ２０および認識部１２１２によって目標把持点を取得可能な面の傾きをθＲとしたとき、動作量θ２＝π／２－θＧ＋θＲとして算出する。
Here, the specific state is the attitude of the article W in contact with the
変化制御部１２１５は、算出された動作量θ２だけ容器姿勢変更装置７０の駆動源７１を駆動し、容器２の姿勢を変更する（Ｓ１９）。これにより、容器２内における全ての物品Ｗの姿勢を一様に変えることが可能である。物品Ｗが有する面の傾き具合が変わることで、これまで情報量が不足していた面に対してセンサ２０および認識部１２１２で得られる情報量が増大し、新たな面に対する把持点候補を得ることができる。その後、荷役制御装置１２は、Ｓ１に戻り、Ｓ１以降の処理を繰り返す。これにより、マニピュレータ１１が容器２などと干渉しないで物品Ｗを把持できる把持点候補、を得ることが可能となる。
The change control unit 1215 drives the
また、計画部１２１３は、容器２とアーム１１２または把持機構１１３とが干渉すると判定し（Ｓ２０：Ｙｅｓ）、かつ特定の状態にない場合（Ｓ２１：Ｎｏ）、または動作経路の計画の失敗理由が上記のいずれでもない場合（Ｓ２０：Ｎｏ）、目標把持点のスコアを０に変更し（Ｓ２３）、次にスコアが高い把持点候補目標把持点に再設定する（Ｓ７）。
Further, the planning unit 1213 determines that the
以上のように、第１の実施形態では、荷役制御装置１２（制御装置）は、動作経路の計画に失敗した場合に、容器姿勢変更装置７０（変化装置）の動作量を算出し、当該動作量だけ変化装置が動作するように容器姿勢変更装置７０を制御する。 As described above, in the first embodiment, the cargo handling control device 12 (control device) calculates the amount of movement of the container attitude change device 70 (change device) when planning of the movement path fails, and The container posture changing device 70 is controlled so that the changing device operates by the amount.
よって、荷役制御装置１２は、動作経路の計画に失敗した場合であっても、その後に動作経路の計画に成功することができる。したがって、第１の実施形態によれば、荷役できない物品Ｗが容器２に残るのを抑制することができる。また、第１の実施形態によれば、アーム１１２そのものを駆動して無効姿勢の回避を行う構成に比べて、より省スペース、省コスト、かつ効果的な無効姿勢の回避をすることができる。また、マニピュレータ１１に可動軸を追加して無効姿勢を回避する構成に比べて、よりマニピュレータ１１が軽量で済み、重量物の処理や高速処理が可能となり、マニピュレータ１１そのものを大型化および大出力化させる必要がない。
Therefore, even if the cargo
また、第１の実施形態によれば、バラ積みされた複数の物品Ｗ（物品群）の大多数を把持し、処理することが可能となる。具体的には、物品Ｗがバラ積みされた容器２の位置・姿勢を変更可能とすることで、無効姿勢を回避して物品Ｗの把持が可能である。また、上記の構成によれば、他のアイテムや容器２そのものと干渉する動作経路の場合、同様に容器２の姿勢を変更可能とすることで物品Ｗ外周の新たな面を検出・認識し、把持することを可能である。
Further, according to the first embodiment, it is possible to grasp and process the majority of the plurality of articles W (group of articles) stacked in bulk. Specifically, by making it possible to change the position and posture of the
（第２の実施形態）
次に第２の実施形態について説明する。なお、以下の説明では、第１の実施形態と同様の構成については同一の符号を付与し説明を省略する。
(Second embodiment)
Next, a second embodiment will be described. In addition, in the following description, the same code|symbol is given to the structure similar to 1st Embodiment, and description is abbreviate|omitted.
図９は、第２の実施形態の荷役システムの構成の一例を示す図である。図１０は、第２の実施形態の荷役制御装置１２のハードウェア構成の一例を示す図である。
FIG. 9 is a diagram showing an example of the configuration of a cargo handling system according to the second embodiment. FIG. 10 is a diagram showing an example of the hardware configuration of the cargo
図９に示すように、第２の実施形態は、容器姿勢変更装置７０に替えて自走台車８０が設けられている点が第１の実施形態と異なる。自走台車８０は、変更装置の一例である。
As shown in FIG. 9, the second embodiment differs from the first embodiment in that a self-propelled
自走台車８０は、車体８１と、車体８１に支持された複数の車輪８２と、車体８１の上面に配置された昇降装置８３と、昇降装置８３に支持された回転テーブル８６と、回転テーブル８６に支持されるとともに容器２を支持する支持体８４と、支持体８４から下方に突出した脚８５と、を有する。車輪８２は、不図示のモータ等の駆動源によって回転駆動される。のうち昇降装置８３は、不図示のモータ等の駆動源によって回転テーブル８６、支持体８４、および容器２を鉛直方向（上方、下方）に移動させる。回転テーブル８６は、不図示のモータ等の駆動源によって鉛直方向に沿った回転軸Ａｘ２回りに支持体８４および容器２を回転する。また、自走台車８０は、方向転換可能に構成されている。また、容器２は、例えば、ＲＢＰ（ロールボックスパレット）である。
The self-propelled
このような構成の自走台車８０は、容器２を鉛直方向および水平方向に移動可能であるとともに、容器２を回転軸Ａｘ２回りに回転可能である。なお、自走台車８０は、容器２の鉛直方向の移動、容器の水平方向の移動、容器２の回転軸Ａｘ２回りの回転のいずれか一つ以上を行なう構成であってよい。また自走台車８０は、容器２を傾斜させる構成を有していてもよい。
The self-propelled
図１０に示されるように、荷役制御装置１２の通信部１２７は、台車制御装置９０を介して複数の自走台車８０と通信可能に接続されている。すなわち、荷役制御装置１２は、台車制御装置９０を介して自走台車８０を制御する。自走台車８０と台車制御装置９０との通信は、例えば無線通信であるが、有線通信であってもよい。台車制御装置９０は、自走台車８０に対する上位制御装置である。
As shown in FIG. 10, the communication unit 127 of the cargo
また、各自走台車８０は、通信部を含む制御装置（不図示）を備え、台車制御装置９０や荷役制御装置１２からの指令を受けて動作する。台車制御装置９０は、荷役制御装置１２とも通信を行い、ピッキング動作開始指令を出す機能、ピッキング動作完了指令を出す機能、計画部１２１３が算出した動作量と自走台車動作要請を受け取る機能を有する。なお、荷役制御装置１２が台車制御装置９０を兼ねてもよい。
Further, each self-propelled
また、自走台車８０は、台車制御装置９０から特定の動作量の指令を受ける場合を除いて、台車制御装置９０から受け取る目標地点情報に基づいて自立制御によって動作する。
Moreover, the self-propelled
上記の構成においては、荷役制御装置１２は、動作経路の計画に失敗した場合には、有効な動作経路の計画が可能な自走台車の動作量を算出する。動作量は、自走台車８０の走行距離や、昇降装置８３の上下動作量、回転テーブル８６の回転量である。動作経路計画の失敗原因の判定、およびそれに対する動作量（ｘｙｚψ）については、第１の実施形態と同様の考え方に基づいて算出が可能である。そして、変化制御部１２１５は、容器２が回転軸Ａｘ２回りに回転するように自走台車８０を制御したり、容器２が鉛直方向と水平方向とのうち少なくとも一方に移動するように自走台車８０を制御する。
In the above configuration, if the planning of the movement route fails, the cargo
以上の構成の第２の実施形態によっても、第１の実施形態と同様に、荷役制御装置１２は、動作経路の計画に失敗した場合であっても、その後に有効な動作経路を計画することができる。したがって、第２の実施形態によれば、荷役できない物品Ｗが容器２に残るのを抑制することができる。
Also in the second embodiment with the above configuration, similarly to the first embodiment, even if the cargo
なお、本実施形態では、容器２としてＲＢＰを用いているが、これに限定されない。机やパレットのような平坦な面に直接置かれていてもよいし、物品Ｗを搬送するコンベヤの一部であってもよい。
In addition, in this embodiment, RBP is used as the
また、本実施形態では、変更装置として自走台車８０を用いるものとしているが、これに限定されない。例えば、水平面内を駆動可能なＸＹステージを用いてもよい。
Further, in this embodiment, the self-propelled
（他の実施形態） (Other embodiments)
上記実施形態では、物品Ｗはカゴ形状の容器２にバラ積みされているものとしているが、物品Ｗの置き方は限定されない。例えば、物品Ｗは、アーム１１２よりも小さなカゴや箱等の容器に入っていてもよいし、棚やロールボックスパレット（ＲＢＰ）等に入れられていてもよい。また、物品Ｗは、ばら積み状態に限らず、平積みされていてもよいし、単体で置かれていてもよい。
In the embodiment described above, it is assumed that the articles W are stacked in bulk in the basket-shaped
また、荷役システム１は、荷降ろし作業だけでなく、荷積み作業やその他ピッキング作業などに活用してもよい。
Further, the
また、画像処理の手法は、限定されない。画像処理の手法としては、例えばＲＧＢ各色の強さ、色相、彩度、または明度などの値を閾値判定し、その境界線（エッジ）がなす形状を基に判定する手法などを用いる。上記実施形態で説明した切り分け処理については、エッジが閉曲線をなす場合にその閉曲線内部を一つの物品Ｗとして検出する方法などがある。また、形状、位置、姿勢の検出にあたっては、上記の閉曲線内の画像をデータベース内の物品データとマッチングすることで検出する方法などがある。ただし、上記はあくまで一例であり、これに限定されない。 Furthermore, the image processing method is not limited. As an image processing method, for example, a method is used in which the values of the intensity, hue, saturation, or brightness of each RGB color are determined by a threshold value, and the determination is made based on the shape of the boundary line (edge). Regarding the segmentation process described in the above embodiment, there is a method of detecting the inside of the closed curve as one article W when the edge forms a closed curve. Further, in detecting the shape, position, and orientation, there is a method of detecting by matching an image within the above-mentioned closed curve with article data in a database. However, the above is just an example and is not limited thereto.
また、センサ２０はＲＧＢカメラに限らず、３Ｄカメラ、またはその他の光学センサを使用してもよいし、複数を組合せて用いてもよい。３Ｄカメラを用いる場合には、得られた点群データを処理することで物品群の切り分けと物品Ｗの形状、位置、および姿勢の認識を行う。
Furthermore, the
また、駆動源７１等はサーボモータに限らず、任意のものを用いてもよい。例えば、ＤＣモータやステッピングモータとしてもよいし、その他の空圧や油圧での駆動源を用いてもよい。
Furthermore, the
また、現在の把持基準点ＧＰから目標把持点までの動作経路計画は任意の方法を用いてよい。例えば、両地点の幾何学的関係から生成する方法（３次スプライン補間など）を用いてもよいし、探索的手法（ＲＲＴ、ＲＲＴ＊など）を用いてもよい。 Furthermore, any method may be used to plan the motion path from the current gripping reference point GP to the target gripping point. For example, a method of generating from the geometric relationship between both points (such as cubic spline interpolation) may be used, or an exploratory method (such as RRT, RRT*) may be used.
また、上記実施形態では無効姿勢か否かの判断基準として、－５度＜回転部Ｊ５の角度＜５度としているがこれに限定しない。－３度＜回転部Ｊ５の角度＜３度とするなど、関節角速度の急変が生じない範囲で任意に設定してよい。また、特異姿勢となりやすい把持姿勢については、動作経路の計画や逆運動学に基づく関節姿勢の算出を行わずに無効姿勢を通過するものと見なしてもよい。例えば、目標把持点の鉛直方向位置が低く、かつアーム１１２に向かって傾斜した向きの場合などが相当し、計算量の多い処理を行わずに済む分だけタクトタイムの面で優位である。
Further, in the embodiment described above, the criterion for determining whether or not the posture is invalid is -5 degrees<angle of rotating portion J5<5 degrees, but is not limited to this. It may be set arbitrarily within a range that does not cause sudden changes in joint angular velocity, such as -3 degrees < angle of rotating part J5 < 3 degrees. Furthermore, grasping postures that are likely to become singular postures may be regarded as passing through invalid postures without planning a motion path or calculating joint postures based on inverse kinematics. For example, this corresponds to a case where the vertical position of the target gripping point is low and is inclined toward the
また、把持機構１１３の把持方式は真空吸着方式に限定しない。例えば把持方式は磁気吸着方式としてもよいし、挟持方式を用いて物品Ｗの平行部を把持する制御としてもよいし、その他の方式でもよい。
Further, the gripping method of the
また、上記実施形態では、真空発生器１１２２はエジェクタとし、コンプレッサ１１３０からの圧縮空気供給により真空を発生させるが、これに限定しない。例えば、真空発生器１１２２は、真空ポンプや真空ブロワを用いてもよい。
Further, in the above embodiment, the
また、上記実施形態では物品Ｗの把持に成功したかを圧力センサ１１２３だけで検出しているが、これに限定しない。例えば、把持の成功の検出は、圧力センサではなく流量センサを用いてもよいし、両方を併用してもよい。流量センサを用いることで応答性は改善されるが、流量センサ単体で使用した場合には把持力を定量的に見積もれなくなる。また、他の光学的なセンサと組合せてもよい。例えば、本体１１２０に光学距離センサを取付けて吸着方向の物品Ｗに対する距離を検出し、その距離を基に吸着パッドの自然長以下になったかどうかを判定の一部として組み込んでもよい。
Further, in the above embodiment, whether or not the article W has been successfully gripped is detected only by the
また、上記実施形態では、アーム１１２は６軸ロボットとして構成されているがこれに限定されない。例えば、アーム１１２は、７軸ロボットとしてもよいし、５軸以下の自由度のロボットとしてもよい。また、スカラロボットやＸＹＺステージの先端に３自由度（ロール－ベンド－ロール構造で全ての軸が同一点を通るもの）を設けてもよい。
Further, in the above embodiment, the
また、上記実施形態では、アーム１１２を固定設備としているが、リニアステージや自走台車などに載せて移動可能としてもよい。
Further, in the above embodiment, the
また、上記実施形態では、目標把持点に対して動作経路計画が成立しなかった場合、その都度容器姿勢変更装置７０を動作させているが、これに限定しない。例えば、目標把持点に対して動作経路計画が成立しなかった場合、その原因と把持点をセットで記憶しておき、他の把持点候補に対して動作経路計画を行う。そして、Ｓ５にて生成された全ての把持点候補に対して動作経路計画が失敗したときに、初めて容器姿勢変更装置７０を駆動するような制御としてもよい。このような構成は、容器２に対して物品Ｗの大きさが相対的に小さく、センサ２０から多数の物品Ｗが検出可能な場合、スループット的に優位である。
Further, in the above embodiment, the container posture changing device 70 is operated each time the motion path plan is not established for the target gripping point, but the present invention is not limited to this. For example, if the motion path planning is not established for the target gripping point, the cause and the gripping point are stored as a set, and the motion path planning is performed for other gripping point candidates. Then, the control may be such that the container attitude changing device 70 is driven only when the motion path planning fails for all the gripping point candidates generated in S5. Such a configuration is advantageous in terms of throughput when the size of the articles W is relatively small with respect to the
また、上記実施形態では、一つの物品Ｗを処理するごとに把持点候補全消去して再度容器２内を撮像する処理としているが、これに限定しない。例えば、二番目にスコアが高い把持点候補に対して動作経路計画を行い、成功した場合にはそのままピッキング動作を行うような処理としてもよい。
Further, in the embodiment described above, every time one article W is processed, all gripping point candidates are deleted and the inside of the
また、荷役制御装置１２で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、荷役制御装置１２で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、荷役制御装置１２で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。
In addition, the program for executing the above-mentioned processes executed by the cargo
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention, as well as within the scope of the invention and its equivalents as set forth in the claims.
１…荷役システム
２…容器
１０…荷役装置
１１…マニピュレータ
１１ａ…先端部
１１ｂ…端部
１２…荷役制御装置（制御装置）
２０…センサ
７０…容器姿勢変更装置（変化装置）
８０…自走台車（変化装置）
１１１…ベース
１１２…アーム
１１２ａ…端部
１１３…把持機構
Ａｘ１，Ａｘ２…回転軸
Ｗ…物品
1...
20...Sensor 70...Container attitude change device (change device)
80...Self-propelled trolley (change device)
111...
Claims (8)
前記容器内をセンシングするセンサのセンシング結果に基づいて、前記物品を把持する把持機構を目標把持点へ移動させるマニピュレータの動作経路を計画し、
前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御し、
前記動作経路において前記マニピュレータが特異姿勢となる場合、前記動作経路の計画に失敗したとして、前記変化装置の傾斜角度を増やしていって前記動作経路において前記マニピュレータが特異姿勢とならない目標把持点が見つかった時点の傾斜角度を目標傾斜角度とし、
前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御する制御装置と、
を備える荷役装置。 a changing device that changes the attitude of a container that accommodates an article so as to tilt it in a predetermined direction ;
planning an operation path of a manipulator that moves a gripping mechanism that grips the article to a target gripping point based on a sensing result of a sensor that senses the inside of the container ;
controlling the operation of the manipulator so that the gripping mechanism grips the article at the target gripping point based on the movement path ;
If the manipulator takes a singular posture on the motion path, it is assumed that the planning of the motion path has failed, and the inclination angle of the change device is increased to find a target grasping point where the manipulator does not take a singular posture on the motion path. The inclination angle at the time is set as the target inclination angle,
a control device that controls the changing device so that the changing device tilts by the target tilt angle ;
Cargo handling equipment equipped with.
前記容器内をセンシングするセンサのセンシング結果に基づいて、前記物品を把持する把持機構を目標把持点へ移動させるマニピュレータの動作経路を計画し、
前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御し、
前記動作経路において前記マニピュレータと前記容器、若しくは、前記マニピュレータが把持した前記物品と前記容器に干渉が起きる場合、前記動作経路の計画に失敗したとして、前記物品の前記目標把持点を有する面の角度と、前記センサによって目標把持点を取得可能な面の傾きと、に基づいて、前記干渉が解消する前記変化装置の傾斜角度を目標傾斜角度とし、
前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御する制御装置と、
を備える荷役装置。 a changing device that changes the attitude of a container that accommodates an article so as to tilt it in a predetermined direction ;
planning an operation path of a manipulator that moves a gripping mechanism that grips the article to a target gripping point based on a sensing result of a sensor that senses the inside of the container ;
controlling the operation of the manipulator so that the gripping mechanism grips the article at the target gripping point based on the movement path ;
If interference occurs between the manipulator and the container, or between the article gripped by the manipulator and the container in the operation path, it is assumed that planning of the operation path has failed, and the angle of the surface of the article having the target gripping point and the inclination of the surface on which the target gripping point can be obtained by the sensor, and the inclination angle of the changing device at which the interference is eliminated is set as the target inclination angle ,
a control device that controls the changing device so that the changing device tilts by the target tilt angle ;
Cargo handling equipment equipped with.
前記制御装置は、前記ベースとは反対側に向けて前記容器が傾倒するように前記変化装置を制御する、請求項１または請求項２に記載の荷役装置。 the manipulator is supported by a base;
The cargo handling device according to claim 1 or 2 , wherein the control device controls the changing device so that the container is tilted toward a side opposite to the base.
前記容器に収容された前記物品を把持する把持機構を先端部に有したマニピュレータと、
前記容器内をセンシングするセンサと、
前記センサのセンシング結果に基づいて、前記物品を把持する目標把持点へ前記把持機構を移動させる前記マニピュレータの動作経路を計画し、前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御する制御装置と、
を備え、
前記制御装置は、前記動作経路において前記マニピュレータが特異姿勢となる場合、前記動作経路の計画に失敗したとして、前記変化装置の傾斜角度を増やしていって前記動作経路において前記マニピュレータが特異姿勢とならない目標把持点が見つかった時点の傾斜角度を目標傾斜角度とし、前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御する、荷役システム。 a changing device that changes the attitude of a container that accommodates an article so as to tilt it in a predetermined direction ;
a manipulator having a gripping mechanism at its tip for gripping the article contained in the container;
a sensor that senses the inside of the container;
Based on the sensing result of the sensor, a movement path of the manipulator for moving the gripping mechanism to a target gripping point for gripping the article is planned, and based on the operation path, the gripping mechanism moves the object to the target gripping point. a control device that controls the operation of the manipulator so as to grip the manipulator;
Equipped with
When the manipulator takes a singular posture on the motion path, the control device determines that planning of the motion path has failed and increases the inclination angle of the change device so that the manipulator does not take the singular posture on the motion path. A cargo handling system that controls the changing device so that the changing device is inclined by the target inclination angle, with the inclination angle at the time when the target gripping point is found as the target inclination angle .
前記容器に収容された前記物品を把持する把持機構を先端部に有したマニピュレータと、
前記容器内をセンシングするセンサと、
前記センサのセンシング結果に基づいて、前記物品を把持する目標把持点へ前記把持機構を移動させる前記マニピュレータの動作経路を計画し、前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御する制御装置と、
を備え、
前記制御装置は、前記動作経路において前記マニピュレータと前記容器、若しくは、前記マニピュレータが把持した前記物品と前記容器に干渉が起きる場合、前記動作経路の計画に失敗したとして、前記物品の前記目標把持点を有する面の角度と、前記センサによって目標把持点を取得可能な面の傾きと、に基づいて、前記干渉が解消する前記変化装置の傾斜角度を目標傾斜角度とし、前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御する、荷役システム。 a changing device that changes the attitude of a container that accommodates an article so as to tilt it in a predetermined direction ;
a manipulator having a gripping mechanism at its tip for gripping the article contained in the container;
a sensor that senses the inside of the container;
Based on the sensing result of the sensor, a movement path of the manipulator for moving the gripping mechanism to a target gripping point for gripping the article is planned, and based on the operation path, the gripping mechanism moves the object to the target gripping point. a control device that controls the operation of the manipulator so as to grip the manipulator;
Equipped with
If interference occurs between the manipulator and the container, or between the article gripped by the manipulator and the container on the operation path, the control device determines that the operation path planning has failed and adjusts the target gripping point of the article. and the inclination of the surface from which the target gripping point can be obtained by the sensor, the inclination angle of the changing device at which the interference is eliminated is set as the target inclination angle, and the change is made by the target inclination angle . A cargo handling system that controls the changing device so that the device is tilted .
前記容器に収容された前記物品を把持する把持機構を先端部に有したマニピュレータと、
前記容器内をセンシングするセンサと、
を備えた荷役システム、に設けられたコンピュータに、
前記センサのセンシング結果に基づいて、前記物品を把持する目標把持点へ前記把持機構を移動させる前記マニピュレータの動作経路を計画するステップと、
前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御するステップと、
前記動作経路において前記マニピュレータが特異姿勢となる場合、前記動作経路の計画に失敗したとして、前記変化装置の傾斜角度を増やしていって前記動作経路において前記マニピュレータが特異姿勢とならない目標把持点が見つかった時点の傾斜角度を目標傾斜角度とし、前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御するステップと、
を実行させるためのプログラム。 a changing device that changes the attitude of a container that accommodates an article so as to tilt it in a predetermined direction ;
a manipulator having a gripping mechanism at its tip for gripping the article contained in the container;
a sensor that senses the inside of the container;
A computer installed in a cargo handling system equipped with
planning a movement path of the manipulator to move the gripping mechanism to a target gripping point for gripping the article based on a sensing result of the sensor;
controlling the operation of the manipulator so that the gripping mechanism grips the article at the target gripping point based on the movement path;
If the manipulator takes a singular posture on the motion path, it is assumed that the planning of the motion path has failed, and the inclination angle of the change device is increased to find a target grasping point where the manipulator does not take a singular posture on the motion path. a step of controlling the changing device so that the changing device tilts by the target tilting angle, with the tilting angle at the time when the changing device is tilted as a target tilting angle ;
A program to run.
前記容器に収容された前記物品を把持する把持機構を先端部に有したマニピュレータと、
前記容器内をセンシングするセンサと、
を備えた荷役システム、に設けられたコンピュータに、
前記センサのセンシング結果に基づいて、前記物品を把持する目標把持点へ前記把持機構を移動させる前記マニピュレータの動作経路を計画するステップと、
前記動作経路に基づいて前記把持機構が前記目標把持点の前記物品を把持するように、前記マニピュレータの動作を制御するステップと、
前記動作経路において前記マニピュレータと前記容器、若しくは、前記マニピュレータが把持した前記物品と前記容器に干渉が起きる場合、前記動作経路の計画に失敗したとして、前記物品の前記目標把持点を有する面の角度と、前記センサによって目標把持点を取得可能な面の傾きと、に基づいて、前記干渉が解消する前記変化装置の傾斜角度を目標傾斜角度とし、前記目標傾斜角度だけ前記変化装置が傾斜するように前記変化装置を制御するステップと、
を実行させるためのプログラム。 a changing device that changes the attitude of a container that accommodates an article so as to tilt it in a predetermined direction ;
a manipulator having a gripping mechanism at its tip for gripping the article contained in the container;
a sensor that senses the inside of the container;
A computer installed in a cargo handling system equipped with
planning a movement path of the manipulator to move the gripping mechanism to a target gripping point for gripping the article based on a sensing result of the sensor;
controlling the operation of the manipulator so that the gripping mechanism grips the article at the target gripping point based on the movement path;
If interference occurs between the manipulator and the container, or between the article gripped by the manipulator and the container in the operation path, it is assumed that planning of the operation path has failed, and the angle of the surface of the article having the target gripping point and an inclination of a surface on which a target grasping point can be obtained by the sensor, and the inclination angle of the changing device at which the interference is eliminated is set as a target inclination angle , and the changing device is tilted by the target inclination angle . controlling the changing device to
A program to run.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019128937A JP7358095B2 (en) | 2019-07-11 | 2019-07-11 | Cargo handling equipment, cargo handling systems and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019128937A JP7358095B2 (en) | 2019-07-11 | 2019-07-11 | Cargo handling equipment, cargo handling systems and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021013969A JP2021013969A (en) | 2021-02-12 |
| JP7358095B2 true JP7358095B2 (en) | 2023-10-10 |
Family
ID=74531167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019128937A Active JP7358095B2 (en) | 2019-07-11 | 2019-07-11 | Cargo handling equipment, cargo handling systems and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7358095B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007091392A (en) | 2005-09-28 | 2007-04-12 | Shimonishi Seisakusho:Kk | Device and method for taking out metal parts |
| JP2012192478A (en) | 2011-03-16 | 2012-10-11 | Fuji Electric Co Ltd | Device for feeding part for picking, and device for picking part |
| JP2018111138A (en) | 2017-01-06 | 2018-07-19 | トーヨーカネツソリューションズ株式会社 | Article gripping and transferring device |
| JP2019043772A (en) | 2017-09-07 | 2019-03-22 | 株式会社東芝 | Unloading device, and unloading method |
-
2019
- 2019-07-11 JP JP2019128937A patent/JP7358095B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007091392A (en) | 2005-09-28 | 2007-04-12 | Shimonishi Seisakusho:Kk | Device and method for taking out metal parts |
| JP2012192478A (en) | 2011-03-16 | 2012-10-11 | Fuji Electric Co Ltd | Device for feeding part for picking, and device for picking part |
| JP2018111138A (en) | 2017-01-06 | 2018-07-19 | トーヨーカネツソリューションズ株式会社 | Article gripping and transferring device |
| JP2019043772A (en) | 2017-09-07 | 2019-03-22 | 株式会社東芝 | Unloading device, and unloading method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021013969A (en) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6807949B2 (en) | Interference avoidance device | |
| JP5620445B2 (en) | Article takeout device for determining holding position and posture of robot based on selection condition | |
| KR20210149091A (en) | Robot and method for palletizing boxes | |
| JP2022521001A (en) | Robot handling of soft products in a non-rigid package | |
| US8965563B2 (en) | High throughput parcel handling | |
| US11407103B2 (en) | Intelligent gripper with individual cup control | |
| CN112292235B (en) | Robot control device, robot control method, and recording medium | |
| US20170106534A1 (en) | Transporter and transport method | |
| JP2022527869A (en) | Manipulating the box with the zone gripper | |
| JP2019048375A (en) | Transfer device | |
| JP6875870B2 (en) | Transport system and its operation method | |
| JP2024052998A (en) | Handling Equipment | |
| JP7358095B2 (en) | Cargo handling equipment, cargo handling systems and programs | |
| WO2023182345A1 (en) | Handling system, information processing system, information processing method, program, and storage medium | |
| US20230302644A1 (en) | Robotic kitting machine | |
| US11123872B2 (en) | Control apparatus that controls arm for gripping object | |
| JP7028092B2 (en) | Gripping posture evaluation device and gripping posture evaluation program | |
| JP6600026B2 (en) | Extraction device and method | |
| JP2021526081A (en) | Controls, control methods, robotics, and programs | |
| WO2020040055A1 (en) | Food packaging device and operation method therefor | |
| JP2021024679A (en) | Cargo handling control device, cargo handling system, and program | |
| US20230271323A1 (en) | Robotic system to load and unload trucks and other containers | |
| US20240139941A1 (en) | Handling system, control device, handling method, and storage medium | |
| WO2022244418A1 (en) | Mobile machine, hand of mobile machine, and method for controlling mobile machine | |
| JP2023167221A (en) | Robot arm device and picking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7358095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |