JP2024052998A - ハンドリング装置 - Google Patents
ハンドリング装置 Download PDFInfo
- Publication number
- JP2024052998A JP2024052998A JP2024033414A JP2024033414A JP2024052998A JP 2024052998 A JP2024052998 A JP 2024052998A JP 2024033414 A JP2024033414 A JP 2024033414A JP 2024033414 A JP2024033414 A JP 2024033414A JP 2024052998 A JP2024052998 A JP 2024052998A
- Authority
- JP
- Japan
- Prior art keywords
- control device
- holding
- arm
- handling device
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 description 31
- 238000011156 evaluation Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 18
- 230000036544 posture Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000012636 effector Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/082—Grasping-force detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/0028—Gripping heads and other end effectors with movable, e.g. pivoting gripping jaw surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/06—Gripping heads and other end effectors with vacuum or magnetic holding means
- B25J15/0616—Gripping heads and other end effectors with vacuum or magnetic holding means with vacuum
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J17/00—Joints
- B25J17/02—Wrist joints
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1682—Dual arm manipulator; Coordination of several manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
【課題】対象物を保持する保持戦略を効率的に決定できるハンドリング装置、制御装置、およびハンドリング装置制御プログラムを提供する。
【解決手段】実施形態のハンドリング装置は、関節を有するアームと、物体を保持可能な保持部と、複数の前記物体を検出可能なセンサと、前記アームおよび前記保持部を制御する制御装置とを持つ。前記制御装置は、前記センサから取得した情報に基づいて、前記保持部が前記物体を保持する保持しやすさをスコアとして、前記物体ごとおよび保持方法ごとに算出する。前記制御装置は、前記スコアに基づいて保持する前記物体および前記保持方法を選択する。前記制御装置は、選択された前記物体を保持する位置および前記アームの姿勢を算出する。
【選択図】図1
【解決手段】実施形態のハンドリング装置は、関節を有するアームと、物体を保持可能な保持部と、複数の前記物体を検出可能なセンサと、前記アームおよび前記保持部を制御する制御装置とを持つ。前記制御装置は、前記センサから取得した情報に基づいて、前記保持部が前記物体を保持する保持しやすさをスコアとして、前記物体ごとおよび保持方法ごとに算出する。前記制御装置は、前記スコアに基づいて保持する前記物体および前記保持方法を選択する。前記制御装置は、選択された前記物体を保持する位置および前記アームの姿勢を算出する。
【選択図】図1
Description
本発明の実施形態は、ハンドリング装置、制御装置、および制御プログラムに関する。
従来、エンドエフェクタが対象物を保持するハンドリング装置が知られている。物流現場における移載動作の自動化には、多種多様な形状や大きさ、重さを有した対象物を保持できることが求められる。ハンドリング装置を用いてこれらの対象物を保持する際には、保持位置、保持手法、ロボットアームの姿勢などの保持戦略の決定に多く演算が必要である。対象物の積載状態が複雑になると、保持戦略の決定に必要な演算の所要時間が長くなる。
本発明が解決しようとする課題は、対象物を保持する保持戦略を効率的に決定できるハンドリング装置、制御装置、および制御プログラムを提供する。
実施形態のハンドリング装置は、関節を有するアームと、物体を保持可能な保持部と、複数の前記物体を検出可能なセンサと、前記アームおよび前記保持部を制御する制御装置とを持つ。前記制御装置は、前記センサから取得した情報に基づいて、前記保持部が前記物体を保持する保持しやすさをスコアとして、前記物体ごとおよび保持方法ごとに算出する。前記制御装置は、前記スコアに基づいて保持する前記物体および前記保持方法を選択する。前記制御装置は、選択された前記物体を保持する位置および前記アームの姿勢を算出する。
以下、実施形態のハンドリング装置、制御装置、および制御プログラムを、図面を参照して説明する。なお、以下の説明では、同一又は類似の機能を有する構成に同一の符号を付す。そして、それら構成の重複する説明は省略する場合がある。また、本願でいう「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
図1から図13を参照して、一実施形態について説明する。図1は、本実施形態のハンドリング装置10を含む搬送システム1を模式的に示す斜視図である。
搬送システム1は、例えば物流用のハンドリングシステム(ピッキングシステム)である。搬送システム1は、移動元V1に位置する物体(保持対象物、搬送対象物)Oを、移動先V2に移動させる。
移動元V1は、例えば、各種のコンベアや各種のパレット、又はトートやオリコンのようなコンテナ等である。「コンテナ」とは、物体Oを収容可能な部材(例えば箱状の部材)を広く意味する。ただし、移動元V1は、上記例に限定されない。以下の説明では、「移動元V1」を「取り出し元コンテナV1」と称する場合がある。
移動元V1には、大きさや重さが異なる多種類の物体Oがランダムに置かれる。例えば、保持対象の物体Oは、物体O表面の少なくとも一部に凹凸形状を有する。本実施形態では、物体Oの外形形状は、5cm角のような小さなものから、30cm角のような大きなものまで様々である。また、物体Oは、数十gのような軽いものから数kgのような重いものまで様々である。ただし、物体Oの大きさや重さは、上記例に限定されない。
移動先V2は、例えば、トートやオリコンのようなコンテナである。ただし、移動先V2は、上記例に限定されない。以下の説明では、「移動先V2」を「搬送先コンテナV2」と称し、「移動元V1」および「移動先V2」を単に「コンテナ」と総称する場合がある。なお、搬送システム1は、コンテナ以外の移動先V2に物体Oを移動させるものでもよい。
搬送システム1は、物流用のハンドリングシステムに限定されない。搬送システム1は、産業用ロボットシステムやその他のシステム等にも広く適用可能である。本願でいう「搬送システム」および「ハンドリング装置」とは、物体の搬送を主目的としたシステムや装置に限定されず、製品組立や別の目的の一部として物体の搬送(移動)を伴うシステムやシステムも含む。
搬送システム1は、図1に示すように、ハンドリング装置10と、センサ11と、制御装置12と、を有する。制御装置12は、ハンドリング装置10に組み込まれていてもよい。
ハンドリング装置10は、例えばロボット装置である。ハンドリング装置10は、取り出し元コンテナV1に位置する物体Oを保持し、保持した物体Oを搬送先コンテナV2(保管領域)に移動させる。ハンドリング装置10は、有線または無線で制御装置12と通信可能である。本実施形態においては、ハンドリング装置10は、第1ハンドリング装置10A、第2ハンドリング装置10Bと、を有する。
第1ハンドリング装置10Aは、例えば、アーム100と、アーム100の先端に設けられた第1保持部200Aと、を有する。
アーム100は、第1保持部200Aを所望の位置に移動させる移動機構である。例えば、アーム100は、6軸の垂直多関節ロボットアームである。アーム100は、様々な位置姿勢をとることが可能である。人間の腕や手と同様に、アーム100も、物体を保持するためのより様々な姿勢を取ることができる。アーム100は、例えば、複数のアーム部材101と、複数のアーム部材101を回動可能に連結した複数の回動部102とを含む。
アーム100は、3軸の直交ロボットアームでもよい。アーム100は、その他の構成により第1保持部200Aを所望の位置に移動させる機構でもよい。例えば、アーム100は、回転翼により第1保持部200Aを持ち上げて移動させる飛行体(例えばドローン)等でもよい。
第1保持部200Aは、取り出し元コンテナV1に位置する物体Oを保持する保持機構(エンドエフェクタ)である。例えば、第1保持部200Aは、吸引装置203と、吸引装置203に連通した吸着部205と、を有する。第1保持部200Aは、吸着により物体Oを保持する吸着型ハンドである。
第1保持部200Aは、その他の保持方法により物体Oを保持する機構であってもよい。例えば、第1保持部200Aは、磁力を利用して物体Oを保持できる保持部でもよい。例えば、第1保持部200Aは、粉体を詰め込んだ柔軟膜と、柔軟膜内から空気を抜き出す真空ポンプとで構成され、ジャミング現象を利用して物体Oを保持できる保持部(例えばジャミンググリッパ)でもよい。
吸引装置203は、例えば真空ポンプである。吸引装置203は、ホース等を介して複数の吸着部205の各々と連通している。吸引装置203が駆動されることで、各吸着部205内の圧力が大気圧よりも低くなり、吸着部205により物体Oが吸着保持される。
吸着部205は、挟持ハンド202の指先端に設けられている。吸着部205は、挟持ハンド202の指先端に複数設けられている。吸着部205は、取り出し元コンテナV1に位置する最小の物体Oよりも小さい外形を持つ。第1ハンドリング装置10Aは、複数の吸着部205から選択された1つ以上の吸着部205のみを用いて物体Oを吸着保持する。
第2ハンドリング装置10Bは、例えば、アーム(第2アーム)100と、アーム100の先端に設けられた第2保持部200Bと、を有する。第2ハンドリング装置10Bのアーム100は、第1ハンドリング装置10Aのアーム100と同様の構成を有する。
第2保持部200Bは、取り出し元コンテナV1に位置する物体Oを保持する保持機構(エンドエフェクタ)である。例えば、第2保持部200Bは、挟持ハンド202と、吸引装置203と、吸引装置203に連通した吸着部205と、を有する。第2保持部200Bは、挟持または/および吸着により物体Oを保持するハイブリッド型ハンドである。
挟持ハンド202は、2本指で物体Oを挟んで把持するグリッパー型ハンドであり、アーム100の先端に設けられている。挟持ハンド202の構成はこれに限定されず、例えば3本指で物体Oを挟んで把持するグリッパー型ハンドであってもよい。
吸着部205は、挟持ハンド202の指先端に設けられている。吸着部205は、挟持ハンド202の指先端に複数設けられていてもよい。
以降の説明において、「第1保持部200A」および「第2保持部200B」を単に「保持部200」と総称する場合がある。
センサ11は、制御装置12に制御されることで、複数の物体Оを検出できる。センサ11は、第1センサ11Aと、第2センサ11Bと、を有する。第1センサ11Aおよび第2センサ11Bは、有線または無線で制御装置12に接続されている。
第1センサ11Aは、移動元V1の近く(例えば、移動元V1の直上や斜め上方)に配置されたカメラまたは各種センサである。第1センサ11Aは、例えば、移動元V1に位置する物体Oに関する情報と、移動元V1に関する情報とを取得する。第1センサ11Aにより取得される情報は、例えば、「画像データ」、「距離画像データ」、「形状データ」などである。「距離画像データ」とは、1つ以上の方向の距離情報(例えば、移動元V1の上方に設定された任意の基準面からの深さ情報)を持つ画像データである。「形状データ」とは、物体Oの外形形状などを示す情報である。第1センサ11Aにより検出された情報は、制御装置12に出力される。なお、第1センサ11Aは、ハンドリング装置10の一部として設けられてもよい。
第2センサ11Bは、移動先コンテナV2の近く(例えば、移動先コンテナV2の直上や斜め上方)に配置されたカメラまたは各種センサである。第2センサ11Bは、例えば、移動先コンテナV2の形状(内壁面や仕切りの形状を含む)に関する情報と、移動先コンテナV2内に先に置かれた物体Oに関する情報とを検出する。第2センサ11Bにより取得される情報は、例えば、「画像データ」、「距離画像データ」、「形状データ」などである。第2センサ11Bにより検出された情報は、制御装置12に出力される。なお、第2センサ11Bは、ハンドリング装置10の一部として設けられてもよい。
制御装置12は、搬送システム1の全体の管理および制御を行う。例えば、制御装置12は、第1センサ11Aおよび第2センサ11Bにより検出された情報を取得し、取得した情報に基づいてハンドリング装置10を制御する。制御装置12は、例えば、プロセッサとメモリと記憶部などを備えたプログラム実行可能な装置(コンピュータ)である。
制御装置12の各機能の全部又は一部は、例えばCPU(Central Processing Unit;中央処理装置)又はGPU(Graphics Processing Unit;グラフィックスプロセッサ)のような1つ以上のプロセッサがプログラムメモリに記憶されたプログラムを実行することにより実現される。ただし、これら機能の全部又は一部は、LSI(Large ScaleIntegration;大規模集積回路)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、PLD(Programmable Logic Device)等のハードウェア(例えば回路部;circuity)により実現されてもよい。また、上記機能の全部又は一部は、ソフトウェアとハードウェアとの組み合わせで実現されてもよい。記憶部は、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read-Only Memory)、ROM(Read-Only Memory;読み出し専用メモリ)、又はRAM(Random Access Memory;読み書き可能なメモリ)等により実現される。
制御装置12の記憶部には、ピッキング対象の物体Oに関する形状データが記録されている。記憶部に記憶された形状データは、物体Оのローカル座標系で定義される。
次に、搬送システム1の動作を説明する。図2に示す制御装置12の制御フローチャートに沿って説明を行う。
制御装置12が起動されると、制御装置12はハンドリング装置10やセンサ11の初期化を実施した後にハンドリング装置10の制御を開始する(ステップS0)。次に、制御装置12はステップS1を実行する。
ステップS1において、制御装置12は、ピッキング対象の物体Oのオーダーリストを操作者またはシステムより受領する。制御装置12は、第1センサ11Aを用いて取り出し元コンテナV1の物体Oに関する画像データ、距離画像データ、形状データ等を取得する。制御装置12は、取り出し元コンテナV1にオーダーリストにある物体Oがあるかを判定する。また、制御装置12は、ピッキング対象の物体Oの形状、位置、姿勢などに関する情報を取得する(情報取得工程)。
図3は、物体Оの画像データにおける仮マスク領域R1を示す図である。
制御装置12は、公知の画像セグメンテーションの手法を用いて、画像データからピッキング対象の物体Оが外接する矩形領域(外接矩形領域)を「仮マスク領域R1」として設定する。画像セグメンテーションは、機械学習を使用した手法であってもよい。
制御装置12は、公知の画像セグメンテーションの手法を用いて、画像データからピッキング対象の物体Оが外接する矩形領域(外接矩形領域)を「仮マスク領域R1」として設定する。画像セグメンテーションは、機械学習を使用した手法であってもよい。
図4は、物体Оの画像データにおけるマスク領域R2を示す図である。
制御装置12は、仮マスク領域R1の縦横方向に拡張した領域を「マスク領域R2」として設定する。マスク領域R2は、外接矩形領域の縦横方向にマージンMだけ拡張されている。制御装置12は、拡張されたマスク領域R2を用いることで、保持部200による保持方法が挟持である場合において、挟持ハンド202が物体Oの周辺に侵入できる空間があるかどうかを判定できる。
制御装置12は、仮マスク領域R1の縦横方向に拡張した領域を「マスク領域R2」として設定する。マスク領域R2は、外接矩形領域の縦横方向にマージンMだけ拡張されている。制御装置12は、拡張されたマスク領域R2を用いることで、保持部200による保持方法が挟持である場合において、挟持ハンド202が物体Oの周辺に侵入できる空間があるかどうかを判定できる。
図5は、物体Оのデプス画像Dを示す図である。
制御装置12は、距離画像データを用いて、マスク領域R2における物体Oの深さ情報を可視化したデプス画像Dを生成する。デプス画像Dのスケールは、保持部200による保持方法に応じて変更できる。デプス画像Dのスケールは、例えば、1ピクセルあたり1mmに設定できる。
制御装置12は、距離画像データを用いて、マスク領域R2における物体Oの深さ情報を可視化したデプス画像Dを生成する。デプス画像Dのスケールは、保持部200による保持方法に応じて変更できる。デプス画像Dのスケールは、例えば、1ピクセルあたり1mmに設定できる。
図6は、物体Оの3次元位置および姿勢を説明する図である。図6において、形状の異なる物体Оを「О1」および「О2」と記載している。
制御装置12は、取得された物体О1の画像データから、物体О1の3次元位置および姿勢を算出する。制御装置12は、記憶部に記録された物体О1のローカル座標系における形状データを、変換行列を用いてワールド座標系(X軸、Y軸、Z軸)に変換する。ワールド座標系のZ軸方向は、図6に示すように、取り出し元コンテナV1の上方に設定された任意の基準面からの深さ方向である。制御装置12は、取得された物体О1の画像データと、ワールド座標系に変換された形状データと、を比較することで、物体О1の3次元位置および姿勢を算出する。
制御装置12は、取得された物体О1の画像データから、物体О1の3次元位置および姿勢を算出する。制御装置12は、記憶部に記録された物体О1のローカル座標系における形状データを、変換行列を用いてワールド座標系(X軸、Y軸、Z軸)に変換する。ワールド座標系のZ軸方向は、図6に示すように、取り出し元コンテナV1の上方に設定された任意の基準面からの深さ方向である。制御装置12は、取得された物体О1の画像データと、ワールド座標系に変換された形状データと、を比較することで、物体О1の3次元位置および姿勢を算出する。
図7は、3次元位置および姿勢に関する情報が付加されたマスク領域R2を示す図である。制御装置12は、物体О1の基準となる3次元位置poseをマスク画像R2における外接矩形領域(仮マスク領域R1)の中心CОとする。また、制御装置12は、挟持ハンド202の挟持しやすさを考慮して、外接矩形領域の中心CОとは別に、物体О1の図心FОを算出して利用してもよい。
制御装置12は、以前に物体Оのピッキングに成功した場合における物体Оの3次元位置および姿勢等が記録されたデータベースを利用してもよい。制御装置12は、データベースを利用して、物体Оに関するお勧めの保持方法や保持する位置を出力することもできる。
次に、制御装置12は、ステップS2を実行する。ステップS2において、制御装置12は、ステップS1で取得した情報に基づいて、保持部200が物体Оを保持する保持しやすさを「スコア」として算出する。制御装置12は、(1)物体Оごと、(2)保持方法ごと、および(3)ハンドリング装置10の種類ごとにスコアを算出する(大戦略判定工程)。
ステップS2において使用する(1)物体Оごと、(2)保持方法ごと、および(3)ハンドリング装置10の種類ごとのスコアSHα,β(Ii,j)は、例えば、式1に示す評価関数により算出される。
式1において、αは、ハンドリング装置10の種類(第1ハンドリング装置10A、第2ハンドリング装置10Bなど)である。βは、保持方法(吸着、挟持、ハイブリッドなど)である。Ii,jは、任意の物体Оのマスク領域R2である。w1~9は評価関数の重みである。Rは吸着可能面率、Cは中心平面率、Lは物体Оの配置率、Fは物体Оの保持力の余裕度、Gは複数の物体Оの隙間率、Wはハンド開き幅の余裕度(保持部の余裕度)、Bは物体Оの凹凸率である。
式1に示す評価関数は、各評価項目を線形結合している。スコアを算出する評価関数は、評価項目で平均値を用いてもよいし、非線形関数に変更してもよい。また、評価項目は、式1に記載された項目に限定されず、例えば、物体Оや挟持ハンド202の物理特性に依存した量であってもよい。
制御装置12は、スコアが最も高くなるハンドリング装置10の種類を、ピッキングに使用するハンドリング装置10の種類として選択する。ピッキングに適したハンドリング装置10の種類(保持部200の種類)は、物体Оごとに選択される。このとき、制御装置12は、物体Оを保持する位置やアーム100の姿勢などを具体的に算出せずに、ハンドリング装置10の種類(保持部200の種類)を選択する。本実施形態においては、制御装置12は、第1保持部200Aを有する第1ハンドリング装置10Aと第2保持部200Bを有する第2ハンドリング装置10Bのいずれかを選択する。
次に、制御装置12は、ステップS3を実行する。ステップS3において、制御装置12は、ステップS1で取得した情報に基づいて、保持部200が物体Оを保持する保持しやすさや物体Оの積載状況を考慮した保持しやすさを「スコア」として算出する。制御装置12は、(1)物体Оごと、および(2)保持方法ごとにスコアを算出する(中戦略判定工程)。
図8から図10は、スコアが算出される物体О1を示す図である。
保持方法として吸着Sを用いる場合、ステップS2で用いた評価関数の一部と同様に式2に示す評価関数によりスコアが算出される。図8から図9におけるI1からI3は、スコアを算出する物体О1のマスク領域R2の例を示している。
保持方法として吸着Sを用いる場合、ステップS2で用いた評価関数の一部と同様に式2に示す評価関数によりスコアが算出される。図8から図9におけるI1からI3は、スコアを算出する物体О1のマスク領域R2の例を示している。
保持方法として挟持Pを用いる場合、ステップS2で用いた評価関数の一部と同様に式3に示す評価関数によりスコアが算出される。
制御装置12は、さらに物体Оの積載状況を考慮して、スコアを算出する評価関数を変更してもよい。図11から図13は、物体Оの積載状況を考慮した評価関数を説明する図である。図11から図13に示す数字は、評価関数から算出した物体Оごとのスコアの順位である。
制御装置12は、図11に示すように、取り出し元コンテナV1の高い位置に配置されている物体Оを優先してもよい。この場合、評価関数は、例えば、式4に示すf0により算出される。式4において、zはZ方向の高さである。
制御装置12は、図12に示すように、取り出し元コンテナV1の高い位置かつ取り出し元コンテナV1の中心にある物体Оを優先してもよい。この場合、評価関数は、例えば、式5および式6に示すf1により算出される。式5において、distは物体Оの中心と取り出し元コンテナV1の最上部の中心C1との距離である。式6において、(x, y, z)はワールド座標系における物体Оの位置座標である。(xc, yc, zc)は、取り出し元コンテナV1の最上部の中心C1における座標である。
制御装置12は、図13に示すように、取り出し元コンテナV1の高い位置かつ取り出し元コンテナV1の中心C1にある物体Оかつ保持しやすい物体Оから優先してもよい。この場合、評価関数は、例えば、式7に示すf2より算出される。f2は、物体Оの凸凹度を評価する関数である。式7において、Idepthはデプス画像Dを示している。また、評価関数は、例えば、式8に示すf3より算出される。f3は、物体Оの扁平度を評価する関数である。式7において、(xd, yd)はX軸方向およびY軸方向のおける物体Оが占める領域の分散を示す。
制御装置12は、関数f1と、関数f2と、関数f3と、関数f4と、を統合した式11に示す評価関数fを使用してもよい。例えば、重みw0は0.0、重みw1は0.34、重みw2は0.33、重みw3は0.33である。
式11に示す評価関数fは、各評価項目を線形結合している。評価関数fは、評価項目で平均値を用いてもよいし、非線形関数に変更してもよい。また、評価項目は、式9に記載された項目に限定されず、例えば、物体Оや挟持ハンド202の物理特性に依存した量であってもよい。
表1は、物体Оおよび保持方法ごとに算出されたスコアを示す表である。表2は、スコアが高い順番にソートされた物体Оと保持方法の組み合わせを示す表である。
制御装置12は、表1に示す物体Оおよび保持方法ごとに算出されたスコアを、表2に示すようにスコアが高い順番にソートする。制御装置12は、スコアが高い物体Оと保持方法の組み合わせを、優先度の高い物体Оと保持方法として選択する。このとき、制御装置12は、物体Оを保持する位置やアーム100の姿勢などを具体的に算出せずに、保持する物体Оと保持方法を選択する。
制御装置12は、例えば、所定のスコア以上の物体Оを保持する物体Оとして選択する。制御装置12は、表2に示すスコアの順位に基づいて、複数の物体Оを保持する順番を決定する(順番決定工程)。
次に、制御装置12は、ステップS3において選択された保持方法に対応したステップS4,S5,S6を実行する。ステップS4,S5,S6において、制御装置12は、ステップS3において選択された保持する物体Оを保持する位置および保持する際のアーム100の姿勢を具体的に算出する(計画生成工程)。
ステップS4は、ステップS3において選択された物体Оの保持方法が「挟持」である場合に実行される。ステップS4において、制御装置12は、公知の手法から適宜選択した手法により、物体Оを挟持する位置および挟持する際のアーム100の姿勢を具体的に算出する。ステップS3において選択された物体Оの保持方法に「挟持」が含まれない場合、制御装置12はステップS4を実行しない。
ステップS5は、ステップS3において選択された物体Оの保持方法が「吸着」である場合に実行される。ステップS5において、制御装置12は、公知の手法から適宜選択した手法により、物体Оを吸着する位置および吸着する際のアーム100の姿勢を具体的に算出する。ステップS3において選択された物体Оの保持方法に「吸着」が含まれない場合、制御装置12はステップS5を実行しない。
ステップS6は、ステップS3において選択された物体Оの保持方法が「挟持および吸着(ハイブリッド)」である場合に実行される。ステップS5において、制御装置12は、公知の手法から適宜選択した手法により、物体Оを挟持および吸着する位置および挟持および吸着する際のアーム100の姿勢を具体的に算出する。ステップS3において選択された物体Оの保持方法に「挟持および吸着」が含まれない場合、制御装置12はステップS6を実行しない。
物体Оを保持する位置やアーム100の姿勢の算出は演算量が非常に多い。制御装置12は、選択された物体Оについてのみ、物体Оを保持する位置やアーム100の姿勢を算出すればよい。そのため、搬送システム1は、保持する物体Оを選択するために物体Оを保持する位置やアーム100の姿勢を算出する他の搬送システムと比較して、必要な演算量を著しく削減できる。
次に、制御装置12は、ステップS7を実行する。ステップS7において、制御装置12は、ステップS4,S5,S6において算出された物体Оを保持する位置およびアーム100の姿勢に基づいて保持部200およびアーム100を制御する(動作制御方法)。選択された物体Оは、ハンドリング装置10によって取り出し元コンテナV1から搬送先コンテナV2に搬送される。
次に、制御装置12は、ステップS8を実行する。ステップS8において、制御装置12は、取り出し元コンテナV1に物体Оが残っているかを判定する。取り出し元コンテナV1に物体Оが残っている場合、制御装置12は、ステップS1を再度実行する。取り出し元コンテナV1に物体Оが残っていない場合、制御装置12はステップS9を実行して制御を終了する。
本実施形態の搬送システム1によれば、物体Оを保持する保持戦略を効率的に決定できる。搬送システム1の制御装置12は、物体Оを保持する位置やアーム100の姿勢などを具体的に算出せずに、保持戦略を選択する。保持戦略とは、例えば、使用するハンドリング装置10の種類、保持する物体О、保持方法を選択することである。搬送システム1の制御装置12は、選択された物体Оについてのみ、物体Оを保持する位置やアーム100の姿勢を算出すればよく、必要な演算量を著しく削減できる。
上記各実施形態では、ハンドリング装置10は、第1ハンドリング装置10Aと、第2ハンドリング装置10Bとを有していた。ハンドリング装置10は、その他の保持方法により物体Oを保持するハンドリング装置をさらに有してもよい。
ステップS2やステップS3におけるスコアの算出方法は、上記のようなルールベースによるアルゴリズムに限定されず、機械学習を用いたアルゴリズムにより実行されてもよい。例えば、教師あり学習を想定した場合、上記にて規定をした評価関数を学習時の評価値として利用することも可能である。学習アルゴリズムに関しては、教師あり学習に限らず、教師なし学習、強化学習など学習の種類によって変更することが可能である。
以上説明した少なくともひとつの実施形態によれば、物体Оを保持する位置やアーム100の姿勢などを具体的に算出せずに保持戦略を選択するため、対象物を保持する保持戦略を効率的に決定できる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…搬送システム、10…ハンドリング装置、10A…第1ハンドリング装置、10B…第2ハンドリング装置、100…アーム、101…アーム部材、102…回動部、200…保持部、200A…第1保持部、200B…第2保持部、202…挟持ハンド、203…吸引装置、11…センサ、11A…第1センサ、11B…第2センサ、12…制御装置
Claims (1)
- 関節を有するアームと、
前記アームに取り付けられ、物体を保持可能な保持部と、
複数の前記物体を検出可能なセンサと、
前記アームおよび前記保持部を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから取得した情報に基づいて、前記保持部が前記物体を保持する保持しやすさをスコアとして、前記物体ごとおよび保持方法ごとに算出し、前記スコアに基づいて保持する前記物体および前記保持方法を選択し、
選択された前記物体を保持する位置および前記アームの姿勢を算出する、
ハンドリング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024033414A JP2024052998A (ja) | 2020-03-19 | 2024-03-05 | ハンドリング装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020049244A JP2021146452A (ja) | 2020-03-19 | 2020-03-19 | ハンドリング装置、制御装置、および制御プログラム |
JP2024033414A JP2024052998A (ja) | 2020-03-19 | 2024-03-05 | ハンドリング装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020049244A Division JP2021146452A (ja) | 2020-03-19 | 2020-03-19 | ハンドリング装置、制御装置、および制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024052998A true JP2024052998A (ja) | 2024-04-12 |
Family
ID=72266209
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020049244A Pending JP2021146452A (ja) | 2020-03-19 | 2020-03-19 | ハンドリング装置、制御装置、および制御プログラム |
JP2024033414A Pending JP2024052998A (ja) | 2020-03-19 | 2024-03-05 | ハンドリング装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020049244A Pending JP2021146452A (ja) | 2020-03-19 | 2020-03-19 | ハンドリング装置、制御装置、および制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11529743B2 (ja) |
EP (1) | EP3881978A1 (ja) |
JP (2) | JP2021146452A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11633857B2 (en) * | 2020-10-27 | 2023-04-25 | Solomon Technology Corporation | Method for picking up an object from a bin |
EP4008641A1 (en) * | 2020-12-07 | 2022-06-08 | A.C.M.I. - Societa' Per Azioni | Cartoning apparatus |
US11875528B2 (en) * | 2021-05-25 | 2024-01-16 | Fanuc Corporation | Object bin picking with rotation compensation |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5686248A (en) | 1979-12-13 | 1981-07-13 | Asahi Seiki Kogyo Kk | Adjustment method of hook part in coil spring manufacturing machine |
JPH1040393A (ja) * | 1996-07-23 | 1998-02-13 | Sony Corp | 画像認識方法およびこの方法を用いた画像認識装置ならびに電子部品実装装置 |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
JP5440885B2 (ja) * | 2011-10-20 | 2014-03-12 | 株式会社安川電機 | ロボットシステム |
JP6036662B2 (ja) * | 2013-11-22 | 2016-11-30 | 三菱電機株式会社 | ロボットシミュレーション装置、プログラム、記録媒体及び方法 |
FR3020303B1 (fr) * | 2014-04-25 | 2016-07-15 | Sileane | Procede et installation de prehension automatique d'un objet. |
JP6771744B2 (ja) * | 2017-01-25 | 2020-10-21 | 株式会社安川電機 | ハンドリングシステム及びコントローラ |
JP6707485B2 (ja) * | 2017-03-22 | 2020-06-10 | 株式会社東芝 | 物体ハンドリング装置およびその較正方法 |
JP6363294B1 (ja) | 2017-04-04 | 2018-07-25 | 株式会社Mujin | 情報処理装置、ピッキングシステム、物流システム、プログラム、及び、情報処理方法 |
JP2019111615A (ja) * | 2017-12-22 | 2019-07-11 | 株式会社東芝 | 物品把持装置、物品把持システム |
JP6879238B2 (ja) | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
JP6937260B2 (ja) | 2018-03-19 | 2021-09-22 | 株式会社東芝 | 把持制御装置、把持システム、およびプログラム |
JP7000213B2 (ja) | 2018-03-19 | 2022-01-19 | 株式会社東芝 | 保持装置、搬送システム、コントローラ、および保持方法 |
EP3617936B1 (en) | 2018-08-28 | 2024-05-08 | Kabushiki Kaisha Toshiba | Transport system, control method and program |
JP7154886B2 (ja) * | 2018-08-28 | 2022-10-18 | 株式会社東芝 | ハンドリング装置、制御装置及びプログラム |
US11407118B1 (en) * | 2018-12-10 | 2022-08-09 | Joseph E Augenbraun | Robot for performing dextrous tasks and related methods and systems |
US11745337B2 (en) | 2019-08-29 | 2023-09-05 | Kabushiki Kaisha Toshiba | Handling device, control device, and computer program product |
JP7123885B2 (ja) | 2019-09-13 | 2022-08-23 | 株式会社東芝 | ハンドリング装置、制御装置、および保持方法 |
-
2020
- 2020-03-19 JP JP2020049244A patent/JP2021146452A/ja active Pending
- 2020-08-27 US US17/004,183 patent/US11529743B2/en active Active
- 2020-08-27 EP EP20193084.9A patent/EP3881978A1/en active Pending
-
2024
- 2024-03-05 JP JP2024033414A patent/JP2024052998A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021146452A (ja) | 2021-09-27 |
US20210291378A1 (en) | 2021-09-23 |
US11529743B2 (en) | 2022-12-20 |
EP3881978A1 (en) | 2021-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2024052998A (ja) | ハンドリング装置 | |
JP7508655B2 (ja) | 未知の物体の自律的ピックアンドプレース | |
US10124489B2 (en) | Locating, separating, and picking boxes with a sensor-guided robot | |
JP7290280B2 (ja) | オブジェクト識別メカニズムおよびオブジェクトハンドリングメカニズムを有するロボットシステムおよびその動作方法 | |
JP5620445B2 (ja) | 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置 | |
JP7154886B2 (ja) | ハンドリング装置、制御装置及びプログラム | |
JP7315499B2 (ja) | ハンドリング装置、制御装置及びプログラム | |
EP3617936B1 (en) | Transport system, control method and program | |
US20230286165A1 (en) | Systems and methods for robotic system with object handling | |
EP4049809A1 (en) | Handling system, transport system, control device, control program, and handling method | |
GB2621007A (en) | Controlling a robotic manipulator for packing an object | |
CN113459101B (zh) | 用于执行抓持区域检测的方法和计算*** | |
JP7395451B2 (ja) | ハンドリング装置、処理装置、コントローラ及びプログラム | |
EP4098409A1 (en) | Handling system, transport system, control device, program, and handling method | |
US20240139941A1 (en) | Handling system, control device, handling method, and storage medium | |
JP7398763B2 (ja) | 重なり処理機構を備えたロボットシステム及びその操作方法 | |
JP7358095B2 (ja) | 荷役装置、荷役システムおよびプログラム | |
JP7437288B2 (ja) | 移動機械の制御装置および制御方法 | |
JP2024082211A (ja) | ロボットの制御システム、ロボットの制御プログラム | |
CN116551672A (zh) | 用于具有物体处置能力的机器人***的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240319 |