JP2023041200A - ワーク保持装置、ワーク保持方法、プログラム、及び制御装置 - Google Patents

ワーク保持装置、ワーク保持方法、プログラム、及び制御装置 Download PDF

Info

Publication number
JP2023041200A
JP2023041200A JP2021148423A JP2021148423A JP2023041200A JP 2023041200 A JP2023041200 A JP 2023041200A JP 2021148423 A JP2021148423 A JP 2021148423A JP 2021148423 A JP2021148423 A JP 2021148423A JP 2023041200 A JP2023041200 A JP 2023041200A
Authority
JP
Japan
Prior art keywords
holding
work
information
candidate
works
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021148423A
Other languages
English (en)
Inventor
建郎 森
Takeo Mori
淳 五十嵐
Atsushi Igarashi
伊岐 長井
Iki Nagai
俊夫 植芝
Toshio Ueshiba
幸康 堂前
Yukiyasu Domae
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Toyota Motor Corp
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST, Toyota Motor Corp filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2021148423A priority Critical patent/JP2023041200A/ja
Priority to EP22190725.6A priority patent/EP4148374A1/en
Priority to US17/893,522 priority patent/US20230085211A1/en
Priority to CN202211094799.6A priority patent/CN115805588A/zh
Publication of JP2023041200A publication Critical patent/JP2023041200A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39484Locate, reach and grasp, visual guided grasping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40613Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

Figure 2023041200000001
【課題】ワークを吸引し保持する際に他のワークを同時に吸引し保持するのを抑制できること。
【解決手段】ワーク保持装置は、3次元空間に置かれた複数のワークの中から1つずつワークを吸引し保持する保持手段と、複数のワークの3次元情報を取得する第1情報取得手段と、第1情報取得手段により取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを夫々保持する際のワークの保持点の候補である保持候補点を複数算出する候補算出手段と、各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する第2情報取得手段と、第2情報取得手段により取得されたワークの情報に基づいて、複数の保持候補点のうちの1つの保持候補点を選択し、保持手段が選択した保持候補点でワークを保持するように、保持手段を制御する制御手段と、を備える。
【選択図】図2

Description

本発明は、ワークを保持するワーク保持装置、ワーク保持方法、プログラム、及び制御装置に関する。
ワークの3次元測定情報を用いて、予め作成した3次元モデルパターンとパターンマッチングし、ワークの保持点を決定する技術が知られている(特許文献1参照)。また、ワークの3次元測定情報に基づき、ワークの最大高さ位置を検出し、その最大高さ位置をワークの保持点とする技術が知られている(特許文献2参照)。
特開2009-128191号公報 特開2016-028836号公報
しかしながら、特許文献1の技術では、予めワーク毎に3次元モデルパターンを作成する必要があるため、例えば、多品種のワークに対応することができない。また、特許文献2の技術では、例えば、最大高さ位置周辺に他のワークがあると、その最大高さ位置のワークを吸引する際に、他のワークも同時に吸引する虞がある。
本発明は、このような問題点を解決するためになされたものであり、ワークを吸引し保持する際に、他のワークを同時に吸引し保持するのを抑制できるワーク保持装置、ワーク保持方法、プログラム、及び制御装置を提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、
3次元空間に置かれた複数のワークの中から1つずつワークを吸引し保持する保持手段と、
前記複数のワークの3次元情報を取得する第1情報取得手段と、
前記第1情報取得手段により取得された複数のワークの3次元情報に基づいて、前記保持手段が各ワークを夫々保持する際の該ワークの保持点の候補である保持候補点を複数算出する候補算出手段と、
前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する第2情報取得手段と、
前記第2情報取得手段により取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御する制御手段と、
を備える、ワーク保持装置
である。
この一態様において、前記ワークの情報は、前記他のワークの有無の情報であり、
前記制御手段は、前記他のワークの有無の情報に基づいて、前記複数の保持候補点のうち、前記所定範囲内に他のワークが存在しない保持候補点を選択してもよい。
この一態様において、前記第2情報取得手段は、前記第1情報取得手段により取得された複数のワークの3次元情報に基づいて、前記各ワークの保持候補点から所定範囲内に、高さ方向の座標値が極大となる極大点が、該保持候補点以外にあると判断した場合に、前記所定範囲内に他のワークが有るとする情報を生成してもよい。
この一態様において、前記第2情報取得手段は、前記所定範囲内のワークの3次元情報を、高さ方向に垂直な水平面で、複数の異なる高さ位置で夫々切断した際に、少なくとも1つの前記高さ位置で不連続状態となる切断面が存在する場合に、前記所定範囲内に他のワークが有るとする情報を生成してもよい。
この一態様において、前記制御手段は、前記所定範囲内に他のワークが存在しない複数の保持候補点のうち、前記所定範囲外の他のワークと前記保持候補点との距離に基づいて、1つの保持候補点を選択してもよい。
この一態様において、前記ワークの情報は、前記各保持候補点と前記所定範囲内の他のワークとの距離情報であり、
前記制御手段は、前記複数の保持候補点の中から、前記距離情報に基づいて、1つの保持候補点を選択してもよい。
この一態様において、前記制御手段は、前記距離情報に基づいて、前記複数の保持候補点の中から、前記保持候補点と所定範囲内の他のワークとの距離の積分値が最も大きい、前記保持候補点を選択してもよい。
この一態様において、前記候補算出手段は、第1情報取得手段により取得された複数のワークの3次元情報に基づいて、前記ワークの高さ方向の座標値が極大である極大点を前記保持候補点として算出してもよい。
この一態様において、前記候補算出手段は、前記極大点となる保持候補点の中から、所定面積以上の極大点を前記保持候補点としてもよい。
上記目的を達成するための本発明の一態様は、
3次元空間に置かれた複数のワークの3次元情報を取得するステップと、
前記取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを吸引し保持する際の該ワークの保持点の候補である保持候補点を複数算出するステップと、
前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得するステップと、
前記取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御するステップと、
を含む、ワーク保持方法
であってもよい。
上記目的を達成するための本発明の一態様は、
3次元空間に置かれた複数のワークの3次元情報を取得する処理と、
前記取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを吸引し保持する際の該ワークの保持点の候補である保持候補点を複数算出する処理と、
前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する処理と、
前記取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御する処理と、
をコンピュータに実行させる、プログラム
であってもよい。
上記目的を達成するための本発明の一態様は、
3次元空間に置かれた複数のワークの3次元情報を取得する第1情報取得手段と、
前記第1情報取得手段により取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを夫々保持する際の該ワークの保持点の候補である保持候補点を複数算出する候補算出手段と、
前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する第2情報取得手段と、
前記第2情報取得手段により取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御する制御手段と、
を備える、制御装置
であってもよい。
本発明によれば、ワークを吸引し保持する際に、他のワークを同時に吸引し保持するのを抑制できるワーク保持装置、ワーク保持方法、プログラム、及び制御装置を提供することができる。
本実施形態に係るワーク保持装置の概略的なシステム構成を示すブロック図である。 本実施形態に係る制御装置の概略的なシステム構成を示すブロック図である。 ワークの凸部を示す図である。 所定範囲内における他のワークの検出方法を説明するための図である。 本実施形態に係るワーク保持方法のフローを示すフローチャートである。
実施形態1
以下、図面を参照して本発明の実施形態について説明する。図1は、本実施形態に係るワーク保持装置の概略的なシステム構成を示すブロック図である。本実施形態に係るワーク保持装置1は、3次元空間に配置された複数のワークの中から1つずつワークを吸引し保持し、移動させることができる。複数のワークは、箱内や平面などにバラ積みされている部品などである。なお、複数のワークは、平面形状や立体形状などの任意の形状の部品を含む。
本実施形態に係るワーク保持装置1は、ロボットアーム2と、制御装置3と、3次元ビジョンセンサ4と、を備えている。
ロボットアーム2は、保持手段の一具体例である。ロボットアーム2は、例えば、複数のリンク21と、各リンク21を回動可能に連結する関節部(手首関節、肘関節、肩関節など)22と、その先端に設けられワークを吸引し保持するエンドエフェクタ23と、を有する多関節型アームとして構成されている。
各関節部22には、各関節部22の回転情報を検出するエンコーダなどの回転センサと、各関節部22を駆動するサーボモータなどのアクチュエータと、各関節部22の操作力を検出する力センサと、が設けられている。力センサは、例えば、各関節部22のトルクを検出するトルクセンサなどである。各関節部22には、減速機構などが設けられている。
エンドエフェクタ23は、磁力や空気圧力などの吸引力により、ワークを非接触状態で吸引し保持する。エンドエフェクタ23は、例えば、磁力を発生させることによってワークを電磁吸着し、磁力の発生を停止することによって電磁吸着しているワークを解放するように構成されている。
制御装置3は、ロボットアーム2に対する各種の演算処理及び制御処理を行う。制御装置3は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサ3aと、RAM(Random Access Memory)やROM(Read Only Memory)などの内部メモリ3bと、HDD(Hard Disk Drive)やSSD(Solid State Drive)などのストレージデバイス3cと、ディスプレイなどの周辺機器を接続するための入出力I/F3dと、装置外部の機器と通信を行う通信I/F3eと、を備えた通常のコンピュータのハードウェア構成を有する。
3次元ビジョンセンサ4は、第1情報取得手段の一具体例である。3次元ビジョンセンサ4は、複数のワークの3次元情報を取得する。ワークの3次元情報は、各ワークの形状、位置(3次元座標など)、姿勢などの情報を含む。
3次元ビジョンセンサ4は、例えば、ロボットアーム2のエンドエフェクタ23やリンク21などに設けられている。3次元ビジョンセンサ4は、カメラやレーザセンサなどで構成されている。3次元ビジョンセンサ4は、取得したワークの3次元情報を制御装置3に対して出力する。
図2は、本実施形態に係る制御装置の概略的なシステム構成を示すブロック図である。本実施形態に係る制御装置3は、候補算出部31と、ワーク情報取得部32と、ロボット制御部33と、を有している。
候補算出部31は、候補算出手段の一具体例である。候補算出部31は、3次元ビジョンセンサ4により取得されたワークの3次元情報に基づいて、ロボットアーム2のエンドエフェクタ23がワークを吸引し保持する際のワークの保持点(吸着点)の候補である保持候補点を複数算出する。
例えば、候補算出部31は、3次元ビジョンセンサ4により取得されたワークの3次元情報に基づいて、各ワークの高さ位置を示す深度情報を算出する。候補算出部31は、算出した各ワークの深度情報に基づいて、高さ方向へ突出した凸部を検出する(図3)。
候補算出部31は、算出した深度情報に基づいて、例えば、所定高さ以上の点を1とし、所定高さ未満の点を0として2値化し、1となる点を、凸部として検出する。候補算出部31は、上述のように検出した凸部を保持候補点としてもよい。これにより、エンドエフェクタ23が吸引し保持し易い凸部を保持候補点にすることができる。
さらに、候補算出部31は、上記検出した凸部の中から、エンドエフェクタ23が吸着を行うための端面の面積が閾値以上となる凸部を保持候補点としてもよい。これにより、エンドエフェクタ23が吸引し保持し易い凸部の中で、吸着面積が大きくより吸引し保持し易い点を保持候補点として絞り込むことができる。
候補算出部31は、3次元ビジョンセンサ4により取得されたワークの3次元情報に基づいて、ワークの高さ方向の座標値が極大となる極大点を保持候補点として算出してもよい。これにより、エンドエフェクタ23が吸引し保持し易い、高さ方向へ大きく突出した極大点を保持候補点にすることができる。
さらに、候補算出部31は、上記極大点となる保持候補点の中から、所定面積以上の極大点を保持候補点としてもよい。これにより、エンドエフェクタ23が吸引し保持し易い極大点の中で、吸着面積が大きくより吸引し保持し易い点を保持候補点として絞り込むことができる。
なお、候補算出部31は、3次元ビジョンセンサ4により取得されたワークの3次元情報に基づいて、上述の如く絞り込んだ各保持候補点でワークを保持できるか否かをさらに判定してもよい。候補算出部31は、各保持候補点でワークを保持した際に他のワークとの干渉があるか否かを判定することで、保持可能か否かを判定してもよい。候補算出部31は、保持可能と判定した保持候補点を、最終的な複数の保持候補点としてもよい。
候補算出部31は、上述のように算出した複数の保持候補点をロボット制御部33に対して出力する。
ところで、従来のワーク保持装置は、保持候補点でワークを吸引し保持する際に、その周辺の他のワークを同時に吸引する虞がある。
これに対し、本実施形態に係るワーク保持装置1は、各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得し、取得した他のワークの情報に基づいて、複数の保持候補点のうちの1つの保持候補点を選択し、ロボットアーム2が選択した保持候補点でワークを保持するように、ロボットアーム2を制御する。
これにより、各ワークの保持候補点周辺の他のワークの状態を考慮して、他のワークを同時に吸引し難い保持候補点を選択でき、その保持候補点でワークを保持できる。したがって、ワークを吸引し保持する際に、他のワークを同時に吸引し保持するのを抑制できる。
ワーク情報取得部32は、第2情報取得手段の一具体例である。ワーク情報取得部32は、各ワークの保持候補点から所定範囲内に存在する他のワークの情報(以下、他ワーク情報)を夫々取得する。
所定範囲は、ワーク情報取得部32に予め設定されている。所定範囲は、エンドエフェクタ23の吸引力(磁力など)が影響する範囲であり、その吸引力に基づいて設定される。所定範囲は、例えば、エンドエフェクタ23をワークの保持候補点に近付けたときに該ワークもしくは他のワークを吸着する高さに、バッファを加味して設定される。
他ワーク情報は、例えば、所定範囲内に他のワークが存在するか否か(有無)を示す情報である。
ワーク情報取得部32は、3次元ビジョンセンサ4により取得された複数のワークの3次元情報に基づいて、各ワークの保持候補点から所定範囲内に、高さ方向の座標値が極大となる極大点が、該保持候補点以外にあるか否かを判断してもよい。ワーク情報取得部32は、所定範囲内において保持候補点以外に極大点があると判断した場合に、所定範囲内に他のワークが有るとする情報を生成してもよい。
所定範囲に他のワークがある場合、そのワークは高さ方向に突出した極大点を有するため、上述のようにその極大点を検出することで容易に所定範囲内の他のワークを検出できる。
また、ワーク情報取得部32は、所定範囲内のワークの3次元情報を、高さ方向に垂直な水平面で、複数の異なる高さ位置で夫々切断した際に、少なくとも1つの高さ位置で不連続状態となる切断面が存在するか否かを判断してもよい。ワーク情報取得部32は、少なくとも1つの高さ位置で不連続状態となる切断面が存在すると判断した場合に、所定範囲内に他のワークが有るとする情報を生成してもよい。
所定範囲に他のワークが存在する場合、高さ方向(Z方向)に、保持候補点を含むワークの山以外に他のワークの山が存在することとなる。したがって、高さ方向に垂直な水平面でワークの山を切断した際に、その切断面は不連続となる。このような不連続な断面を検出することで、簡易かつ高精度に所定範囲内の他のワークを検出できる。
例えば、図4(a)に示す如く、第1層の高さ位置でワークを切断した場合、保持候補点を含むワークAの山のみを切断するため、その切断面は、ワークAの切断面のみを含み、連続状態となる。
次に、第1層よりも低い第2層の高さ位置でワークを切断した場合、保持候補点を含むワークAの山の途中と他のワークBの山の途中を夫々切断することになるため、その切断面は、ワークAの切断面と、他のワークBの切断面と、を含み、不連続状態となる。
さらに、第2層よりも低い第3層の高さ位置でワークを切断した場合、保持候補点を含むワークAの山と他のワークBの山を切断することになるため、その切断面は、ワークAの切断面と、他のワークBの切断面と、を含むが、ワークAと他のワークBとが重複しているため、その切断面は連続状態となる。
このように、所定範囲内の他のワークが存在する場合、高さ方向に垂直な水平面で、高さ位置を徐々に変えてワークを切断すると、少なくとも1つの高さ位置で不連続状態となる切断面が存在することとなる。この不連続状態の切断面を検出することで、所定範囲内の他のワークを簡易かつ容易に検出できる。
なお、上記切断数及び切断の間隔は、任意に設定可能である。例えば、切断数を増加させ、切断の間隔を小さくすれば、上記他のワークの有無判定の精度は向上するが、それだけ計算量が増加する。従がって、上記他のワークの有無判定の精度と計算量とを比較考慮して、最適な切断数及び切断の間隔が設定されるのが好ましい。
ワーク情報取得部32は、上述のように取得した他のワークの有無を示すワーク情報をロボット制御部33に出力する。
ロボット制御部33は、制御手段の一具体例である。ロボット制御部33は、ロボットアーム2の動作を制御する。ロボット制御部33は、例えば、各関節部の回転センサからの回転情報(回転角など)と、力センサからの操作力と、に基づいて、各関節部のアクチュエータを制御することで、ロボットアーム2をフィードバック制御する。また、ロボット制御部33は、エンドエフェクタ23の吸引力を制御することで、エンドエフェクタ23によるワークの吸着及び解放を制御する。これにより、ロボット制御部33は、ロボットアーム2を制御することで、ワークを保持し、移動させることができる。
ロボット制御部33は、候補算出部31により算出された複数の保持候補点の中から1つの保持候補点を選択する。
ロボット制御部33は、3次元ビジョンセンサ4により取得されたワークの3次元情報に基づいて、ロボットアーム2のエンドエフェクタ23が保持候補点でワークを保持するように、ロボットアーム2を制御する。
ロボット制御部33は、ワーク情報取得部32からの他のワークの有無を示すワーク情報に基づいて、複数の保持候補点の中から、所定範囲内に他のワークが存在しない保持候補点を選択する。これにより、周辺に他のワークが存在しない保持候補点を選択でき、その保持候補点でワークを吸引し保持することで、他のワークを同時に吸引し保持するのを抑制できる。
ここで、ロボット制御部33は、所定範囲内に他のワークが存在しない複数の保持候補点が存在する場合、その保持候補点の絞込を行う。例えば、ロボット制御部33は、所定範囲内に他のワークが存在しない複数の保持候補点の中から、所定範囲外の他のワークと保持候補点との距離に基づいて、1つの保持候補点を選択する。これにより、所定範囲外の他のワークと保持候補点との距離を考慮して、所定範囲外の他のワークを同時に吸引し難く、保持対象のワークのみを吸引し保持できる最適な保持候補点を選択できる。
ロボット制御部33は、所定範囲内に他のワークが存在しない複数の保持候補点の中から、所定範囲外の他のワークとの距離が最も大きい保持候補点を選択してもよい。
これにより、所定範囲内に他のワークが存在しない保持候補点に絞り込んだ後、さらに、その絞り込んだ保持候補点の中から、所定範囲外の他のワークから最も離れ、所定範囲外の他のワークを最も吸引し難い保持候補点を選択することができる。したがって、ワークをその保持候補点で吸引し保持する際に、他のワークを同時に吸引し保持するのをより確実に抑制できる。
例えば、ロボット制御部33は、保持候補点と所定範囲外の他のワークとの距離に関する評価関数を用いて、1つの保持候補点を選択する。
この評価関数は、保持候補点と所定範囲外の他のワークとの距離が大きくなるほど、この評価値が小さくなるように、その距離の逆数で定義されていてもよい。
上記保持候補点と所定範囲外の他のワークとの距離は、例えば、保持候補点で保持する際のエンドエフェクタ23の吸引保持面(ツール下面)と所定範囲外の他のワークとの距離の積分値である。保持候補点でワークを吸引し保持するために、エンドエフェクタ23の吸引保持面を保持対象のワークの保持候補点に接近させた際に、エンドエフェクタ23の吸引保持面に近い他のワークほど、その吸引力の影響を受けるため、上記のような距離を算出している。
したがって、保持候補点と所定範囲外の他のワークとの距離、すなわち、エンドエフェクタ23の吸引保持面と所定範囲外の他のワークとの距離の積分値が最も大きく、上記評価値の小さい保持候補点を選択するのが好ましい。
例えば、評価関数Jは、下記のように定義されている。
Figure 2023041200000002
(u、v)は、深度画像中の点(画素)の位置である。uは横座標値、vは縦座標値である。例えば、大きさ640x480の画像であれば、u、vはそれぞれ0≦u<640、 0 ≦v<480の値になる。
d(u、v)は、点(u、 v)における深度画像の値(depth)である。具体的には、depthはカメラ(3次元ビジョンセンサ4)から撮影対象までの距離で単位はメートルで非負値を取る。ただし、0という値は特別で、その位置においてカメラが撮影対象のdepthを取得できなかったことを意味する。
取得できない原因は様々であるが、最も多いのは、カメラが備える光源の照射方向と、撮影対象に当たった光が反射してカメラのセンサに返ってくる方向と、が違うために、照 射された光が障害物に遮られて返ってこないことによるものである。
は、現在注目している保持候補点におけるdepthである。Dは、保持候補点から下方向に吸引力が及ぶ距離である。Δは、深度画像を2値化するために設定する切断高さの閾値を、dからd+Dまで変化させる時の切断間隔を表す。
Ωは、深度画像の中で上記のようにdepthが取得できなかった点の集合である。Ωは、保持候補点と同一の領域(所定領域内)にあり、かつdepthがdt+Dよりも小さい(カメラに近い)、すなわち、d(u、v)<dt+Dとなる点の集合である。
なお、上記評価関数Jにおいて、保持候補点を含む山とdepth=0の穴を除外した総画素数で除算することで、1有効画素当たりの影響を正規化している。
以上のように、ロボット制御部33は、評価関数Jを用いて、現在注目している保持候補点と同一領域にない(所定領域外)、かつ、0<d(u、v)<dt+Dであるような点全体に渡って総和を取ることによって計算される評価値を算出することになる。
続いて、本実施形態に係るワーク保持方法について説明する。図5は、本実施形態に係るワーク保持方法のフローを示すフローチャートである。なお、図5に示す制御処理を所定時間毎に繰り返し実行される。
3次元ビジョンセンサ4は、ワークの3次元情報を取得し、制御装置3に対して出力する(ステップS101)。
制御装置3の候補算出部31は、3次元ビジョンセンサ4により取得されたワークの3次元情報に基づいて、ロボットハンドのエンドエフェクタ23の保持候補点を複数算出する(ステップS102)。
ワーク情報取得部32は、候補算出部31により算出された各ワークの保持候補点から所定範囲内に存在する他のワークの他ワーク情報を夫々取得する(ステップS103)。
ロボット制御部33は、ワーク情報取得部32からの他ワーク情報に基づいて、複数の保持候補点の中から、1つの保持候補点を選択する。(ステップS104)。
ロボット制御部33は、ロボットアーム2のエンドエフェクタ23が選択された保持候補点でワークを保持するように、ロボットアーム2を制御する(ステップS105)。
以上、本実施形態に係るワーク保持装置1は、各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得し、取得された他のワークの情報に基づいて、複数の保持候補点のうちの1つの保持候補点を選択し、ロボットアーム2が選択した保持候補点でワークを保持するように、ロボットアーム2を制御する。
これにより、各ワークの保持候補点周辺の他のワークを考慮して、他のワークを同時に吸引し保持し難い保持候補点を選択でき、その保持候補点でワークを吸引し保持できる。したがって、ワークを吸引し保持する際に、他のワークを同時に吸引し保持するのを抑制できる。
実施形態2
本実施形態において、ワーク情報は、各保持候補点と所定範囲内の他のワークとの距離情報であってもよい。ワーク情報取得部32は、3次元ビジョンセンサ4により取得された複数のワークの3次元情報に基づいて、各保持候補点と所定範囲内の他のワークとの距離情報を取得する。
ロボット制御部33は、候補算出部31により算出された複数の保持候補点の中から、ワーク情報取得部32により取得された各保持候補点と所定範囲内の他のワークとの距離情報に基づいて、1つの保持候補点を選択する。
これにより、各ワークの保持候補点と、その周辺の他のワークとの距離を考慮して、他のワークを同時に吸引し難い保持候補点を選択でき、その保持候補点でワークを吸引し保持できる。したがって、ワークを吸引し保持する際に、他のワークを同時に吸引し保持するのを抑制できる。
例えば、ロボット制御部33は、候補算出部31により算出された複数の保持候補点の中から、ワーク情報取得部32により取得された各保持候補点と所定範囲内の他のワークとの距離情報に基づいて、保持候補点と所定範囲内の他のワークとの距離の積分値が最も大きい、保持候補点を選択してもよい。これにより、各ワークの保持候補点と、その周辺の他のワークとの距離が最も大きく他のワークを同時に吸引し難い保持候補点を選択できる。
例えば、ロボット制御部33は、保持候補点と所定範囲内の他のワークとの距離に関する上記評価関数Jの評価値が最小となる保持候補点を選択してもよい。
本発明は、例えば、図5に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上述した各実施形態に係る制御装置3を構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの専用のハードウェアにより実現することもできる。
1 ワーク保持装置、2 ロボットアーム、3 制御装置、4 3次元ビジョンセンサ、21 リンク、22 関節部、23 エンドエフェクタ、31 候補算出部、32 ワーク情報取得部、33 ロボット制御部

Claims (12)

  1. 3次元空間に置かれた複数のワークの中から1つずつワークを吸引し保持する保持手段と、
    前記複数のワークの3次元情報を取得する第1情報取得手段と、
    前記第1情報取得手段により取得された複数のワークの3次元情報に基づいて、前記保持手段が各ワークを夫々保持する際の該ワークの保持点の候補である保持候補点を複数算出する候補算出手段と、
    前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する第2情報取得手段と、
    前記第2情報取得手段により取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御する制御手段と、
    を備える、ワーク保持装置。
  2. 請求項1記載のワーク保持装置であって、
    前記ワークの情報は、前記他のワークの有無の情報であり、
    前記制御手段は、前記他のワークの有無の情報に基づいて、前記複数の保持候補点のうち、前記所定範囲内に他のワークが存在しない保持候補点を選択する、
    ワーク保持装置。
  3. 請求項1又は2記載のワーク保持装置であって、
    前記第2情報取得手段は、前記第1情報取得手段により取得された複数のワークの3次元情報に基づいて、前記各ワークの保持候補点から所定範囲内に、高さ方向の座標値が極大となる極大点が、該保持候補点以外にあると判断した場合に、前記所定範囲内に他のワークが有るとする情報を生成する、
    ワーク保持装置。
  4. 請求項2又は3記載のワーク保持装置であって、
    前記第2情報取得手段は、前記所定範囲内のワークの3次元情報を、高さ方向に垂直な水平面で、複数の異なる高さ位置で夫々切断した際に、少なくとも1つの前記高さ位置で不連続状態となる切断面が存在する場合に、前記所定範囲内に他のワークが有るとする情報を生成する、
    ワーク保持装置。
  5. 請求項1乃至4のうちいずれか1項記載のワーク保持装置であって、
    前記制御手段は、前記所定範囲内に他のワークが存在しない複数の保持候補点のうち、前記所定範囲外の他のワークと前記保持候補点との距離に基づいて、1つの保持候補点を選択する、
    ワーク保持装置。
  6. 請求項1記載のワーク保持装置であって、
    前記ワークの情報は、前記各保持候補点と前記所定範囲内の他のワークとの距離情報であり、
    前記制御手段は、前記複数の保持候補点の中から、前記距離情報に基づいて、1つの保持候補点を選択する、
    ワーク保持装置。
  7. 請求項6に記載のワーク保持装置であって、
    前記制御手段は、前記距離情報に基づいて、前記複数の保持候補点の中から、前記保持候補点と所定範囲内の他のワークとの距離の積分値が最も大きい、前記保持候補点を選択する、
    ワーク保持装置。
  8. 請求項1乃至7のうちのいずれか1項に記載のワーク保持装置であって、
    前記候補算出手段は、第1情報取得手段により取得された複数のワークの3次元情報に基づいて、前記ワークの高さ方向の座標値が極大である極大点を前記保持候補点として算出する、
    ワーク保持装置。
  9. 請求項8に記載のワーク保持装置であって、
    前記候補算出手段は、前記極大点となる保持候補点の中から、所定面積以上の極大点を前記保持候補点とする、
    ワーク保持装置。
  10. 3次元空間に置かれた複数のワークの3次元情報を取得するステップと、
    前記取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを吸引し保持する際の該ワークの保持点の候補である保持候補点を複数算出するステップと、
    前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得するステップと、
    前記取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御するステップと、
    を含む、ワーク保持方法。
  11. 3次元空間に置かれた複数のワークの3次元情報を取得する処理と、
    前記取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを吸引し保持する際の該ワークの保持点の候補である保持候補点を複数算出する処理と、
    前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する処理と、
    前記取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御する処理と、
    をコンピュータに実行させる、プログラム。
  12. 3次元空間に置かれた複数のワークの3次元情報を取得する第1情報取得手段と、
    前記第1情報取得手段により取得された複数のワークの3次元情報に基づいて、保持手段が各ワークを夫々保持する際の該ワークの保持点の候補である保持候補点を複数算出する候補算出手段と、
    前記各ワークの保持候補点から所定範囲内に存在する他のワークの情報を夫々取得する第2情報取得手段と、
    前記第2情報取得手段により取得されたワークの情報に基づいて、前記複数の保持候補点のうちの1つの保持候補点を選択し、前記保持手段が該選択した保持候補点でワークを保持するように、該保持手段を制御する制御手段と、
    を備える、制御装置。
JP2021148423A 2021-09-13 2021-09-13 ワーク保持装置、ワーク保持方法、プログラム、及び制御装置 Pending JP2023041200A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021148423A JP2023041200A (ja) 2021-09-13 2021-09-13 ワーク保持装置、ワーク保持方法、プログラム、及び制御装置
EP22190725.6A EP4148374A1 (en) 2021-09-13 2022-08-17 Workpiece holding apparatus, workpiece holding method, program, and control apparatus
US17/893,522 US20230085211A1 (en) 2021-09-13 2022-08-23 Workpiece holding apparatus, workpiece holding method, program, and control apparatus
CN202211094799.6A CN115805588A (zh) 2021-09-13 2022-09-08 工件保持装置、工件保持方法、计算机可读介质及控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021148423A JP2023041200A (ja) 2021-09-13 2021-09-13 ワーク保持装置、ワーク保持方法、プログラム、及び制御装置

Publications (1)

Publication Number Publication Date
JP2023041200A true JP2023041200A (ja) 2023-03-24

Family

ID=82942475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021148423A Pending JP2023041200A (ja) 2021-09-13 2021-09-13 ワーク保持装置、ワーク保持方法、プログラム、及び制御装置

Country Status (4)

Country Link
US (1) US20230085211A1 (ja)
EP (1) EP4148374A1 (ja)
JP (1) JP2023041200A (ja)
CN (1) CN115805588A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400737B2 (ja) * 2019-01-04 2023-12-19 ソニーグループ株式会社 制御装置、制御方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5092711B2 (ja) 2007-11-22 2012-12-05 株式会社Ihi 物体認識装置およびロボット装置
WO2012066819A1 (ja) * 2010-11-17 2012-05-24 三菱電機株式会社 ワーク取り出し装置
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2014176923A (ja) * 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
JP5786896B2 (ja) * 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法
JP2016028836A (ja) 2014-07-25 2016-03-03 日立金属株式会社 バラ積みワークのピックアップ搬送装置
DE112021001419T5 (de) * 2020-03-05 2022-12-22 Fanuc Corporation Aufnahmesystem und Verfahren

Also Published As

Publication number Publication date
CN115805588A (zh) 2023-03-17
US20230085211A1 (en) 2023-03-16
EP4148374A1 (en) 2023-03-15

Similar Documents

Publication Publication Date Title
US10839261B2 (en) Information processing apparatus, information processing method, and storage medium
US10562182B2 (en) Robot, robot system, control device, and control method
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
CN111683798B (zh) 工件拾取装置以及工件拾取方法
US11065767B2 (en) Object manipulation apparatus and object manipulation method for automatic machine that picks up and manipulates an object
JP7154815B2 (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
US9415511B2 (en) Apparatus and method for picking up article randomly piled using robot
US20200238538A1 (en) Robot, control device, and robot system
JP5614553B2 (ja) ロボット装置
JP5602392B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016099257A (ja) 情報処理装置及び情報処理方法
US11816754B2 (en) Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
WO2018182538A1 (en) Systems and methods that improve alignment of a robotic arm to an object
TW201714695A (zh) 即時三維建模之雷射飛行打標系統及其方法
JP2023041200A (ja) ワーク保持装置、ワーク保持方法、プログラム、及び制御装置
JP7264247B2 (ja) 情報処理装置及び情報処理方法
JP2018134698A (ja) ワーク取出システム
JP6237122B2 (ja) ロボット、画像処理方法及びロボットシステム
US20230030852A1 (en) Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
JP7481867B2 (ja) 制御装置及びプログラム
JP2023041201A (ja) ワーク保持装置、ワーク保持方法、プログラム、及び制御装置
JP2023112730A (ja) ワーク保持システム、ワーク保持方法、プログラム、及び制御装置
JP6842753B2 (ja) ワークの把持位置指示システムおよびピッキング装置
JP2024064942A (ja) ティーチング方法、ティーチング方法を実行する媒体に記憶されたプログラム及び搬送システム
JP2023058181A (ja) ワーク保持装置、ワーク保持方法、プログラム、及び制御装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240614

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240614