JPWO2020050405A1 - 作業装置 - Google Patents
作業装置 Download PDFInfo
- Publication number
- JPWO2020050405A1 JPWO2020050405A1 JP2020541320A JP2020541320A JPWO2020050405A1 JP WO2020050405 A1 JPWO2020050405 A1 JP WO2020050405A1 JP 2020541320 A JP2020541320 A JP 2020541320A JP 2020541320 A JP2020541320 A JP 2020541320A JP WO2020050405 A1 JPWO2020050405 A1 JP WO2020050405A1
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- link hub
- pickup
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013459 approach Methods 0.000 claims abstract description 30
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 230000007246 mechanism Effects 0.000 claims description 67
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005452 bending Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
ピックアップ装置(1)は、ワーク(20)を撮影する撮影方向を変えることが可能な撮像装置(9)と、ワーク(20)へのアプローチ方向を変えることが可能なピックアップ部(10)と、撮像装置(9)とピックアップ部(10)とを制御する制御装置(100)とを備える。制御装置(100)は、撮像装置(9)によって撮影された画像に対して、機械学習により生成された予測モデルを適用してワーク(20)を取り上げる容易さを示す予測値を得る。制御装置(100)は、得られた予測値が判定値を超える場合の撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワーク(20)を取り上げるようにピックアップ部(10)を制御する。このような構成とすることによって、ワークに対する作業の成功率が向上した作業装置を提供する。
Description
この発明は、ワークを取り上げる作業装置に関する。
自動化された機械加工または組立作業のワークピース(以下、ワークと称する)は、ロボットまたは組立装置等によって自動的にピックアップされ、加工装置または組立物の筐体などにセットされることが多い。このようなピックアップ時には、ワークの形状および姿勢を認識してピックアップアームを制御する必要がある。
従来、ワークの姿勢検出および形状認識には画像処理が用いられている。ワークのピックアップ時には、ワークがカメラで撮影され、ワークの姿勢がパターンマッチング等で検出される。そして、検出結果に基づいてピックアップアームが制御されて把持可能な姿勢にハンドが位置決めされる。
このような例として、特開2015−213973(特許文献1)には、把持動作前にワークの位置と姿勢を検出し、ハンドおよびハンドの位置決め機構とワークが格納されている容器が干渉するか否かを判定する方法が提案されている。
特開2015−213973(特許文献1)に記載された装置では、ワークのアプローチ方向の判断に3次元撮像装置を用いている。しかし、ワークを容器内に乱雑に積んである場合、ワークの上方に固定した撮像装置で画像を撮影すると、近傍のワークによって遮られ、姿勢検出に必要な映像が欠落してしまうため、ワークを取り上げる成功率が低下するという問題がある。
また、ワーク上方に固定した撮像装置で画像を撮影する場合、把持装置と干渉しないように撮影装置を配置する必要があるので、撮影距離が長距離となり距離検出の分解能が低いという問題もある。
本発明は、上記の課題を解決するためになされたものであって、その目的は、ワークに対する作業の成功率が向上した作業装置を提供することである。
本開示は、ワークに対して作業を行なう作業装置に関する。作業装置は、ワークを撮影する撮影方向を変えることが可能に構成された撮像装置と、ワークへのアプローチ方向を変えることが可能であり、ワークに対して作業を行なう作業部と、撮像装置と作業部とを制御する制御装置とを備える。制御装置は、撮像装置によって撮影された画像に対して機械学習により生成された予測モデルを適用することによってワークに対する作業の容易さを示す予測値を取得し、取得された予測値が判定値を超える場合の撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワークに対して作業を行なうように前記作業部を制御する。
本発明によれば、撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークに対する作業の容易さを判定し、撮影方向と同じ方向からアプローチして作業を行なうので、作業装置におけるワークに対する作業の成功率が向上する。
以下、本発明の実施の形態について図面を参照しつつ説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付し、その説明は繰返さない。
(作業装置の構成)
図1は、本実施の形態に係る作業装置の構成を示す図である。図1を参照して、作業装置の一例であるワーク20を載置場所から取り上げるピックアップ装置1について説明する。ピックアップ装置1は、ワーク設置台14上または容器13の内部等に任意の姿勢で置かれたワーク20をピックアップすることが可能である。ピックアップ装置1は、ワーク20を撮影する撮影方向を変えることが可能な撮像装置9と、ワーク20へのアプローチ方向を変えることが可能なピックアップ部10と、撮像装置9とピックアップ部10とを制御する制御装置100とを備える。
図1は、本実施の形態に係る作業装置の構成を示す図である。図1を参照して、作業装置の一例であるワーク20を載置場所から取り上げるピックアップ装置1について説明する。ピックアップ装置1は、ワーク設置台14上または容器13の内部等に任意の姿勢で置かれたワーク20をピックアップすることが可能である。ピックアップ装置1は、ワーク20を撮影する撮影方向を変えることが可能な撮像装置9と、ワーク20へのアプローチ方向を変えることが可能なピックアップ部10と、撮像装置9とピックアップ部10とを制御する制御装置100とを備える。
撮像装置9は、少なくとも1つ以上のワーク20を撮影する。ピックアップ部10は、ワーク20にアプローチ方向から近づき、ワーク20をピックアップする。ピックアップ対象のワーク20は、ワーク設置台14上のワーク容器13内に乱雑に積みあげられる場合が多い。
制御装置100は、ワーク20を撮影した画像から、少なくとも1つ以上の目標とするピックアップ位置を検出するために訓練された、機械学習結果を保持する。
制御装置100は、撮像装置9によって撮影された画像に対して、機械学習により生成された予測モデルを適用してワーク20を取り上げる容易さを示す予測値を得る。制御装置100は、得られた予測値が判定値を超える場合に、その予測値に対応する画像を撮影した撮影方向をワーク20へのアプローチ方向としてワーク20を取り上げるようにピックアップ部10を制御する。
ピックアップ装置1は、位置決め機構47と角度調整装置8とをさらに備える。位置決め機構47は、回転機構7と直動ユニット4によって構成される。角度調整装置8には、撮像装置9とピックアップ部10が取り付けられる。位置決め機構47は、ワーク20に対する角度調整装置8の相対位置を調整することが可能に構成される。回転機構7の空間上の位置は、直交3軸の直動ユニット4によって変更可能である。
直動ユニット4は、互いに直交するX軸、Y軸、Z軸にそれぞれ対応する第1電動アクチュエータ4X,第2電動アクチュエータ4Y,第3電動アクチュエータ4Zを含む。回転機構7は、第3電動アクチュエータ4Zの出力部6に取り付けられている。
角度調整装置8は、回転機構7に取り付けられている。角度調整装置8は、回転機構7によって回転が可能である。また、角度調整装置8の先端側のリンクハブには、撮像装置9とピックアップ部10とが取り付けられている。角度調整装置8は、撮像装置9の光軸方向およびピックアップ部10のアプローチ方向を任意に調整可能に構成される。
図2は、角度調整装置8の構成を示す図である。図2に示した角度調整装置8は、パラレルリンク機構30とアクチュエータ31とを含む。図3は、パラレルリンク機構30の構成を示す斜視図である。なお、図2には、図3に示された3組のリンク機構34のうち代表として1組が抽出して示されている。
図1、図2に示すように、ピックアップ装置1は、さらに、第1リンクハブ32と撮像装置9とピックアップ部10とが取り付けられた第2リンクハブ33とを備える。位置決め機構47は、第1リンクハブ32の位置を変更可能に構成される。角度調整装置8は、第1リンクハブ32と第2リンクハブ33とを連結する。
角度調整装置8は、撮像装置9およびピックアップ部10を姿勢変更可能に支持するパラレルリンク機構30と、このパラレルリンク機構30を作動させる姿勢制御用のアクチュエータ31とで構成される。アクチュエータ31は、図2の角度αを変更することができる。
図2、図3を参照して、パラレルリンク機構30は、基端側の第1リンクハブ32に対し先端側の第2リンクハブ33を3組のリンク機構34によって姿勢変更可能に連結したものである。先端側の第2リンクハブ33には、図1に示された撮像装置9およびピックアップ部10が取り付けられている。なお、ここでは3組のリンク機構34を有するパラレルリンク機構30について示したが、リンク機構34の数は、4組以上であっても良い。
各リンク機構34は、基端側の端部リンク部材35、先端側の端部リンク部材36、および中央リンク部材37で構成される。リンク機構34は、4つの回転対偶からなる4節連鎖のリンク機構である。基端側および先端側の端部リンク部材35,36はL字状の形状を有する。
基端側の端部リンク部材35の一端は、基端側の第1リンクハブ32に回転自在に連結されている。先端側の端部リンク部材36の一端は、先端側の第2リンクハブ33に回転自在に連結されている。中央リンク部材37は、両端に端部リンク部材35,36の各他端がそれぞれ回転自在に連結されている。
パラレルリンク機構30は、2つの球面リンク機構を組み合わせた構造を有する。端部リンク部材35,36と中央リンク部材37との各回転対偶の中心軸は、ある交差角γ(図2)を持っていてもよいし、平行であってもよい。
図4は、一組のリンク機構34を直線で表現した図である。3組のリンク機構34は、幾何学的に同一形状のモデルで示すことができる。
基端側の第1リンクハブ32と先端側の第2リンクハブ33と3組のリンク機構34とは、2自由度機構を構成する。この2自由度機構では、基端側の第1リンクハブ32に対し先端側の第2リンクハブ33が直交する2軸の周りに回転自在な2自由度を有する。これらの直交する2軸は、図4に示す旋回角φの回転軸(中心軸QA)と折れ角θの回転軸(点Oを通り、中心軸QAおよび中心軸QBに直交する軸)である。旋回角φは、第1リンクハブ32の中心軸QAに垂直な平面において、中心軸QAの交点を通る基準直線と第2リンクハブ33の中心軸QBを投映した直線とが成す角度である。折れ角θは、第1リンクハブ32の中心軸QAと第2リンクハブ33の中心軸QBとが成す角度である。この2自由度機構は、コンパクトでありながら、基端側の第1リンクハブ32に対する先端側の第2リンクハブ33の可動範囲を広くとれる。
折れ角θの調整はリンク機構34の動作のみで可能であり、多関節ロボットのようには複数の関節の動作を伴わない。このため、パラレルリンク機構30は、多関節ロボットと比べて素早い動作が可能である。したがって、図3のパラレルリンク機構30を機械学習に必要な画像データの収集に用いれば、多関節ロボットと比較して、大量の画像データを短時間で収集することができる。
図2に示す角度調整装置8の姿勢制御用のアクチュエータ31は、減速機構を備えたロータリアクチュエータである。アクチュエータ31は、第1リンクハブ32の基端部材40の面に、回転軸42と同軸上に設置されている。アクチュエータ31と減速機構は一体に設けられ、減速機構が基端部材40に固定されている。3組のリンク機構34に図3の角α1〜α3を変更するための3つの姿勢制御用アクチュエータ31を設けても良いが必ずしもアクチュエータ31を3つ設けなくても良い。3組のリンク機構34のうち少なくとも2組に姿勢制御用のアクチュエータ31を設ければ、基端側の第1リンクハブ32に対する先端側の第2リンクハブ33の姿勢を確定することができる。
図5は、第2リンクハブ33に取り付けられた撮像装置9およびピックアップ部10の状態を示す図である。図6は、図3に示したパラレルリンク機構30に撮像装置9およびピックアップ部10を搭載した状態を示す図である。
図5、図6を参照して、撮像装置9は、その撮影方向を示す光軸がパラレルリンク機構30の第2リンクハブ33の中心軸QBに一致するよう配置される。撮像装置9の両脇には、吸着パッド10A,10Bが配置される。吸着パッド10A,10Bは、ワーク20を取り上げるピックアップ部10を構成する。ピックアップ部10も撮像装置9と同様にパラレルリンク機構30の先端側の第2リンクハブ33に取り付けられる。
本実施の形態では、真空吸着方式のピックアップ部10が用いられる。このピックアップ部10は2つの吸着パッド10A,10Bを有する。吸着パッド10A,10Bは、図5、図6に示すように、撮像装置9に隣接させ、かつ、2つが互いに撮像装置9の撮影方向を示す光軸に対して点対称となるように配置される。なお、ピックアップ部10の取り付け位置は、吸着パッド10A,10Bが撮像装置9の観察視野に入らないような位置とする。さらに、ワーク20をピックアップすることを決定したときにワーク20までの距離を検出する距離センサー11が、第2リンクハブ33上において撮像装置9およびピックアップ部10の脇に配置される。
本実施の形態では、2つの吸着パッド10A,10Bを撮像装置9の両側に隣接するように配置したが、ピックアップするワーク20の形状に応じて適切な位置に配置すれば良い。
また、本実施の形態では、2つの吸着パッドを用いたが、ワーク20の重量および形状に応じて3個以上の吸着パッドを用いても良い。ただし、1個で十分な場合は吸着パッドを複数搭載する必要はない。
図7は、図1の制御装置100の機能ブロック図である。図7を参照して、制御装置100は、撮像装置9から画像を取得する画像取得部111と、取得した画像と教師データおよび機械学習結果を保存する記憶部115と、取得した画像を処理する検出部112とを含む。検出部112は、記憶部115から読み込んだ機械学習結果によって取得した画像を処理して目標とするピックアップ位置とピックアップ動作の容易さを示す予測値Sとを出力する。
制御装置100は、さらに、記憶部115に保存された画像と、画像毎に予め指示した目標位置であるピックアップ位置およびピックアップ動作の容易さを示す正解値SGを教師データとして機械学習を行なう学習部113と、直動ユニット4、回転機構7、角度調整装置8、およびピックアップ部10を制御する制御部114とを含む。
制御装置100は、画像取得部111で撮像装置9から画像を取得し、取得した画像を検出部112で処理し、検出部112の処理結果に基づいて制御部114を介して直動ユニット4および回転機構7、角度調整装置8、ピックアップ部10の動作を制御する制御信号を出力する。
ここで、予測値Sと正解値SGについて説明する。本実施の形態では、学習結果を読み込んだ検出部112が、入力されたワークの画像に対して出力するピックアップ動作の容易さを示す数値を予測値Sと呼ぶ。また、学習時に教師データとして与える予測値Sの正解を正解値SGと呼ぶ。予測値Sおよび正解値SGは、いずれも、たとえば0〜100の範囲の値をとり、ピックアップ動作が容易であるほど大きな値をとる。
(ワークの検出)
検出部112は、たとえばニューラルネットワークを応用してピックアップ位置の検出を行なう。検出部112は、記憶部115に保存された学習結果を用いてニューラルネットワークの数値計算を行なう。ニューラルネットワークには撮像装置9からの画像を入力する。
検出部112は、たとえばニューラルネットワークを応用してピックアップ位置の検出を行なう。検出部112は、記憶部115に保存された学習結果を用いてニューラルネットワークの数値計算を行なう。ニューラルネットワークには撮像装置9からの画像を入力する。
ニューラルネットワークの出力層からは、ピックアップ位置の中心座標(x,y)、縦横サイズ(w,h)とともに、検出したピックアップ位置のピックアップ動作の容易さを示す予測値Sが出力される。
上記の説明では、ニューラルネットワークを使用する例を示したが、サポートベクタマシン等の一般的な教師あり学習法、オートエンコーダ(自己符号化器)、k平均法、主成分分析などの教師なし学習法、およびそれらを複合した機械学習法のいずれかを使用してもよい。
(学習データの収集)
ここでは、学習に用いる画像データの収集方法について説明する。図8は、学習に用いる画像データの収集の様子を説明するための図である。本実施の形態では、直方体状のワークの例を示す。
ここでは、学習に用いる画像データの収集方法について説明する。図8は、学習に用いる画像データの収集の様子を説明するための図である。本実施の形態では、直方体状のワークの例を示す。
図8に示すように、ワーク20の法線方向が重ならないように容器13の底部にワーク20が配置される。制御装置100は、直動ユニット4と回転機構7と角度調整装置8とを制御し、撮像装置9をワーク20の周囲のさまざまな位置9(A),9(B),9(C)に移動して画像を撮影し、撮影した画像を記憶部115に保存する。また、保存する画像に関連付けて、角度調整装置8の旋回角φと折れ角θも保存する。
ここで、折れ角θ、旋回角φの定義を再び図3、図4を参照して説明する。図4において、折れ角θは、第1リンクハブ32の中心軸QAと第2リンクハブ33の中心軸QBとが成す角である。また、旋回角φは、第1リンクハブ32の中心軸QAに垂直な平面において、中心軸QAの交点を通る基準直線と第2リンクハブ33の中心軸QBを投映した直線とが成す角である。
角度調整装置8は、第1リンクハブ32の第1面の法線である中心軸QAと第2リンクハブ33の第2面の法線である中心軸QBとが成す角度である図4の折れ角θを変更可能に構成される。
図9は、学習時における撮影後の処理を説明するための図である。撮影後の処理として、作業者が、制御装置100内に保存した各画像毎にアノテーション作業を行なう。図9には、直方体状のワーク20を折れ角θがゼロの方向から撮影したときの画像をモニタ110上に表示した様子が示される。この作業では、たとえば、図7の制御装置100に接続されたモニタ110上に撮影した画像を表示させた状態で、作業者がマウスまたはキーボードなどの入力装置109を用いてピックアップ位置PPを示す矩形を設定する。ここで設定した矩形の中心座標を(x,y)、縦横サイズを(w,h)すると、これらのデータがピックアップ位置PPを示すものとして記憶部115に記憶される。
図10は、ピックアップ動作の容易さを示す正解値SGが最大となる状態の一例を示した図である。図10に示すように、撮像装置9の撮影方向を示す光軸とワーク20表面の法線とが一致する方向から撮影した画像は、ピックアップが容易であることを示す画像であると定義される。そして、この画像のピックアップ位置PPに対して、ピックアップ動作の容易さを示す正解値SGとして最大値100を設定する。
ここで、ワーク20表面の法線の方向は、予めわかっていることとする。たとえば、図9の直方体状のワークを水平な台上に置く。このような場合、最大値となる折れ角θは0°である。
正解値SGは、折れ角θの関数として以下のように定義される。作業者は、マウスまたはキーボードなどの入力装置109を用いてピックアップ位置PPを示す矩形を設定する。ピックアップ動作の容易さを示す正解値SGは、折れ角θを用いて下記式(1)で算出される。
SG=100×cosθ …(1)
正解値SGは、θ=0で最大値100をとり、θが大きくなるにつれ小さくなる。θは、0〜π/2の範囲の値とする。SGは、θ=π/2で最小値0をとる。
SG=100×cosθ …(1)
正解値SGは、θ=0で最大値100をとり、θが大きくなるにつれ小さくなる。θは、0〜π/2の範囲の値とする。SGは、θ=π/2で最小値0をとる。
以上の作業で設定した矩形の中心座標(x,y)と縦横サイズ(w,h)およびピックアップ動作の容易さを示す正解値SGが記憶部115に保存される。
なお、「正解値」はワーク20の形状に応じて決めればよい。上記の説明は直方体形状のワークに関して一例を述べたものである。
(学習処理)
学習部113は、以上の作業で収集した画像データと中心座標(x,y)と縦横サイズ(w,h)とピックアップ動作の容易さを示す正解値SGとを用いて、誤差逆伝播法で学習を行ない、結果を記憶部115に保存する。検出部112は、この学習結果を用いてニューラルネットワークの数値計算を行なう。
学習部113は、以上の作業で収集した画像データと中心座標(x,y)と縦横サイズ(w,h)とピックアップ動作の容易さを示す正解値SGとを用いて、誤差逆伝播法で学習を行ない、結果を記憶部115に保存する。検出部112は、この学習結果を用いてニューラルネットワークの数値計算を行なう。
なお、誤差逆伝播法以外にも、サポートベクタマシン等の一般的な教師あり学習法を用いても良く、オートエンコーダ(自己符号化器)、k平均法、主成分分析などの教師なし学習法を用いても良い。また、以上の学習法のいずれかそれらを複合した機械学習法のいずれかを用いてもよい。
本実施の形態では、撮像装置9の光軸とワーク20の法線が一致するとき、ピックアップ動作の容易さを示す「予測値」が最大になるような学習結果を用いる。
(ピックアップ装置の一連の動作)
ここでは、学習後のニューラルネットワークを用いて、目標とするピックアップ位置の検出からピックアップ動作までの一連の動作が実行される例を示す。図11は、ピックアップ装置の一連の動作を説明するためのフローチャートである。図12は、フローチャートの処理を実行する制御装置100の代表的な構成図である。図12において、メモリ102は、図7の記憶部115に相当する。またプロセッサ101は、メモリ102に記憶されたプログラムが実行されることによって、図7の画像取得部111、検出部112、学習部113および制御部114として機能する。
ここでは、学習後のニューラルネットワークを用いて、目標とするピックアップ位置の検出からピックアップ動作までの一連の動作が実行される例を示す。図11は、ピックアップ装置の一連の動作を説明するためのフローチャートである。図12は、フローチャートの処理を実行する制御装置100の代表的な構成図である。図12において、メモリ102は、図7の記憶部115に相当する。またプロセッサ101は、メモリ102に記憶されたプログラムが実行されることによって、図7の画像取得部111、検出部112、学習部113および制御部114として機能する。
図7、図11を参照して、制御装置100は、直動ユニット4、回転機構7、および角度調整装置8を制御し、撮像装置9をワーク20の近傍に移動する(S1)。続いて、制御装置100は、角度調整装置8を制御し、撮像装置9の光軸方向を変更しながら(S2)、さまざまな撮影方向から画像を撮影する(S3)。
制御装置100は、撮像装置9から画像を取得してニューラルネットワークに入力し、中心座標(x,y)と縦横サイズ(w,h)の検出およびピックアップ動作の容易さを示す予測値Sの算出を行なう(S4)。ワークが見つからず予測値が算出できない場合(S5でNO)、制御装置100は、このフローチャートの処理を終了させる。ワークが見つかり予測値Sが算出された場合(S5でYES)、制御装置100は、出力層から得られるピックアップ動作の容易さを示す予測値Sが判定値T以上であるか否かをチェックする(S6)。
撮影した画像の予測値Sが判定値Tより小さいとき(S6でNO)、ステップS2〜ステップS6の処理が繰返される。一方、判定値T以上の画像が撮影されたとき(S6でYES)、角度調整装置8の移動を停止し、距離センサー11等でピックアップ位置までの相対距離Dを計測する(S7)。このとき、ピックアップ前の画像を撮像装置9で撮影する(S8)。
次に、制御装置100は、相対距離Dに基づいて直動ユニット4の移動距離を算出し、撮像装置9の光軸に平行に距離Dだけエンドエフェクタであるピックアップ部10を移動する(S9)。そして制御装置100は、ピックアップ部10を用いてワーク20をピックアップする(S10)。ピックアップ後、制御装置100は、進入した方向と平行に反対方向に距離Dだけピックアップ部10を退避する(S11)。このとき、制御装置100は、ピックアップ後の画像を撮像装置9によって撮影する(S12)。
次に、制御装置100は、ワーク20がピックアップできているか否かを判定する。たとえば、制御装置100は、ピックアップ前後において撮像装置9で撮影された画像の差分を求めて輝度の不一致部分を検出する。制御装置100は、輝度の不一致が検出された場合はピックアップ成功と判定し、変化が検出されなかったときはピックアップ失敗と判定することができる(S13)。この判定処理は、特にこの方法には限定されない。ピックアップの成否を判定できれば、近接センサー等の他のセンサーで判定してもよい。
その後制御装置100は、上記の判定結果と、検出した矩形の中心座標(x,y)および縦横サイズ(w,h)とを、ピックアップ前の画像とともに制御装置100の記憶部115に保存する(S14)。
制御装置100は、ピックアップが成功した場合には(S15でYES)、このフローチャートの処理を終了させ(S16)、ピックアップ処理が成功していない場合には(S15でNO)、再びステップS2以降の処理を繰返す。
(追加の学習)
必要に応じて、上記のピックアップ動作結果を用いて追加学習を行なってもよい。制御装置100は、実際のピックアップ動作で撮影された対象物の画像と、その画像において検出されたピックアップ位置と、ピックアップ動作結果に応じて決定されたピックアップ動作の容易さを示す正解値SGとを教師データに追加して機械学習を行なう。そして制御装置100は、追加学習によって更新された機械学習結果に基づいて以降のワークのピックアップ動作を行なわせる。
必要に応じて、上記のピックアップ動作結果を用いて追加学習を行なってもよい。制御装置100は、実際のピックアップ動作で撮影された対象物の画像と、その画像において検出されたピックアップ位置と、ピックアップ動作結果に応じて決定されたピックアップ動作の容易さを示す正解値SGとを教師データに追加して機械学習を行なう。そして制御装置100は、追加学習によって更新された機械学習結果に基づいて以降のワークのピックアップ動作を行なわせる。
この場合、ピックアップに成功したときは、ピックアップ動作の容易さを示す正解値SGを100とし、失敗したときは正解値SGに係数α(ただし、α<1)を乗じた新たな値を正解値SGとする。制御装置100は、このようにして更新された正解値SGおよび矩形の中心座標(x,y)、縦横サイズ(w,h)を教師データに追加して学習を行ない、学習結果を更新して記憶115部に保存する。
係数αは、たとえば、ステップS12で失敗が検出された場合は0.3に設定し、アプローチ動作中に撮影を行ない、ピックアップ部10とワーク20とが接触してワーク姿勢が変化したことを検出したときは0.5に設定してもよい。なお、係数αは、特にこれらの値に限定される必要はなく、ピックアップ動作の失敗要因に応じて設定されればよい。
また、前述のアノテーション作業と同様の作業によって、検出された矩形位置を微調整してもよい。さらに、この微調整された矩形位置を教師データとして学習を行ない、記憶部115に保存された学習結果を更新してもよい。
(ピックアップ部の変形例)
以上の説明では、ピックアップ部10が吸着パッドを備える場合の例を示していたが、吸着によりピックアップするもの以外でも、ハンドで把持するものであっても同様な構成とすることができる。
以上の説明では、ピックアップ部10が吸着パッドを備える場合の例を示していたが、吸着によりピックアップするもの以外でも、ハンドで把持するものであっても同様な構成とすることができる。
図13は、変形例のピックアップ部(オープン時)の構成を示す正面図である。図14は、変形例のピックアップ部(クローズ時)の構成を示す正面図である。図15は、変形例のピックアップ部の構成を示す側面図である。
図13〜図15に示す変形例のピックアップ部200は、第2リンクハブ33に撮像装置9とともに取り付けられている。ピックアップ部200は、取り付け板201と把持部202,203とを含む。把持部202と把持部203とは、ワークへのアプローチ時に図13に示すようにオープン状態となり、ワークをピックアップする時に図14に示すようにクローズ状態となる。クローズ状態では、ピックアップ成功時には把持部202と把持部203との間にワーク20が把持される。図15に示すように、把持部202,203の先端は、撮像装置9の光軸上に位置する。
このように、把持部202,203によってワークを把持することによって、ピックアップ動作を行なってもよい。
(まとめ)
再び図1を参照して、本実施の形態について総括する。ピックアップ装置1は、ワーク20を撮影する撮影方向を変えることが可能に構成された撮像装置9と、ワーク20へのアプローチ方向を変えることが可能であり、前記ワークを取り上げることが可能に構成されたピックアップ部10と、撮像装置9とピックアップ部10とを制御する制御装置100とを備える。ピックアップ装置1は作業装置の具体例に相当し、ワーク20のピックアップは作業の一例であり、ピックアップ部10は作業部の具体例に相当する。
再び図1を参照して、本実施の形態について総括する。ピックアップ装置1は、ワーク20を撮影する撮影方向を変えることが可能に構成された撮像装置9と、ワーク20へのアプローチ方向を変えることが可能であり、前記ワークを取り上げることが可能に構成されたピックアップ部10と、撮像装置9とピックアップ部10とを制御する制御装置100とを備える。ピックアップ装置1は作業装置の具体例に相当し、ワーク20のピックアップは作業の一例であり、ピックアップ部10は作業部の具体例に相当する。
制御装置100は、撮像装置9によって撮影された画像に対して、機械学習により生成されたニューラルネットワークなどを用いた予測モデルを適用することによってワーク20を取り上げる容易さを示す予測値Tを取得する。制御装置100は、取得された予測値Tが判定値を超える場合に、その画像を撮影した撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワーク20を取り上げるようにピックアップ部10を制御する。
このように、ピックアップ装置1は、撮影方向およびアプローチ方向を変更可能に構成されているため、撮影方向を変更しながらピックアップに適したアプローチ方向を探索することができ、ピックアップの成功率を向上させることができる。
図1、図2に示すように、ピックアップ装置1は、撮像装置9およびピックアップ部10の位置決めを行なう位置決め機構47と、第1リンクハブ32と、第2リンクハブ33と、第1リンクハブ32と第2リンクハブ33とを連結する角度調整装置8とをさらに備える。第1リンクハブ32は、第1面を有し、第1面が位置決め機構に取り付けられる。第2リンクハブ33は、第2面を有し、撮像装置9とピックアップ部10とが第2面に取り付けられる。
このような位置決め機構を採用することによって、多関節のロボットアームなどと比べてピックアップ動作に要する時間を短縮することが可能となる。
制御装置100は、(a)ピックアップ部10によってワーク20を取り上げる前に、位置決め機構47である直動ユニット4および回転機構7と角度調整装置8を制御しつつ撮像装置9によって複数の撮影方向からそれぞれ複数の画像を撮影し、複数の画像の各々に対応する予測値Sを算出し、(b)複数の画像のうち予測値Sが判定値Tを超える画像を選択し、選択した画像に対応する撮影方向をワーク20へのアプローチ方向として決定し、決定されたアプローチ方向からピックアップ部10によってワーク20を取り上げる。
このようにすれば、一つのアプローチ方向からのピックアップ成功可能性が低い場合には、他のアプローチ方向からアプローチして、ワークをピックアップする場合のピックアップ成功率をより高めることができる。
さらに好ましくは、ニューラルネットワークなどを用いた予測モデルは、ワーク20を撮影した画像から少なくとも1つの目標とする取り上げ位置を検出するために訓練された機械学習結果を含む。機械学習結果は、角度調整装置8で撮像装置9の光軸方向を変えながらさまざまな方向からワーク20を撮影した画像と、複数の画像に基づいて算出されたピックアップ動作の容易さを示す正解値SGと、撮影した画像毎に予め指示した目標とするピックアップ位置PPとを教師データとする学習結果である。制御装置100は、角度調整装置8で撮像装置9の撮影方向を変更しながら撮影した複数の画像のうちから、機械学習結果に基づいて出力した予測値Sが最大になるピックアップ位置を検出したときの撮影方向をアプローチ方向としてワーク20の取り上げ動作を行なう。
このようにすれば、複数のアプローチ方向のうちピックアップ成功可能性が一番高いアプローチ方向からアプローチしてワークをピックアップすることができるため、ピックアップの成功率を高めることができる。
図5、図6に示すように、ピックアップ部10は、撮像装置9とともに第2リンクハブ33に取り付けられた、吸着パッド10A,10Bを備える。
また好ましくは、図13〜図15に示すように、変形例のピックアップ部200は、撮像装置9とともに第2リンクハブ33に取り付けられた把持部202,203を備える。
より好ましくは、図2、図3、図8に示すように、角度調整装置8は、第1リンクハブ32と第2リンクハブ33とを連結する3組以上のリンク機構34とを含む。図4で説明したように、第1リンクハブ32、第2リンクハブ33および角度調整装置8によって、第1リンクハブ32に対し第2リンクハブ33が直交2軸周りに回転自在な2自由度機構を構成する。
たとえば、多関節ロボットに撮像装置を搭載する場合は、撮影方向を変えた画像を収集するために複数の関節を動作させたり、関節の動作角度を大きくとらなければならかったりする場合があり、撮影方向を変えた画像を収集するのに時間を要する。上記の構成の角度調整装置8を採用することによって、撮影方向を変えた画像を収集する時間を短縮することができる。
本実施の形態に係るピックアップ装置1によれば、以下の効果が得られる。
撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークの取り上げの容易さを判定し、撮影方向と同じ方向からアプローチしてピックアップを行なうので、ピックアップ装置におけるワークの取り上げの成功率が向上する。
撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークの取り上げの容易さを判定し、撮影方向と同じ方向からアプローチしてピックアップを行なうので、ピックアップ装置におけるワークの取り上げの成功率が向上する。
また、初期学習の学習データのアノテーション作業を作業者が行なうので、目標とするピックアップ位置の初期設定および学習結果の確認が可能である。このため、必要に応じて目標とするピックアップ位置を微調整することが可能であるので、ピックアップ動作の成功率をより向上させることができる。
さらに、本実施の形態に係るピックアップ装置1では、角度調整装置8の先端側の第2リンクハブ33に撮像装置9を取り付けることにより撮像装置9をワークの近傍に位置決めできる。ワーク上方に固定した撮像装置で画像を撮影する方法も考えられるが、ピックアップ部と干渉しないように撮像装置を配置する必要があるので長距離のワークディスタンスを確保しなければならず距離検出分解能は低い。本実施の形態に係るピックアップ装置1は、このような方法と比べて高い検出分解能を実現することができる。
さらに、本実施の形態に係るピックアップ装置1は、追加学習により動作の改善が可能であるため、作業のタクトタイムをさらに短縮できる。
(作業装置の他の例)
以上の説明では、ワークに対する作業の例として、ワークのピックアップを例示した。本実施の形態の作業装置は、ワークのピックアップ以外にも適用できる。
以上の説明では、ワークに対する作業の例として、ワークのピックアップを例示した。本実施の形態の作業装置は、ワークのピックアップ以外にも適用できる。
図16は、作業装置をワーク側面に印字された文字の品質検査に適用する例を説明するための図である。図17は、ワークの印字面に撮像装置を正対させた場合に得られる画像の例である。図16に示す例では、検査用の画像を撮影する作業部は、撮像装置9と兼用されるが、撮像装置9とともに第2リンクハブ33に取り付けられた検査用カメラを作業部として備えていても良い。この場合、制御装置100における学習は、ワーク20の文字印字面の法線と撮像装置9の光軸が一致したとき、予測値Sが最大となるように行なわれる。
制御装置100は、図11のフローチャートにしたがって撮像装置9の光軸方向を探索する。図16では、撮像装置9が位置P1にあるときには、ベルトコンベア300で搬送されるワーク20の印字面F1ではなく、面F2に対して撮像装置9のレンズ9Lが正対している。制御装置100は、光軸方向の探索を第1の撮像方向D1から始める。
図11のフローチャートにしたがって撮像方向を探索し、第2の撮像方向D2から印字面F1を撮影したとき、予測値Sは最大になる。
制御装置100は、公知のパターマッチング法や2値画像処理を用いて文字の回転角度を検出し、検出した回転角度に基づいて回転機構7を回転させ、図17に示すような画像が得られる角度に撮像装置9の光軸の角度を調整する。作業装置は、この後、画像を撮影、処理して文字の欠けやかすれなどを検査する。
作業の他の例として印字処理が挙げられる。図18は、作業装置をワークの側面に文字を印字する作業に適用する例を説明するための図である。図18に示す例では、作業部は、撮像装置9とともに第2リンクハブ33に取り付けられた、レーザマーカ210を備える。
この場合、制御装置100における学習は、印字面F1の法線とカメラの光軸が一致したとき、予測値Sが最大となるように行なわれる。印字処理の場合でも基本的な制御は共通である。まず、制御装置100は、図11のフローチャートにしたがって撮像装置9の光軸方向を探索する。図16では、ベルトコンベアで搬送されるワークの印字面の探索を第1の撮像方向D1から開始する。
制御装置100は、図11のフローチャートにしたがって撮像装置9の光軸方向を探索し、第2の撮像方向D2から印字面を撮影したとき、予測値Sは最大になる。
制御装置100は、公知のパターマッチング法や2値画像処理を用いて文字の回転角度を検出し、検出した回転角度に基づいて回転機構7を回転させ、図17に示すような画像が得られる角度に撮像装置9の光軸の角度を調整する。この後、作業装置は、レーザマーカ210でレーザを照射し、ワーク20の印字面F1に文字を印字する。
以上説明したように、ピックアップ以外の作業にも本実施の形態の作業装置を適用することができる。
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 ピックアップ装置、4 直動ユニット、4X 第1電動アクチュエータ、4Y 第2電動アクチュエータ、4Z 第3電動アクチュエータ、6 出力部、7 回転機構、8 角度調整装置、9 撮像装置、10,200 ピックアップ部、10A,10B 吸着パッド、11 距離センサー、14 ワーク設置台、20 ワーク、30 パラレルリンク機構、31 アクチュエータ、32 第1リンクハブ、33 第2リンクハブ、34 リンク機構、35,36 端部リンク部材、37 中央リンク部材、40 基端部材、42 回転軸、47 位置決め機構、100 制御装置、101 プロセッサ、102 メモリ、109 入力装置、110 モニタ、111 画像取得部、112 検出部、113 学習部、114 制御部、115 記憶部、201 取り付け板、202,203 把持部、210 レーザーマーカ。
Claims (8)
- ワークに対して作業を行なう作業装置であって、
前記ワークを撮影する撮影方向を変えることが可能に構成された撮像装置と、
前記ワークへのアプローチ方向を変えることが可能であり、前記ワークに対して作業を行なう作業部と、
前記撮像装置と前記作業部とを制御する制御装置とを備え、
前記制御装置は、前記撮像装置によって撮影された画像に対して機械学習により生成された予測モデルを適用することによって前記ワークに対する作業の容易さを示す予測値を取得し、取得された前記予測値が判定値を超える場合の撮影方向を前記ワークへの前記アプローチ方向として決定し、決定された前記アプローチ方向から前記ワークに対して作業を行なうように前記作業部を制御する、作業装置。 - 前記撮像装置および前記作業部の位置決めを行なう位置決め機構と、
第1面を有し、前記第1面が前記位置決め機構に取り付けられた第1リンクハブと、
第2面を有し、前記撮像装置と前記作業部とが前記第2面に取り付けられた第2リンクハブと、
前記第1リンクハブと前記第2リンクハブとを連結する角度調整装置とをさらに備え、
前記角度調整装置は、前記第1リンクハブの前記第1面の法線と前記第2リンクハブの前記第2面の法線とが成す角度を変更可能に構成される、請求項1に記載の作業装置。 - 前記制御装置は、
(a)前記作業部によって前記ワークに対して作業を行なう前に、前記位置決め機構と前記角度調整装置とを制御しつつ前記撮像装置によって複数の撮影方向からそれぞれ複数の画像を撮影し、前記複数の画像の各々に対応する前記予測値を算出し、
(b)前記複数の画像のうち前記予測値が前記判定値を超える第1画像を選択し、前記第1画像に対応する撮影方向を前記ワークへの前記アプローチ方向として決定し、決定された前記アプローチ方向から前記作業部によって前記ワークに対して作業を行なう、請求項2に記載の作業装置。 - 前記予測モデルは、少なくとも1つの目標とする取り上げ位置を、前記ワークを撮影した画像から検出するために学習済みの機械学習結果を含み、
前記機械学習結果は、学習対象の画像に基づいて算出された作業動作の容易さを示す正解値と、前記学習対象の画像上に予め指示した作業位置とを教師データとする学習結果であり、
前記制御装置は、前記角度調整装置で前記撮像装置の撮影方向を変更しながら撮影した前記複数の画像のうちから、前記予測値が最大になる画像を前記第1画像として選択する、請求項3に記載の作業装置。 - 前記作業部は、前記撮像装置とともに前記第2リンクハブに取り付けられた、吸着パッドを備える、請求項2に記載の作業装置。
- 前記作業部は、前記撮像装置とともに前記第2リンクハブに取り付けられた、把持部を備える、請求項2に記載の作業装置。
- 前記作業部は、前記撮像装置とともに前記第2リンクハブに取り付けられた、レーザマーカを備える、請求項2に記載の作業装置。
- 前記角度調整装置は、
前記第1リンクハブと前記第2リンクハブとを連結する3組以上のリンク機構を含み、
前記第1リンクハブ、前記第2リンクハブおよび前記角度調整装置は、前記第1リンクハブに対し前記第2リンクハブが直交2軸周りに回転自在な2自由度機構を構成する、請求項2〜請求項7のいずれか1項に記載の作業装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167898 | 2018-09-07 | ||
JP2018167898 | 2018-09-07 | ||
PCT/JP2019/035196 WO2020050405A1 (ja) | 2018-09-07 | 2019-09-06 | 作業装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020050405A1 true JPWO2020050405A1 (ja) | 2021-09-02 |
Family
ID=69721744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020541320A Pending JPWO2020050405A1 (ja) | 2018-09-07 | 2019-09-06 | 作業装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2020050405A1 (ja) |
WO (1) | WO2020050405A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09105608A (ja) * | 1995-10-09 | 1997-04-22 | Nippon Steel Corp | 荷物の位置計測方法 |
JP2007237334A (ja) * | 2006-03-08 | 2007-09-20 | Toyota Motor Corp | ロボットハンドによる把持制御方法 |
JP2007241857A (ja) * | 2006-03-10 | 2007-09-20 | Fanuc Ltd | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 |
JP2011083882A (ja) * | 2009-10-19 | 2011-04-28 | Yaskawa Electric Corp | ロボットシステム |
JP2013092878A (ja) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状計測装置 |
JP2017170567A (ja) * | 2016-03-24 | 2017-09-28 | シグマ株式会社 | ワーク認識方法及びランダムピッキング方法 |
JP2017185577A (ja) * | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
JP2017185578A (ja) * | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
WO2017208903A1 (ja) * | 2016-05-30 | 2017-12-07 | Ntn株式会社 | パラレルリンク機構を用いた作業装置 |
-
2019
- 2019-09-06 WO PCT/JP2019/035196 patent/WO2020050405A1/ja active Application Filing
- 2019-09-06 JP JP2020541320A patent/JPWO2020050405A1/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09105608A (ja) * | 1995-10-09 | 1997-04-22 | Nippon Steel Corp | 荷物の位置計測方法 |
JP2007237334A (ja) * | 2006-03-08 | 2007-09-20 | Toyota Motor Corp | ロボットハンドによる把持制御方法 |
JP2007241857A (ja) * | 2006-03-10 | 2007-09-20 | Fanuc Ltd | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 |
JP2011083882A (ja) * | 2009-10-19 | 2011-04-28 | Yaskawa Electric Corp | ロボットシステム |
JP2013092878A (ja) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | 3次元形状計測装置 |
JP2017170567A (ja) * | 2016-03-24 | 2017-09-28 | シグマ株式会社 | ワーク認識方法及びランダムピッキング方法 |
JP2017185577A (ja) * | 2016-04-04 | 2017-10-12 | ファナック株式会社 | シミュレーション結果を利用して学習を行う機械学習装置,機械システム,製造システムおよび機械学習方法 |
JP2017185578A (ja) * | 2016-04-05 | 2017-10-12 | 株式会社リコー | 物体把持装置及び把持制御プログラム |
WO2017208903A1 (ja) * | 2016-05-30 | 2017-12-07 | Ntn株式会社 | パラレルリンク機構を用いた作業装置 |
Non-Patent Citations (1)
Title |
---|
長場 景子: "PFNが世界に見せた最先端ディープラーニング技術ピッキングロボ協議会で物体の把持位置推定にも", NIKKEI ROBOTICS 第15号, vol. 第15号, JPN6023009478, 31 October 2016 (2016-10-31), JP, pages 16 - 22, ISSN: 0005124165 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020050405A1 (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6429473B2 (ja) | ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体 | |
JP5685027B2 (ja) | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム | |
CN101152720B (zh) | 工件取出装置 | |
JP7191569B2 (ja) | 把持装置 | |
JP3173042B2 (ja) | ロボットの数値制御装置 | |
JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP5365379B2 (ja) | ロボットシステム及びロボットシステムのキャリブレーション方法 | |
US20140277694A1 (en) | Robot system and method for producing to-be-processed material | |
JP2018176334A (ja) | 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法 | |
CN104924309A (zh) | 机器人***、机器人***的校准方法及位置修正方法 | |
JP2012030320A (ja) | 作業システム、作業ロボット制御装置および作業プログラム | |
WO2020012710A1 (ja) | マニピュレータ制御装置、マニピュレータ制御方法、及びマニピュレータ制御プログラム | |
JP2019069493A (ja) | ロボットシステム | |
EP3411194A1 (en) | Robot system calibration | |
CN109945780B (zh) | 物体检查***以及物体检查方法 | |
JP2009078310A (ja) | ロボット用ハンド及びロボット用ハンドの制御方法並びにロボット用ハンドの制御システム | |
JP5088186B2 (ja) | ロボット装置及びロボット装置の制御方法 | |
JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
JP7488033B2 (ja) | 物体検出装置及び物体検出用コンピュータプログラム | |
JPWO2020050405A1 (ja) | 作業装置 | |
JP2016203282A (ja) | エンドエフェクタの姿勢変更機構を備えたロボット | |
JP6708142B2 (ja) | ロボットの制御装置 | |
CN111051014B (zh) | 机器人***以及对输送的工件进行作业的方法 | |
Marny et al. | Configuration and programming of the fanuc irvision vision system for applications in the dynamic environment of manipulated elements |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230512 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230808 |