JPWO2020050405A1

JPWO2020050405A1 - 作業装置

Info

Publication number: JPWO2020050405A1
Application number: JP2020541320A
Authority: JP
Inventors: 博明大庭; 直樹丸井
Original assignee: NTN Corp
Current assignee: NTN Corp
Priority date: 2018-09-07
Filing date: 2019-09-06
Publication date: 2021-09-02
Also published as: WO2020050405A1

Abstract

ピックアップ装置（１）は、ワーク（２０）を撮影する撮影方向を変えることが可能な撮像装置（９）と、ワーク（２０）へのアプローチ方向を変えることが可能なピックアップ部（１０）と、撮像装置（９）とピックアップ部（１０）とを制御する制御装置（１００）とを備える。制御装置（１００）は、撮像装置（９）によって撮影された画像に対して、機械学習により生成された予測モデルを適用してワーク（２０）を取り上げる容易さを示す予測値を得る。制御装置（１００）は、得られた予測値が判定値を超える場合の撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワーク（２０）を取り上げるようにピックアップ部（１０）を制御する。このような構成とすることによって、ワークに対する作業の成功率が向上した作業装置を提供する。

Description

この発明は、ワークを取り上げる作業装置に関する。

自動化された機械加工または組立作業のワークピース（以下、ワークと称する）は、ロボットまたは組立装置等によって自動的にピックアップされ、加工装置または組立物の筐体などにセットされることが多い。このようなピックアップ時には、ワークの形状および姿勢を認識してピックアップアームを制御する必要がある。

従来、ワークの姿勢検出および形状認識には画像処理が用いられている。ワークのピックアップ時には、ワークがカメラで撮影され、ワークの姿勢がパターンマッチング等で検出される。そして、検出結果に基づいてピックアップアームが制御されて把持可能な姿勢にハンドが位置決めされる。

このような例として、特開２０１５−２１３９７３（特許文献１）には、把持動作前にワークの位置と姿勢を検出し、ハンドおよびハンドの位置決め機構とワークが格納されている容器が干渉するか否かを判定する方法が提案されている。

特開２０１５−２１３９７３号公報特開２０１７−６４９１０号公報特開平１０−３３２３３３号公報特開平１１−０６６３２１号公報特開２０１７−０４７５０５号公報

特開２０１５−２１３９７３（特許文献１）に記載された装置では、ワークのアプローチ方向の判断に３次元撮像装置を用いている。しかし、ワークを容器内に乱雑に積んである場合、ワークの上方に固定した撮像装置で画像を撮影すると、近傍のワークによって遮られ、姿勢検出に必要な映像が欠落してしまうため、ワークを取り上げる成功率が低下するという問題がある。

また、ワーク上方に固定した撮像装置で画像を撮影する場合、把持装置と干渉しないように撮影装置を配置する必要があるので、撮影距離が長距離となり距離検出の分解能が低いという問題もある。

本発明は、上記の課題を解決するためになされたものであって、その目的は、ワークに対する作業の成功率が向上した作業装置を提供することである。

本開示は、ワークに対して作業を行なう作業装置に関する。作業装置は、ワークを撮影する撮影方向を変えることが可能に構成された撮像装置と、ワークへのアプローチ方向を変えることが可能であり、ワークに対して作業を行なう作業部と、撮像装置と作業部とを制御する制御装置とを備える。制御装置は、撮像装置によって撮影された画像に対して機械学習により生成された予測モデルを適用することによってワークに対する作業の容易さを示す予測値を取得し、取得された予測値が判定値を超える場合の撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワークに対して作業を行なうように前記作業部を制御する。

本発明によれば、撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークに対する作業の容易さを判定し、撮影方向と同じ方向からアプローチして作業を行なうので、作業装置におけるワークに対する作業の成功率が向上する。

本実施の形態に係るピックアップ装置１の構成を示す図である。角度調整装置８の構成を示す図である。パラレルリンク機構３０の構成を示す斜視図である。一組のリンク機構３４を直線で表現した図である。第２リンクハブ３３に取り付けられた撮像装置９およびピックアップ部１０の状態を示す図である。図３に示したパラレルリンク機構３０に撮像装置９およびピックアップ部１０を搭載した状態を示す図である。図１の制御装置１００の機能ブロック図である。学習に用いる画像データの収集の様子を説明するための図である。学習時における撮影後の処理を説明するための図である。ピックアップ動作の容易さを示す正解値ＳＧが最大となる状態の一例を示した図である。ピックアップ装置１の一連の動作を説明するためのフローチャートである。フローチャートの処理を実行する制御装置１００の代表的な構成図である。変形例のピックアップ部（オープン時）の構成を示す正面図である。変形例のピックアップ部（クローズ時）の構成を示す正面図である。変形例のピックアップ部の構成を示す側面図である。作業装置をワーク側面に印字された文字の品質検査に適用する例を説明するための図である。ワークの印字面に撮像装置を正対させた場合に得られる画像の例である。作業装置をワークの側面に文字を印字する作業に適用する例を説明するための図である。

以下、本発明の実施の形態について図面を参照しつつ説明する。なお、以下の図面において同一または相当する部分には同一の参照番号を付し、その説明は繰返さない。

（作業装置の構成）
図１は、本実施の形態に係る作業装置の構成を示す図である。図１を参照して、作業装置の一例であるワーク２０を載置場所から取り上げるピックアップ装置１について説明する。ピックアップ装置１は、ワーク設置台１４上または容器１３の内部等に任意の姿勢で置かれたワーク２０をピックアップすることが可能である。ピックアップ装置１は、ワーク２０を撮影する撮影方向を変えることが可能な撮像装置９と、ワーク２０へのアプローチ方向を変えることが可能なピックアップ部１０と、撮像装置９とピックアップ部１０とを制御する制御装置１００とを備える。

撮像装置９は、少なくとも１つ以上のワーク２０を撮影する。ピックアップ部１０は、ワーク２０にアプローチ方向から近づき、ワーク２０をピックアップする。ピックアップ対象のワーク２０は、ワーク設置台１４上のワーク容器１３内に乱雑に積みあげられる場合が多い。

制御装置１００は、ワーク２０を撮影した画像から、少なくとも１つ以上の目標とするピックアップ位置を検出するために訓練された、機械学習結果を保持する。

制御装置１００は、撮像装置９によって撮影された画像に対して、機械学習により生成された予測モデルを適用してワーク２０を取り上げる容易さを示す予測値を得る。制御装置１００は、得られた予測値が判定値を超える場合に、その予測値に対応する画像を撮影した撮影方向をワーク２０へのアプローチ方向としてワーク２０を取り上げるようにピックアップ部１０を制御する。

ピックアップ装置１は、位置決め機構４７と角度調整装置８とをさらに備える。位置決め機構４７は、回転機構７と直動ユニット４によって構成される。角度調整装置８には、撮像装置９とピックアップ部１０が取り付けられる。位置決め機構４７は、ワーク２０に対する角度調整装置８の相対位置を調整することが可能に構成される。回転機構７の空間上の位置は、直交３軸の直動ユニット４によって変更可能である。

直動ユニット４は、互いに直交するＸ軸、Ｙ軸、Ｚ軸にそれぞれ対応する第１電動アクチュエータ４Ｘ，第２電動アクチュエータ４Ｙ，第３電動アクチュエータ４Ｚを含む。回転機構７は、第３電動アクチュエータ４Ｚの出力部６に取り付けられている。

角度調整装置８は、回転機構７に取り付けられている。角度調整装置８は、回転機構７によって回転が可能である。また、角度調整装置８の先端側のリンクハブには、撮像装置９とピックアップ部１０とが取り付けられている。角度調整装置８は、撮像装置９の光軸方向およびピックアップ部１０のアプローチ方向を任意に調整可能に構成される。

図２は、角度調整装置８の構成を示す図である。図２に示した角度調整装置８は、パラレルリンク機構３０とアクチュエータ３１とを含む。図３は、パラレルリンク機構３０の構成を示す斜視図である。なお、図２には、図３に示された３組のリンク機構３４のうち代表として１組が抽出して示されている。

図１、図２に示すように、ピックアップ装置１は、さらに、第１リンクハブ３２と撮像装置９とピックアップ部１０とが取り付けられた第２リンクハブ３３とを備える。位置決め機構４７は、第１リンクハブ３２の位置を変更可能に構成される。角度調整装置８は、第１リンクハブ３２と第２リンクハブ３３とを連結する。

角度調整装置８は、撮像装置９およびピックアップ部１０を姿勢変更可能に支持するパラレルリンク機構３０と、このパラレルリンク機構３０を作動させる姿勢制御用のアクチュエータ３１とで構成される。アクチュエータ３１は、図２の角度αを変更することができる。

図２、図３を参照して、パラレルリンク機構３０は、基端側の第１リンクハブ３２に対し先端側の第２リンクハブ３３を３組のリンク機構３４によって姿勢変更可能に連結したものである。先端側の第２リンクハブ３３には、図１に示された撮像装置９およびピックアップ部１０が取り付けられている。なお、ここでは３組のリンク機構３４を有するパラレルリンク機構３０について示したが、リンク機構３４の数は、４組以上であっても良い。

各リンク機構３４は、基端側の端部リンク部材３５、先端側の端部リンク部材３６、および中央リンク部材３７で構成される。リンク機構３４は、４つの回転対偶からなる４節連鎖のリンク機構である。基端側および先端側の端部リンク部材３５，３６はＬ字状の形状を有する。

基端側の端部リンク部材３５の一端は、基端側の第１リンクハブ３２に回転自在に連結されている。先端側の端部リンク部材３６の一端は、先端側の第２リンクハブ３３に回転自在に連結されている。中央リンク部材３７は、両端に端部リンク部材３５，３６の各他端がそれぞれ回転自在に連結されている。

パラレルリンク機構３０は、２つの球面リンク機構を組み合わせた構造を有する。端部リンク部材３５，３６と中央リンク部材３７との各回転対偶の中心軸は、ある交差角γ（図２）を持っていてもよいし、平行であってもよい。

図４は、一組のリンク機構３４を直線で表現した図である。３組のリンク機構３４は、幾何学的に同一形状のモデルで示すことができる。

基端側の第１リンクハブ３２と先端側の第２リンクハブ３３と３組のリンク機構３４とは、２自由度機構を構成する。この２自由度機構では、基端側の第１リンクハブ３２に対し先端側の第２リンクハブ３３が直交する２軸の周りに回転自在な２自由度を有する。これらの直交する２軸は、図４に示す旋回角φの回転軸（中心軸ＱＡ）と折れ角θの回転軸（点Ｏを通り、中心軸ＱＡおよび中心軸ＱＢに直交する軸）である。旋回角φは、第１リンクハブ３２の中心軸ＱＡに垂直な平面において、中心軸ＱＡの交点を通る基準直線と第２リンクハブ３３の中心軸ＱＢを投映した直線とが成す角度である。折れ角θは、第１リンクハブ３２の中心軸ＱＡと第２リンクハブ３３の中心軸ＱＢとが成す角度である。この２自由度機構は、コンパクトでありながら、基端側の第１リンクハブ３２に対する先端側の第２リンクハブ３３の可動範囲を広くとれる。

折れ角θの調整はリンク機構３４の動作のみで可能であり、多関節ロボットのようには複数の関節の動作を伴わない。このため、パラレルリンク機構３０は、多関節ロボットと比べて素早い動作が可能である。したがって、図３のパラレルリンク機構３０を機械学習に必要な画像データの収集に用いれば、多関節ロボットと比較して、大量の画像データを短時間で収集することができる。

図２に示す角度調整装置８の姿勢制御用のアクチュエータ３１は、減速機構を備えたロータリアクチュエータである。アクチュエータ３１は、第１リンクハブ３２の基端部材４０の面に、回転軸４２と同軸上に設置されている。アクチュエータ３１と減速機構は一体に設けられ、減速機構が基端部材４０に固定されている。３組のリンク機構３４に図３の角α１〜α３を変更するための３つの姿勢制御用アクチュエータ３１を設けても良いが必ずしもアクチュエータ３１を３つ設けなくても良い。３組のリンク機構３４のうち少なくとも２組に姿勢制御用のアクチュエータ３１を設ければ、基端側の第１リンクハブ３２に対する先端側の第２リンクハブ３３の姿勢を確定することができる。

図５は、第２リンクハブ３３に取り付けられた撮像装置９およびピックアップ部１０の状態を示す図である。図６は、図３に示したパラレルリンク機構３０に撮像装置９およびピックアップ部１０を搭載した状態を示す図である。

図５、図６を参照して、撮像装置９は、その撮影方向を示す光軸がパラレルリンク機構３０の第２リンクハブ３３の中心軸ＱＢに一致するよう配置される。撮像装置９の両脇には、吸着パッド１０Ａ，１０Ｂが配置される。吸着パッド１０Ａ，１０Ｂは、ワーク２０を取り上げるピックアップ部１０を構成する。ピックアップ部１０も撮像装置９と同様にパラレルリンク機構３０の先端側の第２リンクハブ３３に取り付けられる。

本実施の形態では、真空吸着方式のピックアップ部１０が用いられる。このピックアップ部１０は２つの吸着パッド１０Ａ，１０Ｂを有する。吸着パッド１０Ａ，１０Ｂは、図５、図６に示すように、撮像装置９に隣接させ、かつ、２つが互いに撮像装置９の撮影方向を示す光軸に対して点対称となるように配置される。なお、ピックアップ部１０の取り付け位置は、吸着パッド１０Ａ，１０Ｂが撮像装置９の観察視野に入らないような位置とする。さらに、ワーク２０をピックアップすることを決定したときにワーク２０までの距離を検出する距離センサー１１が、第２リンクハブ３３上において撮像装置９およびピックアップ部１０の脇に配置される。

本実施の形態では、２つの吸着パッド１０Ａ，１０Ｂを撮像装置９の両側に隣接するように配置したが、ピックアップするワーク２０の形状に応じて適切な位置に配置すれば良い。

また、本実施の形態では、２つの吸着パッドを用いたが、ワーク２０の重量および形状に応じて３個以上の吸着パッドを用いても良い。ただし、１個で十分な場合は吸着パッドを複数搭載する必要はない。

図７は、図１の制御装置１００の機能ブロック図である。図７を参照して、制御装置１００は、撮像装置９から画像を取得する画像取得部１１１と、取得した画像と教師データおよび機械学習結果を保存する記憶部１１５と、取得した画像を処理する検出部１１２とを含む。検出部１１２は、記憶部１１５から読み込んだ機械学習結果によって取得した画像を処理して目標とするピックアップ位置とピックアップ動作の容易さを示す予測値Ｓとを出力する。

制御装置１００は、さらに、記憶部１１５に保存された画像と、画像毎に予め指示した目標位置であるピックアップ位置およびピックアップ動作の容易さを示す正解値ＳＧを教師データとして機械学習を行なう学習部１１３と、直動ユニット４、回転機構７、角度調整装置８、およびピックアップ部１０を制御する制御部１１４とを含む。

制御装置１００は、画像取得部１１１で撮像装置９から画像を取得し、取得した画像を検出部１１２で処理し、検出部１１２の処理結果に基づいて制御部１１４を介して直動ユニット４および回転機構７、角度調整装置８、ピックアップ部１０の動作を制御する制御信号を出力する。

ここで、予測値Ｓと正解値ＳＧについて説明する。本実施の形態では、学習結果を読み込んだ検出部１１２が、入力されたワークの画像に対して出力するピックアップ動作の容易さを示す数値を予測値Ｓと呼ぶ。また、学習時に教師データとして与える予測値Ｓの正解を正解値ＳＧと呼ぶ。予測値Ｓおよび正解値ＳＧは、いずれも、たとえば０〜１００の範囲の値をとり、ピックアップ動作が容易であるほど大きな値をとる。

（ワークの検出）
検出部１１２は、たとえばニューラルネットワークを応用してピックアップ位置の検出を行なう。検出部１１２は、記憶部１１５に保存された学習結果を用いてニューラルネットワークの数値計算を行なう。ニューラルネットワークには撮像装置９からの画像を入力する。

ニューラルネットワークの出力層からは、ピックアップ位置の中心座標（ｘ，ｙ）、縦横サイズ（ｗ，ｈ）とともに、検出したピックアップ位置のピックアップ動作の容易さを示す予測値Ｓが出力される。

上記の説明では、ニューラルネットワークを使用する例を示したが、サポートベクタマシン等の一般的な教師あり学習法、オートエンコーダ（自己符号化器）、ｋ平均法、主成分分析などの教師なし学習法、およびそれらを複合した機械学習法のいずれかを使用してもよい。

（学習データの収集）
ここでは、学習に用いる画像データの収集方法について説明する。図８は、学習に用いる画像データの収集の様子を説明するための図である。本実施の形態では、直方体状のワークの例を示す。

図８に示すように、ワーク２０の法線方向が重ならないように容器１３の底部にワーク２０が配置される。制御装置１００は、直動ユニット４と回転機構７と角度調整装置８とを制御し、撮像装置９をワーク２０の周囲のさまざまな位置９（Ａ），９（Ｂ），９（Ｃ）に移動して画像を撮影し、撮影した画像を記憶部１１５に保存する。また、保存する画像に関連付けて、角度調整装置８の旋回角φと折れ角θも保存する。

ここで、折れ角θ、旋回角φの定義を再び図３、図４を参照して説明する。図４において、折れ角θは、第１リンクハブ３２の中心軸ＱＡと第２リンクハブ３３の中心軸ＱＢとが成す角である。また、旋回角φは、第１リンクハブ３２の中心軸ＱＡに垂直な平面において、中心軸ＱＡの交点を通る基準直線と第２リンクハブ３３の中心軸ＱＢを投映した直線とが成す角である。

角度調整装置８は、第１リンクハブ３２の第１面の法線である中心軸ＱＡと第２リンクハブ３３の第２面の法線である中心軸ＱＢとが成す角度である図４の折れ角θを変更可能に構成される。

図９は、学習時における撮影後の処理を説明するための図である。撮影後の処理として、作業者が、制御装置１００内に保存した各画像毎にアノテーション作業を行なう。図９には、直方体状のワーク２０を折れ角θがゼロの方向から撮影したときの画像をモニタ１１０上に表示した様子が示される。この作業では、たとえば、図７の制御装置１００に接続されたモニタ１１０上に撮影した画像を表示させた状態で、作業者がマウスまたはキーボードなどの入力装置１０９を用いてピックアップ位置ＰＰを示す矩形を設定する。ここで設定した矩形の中心座標を（ｘ，ｙ）、縦横サイズを（ｗ，ｈ）すると、これらのデータがピックアップ位置ＰＰを示すものとして記憶部１１５に記憶される。

図１０は、ピックアップ動作の容易さを示す正解値ＳＧが最大となる状態の一例を示した図である。図１０に示すように、撮像装置９の撮影方向を示す光軸とワーク２０表面の法線とが一致する方向から撮影した画像は、ピックアップが容易であることを示す画像であると定義される。そして、この画像のピックアップ位置ＰＰに対して、ピックアップ動作の容易さを示す正解値ＳＧとして最大値１００を設定する。

ここで、ワーク２０表面の法線の方向は、予めわかっていることとする。たとえば、図９の直方体状のワークを水平な台上に置く。このような場合、最大値となる折れ角θは０°である。

正解値ＳＧは、折れ角θの関数として以下のように定義される。作業者は、マウスまたはキーボードなどの入力装置１０９を用いてピックアップ位置ＰＰを示す矩形を設定する。ピックアップ動作の容易さを示す正解値ＳＧは、折れ角θを用いて下記式（１）で算出される。
ＳＧ＝１００×ｃｏｓθ …（１）
正解値ＳＧは、θ＝０で最大値１００をとり、θが大きくなるにつれ小さくなる。θは、０〜π／２の範囲の値とする。ＳＧは、θ＝π／２で最小値０をとる。

以上の作業で設定した矩形の中心座標（ｘ，ｙ）と縦横サイズ（ｗ，ｈ）およびピックアップ動作の容易さを示す正解値ＳＧが記憶部１１５に保存される。

なお、「正解値」はワーク２０の形状に応じて決めればよい。上記の説明は直方体形状のワークに関して一例を述べたものである。

（学習処理）
学習部１１３は、以上の作業で収集した画像データと中心座標（ｘ，ｙ）と縦横サイズ（ｗ，ｈ）とピックアップ動作の容易さを示す正解値ＳＧとを用いて、誤差逆伝播法で学習を行ない、結果を記憶部１１５に保存する。検出部１１２は、この学習結果を用いてニューラルネットワークの数値計算を行なう。

なお、誤差逆伝播法以外にも、サポートベクタマシン等の一般的な教師あり学習法を用いても良く、オートエンコーダ（自己符号化器）、ｋ平均法、主成分分析などの教師なし学習法を用いても良い。また、以上の学習法のいずれかそれらを複合した機械学習法のいずれかを用いてもよい。

本実施の形態では、撮像装置９の光軸とワーク２０の法線が一致するとき、ピックアップ動作の容易さを示す「予測値」が最大になるような学習結果を用いる。

（ピックアップ装置の一連の動作）
ここでは、学習後のニューラルネットワークを用いて、目標とするピックアップ位置の検出からピックアップ動作までの一連の動作が実行される例を示す。図１１は、ピックアップ装置の一連の動作を説明するためのフローチャートである。図１２は、フローチャートの処理を実行する制御装置１００の代表的な構成図である。図１２において、メモリ１０２は、図７の記憶部１１５に相当する。またプロセッサ１０１は、メモリ１０２に記憶されたプログラムが実行されることによって、図７の画像取得部１１１、検出部１１２、学習部１１３および制御部１１４として機能する。

図７、図１１を参照して、制御装置１００は、直動ユニット４、回転機構７、および角度調整装置８を制御し、撮像装置９をワーク２０の近傍に移動する（Ｓ１）。続いて、制御装置１００は、角度調整装置８を制御し、撮像装置９の光軸方向を変更しながら（Ｓ２）、さまざまな撮影方向から画像を撮影する（Ｓ３）。

制御装置１００は、撮像装置９から画像を取得してニューラルネットワークに入力し、中心座標（ｘ，ｙ）と縦横サイズ（ｗ，ｈ）の検出およびピックアップ動作の容易さを示す予測値Ｓの算出を行なう（Ｓ４）。ワークが見つからず予測値が算出できない場合（Ｓ５でＮＯ）、制御装置１００は、このフローチャートの処理を終了させる。ワークが見つかり予測値Ｓが算出された場合（Ｓ５でＹＥＳ）、制御装置１００は、出力層から得られるピックアップ動作の容易さを示す予測値Ｓが判定値Ｔ以上であるか否かをチェックする（Ｓ６）。

撮影した画像の予測値Ｓが判定値Ｔより小さいとき（Ｓ６でＮＯ）、ステップＳ２〜ステップＳ６の処理が繰返される。一方、判定値Ｔ以上の画像が撮影されたとき（Ｓ６でＹＥＳ）、角度調整装置８の移動を停止し、距離センサー１１等でピックアップ位置までの相対距離Ｄを計測する（Ｓ７）。このとき、ピックアップ前の画像を撮像装置９で撮影する（Ｓ８）。

次に、制御装置１００は、相対距離Ｄに基づいて直動ユニット４の移動距離を算出し、撮像装置９の光軸に平行に距離Ｄだけエンドエフェクタであるピックアップ部１０を移動する（Ｓ９）。そして制御装置１００は、ピックアップ部１０を用いてワーク２０をピックアップする（Ｓ１０）。ピックアップ後、制御装置１００は、進入した方向と平行に反対方向に距離Ｄだけピックアップ部１０を退避する（Ｓ１１）。このとき、制御装置１００は、ピックアップ後の画像を撮像装置９によって撮影する（Ｓ１２）。

次に、制御装置１００は、ワーク２０がピックアップできているか否かを判定する。たとえば、制御装置１００は、ピックアップ前後において撮像装置９で撮影された画像の差分を求めて輝度の不一致部分を検出する。制御装置１００は、輝度の不一致が検出された場合はピックアップ成功と判定し、変化が検出されなかったときはピックアップ失敗と判定することができる（Ｓ１３）。この判定処理は、特にこの方法には限定されない。ピックアップの成否を判定できれば、近接センサー等の他のセンサーで判定してもよい。

その後制御装置１００は、上記の判定結果と、検出した矩形の中心座標（ｘ，ｙ）および縦横サイズ（ｗ，ｈ）とを、ピックアップ前の画像とともに制御装置１００の記憶部１１５に保存する（Ｓ１４）。

制御装置１００は、ピックアップが成功した場合には（Ｓ１５でＹＥＳ）、このフローチャートの処理を終了させ（Ｓ１６）、ピックアップ処理が成功していない場合には（Ｓ１５でＮＯ）、再びステップＳ２以降の処理を繰返す。

（追加の学習）
必要に応じて、上記のピックアップ動作結果を用いて追加学習を行なってもよい。制御装置１００は、実際のピックアップ動作で撮影された対象物の画像と、その画像において検出されたピックアップ位置と、ピックアップ動作結果に応じて決定されたピックアップ動作の容易さを示す正解値ＳＧとを教師データに追加して機械学習を行なう。そして制御装置１００は、追加学習によって更新された機械学習結果に基づいて以降のワークのピックアップ動作を行なわせる。

この場合、ピックアップに成功したときは、ピックアップ動作の容易さを示す正解値ＳＧを１００とし、失敗したときは正解値ＳＧに係数α（ただし、α＜１）を乗じた新たな値を正解値ＳＧとする。制御装置１００は、このようにして更新された正解値ＳＧおよび矩形の中心座標（ｘ，ｙ）、縦横サイズ（ｗ，ｈ）を教師データに追加して学習を行ない、学習結果を更新して記憶１１５部に保存する。

係数αは、たとえば、ステップＳ１２で失敗が検出された場合は０．３に設定し、アプローチ動作中に撮影を行ない、ピックアップ部１０とワーク２０とが接触してワーク姿勢が変化したことを検出したときは０．５に設定してもよい。なお、係数αは、特にこれらの値に限定される必要はなく、ピックアップ動作の失敗要因に応じて設定されればよい。

また、前述のアノテーション作業と同様の作業によって、検出された矩形位置を微調整してもよい。さらに、この微調整された矩形位置を教師データとして学習を行ない、記憶部１１５に保存された学習結果を更新してもよい。

（ピックアップ部の変形例）
以上の説明では、ピックアップ部１０が吸着パッドを備える場合の例を示していたが、吸着によりピックアップするもの以外でも、ハンドで把持するものであっても同様な構成とすることができる。

図１３は、変形例のピックアップ部（オープン時）の構成を示す正面図である。図１４は、変形例のピックアップ部（クローズ時）の構成を示す正面図である。図１５は、変形例のピックアップ部の構成を示す側面図である。

図１３〜図１５に示す変形例のピックアップ部２００は、第２リンクハブ３３に撮像装置９とともに取り付けられている。ピックアップ部２００は、取り付け板２０１と把持部２０２，２０３とを含む。把持部２０２と把持部２０３とは、ワークへのアプローチ時に図１３に示すようにオープン状態となり、ワークをピックアップする時に図１４に示すようにクローズ状態となる。クローズ状態では、ピックアップ成功時には把持部２０２と把持部２０３との間にワーク２０が把持される。図１５に示すように、把持部２０２，２０３の先端は、撮像装置９の光軸上に位置する。

このように、把持部２０２，２０３によってワークを把持することによって、ピックアップ動作を行なってもよい。

（まとめ）
再び図１を参照して、本実施の形態について総括する。ピックアップ装置１は、ワーク２０を撮影する撮影方向を変えることが可能に構成された撮像装置９と、ワーク２０へのアプローチ方向を変えることが可能であり、前記ワークを取り上げることが可能に構成されたピックアップ部１０と、撮像装置９とピックアップ部１０とを制御する制御装置１００とを備える。ピックアップ装置１は作業装置の具体例に相当し、ワーク２０のピックアップは作業の一例であり、ピックアップ部１０は作業部の具体例に相当する。

制御装置１００は、撮像装置９によって撮影された画像に対して、機械学習により生成されたニューラルネットワークなどを用いた予測モデルを適用することによってワーク２０を取り上げる容易さを示す予測値Ｔを取得する。制御装置１００は、取得された予測値Ｔが判定値を超える場合に、その画像を撮影した撮影方向をワークへのアプローチ方向として決定し、決定されたアプローチ方向からワーク２０を取り上げるようにピックアップ部１０を制御する。

このように、ピックアップ装置１は、撮影方向およびアプローチ方向を変更可能に構成されているため、撮影方向を変更しながらピックアップに適したアプローチ方向を探索することができ、ピックアップの成功率を向上させることができる。

図１、図２に示すように、ピックアップ装置１は、撮像装置９およびピックアップ部１０の位置決めを行なう位置決め機構４７と、第１リンクハブ３２と、第２リンクハブ３３と、第１リンクハブ３２と第２リンクハブ３３とを連結する角度調整装置８とをさらに備える。第１リンクハブ３２は、第１面を有し、第１面が位置決め機構に取り付けられる。第２リンクハブ３３は、第２面を有し、撮像装置９とピックアップ部１０とが第２面に取り付けられる。

このような位置決め機構を採用することによって、多関節のロボットアームなどと比べてピックアップ動作に要する時間を短縮することが可能となる。

制御装置１００は、（ａ）ピックアップ部１０によってワーク２０を取り上げる前に、位置決め機構４７である直動ユニット４および回転機構７と角度調整装置８を制御しつつ撮像装置９によって複数の撮影方向からそれぞれ複数の画像を撮影し、複数の画像の各々に対応する予測値Ｓを算出し、（ｂ）複数の画像のうち予測値Ｓが判定値Ｔを超える画像を選択し、選択した画像に対応する撮影方向をワーク２０へのアプローチ方向として決定し、決定されたアプローチ方向からピックアップ部１０によってワーク２０を取り上げる。

このようにすれば、一つのアプローチ方向からのピックアップ成功可能性が低い場合には、他のアプローチ方向からアプローチして、ワークをピックアップする場合のピックアップ成功率をより高めることができる。

さらに好ましくは、ニューラルネットワークなどを用いた予測モデルは、ワーク２０を撮影した画像から少なくとも１つの目標とする取り上げ位置を検出するために訓練された機械学習結果を含む。機械学習結果は、角度調整装置８で撮像装置９の光軸方向を変えながらさまざまな方向からワーク２０を撮影した画像と、複数の画像に基づいて算出されたピックアップ動作の容易さを示す正解値ＳＧと、撮影した画像毎に予め指示した目標とするピックアップ位置ＰＰとを教師データとする学習結果である。制御装置１００は、角度調整装置８で撮像装置９の撮影方向を変更しながら撮影した複数の画像のうちから、機械学習結果に基づいて出力した予測値Ｓが最大になるピックアップ位置を検出したときの撮影方向をアプローチ方向としてワーク２０の取り上げ動作を行なう。

このようにすれば、複数のアプローチ方向のうちピックアップ成功可能性が一番高いアプローチ方向からアプローチしてワークをピックアップすることができるため、ピックアップの成功率を高めることができる。

図５、図６に示すように、ピックアップ部１０は、撮像装置９とともに第２リンクハブ３３に取り付けられた、吸着パッド１０Ａ，１０Ｂを備える。

また好ましくは、図１３〜図１５に示すように、変形例のピックアップ部２００は、撮像装置９とともに第２リンクハブ３３に取り付けられた把持部２０２，２０３を備える。

より好ましくは、図２、図３、図８に示すように、角度調整装置８は、第１リンクハブ３２と第２リンクハブ３３とを連結する３組以上のリンク機構３４とを含む。図４で説明したように、第１リンクハブ３２、第２リンクハブ３３および角度調整装置８によって、第１リンクハブ３２に対し第２リンクハブ３３が直交２軸周りに回転自在な２自由度機構を構成する。

たとえば、多関節ロボットに撮像装置を搭載する場合は、撮影方向を変えた画像を収集するために複数の関節を動作させたり、関節の動作角度を大きくとらなければならかったりする場合があり、撮影方向を変えた画像を収集するのに時間を要する。上記の構成の角度調整装置８を採用することによって、撮影方向を変えた画像を収集する時間を短縮することができる。

本実施の形態に係るピックアップ装置１によれば、以下の効果が得られる。
撮影方向が変更可能に構成された撮像装置で得られた画像を用いてワークの取り上げの容易さを判定し、撮影方向と同じ方向からアプローチしてピックアップを行なうので、ピックアップ装置におけるワークの取り上げの成功率が向上する。

また、初期学習の学習データのアノテーション作業を作業者が行なうので、目標とするピックアップ位置の初期設定および学習結果の確認が可能である。このため、必要に応じて目標とするピックアップ位置を微調整することが可能であるので、ピックアップ動作の成功率をより向上させることができる。

さらに、本実施の形態に係るピックアップ装置１では、角度調整装置８の先端側の第２リンクハブ３３に撮像装置９を取り付けることにより撮像装置９をワークの近傍に位置決めできる。ワーク上方に固定した撮像装置で画像を撮影する方法も考えられるが、ピックアップ部と干渉しないように撮像装置を配置する必要があるので長距離のワークディスタンスを確保しなければならず距離検出分解能は低い。本実施の形態に係るピックアップ装置１は、このような方法と比べて高い検出分解能を実現することができる。

さらに、本実施の形態に係るピックアップ装置１は、追加学習により動作の改善が可能であるため、作業のタクトタイムをさらに短縮できる。

（作業装置の他の例）
以上の説明では、ワークに対する作業の例として、ワークのピックアップを例示した。本実施の形態の作業装置は、ワークのピックアップ以外にも適用できる。

図１６は、作業装置をワーク側面に印字された文字の品質検査に適用する例を説明するための図である。図１７は、ワークの印字面に撮像装置を正対させた場合に得られる画像の例である。図１６に示す例では、検査用の画像を撮影する作業部は、撮像装置９と兼用されるが、撮像装置９とともに第２リンクハブ３３に取り付けられた検査用カメラを作業部として備えていても良い。この場合、制御装置１００における学習は、ワーク２０の文字印字面の法線と撮像装置９の光軸が一致したとき、予測値Ｓが最大となるように行なわれる。

制御装置１００は、図１１のフローチャートにしたがって撮像装置９の光軸方向を探索する。図１６では、撮像装置９が位置Ｐ１にあるときには、ベルトコンベア３００で搬送されるワーク２０の印字面Ｆ１ではなく、面Ｆ２に対して撮像装置９のレンズ９Ｌが正対している。制御装置１００は、光軸方向の探索を第１の撮像方向Ｄ１から始める。

図１１のフローチャートにしたがって撮像方向を探索し、第２の撮像方向Ｄ２から印字面Ｆ１を撮影したとき、予測値Ｓは最大になる。

制御装置１００は、公知のパターマッチング法や２値画像処理を用いて文字の回転角度を検出し、検出した回転角度に基づいて回転機構７を回転させ、図１７に示すような画像が得られる角度に撮像装置９の光軸の角度を調整する。作業装置は、この後、画像を撮影、処理して文字の欠けやかすれなどを検査する。

作業の他の例として印字処理が挙げられる。図１８は、作業装置をワークの側面に文字を印字する作業に適用する例を説明するための図である。図１８に示す例では、作業部は、撮像装置９とともに第２リンクハブ３３に取り付けられた、レーザマーカ２１０を備える。

この場合、制御装置１００における学習は、印字面Ｆ１の法線とカメラの光軸が一致したとき、予測値Ｓが最大となるように行なわれる。印字処理の場合でも基本的な制御は共通である。まず、制御装置１００は、図１１のフローチャートにしたがって撮像装置９の光軸方向を探索する。図１６では、ベルトコンベアで搬送されるワークの印字面の探索を第１の撮像方向Ｄ１から開始する。

制御装置１００は、図１１のフローチャートにしたがって撮像装置９の光軸方向を探索し、第２の撮像方向Ｄ２から印字面を撮影したとき、予測値Ｓは最大になる。

制御装置１００は、公知のパターマッチング法や２値画像処理を用いて文字の回転角度を検出し、検出した回転角度に基づいて回転機構７を回転させ、図１７に示すような画像が得られる角度に撮像装置９の光軸の角度を調整する。この後、作業装置は、レーザマーカ２１０でレーザを照射し、ワーク２０の印字面Ｆ１に文字を印字する。

以上説明したように、ピックアップ以外の作業にも本実施の形態の作業装置を適用することができる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ピックアップ装置、４直動ユニット、４Ｘ第１電動アクチュエータ、４Ｙ第２電動アクチュエータ、４Ｚ第３電動アクチュエータ、６出力部、７回転機構、８角度調整装置、９撮像装置、１０，２００ピックアップ部、１０Ａ，１０Ｂ吸着パッド、１１距離センサー、１４ワーク設置台、２０ワーク、３０パラレルリンク機構、３１アクチュエータ、３２第１リンクハブ、３３第２リンクハブ、３４リンク機構、３５，３６端部リンク部材、３７中央リンク部材、４０基端部材、４２回転軸、４７位置決め機構、１００制御装置、１０１プロセッサ、１０２メモリ、１０９入力装置、１１０モニタ、１１１画像取得部、１１２検出部、１１３学習部、１１４制御部、１１５記憶部、２０１取り付け板、２０２，２０３把持部、２１０レーザーマーカ。

Claims

ワークに対して作業を行なう作業装置であって、
前記ワークを撮影する撮影方向を変えることが可能に構成された撮像装置と、
前記ワークへのアプローチ方向を変えることが可能であり、前記ワークに対して作業を行なう作業部と、
前記撮像装置と前記作業部とを制御する制御装置とを備え、
前記制御装置は、前記撮像装置によって撮影された画像に対して機械学習により生成された予測モデルを適用することによって前記ワークに対する作業の容易さを示す予測値を取得し、取得された前記予測値が判定値を超える場合の撮影方向を前記ワークへの前記アプローチ方向として決定し、決定された前記アプローチ方向から前記ワークに対して作業を行なうように前記作業部を制御する、作業装置。
前記撮像装置および前記作業部の位置決めを行なう位置決め機構と、
第１面を有し、前記第１面が前記位置決め機構に取り付けられた第１リンクハブと、
第２面を有し、前記撮像装置と前記作業部とが前記第２面に取り付けられた第２リンクハブと、
前記第１リンクハブと前記第２リンクハブとを連結する角度調整装置とをさらに備え、
前記角度調整装置は、前記第１リンクハブの前記第１面の法線と前記第２リンクハブの前記第２面の法線とが成す角度を変更可能に構成される、請求項１に記載の作業装置。
前記制御装置は、
（ａ）前記作業部によって前記ワークに対して作業を行なう前に、前記位置決め機構と前記角度調整装置とを制御しつつ前記撮像装置によって複数の撮影方向からそれぞれ複数の画像を撮影し、前記複数の画像の各々に対応する前記予測値を算出し、
（ｂ）前記複数の画像のうち前記予測値が前記判定値を超える第１画像を選択し、前記第１画像に対応する撮影方向を前記ワークへの前記アプローチ方向として決定し、決定された前記アプローチ方向から前記作業部によって前記ワークに対して作業を行なう、請求項２に記載の作業装置。
前記予測モデルは、少なくとも１つの目標とする取り上げ位置を、前記ワークを撮影した画像から検出するために学習済みの機械学習結果を含み、
前記機械学習結果は、学習対象の画像に基づいて算出された作業動作の容易さを示す正解値と、前記学習対象の画像上に予め指示した作業位置とを教師データとする学習結果であり、
前記制御装置は、前記角度調整装置で前記撮像装置の撮影方向を変更しながら撮影した前記複数の画像のうちから、前記予測値が最大になる画像を前記第１画像として選択する、請求項３に記載の作業装置。
前記作業部は、前記撮像装置とともに前記第２リンクハブに取り付けられた、吸着パッドを備える、請求項２に記載の作業装置。
前記作業部は、前記撮像装置とともに前記第２リンクハブに取り付けられた、把持部を備える、請求項２に記載の作業装置。
前記作業部は、前記撮像装置とともに前記第２リンクハブに取り付けられた、レーザマーカを備える、請求項２に記載の作業装置。
前記角度調整装置は、
前記第１リンクハブと前記第２リンクハブとを連結する３組以上のリンク機構を含み、
前記第１リンクハブ、前記第２リンクハブおよび前記角度調整装置は、前記第１リンクハブに対し前記第２リンクハブが直交２軸周りに回転自在な２自由度機構を構成する、請求項２〜請求項７のいずれか１項に記載の作業装置。