JP6322959B2

JP6322959B2 - ロボット、ロボットシステム、及びロボット制御装置

Info

Publication number: JP6322959B2
Application number: JP2013229064A
Authority: JP
Inventors: 如洋山口
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2013-11-05
Filing date: 2013-11-05
Publication date: 2018-05-16
Anticipated expiration: 2033-11-05
Also published as: EP2921266A2; US9561594B2; JP2015089579A; US20150127160A1; CN104608153B; EP2921266A3; CN104608153A; EP2921266B1

Description

本発明は、ロボット、ロボットシステム、及びロボット制御装置に関するものである。

近年、製造現場等では、スカラロボットや多軸ロボット等が製品の組立てや検査等に用いられている。製品の組立てや検査を行うときに物体を運搬する場合、ロボットは、物体を吸着したり、アームにより把持したりする。

このような産業用ロボットにおいては、自動組立その他の作業工程において、不特定で多様な姿勢をとる対象物を所定の姿勢で効率的に掴み取ることが要求されている。このような産業用ロボットは、ロボットのエンドエフェクターにドライバーを取り付け、人間に代わって、産業用ロボットがねじ締めを自動的に行っている。その際、ねじの位置及び形状を画像処理にて認識している。

例えば、物体を加工し、切り粉等が発生する環境下で、テレビカメラ等により物体を撮像し、物体の位置及び形状を画像処理にて認識する画像処理装置が開示されている（例えば、特許文献１参照）。

特開平６−２８８７４０号公報

しかしながら、特許文献１では、画像処理における物体の背景になる部分に容器部を設け、この容器部に画像処理にて物体との識別可能な色をした不透明な液体を溜め、その不透明な液体の液面を物体の背景としていた。このため、作業環境における汚れ、さび、及びウェットでの使用、また撮像方向が重力方向の１方向のみであり、汎用性に欠ける。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］本適用例に係るロボットは、物体を保持する保持部と、撮像部と、ロボットの予め定められた第１の部分と、を含み、前記撮像部は、前記第１の部分を背景として前記保持部及び前記物体を撮像することを特徴とする。

本適用例によれば、予め定められた第１の部分を保持部の撮影の背景とするため、複雑なアルゴリズムを用いることなく画像処理ができる。これにより、画像処理が正確で速くなる。その結果、画像検査においてロボットの筐体を背景とすることで、汎用的で安定した検査を実現できる。

［適用例２］上記適用例に記載のロボットにおいて、前記第１の部分は、予め定められた色であることを特徴とする。

本適用例によれば、予め定められた色であることから、さらに複雑なアルゴリズムを用いることなく画像処理ができる。

［適用例３］上記適用例に記載のロボットにおいて、前記第１の部分は、コントラストが均一であることを特徴とする。

本適用例によれば、コントラストが均一であることから、さらに複雑なアルゴリズムを用いることなく画像処理ができる。

［適用例４］上記適用例に記載のロボットにおいて、前記第１の部分は、前記ロボットの胴体部であることを特徴とする。

本適用例によれば、容易に安定した検査を実現できる。

［適用例５］上記適用例に記載のロボットにおいて、前記撮像部は、前記撮像とは前記保持部に対する撮像方向が異なり、前記ロボットの第２の部分を背景として前記保持部及び前記物体を撮像することを特徴とする。

本適用例によれば、保持部に保持されている物体を撮像部で撮影する際に、第１の部分を背景とする撮像とは保持部に対する撮像方向が異なる第２の部分を背景として撮像することで、これらの幾何学的な関係が二極化され、画像処理を明確に行うことが可能となる。

［適用例６］上記適用例に記載のロボットにおいて、前記撮像方向は、前記物体に対して９０度の関係にある２方向が撮像されることを特徴とする。

本適用例によれば、真横からも撮像することで、物体のずれ方向がより正確に認識できる。

［適用例７］上記適用例に記載のロボットにおいて、前記第２の部分は、予め定められた色であることを特徴とする。

［適用例８］上記適用例に記載のロボットにおいて、前記第２の部分は、コントラストが均一であることを特徴とする。

［適用例９］上記適用例に記載のロボットにおいて、前記第２の部分は、前記ロボットのアームであることを特徴とする。

本適用例によれば、容易に安定した検査を実現できる。

［適用例１０］上記適用例に記載のロボットにおいて、前記物体は、ねじが吸着されたドライバーであることを特徴とする。

本適用例によれば、ドライバーに吸着されたねじの安定した検査を実現できる。

［適用例１１］上記適用例に記載のロボットにおいて、前記保持部は、回動することを特徴とする。

本適用例によれば、容易に第１の部分を背景とする撮像とは保持部に対する撮像方向が異なる第２の部分を背景として撮像できる。

［適用例１２］本適用例に係るロボットシステムは、上記のいずれか一項に記載のロボットと、ロボット制御装置と、を含み、前記ロボット制御装置は、前記撮像部で、前記第１の部分を背景として前記保持部及び前記物体を撮像する制御部を含むことを特徴とする。

［適用例１３］本適用例に係るロボット制御装置は、保持部と、撮像部と、ロボットの予め定められた第１の部分と、を含むロボットを制御するロボット制御装置であって、前記撮像部で、前記第１の部分を背景として前記保持部及び前記物体を撮像する制御部を含むことを特徴とする。

本実施形態に係るロボットの一例を示す正面斜視図。ロボットの一例を示す背面斜視図。アーム及びハンドの詳細を示す図。ロボットの機能構成の一例を示す図。ロボットが行う第一の作業例を説明する図。電動ドライバーの先端にねじを吸着し、ねじ締めを行うまでの動作のフローチャート。電動ドライバーの係合部にねじが嵌合している一例を説明する図、（Ａ）は係合部にねじが正しく嵌合している図、（Ｂ）は係合部にねじが正しく嵌合していない図。ロボットが行う２視点の画像検査を説明する図、（Ａ）は一視点の画像検査を説明する図、（Ｂ）は他視点の画像検査を説明する図。

本発明の実施形態について、図面を参照しながら説明する。
図１は、本発明の実施形態に係るロボット１の一例を示す正面斜視図である。図２は、ロボット１の一例を示す背面斜視図である。

ロボット１は、胴部（胴体部）１０と、アーム１１と、タッチパネルモニター１２と、脚部１３と、搬送用ハンドル１４と、カメラ１５と、信号灯１６と、電源スイッチ１７と、外部インターフェイス（Ｉ／Ｆ）部１８と、昇降ハンドル１９と、を備える。ロボット１は、人間型双腕ロボットであり、制御部２０（図４参照）の制御に従って動作する。このロボット１は、例えばプリンターのような精密機器等を組み立てる製造工程で用いることができるものである。なお、この製造作業は、通常、作業台（図示せず）上で行われる。

胴部１０は、脚部１３のフレーム上に設けられる。なお、脚部１３はロボット１の基台であり、胴部１０はロボット１の胴体である。胴部１０は、ロボット本体と呼ぶこともできる。なお、胴部１０のみでなく、脚部１３を含めてロボット本体としてもよい。

胴部１０は、上側の肩領域１０Ａと、下側の胴部本体１０Ｂとを有する。肩領域１０Ａには、その両側面に、それぞれ正面側に突出したアーム１１（「マニピュレーター」ともいう。）が設けられる。

アーム１１の先端には、作業の対象物（「ワーク」ともいう。）や道具を保持（掴む、把持を含む広い概念）するハンド１１１（「エンドエフェクター」ともいう。）が設けられる。また、アーム１１には、作業台の上に載置されたワーク等を撮影するハンドアイカメラ（撮像部）１１Ｇが設けられる。アーム１１及びハンド１１１の詳細については、後に詳述する。

ハンドアイカメラ１１Ｇは、例えばＣＣＤ（Charge Coupled Device）カメラである。ハンドアイカメラ１１Ｇは、電動ドライバー（保持部）Ａ３０（図５参照）に吸着（保持）されたねじ（物体）Ａ２０を撮影し、撮影したアナログ値の画像データを制御部２０に出力する。なお、ハンドアイカメラ１１Ｇは、ロボット１の胴部１０を背景とする撮像とはハンド１１１に対する撮像方向が異なり、ロボット１のアーム１１を背景として電動ドライバーＡ３０及びねじＡ２０を撮像してもよい。これによれば、ハンド１１１に保持されている電動ドライバーＡ３０をハンドアイカメラ１１Ｇで撮像する際に、胴部１０を背景とする撮像とはハンド１１１に対する撮像方向が異なるアーム１１を背景として撮像することで、これらの幾何学的な関係が二極化され、画像処理を明確に行うことが可能となる。なお、背景は複雑なアルゴリズムを用いることなく画像処理ができる状態のものであればよく、例えば、ロボット１の胴部１０あるいはアーム１１を背景の一部として電動ドライバーＡ３０及びねじＡ２０を撮像してもよい。

胴部１０の肩領域１０Ａから正面側に斜め上方向突出する、ロボット１の頭部に当たる部分には、２台のカメラ１５と、信号灯１６とが設けられる。

カメラ１５は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を有し、作業台等を撮像することができる。信号灯１６は、例えば、赤色の光、黄色の光、青色の光をそれぞれ発するＬＥＤを有し、ロボット１の現在の状態に応じて適宜選択されたＬＥＤを発光させる。

脚部１３の内部には、ロボット１自身を制御する制御部２０等が設けられる。脚部１３及び胴部本体１０Ｂの内部にはロボット１に対して上下方向に伸びる回転軸が設けられ、この回転軸には胴部１０の肩領域１０Ａが設けられる。肩領域１０Ａは、回転軸周りに回転移動させることができる。すなわち、胴部本体１０Ｂより上側の部材は、回転軸周りに一体的に任意の方向に向けることが可能である。

脚部１３の背面には、電源スイッチ１７と、制御部２０と外部のＰＣ等を接続する外部接続端子である外部Ｉ／Ｆ部１８とが設けられる。電源スイッチ１７は、ロボット１の電源を投入する電源ＯＮスイッチ１７ａと、ロボット１の電源を遮断する電源ＯＦＦスイッチ１７ｂとを有する。

また、脚部１３の最下部には、図示しない複数のキャスターが水平方向に間隔をおいて設置されている。これにより、作業者が搬送用ハンドル１４を押すこと等によりロボット１を移動搬送することができる。

胴部１０の背面には、昇降ハンドル１９が設けられる。昇降ハンドル１９は、胴部１０の上部にある肩領域１０Ａを、胴部本体１０Ｂに対して上下方向に移動させる。これにより、様々な高さの作業台に対応することができる。

また、胴部１０の背面側には、ロボット１の背面側から視認可能なタッチパネルモニター１２が配置されている。モニターは、例えば、液晶ディスプレイなどであり、ロボット１の現在の状態などを表示することができる。また、タッチパネルは、例えば静電式や圧電式のタッチパネルであり、ロボット１に対する動作の設定などを行うユーザーインターフェイス部として用いられる。

図３は、アーム１１及びハンド１１１の詳細を示す図である。
アーム１１は、胴部１０側から順に、アーム部材（「マニピュレーター部材」ともいう。）１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅがジョイント（図示せず）により連結されて構成される。ジョイントには、それらを動作させるためのアクチュエーター（図示せず）が設けられる。

アーム１１は、７個の回動軸を有する７軸アームである。７個の回動軸Ｊ１，Ｊ２，Ｊ３，Ｊ４，Ｊ５，Ｊ６，Ｊ７は、それぞれ、ジョイントに設けられたアクチュエーターの回転軸である。アーム部材１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ及びハンド１１１は、回動軸Ｊ１，Ｊ２，Ｊ３，Ｊ４，Ｊ５，Ｊ６，Ｊ７周りに独立して回動することができる。

アクチュエーターは、例えば、サーボモーターやエンコーダー１１ａ（図４参照）などを備える。エンコーダーが出力するエンコーダー値は、制御部２０によるロボット１のフィードバック制御などに使用される。また、アクチュエーターには、回転軸を固定する電磁ブレーキが設けられる。

各回転軸を連動させることにより、アーム１１の先端部などに設定された注目位置（「エンドポイント」ともいう。）を、所定の可動範囲内で自在に移動させたり自由な方向へ向けたりすることができる。なお、エンドポイントの位置は、アームの先端部に限定されず、例えば、エンドエフェクターの先端部などに設定されてもよい。

アーム部材１１Ｅの先端（アーム１１の手首部分に相当）には、力覚センサー（図示せず）が設けられている。力覚センサーは、ロボット１が出している力に対する反力として受けている力や、モーメントを検出するセンサーである。力覚センサーとしては、例えば、並進３軸方向の力成分と、回転３軸周りのモーメント成分の６成分を同時に検出することができる６軸力覚センサーを用いることができる。なお、力覚センサーは、６軸に限らず、例えば３軸でもよい。力覚センサーにより、ハンド等にかかる力やモーメントを検出することができる。

なお、ハンド等に加わる力やモーメントを検出する方法は力覚センサーを用いるものに限られない。例えば、アーム１１の各軸トルク値からハンドに及ぼす外力を推定することもできる。したがって、直接又は間接的にハンドに加わる力やモーメントを取得する手段を、アーム１１が有していればよい。

また、アーム部材１１Ｅの先端には、ハンド１１１を着脱自在に設けるための着脱部材１１２を介して、ハンド１１１が設けられる。

ハンド１１１は、本体部１１１Ａと、本体部１１１Ａの先端側に配置された複数本（例えば、２本〜４本の任意の数）のフィンガー１１１Ｂとを有する。本体部１１１Ａは、外形形状がほぼ直方体状をなし、その内部に各フィンガー１１１Ｂを駆動させる駆動機構（図示せず）が設けられる。駆動機構によりフィンガー１１１Ｂ同士を互いに接近させることにより、これらの間で部品等の対象物を挟持することができる。また、駆動機構によりこの挟持状態からフィンガー１１１Ｂ同士を互いに離間させることにより、対象物を解放することができる。

なお、アーム１１は、マニピュレーターの一種ということができる。マニピュレーターは、エンドポイントの位置を移動させる機構であり、アームに限らず様々な形態をとることができる。例えば、一以上のジョイントとリンクとにより構成され、ジョイントを動かすことで全体が動くマニピュレーターであれば、どのような形態でもよい。また、ロボット１に設けられるマニピュレーターの数も２本に限らず、１本あるいは３本以上であってもよい。

なお、ハンド１１１は、エンドエフェクターの一種ということができる。エンドエフェクターは、対象物を把持したり、押し付けたり、持ち上げたり、吊り上げたり、吸着したり、ワークを加工したりするための部材である。エンドエフェクターは、ハンド、フック、吸盤など、様々な形態をとることができる。また、エンドエフェクターは、一本のアームに対して複数設けるようにしてもよい。

上記のような構成を有することにより、ロボット１は、制御部２０の制御の下、例えば、ハンド１１１でワークを把持したり、ハンド１１１をワークに接触させたりすることができる。また、ロボット１は、例えば、ハンド１１１で、ワークに対して様々な方向の力を加えて押し付けたり、ワークに対して様々なモーメントを加えたりすることができる。

上記のロボット１の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、図示した構成例に限らない。また、一般的なロボットが備える構成を排除するものではない。例えば、ジョイントの数（「軸数」ともいう。）やリンクの数を増減させてもよい。また、ジョイント、リンク、ハンド等の各種部材の形状、大きさ、配置、構造等も適宜変更してよい。

また、例えば、制御部２０は、当該制御部２０の機能を実現するロボット制御装置としてロボット１の外部に設けるようにしてもよい。この場合、当該ロボット制御装置は、通信Ｉ／Ｆなどを介してロボット１に接続される。ロボット制御装置とロボットを備えるシステムを、ロボットシステムと呼ぶこともできる。

図４は、ロボット１の機能構成の一例を示す図である。
制御部２０は、入出力制御部２１と、カメラ制御部２２と、エンコーダー制御部２３と、力覚センサー制御部２４と、軌道生成部２５と、アーム制御部２６と、ハンド制御部２７と、を備える。アーム１１は、エンコーダー１１ａと、力覚センサー１１ｂと、を備える。

制御部２０は、ロボット１のアーム１１、ハンド１１１を後述するように制御する。また、制御部２０は、ハンドアイカメラ１１Ｇが出力した画像データに基づき、後述するように電動ドライバーＡ３０に吸着されたねじＡ２０が正しく嵌合しているか否かを判別する。制御部２０は、判別結果に基づき、電動ドライバーＡ３０に吸着されたねじＡ２０が正しく嵌合している場合、ねじＡ２０を、ねじ締めを行う対象物のねじ穴に締め付けるように電動ドライバーＡ３０を制御する。

入出力制御部２１は、タッチパネルモニター１２への出力、タッチパネルモニター１２からの入力を制御する。例えば、入出力制御部２１は、ロボット１の状態、カメラ１５で撮像された画像などを、タッチパネルモニター１２に表示させる。また、例えば、入出力制御部２１は、タッチパネルモニター１２に対するユーザーの操作を受け付ける。

カメラ制御部２２は、カメラ１５やハンドアイカメラ１１Ｇを制御して撮像を行うとともに、撮像した画像を取得する。また、カメラ制御部２２は、取得した画像からワークを抽出する等の画像処理を行う。

エンコーダー制御部２３は、エンコーダー１１ａからエンコーダーの角度等の情報を取得し、アーム制御部２６等に出力する。

力覚センサー制御部２４は、力覚センサー１１ｂで計測された値、例えば力の方向、力の大きさ、モーメントの方向、モーメントの大きさ等の情報を取得する。

軌道生成部２５は、エンドポイントの軌道を生成する。例えば、軌道生成部２５は、カメラ制御部２２が取得した撮像画像に基づいて、エンドポイントの軌道を生成する。具体的には、軌道生成部２５は、カメラ制御部２２が取得した画像からワークの位置を認識し、ワークの位置をロボット座標に置き換える。そして、軌道生成部２５は、現在のエンドポイントのロボット座標を、ワークのロボット座標まで移動させる軌道を生成する。もちろん、ユーザーにより設定された軌道を用いるようにしてもよい。なお、軌道を生成する処理は、一般的な技術を採用することができるため、詳細な説明を省略する。

アーム制御部２６は、軌道生成部２５が生成した軌道と、エンコーダー制御部２３が取得したエンコーダー１１ａの情報と、に基づいてアーム１１を制御する（位置制御）。例えば、アーム制御部２６は、ジョイントの回転角度を示す移動指令をアクチュエーターに出力し、アクチュエーターを駆動する。

また、アーム制御部２６は、力覚センサー制御部２４が取得した力覚センサー１１ｂの情報に基づいてアーム１１を制御する（インピーダンス制御などの力制御）。例えば、アーム制御部２６は、力覚センサー１１ｂにより検出される特定方向の力の大きさが、目標の大きさとなるようにエンドポイントの位置や姿勢を調整する。また、例えば、アーム制御部２６は、力覚センサー１１ｂにより検出される特定のモーメントの大きさが、目標の大きさとなるようにエンドポイントの位置や姿勢を調整する。これにより、ハンド１１１をワークに押し付けるロボット１の動作が実現できる。なお、位置制御や力制御などの処理は、一般的な技術を採用することができるため、詳細な説明を省略する。アーム制御部２６は、位置制御の代わりに、ビジュアルサーボ等を用いてエンドポイントの位置を移動させてもよい。

後に具体例を用いて詳述するが、本実施形態では、例えば、ロボット１は、ある部品にネジ締め作業を行う場合に、当該部品を、位置決め部が設けられたジグ（又は他の部品）の上に載置する。そして、ロボット１は、当該部品をジグ（又は他の部品）に対して、ネジ締め作業時に力を加える方向（ネジを挿入する方向）に垂直な平面方向に押し付けるとともに、ネジ締め作業時に力を加える方向に押し付ける。これにより、より確実に部品が動かないようにする。

ハンド制御部２７は、ハンド１１１を制御する。例えば、ハンド制御部２７は、エンドポイントがワークを把持可能な目標位置に到達した場合に、各フィンガーを互いに接近させる指令値を生成し、ハンド１１１の駆動機構に出力する。

上記の制御部２０は、例えば、ＣＰＵ（Central Processing Unit）等の演算装置と、ＲＡＭ（Random Access Memory）などの主記憶装置と、ＨＤＤ（Hard Disk Drive）等の補助記憶装置と、有線又は無線により通信ネットワークと接続するための通信インターフェイス（Ｉ／Ｆ）と、タッチパネルなどの入力装置と接続する入力Ｉ／Ｆと、表示装置と接続する出力Ｉ／Ｆと、持ち運び可能な記憶媒体に対する情報の読み書きを行う読み書き装置と、を備えるコンピューターで実現することができる。ロボット専用のＡＳＩＣ（Application Specific Integrated Circuit）により実現されてもよい。また、制御部２０は、例えば、演算装置、記憶装置、処理回路、駆動回路などを備えるコントローラー基板等により実現されてもよい。

例えば、制御部２０の各機能は、補助記憶装置などから主記憶装置にロードされた所定のプログラムを演算装置が実行することで実現される。上記の所定のプログラムは、例えば、読み書き装置により読み取られた記憶媒体からインストールされてもよいし、通信Ｉ／Ｆを介してネットワークからインストールされてもよい。

上述したロボット１の機能構成は、ロボット１の構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。ロボット１の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

また、制御部２０と他の構成（アームやハンドなど）との機能及び処理の分担は、図示した例に限らない。例えば、制御部２０の少なくとも一部の機能は、他の構成により実現されてもよい。また、例えば、他の構成の少なくとも一部の機能は、制御部２０により実現されてもよい。

図５は、ロボット１が行う第一の作業例を説明する図である。第一の作業例は、ワークＡ１０に形成されたネジ穴に、ねじＡ２０を挿入してネジ締めを行うものである。ワークＡ１０は、直方体状である。ねじＡ２０のネジ締めには、例えば人間も使用することができる電動ドライバーＡ３０が使用される。ねじＡ２０は、鉄などの金属を含んで構成され、電動ドライバーＡ３０のドライバービットは磁性を帯びている。したがって、電動ドライバーＡ３０のドライバービットにねじＡ２０をセットした状態で、ねじＡ２０を移動させることができる。

次に、電動ドライバーＡ３０にねじＡ２０を吸着し、ねじ締めを行うまでの動作を、図を用いて説明する。
図６は、電動ドライバーＡ３０の先端にねじＡ２０を吸着し、ねじ締めを行うまでの動作のフローチャートである。図７は、電動ドライバーＡ３０の係合部Ａ４５にねじＡ２０が嵌合している一例を説明する図である。

ねじ締めをする際に、ねじ自動供給機（図示せず）を使い電動ドライバーＡ３０の係合部Ａ４５にねじＡ２０を吸着する。その際に、係合部Ａ４５にねじＡ２０が正しく吸着されたかを画像により検査する。係合部Ａ４５は磁化されているため、係合部Ａ４５にねじＡ２０が正しくセットされない場合、図７（Ｂ）に示すように、係合部Ａ４５にねじＡ２０がぶら下がるというＮＧが発生する。図７（Ａ）は、電動ドライバーＡ３０の係合部Ａ４５と、ねじＡ２０が正しく嵌合している状態を示している。

画像検査では、検査対象物（ねじＡ２０）を正確に認識することが必要であるため、検査対象物形状に近い形状があるような複雑な背景で対象物を認識することは困難である。しかし、ロボット１の周りは、人が移動したり、様々な装置が配置されていたりと、複雑な背景となってしまう。そこで、本実施形態ではロボット１を背景として画像検査を実施することで、ロボット周囲が複雑な背景であったとしても、安定した検査を行うことを可能にする。

まず、ステップＳ１０において、制御部２０は、アーム１１を制御して、ねじＡ２０をねじ自動供給機の取り出し部のレールから引き抜く。この動作により、ねじＡ２０は、ねじ自動供給機の取り出し部のレールから抜けて自由な状態になる。ステップＳ１０終了後、ステップＳ２０に進む。

次に、ステップＳ２０において、制御部２０は、電動ドライバーＡ３０を、撮像位置で停止させ、ハンドアイカメラ１１Ｇを用いて電動ドライバーＡ３０のビットＡ４６及び係合部Ａ４５に吸着されたねじＡ２０を撮像する。ステップＳ２０終了後、ステップＳ３０に進む。

図８は、ロボット１が行う２視点の画像検査を説明する図である。図８（Ａ）は一視点の画像検査を説明する図、図８（Ｂ）は他視点の画像検査を説明する図である。
制御部２０は、ロボット１を背景にして、ハンドアイカメラ１１Ｇで撮像するねじＡ２０の画像検査では、以下の２視点（方向）で画像検査している。

例えば、制御部２０は、ねじＡ２０を９０度ずらした２視点から画像検査する。具体的には、一視点では、図８（Ａ）に示すように、制御部２０は、ロボット１の胴部１０を背景としてねじＡ２０の面Ａ４１を画像検査する。他視点では、図８（Ｂ）に示すように、制御部２０は、上記の一視点の状態から、ハンド１１１を４５度回転（図８の紙面に向かって左周り）、ハンドアイカメラ１１Ｇを４５度移動（図８の紙面に向かって右周り）させ、ロボット１のアーム１１を背景としてねじＡ２０の面Ａ４２を画像検査する。

これにより、制御部２０は、図８（Ｃ）に示すように、ねじＡ２０を９０度ずらした２視点（面Ａ４１、面Ａ４２）から画像検査することができる。これによれば、真横からも撮像することで、ねじＡ２０のずれ方向がより正確に認識できる。

なお、他視点では、ビットＡ４６（図７参照）を４５度回転（図８の紙面に向かって左周り）、ハンドアイカメラ１１Ｇを４５度移動（図８の紙面に向かって右周り）させ、ロボット１のアーム１１を背景としてねじＡ２０の面Ａ４２を画像検査してもよい。また、ビットＡ４６を９０度回転（図８の紙面に向かって左周り）させ、ハンドアイカメラ１１Ｇは一視点の状態でロボット１の胴部１０を背景として画像検査してもよい。

また、それぞれの胴部１０及びアーム１１は、面内において予め定められた色であってもよい。例えば、ブルーバックとよばれる青系の色調などが適応可能である。これによれば、予め定められた色であることから、さらに複雑なアルゴリズムを用いることなく画像処理ができる。

また、それぞれの胴部１０及びアーム１１は、面内においてコントラストが均一であってもよい。これによれば、コントラストが均一であることから、さらに複雑なアルゴリズムを用いることなく画像処理ができる。

次に、ステップＳ３０において、制御部２０のカメラ制御部２２は、ハンドアイカメラ１１Ｇが出力した画像データを取得し、取得した画像データをデジタルデータに変換する。

制御部２０は、ハンドアイカメラ１１Ｇが出力する画像データから、公知のテンプレートマッチングなどにより、電動ドライバーＡ３０の係合部Ａ４５に、ねじＡ２０が正しい姿勢で吸着されているか否かを判別する。ねじＡ２０が正しい姿勢で吸着されている場合（ステップＳ３０；Ｙｅｓ）、ステップＳ４０に進む。ねじＡ２０が正しい姿勢で吸着されていない場合（ステップＳ３０；Ｎｏ）、ステップＳ６０に進む。

例えば、予め電動ドライバーＡ３０の係合部Ａ４５にねじＡ２０を正しく吸着して撮影した画像データをテンプレート画像データとして、ロボット１の設計者かロボット１の制御情報の設計者が、予め記憶部に記憶させておく。そして、制御部２０は、テンプレートマッチング法により、記憶されているテンプレート画像データと、ハンドアイカメラ１１Ｇが出力した画像データとの類似度を算出する。制御部２０は、算出した類似度の値の大小に応じて、電動ドライバーＡ３０の係合部Ａ４５に、ねじＡ２０が正しい姿勢で嵌合しているか否かを判別する。

制御部２０は、電動ドライバーＡ３０の係合部Ａ４５とねじＡ２０とのずれ量が、ねじ締めにおいて許容される程度のずれである場合の類似度を予め実験的に求めて、その値をしきい値として設定しておく。そして、制御部２０は、算出した類似度が、予め設定されているしきい値以上である場合は良、それ未満である場合は否と判別する。

このように、電動ドライバーＡ３０の係合部Ａ４５に嵌合しているねじＡ２０を、ハンドアイカメラ１１Ｇで撮影する場合、ロボット１を背景として画像検査を実施することで、ロボット周囲が複雑な背景であったとしても、安定した検査を行うことを可能にする。

次に、ステップＳ４０において、電動ドライバーＡ３０を、ねじ締めを行う位置に進め停止させる。ステップＳ４０終了後、ステップＳ５０に進む。

次に、ステップＳ５０において、制御部２０は、アーム１１が把持する電動ドライバーＡ３０を移動させて、ねじＡ２０を、ねじ締めを行う対象物のねじ穴Ａ４７（図５参照）に押し付ける。押しつけることで、電動ドライバーＡ３０の係合部Ａ４５を回転させるトルクが発生する。このため、制御部２０は、電動ドライバーＡ３０の係合部Ａ４５に嵌合しているねじＡ２０をねじ穴Ａ４７に押しつけることで、ねじ締めを行う。

次に、ステップＳ６０において、ステップＳ３０でねじＡ２０が電動ドライバーＡ３０の係合部Ａ４５と正しく嵌合していない場合、制御部２０は、電動ドライバーＡ３０の係合部Ａ４５よりも大きな磁力を発生させる物体に吸着されているねじＡ２０を近づけて、ねじＡ２０を取り外す。ねじＡ２０を取り外した後、ステップＳ１０に戻る。

また、ねじＡ２０を取り外す方法は上述の方法に限られるものではなく、例えばアーム１１の先端を急加速又は急減速させて、ねじＡ２０にはたらく慣性力が、ねじＡ２０と電動ドライバーＡ３０との間にはたらく摩擦力よりも大きくすることで、ねじＡ２０を取り外してもよい。あるいは、制御部２０は、ステップＳ１０〜Ｓ５０の間、電動ドライバーＡ３０の係合部Ａ４５を磁化し、ステップＳ６０のとき、電動ドライバーＡ３０の係合部Ａ４５を消磁することで、ねじＡ２０を取り外すようにしてもよい。

本実施形態では、予め定められた胴部１０をハンド１１１の撮影の背景とするため、複雑なアルゴリズムを用いることなく画像処理ができる。これにより、画像処理が正確で速くなる。その結果、画像検査においてロボット筐体を背景とすることで、汎用的で安定した検査を実現できる。

なお、上記した実施形態において、撮像部はハンドアイカメラ１１Ｇに限定されず、例えば、ロボット１の外部に設けるようにしてもよい。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に多様な変更又は改良を加えることが可能であることが当業者には明らかである。また、そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。本発明は、ロボットとロボット制御装置（制御部）とを別個に有するロボットシステムとして提供してもよいし、当該ロボットシステムのロボット及びロボット制御装置として提供してもよい。また、本発明は、ロボット等を制御する方法、ロボット等を制御するプログラム、当該プログラムを記憶した記憶媒体として提供することもできる。

１…ロボット１０…胴部１０Ａ…肩領域１０Ｂ…胴部本体１１…アーム１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，１１Ｅ…アーム部材１１Ｇ…ハンドアイカメラ（撮像部）１１ａ…エンコーダー１１ｂ…力覚センサー１２…タッチパネルモニター１３…脚部１４…搬送用ハンドル１５…カメラ１６…信号灯１７…電源スイッチ１７ａ…電源ＯＮスイッチ１７ｂ…電源ＯＦＦスイッチ１８…外部Ｉ／Ｆ部１９…昇降ハンドル２０…制御部２１…入出力制御部２２…カメラ制御部２３…エンコーダー制御部２４…力覚センサー制御部２５…軌道生成部２６…アーム制御部２７…ハンド制御部１１１…ハンド１１１Ａ…本体部１１１Ｂ…フィンガー１１２…着脱部材Ａ１０…ワークＡ２０…ねじ（物体）Ａ３０…電動ドライバー（保持部）Ａ４１…面Ａ４２…面Ａ４５…係合部Ａ４６…ビットＡ４７…ねじ穴Ｊ１，Ｊ２，Ｊ３，Ｊ４，Ｊ５，Ｊ６，Ｊ７…回動軸。

Claims

物体を保持する保持部が配置された第１アームと、
撮像部が配置された第２アームと、
前記第１アームと前記第２アームが接続された胴部と、
を含み、
前記第２アームは、前記胴部を背景として前記保持部及び前記物体を撮像可能な位置に前記撮像部を移動させ、
前記撮像部は、前記撮像可能な位置から前記保持部及び前記物体を撮像することを特徴とするロボット。
請求項１に記載のロボットにおいて、
前記胴部は、予め定められた色であることを特徴とするロボット。
請求項１又は２に記載のロボットにおいて、
前記胴部は、コントラストが均一であることを特徴とするロボット。
請求項１〜３のいずれか一項に記載のロボットにおいて、
前記撮像部は、前記撮像とは前記保持部に対する撮像方向が異なり、前記ロボットの前記第１アームを背景として前記保持部及び前記物体を撮像することを特徴とするロボット。
請求項４に記載のロボットにおいて、
前記撮像方向は、前記物体に対して９０度の関係にある２方向が撮像されることを特徴とするロボット。
請求項４又は５に記載のロボットにおいて、
前記第１アームは、予め定められた色であることを特徴とするロボット。
請求項４〜６のいずれか一項に記載のロボットにおいて、
前記第１アームは、コントラストが均一であることを特徴とするロボット。
請求項１〜７のいずれか一項に記載のロボットにおいて、
前記保持部は、回動することを特徴とするロボット。
請求項８に記載のロボットにおいて、
前記保持部は、ドライバーであり、
前記物体は、前記ドライバーに吸着されたねじであることを特徴とするロボット。
請求項１〜９のいずれか一項に記載のロボットと、
ロボット制御装置と、
を含み、
前記ロボット制御装置は、
前記撮像部で、前記胴部を背景として前記保持部及び前記物体を撮像する制御部を含むことを特徴とするロボットシステム。
物体を保持する保持部が配置された第１アームと、撮像部が配置された第２アームと、前記第１アームと前記第２アームが接続された胴部と、を含むロボットを制御するロボット制御装置であって、
前記第２アームで、前記胴部を背景として前記保持部及び前記物体を撮像可能な位置に前記撮像部を移動させ、前記撮像部で、前記撮像可能な位置から前記保持部及び前記物体を撮像させる制御部を含むことを特徴とするロボット制御装置。