JP6710946B2 - 制御装置、ロボットおよびロボットシステム - Google Patents

Description

本発明は、制御装置、ロボットおよびロボットシステムに関するものである。

従来から、例えば電子部品等の対象物の把持、搬送および組立て等の作業で用いられるロボットシステムが知られている。このようなロボットシステムは、複数のアームを有するロボットアームおよびその先端に設けられたハンドを有するロボットと、カメラ等の撮像部と、ロボットおよび撮像部をそれぞれ制御する制御装置と、を有する。このような構成のロボットシステムは、例えば、撮像部で撮像した対象物の画像を基にして、ロボットがハンドにより対象物に対して各種作業を行う。

ここで、撮像部で撮像した画像を基にして、ロボットが対象物に対して的確に作業を行うためには、撮像部で撮像した対象物の画像上の位置および姿勢をロボット座標系における値に変換するための補正パラメーターを求める撮像部の校正（キャリブレーション）が必要である。

例えば、特許文献１には、ロボット−視覚センサシステム（ロボットシステム）を用いて、画像上の位置をロボット座標系の値に変換するパラメーターを求める処理について記載されている。特許文献１に記載のロボット−視覚センサシステムは、ロボットアームおよびその先端に設けられたタッチアップ用ハンドを有するロボットと、ロボットアームの先端に設けられた視覚センサー（撮像部）と、３つの基準点および４つの参照点を有する平面を備えるキャリブレーション治具と、を有する。

特許文献１に記載の処理では、まず、３つの基準点にタッチアップ用ハンドを接触させることにより、ロボット座標系におけるキャリブレーション治具の位置および姿勢を特定する。その後、ロボットアームを駆動して視覚センサーで４つの参照点を撮像して、撮像部の画像座標系でキャリブレーション治具の位置を特定することによって、画像上の位置をロボット座標系の値に変換するパラメーターを求めている。

特開平８−２１０８１６号公報

しかし、特許文献１に記載の処理では、前述したように、３つの基準点にタッチアップ用ハンドを接触させることにより、ロボット座標系におけるキャリブレーション治具の位置を特定している。このような従来の校正の処理では、一般的に、作業者がキャリブレーション治具とタッチアップ用ハンドとの接触を確認するため、作業者によって接触の判断に差が生じてしまう。そのため、キャリブレーション治具の位置および姿勢を高精度に特定することが難しい。

また、作業者によって接触の判断を正確に行おうとすると、キャリブレーション治具の位置および姿勢の特定に長時間を要するという問題がある。そのため、校正対象であるロボットの数が増えるほど、前記問題が深刻になる。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の本発明により実現することが可能である。

本発明の制御装置は、ロボットアームを有するロボットと、第１基準マーカー、第２基準マーカーおよび第３基準マーカーを撮像することが可能な撮像部とをそれぞれ制御することが可能な制御装置であって、
前記撮像部と、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーとのいずれか一方が前記ロボットに対して設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーのそれぞれとの間の距離を変化させることが可能であり、
前記撮像部で前記第１基準マーカーを撮像した第１画像と、前記撮像部で前記第１基準マーカーとは異なる位置に配置された前記第２基準マーカーを撮像した第２画像と、前記撮像部で前記第１基準マーカーおよび前記第２基準マーカーとは異なる位置に配置された前記第３基準マーカーを撮像した第３画像と、に基づいて、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーを通る平面と平行な基準面の姿勢を求めることを特徴とする。

このような制御装置によれば、撮像部で撮像した画像（第１画像、第２画像および第３画像）を基にして基準面の姿勢を求めることができるため、従来のように、作業者による校正用部材（キャリブレーション治具）への接触の判断によって基準面の姿勢を求めることよりも、人為的な誤差や作業者によるバラツキを低減することができる。また、基準面の姿勢を非接触で求めることができるため、例えば、校正用部材の材質等によって基準面の姿勢が変化することを回避できる。このようなことから、本発明の制御装置によれば、基準面の姿勢を高精度に求めることができる。また、本発明の制御装置によれば、撮像部で撮像した画像を基にして基準面の姿勢を求めることができるため、従来よりも基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記第１画像を撮像した際のロボット座標系における前記ロボットの任意の部位の座標と、前記第２画像を撮像した際の前記ロボット座標系における前記部位の座標と、前記第３画像を撮像した際の前記ロボット座標系における前記部位の座標と、に基づいて前記姿勢を求めることが好ましい。

これにより、ロボットの任意の部位（例えば、軸座標）を含む基準面の姿勢を特定することができる。そのため、基準面でロボットが各種作業を行うことで、ロボットは、撮像部で撮像した画像を基にして各種作業を的確に行うことができる。

本発明の制御装置では、前記第１画像における前記第１基準マーカーの大きさと、前記第２画像における前記第２基準マーカーの大きさと、前記第３画像における前記第３基準マーカーの大きさとに基づいて、前記姿勢を求めることが好ましい。

これにより、撮像部で撮像した画像を基にして基準面の姿勢を的確に求めることができる。

本発明の制御装置では、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーのそれぞれの大きさが、互いに等しい場合、
前記撮像部に、前記第１画像における前記第１基準マーカーの大きさと、前記第２画像における前記第２基準マーカーの大きさと、前記第３画像における前記第３基準マーカーの大きさとが等しくなるように、前記第１画像、前記第２画像および前記第３画像を撮像させることが好ましい。

これにより、撮像部で撮像した画像を基にして基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーが、それぞれ、所定の間隔で配置された複数のマーカーを有する構成であり、
前記第１画像における前記第１基準マーカーが有する前記複数のマーカー同士の第１間隔と、前記第２画像における前記第２基準マーカーが有する前記複数のマーカー同士の第２間隔と、前記第３画像における前記第３基準マーカーが有する前記複数のマーカー同士の第３間隔とに基づいて、前記姿勢を求めることが好ましい。

これにより、第１基準マーカー、第２基準マーカーおよび第３基準マーカーのそれぞれに対して焦点を厳密に合わせる処理をせずとも、基準面の姿勢を求めることができる。

本発明の制御装置では、前記第１基準マーカーの前記第１間隔と、前記第２基準マーカーの前記第２間隔と、前記第３基準マーカーの前記第３間隔とが、等しい場合、
前記撮像部に、前記第１画像における前記第１間隔と、前記第２画像における前記第２間隔と、前記第３画像における前記第３間隔とが等しくなるように、前記第１画像、前記第２画像および前記第３画像を撮像させることが好ましい。

これにより、第１基準マーカー、第２基準マーカーおよび第３基準マーカーのそれぞれに対して焦点を合わせる処理をせずとも、基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記基準面は、前記撮像部の光軸に対して直交していることが好ましい。

これにより、撮像部の光軸に対して直交している基準面に対してロボットが各種作業を行うことで、ロボットは、撮像部で撮像した画像を基にして各種作業を的確に行うことができる。また、撮像部の画像座標系とロボット座標系との関係を求める処理を容易に行うことができる。

本発明の制御装置では、前記第１画像に基づいて求めた前記第１基準マーカーと前記撮像部の撮像基準点との間の第１距離と、前記第２画像に基づいて求めた前記第２基準マーカーと前記撮像基準点との間の第２距離と、前記第３画像に基づいて求めた前記第３基準マーカーと前記撮像基準点との間の第３距離とに基づいて前記姿勢を求めることが好ましい。

これにより、第１基準マーカー、第２基準マーカーおよび第３基準マーカーのそれぞれに対して焦点を合わせる処理をせずとも、基準面の姿勢を求めることができる。

本発明の制御装置では、前記第１距離、前記第２距離および前記第３距離は、等しいことが好ましい。

これにより、第１基準マーカー、第２基準マーカーおよび第３基準マーカーのそれぞれに対して焦点を合わせる処理をせずとも、基準面の姿勢を容易かつ迅速に求めることができる。

本発明の制御装置では、前記基準面の原点を求めることが好ましい。
これにより、基準面の原点を特定することで、作業者が基準面の位置を把握し易くなる。

本発明の制御装置では、前記撮像部は、前記撮像部は、第４基準マーカーを撮像することが可能であり、
前記第１基準マーカーと前記第２基準マーカーとを通る第１直線と、前記第３基準マーカーと前記第４基準マーカーとを通る第２直線とが交差するように配置されている場合、
前記撮像部に、前記第１基準マーカー、前記第２基準マーカー、前記第３基準マーカーおよび前記第４基準マーカーをそれぞれ撮像させ、
前記第１基準マーカーを撮像した際のロボット座標系における前記第１基準マーカーの座標と、前記第２基準マーカーを撮像した際の前記ロボット座標系における前記第２基準マーカーの座標と、前記第３基準マーカーを撮像した際の前記ロボット座標系における前記第３基準マーカーの座標と、前記第４基準マーカーを撮像した際の前記ロボット座標系における前記第４基準マーカーの座標とから前記第１直線および前記第２直線を求め、求めた前記第１直線および前記第２直線に基づいて、前記ロボット座標系における前記基準面の原点を求めることが好ましい。
これにより、基準面の原点を容易に求めることができる。

本発明のロボットは、本発明の制御装置によって制御されることを特徴とする。
このようなロボットによれば、各種作業を的確に行うことができる。

本発明のロボットシステムは、本発明の制御装置と、当該制御装置によって制御されるロボットと、撮像する機能を有する撮像部とを備えることを特徴とする。

このようなロボットシステムによれば、撮像部で撮像した画像を基にしてロボットが各種作業を的確に行うことができる。

本発明の第１実施形態に係るロボットシステムを示す概略斜視図である。 図１に示すロボットの概略図である。 図１に示すロボットシステムのブロック図である。 図１に示すロボットシステムを用いた撮像部の校正方法を示すフローチャートである。 図４に示す撮像部の校正で使用する校正用部材の平面図である。 図４に示す固定カメラの校正を説明するためのロボットの概略図である。 図４に示す固定カメラの校正を説明するためのフローチャートである。 図７に示す基準面を特定する処理を説明するためのフローチャートである。 図８に示す基準面を特定する処理における第１マーカーと第ｎマーカーとの比較を説明するための図である。 図４に示すモバイルカメラの校正を説明するためのフローチャートである。 図１０に示すモバイルカメラの校正を説明するためのロボットの概略図である。 図１０に示す基準面を特定する処理を説明するためのフローチャートである。 図１０に示すオフセット成分を求める処理を説明するためのフローチャートである。 図１３に示すオフセット成分Δｕ、Δｖ、Δｗを求める処理を説明するための図である。 図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための図である。 図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための図である。 図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための図である。 図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための図である。 図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための図である。 図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための座標図である。 図１３に示すオフセット成分Δｚを求める処理を説明するため図である。 本発明の第２実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。 第２実施形態における基準面を特定する処理における第１マーカーと第ｎマーカーとの比較を説明するための図である。 本発明の第３実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。

以下、本発明の制御装置、ロボットおよびロボットシステムを添付図面に示す好適な実施形態に基づいて詳細に説明する。

［第１実施形態］
≪ロボットシステム≫
図１は、本発明の第１実施形態に係るロボットシステムを示す概略斜視図である。図２は、図１に示すロボットの概略図である。図３は、図１に示すロボットシステムのブロック図である。

なお、以下では、説明の都合上、図２中の上側を「上」または「上方」、下側を「下」または「下方」と言う。また、図２中の上下方向を「鉛直方向」とし、その鉛直方向に交差する面を「水平面」とし、水平面に平行な方向を「水平方向」とする。ここで、本願明細書で言う「水平」とは、完全な水平に限定されず、水平に対して５°以下の範囲で傾斜している場合も含む。また、本願明細書で言う「鉛直」とは、完全な鉛直に限定されず、鉛直に対して５°以下の範囲で傾斜している場合も含む。また、図２中に示すロボットの基台側を「基端」、その反対側（ハンド側）を「先端」と言う。

図１に示すロボットシステム１００は、例えば、電子部品および電子機器等の対象物の把持、搬送および組立て等の作業で用いられる装置である。

図１に示すように、ロボットシステム１００は、ロボットアーム１０を有するロボット１と、作業領域９０内に固定された撮像機能を有する固定カメラ２（撮像部）と、ロボット１に取り付けられた撮像機能を有するモバイルカメラ３（撮像部）と、ロボット１、固定カメラ２およびモバイルカメラ３をそれぞれ制御する制御装置５（校正装置）とを、有する。

また、本実施形態では、作業領域９０内に、対象物の組立てを行う作業台６１（組立て台）と、対象物が例えば作業者によって供給される供給台６２とが設けられている。作業台６１および供給台６２は、それぞれ、ロボット１のロボットアーム１０の駆動範囲内に設けられている。

以下、ロボットシステム１００が有する各部を順次説明する。
＜ロボット＞
図１および図２に示すロボット１は、対象物の把持、搬送および組立て等の作業を行うことができる。

ロボット１は、６軸の垂直多関節ロボットであり、基台１０１と、基台１０１に接続されたロボットアーム１０と、ロボットアーム１０の先端部に設けられたハンド１０２（ツール）と、を有する。また、図３に示すように、ロボット１は、ロボットアーム１０を駆動させる動力を発生させる複数の駆動部１３０および複数のモータードライバー１２０を備えている。

基台１０１は、ロボット１を作業領域９０内の所定の箇所に取り付ける部分である。
ロボットアーム１０は、第１アーム１１（アーム）と、第２アーム１２（アーム）と、第３アーム１３（アーム）と、第４アーム１４（アーム）と、第５アーム１５（アーム）と、第６アーム１６（アーム）とを有する。第１アーム１１は、基台１０１に接続されており、第１アーム１１と第２アーム１２と第３アーム１３と第４アーム１４と第５アーム１５と第６アーム１６とは、基端側から先端側に向ってこの順に連結されている。

図２に示すように、第１アーム１１は、基台１０１に連結された回動軸部材１１１を有し、回動軸部材１１１の中心軸を回動中心として基台１０１に対して回動可能となっている。また、第２アーム１２は、第１アーム１１に連結された回動軸部材１２１を有し、回動軸部材１２１の中心軸を回動中心として第１アーム１１に対して回動可能となっている。また、第３アーム１３は、第２アーム１２に連結された回動軸部材１３１を有し、回動軸部材１３１の中心軸を回動中心として第２アーム１２に対して回動可能となっている。また、第４アーム１４は、第３アーム１３に連結された回動軸部材１４１を有し、回動軸部材１４１の中心軸を回動中心として第３アーム１３に対して回動可能となっている。また、第５アーム１５は、第４アーム１４に連結された回動軸部材１５１を有し、回動軸部材１５１の中心軸を回動中心として第４アーム１４に対して回動可能となっている。また、第６アーム１６は、第５アーム１５に連結された回動軸部材１６１を有し、回動軸部材１６１の中心軸Ａ６を回動中心として第５アーム１５に対して回動可能となっている。ここで、中心軸Ａ６と第６アーム１６の先端面との交わる点（第６アーム１６の先端面の中心）を軸座標Ｏ６（所定の部位）という。

ハンド１０２は、第６アーム１６の先端面に取り付けられており、ハンド１０２の中心軸が第６アーム１６の中心軸Ａ６と一致している。ここで、ハンド１０２の先端面の中心をＴＣＰ（ツールセンターポイント）という。本実施形態では、ハンド１０２が有する２つの指の間の領域の中心をいう。

また、各アーム１１〜１６には、それぞれ、サーボモーター等のモーターおよび減速機を有する複数の駆動部１３０が設けられている。すなわち、図３に示すように、ロボット１は、各アーム１１〜１６に対応した数（本実施形態では６つ）の駆動部１３０を有している。そして、各アーム１１〜１６は、それぞれ、対応する駆動部１３０に電気的に接続された複数（本実施形態では６つ）のモータードライバー１２０を介して制御装置５により制御されている。

また、各駆動部１３０には、例えば、エンコーダー、ロータリーエンコーダー等の角度センサー（図示せず）が設けられている。これにより、各駆動部１３０が有するモーターまたは減速機の回転軸の回転角度を検出することができる。

また、図１および図２に示すように、本実施形態では、ロボット１を制御する際に用いられるロボット座標系（ロボット１の座標系）として、水平方向に対してそれぞれ平行なｘｒ軸とｙｒ軸と、水平方向に対して直交し、かつ、鉛直上向きを正方向とするｚｒ軸とによって定まる３次元の直交座標系を設定している。また、ｘｒ軸に対する並進成分を「成分ｘｒ」とし、ｙｒ軸に対する並進成分を「成分ｙｒ」とし、ｚｒ軸に対する並進成分を「成分ｚｒ」とし、ｚｒ軸周りの回転成分を「成分ｕｒ」とし、ｙｒ軸周りの回転成分を「成分ｖｒ」とし、ｘｒ軸周りの回転成分を「成分ｗｒ」とする。成分ｘｒ、成分ｙｒおよび成分ｚｒの長さ（大きさ）の単位は「ｍｍ」であり、成分ｕｒ、成分ｖｒおよび成分ｗｒの角度（大きさ）の単位は「°」である。

＜固定カメラ＞
図１および図２に示す固定カメラ２は、対象物等を撮像する機能を有する。

図２に示すように、固定カメラ２は、複数の画素を有するＣＣＤ（Charge Coupled Device）イメージセンサで構成された撮像素子２１と、レンズ２２（光学系）と、を有している。この固定カメラ２は、対象物等からの光をレンズ２２によって撮像素子２１の受光面２１１（センサー面）で結像させ、光を電気信号に変換して、その電気信号を制御装置５へと出力する。ここで、受光面２１１とは、撮像素子２１の表面であって、光が結像する面である。また、本実施形態では、受光面２１１から光軸ＯＡ２方向に焦点距離だけ進んだ位置を「固定カメラ２の撮像基準点Ｏ２」とする。

このような固定カメラ２は、鉛直方向上方を撮像できるように作業領域９０内の所定の箇所に固定されている。また、本実施形態では、固定カメラ２は、その光軸ＯＡ２（レンズ２２の光軸）が鉛直方向に対してほぼ平行になるように取り付けられている。

また、本実施形態では、固定カメラ２の画像座標系（固定カメラ２から出力される画像の座標系）として、画像の面内方向に対してそれぞれ平行なｘａ軸とｙａ軸とよって定まる２次元の直交座標系を設定している。また、ｘａ軸に対する並進成分を「成分ｘａ」とし、ｙａ軸に対する並進成分を「成分ｙａ」とし、ｘａ−ｙａ平面の法線周りの回転成分を「成分ｕａ」とする。成分ｘａおよび成分ｙａの長さ（大きさ）の単位は「ピクセル」であり、成分ｕａの角度（大きさ）の単位は「°」である。

なお、固定カメラ２の画像座標系は、固定カメラ２のカメラ視野に写る３次元直交座標を、レンズ２２の光学特性（焦点距離、歪みなど）と撮像素子２１の画素数および大きさとを加味して非線形変換した２次元の直交座標系である。

＜モバイルカメラ＞
図１および図２に示すモバイルカメラ３は、対象物等を撮像する機能を有する。

図２に示すように、モバイルカメラ３は、複数の画素を有するＣＣＤ（Charge Coupled Device）イメージセンサで構成された撮像素子３１と、レンズ３２（光学系）と、を有する。このモバイルカメラ３は、対象物等からの光をレンズ３２によって撮像素子３１の受光面３１１（センサー面）で結像させ、光を電気信号に変換して、その電気信号を制御装置５へと出力する。ここで、受光面３１１とは、撮像素子３１の表面であって、光が結像する面である。また、本実施形態では、受光面３１１から光軸ＯＡ３方向に焦点距離だけ進んだ位置を「モバイルカメラ３の撮像基準点Ｏ３」とする。

このようなモバイルカメラ３は、第６アーム１６よりもロボットアーム１０の先端側を撮像できるように第６アーム１６に取り付けられている。また、本実施形態では、設計上、モバイルカメラ３は、その光軸ＯＡ３（レンズ３２の光軸）が第６アーム１６の中心軸Ａ６に対してほぼ平行になるように、第６アーム１６に取り付けられている。また、モバイルカメラ３は、第６アーム１６に取り付けられているため、ロボットアーム１０の駆動により、第６アーム１６と共にその姿勢を変えることができる。

また、本実施形態では、モバイルカメラ３の画像座標系（モバイルカメラ３で出力される画像の座標系）として、画像の面内方向に対してそれぞれ平行なｘｂ軸とｙｂ軸とによって定まる２次元の直交座標系を設定している。また、ｘｂ軸に対する並進成分を「成分ｘｂ」とし、ｙｂ軸に対する並進成分を「成分ｙｂ」とし、ｘｂ−ｙｂ平面の法線周りの回転成分を「成分ｕｂ」とする。成分ｘｂおよび成分ｙｂの長さ（大きさ）の単位は「ピクセル」であり、成分ｕｂの角度（大きさ）の単位は「°」である。

なお、モバイルカメラ３の画像座標系は、モバイルカメラ３のカメラ視野に写る３次元直交座標を、レンズ３２の光学特性（焦点距離、歪みなど）と撮像素子３１の画素数および大きさとを加味して非線形変換した２次元の直交座標系である。

＜制御装置＞
図１に示す制御装置５は、ロボット１、固定カメラ２およびモバイルカメラ３の各部を制御する。この制御装置５は、例えば、ＣＰＵ（Central Processing Unit）やＲＯＭ（read only memory）およびＲＡＭ（Random Access Memory）が内蔵されたパーソナルコンピューター（ＰＣ）等で構成することができる。

図３に示すように、制御装置５は、駆動制御部５１と、情報取得部５２と、処理部５３と、記憶部５４と、を備える。

駆動制御部５１は、ロボット１が有する各アーム１１〜１６の駆動を担う各駆動部１３０の駆動を制御し、各アーム１１〜１６をそれぞれ独立して駆動させたり停止させたりすることができる。例えば、駆動制御部５１は、ハンド１０２を目標位置に移動させるために、各アーム１１〜１６に設けられた各駆動部１３０が有するモーターの目標値を導出する。また、駆動制御部５１は、各駆動部１３０が有する角度センサーから出力された回転角度（検出結果）を基にロボット１をフィードバック制御する。また、駆動制御部５１は、固定カメラ２およびモバイルカメラ３の撮像等を制御したりする。

情報取得部５２は、ロボット１、固定カメラ２およびモバイルカメラ３からそれぞれ出力される検出結果を取得する。検出結果としては、例えば、ロボット１の各駆動部１３０が有するモーターまたは減速機の回転軸の回転角度、固定カメラ２およびモバイルカメラ３でそれぞれ撮像した画像、および、ロボット座標系における軸座標Ｏ６の座標（成分ｘｒ、ｙｒ、ｚｒ、ｕｒ、ｖｒ、ｗｒ：位置および姿勢）等が挙げられる。

処理部５３は、情報取得部５２で取得した検出結果を基にして各種演算や各種判断等の処理を行う。例えば、処理部５３は、固定カメラ２で撮像した画像を基にして固定カメラ２の画像座標系における撮像対象の座標（成分ｘａ、ｙａ、ｕａ：位置および姿勢）を演算したり、モバイルカメラ３で撮像した画像を基にしてモバイルカメラ３の画像座標系における撮像対象の座標（成分ｘｂ、ｙｂ、ｕｂ：位置および姿勢）を演算したりする。また、例えば、処理部５３は、固定カメラ２の画像座標系における対象物の座標をロボット座標系における座標に変換するための補正パラメーターを求めたり、モバイルカメラ３の画像座標系における対象物の座標をロボット座標系における座標に変換するための補正パラメーターを求めたりする。

記憶部５４は、制御装置５が各種処理を行うためのプログラムやデータ等を記憶する。また、記憶部５４は、各種検出結果等を記憶する。

また、図１および図３に示すように、制御装置５には、表示機器４１および操作機器４２が接続されている。

表示機器４１は、液晶表示パネル等の表示パネルで構成されたモニター４１１を有する。作業者は、このモニター４１１を介して、固定カメラ２およびモバイルカメラ３で撮像した画像やロボット１による作業等を確認したりすることができる。

操作機器４２は、キーボードで構成された入力デバイスであり、作業者による操作に応じた操作信号を制御装置５に対して出力する。したがって、作業者は、操作機器４２を操作することで、制御装置５に対して各種処理等の指示を行うことができる。
以上、ロボットシステム１００の基本的な構成について簡単に説明した。

このような構成のロボットシステム１００では、例えば、以下のような作業を行うことができる。

まず、制御装置５の制御により、ロボットアーム１０を駆動させてハンド１０２で対象物を把持する。その後、ロボットアーム１０を駆動させてハンド１０２を固定カメラ２上に移動させる。次いで、固定カメラ２で対象物を撮像して、その固定カメラ２で撮像した画像を基に、制御装置５は、ハンド１０２によって対象物を的確に把持しているか否かを判断する。的確に把持していたら、ロボットアーム１０の駆動によりハンド１０２を作業台６１上に移動させる。そして、モバイルカメラ３で撮像した画像を基にして、ハンド１０２で把持している対象物を作業台６１上に予め配置されていた対象物に対して組み込む。

このような上記作業では、固定カメラ２およびモバイルカメラ３でそれぞれ撮像した対象物の画像を基にして、ロボット１が対象物に対して作業を行う。

このような作業において、固定カメラ２で撮像した画像を基にロボット１が対象物に対して的確に作業を行うためには、固定カメラ２の画像上の座標（画像座標系における位置および姿勢）をロボット座標系における座標に変換するための補正パラメーターを求める処理、すなわち、固定カメラ２の校正（キャリブレーション）が必要である。また、同様に、モバイルカメラ３で撮像した画像を基にロボット１が対象物等に対して的確に作業を行うためには、モバイルカメラ３の画像上の座標（画像座標系における位置および姿勢）をロボット座標系における座標に変換するための補正パラメーターを求める処理、すなわち、モバイルカメラ３の校正（キャリブレーション）が必要である。

以下、ロボットシステム１００を用いた固定カメラ２の校正方法およびモバイルカメラ３の校正方法（以下、これらをまとめて「撮像部の校正方法（キャリブレーション方法）」という）について説明する。

≪撮像部の校正方法（キャリブレーション方法）≫
図４は、図１に示すロボットシステムを用いた撮像部の校正方法を示すフローチャートである。図５は、図４に示す撮像部の校正で使用する校正用部材の平面図である。図６は、図４に示す固定カメラの校正を説明するためのロボットの概略図である。図７は、図４に示す固定カメラの校正を説明するためのフローチャートである。図８は、図７に示す基準面を特定する処理を説明するためのフローチャートである。図９は、図８に示す基準面を特定する処理における第１マーカーと第ｎマーカーとの比較を説明するための図である。図１０は、図４に示すモバイルカメラの校正を説明するためのフローチャートである。図１１は、図１０に示すモバイルカメラの校正を説明するためのロボットの概略図である。図１２は、図１０に示す基準面を特定する処理を説明するためのフローチャートである。図１３は、図１０に示すオフセット成分を求める処理を説明するためのフローチャートである。図１４は、図１３に示すオフセット成分Δｕ、Δｖ、Δｗを求める処理を説明するための図である。図１５、図１６、図１７、図１８および図１９は、それぞれ、図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための図である。図２０は、図１３に示すオフセット成分Δｘ、Δｙを求める処理を説明するための座標図である。図２１は、図１３に示すオフセット成分Δｚを求める処理を説明するため図である。

図４に示すように、本実施形態の撮像部の校正方法では、固定カメラ２の校正（ステップＳ１）を行った後、モバイルカメラ３の校正（ステップＳ２）を行う。

撮像部の校正は、作業者が操作機器４２を用いて制御装置５に撮像部の校正開始の指示をすることにより開始される。そして、作業者が制御装置５に撮像部の校正開始の指示さえすれば、それ以降、撮像部の校正は、ロボットシステム１００により自動的に行われる。なお、この撮像部の校正は、例えば、ロボット１の作業内容等が変わるごとに行われる。

ここで、本実施形態では、図５に示す校正用部材７０（キャリブレーションボード）を用いて撮像部の校正を行う。

校正用部材７０は、四角形の平板状の部材であり、校正用部材７０の表面７０１には、複数のマーカー７５が付されている。複数のマーカー７５は、互いに同じ円形状（形状）であり、互いにほぼ同じ大きさである。また、複数のマーカー７５は、隣り合うマーカー７５同士のピッチ（間隔）が全てほぼ一定になるように配置されている。また、マーカー７５同士のピッチは、予め測定されており、既知である。

これら複数のマーカー７５のうちの図５中の上側に位置するマーカー７５と、図５中の中央部（表面７０１の中央部）に位置するマーカー７５と、図５中の右側に位置するマーカー７５には、それぞれ、マーカー７５を囲む円がさらに付されている。これら３つのマーカー７５とそれを囲む円とで構成された同心円状をなすマーカーのうち、図５中の上側に位置するマーカーを「第１マーカー７１（第１基準点）」とし、図５中の中央部に位置するマーカーを「第２マーカー７２（第２基準点）」とし、図５中の右側に位置するマーカーを「第３マーカー７３（第３基準点）」とする。このような第１マーカー７１、第２マーカー７２および第３マーカー７３は、後述する撮像部の校正の基準面を特定する処理（図７参照）において、基準マーカーとして用いられる。それゆえ、第１マーカー７１、第２マーカー７２および第３マーカー７３は、互いに異なる位置にあり、かつ、第１マーカー７１、第２マーカー７２および第３マーカー７３が同一直線上にない。

なお、複数のマーカー７５、第１マーカー７１、第２マーカー７２および第３マーカー７３の形状は、それぞれ、図示の形状に限定されず、いかなる形状であってもよい。また、マーカー７５、第１マーカー７１、第２マーカー７２および第３マーカー７３は、それぞれ、視認できる形態であればよく、いかなる色であってもよいし、凹凸を有する形態であってもよい。また、複数のマーカー７５、第１マーカー７１、第２マーカー７２および第３マーカーは、異なる形態あってもよい。例えば、複数のマーカー７５、第１マーカー７１、第２マーカー７２および第３マーカー７３は、それぞれ異なる色や形であってもよい。ただし、第１マーカー７１、第２マーカー７２および第３マーカー７３は、基準マーカーとして用いるため、他のマーカー７５との識別力を有する形態であることが好ましい。

このような構成の校正用部材７０は、図６に示すように、作業者による撮像部の校正開始の指示をする前に、予め、ロボット１にハンド１０２で把持させておく。また、本実施形態では、第２マーカー７２が第６アーム１６の中心軸Ａ６上に位置するように、ハンド１０２によって校正用部材７０を把持させる。また、本実施形態では、ロボット座標系における軸座標Ｏ６の座標に対する第２マーカー７２の座標が特定されており、ロボット座標系における第２マーカー７２の座標を求めることができるようになっている。

なお、本実施形態では、前述したように、第２マーカー７２が第６アーム１６の中心軸Ａ６上に位置しているが、ロボット座標系における第２マーカー７２の座標を求めることができるよう設定されていれば、第２マーカー７２が第６アーム１６の中心軸Ａ６上に位置していなくてもよい。

＜固定カメラの校正（ステップＳ１）＞
図４に示すように、作業者による撮像部の校正の開始の指示がなされると、制御装置５は、まず、固定カメラ２の校正（ステップＳ１）を開始する。

図７に示すように、固定カメラ２の校正（ステップＳ１）では、基準面を特定する処理（ステップＳ１１）を行った後、固定カメラ２の画像座標系とロボット座標系との関係を求める処理（ステップＳ１２）を行う。

［基準面を特定する処理（ステップＳ１１）］
以下、基準面を特定する処理（ステップＳ１１）を、図８に示すフローチャートを参照しつつ説明する。

図８に示すように、基準面を特定する処理（ステップＳ１１）が開始すると、まず、制御装置５は、ロボットアーム１０を駆動させて、図６に示すように、校正用部材７０を固定カメラ２に対向させる（ステップＳ１１１）。

次いで、図８に示すように、制御装置５は、ロボットアーム１０を駆動させて、校正用部材７０に付された第２マーカー７２が固定カメラ２の画像の中心部に位置するように校正用部材７０を移動させる（ステップＳ１１２）。

次いで、制御装置５は、固定カメラ２に第２マーカー７２を撮像させる（ステップＳ１１３）。このとき、制御装置５は、固定カメラ２の焦点が第２マーカー７２に合う（合焦する）ように、ロボットアーム１０を駆動させることにより、校正用部材７０を移動させる処理（合焦処理）を行う。なお、この合焦処理は省略しても構わない。

次いで、制御装置５は、固定カメラ２で撮像した第２マーカー７２の画像を「第１画像」として記憶部５４に記憶し、かつ、第１画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する（ステップＳ１１４）。ここで、固定カメラ２における基準面を特定する処理（ステップＳ１１）では、第１画像を撮像した際の第２マーカー７２を「第１基準マーカー」とする。

次に、制御装置５は、ロボットアーム１０を駆動させて、固定カメラ２の画像上においてステップＳ１１２で移動させた位置とは異なる位置に第２マーカー７２が位置するように、校正用部材７０をロボット座標系におけるｘｒ軸、ｙｒ軸およびｚｒ軸に沿って並進移動させる（ステップＳ１１５）。

次いで、制御装置５は、固定カメラ２に第２マーカー７２を撮像させる（ステップＳ１１６）。

次いで、ステップＳ１１６において固定カメラ２で撮像した画像における第２マーカー７２の形状および大きさと、ステップＳ１１４で記憶部５４に記憶した第１画像における第２マーカー７２の形状および大きさとを比較する（ステップＳ１１７）。そして、第２マーカー７２の形状および大きさと、第１画像における第２マーカー７２の形状および大きさとの差が、所定の閾値内であるか否かを判断する（ステップＳ１１８）。

所定の閾値内であると判断した場合（ステップＳ１１８の「Ｙｅｓ」）には、ステップＳ１１１０に移行する。一方、所定の閾値内でないと判断した場合（ステップＳ１１８の「Ｎｏ」）には、所定の閾値内になるようにロボットアーム１０の駆動により校正用部材７０を移動させる（ステップＳ１１９）。例えば、図９に示すように、図９中の２点鎖線で示す第２マーカー７２の大きさ（外形）が、図９中の実線で示す第１画像における第２マーカー７２の大きさ（外形）と異なり、その大きさの差が所定の閾値内でない場合には、所定の閾値内になるようにロボットアーム１０の駆動により校正用部材７０を移動させる。

次に、制御装置５は、所定の閾値内であると判断したら、固定カメラ２で撮像した第２マーカー７２の画像を「第２画像（第ｎ画像）」として記憶部５４に記憶し、かつ、第２画像（第ｎ画像）を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する（ステップＳ１１１０）。ここで、固定カメラ２における基準面を特定する処理（ステップＳ１１）では、第２画像を撮像した際の第２マーカー７２を「第２基準マーカー」とする。なお、第２画像を撮像する際には、ハンド１０２に把持されている校正用部材７０に付された第２マーカー７２は、第１画像を撮像する際における位置と異なる位置にある。

次に、撮像した画像の数ｎが予め設定した所定数（ただし、ｎは整数であって、３≦ｎの関係を満足する数）であるか否かを判断する（ステップＳ１１１１）。所定数であると判断した場合には、ステップＳ１１１２に移行し、所定数未満であると判断した場合には、所定数であると判断されるまで、前述したステップＳ１１５からステップＳ１１１０を繰り返す。

ここで、本実施形態では、画像の数が３になるまで画像を取得すること、すなわち、固定カメラ２で３つの画像（第１画像、第２画像および第３画像）を撮像することを予め設定している。そのため、本実施形態では、固定カメラ２で第２画像を撮像した後に、さらにもう１回、ステップＳ１１５からステップＳ１１１０を行い、ロボットアーム１０の駆動により校正用部材７０を移動させて固定カメラ２で撮像した第２マーカー７２の画像を「第３画像」として記憶部５４に記憶し、かつ、第３画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。ここで、固定カメラ２における基準面を特定する処理（ステップＳ１１）では、第３画像を撮像した際の第２マーカー７２を「第３基準マーカー」とする。なお、第３画像を撮像する際には、ハンド１０２に把持されている校正用部材７０に付された第２マーカー７２は、第１画像を撮像する際における位置および第２画像を撮像する際における位置と異なる位置にあり、それらは同一直線上にない。また、固定カメラ２における基準面を特定する処理（ステップＳ１１）では、第２マーカー７２が「第１基準マーカー、第２基準マーカーおよび第３基準マーカー」を兼ねていると捉えることができる。

次に、画像の数ｎが所定数であると判断したら、処理部５３は、記憶部５４に記憶したｎ個（本実施形態では３つ）のロボット座標系における軸座標Ｏ６の座標を基に、図６に示すような撮像素子２１（３つの異なる箇所に配置された状態の第２マーカー７２を通る平面）に平行な基準面８１の原点およびｘ軸、ｙ軸、ｚ軸の各方向を求める（ステップＳ１１１２）。そして、制御装置５は、ロボット座標系における基準面８１の位置および姿勢、すなわち、基準面８１の成分ｘｒ、ｙｒ、ｚｒ、ｕｒ、ｖｒ、ｗｒを定義する（ステップＳ１１１３）。
以上にて、図７に示す基準面を特定する処理（ステップＳ１１）が終了する。

以上のように、制御装置５によれば、固定カメラ２（撮像部）で撮像した画像（第１画像、第２画像および第３画像）を基にして基準面８１の姿勢を求めることができる。このため、従来のように、作業者によるタッチアップ用ハンドとキャリブレーション治具（校正用部材）との接触を判断する作業を省くことができる。このため、人為的な誤差や、作業者によるバラツキを低減することができ、よって、基準面８１の姿勢を高精度に求めることができる。また、従来のようにタッチアップ用ハンドをキャリブレーション治具に接触させることにより基準面を求めると、キャリブレーション治具の材質等によって求めた基準面の姿勢が異なり、基準面の姿勢を高精度に検出することが難しい。これに対し、本実施形態では、固定カメラ２で撮像した画像を基にして基準面８１の姿勢を求めているので、校正用部材７０に対して接触せずに（非接触で）、基準面８１の姿勢を求めることができる。このため、例えば校正用部材７０の材質等によらず基準面８１の姿勢を高精度に求めることができる。

また、制御装置５によれば、固定カメラ２で撮像した画像を基にして基準面８１の姿勢を求めることができるため、従来よりも基準面８１の姿勢を容易かつ迅速に求めることができる。

また、前述したように、本実施形態では、３つの画像（第１画像、第２画像および第３画像）をそれぞれ撮像した際のロボット座標系における軸座標Ｏ６（所定の部位）の座標を基にして基準面８１を求めている。したがって、基準面８１は軸座標Ｏ６を含む面であるといえる。そのため、基準面８１でロボット１が作業（例えば、ハンド１０２により対象物を的確に把持しているか否かを判断する作業）を行うことで、ロボット１は前記作業を的確に行うことができる。

特に、前述したように、本実施形態では、３つの画像を撮像する際に、合焦処理をしておくことで、ロボット１が基準面８１で対象物の検出、検査、組み立て等の各作業を行えば、ロボット１は各種作業をより高い精度で行うことができる。

なお、予め、軸座標Ｏ６とツールセンターポイントＴＣＰとの間の距離が既知であれば、その距離と、軸座標Ｏ６を含む面である基準面８１とを基にして、ツールセンターポイントＴＣＰを含む面を求めることができる。

また、本実施形態では、軸座標Ｏ６の座標を基にして基準面８１を特定する処理（ステップＳ１１）を行ったが、ツールセンターポイントＴＣＰの座標を基に基準面８１を特定してもよいし、その他のロボットの任意の部位を基に基準面８１を特定してもよい。

また、前述したように、本実施形態では、第１画像における第２マーカー７２の大きさと、第２画像における第２マーカー７２の大きさと、第３画像における第２マーカー７２の大きさとに基づいて、基準面８１の位置および姿勢を求めている。そのため、本実施形態では、各画像における第２マーカー７２の大きさに基づいて基準面８１の位置および姿勢を求めれば、基準面８１の姿勢を的確に求めることができる。

また、各画像における第２マーカー７２の大きさに基づいて基準面８１の位置および姿勢を求めることは、第１画像を取得した際の第２マーカー７２と固定カメラ２の受光面２１１（より具体的には、撮像基準点Ｏ２）との間の距離（第１距離）と、第２画像を取得した際の第２マーカー７２と受光面２１１（撮像基準点Ｏ２）との間の距離（第２距離）と、第３画像を取得した際の第２マーカー７２と受光面２１１（撮像基準点Ｏ２）との間の距離（第３距離）とに基づいて、基準面８１の姿勢を求めていることと同等である。したがって、本実施形態の校正方法によれば、第１距離、第２距離および第３距離の距離に基づいて、基準面８１の姿勢を求めることができる。

［固定カメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ１２）］
次に、図７に示すように、固定カメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ１２）を行う。

制御装置５は、まず、ロボットアーム１０を駆動させて、前述したステップＳ１２で求めた基準面８１内の格子状に配列された任意の９つの基準点（仮想の目標点）にそれぞれ軸座標Ｏ６が位置するように、校正用部材７０を移動させる。すなわち、第２マーカー７２を格子状に配列された９つの箇所に移動させる。このとき、制御装置５は、校正用部材７０を移動させるごとに、固定カメラ２に第２マーカー７２を撮像させる。

ここで、９つの基準点は、全て固定カメラ２の画像の範囲内（撮像領域内）にあり、隣り合う基準点同士の間隔が全て等しくなっているものとする。

次に、制御装置５は、９つの画像に基づいた固定カメラ２の画像座標系における第２マーカー７２の座標（成分ｘａ、ｙａ、ｕａ）と、前述したステップＳ１１で求めたロボット座標系における基準面８１の座標（成分ｘｒ、ｙｒ、ｕｒ）とに基づいて、固定カメラ２の画像座標をロボット座標系における基準面８１の座標に変換する補正パラメーター（座標変換行列）を求める。

このようにして求めた補正パラメーターを用いれば、固定カメラ２で撮像した対象物等の位置および姿勢（具体的には、成分ｘａ、ｙａ、ｕａ）をロボット座標系における値（具体的には、成分ｘｒ、ｙｒ、ｕｒ）に変換することができる。なお、この補正パラメーターは、レンズ２２の歪み等の固定カメラ２の内部パラメーターも加味した値である。

なお、本実施形態では、前述したように、９つの基準点を用いて補正パラメーターを求めたが、補正パラメーターを求めるために用いる基準点の数が多いほど校正の精度は高くなる。
以上にて、図４に示す固定カメラの校正（ステップＳ１）が終了する。

＜モバイルカメラの校正（ステップＳ２）＞
次に、制御装置５は、図４に示すモバイルカメラ３の校正（ステップＳ２）を開始する。

図１０に示すように、モバイルカメラ３の校正（ステップＳ２）では、基準面を特定する処理（ステップＳ２１）、オフセット成分を求める処理（ステップＳ２２）、作業面を特定する処理（ステップＳ２３）、ロボット１にマーカーの位置および姿勢を教示する処理（ステップＳ２４）、および、モバイルカメラ３の画像座標系とロボット座標系との関係を求める処理（ステップＳ２５）を、この順に行う。

［基準面を特定する処理（ステップＳ２１）］
まず、図１１に示すように、基準面を特定する処理（ステップＳ２１）を行う前に、予め、ハンド１０２で把持していた校正用部材７０を作業台６１の作業面６１１上に載置しておく。その後、基準面を特定する処理（ステップＳ２１）を行う。

以下、基準面を特定する処理（ステップＳ２１）を、図１２に示すフローチャートを参照しつつ、その詳細を説明する。

図１２に示すように、基準面を特定する処理（ステップＳ２１）が開始すると、まず、制御装置５は、ロボットアーム１０を駆動させて、図１２に示すように、モバイルカメラ３を校正用部材７０に対向させる（ステップＳ２１１）。

次いで、制御装置５は、ロボットアーム１０を駆動させて、校正用部材７０に付された第１マーカー７１がモバイルカメラ３の画像の中心部に位置するようにモバイルカメラ３を移動させる（ステップＳ２１２）。

次いで、制御装置５は、モバイルカメラ３に第１マーカー７１を撮像させる（ステップＳ２１３）。このとき、制御装置５は、モバイルカメラ３の焦点が第１マーカー７１に合う（合焦する）ようにロボットアーム１０を駆動させることにより、モバイルカメラ３を移動させる処理（合焦処理）を行う。なお、この合焦処理は省略しても構わない。

次いで、制御装置５は、モバイルカメラ３で撮像した第１マーカー７１の画像を「第１画像」として記憶部５４に記憶し、かつ、第１画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する（ステップＳ２１４）。ここで、モバイルカメラ３における基準面を特定する処理（ステップＳ２１）では、第１マーカー７１を「第１基準マーカー」とする。

次に、制御装置５は、ロボットアーム１０を駆動させて、第２マーカー７２がモバイルカメラ３の画像の中心部に位置するようにモバイルカメラ３を並進移動させる（ステップＳ２１５）。

次いで、制御装置５は、モバイルカメラ３に第２マーカー７２（第ｎマーカー）を撮像させる（ステップＳ２１６）。

次いで、ステップＳ２１６においてモバイルカメラ３で撮像した画像における第２マーカー７２の形状および大きさと、ステップＳ２１４で記憶部５４に記憶した第１画像における第１マーカー７１の形状および大きさとを比較する（ステップＳ２１７）。そして、第２マーカー７２の形状および大きさと、第１マーカー７１の形状および大きさとの差が、所定の閾値内であるか否かを判断する（ステップＳ２１８）。

所定の閾値内であると判断した場合（ステップＳ２１８の「Ｙｅｓ」）には、ステップＳ２１１０に移行する。一方、所定の閾値内でないと判断した場合（ステップＳ２１８の「Ｎｏ」）には、所定の閾値内になるようにロボットアーム１０の駆動によりモバイルカメラ３を移動させる（ステップＳ２１９）。

次に、制御装置５は、所定の閾値内であると判断したら、モバイルカメラ３で撮像した第２マーカー７２（第ｎマーカー）の画像を「第２画像（第ｎ画像）」として記憶部５４に記憶し、かつ、第２画像（第ｎ画像）を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する（ステップＳ２１１０）。ここで、モバイルカメラ３における基準面を特定する処理（ステップＳ２１）では、第２マーカー７２を「第２基準マーカー」とする。

次に、撮像した画像の数ｎが予め設定した所定数（ただし、ｎは整数であって、３≦ｎの関係を満足する数）であるか否かを判断する（ステップＳ２１１１）。所定数であると判断した場合には、ステップＳ２１１２に移行し、所定数未満であると判断した場合には、所定数であると判断されるまで、前述したステップＳ２１５からステップＳ２１１０を繰り返す。

ここで、本実施形態では、モバイルカメラ３で３つの画像（第１画像、第２画像および第３画像）を撮像することを予め設定している。そのため、本実施形態では、モバイルカメラ３で第２画像を撮像した後に、さらにもう１回、ステップＳ２１５からステップＳ２１１０を行い、モバイルカメラ３で撮像した第３マーカー７３の画像を「第３画像」として記憶部５４に記憶し、かつ、第３画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。ここで、モバイルカメラ３における基準面を特定する処理（ステップＳ２１）では、第３マーカー７３を「第３基準マーカー」とする。

次に、画像の数ｎが所定数であると判断したら、処理部５３は、記憶部５４に記憶したｎ個（本実施形態では３つ）のロボット座標系における軸座標Ｏ６の座標を基に、図１１に示すような表面７０１（第１マーカー７１、第２マーカー７２および第３マーカー７３を通る平面）に平行な基準面８２の原点およびｘ軸、ｙ軸、ｚ軸の各方向を求める（ステップＳ２１１２）。そして、制御装置５は、ロボット座標系における基準面８２の位置および姿勢、すなわち、基準面８２の成分ｘｒ、ｙｒ、ｚｒ、ｕｒ、ｖｒ、ｗｒを定義する（ステップＳ２１１３）。

以上のように、制御装置５によれば、固定カメラ２における基準面を特定する処理（ステップＳ１１）と同様の効果を発揮することができる。すなわち、モバイルカメラ３（撮像部）で撮像した画像（第１画像、第２画像および第３画像）を用いているため、校正用部材７０に対して接触せずに、基準面８２の姿勢を求めることができ、よって、例えば校正用部材７０の材質等によらず基準面８２の姿勢を高精度に求めることができる。また、従来よりも基準面８２の姿勢を容易かつ迅速に求めることができる。

また、前述したように、本実施形態では、第１画像における第１マーカー７１の大きさと、第２画像における第２マーカー７２の大きさと、第３画像における第２マーカー７２の大きさとに基づいて、基準面８２の位置および姿勢を求めている。そのため、本実施形態では、各画像における第２マーカー７２の大きさに基づいて基準面８２の位置および姿勢を求めれば、基準面８２の姿勢を的確に求めることができる。

また、各画像における第２マーカー７２の大きさに基づいて基準面８２の位置および姿勢を求めることは、第１画像を取得した際の第１マーカー７１とモバイルカメラ３の受光面３１１（より具体的には、撮像基準点Ｏ３）との間の距離（第１距離）と、第２画像を取得した際の第２マーカー７２と受光面３１１（撮像基準点Ｏ３）との間の距離（第２距離）と、第３画像を取得した際の第３マーカー７３と受光面３１１（撮像基準点Ｏ３）との間の距離（第３距離）とに基づいて、基準面８２の姿勢を求めていることと同等である。したがって、本実施形態の校正方法によれば、第１距離、第２距離および第３距離の距離に基づいて、基準面８２の姿勢を求めることができる。

さらに、上述したように、モバイルカメラ３における基準面を特定する処理（ステップＳ２１）では、大きさが互いに等しい第１マーカー７１、第２マーカー７２および第３マーカー７３が付された校正用部材７０を用いて、画像上における第１マーカー７１、第２マーカー７２および第３マーカー７３の大きさが互いに等しくなるように固定カメラ２で第１画像、第２画像および第３画像を撮像している。このように撮像すれば、モバイルカメラ３の焦点距離や画角が既知でなくとも、表面７０１に平行な（モバイルカメラ３の光軸ＯＡ３に対して直交している）基準面８２を求めることができる。

また、第１マーカー７１、第２マーカー７２および第３マーカー７３の大きさが互いに等しくなるようにモバイルカメラ３で第１画像、第２画像および第３画像を撮像することは、互いに距離が等しい第１距離、第２距離および第３距離に基づいて、基準面８２の姿勢を求めていることと同等である。したがって、本実施形態の校正方法によれば、距離が等しい第１距離、第２距離および第３距離に基づいて、モバイルカメラ３の焦点距離や画角が既知でなくとも、表面７０１に平行な基準面８２を容易かつ迅速に求めることができる。

なお、本実施形態では、第１マーカー７１、第２マーカー７２および第３マーカー７３のそれぞれの大きさが互いに等しいが、これらの大きさの関係が既知であれば、これらの大きさはそれぞれ異なっていてもよい。その場合には、第１マーカー７１、第２マーカー７２および第３マーカー７３のそれぞれの大きさの関係に基づいて、第１距離、第２距離および第３距離の距離を求めることで、表面７０１に平行な基準面８２を容易かつ迅速に求めることができる。

［オフセット成分を求める処理（ステップＳ２２）］
次に、オフセット成分を求める処理（ステップＳ２２）を、図１３に示すフローチャートを参照しつつ説明する。

ここで、前述したように、モバイルカメラ３は、設計上、光軸ＯＡ３が第６アーム１６の中心軸Ａ６に対してほぼ平行になるように、第６アーム１６に対してオフセットして取り付けられている。しかし、実際には、その設計上のオフセット成分（第６アーム１６に対するモバイルカメラ３の位置および姿勢）からズレが生じる。このズレは、例えば、モバイルカメラ３の組み付け誤差や、モバイルカメラ３の筐体に対する撮像素子３１の組み付け誤差等により生じる。

そこで、このオフセット成分を求める処理（ステップＳ２２）にて、実際のオフセット成分（第６アーム１６に対するモバイルカメラ３の位置および姿勢）を求める。

以下のオフセット成分を求める処理（ステップＳ２２）では、回動軸部材１６１の軸座標Ｏ６に対するモバイルカメラ３の撮像基準点Ｏ３の位置および光軸ＯＡ３の方向（姿勢）のオフセット成分（Δｘ、Δｘ、Δｙ、Δｕ、Δｖ、Δｗ）を求める。

なお、本実施系形態では、軸座標Ｏ６に対する撮像基準点Ｏ３の位置および光軸ＯＡ３の方向のオフセット成分を求めるが、オフセット成分を求めるにあたり基準とする箇所は、軸座標Ｏ６および撮像基準点Ｏ３に限定されず任意である。

図１３に示すように、オフセットを求める処理（ステップＳ２２）が開始すると、まず、制御装置５は、ロボットアーム１０を駆動させて、モバイルカメラ３に校正用部材７０を検出させる（ステップＳ２２１）。

次に、制御装置５は、モバイルカメラ３の受光面３１１が校正用部材７０の表面７０１に正対するようにロボットアーム１０を駆動させる（ステップＳ２２２）。

次いで、制御装置５は、モバイルカメラ３の受光面３１１に対する校正用部材７０の表面７０１の平行度を検証する（ステップＳ２２３）。そして、制御装置５は、平行度が所定の閾値内であるか否かを判断する（ステップＳ２２４）。

図１４に示すように、平行度は、画像における表面７０１に付された隣り合うマーカー７５同士のピッチＰの差を用いて検証する。例えば、図１４中の実線で示すように、隣り合うマーカー７５同士のピッチＰ１、Ｐ２、Ｐ３、Ｐ４の差がほぼ同じであり、その差が所定の閾値内である場合には、ステップＳ２２５に移行する。一方、図１４中の２点鎖線で示すように、隣り合うマーカー７５同士のピッチＰ１’、Ｐ２’、Ｐ３’、Ｐ４’の差が異なり、その差が所定の閾値を超える場合には、所定の閾値内になるまで、ステップＳ２２１からステップＳ２２４を繰り返す。ここで、所定の閾値内であることは、前述した基準面８２と光軸ＯＡ３とが閾値以内で垂直になっていることを意味する。

次に、制御装置５は、所定の閾値内であると判断したら、所定の閾値内であると判断した際のロボット座標系における軸座標Ｏ６の成分ｕｒ、ｖｒ、ｗｒと、前述した基準面を特定する処理（ステップＳ２１）で求めた際のロボット座標系における基準面８２の成分ｕｒ、ｖｒ、ｗｒとの差からオフセット成分Δｕ、Δｖ、Δｗを求める（ステップＳ２２５）。このオフセット成分Δｕ、Δｖ、Δｗは、軸座標Ｏ６に対する光軸ＯＡ３のオフセット成分Δｕ、Δｖ、Δに相当する。

次に、図１３に示すように、制御装置５は、軸座標Ｏ６に対する撮像基準点Ｏ３のオフセット成分Δｘ、Δｙを求める（ステップＳ２２６）。以下、オフセット成分Δｘ、Δｙを求める方法を図１５〜図２０を参照しつつ説明する。なお、図１５〜図１９は、例えば、ロボット１を鉛直方向上方から見たときのモバイルカメラ３および第６アーム１６を模式的に示している。

具体的には、まず、図１５に示すように、制御装置５は、例えばモバイルカメラ３の画像３０の中心Ｏ３０（重心）に第２マーカー７２が位置するようにロボットアーム１０を駆動させる。この図１５に示すモバイルカメラ３および第６アーム１６の状態を「第１状態」とする。ここで、画像３０の中心Ｏ３０と撮像基準点Ｏ３は一致している。

次いで、図１６に示すように、制御装置５は、ロボットアーム１０を駆動させて第６アーム１６を中心軸Ａ６周りに所定の角度で回動させる。この際の所定の角度は、画像３０外に第２マーカー７２が出ない範囲内（モバイルカメラ３の撮像領域内に収まる範囲内）の所定の角度（例えば１〜１０°程度）とする。この図１６に示すモバイルカメラ３および第６アーム１６の状態を「第２状態」とする。

次いで、図１７に示すように、制御装置５は、ロボットアーム１０を駆動させて、第２マーカー７２が中心Ｏ３０に一致するようにモバイルカメラ３および第６アーム１６をロボット座標系におけるｘｒ軸およびｙｒ軸を含む平面（基準面８２のｘ−ｙ平面）に平行な平面内に並進移動させる。この図１７に示すモバイルカメラ３および第６アーム１６の状態を「第３状態」とする。

このような第１状態から第２状態を経て第３状態となるモバイルカメラ３および第６アーム１６の移動は、図１５に示す第１状態と図１７に示す第３状態とを見ると、撮像中心Ｏ３０（撮像基準点Ｏ３）を通る線分を回動中心軸にして軸座標Ｏ６（第６アーム１６）が回動していることと同等であることが分かる。したがって、図２０に示すように、第１状態から第２状態を経て第３状態となる移動は、中心Ｏ３０（撮像基準点Ｏ３）を通る線分を回動中心軸として軸座標Ｏ６を回動角度θ１０で移動させたことと等しい。それゆえ、回動角度θ１０と、第１状態でのロボット座標系における軸座標Ｏ６の座標と、第３状態でのロボット座標系における軸座標Ｏ６の座標とに基づいて、ロボット座標系における撮像基準点Ｏ３の座標を求める。そして、求めたロボット座標系における撮像基準点Ｏ３の座標と、第１状態および第３状態のいずれか一方のロボット座標系における軸座標Ｏ６の座標とから、軸座標Ｏ６に対する撮像基準点Ｏ３の仮オフセット成分Δｘ’、Δｙ’を求める。

次いで、図１８に示すように、制御装置５は、第２マーカー７２が画像３０外に出ないように仮オフセット成分Δｘ’、Δｙ’を基にしてロボットアーム１０を駆動させ、撮像基準点Ｏ３（中心Ｏ３０）を通る線分を回動中心軸として軸座標Ｏ６を所定の角度で回動させる。この図１８に示すモバイルカメラ３および第６アーム１６の状態を「第４状態」とする。

次に、図１９に示すように、制御装置５は、ロボットアーム１０の駆動によりモバイルカメラ３および第６アーム１６をロボット座標系におけるｘｒ軸およびｙｒ軸を含む平面（基準面８２のｘ−ｙ平面）に平行な平面内に並進移動させ、画像３０の中心Ｏ３０に第２マーカー７２を位置させる。この図１９に示すモバイルカメラ３および第６アーム１６の状態を「第５状態」とする。

このような第１状態から第２状態、第３状態および第４状態を経て第５状態となるモバイルカメラ３および第６アーム１６の移動は、図１５に示す第１状態と図１９に示す第５状態とを見ると、中心Ｏ３０（撮像基準点Ｏ３）を通る線分を回動中心軸にして軸座標Ｏ６を回動させていることと同等であることが分かる。したがって、図２０に示すように、第１状態から第２状態、第３状態および第４状態を経て第５状態となる移動は、中心Ｏ３０（撮像基準点Ｏ３）を通る線分を回動中心軸として軸座標Ｏ６を回動角度θ１で移動させたことと等しい。それゆえ、回動角度θ１と、第１状態でのロボット座標系における軸座標Ｏ６の座標と、第５状態でのロボット座標系における軸座標Ｏ６の座標とに基づいて、ロボット座標系における撮像基準点Ｏ３の座標を求める。そして、求めたロボット座標系における撮像基準点Ｏ３の座標と、第１状態および第５状態のいずれか一方のロボット座標系における軸座標Ｏ６の座標とから、軸座標Ｏ６に対する撮像基準点Ｏ３のオフセット成分Δｘ、Δｙを求める。

このような処理によれば、軸座標Ｏ６に対する撮像基準点Ｏ３のオフセット成分Δｘ、Δｙを容易かつ高精度に求めることができる。

また、前述したように、本実施形態では、第１状態から第２状態を経て第３状態に移行する処理を行うことにより、仮オフセット成分Δｘ’、Δｙ’を算出している。すなわち、第２マーカー７２がモバイルカメラ３の画像３０内（撮像領域内）に収まる範囲内の微小な角度で、第６アーム１６を中心軸Ａ６周りに回動させる処理を行うことで、仮オフセット成分Δｘ’、Δｙ’を算出している。このような仮オフセットΔｘ’、Δｙ’の情報を用いて第３状態から第４状態への移動を行うことで、第４状態において第２マーカー７２を確実に画像３０内に写すことができる。

次に、図１３に示すように、制御装置５は、軸座標Ｏ６に対する撮像基準点Ｏ３のオフセット成分Δｚを求める（ステップＳ２２７）。以下、オフセット成分Δｚを求める方法を、図２１を参照しつつ説明する。なお、図２１は、オフセット成分Δｚを求める際のモバイルカメラ３および第６アーム１６の過程を図示しており、説明の便宜上、図２１中の実線で示すモバイルカメラ３が、「設計上のモバイルカメラ３」の位置を示しており、図２１中の点線で示すモバイルカメラ３’が、「実際のモバイルカメラ３」の位置を示している。

図２１に示すように、まず、制御装置５は、例えば第２マーカー７２がモバイルカメラ３’の画像の中心に写るようにロボットアーム１０を駆動させて、図２１に示す状態Ａとする。次いで、制御装置５は、モバイルカメラ３’で第２マーカー７２を撮像して、図２１に示すモバイルカメラ３の受光面３１１と第２マーカー７２との間の距離Ｈを求める。

ここで、本実施形態では、モバイルカメラ３の焦点距離は予め求められていて、既知である。このため、距離Ｈは、例えば、モバイルカメラ３の焦点距離と、モバイルカメラ３の画像におけるマーカー７５同士のピッチの長さ「ピクセル」と、実際のマーカー７５同士のピッチ「ｍｍ」とから算出することができる。

なお、モバイルカメラ３の焦点距離は、例えば、校正用部材７０のマーカー７５を写しながら、モバイルカメラ３を光軸ＯＡ３方向（ｚｒ方向）へ微小量だけ動かした場合における動作前後での、画像上のマーカー７５同士のピッチの長さ「ピクセル」と、実際のマーカー７５同士のピッチ「ｍｍ」とから求めることも可能である。

次いで、図２１中の状態Ｂに示すように、制御装置５は、ロボットアーム１０を駆動させて、モバイルカメラ３’を設計上のオフセット成分Δｚを基に角度θ２だけ傾ける。

次いで、図２１中の状態Ｃに示すように、制御装置５は、ロボットアーム１０を駆動させて、状態Ｂのモバイルカメラ３’の姿勢を保ったまま、第２マーカー７２がモバイルカメラ３’の画像の中心に写るようにモバイルカメラ３’をロボット座標系におけるｘｒ軸およびｙｒ軸を含む平面（基準面８２のｘ−ｙ平面）に平行な面内に並進移動させる。そして、制御装置５は、このときのロボット座標系における軸座標Ｏ６の移動距離Ｘ’（具体的には、設計上のオフセット成分Δｚに基づく、基準面８２のｘ−ｙ平面に平行な面内での撮像基準点Ｏ３の移動距離）を求める。

次いで、制御装置５は、下記の式（１）より、モバイルカメラ３’の実際のオフセット成分Δｚを求めるための補正量ΔＨを求める。

次いで、制御装置５は、補正量ΔＨと設計上のオフセット成分Δｚとを基に、実際のオフセット成分Δｚを求める。

このようにして、オフセット成分Δｚを求めることができる。このような処理によれば、オフセット成分Δｚを容易に算出することができる。

次に、図１３に示すように、制御装置５は、設計上のオフセット成分から、求めた実際のオフセット成分Δｘ、Δｙ、Δｚ、Δｕ、Δｖ、Δｗにデータを更新する（ステップＳ２２８）。
以上にて、図１０に示すオフセットを求める処理（ステップＳ２２）が終了する。

［作業面を特定する処理（ステップＳ２３）］
次に、図１０に示すように、作業面を特定する処理（ステップＳ２３）を行う。作業面を特定する処理（ステップＳ２３）は、ロボット座標系における作業面６１１の位置および姿勢、すなわち、作業面６１１の成分ｘｒ、ｙｒ、ｚｒ、ｕｒ、ｖｒ、ｗｒを求める処理である。

ここで、作業面６１１は、基準面８２に対して平行であり、基準面８２の法線方向（ｚｒ方向）にオフセットした位置にある。このため、この作業面を特定する処理（ステップＳ２３）では、作業面６１１の基準面８２に対する法線方向（ｚｒ方向）のオフセット量を決定することにより、作業面６１１の成分ｘｒ、ｙｒ、ｚｒ、ｕｒ、ｖｒ、ｗｒを求めることができる。

作業面６１１の基準面８２に対する法線方向（ｚｒ方向）のオフセット量は、予め求めておいたモバイルカメラ３の焦点距離と、校正用部材７０の隣り合うマーカー７５のピッチの値（実寸）に対するモバイルカメラ３の画素数と、前述した実際のオフセット成分とに基づいて求めることができる。

このようにしてロボット座標系における作業面６１１の位置および姿勢を求めることで、ロボット１は作業面６１１上に載置された対象物に対して高精度に作業を行うことができる。

［ロボットにマーカーの位置および姿勢を教示する処理（ステップＳ２４）］
次に、図１０に示すように、ロボット１にマーカーの位置および姿勢を教示する処理（ステップＳ２４）を行う。

ここでは、例えば、基準面８２（または作業面６１１）のｘ−ｙ平面における第２マーカー７２のロボット座標をロボット１に教示する。

具体的には、まず、制御装置５は、前述したオフセット成分を求める処理（ステップＳ２２）にて算出した軸座標Ｏ６に対する撮像基準点Ｏ３の位置および光軸ＯＡ３の方向のオフセット成分を基にして、基準面８２のｚ軸にモバイルカメラ３の光軸ＯＡ２を揃える。その後、制御装置５は、ロボットアーム１０の駆動により、基準面８２のｘ−ｙ平面に平行な面内にモバイルカメラ３を並進移動させ、第２マーカー７２をモバイルカメラ３の画像中心に合わせる。そして、制御装置５は、第２マーカー７２をモバイルカメラ３の画像中心に合わた際のモバイルカメラ３の撮像基準点Ｏ３の位置を第２マーカー７２のロボット座標として教示する。

なお、例えば、軸座標Ｏ６におけるオフセットが既知である教示専用ツール（タッチアップ用ハンド）を第２マーカー７２に接触させることにより、ロボット１に第２マーカー７５の位置および姿勢を教示してもよい。ただし、モバイルカメラ３で第２マーカー７２の画像を撮像することにより、ロボット１に第２マーカー７２の位置および姿勢を教示する方が、例えば校正用部材７０の材質等によらずに第２マーカー７２を高精度に教示することができるため、好ましい。

［モバイルカメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ２５）］
次に、図１０に示すように、モバイルカメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ２５）を行う。

モバイルカメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ２５）は、前述した固定カメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ１２）と、作業面６１１上に配置された校正用部材７０を用いて基準面を特定すること、および、ロボットアーム１０を駆動させて、作業面６１１上に配置された校正用部材７０の第２マーカー７２（ロボット座標が既知であるマーカー）を、モバイルカメラ３を９箇所に移動させながら９回撮像すること以外は、同様である。

したがって、モバイルカメラ３の画像座標系とロボット座標系との関係を求める処理（ステップＳ２５）が終了すると、９つの画像に基づいたモバイルカメラ３の画像座標系における第２マーカー７２の座標（成分ｘｂ、ｙｂ、ｕｂ）と、前述したステップＳ２１で求めたロボット座標系における基準面８２の座標（成分ｘｒ、ｙｒ、ｕｒ）とに基づいて、固定カメラ２の画像座標をロボット座標系における基準面８２の座標に変換する補正パラメーター（座標変換行列）を求めることができる。

このようにして求めた補正パラメーターを用いれば、モバイルカメラ３で撮像した対象物等の位置および姿勢（具体的には、成分ｘｂ、ｙｂ、ｕｂ）をロボット座標系における値（具体的には、成分ｘｒ、ｙｒ、ｕｒ）に変換することができる。

なお、前述したように、モバイルカメラの画像座標系とロボット座標系との関係を求める処理（ステップＳ２５）は、前述した固定カメラ２の画像座標系とロボット座標系との関係を求める処理（ステップＳ１２）とほぼ同様であるため、その詳細な説明（処理内容および効果）を省略する。
以上により、図４に示す撮像部の校正が終了する。

このような撮像部の校正方法によれば、固定カメラ２およびモバイルカメラ３でそれぞれ撮像した画像を基にして基準面８１、８２の姿勢を求めることができるため、従来のように作業者による判断を省くことができる。そのため、人為的な誤差や、作業者によるバラツキを低減することができ、よって、高精度な校正ができる。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。

図２２は、本発明の第２実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。図２３は、第２実施形態における基準面を特定する処理における第１マーカーと第ｎマーカーとの比較を説明するための図である。

本実施形態に係るロボットシステムを用いた撮像部の校正方法は、校正用部材の構成、および、基準面を特定する処理の一部が異なること以外は、前述した第１実施形態と同様である。

なお、以下の説明では、第２実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図２２および図２３では、それぞれ、前述した実施形態と同様の構成について、同一符号を付している。

図２２に示す校正用部材７０Ａの表面７０１Ａには、複数のマーカー７５が付されている。これら複数のマーカー７５のうちの図２２中の左側に位置する９つのマーカー７５と、図２２中の右側に位置する９つのマーカー７５と、図２２中の下側に位置する９つのマーカー７５と、図２２中の上側に位置する９つのマーカー７５とには、それぞれ、９つのマーカー７５を囲む四角形の枠がさらに付されている。これら９つのマーカー７５とそれを囲む四角形の枠とで構成されたマーカーのうち、図２２中の左側に位置するマーカーを「第１マーカー７６」とし、図２２中の右側に位置するマーカーを「第２マーカー７７」とし、図２２中の下側に位置するマーカーを「第３マーカー７８」とし、図２２中の上側に位置するマーカーを「第４マーカー７９」とする。このような第１マーカー７６、第２マーカー７７、第３マーカー７８および第４マーカー７９は、それぞれ、基準マーカーとして用いられる。

［基準面を特定する処理（ステップＳ１１）］
本実施形態では、図８に示すステップＳ１１４において、固定カメラ２で撮像した第２マーカー７７の画像を「第１画像」として記憶部５４に記憶し、かつ、第１画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。

また、ステップＳ１１７において、ステップＳ１１６で固定カメラ２が撮像した第２マーカー７７が有する複数のマーカー７５同士のピッチＰと、記憶部５４に記憶した第１画像における第２マーカー７７が有する複数のマーカー７５同士のピッチＰとを比較する。例えば、図２３に示すように、図２３中の２点鎖線で示す第２マーカー７７（第ｎマーカー）が有する複数のマーカー７５同士のピッチＰが、図２３中の実線で示す第１画像における第２マーカー７７が有する複数のマーカー７５同士のピッチＰと異なり、そのピッチＰの差が所定の閾値内でない場合には、所定の閾値内になるようにロボットアーム１０の駆動により校正用部材７０をｚｒ軸方向に並進移動させる（ステップＳ１１９）。

次いで、制御装置５は、ピッチＰの差が所定の閾値内であると判断したら、ステップＳ１１１０において、固定カメラ２で撮像した第２マーカー７７の画像を「第２画像（第ｎ画像）」として記憶部５４に記憶し、かつ、第２画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。

ここで、本実施形態では、固定カメラ２で３つの画像（第１画像、第２画像および第３画像）を撮像することを予め設定している。そのため、本実施形態では、固定カメラ２で第２画像を撮像した後に、さらにもう２回、ステップＳ１１５からステップＳ１１１０を行い、ロボットアーム１０の駆動により校正用部材７０を移動させ、固定カメラ２で撮像した第２マーカー７７の画像を「第３画像」として記憶部５４に記憶し、かつ、第３画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。

このように、本実施形態では、第１画像における第２マーカー７７が有するマーカー７５同士のピッチ（第１間隔）と、第２画像における第２マーカー７７が有するマーカー７５同士のピッチ（第２間隔）と、第３画像における第２マーカー７７が有するマーカー７５同士のピッチ（第３間隔）と、が互いに等しくなるように第１画像、第２画像および第３画像を撮像している。これにより、各画像におけるマーカー７５同士のピッチに基づいて、基準面８１の姿勢を求めることができる。ここで、第１実施形態のように、各画像上の第２マーカー７７の大きさを用いる方法では、固定カメラ２の合焦度合により画像上の第２マーカー７７の大きさが変化しやすい。これに対し、本実施形態のように、マーカー７５同士のピッチ（マーカー７５の重心間の距離）を用いる方法によれば、合焦度合によらず、基準面８１をより正確に求めることができる。

［基準面を特定する処理（ステップＳ２１）］
本実施形態では、図１２に示すステップＳ２１４において、モバイルカメラ３で撮像した第１マーカー７６の画像を「第１画像」として記憶部５４に記憶し、かつ、第１画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。

また、ステップＳ２１７において、ステップＳ２１６でモバイルカメラ３が撮像した第２マーカー７７が有する複数のマーカー７５同士のピッチＰと、記憶部５４に記憶した第１画像における第１マーカー７６が有する複数のマーカー７５同士のピッチＰとを比較する。ピッチＰの差が所定の閾値内でない場合には、所定の閾値内になるようにロボットアーム１０の駆動によりモバイルカメラ３を校正用部材７０に対してｚｒ軸方向に並進移動させる（ステップＳ２１９）。

次いで、制御装置５は、ピッチＰの差が所定の閾値内であると判断したら、ステップＳ２１１０において、モバイルカメラ３で撮像した第２マーカー７７の画像を「第２画像（第ｎ画像）」として記憶部５４に記憶し、かつ、第２画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。

ここで、本実施形態では、固定カメラ２で４つの画像（第１画像、第２画像、第３画像および第４画像）を撮像することを予め設定している。そのため、本実施形態では、固定カメラ２で第２画像を撮像した後に、さらにもう２回、ステップＳ２１５からステップＳ２１１０を行う。したがって、本実施形態では、モバイルカメラ３で撮像した第３マーカー７８の画像を「第３画像」として記憶部５４に記憶し、かつ、第３画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。また、モバイルカメラ３で撮像した第４マーカー７９の画像を「第４画像」として記憶部５４に記憶し、かつ、第４画像を撮像した際のロボット座標系における軸座標Ｏ６の座標を記憶部５４に記憶する。ここで、本実施形態におけるモバイルカメラ３における基準面を特定する処理（ステップＳ２１）では、第４マーカー７９を「第４基準マーカー」とする。

このように、本実施形態では、第１画像における第１マーカー７６が有するマーカー７５同士のピッチ（第１間隔）と、第２画像における第２マーカー７７が有するマーカー７５同士のピッチ（第２間隔）と、第３画像における第３マーカー７８が有するマーカー７５同士のピッチ（第３間隔）と、第４画像における第４マーカー７９が有するマーカー７５同士のピッチ（第４間隔）と、が互いに等しくなるように第１画像、第２画像、第３画像および第４画像を撮像している。これにより、各画像におけるマーカー７５同士のピッチに基づいて、基準面８１の姿勢を求めることができる。

また、第１間隔、第２間隔、第３間隔および第４間隔が等しい校正用部材７０Ａを用いて、第１画像における第１間隔、第２画像における第２間隔、第３画像における第３間隔および第４画像における第４間隔が等しくなるように第１画像、第２画像、第３画像および第４画像を撮像することで、表面７０１に平行な基準面８２を容易かつ迅速に求めることができる。

なお、本実施形態では、第１間隔、第２間隔、第３間隔および第４間隔が全て等しいが、これらの間隔（ピッチ）の関係が既知であれば、これらの間隔（ピッチ）はそれぞれ異なっていてもよい。その場合には、第１間隔、第２間隔、第３間隔および第４間隔のそれぞれの間隔（ピッチ）の関係に基づいて、表面７０１に平行な基準面８２を求めることができる。

また、図２２に示すように、校正用部材７０Ａに付された第１マーカー７６、第２マーカー７７、第３マーカー７８および第４マーカー７９は、第１マーカー７６と第２マーカー７７とを通る第１直線７ＸＡと、第３マーカー７８と第４マーカー７９とを通る第２直線７ＹＡとが交差するように配置されている。したがって、第１画像を撮像した際のロボット座標系における第１マーカー７６の座標と第２画像を撮像した際のロボット座標系における第２マーカー７７の座標とから第１直線７ＸＡを求め、第３画像を撮像した際のロボット座標系における第３マーカー７８の座標と第４画像を撮像した際のロボット座標系における第４マーカー７９の座標とから第２直線７ＹＡを求め、求めた第１直線７ＸＡおよび第２直線７ＹＡに基づいて、基準面８２の原点７０Ｏおよびｘ軸、ｙ軸、ｚ軸の各方向を求めることができる。このように基準面８２の原点７０Ｏおよびｘ軸、ｙ軸、ｚ軸の各方向を特定することで、作業者が基準面８２の位置を把握し易くなる。

＜第３実施形態＞
次に、本発明の第３実施形態について説明する。

図２４は、本発明の第３実施形態に係るロボットシステムを用いた撮像部の校正で使用する校正用部材の平面図である。

本実施形態に係るロボットシステムを用いた撮像部の校正方法は、校正用部材の構成が異なること以外は、前述した第１実施形態と同様である。

なお、以下の説明では、第３実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図２４では、それぞれ、前述した実施形態と同様の構成について、同一符号を付している。

図２４に示す校正用部材７０Ｂの表面７０１Ｂには、第１マーカー７１Ｂ、第２マーカー７２Ｂおよび第３マーカー７３Ｂが付されている。

このような３つの第１マーカー７１Ｂ、第２マーカー７２Ｂおよび第３マーカー７３Ｂが付された校正用部材７０Ｂによっても、前述した第２実施形態におけるモバイルカメラ３の基準面を特定する処理（ステップＳ２１）と同様に、第１画像を撮像した際のロボット座標系における第１マーカー７１Ｂの座標と第２画像を撮像した際のロボット座標系における第２マーカー７２Ｂの座標とから第１直線７ＸＢを求め、第１画像を撮像した際のロボット座標系における第１マーカー７１Ｂの座標と第３画像を撮像した際のロボット座標系における第３マーカー７３Ｂの座標とから第２直線７ＹＢを求める。そして、第１マーカー７１Ｂを原点とした基準面８２のｘ軸、ｙ軸、ｚ軸の各方向を求めることができる。

以上、本発明の制御装置、ロボットおよびロボットシステムを、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物が付加されていてもよい。また、本発明は、前記各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。

また、前記実施形態では、６軸の垂直多関節ロボットを用いた場合を例に説明したが、本発明におけるロボットは、垂直多関節ロボット以外のロボット、例えば水平多関節ロボット等であってもよい。なお、水平多関節ロボットとは、例えば、基台と、基台に接続され、水平方向に延びている第１アームと、第１アームに接続され、水平方向に延びる部分を有する第２アームとを有する構成である。また、本発明におけるロボットが水平多関節ロボットである場合、前述したような校正を行うことで、例えば、ロボットが作業面に対して平行に設置されているか否かや、固定カメラの光軸がロボット座標系におけるｘｒ軸およびｙｒ軸を含む面に対して鉛直になるように固定カメラが設置されているか否か等を把握することができる。

また、前記実施形態では、ロボットが有するロボットアームの回動軸の数は、６つであるが、本発明では、これに限定されず、ロボットアームの回動軸の数は、例えば、２つ、３つ、４つ、５つまたは７つ以上でもよい。また、前記実施形態では、ロボットが有するアームの数は、６つであるが、本発明では、これに限定されず、ロボットが有するアームの数は、例えば、２つ、３つ、４つ、５つ、または、７つ以上でもよい。

また、前記実施形態では、ロボットが有するロボットアームの数は、１つであるが、本発明では、これに限定されず、ロボットが有するロボットアームの数は、例えば、２つ以上でもよい。すなわち、ロボットは、例えば、双腕ロボット等の複数腕ロボットであってもよい。

また、前記実施形態では、撮像部としての固定カメラおよびモバイルカメラは、それぞれ、撮像素子およびレンズを有する構成であったが、本発明における撮像部は、第１マーカー、第２マーカーおよび第３マーカーを撮像することができる構成であればいかなる構成であってもよい。

また、前記実施形態では、校正用部材を用いて固定カメラの校正を行ったが、固定カメラの校正では、校正用部材を用いなくてもよい。校正用部材を用いない場合には、例えば、ロボットアームの先端部（軸座標）に１つのマーカーを付して、その１つのマーカーを基準マーカーとして用いればよい。この場合には、１つのマーカーを「第１基準マーカー、第２基準マーカーおよび第３基準マーカー」と捉える。

１…ロボット、２…固定カメラ、３…モバイルカメラ、３'…モバイルカメラ、５…制御装置、７ＸＡ…第１直線、７ＸＢ…第１直線、７ＹＡ…第２直線、７ＹＢ…第２直線、１０…ロボットアーム、１１…第１アーム、１２…第２アーム、１３…第３アーム、１４…第４アーム、１５…第５アーム、１６…第６アーム、２１…撮像素子、２２…レンズ、３０…画像、３１…撮像素子、３２…レンズ、４１…表示機器、４２…操作機器、５１…駆動制御部、５２…情報取得部、５３…処理部、５４…記憶部、６１…作業台、６２…供給台、７０…校正用部材、７０Ａ…校正用部材、７０Ｂ…校正用部材、７１…第１マーカー、７１Ｂ…第１マーカー、７２…第２マーカー、７２Ｂ…第２マーカー、７３…第３マーカー、７３Ｂ…第３マーカー、７５…マーカー、７６…第１マーカー、７７…第２マーカー、７８…第３マーカー、７９…第４マーカー、７０Ｏ…原点、８１…基準面、８２…基準面、９０…作業領域、１００…ロボットシステム、１０１…基台、１０２…ハンド、１１１…回動軸部材、１２０…モータードライバー、１２１…回動軸部材、１３０…駆動部、１３１…回動軸部材、１４１…回動軸部材、１５１…回動軸部材、１６１…回動軸部材、２１１…受光面、３１１…受光面、４１１…モニター、６１１…作業面、７０１…表面、７０１Ａ…表面、７０１Ｂ…表面、Ａ…状態、Ａ６…中心軸、Ｂ…状態、Ｃ…状態、Ｈ…距離、Ｏ２…撮像基準点、Ｏ３…撮像基準点、Ｏ３０…中心、Ｏ６…軸座標、ＯＡ２…光軸、ＯＡ３…光軸、Ｐ…ピッチ、Ｐ１、Ｐ２、Ｐ３、Ｐ４…ピッチ、Ｐ１'、Ｐ２'、Ｐ３'、Ｐ４'…ピッチ、Ｓ１…ステップ、Ｓ１１…ステップ、Ｓ１１１…ステップ、Ｓ１１１０…ステップ、Ｓ１１１１…ステップ、Ｓ１１１２…ステップ、Ｓ１１１３…ステップ、Ｓ１１２…ステップ、Ｓ１１３…ステップ、Ｓ１１４…ステップ、Ｓ１１５…ステップ、Ｓ１１６…ステップ、Ｓ１１７…ステップ、Ｓ１１８…ステップ、Ｓ１１９…ステップ、Ｓ１２…ステップ、Ｓ２…ステップ、Ｓ２１…ステップ、Ｓ２２…ステップ、Ｓ２２１…ステップ、Ｓ２２２…ステップ、Ｓ２２３…ステップ、Ｓ２２４…ステップ、Ｓ２２５…ステップ、Ｓ２２６…ステップ、Ｓ２２７…ステップ、Ｓ２２８…ステップ、Ｓ２３…ステップ、Ｓ２４…ステップ、Ｓ２５…ステップ、Ｓ２１１…ステップ、Ｓ２１２…ステップ、Ｓ２１３…ステップ、Ｓ２１４…ステップ、Ｓ２１５…ステップ、Ｓ２１６…ステップ、Ｓ２１７…ステップ、Ｓ２１８…ステップ、Ｓ２１９…ステップ、Ｓ２１１０…ステップ、Ｓ２１１１…ステップ、Ｓ２１１２…ステップ、Ｓ２１１３…ステップ、ＴＣＰ…ツールセンターポイント、Ｘ'…ロボット移動距離、ΔＨ…補正量、θ１…回動角度、θ１０…回動角度、θ２…角度

Claims (9)

1. ロボットアームを有するロボットと、
   第１基準マーカー、第２基準マーカーおよび第３基準マーカーを含み、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーは、共通のマーカーである基準マーカー群を撮像する撮像部と、
   を制御する制御装置であって、
   前記基準マーカー群が前記ロボットに設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記基準マーカー群との間の距離を変化させ、
   前記撮像部で前記第１基準マーカーを撮像した第１画像と、前記撮像部で前記第１基準マーカーとは異なる位置に配置された前記第２基準マーカーを撮像した第２画像と、前記撮像部で前記第１基準マーカーおよび前記第２基準マーカーとは異なる位置に配置された前記第３基準マーカーを撮像した第３画像と、に基づいて、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーを通る平面と平行な基準面の姿勢を求め、
   前記撮像部に撮像される前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーの大きさが、互いに等しく、
   前記撮像部に、前記第１画像における前記第１基準マーカーの大きさと、前記第２画像における前記第２基準マーカーの大きさと、前記第３画像における前記第３基準マーカーの大きさとが等しくなるように、前記第１画像、前記第２画像および前記第３画像を撮像させ、
   前記第１基準マーカーを撮像した際の前記第１基準マーカーと前記撮像部との前記撮像部の光軸方向の距離と、前記第２基準マーカーを撮像した際の前記第２基準マーカーと前記撮像部との前記光軸方向の距離と、前記第３基準マーカーを撮像した際の前記第３基準マーカーと前記撮像部との前記光軸方向の距離とが等しいことを特徴とする制御装置。
2. ロボットアームを有するロボットと、
   第１基準マーカー、第２基準マーカーおよび第３基準マーカーを含み、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーは、共通のマーカーである基準マーカー群を撮像する撮像部と、
   を制御する制御装置であって、
   前記基準マーカー群が前記ロボットに設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記基準マーカー群との間の距離を変化させ、
   前記撮像部で前記第１基準マーカーを撮像した第１画像と、前記撮像部で前記第１基準マーカーとは異なる位置に配置された前記第２基準マーカーを撮像した第２画像と、前記撮像部で前記第１基準マーカーおよび前記第２基準マーカーとは異なる位置に配置された前記第３基準マーカーを撮像した第３画像と、に基づいて、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーを通る平面と平行な基準面の姿勢を求め、
   前記撮像部に撮像される前記第１基準マーカーは、第１間隔で配置された第１マーカー群を有し、
   前記撮像部に撮像される前記第２基準マーカーは、第２間隔で配置された第２マーカー群を有し、
   前記撮像部に撮像される前記第３基準マーカーは、第３間隔で配置された第３マーカー群を有し、
   前記撮像部に撮像される前記第１基準マーカーの前記第１間隔と、前記撮像部に撮像される前記第２基準マーカーの前記第２間隔と、前記撮像部に撮像される前記第３基準マーカーの前記第３間隔とが、等しく、
   前記撮像部に、前記第１画像における前記第１間隔と、前記第２画像における前記第２間隔と、前記第３画像における前記第３間隔とが等しくなるように、前記第１画像、前記第２画像および前記第３画像を撮像させ、
   前記第１基準マーカーを撮像した際の前記第１基準マーカーと前記撮像部との前記撮像部の光軸方向の距離と、前記第２基準マーカーを撮像した際の前記第２基準マーカーと前記撮像部との前記光軸方向の距離と、前記第３基準マーカーを撮像した際の前記第３基準マーカーと前記撮像部との前記光軸方向の距離とが等しいことを特徴とする制御装置。
3. ロボットアームを有するロボットと、
   第１基準マーカー、第２基準マーカーおよび第３基準マーカーを含み、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーは、別々のマーカーである基準マーカー群を撮像する撮像部と、
   を制御する制御装置であって、
   前記撮像部が前記ロボットに設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記基準マーカー群との間の距離を変化させ、
   前記撮像部で前記第１基準マーカーを撮像した第１画像と、前記撮像部で前記第１基準マーカーとは異なる位置に配置された前記第２基準マーカーを撮像した第２画像と、前記撮像部で前記第１基準マーカーおよび前記第２基準マーカーとは異なる位置に配置された前記第３基準マーカーを撮像した第３画像と、に基づいて、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーを通る平面と平行な基準面の姿勢を求め、
   前記撮像部に撮像される前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーの大きさが、互いに等しく、
   前記撮像部に、前記第１画像における前記第１基準マーカーの大きさと、前記第２画像における前記第２基準マーカーの大きさと、前記第３画像における前記第３基準マーカーの大きさとが等しくなるように、前記第１画像、前記第２画像および前記第３画像を撮像させ、
   前記第１基準マーカーを撮像した際の前記第１基準マーカーと前記撮像部との前記撮像部の光軸方向の距離と、前記第２基準マーカーを撮像した際の前記第２基準マーカーと前記撮像部との前記光軸方向の距離と、前記第３基準マーカーを撮像した際の前記第３基準マーカーと前記撮像部との前記光軸方向の距離とが等しいことを特徴とする制御装置。
4. ロボットアームを有するロボットと、
   第１基準マーカー、第２基準マーカーおよび第３基準マーカーを含み、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーは、別々のマーカーである基準マーカー群を撮像する撮像部と、
   を制御する制御装置であって、
   前記撮像部が前記ロボットに設けられ、前記ロボットアームの姿勢を変化させることにより、前記撮像部と、前記基準マーカー群との間の距離を変化させ、
   前記撮像部で前記第１基準マーカーを撮像した第１画像と、前記撮像部で前記第１基準マーカーとは異なる位置に配置された前記第２基準マーカーを撮像した第２画像と、前記撮像部で前記第１基準マーカーおよび前記第２基準マーカーとは異なる位置に配置された前記第３基準マーカーを撮像した第３画像と、に基づいて、前記第１基準マーカー、前記第２基準マーカーおよび前記第３基準マーカーを通る平面と平行な基準面の姿勢を求め、
   前記撮像部に撮像される前記第１基準マーカーは、第１間隔で配置された第１マーカー群を有し、
   前記撮像部に撮像される前記第２基準マーカーは、第２間隔で配置された第２マーカー群を有し、
   前記撮像部に撮像される前記第３基準マーカーは、第３間隔で配置された第３マーカー群を有し、
   前記撮像部に撮像される前記第１基準マーカーの前記第１間隔と、前記撮像部に撮像される前記第２基準マーカーの前記第２間隔と、前記撮像部に撮像される前記第３基準マーカーの前記第３間隔とが、等しく、
   前記撮像部に、前記第１画像における前記第１間隔と、前記第２画像における前記第２間隔と、前記第３画像における前記第３間隔とが等しくなるように、前記第１画像、前記第２画像および前記第３画像を撮像させ、
   前記第１基準マーカーを撮像した際の前記第１基準マーカーと前記撮像部との前記撮像部の光軸方向の距離と、前記第２基準マーカーを撮像した際の前記第２基準マーカーと前記撮像部との前記光軸方向の距離と、前記第３基準マーカーを撮像した際の前記第３基準マーカーと前記撮像部との前記光軸方向の距離とが等しいことを特徴とする制御装置。
5. 前記第１画像を撮像した際の前記ロボットのロボット座標系における前記ロボットの任意の部位の座標と、前記第２画像を撮像した際の前記ロボット座標系における前記部位の座標と、前記第３画像を撮像した際の前記ロボット座標系における前記部位の座標と、に基づいて前記基準面の姿勢を求める請求項１ないし４のいずれか１項に記載の制御装置。
6. 前記第１基準マーカーを撮像した際の前記第１基準マーカーと前記撮像部との前記光軸方向の距離は、前記第１基準マーカーを撮像した際の前記第１基準マーカーと前記撮像部の撮像基準点との前記光軸方向の距離であり、
   前記第２基準マーカーを撮像した際の前記第２基準マーカーと前記撮像部との前記光軸方向の距離は、前記第２基準マーカーを撮像した際の前記第２基準マーカーと前記撮像部の撮像基準点との前記光軸方向の距離であり、
   前記第３基準マーカーを撮像した際の前記第３基準マーカーと前記撮像部との前記光軸方向の距離は、前記第３基準マーカーを撮像した際の前記第３基準マーカーと前記撮像部の撮像基準点との前記光軸方向の距離である請求項１ないし５のいずれか１項に記載の制御装置。
7. 前記基準面の原点を求める請求項１ないし６のいずれか１項に記載の制御装置。
8. 請求項１ないし７のいずれか１項に記載の制御装置によって制御されることを特徴とするロボット。
9. 請求項１ないし７のいずれか１項に記載の制御装置と、当該制御装置によって制御されるロボットと、撮像部と、を備えることを特徴とするロボットシステム。

Images