JP6186431B2 - キャリブレーション装置、キャリブレーションシステム、及び撮像装置 - Google Patents

Description

複数の撮像装置から取得された画像から距離画像を算出する撮像装置、撮像装置のキャリブレーション装置、及びキャリブレーションシステムに関する。

特許文献１の従来技術は、幾何キャリブレーション工程において、複数の特徴点が描かれたチャートを１つの視点から撮影した画像を用いて、その画像においてレンズの収差に起因する輝度分布を修正して、修正された画像上の特徴点位置を計測し、カメラパラメータを推定する。これにより、レンズの収差に起因する誤差を除去でき、正確なカメラパラメータを推定でき、このカメラパラメータを用いて、正確な幾何補正パラメータ（幾何補正テーブル、幾何補正情報）を得ることができる。また、撮像装置でこの幾何補正パラメータを用いて、画像を補正することにより、対象物までの距離を正確に算出する。

ＷＯ２００９／１４１９９８号公報

複数の撮像系手段（カメラ、撮影手段）を有する撮像装置（ステレオカメラ）を製造すると、撮像系手段の取付位置に製造誤差が発生する。また、幾何キャリブレーションにおいて、チャートに対する撮像装置の設置位置にも誤差が生じる。１つの視点からの画像を用いた幾何キャリブレーションでは、撮像装置内における複数の撮像系手段間の取付位置の誤差、チャートに対する撮像装置の設置位置の誤差により、推定したカメラパラメータや幾何補正情報に誤差が生じる。

このため、撮像装置では、誤差が生じた幾何補正情報を用いて、画像を補正するため、画像に画素ずれが生じる。横方向の画素ずれにより対象物までの距離に誤差が生じるとともに、縦方向の画素ずれが大きい場合、左右のカメラ画像間のマッチングが正確に行われず、距離画像を正しく求めることができない。

本発明の目的は、複数の撮像系手段を有する撮像装置において、撮像系手段の取付位置の製造誤差及びチャートに対する撮像装置の設置位置の誤差による幾何補正情報の誤差を低減することである。

上記に記載した課題を解決するため、本発明の複数の撮像系手段を有する撮像装置のキャリブレーション装置において、複数の特徴点が描かれたチャートから予め定めた第１の距離離れた撮像装置において撮像した第１の画像を取得する第１の画像取込手段と、第１の画像と、複数の撮像系手段のカメラパラメータと複数の撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、第１の補正情報を生成する補正情報生成手段と、チャートから第１の距離と異なる予め定めた第２の距離離れた撮像装置において撮像した第２の画像を取得する第２の画像取込手段と、第２の画像と、複数の撮像系手段のカメラパラメータと複数の撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、第１の補正情報を修正し、第２の補正情報を生成する補正情報修正手段と、を有する構成とする。

また、本発明のキャリブレーションシステムは、複数の特徴点が描かれたチャートと、チャートから予め定めた第１の距離離れた位置に撮像装置を設置可能であって、且つ前記チャートから第１の距離と異なる予め定めた第２の距離離れた位置に撮像装置を設置可能な設置台と、チャートから第１の距離離れた位置に設置された撮像装置にて撮像した第１の画像を取得する第１の画像取込手段と、第１の画像と、複数の撮像系手段のカメラパラメータと複数の撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、第１の補正情報を生成する補正情報生成手段と、チャートから第２の距離離れた位置に設置された撮像装置にて撮像した第２の画像を取得する第２の画像取込手段と、第２の画像と、複数の撮像系手段のカメラパラメータと複数の撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、第１の補正情報を修正し、第２の補正情報を生成する補正情報修正手段と、を有する演算装置と、を有する構成とする。

また、本発明の撮像装置は、第１の光学素子手段を通過した光を受光し、基準画像として処理される第１の画像を出力する第１の撮像素子手段を有する第１の撮像系手段と、第２の光学素子手段を通過した光を受光し、比較画像として処理される第２の画像を出力する第２の撮像素子手段を有する第２の撮像系手段と、基準画像と比較画像を用いて距離画像を生成する演算手段と、を有し、演算手段は、第１の撮像系手段及び第２の撮像系手段の幾何補正情報に基づいて基準画像及び比較画像を補正する幾何補正手段と、補正された基準画像及び比較画像に基づいて距離画像を生成する距離算出手段と、を有し、幾何補正手段は、第１の撮像系手段と第２の撮像系手段間を結ぶ実際の基線長の線と第１の撮像系手段と第２の撮像系手段間を結ぶ理想の基線長の線のなす角度と、第１の撮像系手段の回転角の理想値からの誤差と、を足し合わせ角度を、回転方向に補正する構成とする。

複数の撮像系手段を有する撮像装置において、撮像系手段の取付位置の製造誤差及びチャートに対する撮像装置の設置位置の誤差による幾何補正情報の誤差を低減することができる。

本発明に係るキャリブレーション装置の一構成例を示す図である。 チャートの模様の例を示す図である。 チャートに描かれる特徴点の例を示す図である。 本発明に係る撮像装置及び設置冶具を示す図である。 本発明のキャリブレーション装置の動作手順の一例を示す図である。 本発明のキャリブレーション装置の特徴点位置の計測の動作手順の一例を示す図である。 本発明のキャリブレーション装置の動作手順の一例を示す図である。 撮像装置の製造誤差及び設置誤差を有しない撮像系手段及び補正画像を示す図である。 撮像装置の設置誤差を有する撮像系手段、補正画像、及び修正画像を示す図である。 撮像系手段に縦方向の製造誤差がある場合の補正画像及び修正画像を示す図である。 撮像系手段に横方向の製造誤差がある場合の補正画像及び修正画像を示す図である。 本発明に係るキャリブレーションシステムの一構成例を示す図である。 本発明に係るキャリブレーションシステムの一構成例を示す図である。 本発明のキャリブレーション装置の動作手順の他の例を示す図である。 本発明に係るキャリブレーションシステムの一構成例を示す図である。 本発明に係るキャリブレーションシステムの他の構成例を示す図である。 本発明に係るキャリブレーションシステムの他の構成例を示す図である。 本発明に係る撮像装置の一構成例を示す図である。 本発明の撮像装置の動作手順の一例を示す図である。 基準画像及び比較画像の一例を示す図である。

図１に示す本発明のキャリブレーション装置及びそれを用いたキャリブレーションシステムの一実施例は、左右に配置された２つの撮像系手段（カメラ）を有する撮像装置からの画像上の歪、設計値からの左右上下方向のずれを補正する各画素の補正量（幾何補正情報）を算出する。

図１に本発明のキャリブレーション装置及びシステムの一実施例の構成を示す。

本発明のキャリブレーション装置の一実施例は、演算手段１１０を備えており、キャリブレーションシステムの一実施例は、キャリブレーション装置である演算手段１１０に加え、チャート１０１、設置台１０２、設置冶具１０３ａ、設置冶具１０３ｂ、画面出力手段１３０を備えている。

チャート１０１は、撮像装置１００（撮像装置１００ａは設置冶具１０３ａに設置した場合の撮像装置１００、撮像装置１００ｂは設置冶具１０３ｂに設置した場合の撮像装置１００）の視野１０４ａ及び１０４ｂに設置され、視野１０４ａ及び１０４ｂを含む大きさである。

また、図２に示すように、複数の特徴点が描かれている。図２（ａ）に示すチャートの例１０１ａは特徴点の形状が矩形である場合であり、図２（ｂ）に示すチャートの例１０１ｂは特徴点の形状がリングである場合である。

設置台１０２は、設置冶具１０３ａ及び１０３ｂを介して、撮像装置１００を取り付ける台である。

設置冶具１０３ａは、撮像装置１００を取り付け、固定する。チャート１０１の面に対して垂直な方向が光軸になるように、撮像装置１００が取り付けられている。具体的には、チャート１０１から予め定めた第１の距離離れた位置（視点１）に撮像装置を設置可能であって、且つチャート１０１から第１の距離と異なる予め定めた第２の距離離れた位置（視点２）に撮像装置を設置可能な台である。なお、本実施例では、チャート１０１から第１の距離離れた位置の高さは、第１の距離より短い第２の距離離れた位置の高さより低く設定している。

図４に示すように、設置冶具１０３ａには、３つのピン４０１ａ〜４０１ｃがある。また、撮像装置１００にはピン４０１ａ〜４０１ｃにあたる箇所４０２ａ〜４０２ｃが平面に加工されている。３つのピン４０１ａ〜４０１ｃを、平面に加工された箇所４０２ａ〜４０２ｃにそれぞれあてて、撮像装置１００を設置冶具１０３ａに取り付け、固定する。
また、３つの全てのピン４０１ａ〜４０１ｃは１つの直線上にはない。

設置冶具１０３ｂは、チャート１０１と設置冶具１０３ｂの距離とは異なる距離に設置されている。また、設置冶具１０３ｂに取り付けられた撮像装置１００の視野１０４ａに入っていない場所に設置されている。設置冶具１０３ａ及び１０３ｂに設置された撮像装置１００のチャート１０１上のそれぞれの視野１０４ａ及び１０４ｂが重なるように設置されている。設置冶具１０３ｂと同様に、図４に示すように、設置冶具１０３ｂには、３つのピン４０１ａ〜４０１ｃがある。

ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央演算処理装置）及びメモリ（記憶装置）などから構成される演算手段１１０は、画像記憶手段１１１ａ、画像記憶手段１１１ｂ、輝度補正情報記憶手段１１２、設計情報記憶手段１１３、特徴点位置記憶手段１１４、幾何補正情報記憶手段１１５、誤差記憶手段１１６、画像取込手段１１７ａ、画像取込手段１１７ｂ、輝度補正手段１１８、特徴点位置設計値算出手段１１９、特徴点位置計測手段１２０、幾何補正情報生成手段１２１、修正パラメータ算出手段１２２、幾何補正情報修正手段１２３、幾何補正情報送信手段１２４、幾何補正手段１２５と、を備えている。

メモリやハードディスクなどの画像記憶手段１１１ａは、設置冶具１０３ａ（視点１）に撮像装置１００が設置されたときの画像、その画像を輝度補正、幾何補正した画像を記憶する。

メモリやハードディスクなどの画像記憶手段１１１ｂは、設置冶具１０３ｂ（視点２）に撮像装置１００が設置されたときの画像、その画像を輝度補正、幾何補正した画像を記憶する。

メモリやハードディスクなどの特徴点位置記憶手段１１４は、特徴点位置の設計値、計測値及び補正値を記憶する。

メモリやハードディスクなどの輝度補正情報記憶手段１１２は、撮像装置１００が有する２つのカメラなどの撮像系手段が出力する画像における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの画像の輝度が画像全面で同じになる値である。

メモリやハードディスクなどの設計情報記憶手段１１３は、左右の撮像系手段のカメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点１の位置及び姿勢、チャート１０１に対する視点２の位置及び姿勢、チャート１０１に描かれた特徴点の数、位置及び形状の設計値（設計情報）を記憶する。カメラパラメータは、焦点距離、画素ピッチ、横及び縦方向の解像度及び画像上の光軸位置である。

メモリやハードディスクなどの幾何補正情報記憶手段１１５は、撮像装置１００が有する２つのカメラなどの撮像系手段が出力する画像における各画素の幾何的な補正量（幾何補正情報）を記憶する。ここでは、幾何補正情報生成手段１２１及び幾何補正情報修正手段１２３が出力する幾何補正情報を記憶する。

メモリやハードディスクなどの誤差記憶手段１１６は、撮像装置１００における撮像系手段間の位置誤差、撮像装置１００の設置誤差を記憶する。ここでは、修正パラメータ算出手段１２２が算出する誤差を記憶する。

画像取込手段１１７ａは、視点１に設置された撮像装置１００が出力する画像を取得する。言い換えれば、複数の特徴点が描かれたチャート１０１から予め定めた第１の距離離れた撮像装置において撮像した第１の画像を取得する。

画像取込手段１１７ｂは、視点２に設置された撮像装置１００が出力する画像を取得する。言い換えれば、チャート１０１から第１の距離と異なる予め定めた第２の距離離れた撮像装置において撮像した第２の画像を取得する。

輝度補正手段１１８は、輝度補正情報記憶手段１１２から各画素の輝度の補正係数を読み込み、左右の画像をそれぞれ補正する。

特徴点位置設計値算出手段１１９は、設計情報記憶手段１１３からカメラパラメータ、２つの撮像系手段の位置及び姿勢、チャート１０１と視点１との距離、チャート１０１と視点２との距離、チャート１０１に描かれた特徴点の数及び位置の設計値をもとに、撮像装置１００の製造誤差及び設置誤差がない場合の特徴点位置の設計値を算出する。

特徴点位置計測手段１２０は、設計情報記憶手段１１３からカメラパラメータ、２つの撮像系手段の位置及び姿勢、チャート１０１と視点１との距離、チャート１０１と視点２との距離、チャート１０１に描かれた特徴点の数、位置及び形状の設計値を読み込み、これらの設計情報をもとに、１つの特徴点の画像を視点１及び視点２に関してそれぞれ作成する。チャート１０１から視点１の距離及びチャート１０１から視点２までの距離は異なるため、特徴点の画像の大きさが異なる。

ここで、図３（ａ）に示す特徴点の例３０１ａは、特徴点の形状が矩形である場合であり、図３（ｂ）に示す特徴点の例３０１ｂは、特徴点の形状がリングである場合である。輝度補正された視点１の画像を画像記憶手段１１１ａから読み込み、特徴点の画像と視点１の左右の画像の各特徴点をマッチング処理して、左右の画像上の特徴点の位置（計測値）を計測する。また、輝度補正された視点２の画像を画像記憶手段１１１ｂから読み込み、特徴点の画像と視点２の左右の画像の各特徴点をマッチング処理して、左右の画像上の特徴点の位置（計測値）を計測する。

幾何補正情報生成手段１２１は、特徴点位置記憶手段１１４から左右の画像上における特徴点位置の設計値及び計測値を読み込み、左右の特画像について徴点位置の設計値と計測値の差をそれぞれ算出し、この差を特徴点位置の設計値における補正量とする。特徴点位置の設計値間の補正量を補間することにより、各画素における補正量（幾何補正情報）を算出する。つまり、幾何補正情報生成手段１２１は、複数の特徴点が描かれたチャート１０１から予め定めた第１の距離離れた撮像装置において撮像した第１の画像（視点１から取り込んだ画像）と、２つの撮像系手段のカメラパラメータと、２つの撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、幾何補正情報（第１の補正情報）を生成する。

修正パラメータ算出手段１２２は、幾何補正情報生成手段１２１で生成された各画素における補正量を用いて、視点２から撮影した画像上の特徴点位置の計測値を補正して、特徴点位置の補正値を算出する。もし撮像装置１００の撮像系手段の位置の製造誤差及び撮像手段の設置位置の誤差がなければ、特徴点位置の補正値と設計値は一致する。しかし、実際には、これらの誤差が発生する。そこで、更に、補正した画像を横、縦、回転及び拡大縮小方向に修正することにより、より正確な補正を実現することにする。

次に、特徴点位置の補正値と設計値を用いて、撮像装置１００の撮像系手段の位置の横及び縦方向の製造誤差及び撮像装置１００の設置位置の奥行き方向の誤差を算出するとともに、左右の画像を横、縦、回転及び拡大縮小方向に修正するパラメータの値をそれぞれ算出する。

撮像装置１００の撮像系手段の位置の横方向の誤差、つまり２つの撮像系手段間の基線長の誤差は、複数の特徴点が描かれたチャート１０１から第１の距離と異なる予め定めた第２の距離離れた撮像装置において撮像した第２の画像（視点２から取り込んだ画像）と、２つの撮像系手段のカメラパラメータと、２つの撮像系手段間の基線長と、幾何補正情報（第１の補正情報）と、に基づいて算出する。

幾何補正情報修正手段１２３は、修正パラメータ算出手段１２２で算出した修正パラメータの値だけ、横、縦、回転及び拡大縮小方向に画像を補正したときの各画素における補正量を左右の画像についてそれぞれ算出し、その補正量を、幾何補正情報生成手段１２１で算出した各画素における補正量に加算して、各画素における新たな補正量とする。つまり、幾何補正情報修正手段１２３は、画像取込手段１１７ｂで取り込んだ第２の画像と、２つの撮像系手段のカメラパラメータと、２つの撮像系手段間の基線長と、複数の特徴点位置と、に基づいて、幾何補正情報生成手段１２１にて生成された第１の補正情報（幾何補正情報）を修正し、第２の補正情報（幾何補正情報）を生成する。その第２の補正情報（幾何補正情報）は、幾何補正情報記憶手段１１５に記憶される。

幾何補正情報送信手段１２４は、幾何補正情報修正手段１２３で修正されて記憶された幾何補正情報記憶手段１１５から幾何補正情報（第２の補正情報）を、誤差記憶手段１１６から撮像装置１００における撮像系手段間の横及び縦方向の位置誤差を読み込む。幾何補正情報と、撮像装置１００における撮像系手段間の横及び縦方向の位置誤差と、を撮像手段に送る。

幾何補正手段１２５は、視点１及び視点２から撮影され、輝度補正された画像を画像記憶手段１１１ａあるいは１１１ｂから読み込み、幾何補正情報修正手段１２３で修正された画像補正情報を幾何補正情報記憶手段１１５から読み込む。各画素の補正量をもとに左右の画像を補正する。

モニタなどの画面出力手段１３０は、画像記憶手段１１１ａあるいは１１１ｂから左右の入力画像（基準画像及び比較画像）、輝度補正画像、あるいは、幾何補正画像を読み込み、画面に表示する。また、特徴点位置記憶手段１１４から特徴点位置の設計値、計測値及び補正値を読み込み、画像上にそれらのいずれか、あるいは、全ての位置にマークを表示する。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順を、図５を用いて説明する。

ステップ５０１は、撮像装置１００が設置冶具１０３ａ（視点１）に設置された状態で、撮像装置１００は左右の撮影系手段で撮影した画像を出力する。画像取込手段１１７ａは撮影装置からの左右の画像を取得し、画像記憶手段１１１ａに送る。画像記憶手段１１１ａは、その画像を格納する。

ステップ５０２は、輝度補正手段１１８にて、輝度補正情報記憶手段１１２から左右画像における各画素の輝度の補正係数を、画像記憶手段１１１ａから撮像装置１００が出力した視点１での画像をそれぞれ読み込み、左右の画像について各画素の輝度に補正係数をかけ合わせて、画像を補正する。補正した画像を画像記憶手段１１１ａに格納する。

ステップ５０３は、特徴点位置計測手段１２０にて、設計情報記憶手段１１３からカメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点１の位置及び姿勢、チャート１０１に描かれた特徴点の数、位置及び形状の設計値を、画像記憶手段１１１ａから、輝度補正された視点１からの画像を読み込む。読み込んだ設計情報をもとに、視点１における特徴点画像を作成し、輝度補正した視点１の画像と特徴点画像をマッチング処理することにより、特徴点位置を計測する。特徴点位置の計測値を特徴点位置記憶手段１１４に格納する。詳細な処理は図６を用いて、後で説明する。

ステップ５０４は、特徴点位置設計値算出手段１１９にて、設計情報記憶手段１１３からカメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点１の位置及び姿勢、チャート１０１に描かれた特徴点の数及び位置の設計値を読み込む。これらの設計情報をもとに、チャート１０１上の特徴点位置から画像上の特徴点位置へ透視変換を行い、視点１からの画像上の特徴点位置の設計値を算出する。この処理を左右の画像について行う。特徴点位置の設計値を特徴点位置記憶手段１１４に格納する。

ステップ５０５は、幾何補正情報算出手段にて、左右の画像上の特徴点位置の設計値及び計測値を読み込む。特徴点位置の設計値と計測値の差を算出し、この差を特徴点位置の設計値における補正量とする。特徴点位置の設計値間の補正量を補間することにより、各画素における補正量（幾何補正情報）を算出する。この処理を左右の画像について行う。
左右の画像における幾何補正情報を幾何補正記憶手段に格納する。

ステップ５０６は、撮像装置１００が設置冶具１０３ｂ（視点２）に設置された状態で、撮像装置１００は左右の撮影系手段で撮影した画像を出力する。画像取込手段１１７ｂは撮影装置からの左右の画像を取得し、画像記憶手段１１１ｂに送る。画像記憶手段１１１ｂは、その画像を格納する。

ステップ５０７は、輝度補正手段１１８にて、輝度補正情報記憶手段１１２から左右画像における各画素の輝度の補正係数を、画像記憶手段１１１ｂから撮像装置１００が出力した視点２での画像をそれぞれ読み込み、左右の画像について各画素の輝度に補正係数をかけ合わせて、画像を補正する。補正した画像を画像記憶手段１１１ｂに格納する。

ステップ５０８は、特徴点位置計測手段１２０にて、設計情報記憶手段１１３からカメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点２の位置及び姿勢、チャート１０１に描かれた特徴点の数、位置及び形状の設計値を、画像記憶手段１１１ｂから、輝度補正された視点２からの画像を読み込む。読み込んだ設計情報をもとに、視点２における特徴点画像を作成し、輝度補正した視点２の画像と特徴点画像をマッチング処理することにより、特徴点位置を計測する。特徴点位置の計測値を特徴点位置記憶手段１１４に格納する。詳細な処理を図３を用いて、後で説明する。

ステップ５０９は、特徴点位置設計値算出手段１１９にて、設計情報記憶手段１１３からカメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点２の位置及び姿勢、チャート１０１に描かれた特徴点の数及び位置の設計値を読み込む。これらの設計情報をもとに、チャート１０１上の特徴点位置から画像上の特徴点位置へ透視変換を行い、視点１からの画像上の特徴点位置の設計値を算出する。この処理を左右の画像について行う。特徴点位置の設計値を特徴点位置記憶手段１１４に格納する。

ステップ５１０は、修正パラメータ算出手段１２２にて、幾何補正情報記憶手段１１５からステップ５０５で作成された幾何補正情報を、特徴点位置記憶手段１１４から視点２からの画像上の特徴点位置の計測値及び設計値を読み込む。各画素における補正量（幾何補正情報）を用いて、視点２から撮影した画像上の特徴点位置の計測値を補正して、特徴点位置の補正値を算出する。特徴点位置の補正値と設計値を用いて、撮像装置１００の撮像系手段の位置の横及び縦方向の製造誤差及び撮像装置１００の設置位置の奥行き方向の誤差を算出するとともに、左右の画像を横、縦、回転及び拡大縮小方向に修正するパラメータの値をそれぞれ算出する。特徴点位置の補正量を特徴点位置記憶手段１１４に格納し、撮像装置１００の撮像系手段の位置の横及び縦方向の製造誤差及び視点１での撮像装置１００の設置位置の奥行き方向の誤差を誤差記憶手段１１６に格納し、修正パラメータを幾何補正情報修正手段１２３に送る。図７を用いて、詳細な処理を後で説明する。

ステップ５１１は、幾何補正情報修正手段１２３にて、幾何補正情報記憶手段１１５からステップ５０５で作成された幾何補正情報を読み込む。修正パラメータ算出手段１２２から左右の画像に関する横、縦、回転及び拡大縮小方向の修正パラメータの値をそれぞれ受け取る。修正パラメータの値だけ、横、縦、回転及び拡大縮小方向に画像を変換したときの各画素における変換量を左右の画像についてそれぞれ算出し、各画素の変換後の位置を算出する。ここで、回転及び拡大縮小方向の変換を画像上の光軸の位置を中心に行う。幾何補正情報を用いて、変換後の位置における各画素の補正量を補間により算出する。各画素における変換量と補正量を加算したものを各画素における新たな補正量とする。各画素の新たな補正量（幾何補正情報）を幾何補正記憶手段に格納する。

ステップ５１２は、幾何補正情報送信手段１２４にて、幾何補正情報記憶手段１１５から幾何補正情報を、誤差記憶手段１１６から撮像装置１００における撮像系手段間の横及び縦方向の位置誤差を読み込み、幾何補正情報、撮像装置１００における撮像系手段間の横及び縦方向の位置誤差を撮像手段に送る。撮像装置１００は、幾何補正情報、撮像装置１００における撮像系手段間の横及び縦方向の位置誤差を受け取り、幾何補正情報記憶手段１１５及び誤差記憶手段１１６（実施例５に記述）にそれぞれ記憶する。

ステップ５１３は、幾何補正手段１２５にて、画像記憶手段１１１ａあるいは１１１ｂから輝度補正された左右の画像を、幾何補正情報記憶手段１１５からステップ５１１で修正された幾何補正情報を読み込む。各画素の補正量をもとに左右の画像を補正する。画像記憶手段１１１ａあるい１１１ｂはに左右の幾何補正画像を格納する。

ステップ５１４は、画面出力手段１３０にて、画像記憶手段１１１ａあるいは１１１ｂから左右の入力画像、輝度補正画像、あるいは、幾何補正画像を読み込み、画面に表示する。また、特徴点位置記憶手段１１４から特徴点位置の設計値、計測値及び補正値を読み込み、画像上にそれらのいずれか、あるいは、全ての位置にマークを表示する。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順のステップ５０３及びステップ５０８を、図６を用いて説明する。ここで、ステップ５０８では、視点１に関する情報の代わりに視点２の情報を用いる。

ステップ６０１は、特徴点位置計測手段１２０にて、設計情報記憶手段１１３からカメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点１（視点２）の位置及び姿勢、チャート１０１に描かれた特徴点の数、位置及び形状の設計値を、画像記憶手段１１１ａ（１１１ｂ）から、輝度補正された視点１（視点２）からの画像を読み込む。

ステップ６０２は、特徴点位置計測手段１２０にて、カメラパラメータ、撮像装置１００内における２つの撮像系手段の位置及び姿勢、チャート１０１に対する視点１（視点２）の位置及び姿勢、チャート１０１に描かれた特徴点の形状の設計値をもとに、視点１（視点２）に関して、図３（ａ）あるいは（ｂ）に示す１つの特徴点の画像を作成する。

ステップ６０３は、特徴点位置計測手段１２０にて、視点１（視点２）からの輝度補正画像と特徴点画像との各輝度の差の絶対値の和（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出して、この輝度の絶対値の和が最も小さい位置を求める。各輝度の絶対値の和が最も小さい位置の左右方向の隣の位置において、特徴点画像との各輝度の差の絶対値の和を算出する。以下数１を用いて、折れ線近似（Ｅｑｕｉａｎｇｕｌａｒ Ｆｉｔｔｉｎｇ、１次の対称関数フィッティング、等角フィッティング）で特徴点位置の横方向の計測値ｕをサブピクセルまで算出する。ここで、Ｓｃ、Ｓｌ、Ｓｒは、輝度の差の絶対値の和が最も小さい位置、その左隣及び右隣の画素の位置における輝度の差の絶対値の和である。

縦方向についても同様な処理を行い、特徴点位置の縦方向の計測値を算出する。これにより、一つの特徴点について画像上の位置を計測する。この処理を各特徴点について順次行い、画像上の全ての特徴点の位置を計測する。特徴点位置の計測値を特徴点位置記憶手段１１４に格納する。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順のステップ５１０を、図７を用いて説明する。ここで、ステップ７１１〜７１４は、拡大縮小方向の修正パラメータの算出を行うステップ７１０、ステップ７２１〜７２４は、回転及び縦方向の修正パラメータの算出を行うステップ７２０、ステップ７３１〜７３４は、横方向の修正パラメータの算出を行うステップ７３０である。

ステップ７０１は、修正パラメータ算出手段１２２にて、幾何補正情報記憶手段１１５からステップ５０５で作成された幾何補正情報を、特徴点位置記憶手段１１４から視点２からの画像上の特徴点位置の計測値及び設計値を読み込む。各画素における補正量（幾何補正情報）を用いて、視点２から撮影した画像上の特徴点位置の計測値を補正して、特徴点位置の補正値を算出する。

ステップ７１１は、修正パラメータ算出手段１２２にて、視点２からの左右の画像上における特徴点位置の設計値を読み込む。視点２からの左右の画像上において、横方向の列ごとに最も右にある特徴点と最も左にある特徴点位置の間隔の補正値と設計値を算出する。横方向の各列において、特徴点位置の間隔の補正値と設計値の比を算出し、それらの平均を算出する。同様に、視点２からの左右の画像上において、縦方向の特徴点位置の間隔の補正値と設計値の比の平均値を算出する。横と縦方向の特徴点位置の間隔の補正値と設計値の比の平均値から、それらの平均値を算出する。

ステップ７１２は、以下数２〜数４を用いて、チャート１０１と視点１間の奥行きの設置誤差Δｚ１を算出する。ここで、ｒｌ及びｒｒは左右の画像上における特徴点位置の間隔の補正値と設計値の比、Ｌ１及びＬ２はチャート１０１から視点１及び視点２までの距離である。

[数２]
Δｚ１ｌ＝（１−ｒｌ）Ｌ１Ｌ２／（ｒｌ Ｌ１−Ｌ２）

[数３]
Δｚ１ｒ＝（１−ｒｒ）Ｌ１Ｌ２／（ｒｒ Ｌ１−Ｌ２）

ステップ７１３は、以下数５を用いて、幾何補正情報の拡大縮小方向の修正パラメータｍを算出する。ここで、左右の画像における拡大縮小方向の修正パラメータの値は同じである。

ステップ７１４は、視点２の画像上の特徴点位置の補正値を光軸位置を中心に拡大縮小方向に修正パラメータの値だけ変換する。チャート１０１と視点２間の奥行きの設置誤差の値が、チャート１０１と視点１間の奥行きの設置誤差の値と同じがあると想定して、透視変換を用いて、チャート１０１上の特徴点位置の設計値を画像上の特徴点位置（変換値）に変換する。特徴点位置の変換値と設計値の差を算出し、その差だけ、視点２からの画像の特徴点位置の補正量を変更する。

ステップ７２１は、修正パラメータ算出手段１２２にて、視点２からの左画像と右画像における各特徴点の縦方向の位置の補正値の差、設計値の差をそれぞれ算出し、各特徴点について縦方向の位置の補正値の差と設計値の差の差を算出して、その差の平均を算出する。

ステップ７２２は、以下数６を用いて、撮像装置１００における２つの撮像系手段の縦方向の位置間の製造誤差Δｈを算出する。ここで、Δｖは視点２からの左画像と右画像における特徴点の縦方向の位置の補正値の差と設計値の差の平均値、ｃは撮像系手段の画像素子の画素ピッチ、ｆは撮像系手段の焦点距離である。

ステップ７２３は、以下数７及び数８を用いて、幾何補正情報の回転及び縦方向の修正パラメータθ及びｔｖを算出する。ここで、Ｂは基線長（撮像系手段間の距離）である。

ステップ７２４は、視点２の画像上の特徴点位置の補正値を光軸位置を中心に回転方向に修正パラメータθの値だけ変換するとともに、左右の画像における特徴点位置の補正値を縦方向にそれぞれｔｖ／２及び−ｔｖ／２変換する。撮像装置１００の撮像系手段間の縦方向の位置の製造誤差がΔｈだけあると想定して、透視変換を用いて、チャート１０１上の特徴点位置の設計値を視点２からの画像上の特徴点位置（変換値）に変換する。特徴点位置の変換値と設計値の差を算出し、その差だけ、視点２からの画像の特徴点位置の補正量を変更する。

ステップ７３１は、修正パラメータ算出手段１２２にて、視点２からの左画像と右画像における各特徴点の横方向の位置の補正値の差、設計値の差をそれぞれ算出し、各特徴点について横方向の位置の補正値の差と設計値の差の差を算出して、その差の平均を算出する。

ステップ７３２は、以下数９を用いて、撮像装置１００における２つの撮像系手段の横方向の位置間の製造誤差ΔＢを算出する。ここで、Δｕは視点２からの左画像と右画像における特徴点の横方向の位置の補正値の差と設計値の差の平均値である。

ステップ７３３は、以下数１０を用いて、幾何補正情報の横方向の修正パラメータｔｕを算出する。

ステップ７３４は、視点２の画像上の特徴点位置の補正値を左右の画像における特徴点位置の補正値を横方向にそれぞれｔｕ／２及び−ｔｕ／２変換する。撮像装置１００の撮像系手段間の横方向の位置の製造誤差がΔＢだけあると想定して、透視変換を用いて、チャート１０１上の特徴点位置の設計値を視点２からの画像上の特徴点位置（変換値）に変換する。特徴点位置の変換値と設計値の差を算出し、その差だけ、視点２からの画像の特徴点位置の補正量を変更する。横、縦、回転及び拡大縮小方向の修正パラメータを幾何補正情報修正手段１２３に送る。特徴点位置の補正量を特徴点位置記憶手段１１４に格納し、撮像装置１００の撮像系手段の位置の横及び縦方向の製造誤差及び撮像装置１００の設置位置の奥行き方向の誤差を誤差記憶手段１１６に格納する。

図８（ａ）に示すように、撮像装置１００における２つの撮像系手段８０１ａ及び８０１ｂ間の製造誤差がなく、撮像装置１００の視点１での設置誤差もなければ、図８（ｂ）及び（ｃ）に示すように、ステップ５０５で視点１の画像をもとに生成した幾何補正情報を用いて補正した左右の画像８０２ａ及び８０２ｂでは、画像中央に映る像８０３ａ及び８０３ｂは設計情報通りに中央に映る。

しかし、図９（ａ）に示すように、チャート１０１に対する撮像装置１００の奥行き方向の設置位置に誤差９０３が発生し、遠くに設置されると、図９（ｂ）及び（ｃ）に示すように、ステップ５０５で生成した幾何補正情報を用いて幾何補正した左右の画像８０２ａ及び８０２ｂでは、設計で画像中央に映る像９０１ａ及び９０１ｂが図８（ｂ）及び（ｃ）に比べ小さくなってしまう。

このため、例えば、左画像の中心の特徴点位置は設計値通りであるが、それに対応する右画像の左側の領域の特徴点位置の計測値は設計値よりも右方向誤差を持つ。１つの視点からの画像だけで幾何補正情報を求める手法では、このように、横方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置１００において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）によれば、ステップ７０１で、視点１からの画像を用いて算出した幾何補正情報で視点２の特徴点位置の計測値を補正し、ステップ７１１〜ステップ７１４で、視点２からの画像における横及び縦方向の特徴点間隔の補正値と設計値の比をもとに、チャート１０１と視点１間の奥行き誤差を算出し、その誤差を修正する拡大縮小方向の修正パラメータを算出して、ステップ５１２で、幾何補正情報を拡大縮小方向に修正パラメータで修正する。この処理により、チャート１０１と視点１間の奥行き誤差の影響を幾何補正情報から除去でき、図９（ｄ）及び（ｅ）に示すように、ステップ５１１で修正した幾何補正情報を用いて補正した左右の画像８０４ａ及び８０４ｂの中央に写る像９０２ａ及び９０２ｂは図８（ｂ）及び（ｃ）と同様に設計通り補正されるとともに、修正された幾何補正情報を用いた撮像装置１００では、正確な距離画像を算出することができる。

図１０（ａ）に示すように、撮像装置１００における２つの撮像系手段８０１ａと８０１ｂの縦方向の位置に製造誤差があると、図１０（ｂ）及び（ｃ）に示すように、ステップ５０５で視点１の画像をもとに生成した幾何補正情報を用いて補正した左右の画像８０２ａ及び８０２ｂでは、設計で画像中央に映る像１００１ａ及び１００１ｂが上下方向にずれてしまう。

このため、特徴点位置の計測値が上下方向に誤差を持つ。１つの視点からの画像だけで幾何補正情報を求める手法では、このように、縦方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置１００において、縦方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、画像上に上下方向に位置誤差が発生し、基準画像のテンプレート画像にマッチする比較画像の領域がなく、距離画像を求めることができなくなる。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）によれば、ステップ７０１で、視点１からの画像を用いて算出した幾何補正情報で視点２の特徴点位置の計測値を補正し、ステップ７２１〜ステップ７２４で、視点２からの左画像と右画像における特徴点の縦方向の位置の補正値の差と設計値の差の平均をもとに、撮像装置１００おける２つの撮像系手段の縦方向の位置間の製造誤差を算出し、その誤差を修正する回転及び上下方向の修正パラメータを算出して、ステップ５１２で、幾何補正情報を回転及び上下方向に修正パラメータで修正する。この処理により、撮像装置１００おける２つの撮像系手段の縦方向の位置間の製造誤差の影響を幾何補正情報から除去でき、図１０（ｄ）及び（ｅ）に示すように、ステップ５１１で修正した幾何補正情報を用いて補正した左右の画像８０４ａ及び８０４ｂの中央に写る像１００２ａ及び１００２ｂは設計通り補正されるとともに、修正された幾何補正情報を用いた撮像装置１００では、基準画像のテンプレート画像にマッチする比較画像の領域を探索でき、距離画像を求めることができる。

以上の処理では、ステップ５０５で生成された幾何補正情報により、各撮像系手段の光軸中心の回転方向の製造誤差の影響を除去して、画像を補正する。また、ステップ７２１〜７２４で算出された回転方向の修正パラメータにより、式７及び図１０（ｄ）及び（ｅ）に示すように、撮像系手段間の実際の位置（焦点）を結んだ線と撮像系手段間の設計上の位置（焦点）を結んだ線がなす角度１００３だけ左右の画像を回転させて、撮像装置１００における２つの撮像系手段との縦方向の位置に製造誤差の影響を除去する。よって、ステップ５１１で修正された幾何補正情報を用いて画像を補正すると、各撮像系手段の光軸中心の回転方向の製造誤差と、撮像系手段間の実際の位置を結んだ線と撮像系手段間の設計上の位置を結んだ線がなす角度１００３を足し合わせた角度だけ画像が回転する。

図１１（ａ）に示すように、撮像装置１００における２つの撮像系手段８０１ａと８０１ｂの横方向の位置に製造誤差があると、図１１（ｂ）及び（ｃ）に示すように、ステップ５０５で視点１の画像をもとに生成した幾何補正情報を用いて補正した左右の画像８０２ａ及び８０２ｂでは、設計で画像中央に映る像１１０１ａ及び１１０１ｂが左右方向にずれてしまう。

このため、特徴点位置の計測値が左右方向に誤差を持つ。１つの視点からの画像だけで幾何補正情報を求める手法では、このように、横方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置１００において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）によれば、ステップ７０１で、視点１からの画像を用いて算出した幾何補正情報で視点２の特徴点位置の計測値を補正し、ステップ７３１〜ステップ７３４で、視点２からの左画像と右画像における特徴点の横方向の位置の補正値の差と設計値の差の平均をもとに、撮像装置１００おける２つの撮像系手段の横方向の位置間の製造誤差を算出し、その誤差を修正する横方向の修正パラメータを算出して、ステップ５１２で、幾何補正情報を横方向に修正パラメータで修正する。この処理により、撮像装置１００おける２つの撮像系手段の横方向の位置間の製造誤差の影響を幾何補正情報から除去でき、ステップ５１１で修正した幾何補正情報を用いて補正した左右の画像８０４ａ及び８０４ｂの中央に写る像１１０２ａ及び１１０２ｂは設計通り補正されるとともに、修正された幾何補正情報を用いた撮像装置１００では、正確な距離画像を算出することができる。

以上の処理では、ステップ７３１〜７３４で、撮像装置１００おける２つの撮像系手段の横方向の位置間の製造誤差により発生する画像上の横（視差）方向の誤差を除去する。すなわち、ステップ５１０で得られる幾何補正情報によって補正された左右の画像間の視差を求めると、撮像装置１００おける２つの撮像系手段の横方向の位置間の距離の設計値と製造誤差を足し合わせたことを想定したときの視差を求めることができる。

撮像装置１００を設置冶具１０３ａ及び設置冶具１０３ｂに設置するときに設置ずれが発生すると、チャート１０１に対する撮像装置１００の奥行き位置に誤差が生じ、画像上の特徴点位置の計測値に横方向の誤差が発生するとともに、撮像装置１００において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。

図１に示す本発明のキャリブレーション装置の一実施例によれば、図４に示すように、撮像装置１００の設置冶具１０３ａ及び１０３ｂに３つのピン４０１ａ〜４０１ｃを配置するとともに、撮像装置１００の筐体における平面に加工されている箇所４０２ａ〜４０２ｃにピン４０１ａ〜４０１ｃをあてる３つの平面を有して、３つの平面に３つのピン４０１ａ〜４０１ｃをそれぞれあてて設置することにより、撮像装置１００の設置ずれを防ぐことができるとともに、撮像装置１００の設置ずれによる誤差を幾何補正情報から除去でき、撮像装置１００において正確な距離画像を算出することができる。

なお、本発明のキャリブレーション装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明のキャリブレーション装置の変形例について説明する。

（変形例１−１）
図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）のステップ５０２及びステップ５０７において、輝度補正手段１１８は、輝度補正情報記憶手段１１２から左右画像における各画素の輝度の補正係数をそれぞれ読み込み、左右の画像について各画素の輝度に補正係数をかけ合わせて、画像を補正するとともに、画像がカラーである場合、ＲＧＢの画素の輝度値を補正する処理を行う。

具体的には、特徴点ごとに特徴点画像の黒い部分及び白い部分におけるＲＧＢの画素の輝度値の平均をそれぞれ算出して、ＲＧＢの画素の黒い部分及び白い部分が同じ所定の輝度値になるように変換する一次関数をＲＧＢごとに求める。これにより、特徴点ごとにＲＧＢの一次関数の２つの係数が算出される。特徴点位置間を線形補間することにより、画素毎に一次関数の２つの係数を算出する。各画素ごとの一次関数の２つの係数を用いて、画素毎に輝度値を補正する。

以上のカラーの輝度補正処理を行わないと、同じ画像領域でＲＧＢごとに輝度値が異なり、ステップ５０４及びステップ５０８で、特徴点画像と補正画像をマッチングするときに特徴点位置の計測値に誤差が発生し、これにより、幾何補正情報に誤差が発生する。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）のステップ５０２及びステップ５０７において、画像がカラーである場合、ＲＧＢの画素の輝度値を補正する処理を行うことにより、同じ画像領域でＲＧＢごとに輝度値をほぼ同じにでき、特徴点位置の計測値の誤差及び幾何補正情報の誤差を除去できる。また、同じ画像領域で異なるＲＧＢの輝度値による誤差を除去した幾何補正情報を用いた撮像装置１００において正確な距離画像を算出することができる。

（変形例１−２）
図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）のステップ６０３において、特徴点位置計測手段１２０は、視点１（視点２）からの輝度補正画像と特徴点画像との各輝度の差の絶対値の和（ＳＡＤ）を算出する代わりに、ＺＳＡＤ（Ｚｅｒｏ−ｍｅａｎ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を算出して、これらのいずれかの値が最も小さい位置を求め、これらのいずれかの値が最も小さい位置の左右方向の隣の位置において、特徴点画像とのこれらのいずれかの値を算出して、式１を用いて、特徴点位置の計測値を算出しても、サブピクセルまで算出することができる。

（変形例１−３）
図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）のステップ６０３において、特徴点位置計測手段１２０は、式１を用いた折れ線近似の代わりに、以下数１１を用いた放物線近似（Ｐａｒａｂｏｌａ Ｆｉｔｔｉｎｇ、パラボラ・フィッティング）で、特徴点位置の横方向の計測値ｕを算出しても、サブピクセルまで算出することができる。ここで、縦方向についても同様な処理を行う。ここで、ここで、Ｓｃ、Ｓｌ、Ｓｒは、輝度の差の絶対値の和（ＳＡＤ）、あるいは、ＺＳＡＤ、ＳＳＤ、ＺＳＳＤ、ＮＣＣ、ＺＮＣＣの値である。

（変形例１−４）
撮像装置１００が３つ以上の撮像系手段（カメラ）を有している場合、図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）のステップ５０１〜ステップ５１３を、２つの撮像系手段の組合せごとに実施する。撮像装置１００では、２つの撮像系手段の組合せごとに、それぞれの幾何補正情報で画像を補正して、距離画像を算出する。これにより、３つ以上の撮像系手段を有する撮像装置１００の幾何キャリブレーションを可能にする。

（変形例１−５）
図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）において、ステップ５０１の後にステップ５０６を実施する。このようにステップ５０６の処理の順序を換えても、撮像装置１００における２つの撮像系手段及びの製造誤差及び撮像装置１００の設置誤差の影響を幾何補正情報から除去でき、撮像装置１００において正確な距離画像を算出することができる。

（変形例１−６）
図１に示す本発明のキャリブレーション装置の一実施例において、画像取込手段１１７ａ及び１１７ｂの代わりに、視点１及び視点２に設置された撮像装置１００からの画像を取得する画像取込手段１１７にするとともに、画像記憶手段１１１ａ及び１１１ｂの代わりに、視点１及び視点２からの画像、輝度補正した画像、幾何補正した画像を記憶する画像記憶手段１１１にする。このように画像取込手段１１７ａ及び１１７ｂの代わりに画像取込手段１１７を、画像記憶手段１１１ａ及び１１１ｂの代わりに画像記憶手段１１１を設けても、撮像装置１００における２つの撮像系手段及びの製造誤差及び撮像装置１００の設置誤差の影響を幾何補正情報から除去でき、撮像装置１００において正確な距離画像を算出することができる。

（変形例１−７）
図１に示す本発明のキャリブレーションシステムの一実施例において、図１２に示すように、設置台１０２に設置冶具１０３ｃを新たに設け、画像取込手段１１７ｂは、設置冶具１０３ｃ（視点３）に設置したときの撮像装置１００（撮像装置１００ｃは設置冶具１０３ｃに設置した場合の撮像装置１００）の画像を取得する（チャート１０１からの第１の距離、第２の距離とは異なる第３距離離れた撮像装置において撮像した第３の画像を取得する）と共に、画像記憶手段１１１ｂは、視点３からの画像、輝度補正した画像及び幾何補正した画像を記憶する。

この設置台１０２は、チャート１０１から第１の距離離れた位置（視点１）に撮像装置を設置可能であって、且つチャート１０１から第１の距離と異なる予め定めた第２の距離離れた位置（視点２）に撮像装置を設置可能であって、且つチャート１０１から第１の距離と第２の距離とは異なる予め定めた第３の距離離れた位置（視点３）に撮像装置を設置可能な台である。

ここで、設置冶具１０３ｃに設置された撮像装置１００の視野１０４ｃは設置冶具１０３ａ及び１０４ｂに設置された撮像装置１００の視野１０４ａ及び１０４ｂと重なるとともに、設置冶具１０３ｃは視野１０４ａ及び１０４ｂに撮像装置１００が入らないように配置されている。

図１に示す本発明のキャリブレーション装置の一実施例の動作手順（図５〜図７）において、ステップ５０６〜ステップ５１０を視点３からの画像についても実施する。ここで、視点３からの画像におけるステップ５１０で、修正パラメータ算出手段１２２は、視点３の画像を用いて、幾何補正情報の横、縦、回転及び拡大縮小方向の修正パラメータ、製造誤差及び設置誤差を算出する。ステップ５１１で、視点２及び視点３の画像を用いて算出した修正パラメータの平均値をもとに幾何補正情報を修正する。これにより、２つの視点からの画像をもとに幾何補正情報を修正でき、幾何補正情報の精度が向上する。また、精度が向上した幾何補正情報を用いた撮像装置１００においてより正確な距離画像を算出することができる。

図１３に本発明のキャリブレーション装置及びのキャリブレーションシステムの一実施例の構成を示す。

本発明の一実施例は、チャート１０１、設置台１４２、設置冶具１０３、スライダ手段１０５、演算手段１５０、画面出力手段１３０を備えている。チャート１０１、設置冶具１０３、画面出力手段１３０は、図１に示すものと同じであり、説明の記述を省略する。

設置台１４２は、スライダ手段１０５及び設置冶具１０３を介して、撮像装置１００を取り付ける台である。つまり、図１や図１２のように、視点毎に段差を設けた設置台ではなく、スライダ手段１０５を設けて、チャート１０１と撮像装置間の距離を可変して、それぞれ異なる距離にて画像を撮像し、取り込んでいる。それにより異なる視点での画像を取り込むことが可能となる。

図１２のキャリブレーションシステムに、本実施例のスライダ手段１０５を適用したものを図１５に記す。但し、内容は、図３と全く同様ですので、説明は省略する。

スライダなどのスライダ手段１０５は、制御信号を受け取り、制御信号で指定された位置に、設置冶具１０３が取り付けられた台を移動させる。ここでは、チャートの面に対して垂直な方向に光軸となるように設置冶具１０３を介して撮像装置１００が設置される。スライダ手段１０５は、チャートの面に対して垂直な方向に設置冶具及１０３及び撮像装置１００を移動させる。

ＣＰＵ及びメモリなどから構成されるキャリブレーション装置である演算手段１５０は、画像記憶手段１１１ａ、画像記憶手段１１１ｂ、輝度補正情報記憶手段１１２、設計情報記憶手段１１３、特徴点位置記憶手段１１４、幾何補正情報記憶手段１１５、誤差記憶手段１１６、画像取得手段１１７、輝度補正手段１１８、特徴点位置設計値算出手段１１９、特徴点位置計測手段１２０、幾何補正情報生成手段１２１、修正パラメータ算出手段１２２、幾何補正情報修正手段１２３、幾何補正情報送信手段１２４、幾何補正手段１２５、制御手段１２６を備えている。

画像記憶手段１１１ａ、画像記憶手段１１１ｂ、輝度補正情報記憶手段１１２、設計情報記憶手段１１３、特徴点位置記憶手段１１４、幾何補正情報記憶手段１１５、誤差記憶手段１１６、画像取得手段１１７、輝度補正手段１１８、特徴点位置設計値算出手段１１９、特徴点位置計測手段１２０、幾何補正情報生成手段１２１、修正パラメータ算出手段１２２、幾何補正情報修正手段１２３、幾何補正情報送信手段１２４、幾何補正手段１２５は、図１に示すものと同じであり、説明の記述を省力する。

画像取込手段１１７は、撮像装置１４０が出力する画像を取り込む。

制御手段１２６は、撮像装置の位置（視点１’）（撮像装置１４０ａは視点１’に位置した場合の撮像装置）、あるいは、撮像装置１４０ｂの位置（視点２’）（撮像装置１４０ｂは視点２’に位置した場合の撮像装置）に移動するという制御信号をスライダ手段１０５に送る。

視点１’及び視点２’はチャート１０１からの撮像装置までの距離が異なる。ここでは、視点１’及び視点２’における撮像装置の視野１４１ａ及び１４１ｂはチャート１０１の面を含まれている。スライダ手段１０５の台がチャート１０１の面に対して垂直に移動し、チャート１０１と視点２’の距離がチャート１０１と視点１’の距離よりも短いため、視点２’における撮像装置の視野１４１ｂは視点１’における撮像装置の視野１４１ａに含まれる。

図１３に示す本発明のキャリブレーション装置の一実施例の動作手順を、図１４を用いて説明する。

ここで、ステップ５０２〜５０５、ステップ５０７〜５１４の処理は、図５のステップ５０２〜５０５、ステップ５０７〜５１４と同じであるため、説明の記述を省略する。

ステップ１４０１は、制御手段１２６にて、視点１’の位置に台を移動するという制御信号をスライダ手段１０５に送る。スライダ手段１０５はこの制御信号を受け取り、設置冶具１０３が取れ付けられた台を視点１’まで移動させる。

ステップ１４０２は、撮像装置にて、左右の撮影系手段で撮影した画像を出力する。画像取得手段１１７は撮影装置からの左右の画像を取得し、画像記憶手段１１１ａに送る。
画像記憶手段１１１ａはその画像を格納する。

ステップ１４０３は、制御手段１２６にて、視点２’の位置に台を移動するという制御信号をスライダ手段１０５に送る。スライダ手段１０５はこの制御信号を受け取り、設置冶具１０３が取れ付けられた台を視点２’まで移動させる。

ステップ１４０４は、撮像装置にて左右の撮影系手段で撮影した画像を出力する。画像取得手段１１７は撮影装置１００からの左右の画像を取得し、画像記憶手段１１１ｂに送る。画像記憶手段１１１ｂはその画像を格納する。

図１３に示す本発明のキャリブレーション装置の一実施例の動作手順（図１４）によれば、ステップ１４０１及びステップ１４０３でスライダ手段１０５が視点１’及び視点２’に撮像装置１００を移動させる。これにより、撮像装置１００の移動を自動化できる。

なお、本発明のキャリブレーション装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明のキャリブレーション装置の変形例について説明する。

（変形例２−１）
図１に示す本発明のキャリブレーション装置の一実施例の動作（図１４）において、ステップ５１０の後に、撮像装置を１３０ｃの位置（視点３’）（撮像装置１４０ｃは視点３’に位置した場合の撮像装置）に設置して、ステップ１４０３、１４０４、ステップ５０７〜５１０を実施して、ステップ５１１で、視点２’及び視点３’の画像を用いて算出した修正パラメータの平均値をもとに幾何補正情報を修正する。これにより、２つの視点からの画像をもとに幾何補正情報を修正でき、幾何補正情報の精度が向上する。また、精度が向上した幾何補正情報を用いた撮像装置においてより正確な距離画像を算出することができる。

図１６に本発明のキャリブレーションシステムの一実施例の構成を示す。

本発明の一実施例は、チャート１６０１、設置台１６０２、第１の設置冶具（図示せず）、第２の設置冶具（図示せず）、演算手段１６１０ａ〜１６１０ｅ、画面出力手段１６２０ａ〜１６２０ｅを備えている。この実施例では、チャート１０１の面に対して平行方向に複数の撮像装置（５台の撮像装置１６００ａ〜１６００ｅ）が配置され、その複数の撮像装置の各々は、互いに撮像領域が重なるように配置されている。

チャート１６０１は、複数の特徴点が描かれている。例えば、図３（ａ）に示す特徴点の例１０１ａの形状は矩形であり、図３（ｂ）に示す特徴点の例３０１ｂの形状はリングである。

設置台１６０２は、第１の設置冶具と第２の設置冶具を介して、５台の撮像装置１６００ａ〜１６００ｅをそれぞれ取り付ける台である。つまり設置台１６０２は、チャート１０１の面に対して平行方向に複数の撮像装置が配置され、その複数の撮像装置の各々は、互いに撮像領域が重なるように配置される台である。

第１の設置冶具は、チャート１６０１からの距離が同じ位置に設置されている。第１の設置冶具に設置された撮像装置１６００ａ〜１６００ｅの視野１６０４ａ〜１６０４ｅが重なるように、第１の設置冶具が設置されている。

第２の設置冶具は、チャート１６０１からの距離が同じ位置に設置され、チャート１６０１と第１の設置冶具の距離とは異なる。第２の設置冶具に設置された撮像装置１６００ａ〜１６００ｅの視野は、第１の設置冶具に設置された撮像装置１６００ａ〜１６００ｅの視野１６０４ａ〜１６０４ｅと重なるように設置されている。

キャリブレーション装置である演算手段１６１０ａ〜１６１０ｅの構成は、図１に示す本発明のキャリブレーション装置の一実施例の演算手段１１０と同じ構成である。このため、説明の記述を省略する。

画面出力手段１６２０ａ〜１６２０ｅは、図１に示す本発明のキャリブレーション装置の一実施例の画面出力手段１３０と同じである。このため、説明の記述を省略する。

図１６に示す本発明のキャリブレーション装置の一実施例における演算手段１６１０ａ〜１６１０ｅ、画面出力手段１６２０ａ〜１６２０ｅのそれぞれの動作は、図２〜図７に示す動作と同じである。このため、説明の記述を省略する。

図１６に示す本発明のキャリブレーション装置の一実施例によれば、複数の撮像装置のキャリブレーションを実施でき、複数の撮像装置の視野が重なるように、複数の撮像装置が設置されていることにより、図１に示す本発明のキャリブレーション装置の一実施例を複数設置するスペースよりも狭くすることができる。

図１７に本発明のキャリブレーションシステムの他の実施例の構成を示す。

本発明の一実施例は、チャート１７０１、設置台１７０２、スライダ手段１７０５ａ〜１７０５ｅ、設置冶具（図示せず）、５台の撮像装置１７００ａ〜１７００ｅ、演算手段１７１０ａ〜１７１０ｅ、画面出力手段１７２０ａ〜１７２０ｅを備えている。ここで、チャート１７０１は、図１６に示す本発明のキャリブレーション装置の一実施例のチャートと同じである。このため、説明の記述を省略する。

設置台１７０２は、スライダ手段１７０５ａ〜１７０５ｅ及び設置冶具を介して、５台の撮像装置１７００ａ〜１７００ｅをそれぞれ取り付ける台である。

スライダなどのスライダ手段１７０５ａ〜１７０５ｅは、制御信号を受け取り、制御信号で指定された位置に、設置冶具がそれぞれ取り付けられた台を移動させる。ここでは、チャート１７０１の面に対して垂直な方向に光軸となるように設置冶具を介して撮像装置１７００ａ〜１７００ｅが設置される。スライダ手段１７０５ａ〜１７０５ｅは、この方向に設置冶具及び撮像装置１７００ａ〜１７００ｅを移動させる。撮像装置１７００ａ〜１７００ｅの視野１７０４ａ〜１７０４ｅはそれぞれ重なるように、スライダ手段１７０５ａ〜１７０５ｅが設置されている。

設置冶具は、図１３に示す本発明のキャリブレーション装置の一実施例の設置冶具と同じ構成である。このため、説明の記述を省略する。

演算手段１７１０ａ〜１７１０ｅの構成は、図１３に示す本発明のキャリブレーション装置の一実施例の演算手段１５０と同じ構成である。このため、説明の記述を省略する。

画面出力手段１７２０ａ〜１７２０ｅは、図１に示す本発明のキャリブレーション装置の一実施例の画面出力手段１３０と同じである。このため、説明の記述を省略する。

図１７に示す本発明のキャリブレーション装置の一実施例におけるスライダ手段１７０５ａ〜１７０５ｅ、演算手段１７１０ａ〜１７１０ｅ、画面出力手段１７２０ａ〜１７２０ｅのそれぞれの動作は、図１４、図６及び図７に示す動作と同じである。このため、説明の記述を省略する。

図１７に示す本発明のキャリブレーション装置の一実施例によれば、複数の撮像装置をキャリブレーションを実施でき、複数の撮像装置の視野が重なるように、複数の撮像装置が設置されていることにより、図１３に示す本発明のキャリブレーション装置の一実施例を複数設置するスペースよりも狭くすることができる。

図１７に示す本発明のキャリブレーション装置の一実施例の動作手順（図１４、図６及び図７）によれば、ステップ１４０１及びステップ１４０３でスライダ手段が視点１’及び視点２’に撮像装置を移動させる。これにより、撮像装置の移動を自動化できる。

図１８に本発明の撮像装置の一実施例の構成を示す。

本発明の一実施例は、撮像系手段１８００ａ、撮像系手段１８００ｂ、演算手段１８１０、画面音声出力手段１８３０、制御手段１８４０を備えている。

カメラなどの撮像系手段１８００ａは、光学素子手段１８０１ａ、シャッタ手段１８０２ａ、撮像素子手段１８０３ａを備えている。

レンズなどの光学素子手段１８０１ａは、光を屈折させて、撮像素子に像を結ぶ。

シャッタなどのシャッタ手段１８０２ａは、光学素子手段１８０１ａを通過した光が通る箇所に設置され、シャッタ開閉信号及び露光時間の情報を受け取った直後に露光時間だけその光が通るようにシャッタの機構を開き、それ以外の時は光をさえぎるようにシャッタの機構を閉じる。

撮像素子などの撮像素子手段１８０３ａは、光学素子手段１８０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。

カメラなどの撮像系手段１８００ｂは、光学素子手段１８０１ｂ、シャッタ手段１８０２ｂ、撮像素子手段１８０３ｂを備えている。また、撮像系手段１８００ａと撮像系手段１８００ｂの焦点距離の設計値は同じである。撮像系手段１８００ａと撮像系手段１８００ｂの光軸の方向は、おおむね同じである。

レンズなどの光学素子手段１８０１ｂは、光を屈折させて、撮像素子に像を結ぶ。

シャッタなどのシャッタ手段１８０２ｂは、光学素子手段１８０１ｂを通過した光が通る箇所に設置され、シャッタ開閉信号及び露光時間の情報を受け取った直後に露光時間だけその光が通るようにシャッタの機構を開き、それ以外の時は光をさえぎるようにシャッタの機構を閉じる。

撮像素子などの撮像素子手段１８０３ｂは、光学素子手段１８０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。

ＣＰＵ及びメモリなどから構成される演算手段１８１０は、基準画像記憶手段１８１１、比較画像記憶手段１８１２、処理画像記憶手段１８１３、輝度補正情報記憶手段１８１４、幾何補正情報記憶手段１８１５、設計情報記憶手段１８１６、誤差記憶手段１８１７、同期信号発信手段１８１８、基準画像取込手段１８１９ａ、比較画像取込手段１８１９ｂ、輝度補正手段１８２０、幾何補正手段１８２１、視差算出手段１８２２、距離算出手段１８２３、認識手段１８２４を備えている。

メモリやハードディスクなどの基準画像記憶手段１８１１は、撮像系手段１８００ａで撮影された画像を記憶する。視差算出において、基準画像記憶手段１８１１に記憶されている画像からテンプレート画像を切り出されるため、この画像は基準画像である。

メモリやハードディスクなどの比較画像記憶手段１８１２は、撮像系手段１８００ｂで撮影された画像を記憶する。視差算出において、比較画像記憶手段１８１２に記憶されている画像をテンプレート画像で探索されるため、この画像は比較画像である。

メモリやハードディスクなどの処理画像記憶手段１８１３は、演算手段１８１０で処理され、生成された画像を記憶する。

メモリやハードディスクなどの輝度補正情報記憶手段１８１４は、撮像系手段１８００ａ及び撮像系手段１８００ｂの画像（基準画像及び比較画像）における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの画像の輝度が画像全面で同じになる値である。

メモリやハードディスクなどの幾何補正情報記憶手段１１５は、撮像系手段１８００ａ及び撮像系手段１８００ｂの画像（基準画像及び比較画像）における各画素の幾何の補正量（幾何補正情報）を記憶する。この補正量は、光学素子手段１８０１ａ及び光学素子手段１８０１ｂの歪、撮像系手段１８００ａ及び撮像系手段１８００ｂの焦点距離の誤差、画像上の光軸位置の誤差及び取付誤差が０であるときの画像に補正する値である。

記憶されている幾何補正情報は、図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例が算出したものである。このため、撮像系手段の光軸中心の回転方向の製造誤差と、撮像系手段間の実際の位置（焦点）を結んだ線と撮像系手段間の設計上の位置（焦点）を結んだ線がなす角度を足し合わせた角度だけ画像を回転させる幾何補正情報である。

メモリやハードディスクなどの設計情報記憶手段は、撮像系手段と間の距離（基線長）、撮像系手段の焦点距離の設計値、撮像素子手段の画素ピッチ、解像度の設計値を記憶する。

メモリやハードディスクなどの誤差記憶手段は、撮像系手段との間の横方向の位置誤差を記憶する。撮像系手段との間の位置誤差は、図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例が算出したものである。

同期信号発信手段１８１８は、同期信号を生成し、発信する。

基準画像取込手段１８１９ａは、同期信号発信手段１８１８の同期信号に合わせて、シャッタ手段１８０２ａにシャッタを開けるという信号を送るとともに、撮像素子手段１８０３ａが生成する画像を取得する。

比較画像取込手段１８１９ｂは、同期信号発信手段１８１８の同期信号に合わせて、シャッタ手段１８０２ｂにシャッタを開けるという信号を送るとともに、撮像素子手段１８０３ｂが生成する画像を取得する。

輝度補正手段１８２０は、輝度補正情報記憶手段１８１４から各画素の輝度の補正係数を読み込み、基準画像及び比較画像の輝度を補正する。

幾何補正手段１８２１は、幾何補正情報記憶手段１１５から各画素の幾何の２次元補正量（幾何補正情報）を読み込み、基準画像及び比較画像に幾何学的に補正し、写る像の形状を補正する。つまり、撮像系手段１８００ａ（第１の撮像系手段）と撮像系手段１８００ｂ（第２の撮像系手段）の幾何補正情報に基づいて基準画像及び比較画像を補正する。更に、撮像系手段１８００ａと撮像系手段１８００ｂ間を結ぶ実際の基線長の線と撮像系手段１８００ａと撮像系手段１８００ｂ間を結ぶ理想の基線長の線のなす角度と、撮像系手段１８００ａの回転角の理想値からの誤差と、を足し合わせ角度を、回転方向に補正する。

視差算出手段１８２２は、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する比較画像上の領域を探索する。テンプレート画像と一致する比較画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。各画素について視差を算出することにより、視差画像を算出する。

距離算出手段１８２３は、視差算出手段１８２２が算出した視差、撮像系手段１８００ａと撮像系手段１８００ｂの焦点の距離（基線長）、焦点距離及び画素ピッチをもとに、撮像系手段１８００ａ及び撮像系手段１８００ｂの光軸方向に撮像装置から画像上の対象物までの距離を算出する。各画素について距離を算出することにより、距離画像を算出する。また、撮像系手段１８００ａと撮像系手段１８００ｂ間の基線長と、その基線長の理想値からの誤差と、を足し合わせた値を用いて、距離画像を算出する。

認識手段１８２４は、基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、撮像装置に対する対象物の３次元の相対位置及び相対速度を算出する。ここで、撮像装置に対する３次元の相対位置座標系は、撮像系手段１８００ａと撮像系手段１８００ｂの焦点間の中点を原点として、撮像系手段１８００ａ及び撮像系手段１８００ｂに対して右方向にｘ座標、上方向にｙ座標、光軸方向にｚ座標をとる。

また、撮像装置と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。撮像装置と対象物の相対位置、相対速度、衝突判定結果及び衝突時間を画面音声出力手段１８３０及び制御手段１８４０に送る。

モニタ及びスピーカなどの画面音声出力手段１８３０は、基準画像、あるいは、視差画像、距離画像を画面に表示する。また、対象物の位置に枠あるいはマーカを表示する。このとき、認識手段１８２４からの衝突判定結果が衝突するという判定である対象物の枠あるいはマーカの色を、衝突しない対象物と異なるものとする。認識手段１８２４からの衝突判定結果が衝突するという判定である対象物がある場合、警告音を出力する。

ＣＰＵなどの制御手段１８４０は、撮像装置と対象物の相対位置、相対速度、衝突時間及び衝突判定結果をもとに制御信号を生成して、撮像装置の外部に出力する。

図１８に示す本発明の撮像装置の一実施例の動作手順を、図１９を用いて説明する。

ステップ１９０１は、同期信号発信手段１８１８にて、同期信号を生成して、基準画像取込手段１８１９ａ及び比較画像取込手段１８１９ｂに送る。基準画像取込手段１８１９ａは、同期信号発信手段１８１８からの同期信号を受け取った直後に、シャッタ手段１８０２ａにシャッタ開閉信号及び露光時間の情報を送る。

シャッタ手段１８０２ａは、基準画像取込手段１８１９ａからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子手段１８０３ａは、光学素子手段１８０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、基準画像取込手段１８１９ａに画像を送る。基準画像取込手段１８１９ａは、撮像素子手段１８０３ａから画像を受け取り、基準画像記憶手段１８１１に格納する。

比較画像取込手段１８１９ｂは、同期信号発信手段１８１８からの同期信号を受け取った直後に、シャッタ手段１８０２ｂにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１８０２ｂは、比較画像取込手段１８１９ｂからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。

撮像素子手段１８０３ｂは、光学素子手段１８０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、比較画像取込手段１８１９ｂに画像を送る。比較画像取込手段１８１９ｂは、撮像素子手段１８０３ｂから画像を受け取り、比較画像記憶手段１８１２に格納する。

ステップ１９０２は、輝度補正手段１８２０にて、輝度補正情報記憶手段１８１４から撮像素子手段１８０３ａ及び撮像素子手段１８０３ｂの画像における各画素の補正係数を読み込み、基準画像記憶手段１８１１及び比較画像記憶手段１８１２からそれぞれ基準画像及び比較画像を読み込む。基準画像の各画素の輝度値に撮像素子手段１８０３ａの画像における各画素の補正係数を掛け合わせて、基準画像の輝度値を補正する。同様に、比較画像の各画素の輝度値に撮像素子手段１８０３ｂの画像における各画素の補正係数を掛け合わせて、比較画像の輝度値を補正する。補正した基準画像及び比較画像をそれぞれ基準画像記憶手段１８１１及び比較画像記憶手段１８１２に格納する。

ステップ１９０３は、幾何補正手段１８２１にて、幾何補正情報記憶手段１８１５から撮像素子手段１８０３ａ及び撮像素子手段１８０３ｂの画像における各画素の幾何の２次元補正量を読み込み、基準画像記憶手段１８１１及び比較画像記憶手段１８１２からそれぞれ基準画像及び比較画像を読み込む。基準画像の各画素から２次元補正量を変化させた基準画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を基準画像上の全ての画素について実施する。同様に、比較画像の各画素から２次元補正量を変化させた比較画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を比較画像上の全ての画素について実施する。補正した基準画像及び比較画像をそれぞれ基準画像記憶手段１８１１及び比較画像記憶手段１８１２に格納する。

ステップ１９０４は、視差算出手段１８２２にて、図２０に示すように、基準画像２００１上の所定のサイズの領域の画像２００３（テンプレート画像）を抽出する。比較画像２００２上でテンプレート画像２００３と同じ対象物が写っている領域の画像を以下のテンプレートマッチングで探索する。比較画像２００２上の所定のサイズの領域の画像２００４を抽出して、基準画像２００１上のテンプレート画像２００３の輝度値と比較画像２００２上の所定のサイズの領域の画像２００４の輝度値の差の絶対値の和（ＳＡＤ）を比較画像２００２上の各領域の画像２００４について算出して、最も小さい値の比較画像２００２上の領域の画像２００４を求める。

各輝度の絶対値の和が最も小さい比較画像２００２上の領域の画像２００４の左右方向の隣の位置において、基準画像２００１上のテンプレート画像２００３の輝度値と比較画像２００２上の所定のサイズの領域の画像２００４の輝度値の差の絶対値の和を算出する。

上記数１を用いて、輝度の差の絶対値の和が最も小さい位置、その左隣及び右隣の画素の位置における輝度の差の絶対値の和Ｓｃ、Ｓｌ、Ｓｒをもとに、折れ線近似で比較画像２００２上の領域の画像２００４とテンプレート画像２００３の領域の横方向の距離ｕ、すなわち、視差を算出する。この処理を基準画像２００１上の全ての領域について実施して、基準画像２００１の全体での視差を算出する。このようにして算出した視差画像を処理画像記憶手段１８１３に格納する。

ステップ１９０５は、距離算出手段１８２３は、処理画像記憶手段１８１３から視差画像を、設計情報記憶手段から基線長、焦点距離及び画素ピッチの設計値を、誤差記憶手段から撮像系手段と間の横（基線長）方向の位置誤差を読み込む。

以下数１２を用いて、基準画像上の各領域の画像２００３に写っている像と撮像装置との光軸方向の距離Ｌを算出する。ここで、Ｂは撮像系手段１８００ａと撮像系手段１８００ｂの焦点間の距離（基線長）の設計値、ΔＢは基線長の誤差、ｆは焦点距離の設計値、ｄはステップ１９０４で算出した各領域の視差、ｃは撮像素子手段の画素ピッチの設計値である。

この処理を基準画像上の全ての領域について実施して、基準画像の全体における各像と撮像装置との光軸方向の距離を算出する。このようにして算出した距離画像を処理画像記憶手段１８１３に格納する。

ステップ１９０６は、認識手段１８２４は、基準画像記憶手段１８１１から基準画像を、処理画像記憶手段１８１３から距離画像を読み込む。そこで、基準画像上の消失点の位置の算出、自動車や歩行者などの対象物の判定、撮像装置に対する対象物の相対位置及び相対速度の算出、対象物と撮像装置との衝突判定を行う。

先ず、認識手段１８２４は、基準画像上の消失点の位置の算出を以下の手順で実施する。基準画像上の車線の境界にある両側の白線を検出して、基準画像上の白線の傾きを算出する。両側の白線が直線であるとして、算出した傾きにより、両側の白線が交わる点の基準画像上の位置を算出する。これが消失点の位置である。

次に、認識手段１８２４は、自動車や歩行者などの対象物の検出を以下の手順で実施する。距離画像において、距離が所定の範囲内にある画素が連結している領域１を求める。所定の範囲の例として、５〜１０ｍ、７．５〜１２．５ｍ、１０〜１５ｍなどと幅５ｍで２．５ｍごとに範囲が重複する複数の範囲を設定する。

距離が所定の範囲内にある画素が連結している各領域１の基準画像上の縦及び横方向の長さを求める。各領域１の基準画像上の縦方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域１の３次元の縦方向の長さを算出する。同様に、各領域１の基準画像上の横方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域１の３次元の横方向の長さを算出する。

以下数１３を用いて、各領域１の地面に関する基準画像上の縦方向の位置Ｖｇを近似的に算出する。ここで、Ｖｖは消失点の高さ、Ｈｉは撮像装置の取付高さ、Ｌｒは領域１の平均距離である。また、撮像系手段１００ａ及び撮像系手段１００ｂの光軸はおおむね水平方向であるという仮定を設定したときの計算式である。

領域１の３次元の縦及び横方向の長さが自動車の所定の範囲内であり、かつ、領域１の下限の基準画像上の縦方向の位置と、上記数１で算出した領域１の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域１の対象物は自動車であると判定する。同様に、領域１の３次元の縦及び横方向の長さが歩行者の所定の範囲内であり、かつ、領域１の下限の基準画像上の縦方向の位置と、上記数１で算出した領域１の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域１の対象物は歩行者であると判定する。これらの処理を全ての領域１について実施して、自動車、歩行者であるかを判定する。

次に、撮像装置に対する対象物の相対位置及び相対速度の算出を以下の手順で実施する。自動車あるいは歩行者と判定された領域１について、以下数１４〜数１６を用いて、撮像装置に対する対象物の相対位置（Ｘｏ、Ｙｏ、Ｚｏ）を算出する。ここで、（Ｕｏ、Ｖｏ）は自動車あるいは歩行者と判定された領域１の中央に関する基準画像上の位置である。

ステップ１９０１〜１９０８の処理は、所定の周期で繰り返し実施される。前回と今回の処理のステップ１９０６で検出された領域１の基準画像上の位置の差が閾値以内である場合、同じ対象物であると判定して、今回の処理で算出された撮像装置に対する対象物の相対位置から、前回の処理のステップ１９０６で算出された相対位置を引きた値を、ステップ１９０１〜１９０８の処理周期の時間間隔で割って、撮像装置に対する対象物の相対速度（Ｖｘ、Ｖｙ、Ｖｚ）を算出する。

最後に、対象物と撮像装置との衝突判定を以下の手順で実施する。撮像装置に対する対象物の相対速度Ｖｚが０以上である場合、自動車あるいは歩行者と判定された領域１の対象物に衝突しないと判定する。撮像装置に対する対象物の相対速度Ｖｚが負である場合、今回の処理で算出した撮像装置に対する対象物の相対位置Ｚｏを、撮像装置に対する対象物の相対速度Ｖｚの絶対値で割り、衝突までの時間（衝突時間）を算出する。

また、撮像装置に対する対象物の相対速度Ｖｘに衝突時間をかけた値に対象物の相対位置Ｘｏを足して、衝突時における撮像装置に対する対象物の相対位置Ｘｏを算出する。

そこで、撮像装置に対する対象物の相対速度Ｖｚが負であり、かつ、衝突時間が閾値以内であり、かつ、衝突時における撮像装置に対する対象物の相対位置Ｘｏの絶対値が閾値内である場合、自動車あるいは歩行者と判定された領域１の対象物に衝突すると判定する。それ以外の場合、衝突しないと判定する。

認識手段１８２４は、自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を画面音声出力手段１８３０及び制御手段１８４０に送る。

ステップ１９０７は、画面音声出力手段１８３０にて、認識手段１８２４から自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。

基準画像記憶手段１８１１から基準画像を読み込む。画面に基準画像を表示し、自動車あるいは歩行者と判定された領域１を枠として表示する。また、衝突判定結果が衝突するという判定結果である領域１の枠の色を衝突しないという判定結果の対象物の領域１の枠の色と変えて、画面に表示する。領域１の中に、衝突判定結果が衝突するという判定結果がある場合、警告音を出力する。

ステップ１９０８は、制御手段１８４０にて、認識手段１８２４から自動車あるいは歩行者と判定された領域１に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。自動車あるいは歩行者と判定された領域１の中に、衝突判定結果が衝突するという判定結果がある場合、衝突を回避する制御信号を生成して、撮像装置の外部に出力する。

図１０（ａ）に示すように、撮像装置における２つの撮像系手段との縦方向の位置に製造誤差があると、図１０（ｂ）及び（ｃ）に示すように、ステップ５０５で視点１の画像をもとに生成した幾何補正情報を用いて補正した左右の画像及びでは、設計で画像中央に映る像が上下方向にずれてしまう。このため、特徴点位置の計測値が上下方向に誤差を持つ。

１つの視点からの画像だけで幾何補正情報を求める手法では、このように、縦方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまい、２つの撮像系手段を有する撮像装置において、縦方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、画像上に上下方向に位置誤差が発生し、基準画像のテンプレート画像にマッチする比較画像の領域がなく、距離画像を求めることができなくなる。

図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例の動作手順（図５（図１４）、図６及び図７）によれば、ステップ７０１で、視点１からの画像を用いて算出した幾何補正情報で視点２の特徴点位置の計測値を補正し、ステップ７２１〜ステップ７２４で、視点２からの左画像と右画像における特徴点の縦方向の位置の補正値の差と設計値の差の平均をもとに、撮像装置おける２つの撮像系手段の縦方向の位置間の製造誤差を算出し、その誤差を修正する回転及び上下方向の修正パラメータを算出して、ステップ５１２で、幾何補正情報を回転及び上下方向に修正パラメータで修正する。

この処理により、撮像装置おける２つの撮像系手段の縦方向の位置間の製造誤差の影響を幾何補正情報から除去できる。

図１８に示す本発明の撮像装置の一実施例の動作手順（図１９）によれば、図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例が算出した幾何補正情報を幾何補正情報記憶手段に格納して、ステップ１９０３で前記の幾何補正情報を用いて、基準画像及び比較画像を幾何補正する。これにより、画像の上下方向の誤差が除去できるため、基準画像のテンプレート画像にマッチする比較画像の領域を探索でき、距離画像を求めることができる。

図１１（ａ）に示すように、撮像装置における２つの撮像系手段との横方向の位置に製造誤差があると、図１１（ｂ）及び（ｃ）に示すように、ステップ５０５で視点１の画像をもとに生成した幾何補正情報を用いて補正した左右の画像及びでは、設計で画像中央に映る像が左右方向にずれてしまう。このため、特徴点位置の計測値が左右方向に誤差を持つ。

１つの視点からの画像だけで幾何補正情報を求める手法では、このように、横方向に誤差を持つ特徴点位置の計測値により、幾何補正情報に誤差が発生してしまう。撮像装置において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。

図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例の動作手順（図５（図１４）、図６、図７）によれば、ステップ７０１で、視点１からの画像を用いて算出した幾何補正情報で視点２の特徴点位置の計測値を補正し、ステップ７３１〜ステップ７３４で、視点２からの左画像と右画像における特徴点の横方向の位置の補正値の差と設計値の差の差の平均をもとに、撮像装置おける２つの撮像系手段の横方向の位置間の製造誤差を算出し、その誤差を修正する横方向の修正パラメータを算出して、ステップ５１２で、幾何補正情報を横方向に修正パラメータで修正する。

この処理により、撮像装置おける２つの撮像系手段の横方向の位置間の製造誤差の影響を幾何補正情報から除去できる。

図１８に示す本発明の撮像装置の一実施例の動作手順（図１９）によれば、図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例が算出した幾何補正情報を幾何補正情報記憶手段に格納して、ステップ１９０３で前記の幾何補正情報を用いて、基準画像及び比較画像を幾何補正する。これにより、画像の横方向の誤差が除去できるため、基準画像のテンプレート画像にマッチする比較画像の領域を正確に探索でき、正確な距離画像を算出することができる。

図１１（ａ）に示すように、撮像装置における２つの撮像系手段との横方向の位置に製造誤差があると、たとえこの製造誤差の影響を画像から除去したとしても、この製造誤差の値が不明である場合、この製造誤差を考慮せず、距離を算出するため、以下式１７に示す距離の誤差ΔＬが発生する。

図１、図１３、図１６及び図１７に示す本発明のキャリブレーション装置の一実施例の動作手順（図５（図１４）、図６、図７）、図１８に示す本発明の撮像装置の一実施例の動作手順（図１９）によれば、ステップ７３２で撮像装置おける２つの撮像系手段の横方向の位置間の製造誤差を算出して、ステップ５１２で撮像装置の誤差記憶手段に格納して、ステップ１９０５で式１２に示すように、この製造誤差を考慮して、距離を算出する。これにより、視差をもとにした距離の算出で、２つの撮像系手段の横方向の位置間の製造誤差による距離誤差を除去できる。

撮像装置１００を設置冶具１０３ａ及び設置冶具１０３ｂに設置するときに設置ずれが発生すると、チャート１０１に対する撮像装置１００の奥行き位置に誤差が生じ、画像上の特徴点位置の計測値に横方向の誤差が発生するとともに、撮像装置１００において、横方向の誤差を持つ幾何補正情報を用いて、画像を補正すると、視差に誤差が発生し、距離画像に誤差が発生してしまう。

図１に示す本発明のキャリブレーション装置の一実施例及び図１８に示す本発明の撮像装置の一実施例によれば、図４に示すように、撮像装置１００を設置する設置冶具１０３ａ及び１０３ｂに３つのピン４０１ａ〜４０１ｃを配置するとともに、撮像装置１００の筐体における平面に加工されている箇所４０２ａ〜４０２ｃにピン４０１ａ〜４０１ｃをあてる３つの平面を有して、３つの平面に３つのピン４０１ａ〜４０１ｃをそれぞれあてて設置することにより、撮像装置１００の設置ずれを防ぐことができるとともに、撮像装置１００の設置ずれによる誤差を幾何補正情報から除去でき、撮像装置１００において正確な距離画像を算出することができる。

なお、本発明の撮像装置は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明の撮像装置の変形例について説明する。

（変形例５−１）
図１８に示す本発明の撮像装置の一実施例の動作手順（図１９）のステップ１９０４において、視差算出手段１８２２は、基準画像２００１上のテンプレート画像２００３の輝度値と比較画像２００２上の所定のサイズの領域の画像２００４の輝度値の差の絶対値の和（ＳＡＤ）を比較画像２００２上の各領域の画像２００４について算出する代わりに、基準画像２００１上のテンプレート画像２００３の輝度値と比較画像２００２上の所定のサイズの領域の画像２００４の輝度値のＺＳＡＤ、あるいは、ＳＳＤ、ＺＳＳＤ、ＮＣＣ、ＺＮＣＣを比較画像３０２上の各領域の画像２００４について算出しても、比較画像２００２上の領域の画像２００４とテンプレート画像２００３の領域の横方向の距離、すなわち、視差を算出することができる。

（変形例５−２）
図１８に示す本発明の撮像装置の一実施例の動作手順（図１９）のステップ１９０４において、視差算出手段１８２２は、輝度の差の絶対値の和が最も小さい位置、その左隣及び右隣の画素の位置における輝度の差の絶対値の和Ｓｃ、Ｓｌ、Ｓｒをもとに、式１を用いて、折れ線近似で比較画像２００２上の領域の画像２００４とテンプレート画像２００３の領域の横方向の距離ｕ、すなわち、視差を算出する代わりに、数１１を用いて、放物線近似（Ｐａｒａｂｏｌａ Ｆｉｔｔｉｎｇ、パラボラ・フィッティング）で比較画像２００２上の領域の画像２００４とテンプレート画像２００３の領域の横方向の距離ｕ、すなわち、視差を算出することができる。

（変形例５−３）
図１８に示す本発明の撮像装置の一実施例において、３つ以上の撮像系手段を備え、動作手順（図１９）のステップ１９０１〜１９０８の処理を、複数の撮像系手段の組合せの数だけ実施する。これにより、２つの撮像系手段を備えた場合に比べ、広い範囲の距離画像が得られるとともに、広い範囲の対象物を認識することができる。

１００ 撮像装置、
１００ａ 撮像装置、
１００ｂ 撮像装置、
１０１ チャート、
１０２ 設置台、
１０３ａ 設置冶具、
１０３ｂ 設置冶具、
１０４ａ 視野、
１０４ｂ 視野、
１１０ 演算手段、
１１１ａ 画像記憶手段、
１１１ｂ 画像記憶手段、
１１２ 輝度補正情報記憶手段、
１１３ 設計情報記憶手段、
１１４ 特徴点位置記憶手段、
１１５…幾何補正情報記憶手段、
１１６…誤差記憶手段、
１１７ａ…画像取込手段、
１１７ｂ…画像取込手段、
１１８…輝度補正手段、
１１９…特徴点位置設計値算出手段、
１２０…特徴点位置計測手段、
１２１…幾何補正情報生成手段、
１２２…修正パラメータ算出手段、
１２３…幾何補正情報修正手段、
１２４…幾何補正情報送信手段、
１２５…幾何補正手段、
１３０…画面出力手段

Claims (12)

1. 複数の撮像系手段を有する撮像装置のキャリブレーション装置において、
   複数の特徴点が描かれたチャートから予め定めた第１の距離離れた撮像装置において撮像した第１の画像を取得する第１の画像取込手段と、
   前記第１の画像と、前記複数の撮像系手段のカメラパラメータと、
   前記複数の撮像系手段間の基線長と、前記複数の特徴点位置と、に基づいて、第１の画素の幾何的な補正量を生成する補正情報生成手段と、
   前記チャートから前記第１の距離より短い予め定めた第２の距離離れた前記撮像装置において撮像した第２の画像を取得する第２の画像取込手段と、
   前記第２の画像と、前記複数の撮像系手段のカメラパラメータと、
   前記複数の撮像系手段間の基線長と、前記複数の特徴点位置の設計値及び計測値と、に基づいて、前記第１の画素の幾何的な補正量を修正し、第２の画素の幾何的な補正量を生成する補正情報修正手段と、を有するキャリブレーション装置。
2. 請求項１記載のキャリブレーション装置において、
   前記補正情報修正手段で生成された前記第２の画素の幾何的な補正量を前記撮像装置へ出力する補正情報送信手段を有するキャリブレーション装置。
3. 請求項１記載のキャリブレーション装置において、
   前記第２の画素の幾何的な補正量に基づいて前記第１の画像、又は前記第２の画像を補正する補正手段を有するキャリブレーション装置。
4. 請求項２記載のキャリブレーション装置において、
   前記第２の画像と、前記複数の撮像系手段のカメラパラメータと、前記複数の撮像系手段間の基線長と、前記第１の画素の幾何的な補正量と、に基づいて、前記複数の撮像系手段間の基線長の誤差を算出する修正パラメータ算出手段を有し、
   前記補正情報送信手段は、前記補正情報修正手段で算出された前記複数の撮像系手段間の基線長の誤差を前記撮像装置へ出力するキャリブレーション装置。
5. 複数の撮像系手段を有する撮像装置のキャリブレーションシステムにおいて、
   複数の特徴点が描かれたチャートと、
   前記チャートから予め定めた第１の距離離れた位置に撮像装置を設置可能であって、且つ前記チャートから前記第１の距離とより短い予め定めた第２の距離離れた位置に撮像装置を設置可能な設置台と、
   前記チャートから前記第１の距離離れた位置に設置された撮像装置にて撮像した第１の画像を取得する第１の画像取込手段と、前記第１の画像と、前記複数の撮像系手段のカメラパラメータと前記複数の撮像系手段間の基線長と、前記複数の特徴点位置の設計値及び計測値と、に基づいて、第１の画素の幾何的な補正量を生成する補正情報生成手段と、前記チャートから前記第２の距離離れた位置に設置された前記撮像装置にて撮像した第２の画像を取得する第２の画像取込手段と、前記第２の画像と、前記複数の撮像系手段のカメラパラメータと前記複数の撮像系手段間の基線長と、前記複数の特徴点位置と、に基づいて、前記第１の画素の幾何的な補正量を修正し、第２の画素の幾何的な補正量を生成する補正情報修正手段と、を有する演算装置と、を有するキャリブレーションシステム。
6. 請求項５記載のキャリブレーションシステムにおいて、
   前記設置台は、前記チャートから前記第１の距離離れ、且つ予め定めた第１の高さの位置に前記撮像装置を設置可能であって、前記チャートから前記第１の距離より短い前記第２の距離離れ、且つ前記第１の高さより低い前記第２の高さの位置に設置可能な台であるキャリブレーションシステム。
7. 請求項５記載のキャリブレーションシステムにおいて、
   前記設置台には、前記チャートに対して前記撮像装置を前記第１の距離から前記第２の距離に距離を移動可能なスライダ手段を有するキャリブレーションシステム。
8. 請求項５記載のキャリブレーションシステムにおいて、
   前記設置台は、前記チャートの面に対して平行方向に複数の撮像装置が配置され、前記複数の撮像装置の各々は、互いに撮像領域が重なるように配置される台であるキャリブレーションシステム。
9. 第１の光学素子手段を通過した光を受光し、基準画像として処理される第１の画像を出力する第１の撮像素子手段を有する第１の撮像系手段と、
   第２の光学素子手段を通過した光を受光し、比較画像として処理される第２の画像を出力する第２の撮像素子手段を有する第２の撮像系手段と、
   前記基準画像と前記比較画像を用いて距離画像を生成する演算手段と、を有し、
   前記演算手段は、前記第１の撮像系手段及び前記第２の撮像系手段の画素の幾何的な補正量に基づいて前記基準画像及び前記比較画像を補正する幾何補正手段と、
   補正された前記基準画像及び前記比較画像に基づいて距離画像を生成する距離算出手段と、を有し、
   前記幾何補正手段は、前記第１の撮像系手段と前記第２の撮像系手段間を結ぶ実際の基線長の線と前記第１の撮像系手段と前記第２の撮像系手段間を結ぶ理想の基線長の線のなす角度と、前記第１の撮像系手段の回転角の理想値からの誤差と、を足し合わせ角度を、回転方向に補正する撮像装置。
10. 請求項９記載の撮像装置において、
    前記距離算出手段は、前記複数の撮像系手段間の基線長と前記基線長の理想値からの誤差とを足し合わせた値を用いて、距離画像を算出する撮像装置。
11. 請求項９記載の撮像装置において、
    前記基準画像と前記距離画像に基づいて、対象物の相対位置及び相対速度を算出する認識手段を有する撮像装置。
12. 請求項９記載の撮像装置において、
    前記補正量を記憶する幾何補正情報記憶手段を有し、
    前記幾何補正手段は、前記幾何補正情報記憶手段から読み出した前記補正量に基づいて前記基準画像及び前記比較画像を補正する撮像装置。

Images