JP6209833B2 - 検査用具、検査方法、ステレオカメラの生産方法及びシステム - Google Patents

Description

本発明は、ステレオカメラを構成する一対のカメラの相対的な位置ずれを検査するのに用いる検査用具、この検査用具を用いてステレオカメラを構成する一対のカメラの相対的な位置ずれを検査するためのステレオカメラ検査装置及び検査方法に関する。

近年、進行方向前方を一対のカメラで撮像して前方にある障害物や先行車と自車両間の距離を計測して走行時の前方を監視するためのステレオカメラを自動車に搭載し、このステレオカメラで計測された障害物や先行車までの距離情報に基づいて、例えばブレーキの適切な制動制御を自動的に行う運転支援システムが実用化されつつある。

ステレオカメラによる計測技術として、一対のカメラ（撮像レンズとＣＣＤ等の撮像素子を備えたカメラ）の一方のカメラで撮像した画像内の特定画素ブロック（対象物の結像位置）と相関する特定画素ブロック（対象物の結像位置）を他方のカメラで撮像した画像内から特定して、各画像に対する視差を算出し、各カメラ間の距離情報を用いて周知の三角測量の原理によって対象物までの距離データを算出する、いわゆるステレオ法が知られている。

ところで、このような三次元計測技術の一つであるステレオ法によって、対象物（例えば、前記した障害物や先行車）までの距離データを高精度に算出するには、各カメラで得られる一対の画像間には視差以外のずれがないことが重要である。

そのため、ステレオカメラの組み立て後において、距離データの精度を低下させる要因となる各カメラ間の位置ずれの有無を正確に検査し、位置ずれがある場合にはずれを補正する必要がある。特にカメラ間の上下方向ずれ、及び上下方向以外の位置ずれは、ステレオマッチングを行う際に各画素における水平ラインのずれとして現れるために、算出される距離データの信頼性に大きく影響してしまう。

ステレオカメラの各カメラ間の位置ずれを調整（検査）するために、例えば、特許文献１の技術では、異なる距離に配置された複数の所定のパターンを有するテストチャートをステレオカメラで撮像し、撮像した各画像のそれぞれに対応する座標のずれ量から、一対のカメラの位置的ずれに起因した一対の画像データのずれを正す校正パラメータを算出するようにしている。

ところで、特許文献１の技術では、ステレオカメラの前方に配置した複数のテストチャートによって、一対のカメラの上下方向に対する位置ずれを検出し、画像処理によって位置ずれ補正を行うようにしている。従って、特許文献１の技術では、使用するテストチャートは一対のカメラの上下方向に対する位置ずれ検出用であるために、カメラの上下方向以外の位置ずれに対しては検出することができない。

このため、カメラの上下方向以外の位置ずれを検出するには、このテストチャートに換えて上下方向以外の位置ずれ検出のための別のテストチャートをステレオカメラの前方に配置する必要があり、カメラの上下方向のずれと上下方向以外の位置ずれの両方を作業性よく容易に検査することができなかった。

そこで、本発明は、一対のカメラの相対的な位置ずれである、カメラの上下方向の位置ずれと上下方向以外の位置ずれの両方を作業性よく容易に検査することができる検査用具、ステレオカメラ検査装置及び検査方法を提供することを目的とする。

前記目的を達成するために本発明に係る検査用具は、基線長だけ間隔を設けて配置されたステレオカメラを構成する一対のカメラの相対的な位置ずれの検査に使用する検査用具であって、
前記一対のカメラの撮像方向側に所定の距離を設けて配置される表面に第１のパターンが形成された第１検査用具と、前記第１検査用具に対して、前記一対のカメラと反対側又は前記一対のカメラ側に所定の距離を設けて配置される表面に第２のパターンが形成された第２検査用具と、前記一対のカメラで撮像した際に前記一対のカメラでそれぞれ撮像された画面に、前記第１検査用具の前記第１のパターンの中に前記第２検査用具の前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段と、を備え、
前記第１のパターンと前記第２のパターンには、ステレオカメラ検査装置で前記一対のカメラの相対的な位置ずれを検査する際の検査ポイントとなる特徴領域をそれぞれ有していることを特徴としている。

また、本発明に係るステレオカメラ検査装置は、基線長だけ間隔を設けて配置されたステレオカメラを構成する一対のカメラの相対的な位置ずれを検査するステレオカメラ検査装置であって、
前記一対のカメラの撮像方向側に所定の距離を設けて配置される表面に第１のパターンが形成された第１検査用具と、前記第１検査用具に対して、前記一対のカメラと反対側又は前記一対のカメラ側に所定の距離を設けて配置される表面に第２のパターンが形成された第２検査用具と、前記一対のカメラで撮像した際に前記一対のカメラでそれぞれ撮像された画面に、前記第１検査用具の前記第１のパターンの中に前記第２検査用具の前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段とを備えた検査用具と、
前記一対のカメラで前記検査用具を撮像した際に該一対のカメラから出力される画像信号を取り込んで、前記第１のパターンの中に前記第２のパターンの一部が映し込まれた一対の画像を生成する画像処理手段と、
生成された前記一対の画像の画面から、前記第１、第２の各パターンの検査ポイントとなる各特徴領域で、前記一対の画像上の第１、第２の各対応点をそれぞれ探索する対応点探索手段と、
前記一対の画像上の探索された前記第１、第２の各対応点での対応位置差をそれぞれ算出し、算出された前記対応位置差から、前記一対のカメラの相対的な位置ずれを算出する位置ずれ算出手段と、
算出された位置ずれを補正するための補正パラメータを算出する補正パラメータ算出手段と、を備えたことを特徴としている。

更に、本発明に係る検査方法は、基線長だけ間隔を設けて配置されたステレオカメラを構成する一対のカメラの相対的な位置ずれを検査する検査方法であって、
前記一対のカメラの撮像方向側に所定の距離を設けて配置される表面に第１のパターンが形成された第１検査用具と、前記第１検査用具に対して、前記一対のカメラと反対側又は前記一対のカメラ側に所定の距離を設けて配置される表面に第２のパターンが形成された第２検査用具と、前記一対のカメラで撮像した際に前記一対のカメラでそれぞれ撮像された画面に、前記第１検査用具の前記第１のパターンの中に前記第２検査用具の前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段とを備えた検査用具を使用して、
前記一対のカメラで前記検査用具を撮像した際に該記一対のカメラから出力される画像信号を取り込んで、前記第１のパターンの中に前記第２のパターンの一部が映し込まれた一対の画像を生成するステップと、
生成された前記一対の画像の画面から、前記第１、第２の各パターンの検査ポイントとなる各特徴領域で、前記一対の画像上の第１、第２の各対応点をそれぞれ探索するステップと、
前記一対の画像上の探索された前記第１、第２の各対応点での対応位置差をそれぞれ算出し、算出された前記対応位置差から、前記一対のカメラの相対的な位置ずれを算出するステップと、
算出された位置ずれを補正するための補正パラメータを算出するステップと、を含むことを特徴としている。

本発明によれば、一対のカメラで検査用具を撮像した際に一対のカメラでそれぞれ撮像された画面に、第１検査用具の第１のパターンの中に第２検査用具の第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段とを有する検査用具を使用し、一対のカメラで撮像された一対の画像の画面から、第１、第２の各パターンの検査ポイントとなる各特徴領域で、一対の画像上の第１、第２の各対応点をそれぞれ探索する。そして、第１、第２の各対応点での対応位置差をそれぞれ算出し、算出された対応位置差から一対のカメラの相対的な位置ずれを算出することで、一対のカメラの上下方向の位置ずれと上下方向以外の位置ずれの両方を作業性よく容易に検査することが可能となる。

本発明の実施形態１に係るステレオカメラ検査装置の概略構成を示すブロック図。 （ａ），（ｂ），（ｃ）は、一対の第１、第２カメラの配置状態を示した図。 （ａ）は、撮像面中心ずれを説明するための図、（ｂ）は、光学中心ずれを説明するための図。 （ａ）は、一対のカメラの光学中心ずれに対する補正角度を示した図、（ｂ）は、一対のカメラの光学中心ずれが補正された状態を示す図。 実施形態１における第１テストチャートと第２テストチャートの配置状態を示した図。 （ａ），（ｂ）は、カメラで撮像された第１テストチャートと第２テストチャートの画像を示した図である。 カメラとテストチャート間の距離と撮像面上での光学中心ずれ量との関係を示した図。 第１、第２カメラの相対的な位置ずれを補正するための補正パラメータの算出処理を示したフローチャート。 本実施形態におけるステレオカメラ検査装置で検査されたステレオカメラに対するずれ補正動作を示す概略ブロック図。 実施形態２における第１テストチャートと第２テストチャートの配置状態を示した図。 カメラで撮像された実施形態２における第１テストチャートと第２テストチャートの画像を示した図。 実施形態３における第１テストチャートと第２テストチャートの配置状態を示した図。 カメラで撮像された実施形態３における第１テストチャートと第２テストチャートの画像を示した図。

以下、本発明を図示の実施形態に基づいて説明する。
<実施形態１>
図１は、本発明の実施形態１に係るステレオカメラ検査装置の概略構成を示すブロック図である。

（ステレオカメラ検査装置の構成）
図１に示すように、このステレオカメラ検査装置１は、後述する検査用具としてのテストチャート２、ステレオカメラ３から出力されるテストチャート２を撮像した画像信号を取込む画像処理部（画像処理手段）４、補正パラメータ算出部（補正パラメータ算出手段）５、補正パラメータ記録部（補正パラメータ記録手段）６及び制御部７を備えている。

ステレオカメラ３は、水平方向に所定の距離（基線長）Ｌを設けて配置された一対の第１、第２カメラ３ａ，３ｂを有している。第１、第２カメラ３ａ，３ｂは、撮像レンズ８と撮像素子（ＣＣＤイメージセンサなど）９を有し、撮像レンズ８で撮像された被写体像が撮像素子９の撮像面（受光面）に結像する。

画像処理部４は、ステレオカメラ３の一対の第１、第２カメラ２ａ，２ｂの撮像素子９から出力される画像信号を取り込んで所定の信号処理を行い、一対のテストチャート画像（画像データ）を生成する。

画像処理部４には、対応点探索手段としての対応点探索部４ａと、位置ずれ算出手段としての位置ずれ算出部４ｂを有している。対応点探索部４ａは、生成された一対のテストチャート画像の画面から、後述するテストチャート２の各チェッカーパターンＰ１，Ｐ２（第１、第２のパターン）の検査ポイントとなる特徴領域でこの一対のテストチャート画像上の対応点をそれぞれ探索する。

対応点の探索方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）やＰＯＣ（位相限定相関）などの周知の技術を用いることができる。

位置ずれ算出部４ｂは、探索された一対のテストチャート画像上の対応点の対応位置差を算出し、算出された前記対応位置差から、一対の第１、第２カメラ２ａ，２ｂの位置ずれを算出する。

補正パラメータ算出部５は、位置ずれ算出部４ｂで算出された位置ずれを補正するための補正パラメータを算出する（詳細は後述する）。

補正パラメータ記録部６は、補正パラメータ算出部５で算出された補正パラメータを記録するメモリ部である。補正パラメータ記録部６としては、例えばＲＡＭやＨＤＤ、ＵＳＢメモリ、ＳＤカードなどの記録媒体が挙げられる。制御部７は、ステレオカメラ検査装置１の各部（画像処理部４、補正パラメータ算出部５、補正パラメータ記録部６等）の動作を制御する。

検査対象である組立て後のステレオカメラ３は、水平方向に沿って第１、第２カメラ３ａ，３ｂが所定の距離（基線長）を設けて所定の公差内で配置されている。しかしながら、第１、第２カメラ３ａ，３ｂに相対的な位置ずれ（上下方向の位置ずれと上下方向以外の位置ずれ）が画素単位レベルで生じていると、ステレオカメラ３による距離の測定精度に悪影響を及ぼす。

そのため、組立て後のステレオカメラ３に対して、ステレオカメラ検査装置１で第１、第２カメラ３ａ，３ｂの相対的な位置ずれを検査し、これらのずれが生じている判定した場合にはずれ補正のための補正パラメータを算出し、記録する。そして、第１、第２カメラ３ａ，３ｂから出力される画像信号に対して、この算出した補正パラメータに基づいて画像処理を行い、第１、第２カメラ３ａ，３ｂの相対的な位置ずれを画像処理によって補正（校正）する。

なお、本実施形態では、図２（ａ），（ｂ），（ｃ）に示すように、水平方向に所定の距離（基線長）Ｌを設けて配置された一対の第１、第２カメラ３ａ，３ｂに対して、配置された水平方向がＸ軸方向、上下方向がＹ軸方向、光軸Ｍ方向がＺ軸方向と定義する。

ここで、図３（ａ），（ｂ）を参照して、本実施形態で定義した「上下方向の位置ずれ」である、撮像面（撮像素子９の受光面）の中心位置のずれ（以下、「撮像面中心ずれ」という）；図３（ａ））と、光学中心位置のずれ（以下、「光学中心ずれ」という）；図３（ｂ））について説明する。

図３（ａ）において、例えば第２カメラ３ｂ側の撮像素子９の撮像面（受光面）の理想的中心位置A1に対して実際の中心位置A2が、Ｙ軸方向にYsだけずれていると、撮像レンズ８（焦点距離：ｆ）を介して撮像素子９に結像する画像位置はys（＝Ys）だけ変化する。この場合には、距離（Ｚ１，Ｚ２）の異なる測定対象物Ｂ１，Ｂ２に対する撮像素子９の撮像面上でのずれysは同等である。

よって、一対のカメラ（第１、第２カメラ３ａ，３ｂ）で撮像された撮像面Ｃ１，Ｃ２を、一方を基準として他方をysだけ移動させることで、一対のカメラに対する撮像面中心ずれを補正することができる。

一方、図３（ｂ）において、例えば第２カメラ３ｂ側の撮像レンズ８（焦点距離：ｆ）の理想的な光学中心位置A3に対して実際の光学中心位置A4が、Ｙ軸方向にYoだけずれていると、撮像素子９に結像する画像位置は、距離（Ｚ１，Ｚ２）の異なる測定対象物Ｂ１，Ｂ２に対応してyo1,yo2（yo1>yo2）だけそれぞれずれることになる。なお、ずれyo1は測定対象物Ｂ１に対応し、ずれyo2は測定対象物Ｂ２に対応している。

そして、図４（ａ）に示すように、第１カメラ３ａ（左側のカメラ）で撮像された撮像面Ｃ１を基準にしときに、上記したように第２カメラ３ｂ（右側のカメラ）の撮像レンズ８の光学中心がＹ軸方向にYoだけずれていると、第２カメラ３ｂで撮像された撮像面Ｃ２の中心もＹ軸方向にYoだけずれている。

そして、図４（ａ）において、第２カメラ３ｂ（右側のカメラ）の撮像レンズ８の光学中心のずれYoを補正するためのＺ軸周りの補正角度をθとしたときに、第１、第２カメラ３ａ，３ｂ間の基線長をLとすると、補正角度θは、
θ=arcsin(Yo/L)
で求めることができる。

よって、図４（ｂ）に示すように、一対のカメラ（第１、第２カメラ３ａ，３ｂ）で撮像された撮像面Ｃ１，Ｃ２をＺ軸周りに補正角度θだけ回転させることで、一対のカメラに対する光学中心ずれを補正することができる。これにより、図４（ｂ）に示すように、一対のカメラの撮像面Ｃ１，Ｃ２の中心における基線方向Ｌ１を水平方向に一致させることができる。

（テストチャート２の構成）
図５に示すように、本実施形態に係るテストチャート２は、第１、第２カメラ３ａ，３ｂの撮像方向側（前方側）に、距離Ｚ１だけ離れて配置される第１検査用具としての第１テストチャート２ａと、第１テストチャート２ａから更に距離Ｚ２だけ離れて配置される第２検査用具としての第２テストチャート２ｂを有している。なお、第１テストチャート２ａと第２テストチャート２ｂは一体形成であってもよく、分離していてもよい。

矩形状の第１テストチャート２ａは、図６（ａ），（ｂ）に示すように、カメラ側の表面に白黒のチェッカーパターンＰ１が形成され、中央部にパターン映し込み手段としての矩形状の開口部２ｃが形成されている。第１テストチャート２ａは、第１、第２カメラ３ａ，３ｂの撮像レンズ８の撮像範囲全体に映るよう十分に大きなサイズである方がよい。これによって、撮像範囲全体の後述する対応点の情報を用いることができることから、第１、第２カメラ３ａ，３ｂの位置ずれに関する情報をより正確に取得できる。しかしながら、サイズが大きすぎると設置スペースの制約が生じる。

そのため、第１テストチャート２ａは、第１、第２カメラ３ａ，３ｂからの距離Ｚ１において、第１、第２カメラ３ａ，３ｂの撮像レンズ８の撮像範囲に略対応するようなサイズが最も望ましい。

矩形状の第２テストチャート２ｂは、図６（ａ），（ｂ）に示すように、第１、第２カメラ３ａ，３ｂ側からは第１テストチャート２ａの開口部２ｃを通してこの開口部２ｃの枠に対応したチャート領域のみが撮像される。第２テストチャート２ｂの表面には、第１テストチャート２ａのチェッカーパターンよりもサイズの小さいチェッカーパターンＰ２が形成されている。

本実施形態では、第１のパターンであるチェッカーパターンＰ１と、第２のパターンであるチェッカーパターンＰ２と、を異ならしめているが、後述する対応点が取得可能に形成されていれば、同じパターンであってもよい。また、後述する実施形態３のように、第１テストチャート２ａにおける開口部２ｃは、第１テストチャート２ａの開口縁部によって囲まれた空間のみならず、第１テストチャート２ａが分割されることによって形成される空間も意味するものとする。

ところで、カメラ（例えば、第２カメラ３ｂ）に上記した光学中心ずれ（図３（ｂ）参照）が生じている場合、図７に示す測定結果のように、光学中心ずれによる撮像素子９の撮像面（受光面）上でのずれ量は、第１、第２カメラ３ａ，３ｂと第１テストチャート２ａ間の距離に応じて変化する。なお、図７の測定結果は、第１、第２カメラ３ａ，３ｂ間の基線長が１００ｍｍ、撮像素子９の撮像面の画素ピッチが０．００３７５ｍｍ、光学中心ずれが１ｍｍとした場合である。

図７の測定結果から明らかなように、第１、第２カメラ３ａ，３ｂとテストチャート２ａ間の距離が近いほど撮像面上でのずれ量が大きく、測定感度が高くなる。

そのため、カメラの光学中心ずれを精度よく算出するには、第１、第２カメラ３ａ，３ｂと第１テストチャート２ａ間の距離Ｚ１はできるだけ近いほうがよい。また、カメラの撮像面中心ずれ（Ｙ軸方向の位置ずれ）を精度よく算出するには、第１、第２カメラ３ａ，３ｂと第２テストチャート２ｂは離れている方がよい。即ち、第１テストチャート２ａと第２テストチャート２ｂ間の距離Ｚ２は長い方がよい。

ただし、第１、第２カメラ３ａ，３ｂと第１テストチャート２ａ間の距離Ｚ１は、撮像レンズ８で撮像した画像が撮像素子９の撮像面上に合焦する必要があるため、この距離Ｚ１は撮像レンズ８の焦点が合う最小距離以上となる。よって、例えば図５においては、第１、第２カメラ３ａ，３ｂと第１テストチャート２ａ間の距離Ｚ１を、本実施形態では撮像レンズ８の焦点が合う最小距離付近である２ｍとした。そして、第１テストチャート２ａと第２テストチャート２ｂ間の距離Ｚ２を２ｍとすることで、第１、第２カメラ３ａ，３ｂの光学中心ずれとＹ軸方向の位置ずれを精度よく算出できる。

（補正パラメータ算出処理）
次に、テストチャート２（第１、第２テストチャート２ａ，２ｂ）を用いたステレオカメラ検査装置１による、第１、第２カメラ３ａ，３ｂの上下方向の位置ずれ（撮像面中心ずれ及び光学中心ずれ）を補正するための、補正パラメータの算出処理を説明する。

本実施形態では、先ず、図６（ａ）に示すように、撮像された画面全域のテストチャート画像（第１テストチャート２ａ）において、検査ポイントとなる第１テストチャート２ａの特徴領域（濃淡変化が大きいチェッカーパターンの角部：○で示した部分）を複数設定する。

そして、この特徴領域で第１、第２カメラ３ａ，３ｂでそれぞれ撮像された画面上の対応する第１の対応点Ｄ１の位置を探索し、探索した第１の各対応点Ｄ１に対する画面上での対応位置差から、第１カメラ３ａ側を基準として、第２カメラ３ｂ側のカメラにおける上下方向のずれ（撮像面中心ずれと光学中心ずれ）や上下方向以外の位置ずれを含む位置ずれ全体を取得して、このずれを補正するための補正パラメータを算出する。

次に、図６（ｂ）に示すように、撮像された画面内のテストチャート画像（第１、第２テストチャート２ａ，２ｂ）において、検査ポイントとなる第１テストチャート２ａの特徴領域（濃淡変化が大きいチェッカーパターンの角部：○で示した部分）と、第２テストチャート２ｂの特徴領域（濃淡変化が大きいチェッカーパターンの角部：×で示した部分）を複数設定する。

そして、これらの特徴領域で第１、第２カメラ３ａ，３ｂでそれぞれ撮像された画面上の対応する第１、第２の対応点Ｄ１，Ｄ２の位置を探索し、探索した第１、第２の各対応点Ｄ１，Ｄ２に対する画面上での対応位置差から、第１カメラ３ａ側を基準として、第２カメラ３ｂ側のカメラにおける撮像面中心ずれと光学中心ずれを取得して、このずれを補正するための最終的な補正パラメータを算出する。

以下、図８に示したフローチャートを参照して、さらに詳細に説明する。

図５、図６に示したように、ステレオカメラ３の第１、第２カメラ３ａ，３ｂでテストチャート２を撮像すると、第１テストチャート２ａの略全体と、第１テストチャート２ａの開口部２ｃを通して第２テストチャート２ｂの開口部２ｃ内に対応したチャート領域が撮像される（ステップＳ１）。

ステレオカメラ検査装置１の画像処理部４は、第１、第２カメラ３ａ，３ｂの各撮像素子９から出力される画像信号を取り込んで、所定の画像処理を行い、図６（ａ），（ｂ）に示したような一対のテストチャート画像を生成する。

そして、対応点探索部４ａは、画像処理部４で生成された一対のテストチャート画像の画面から、第１テストチャート２ａの画面全域での第１の対応点Ｄ１を探索する。また、このとき、後述の信頼性の判定のために、同時に第２テストチャート２ｂの第２の対応点Ｄ２についても探索する。そして、位置ずれ算出部４ｂは、探索された第１の対応点Ｄ１及び第２の対応点Ｄ２での対応位置差（ｄｘ，ｄｙ）を算出する（ステップＳ２）。

そして、算出データであるこの対応位置差（ｄｘ，ｄｙ）の値がデータとして信頼性が高いものであるか否かを判定する（ステップＳ３）。この判定方法としては、例えば算出した第１の対応点Ｄ１及び第２の対応点Ｄ２における対応位置差（ｄｘ，ｄｙ）の全体の傾向が一致せずに異なっている場合に、第１テストチャート２ａと第２テストチャート２ｂが平行でなく傾いて設置されていると判定する。これによって、算出データに信頼性がないと判定する。

そして、ステップＳ３で、算出データに信頼性がないと判定した場合（ステップＳ３：ＮＯ）、第１テストチャート２ａと第２テストチャート２ｂが精度よく平行に配置されるように再調整を行って（ステップＳ４）、ステップＳ１に戻る。

一方、ステップＳ３で、算出データに信頼性があると判定した場合（ステップＳ３：ＹＥＳ）、前記第１テストチャート２ａから取得した画面全域の対応位置差（ｄｙ）が最小となるような補正パラメータを算出する（ステップＳ５）。この対応位置差（ｄｙ）は、第１の対応点Ｄ１に基づくものである。なお、この対応位置差（ｄｙ）の算出は、第１の対応点Ｄ１を用いれば十分であるが、第２の対応点Ｄ２を用いてもよい。

そして、画像処理部４は、ステップＳ１で得られたテストチャート画面の画像に対して、ステップＳ５で算出された補正パラメータに基づいて、位置ずれを最小とするような画像補正処理を行う（ステップＳ６）。

ステップＳ６での画像補正処理には、下記のような透視変換を用いることができる。ここで、変換前の元の座標位置を（x1,y1）、変換後の座標位置を（x0,y0）とすると、透視変換は一般に以下の式（１）、式（２）ように、３×３の行列Ｍを用いて表現することができる。

ただし、Aは倍率を表す座標を示す。また、この透視変換行列Ｍの詳細については、例えば、「出口光一郎著，“画像と空間 コンピュータビジョンの幾何学”，昭晃堂，1991」を参照されたい。

透視変換後の座標で第１、第２カメラ３ａ，３ｂの位置ずれが、撮像面の画面全体で２乗和が最小となるような補正パラメータを算出する。

そして、対応点探索部４ａは、ステップＳ６での画像補正処理した画面から、第１テストチャート２ａの第１の対応点Ｄ１と第２テストチャート２ｂの第２の対応点Ｄ２のｘ，ｙ座標を探索する。そして、位置ずれ算出部４ｂは、一対のテストチャート画像の画面上で、第１の対応点Ｄ１と第２の対応点Ｄ２での対応位置差（ｄｘ，ｄｙ）をそれぞれ算出する（ステップＳ７）。

そして、ステップＳ７で算出した対応位置差（ｄｙ）から、位置差が生じる要因である撮像面中心ずれと光学中心ずれを補正するための最終的な補正パラメータを算出する（ステップＳ８）。そして、ステップＳ８で算出された補正パラメータは補正パラメータ記録部６に記録される（ステップＳ９）。記録された補正パラメータは、後述するステレオカメラ３の第１、第２カメラ３ａ，３ｂの相対的な位置ずれ（撮像面中心ずれと光学中心ずれ）の補正動作に用いられる。

ところで、ステップＳ６での画像補正処理（上記の式（１）、式（２）による透視変換）の補正のみでは、第１、第２カメラ３ａ，３ｂの上下方向の位置ずれに対しては不十分である。即ち、第１、第２カメラ３ａ，３ｂの上下方向の位置ずれの原因は、上記した撮像面中心ずれ（Ys）と光学中心ずれ（Yo）の二つの成分が存在するためである。

この２つの成分の特徴として、撮像面上の第１、第２カメラ３ａ，３ｂのyずれ量が撮像面中心ずれは距離（第１、第２カメラ３ａ，３ｂと第１、第２テストチャート２ａ，２ｂとの間の設置距離）に対して一定であるのに対して、光学中心ずれは前記距離に対して変化する。そこで、ステップＳ８での補正パラメータの算出では、２つの距離情報を有する第１、第２テストチャート２ａ，２ｂの第１、第２の各対応点Ｄ１，Ｄ２を用いることで、２つの距離での位置ずれ（Y1,Y2）を取得する。この位置ずれ（Y1,Y2）は、以下のように撮像面中心ずれによる位置ずれ（ys）と、光学中心ずれによる位置ずれ（yo）で表すことができる。

Y1=yo1＋ys
Y2=yo2＋ys

そして、上記のyo1，yo2それぞれを光学中心ずれYoに変換するために、
yo1=Yo・f/Z1
yo2=Yo・f/Z2
と置き換えると、下記の式（３）から光学中心ずれYoを求めることができる。
Y1-Y2=(1/Z1-1/Z2)Yo・f …式（３）

なお、Z1は第１、第２カメラ３ａ，３ｂと第１テストチャート２ａ間の距離、Z2は第１、第２カメラ３ａ，３ｂと第２テストチャート２ｂ間の距離、ｆは第１、第２カメラ３ａ，３ｂの撮像レンズ８の焦点距離である。

このようにして、第１、第２カメラ３ａ，３ｂの上下方向の位置ずれの原因である、撮像面中心ずれ（Ys）と光学中心ずれ（Yo）を求めることで、ステップＳ８のようにこれらのずれを補正するための補正パラメータを算出することができる。

なお、撮像面中心ずれ（Ys）に対する補正パラメータは、撮像面中心ずれ（Ys）の補正量に対応してＹ軸方向へ並進させる距離の値であり、光学中心ずれ（Yo）に対する補正パラメータは、光学中心ずれ（Yo）の補正量に応じたＺ軸周りの補正角度θの値である。

なお、この補正角度θは以下の式（４）で求めることができる。
θ=arcsin(Yo/L) …式（４）
ただし、Lは第１、第２カメラ３ａ，３ｂ間の基線長である。

このように、本実施形態のステレオカメラ検査装置１によれば、第１、第２カメラ３ａ，３ｂの前方側に、中央に開口部２ｃを有する第１テストチャート２ａとその後方側に第２テストチャート２ｂを配置する。そして、撮像した一対のテストチャート画像の画面上で、第１の対応点Ｄ１と第２の対応点Ｄ２での対応位置差（ｄｘ，ｄｙ）をそれぞれ算出して、算出した対応位置差から、第１、第２カメラ３ａ，３ｂの上下方向の位置ずれと上下方向以外の位置ずれの両方を作業性よく容易に検知することができる。

また、図７に示したように、光学中心ずれによる位置ずれは、測定距離が遠いほど逆数に略比例して減少する。よって、本実施形態のように、第１、第２カメラ３ａ，３ｂと第１テストチャート２ａ間の距離（測定距離）を撮像レンズ８の最小合焦位置付近に設定し、かつ第１、第２カメラ３ａ，３ｂと第２テストチャート２ｂ間の距離（測定距離）は設置スペースを考慮しつつできるだけ遠くにすることで、光学中心ずれをより精度よく測定することができる。

（ステレオカメラ３に対するずれ補正動作）
図９は、前記ステレオカメラ検査装置１で検査されたステレオカメラ３の第１、第２カメラ３ａ，３ｂに対するずれ補正動作を示す概略ブロック図である。

上記したように、ステレオカメラ３の第１、第２カメラ３ａ，３ｂに対して、相対的な位置ずれが生じていると、ステレオカメラ検査装置１でこれらのずれを補正するための補正パラメータが算出され、この補正パラメータが補正パラメータ記録部６に記録される。

図９に示すように、このステレオカメラ３の第１、第２カメラ３ａ，３ｂに相対的な位置ずれが生じている場合、前記補正パラメータ記録部６から相対的な位置ずれを補正するための補正パラメータが、第１、第２画像補正部１０ａ，１０ｂに入力される。

そして、視差算出部１１は、第１画像補正部１０ａでずれ補正された第１カメラ３ａで得られた画像と、第２画像補正部１０ｂでずれ補正された第２カメラ３ｂで得られた画像から視差を算出して、視差画像を外部に出力する。

なお、本実施形態では、撮像面中心ずれと光学中心ずれがともに生じている場合を想定し、第１カメラ３ａ及び第２カメラ３ｂの両方でずれ補正が行われるものとした。しかしながら、例えば、撮像面中心ずれのみが生じている場合であって第１カメラ３ａ側を基準とする条件において、第１カメラ３ａ側ではずれ補正が行われないとする等の変更を加えられることは言うまでもない。

このように、例えば、第１カメラ３ａの基準位置に対して、第２カメラ３ｂ側に上下方向の位置ずれと上下方向以外の位置ずれ両方が生じている場合でも、前記したステレオカメラ検査装置１の補正パラメータ記録部６に記録され補正パラメータに基づいて、補正することができる。これにより、ステレオカメラ３の第１、第２カメラ３ａ，３ｂで撮像された画像から、正確な視差画像を出力することができる。

<実施形態２>
図１０は、本発明の実施形態２に係るテストチャートの構成を示す図である。

（実施形態２におけるテストチャートの構成）
図１０に示すように、本実施形態に係るテストチャート２は、第１、第２カメラ３ａ，３ｂの前方側に、距離Ｚ１だけ離れて配置される第１テストチャート２ａと、第１テストチャート２ａの第１、第２カメラ３ａ，３ｂ側の下方に配置される第２テストチャート２ｂと、第１テストチャート２ａの表面の一部に配置した反射板１２とを有している。

本実施形態では、反射板１２に第２テストチャート２ｂが映り込み、一対のカメラ３ａ，３ｂが映り込まないような位置に、一対のカメラ３ａ，３ｂ、反射板１２及び第２テストチャート２ｂが配置されている。なお、距離Ｚ１は、例えば実施形態１と同様に２ｍ程度である。

図１１は、第１テストチャート２ａの画面内に、反射板１２の表面領域に第２テストチャート２ａが映り込んでいる状態を示した図である。

第１、第２テストチャート２ａ，２ｂのチャートパターンは、図６に示した実施形態１と同様のチェッカーパターンである。

本実施形態においても同様に、撮像された画面内のテストチャート画像（第１、第２テストチャート２ａ，２ｂ）において、検査ポイントとなる第１テストチャート２ａの特徴領域（濃淡変化が大きいチェッカーパターンの角部）と、第２テストチャート２ｂの特徴領域（濃淡変化が大きいチェッカーパターンの角部）を複数設定する。そして、これらの特徴領域で第１、第２カメラ３ａ，３ｂでそれぞれ撮像された画面上の対応する第１、第２の対応点Ｄ１，Ｄ２の位置を探索し、探索した第１、第２の各対応点Ｄ１，Ｄ２に対する画面上での対応位置差から、第１カメラ３ａ側を基準として、第２カメラ３ｂ側のカメラにおける撮像面中心ずれと光学中心ずれを取得して、このずれを補正するための補正パラメータを算出する。

このように、本実施形態では、第１テストチャート２ａの表面の一部に反射板１２を配置してこの反射板１２に、第１テストチャート２ａの手前側（第１、第２カメラ３ａ，３ｂの下方側）に配置した第２テストチャート２ｂを映り込ませるようにしている。このような構成により、第２テストチャート２ｂを第１テストチャート２ａの後方側に配置する必要がないので、第１、第２テストチャート２ａ，２ｂの配置スペースを小さくでき、小さな部屋でも検査することができる。

<実施形態３>
図１２は、本発明の実施形態３に係るテストチャートの構成を示す図である。

（実施形態３におけるテストチャートの構成）
図１２に示すように、本実施形態に係るテストチャート２は、第１、第２カメラ３ａ，３ｂの前方側に、距離Ｚ１だけ離れて配置される第１テストチャート２ａと、第１テストチャート２ａから更に距離Ｚ２だけ離れて配置される第２テストチャート２ｂを有している。

第１テストチャート２ａは、図１３に示すように、カメラ側の表面に白黒のチェッカーパターンが形成され、中央全体領域を３つに分割することによって３つの矩形状の開口部２ｃが形成されている。これにより、図１３に示すように、第１、第２カメラ３ａ，３で撮像された画面内において、第１テストチャート２ａの３つの開口部２ｃに第２テストチャート２ｂの対応する領域が映り込む。よって、第１、第２カメラ３ａ，３で撮像された画面の中央全体領域に、距離の異なる第１、第２テストチャート２ａ，２ｂの各特徴領域（濃淡変化が大きいチェッカーパターンの角部）を交互に設定することができる。

そして、本実施形態においても同様に、撮像された画面内のテストチャート画像（第１、第２テストチャート２ａ，２ｂ）において、検査ポイントとなる第１テストチャート２ａの特徴領域（濃淡変化が大きいチェッカーパターンの角部）と、第２テストチャート２ｂの特徴領域（濃淡変化が大きいチェッカーパターンの角部）を複数設定する。そして、これらの特徴領域で第１、第２カメラ３ａ，３ｂでそれぞれ撮像された画面上の対応する第１、第２の対応点Ｄ１，Ｄ２の位置を探索し、探索した第１、第２の各対応点Ｄ１，Ｄ２に対する画面上での対応位置差から、第１カメラ３ａ側を基準として、第２カメラ３ｂ側のカメラにおける撮像面中心ずれと光学中心ずれを取得して、このずれを補正するための補正パラメータを算出する。

このように、撮像された画面の中央全体領域において第１、第２の各対応点Ｄ１，Ｄ２に対する対応位置差を取得できるので、取得した各対応位置差の値のばらつきから第１、第２テストチャート２ａ，２ｂの傾きや平面性を容易に把握して、精度よく再調整することができる。これにより、各対応位置差をより信頼性の高いデータとして取得することができる。

また、撮像された画面の中央全体領域で第１、第２の各対応点Ｄ１，Ｄ２の位置を取ることで、撮像レンズ８の湾曲や局所的な光学特性の変化に対する影響を小さく抑えることができる。これにより、第１、第２の各対応点Ｄ１，Ｄ２に対する対応位置差の算出精度を高めることができる。

なお、前記した各実施形態の第１、第２テストチャート２ａ，２ｂのパターンは、チェッカーパターンであったが、これに限定されることなく、例えば円形パターンなどでもよい。

１ ステレオカメラ検査装置
２ テストチャート（検査用具）
２ａ 第１テストチャート（第１検査用具）
２ｂ 第２テストチャート（第２検査用具）
３ ステレオカメラ
３ａ 第１カメラ
３ｂ 第２カメラ
４ 画像処理部
４ａ 対応点探索部
４ｂ 位置ずれ算出部
５ 補正パラメータ算出部
６ 補正パラメータ記録部
７ 制御部
８ 撮像レンズ
９ 撮像素子
１２ 反射板

特開２００４−１３２８７０号号公報

Claims (15)

1. 基線長だけ間隔を設けて配置されたステレオカメラを構成する一対のカメラの相対的な位置ずれの検査に使用する検査用具であって、
   前記一対のカメラの撮像方向側に所定の距離を設けて配置される表面に第１のパターンが形成された第１検査用具と、
   前記第１検査用具に対して、前記一対のカメラと反対側又は前記一対のカメラ側に所定の距離を設けて配置される表面に第２のパターンが形成された第２検査用具と、
   前記一対のカメラで撮像した際に前記一対のカメラでそれぞれ撮像された画面に、前記第１検査用具の前記第１のパターンの中に前記第２検査用具の前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段と、を備え、
   前記第１のパターンと前記第２のパターンには、ステレオカメラ検査装置で前記一対のカメラの相対的な位置ずれを検査する際の検査ポイントとなる特徴領域をそれぞれ有し、
   前記パターン映し込み手段は、前記第１検査用具の前記一対のカメラ側の表面の一部に配置した反射板であり、前記第１検査用具の前記一対のカメラ側の前方に前記第２検査用具が配置されていることを特徴とする検査用具。
2. 前記反射板に前記第２検査用具が映り込み、前記一対のカメラが映り込まないような位置に、前記一対のカメラ、前記反射板及び前記第２検査用具が配置されていることを特徴とする請求項１に記載の検査用具。
3. 基線長だけ間隔を設けて配置されたステレオカメラを構成する一対のカメラの相対的な位置ずれを検査する検査方法であって、
   前記一対のカメラの撮像方向側に所定の距離を設けて配置される表面に第１のパターンが形成された第１検査用具と、前記第１検査用具に対して、前記一対のカメラと反対側又は前記一対のカメラ側に所定の距離を設けて配置される表面に第２のパターンが形成された第２検査用具と、前記一対のカメラで撮像した際に前記一対のカメラでそれぞれ撮像された画面に、前記第１検査用具の前記第１のパターンの中に前記第２検査用具の前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段と、を備えた検査用具を使用して、
   前記一対のカメラの焦点が合う最小距離近傍に前記第１検査用具が位置するように前記検査用具を設置するステップと、
   前記一対のカメラで前記検査用具を撮像した際に前記一対のカメラから出力される画像信号を取り込んで、前記第１のパターンの中に前記第２のパターンの一部が映し込まれた一対の画像を生成するステップと、
   生成された前記一対の画像の画面から、前記第１、第２の各パターンの検査ポイントとなる各特徴領域で、前記一対の画像上の第１、第２の各対応点をそれぞれ探索するステップと、
   前記一対の画像上の探索された前記第１、第２の各対応点での対応位置差をそれぞれ算出し、算出された前記対応位置差から、前記一対のカメラの相対的な位置ずれを算出するステップと、
   算出された位置ずれを補正するための補正パラメータを算出するステップと、を含むことを特徴とする検査方法。
4. 前記第１検査用具は、前記一対のカメラの焦点が合う最小距離近傍における前記一対のカメラの撮像範囲よりも大きいものであり、
   前記検査用具を設置するステップでは、前記一対のカメラの焦点が合う最小距離近傍において前記第１検査用具が前記一対のカメラの撮像範囲の全域で撮像されるように、前記検査用具を設置することを特徴とする請求項３に記載の検査方法。
5. 基線長だけ間隔を設けて配置されたステレオカメラを構成する一対のカメラの相対的な位置ずれを検査する検査方法であって、
   前記一対のカメラの撮像方向側に所定の距離を設けて配置される表面に第１のパターンが形成された第１検査用具と、前記第１検査用具に対して、前記一対のカメラと反対側又は前記一対のカメラ側に所定の距離を設けて配置される表面に第２のパターンが形成された第２検査用具と、前記一対のカメラで撮像した際に前記一対のカメラでそれぞれ撮像された画面に、前記第１検査用具の前記第１のパターンの中に前記第２検査用具の前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段とを備えた検査用具を使用して、
   前記一対のカメラで前記検査用具を撮像した際に前記一対のカメラから出力される画像信号を取り込んで、前記第１のパターンの中に前記第２のパターンの一部が映し込まれた一対の画像を生成するステップと、
   生成された前記一対の画像の画面から、前記第１のパターンまたは前記第２のパターンの検査ポイントとなる特徴領域で、前記一対の画像上の第１の対応点または第２の対応点を探索するステップと、
   探索された前記第１の対応点または前記第２の対応点での対応位置差を算出し、算出された前記対応位置差から第１の補正パラメータを算出するステップと、
   前記第１のパターンの中に前記第２のパターンの一部が映し込まれた一対の画像に対して、前記第１の補正パラメータに基づいた補正を行うステップと、
   前記第１の補正パラメータに基づき補正された一対の画像の画面から、前記第１、第２の各パターンの検査ポイントとなる各特徴領域で、補正された前記一対の画像上の第１、第２の各対応点をそれぞれ探索するステップと、
   探索された前記第１、第２の各対応点での対応位置差をそれぞれ算出し、算出された前記対応位置差から、前記一対のカメラの相対的な位置ずれを算出するステップと、
   算出された位置ずれを補正するための第２の補正パラメータを算出するステップと、を含むことを特徴とする検査方法。
6. 第１のパターンを有する第１用具と、第２のパターンを有する第２用具とを使用して、ステレオカメラを校正するためのパラメータを算出して記録部に記録することにより、校正されたステレオカメラを生産するステレオカメラの生産方法であって、
   前記第１用具では、前記第１のパターンの中に前記第２のパターンの一部が映し込まれるようにするためのパターン映し込み手段が形成され、
   前記第１のパターンと前記第２のパターンとを撮像して画像を取得するステップと、
   画像中の前記第１のパターンまたは前記第２のパターンに基づいて第１の補正パラメータを算出するステップと、
   前記第１の補正パラメータに基づいて画像を補正するステップと、
   補正された画像中の前記第１のパターンおよび前記第２のパターンに基づいて第２の補正パラメータを算出するステップと、
   前記第２の補正パラメータを前記記録部に記録するステップと、を含むことを特徴とするステレオカメラの生産方法。
7. 前記パターン映し込み手段は、前記第１検査用具に形成された開口部であり、
   さらに、画像を取得するステップの前に、前記第２のパターンが前記開口部を通じて前記ステレオカメラにより撮像可能とする位置に前記第２用具を設置するステップを含むことを特徴とする請求項６に記載のステレオカメラの生産方法。
8. 一対のカメラを有する撮像装置と、
   第１のパターンと、前記第１のパターンの中に他のパターンの一部が映し込まれるようにするためのパターン映し込み手段と、を有し、前記一対のカメラの焦点が合う最小距離近傍において配置された第１用具と、
   第２のパターンを有し、前記パターン映し込み手段により前記第２のパターンを前記一対のカメラが撮像可能に配置された第２用具と、
   前記一対のカメラにより取得される一対の画像における前記第１のパターンおよび前記第２のパターンに基づいて前記一対のカメラの校正に用いるパラメータを算出するパラメータ算出手段と、
   を備えることを特徴とするシステム。
9. 前記パターン映し込み手段は、前記第１用具に形成された開口部であり、
   前記第２用具は、前記第２のパターンが前記開口部を通じて前記一対のカメラにより撮像可能とする位置に設置されることを特徴とする請求項８に記載のシステム。
10. 前記第１用具は、前記一対のカメラの焦点が合う最小距離近傍における前記一対のカメラの撮像範囲よりも大きいことを特徴とする請求項８または請求項９に記載のシステム。
11. 一対のカメラを有する撮像装置と、
    第１のパターンと、前記第１のパターンの中に他のパターンの一部が映し込まれるようにするためのパターン映し込み手段と、を有する第１用具と、
    第２のパターンを有し、前記パターン映し込み手段により前記第２のパターンを前記一対のカメラが撮像可能に配置された第２用具と、
    前記一対のカメラにより取得される一対の画像における前記第１のパターンまたは前記第２のパターンにより第１のパラメータを算出し、前記第１のパラメータにより補正された一対の画像における前記第１のパターンおよび前記第２のパターンに基づいて前記一対のカメラの校正に用いる第２のパラメータを算出するパラメータ算出手段と、
    を備えることを特徴とするシステム。
12. 前記パターン映し込み手段は、前記第１用具に形成された開口部であり、
    前記第２用具は、前記第２のパターンが前記開口部を通じて前記一対のカメラにより撮像可能とする位置に設置されることを特徴とする請求項１１に記載のシステム。
13. 前記第１用具と前記第２用具とは、一体形成されていることを特徴とする請求項８から請求項１２のいずれか１項に記載のシステム。
14. 前記第１のパターンと前記第２のパターンとは、同じであることを特徴とする請求項８から請求項１３のいずれか１項に記載のシステム。
15. 前記第２のパターンは、前記第１のパターンよりも小さいことを特徴とする請求項８から請求項１３のいずれか１項に記載のシステム。