JP2008292278A - 距離検出装置の光学ずれ検出方法及び距離検出装置 - Google Patents

Abstract

【課題】距離検出装置において走行距離センサ等の別の距離測定手段を必要とせずに車両が停止中でも簡易にずれ検出が可能なずれ検出方法及び距離検出装置を提供する。
【解決手段】この距離検出装置のずれ検出方法は、光学系と撮像素子とから構成される複数のカメラで得たステレオ画像に基づいて距離を検出する距離検出装置におけるずれを検出するとき、光学系を介して撮像素子に撮像された既知物体像から既知物体までの第１距離値を求め、第１距離値と、ステレオ画像から検出した既知物体までの第２距離値と、を比較することで距離検出装置におけるずれを検出する。
【選択図】図５

Description

本発明は、ステレオカメラを用いた距離検出装置の光軸ずれ検出方法及び距離検出装置に関する。

先行車両や障害物等までの距離を検出するためにステレオカメラを車に搭載した場合、振動によりカメラの光学系にずれが生じることがある。ステレオカメラで得た画像に基づいて視差から距離をえるために、左右のカメラの光軸や位置関係がずれてしまうと、距離検出の精度に大きく影響する。したがって、正確な距離検出のために光学系のずれを随時検出し、補正する必要がある。

特許文献１は、車載ステレオカメラの校正方法、およびその方法を適用した車載ステレオカメラを開示し、異なる２地点で同一既知物体を撮影し、その情報を元にカメラのずれを補正している。また、特許文献２は、車両用の距離検出装置を開示し、静止物を撮影し、自走行距離から算出した距離値とステレオカメラで計測した距離値を比較し、その差をオフセット値として補正している。自走行距離センサの情報を使って静止物を基準とした距離を算出している。
特開平１０−３４１４５８号公報 特開２００３−３２９４３９号公報

特許文献２のようにステレオカメラにおける光学系において自走行距離測定センサ等の他のセンサと併用してずれを検出する方法があるが、他のセンサが必要になり、他のセンサと連動させなければならず制御が複雑になる等の問題があり、より簡易に検出できる方法が望まれている。また、特許文献１，２では自走行距離を算出する必要があり、走行中でしか補正できないため、光学系のずれ補正は停止中にはできない。

本発明は、上述のような従来技術の問題に鑑み、距離検出装置において走行距離センサ等の別の距離測定手段を必要とせずに車両が停止中でも簡易にずれ検出が可能なずれ検出方法及び距離検出装置を提供することを目的とする。

上記目的を達成するために、本発明による距離検出装置のずれ検出方法は、光学系と撮像素子とから構成される複数のカメラで得たステレオ画像に基づいて距離を検出する距離検出装置におけるずれを検出する方法であって、前記光学系を介して前記撮像素子に撮像された既知物体像から前記既知物体までの第１距離値を求め、前記第１距離値と、前記ステレオ画像から検出した前記既知物体までの第２距離値と、を比較することで前記距離検出装置におけるずれを検出することを特徴とする。

この距離検出装置のずれ検出方法によれば、カメラの光学系で撮影した既知物体像から第１距離値を求め、ステレオ画像から第２距離値を検出し、第１距離値と第２距離値とを比較することでずれを検出できるので、走行距離センサ等の別の距離測定手段を必要とせずに車両が停止中でも簡易にずれを検出することができる。

上記距離検出装置のずれ検出方法において、前記既知物体像のサイズと距離との関係を予め求めておき、前記撮像素子の撮像面から得た前記既知物体像のサイズに基づいて前記第１距離値を得ることができる。既知物体像のサイズは、例えば、撮像素子の撮像面上の画素数とすることができる。

また、前記比較を複数回実行し、各比較結果を平均化したデータに基づいて前記ずれを検出することで、より正確なずれ検出が可能となる。

本発明による距離検出装置は、距離検出のために物体像が入力する複数の画像入力装置と、前記画像入力装置のデータから距離データを生成する手段と、前記画像入力装置に入力した既知物体像から得た情報に基づいて距離値を得る手段と、前記距離データと前記既知物体像の情報から得た距離値とを比較する手段と、前記比較結果に基づいて前記画像入力装置におけるずれを検出する手段と、を備えることを特徴とする。

この距離検出装置によれば、画像入力装置に入力した既知物体像から既知物体までの距離値を求め、画像入力装置のデータから同じ既知物体までの距離データを得て、距離値と距離データとを比較し、その比較結果に基づいてずれを検出できるので、走行距離センサ等の別の距離測定手段を必要とせずに車両が停止中でも簡易にずれを検出することができる。この距離検出装置により上述のずれ検出方法を実行できる。

上記距離検出装置において前記既知物体の情報と距離値との関係を保持する手段を備え、前記画像入力装置で得た既知物体の情報から前記距離値を得るようにできる。

また、前記比較手段による比較を複数回行い、各比較結果を平均化したデータに基づいて前記ずれをすることで、より正確なずれ検出が可能となる。

また、前記ずれ検出に基づいて前記距離検出装置のキャリブレーションを行うことで、画像入力装置におけるずれに起因する検出距離の誤差を補正し、正確な距離検出を行うことができる。

なお、上記画像入力装置は、レンズ等の光学系と撮像素子となるカメラから構成されてよい。

本発明のずれ検出方法及び距離検出装置によれば、距離検出装置において走行距離センサ等の別の距離測定手段を必要とせずに車両が停止中でも簡易にずれ検出が可能となる。

以下、本発明を実施するための最良の形態について図面を用いて説明する。図１は本実施の形態による距離検出装置を概略的に示すブロック図である。図２は距離検出装置１０における距離検出の原理を説明するための模式図である。

図１に示すように、距離検出装置１０は、センサＡ及びセンサＢを備えるステレオカメラ１１と、ずれ検出回路１２と、メモリ１３と、パラメータ補正回路１４と、メモリ１５と、画像処理回路１６と、キャリブレーション回路１７と、を備える。

図１のステレオカメラ１１は、図２のように、焦点距離ｆのレンズＥの光学系とセンサＡとからなる左カメラ１１ａと、焦点距離ｆのレンズＦの光学系とセンサＢとからなる右カメラ１１ｂと、から構成される。センサＡ，ＢはＣＣＤやＣＭＯＳイメージセンサなどの撮像素子から構成される。センサＡ，センサＢからそれぞれ撮影した画像データが出力され、左カメラ１１ａのセンサＡから基準画像を得るとともに、右カメラ１１ｂのセンサＢから参照画像を得ることができる。

図２のように、センサＡ，Ｂは、それらの撮像面Ｃ、Ｄが面ｇ上に配置されている。レンズＥとＦは、それらのレンズ中心Ｏ１，Ｏ２を通る光軸ａと光軸ｂとが平行にかつ横方向のレンズ中心間隔Ｌで配置されるとともに、光軸ａ，ｂと直交し各レンズ中心Ｏ１，Ｏ２を通るレンズ面ｈに配置されている。撮像面Ｃ、Ｄの面ｇとレンズ面ｈとは焦点距離ｆだけ離れて平行である。また、撮像面Ｃ、Ｄの光軸ａ，ｂが直交する基準点Ｃ０，Ｄ０の横方向間隔がレンズ中心間隔Ｌと等しい。

図２のように、距離計測対象である被写体Ｉが左カメラ１１ａのレンズＥの光軸ａ上にあり、レンズ面ｈから被写体Ｉまでの距離をＨとする。被写体Ｉが左カメラ１１ａのレンズＥの中心Ｏ１を通過して撮像面Ｃ上の基準点Ｃ０に結像する一方、被写体Ｉが右カメラ１１ｂのレンズＦの中心Ｏ２を通過して撮像面Ｄ上の位置Ｄ１に結像したとする。撮像面Ｄ上の基準点Ｄ０から位置Ｄ１までの距離ｘが、左カメラ１１ａと右カメラ１１ｂが間隔Ｌで配置されたことに起因するシフト量（視差）である。図２からＨ／Ｌ＝ｆ／ｘが成り立ち、次式（１）を得る。
Ｈ＝（Ｌ・ｆ）／ｘ ・・・（１）

上記式（１）から、レンズ中心間隔Ｌと焦点距離ｆが一定であるので、シフト量ｘから被写体Ｉまでの距離Ｈを計測できる。このようにしてステレオカメラ１１からの画像情報に基づいて被写体Ｉまでの距離Ｈを検出することができる。

図１のずれ検出回路１２は、センサＡで撮影した基準画像の中から既知物体を検出する既知パターン検出回路１２ａと、検出した既知物体の大きさを計測するサイズ計測回路１２ｂと、計測したサイズから距離値を算出する距離値算出回路１２ｃと、サイズから計測した距離値と画像処理回路１６で算出した実測距離値とを比較する距離値比較回路１２ｄと、を備える。

メモリ１３は、既知パターン情報、及び、画素数−距離値変換情報を記憶する。既知パターン情報として、例えば、信号機、標識、ナンバープレート、ガードレール等の形状データが記録されている。また、ステレオカメラ１１の光学系における光学像と画素数との関係から算出した、画素数と距離値との関係が記録されている。

メモリ１５は、上述の距離値に関するデータを生成するのに必要な情報として、パラメータ補正回路１４で補正された距離画像生成用パラメータを記憶し、例えば、画素数、画素ピッチ、カメラの基線長、ずれ情報などを記録する。ステレオカメラ１１のずれが検出された場合は、距離画像生成用パラメータにずれ情報が記録される。なお、メモリ１３，１５は、別々のメモリではなく一体としてもよく、書き換え可能な不揮発性半導体メモリ等から構成できる。

画像処理回路１６は、ステレオカメラ１１の各センサＡ，Ｂで撮影された画像データを受け取り、被写体までの距離を示す距離データを生成するが、その際、メモリ１５から距離画像生成用パラメータを読み出して距離データを生成し出力する。また、距離データ以外にも各種信号処理を施した画像データも出力する。距離データ、画像データは後段の処理回路へ送られ、用途に応じた処理が施される。

画像処理回路１６は、ステレオカメラ１１からの画像データに基づいて視差演算を行い距離データを生成するが、この視差演算に、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いる。具体的には、画像処理回路１６は、ＳＡＤ法やＰＯＣ法による演算を集積素子等によりハード的に処理するが、ＣＰＵ（中央演算処理装置）によりソフト的に処理するようにしてもよい。この場合、ＣＰＵは所定のプログラムに従って所定の演算を実行する。

ずれ検出回路１２は、各センサＡ，Ｂから得た画像データとメモリ１３に記録されたデータとにより、ステレオカメラ１１におけるずれを算出し、メモリ１３にその情報を記録するとともに、画像処理回路１６に対してずれが発生した旨を通知する。

ここで、ステレオカメラ１１におけるずれとは、図２において、カメラ１１ａとカメラ１１ｂの位置ずれ、光軸ａ，光軸ｂの傾き、光軸ａと光軸ｂの平行度、レンズ中心間隔Ｌのずれ、等に起因して、距離検出装置１０で検出する距離値が誤差を持つことをいう。

ずれ検出回路１２によるずれ検出の結果、補正が必要な場合、画像処理回路１６からの情報に基づいてキャリブレーション回路１７でキャリブレーションを行う。キャリブレーション回路１７は、メモリ１５に記録されたずれ情報に基づいて検出されたずれがキャンセルされるように補正処理を行う。

図１のずれ検出回路１２における既知物体までの距離値の算出について図３，図４を参照して説明する。図３は、図１のセンサの撮像面における既知物体の光学像と画素との関係を模式的に示す図である。図４は、図３の既知物体の既知パターンの画素数と距離値との変換テーブルの例を示す模式図である。

図３のように、図１，図２のセンサＡの撮像面Ｃには縦横方向に多数の画素が格子状に形成されており、横方向の画素をＰ１，Ｐ２，Ｐ３，・・・、Ｐｘ、・・・とする。図４の変換テーブルは、例えば既知物体を信号機とし、その円形状の信号ランプＧ１の直径が既知であり、信号ランプＧ１の撮像面Ｃにおける画素数と信号ランプＧ１までの距離との関係を予め求めて作成したものであり、メモリ１３に画素数−距離値変換情報として記憶されている。

図３のように、撮像面Ｃに形成された光学像Ｇを、図２の既知パターン検出回路１２ａがメモリ１３に記録された既知物体の既知パターンの中から信号機の画像と認識する。

サイズ計測回路１２ｂは、図３の撮像面Ｃ上の光学像Ｇにおける円形状の信号ランプＧ１の画像が画素Ｐｘの左端と画素（Ｐｘ＋Ｎ）の右端との間に位置するので、信号ランプＧ１の直径に対応する画素数を、（Ｐｘ＋Ｎ）−（Ｐｘ）＝Ｎ、と算出し計測する。そして、距離値算出回路１２ｃが図４の変換テーブルを参照して、上記計測の画素数Ｎから距離値Ｙを算出する。

次に、図１〜図４の距離検出装置１０における基本的な処理ステップＳ０１〜Ｓ０９について図５のフローチャートを参照して説明する。

まず、センサＡ，Ｂを有する左右のカメラで基準画像、参照画像を撮影し（Ｓ０１）、センサＡの基準画像の中から予め記録した既知パターンの検出動作を行う（Ｓ０２）。そして、既知パターンとして例えば図３のような信号機のパターンを検出すると（Ｓ０３）、既知パターンのサイズとして例えば図３のように信号ランプＧ１の直径に対応する画素数Ｎを算出し（Ｓ０４）、その画素数Ｎから図３のような変換テーブルを用いて信号機までの距離値（第１距離値）を算出する（Ｓ０５）。

一方、センサＡ，Ｂによるステレオ画像（基準画像・参照画像）から画像処理回路１６での通常の処理により上記信号機までの実測定距離値を第２距離値として算出しておく（Ｓ０６）。そして、この第２距離値と、ステップＳ０４，Ｓ０５で既知パターンから算出した第１距離値とを比較し（Ｓ０７）、両距離値が不一致であると（Ｓ０８）、画像処理回路１６に対し補正が必要である旨を通知する（Ｓ０９）。これにより、キャリブレーション回路１７でで距離測定のキャリブレーションを行うことができる。

以上のように、左カメラ１１ａのセンサＡに撮像された画像中から既知物体を検出し、検出した既知物体の大きさを元にカメラ１１ａから既知物体までの第１距離値を求め、この第１距離値と、実際にステレオ法によって得た第２距離値とを比較し、その結果、両距離値が同じであれば、距離検出装置１０にずれは発生していないと判定し、両距離値が異なれば、距離検出装置１０にずれが発生していると判定し、この判定結果に応じて距離検出装置１０のキャリブレーションを行うことができる。

したがって、本実施の形態によれば、信号機等の既知物体の撮像面上での大きさ（サイズ）から既知物体までの距離を算出することにより、走行距離センサ等の別の距離測定手段を別途用意しなくても距離値算出が可能になり、通常の距離計測の結果と比較することで、カメラの光学系のずれの検出を簡易に行うことができる。

また、車が停止中もずれ検出が可能になる。なお、ステップＳ０１で得た基準画像・参照画像に基づいて比較を行うので、車が走行中でもずれ検出が可能である。また、距離を検出する対象を既知物体（一般構造物）とすることで車種に限定されない汎用的な距離検出システムが構築できる。

次に、図５の既知物体の検出を複数回行い、実測値との差分を平均化し、誤差を少なくした後にずれを判定するようにした処理ステップＳ０１〜Ｓ０７，Ｓ１１〜Ｓ１５について図６のフローチャート及び図７を参照して説明する。図７は図６のステップＳ１１〜Ｓ１３における差分の平均化を説明するための図である。

図５と同様のステップＳ０１〜Ｓ０７を実行し、ステップＳ０７の比較の際に、通常処理の実測定距離値（第２距離値）と既知パターンから算出の第１距離値との差分を求め、メモリ１３または１５に記録し保持する（Ｓ１１）。

上記差分を求めるステップＳ１１を予め設定した規定回数行い（Ｓ１２）、例えば図７のように４回の検出回数による差分の平均値を求める（Ｓ１３）。そして、その差分の平均値がゼロであるか否かを判定し（Ｓ１４）、ゼロでないときは、画像処理回路１６に対し補正が必要である旨を通知する（Ｓ１５）。これにより、距離検出装置１０のキャリブレーションを行うことができる。

図６，図７のように実測値との差分の平均値に基づいてずれ検出を行うことで、ずれ検出をより正確に実行できる。

なお、図５のステップＳ０７，Ｓ０８では、図６のステップＳ１４と同様に、第１距離値と第２距離値との差分をとって、判定基準をゼロと設定して判断してもよい。また、図５，図６で差分で判定する場合、判定基準をゼロではなく、所定値ｚ（＞０）に設定してもよく、差分、または差分の平均値が−ｚ以下または＋ｚ以上であるときに補正が必要と判断するようにしてもよい。

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図１の距離検出装置１０は、自動車等の自走車両に搭載して使用できるが、これらに限定されず、例えば、自走するロボット等に搭載してもよいことはもちろんである。また、既知パターンは、信号機に限定されず、例えば、各種標識、ナンバープレート、ガードレール等であってもよい。

また、距離検出装置１０のキャリブレーションは、キャリブレーション回路１７で距離データ等を電気的に補正処理することに限定されず、例えば、カメラ１１ａ、１１ｂが光軸ａ，ｂの傾きをそれぞれ調整可能な駆動部を備え、ずれが検出されたとき、キャリブレーション回路１７で駆動部を制御してキャリブレーションを行うようにしてもよい。

本実施の形態による距離検出装置を概略的に示すブロック図である。 図１の距離検出装置１０における距離検出の原理を説明するための模式図である。 図１のセンサの撮像面における既知物体の光学像と画素との関係を模式的に示す図である。 図３の既知物体の既知パターンの画素数と距離値との変換テーブルの例を示す模式図である。 図１〜図４の距離検出装置１０における基本的な処理ステップＳ０１〜Ｓ０９を説明するためのフローチャートである。 図５の既知物体の検出を複数回行い、実測値との差分を平均化し、誤差を少なくした後にずれを判定する処理ステップＳ０１〜Ｓ０７，Ｓ１１〜Ｓ１５を説明するためのフローチャートである。 図６のステップＳ１１〜Ｓ１３における差分の平均化を説明するための図である。

符号の説明

１０ 距離検出装置
１１ ステレオカメラ（画像入力装置）
１１ａ 左カメラ（画像入力装置）
１１ｂ 右カメラ（画像入力装置）
１２ ずれ検出回路
１２ａ 既知パターン検出回路
１２ｂ サイズ計測回路
１２ｃ 距離値算出回路
１２ｄ 距離値比較回路
１３，１５ メモリ
１６ 画像処理回路
１７ キャリブレーション回路
Ａ，Ｂ センサ、撮像素子
Ｃ，Ｄ 撮像面
Ｅ，Ｆ レンズ
Ｇ 既知物体の光学像
Ｇ１ 信号ランプ（既知パターン）

Claims (7)

1. 光学系と撮像素子とから構成される複数のカメラで得たステレオ画像に基づいて距離を検出する距離検出装置におけるずれを検出する方法であって、
   前記光学系を介して前記撮像素子に撮像された既知物体像から前記既知物体までの第１距離値を求め、
   前記第１距離値と、前記ステレオ画像から検出した前記既知物体までの第２距離値と、を比較することで前記距離検出装置におけるずれを検出することを特徴とする距離検出装置のずれ検出方法。
2. 前記既知物体像のサイズと距離との関係を予め求めておき、前記撮像素子の撮像面から得た前記既知物体像のサイズに基づいて前記第１距離値を得る請求項１に記載の距離検出装置のずれ検出方法。
3. 前記比較を複数回実行し、各比較結果を平均化したデータに基づいて前記ずれを検出する請求項１または２に記載の距離検出装置のずれ検出方法。
4. 距離検出のために物体像が入力する複数の画像入力装置と、
   前記画像入力装置のデータから距離データを生成する手段と、
   前記画像入力装置に入力した既知物体像から得た情報に基づいて距離値を得る手段と、
   前記距離データと前記既知物体像の情報から得た距離値とを比較する手段と、
   前記比較結果に基づいて前記画像入力装置におけるずれを検出する手段と、を備えることを特徴とする距離検出装置。
5. 前記既知物体の情報と距離値との関係を保持する手段を備え、
   前記画像入力装置で得た既知物体の情報から前記距離値を得る請求項４に記載の距離検出装置。
6. 前記比較手段による比較を複数回行い、各比較結果を平均化したデータに基づいて前記判定を行う請求項４または５に記載の距離検出装置。
7. 前記ずれ検出に基づいて前記距離検出装置のキャリブレーションを行う請求項４乃至６のいずれか１項に記載の距離検出装置。

Images