JP2009258015A - 車両用距離画像データ生成装置および車両用距離画像データの生成方法 - Google Patents

Abstract

【課題】 自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置および車両用距離画像データの生成方法を提供する。
【解決手段】 投光器５と、イメージインテンシファイア７ｂ及び高速度カメラ８とこれらを制御するタイミングコントローラ９と、イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、画像処理部１０は、常時発光しているために全ての撮像画像に存在する画素データを、ノイズとして除去するステップＳ５の処理を備えた。
【選択図】 図１

Description

本発明は、車両用距離画像データ生成装置の技術分野に属する。

特許文献１には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
米国特許第６７００１２３号明細書

しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。

本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置および車両用距離画像データの生成方法を提供することにある。

上記目的を達成するため、本発明の車両用距離画像データ生成装置では、
自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記距離画像データ生成手段は、常時発光しているために全ての撮像画像に存在する画素データを、ノイズとして除去するノイズ除去手段を備えた、ことを特徴とする。

よって、本発明にあっては、ターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成するため、自車両前方の状況を連続的に把握できる。

以下、本発明の車両用距離画像データ生成装置および車両用距離画像データの生成方法を実現するための最良の形態を、図面に基づく実施例により説明する。

まず、構成を説明する。
図１は、本発明の車両用距離画像データ生成装置を適用した実施例１の障害物検出装置１の構成を示すブロック図であり、実施例１の障害物検出装置１は、距離画像データ生成装置２と、物体認識処理部３と、判断部４とを備えている。

距離画像データ生成装置２は、投光器（投光手段）５と、対物レンズ６と、光増倍部７と、高速度カメラ（撮像手段）８と、タイミングコントローラ（タイミング制御手段）９と、画像処理部（距離画像データ生成手段）１０とを備えている。
投光器５は、車両の前端部に配置した近赤外線LEDであり、タイミングコントローラ９から出力されるパルス信号に応じて、所定の投光時間tL（例えば、5ns）の間、パルス光を出力する。パルス信号の周期は、投光器５の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。
対物レンズ６は、物体からの反射光を受光するためのもので、投光器５と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。

光倍増部７は、ゲート７ａとイメージインテンシファイア７ｂとを備えている。
ゲート７ａは、タイミングコントローラ９からの開閉指令信号に応じて開閉する。ここで、実施例１では、ゲート７ａの開時間（ゲート時間）tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア（ターゲット距離）の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例１では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度（約3×10⁸m/s）×ゲート時間(5ns)から、1.5mとなる。

イメージインテンシファイア７ｂは、極微弱な光（物体からの反射光等）を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア７ｂの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ８のイメージセンサに導かれる。
高速度カメラ８は、タイミングコントローラ９からの指令信号に応じて、光倍増部７から発せられた像を撮像し、撮像画像（カラー画像）を画像処理部１０へ出力する。実施例１では、解像度640×480（横：縦）、輝度値1〜255(256段階)、100fps以上のカメラを用いている。

タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器５の投光開始時点からゲート７ａを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離（撮像対象距離）を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離＝光速度（約3×10⁸m/s）×ディレイ時間tD/2
図２に、１つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す。

タイミングコントローラ９は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔（例えば、10ns）ずつ長くすることで、高速度カメラ８の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ９は、ゲート７ａが開く直前に高速度カメラ８の撮像動作を開始させ、ゲート７ａが完全に閉じた後に撮像動作を終了させる。

また、実施例１では、図３に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量（B2-B1）を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。

図４は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個（１〜n）であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図４の特性に近くなる。

タイミングコントローラ９は、１フレーム分、すなわち、設定された所定範囲（エリア１、エリア２、…、エリアn）の撮像画像が全て撮像された場合、画像処理部１０に対し画像処理指令信号を出力する。

画像処理部１０は、高速度カメラ８により撮像された１フレーム分の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成し、生成した距離画像データを物体認識処理部３へ出力する。

物体認識処理部３は、距離画像データに含まれる物体を特定する。物体の特定方法は、パターンマッチング等、周知の技術を用いることができる。
判断部４は、物体認識処理部３により特定された物体（人、自動車、標識等）と自車両との関係（距離、相対速度等）に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。

［距離画像データ生成制御処理］
図５は、実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。

ステップS1では、投光器５による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを最小値データとして記憶し、ステップS2へ移行する。

ステップS2では、撮像画像を入力し、ステップS3へと移行する。

ステップS3では、ステップS1で記憶した最小値データと、ステップS2で入力した撮像画像の各画素の輝度値データのうち最も低い輝度値データとを比較し、当該輝度値データが最小値データよりも低いか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS5へ移行する。

ステップS4では、最小値データよりも低い輝度値データを新たな最小値データとして記憶し、ステップS5へ移行する。

ステップS5では、更新、記憶された最小値データが予め設定した閾値を越えているかどうかにより、該当する画素データをノイズデータとして除外する処理を行う。

ステップS6では、画素毎に輝度値データと最小値データとの差分を取り、当該画素における現在のデータとし、ステップS7へ移行する。

ステップS7では、画素毎に直前（前回制御周期）のデータと現在のデータとの差分を計算し、ステップS8へ移行する。

ステップS8では、ステップS7で求めた差分がしきい値（ノイズ判定しきい値）以下であるか否かを判定する。YESの場合にはステップS10へ移行し、NOの場合にはステップS9へ移行する。実施例１では、しきい値を32とする。

ステップS9では、直前のデータとの差分がしきい値を超えるデータの画素を除外（例えば、輝度値0とする）し、ステップS10へ移行する。

ステップS10では、１フレーム分（エリア１、エリア２、…、エリアn）の画像入力が終了したか否かを判定する。YESの場合にはステップS11へ移行し、NOの場合にはステップS2へ移行する。

ステップS11では、n個の撮像画像の同一画素の輝度値データを比較し、最も値の高い輝度値データと対応する撮像画像のフレーム番号（ディレイ時間tD）から距離画像データを生成し、リターンへ移行する。

次に、作用を説明する。
［距離画像データ生成作用］
タイミングコントローラ９は、高速度カメラ８により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ８の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器５から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離（撮像対象距離）を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。

上記方法で得られた高速度カメラ８の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。

さらに、実施例１では、ディレイ時間tDを変化させながら撮像エリア１〜nの撮像画像を取得する。続いて、各撮像画像における同一画素の輝度値データを比較し、最も高い輝度値データを当該画素の距離とし、全ての画素(640×480)の距離データ（距離画像データ）を生成する。

従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる（SN比が小さい）ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識（物体の特定）を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。

これに対し、実施例１では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、全ての画素の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。

さらに、実施例１では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。

図６は、自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例１では、１つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像の画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応する画素の時間的な輝度変化は、図７に示すように、歩行者の位置でピークを取る三角形の特性を示す。

なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、１つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図８に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。
実際に距離画像の例として、各画素における物体までの距離を、近くを赤、遠くを青と色波長に関連させてカラードット表示にしたものを図１１，１２に示す。

［ノイズ除去作用］
実施例１では、輝度のある画像部分を得ることにより撮像対象距離の対象物の把握を行う。そして、撮像対象距離以外の自車との距離にあるものは、輝度のない画像部分にすることで処理して行くことになる。
そのため、常時発光しているようなもの、例えば、外灯、車のヘッドライト、ブレーキランプ、建物の窓からの光が存在した場合、これを除外しないと、撮像を行った、各距離に対象物が存在していると判定されることになる。

実施例１では、画像処理部１０が行うステップＳ５の処理により、常時発光しているものを撮像している画素データをノイズとして除外する。
具体的には、各距離の画像データの同じＸＹ位置（縦横の座標で決まる位置）の画素（同一画素）の輝度データを処理するために最初に行うステップＳ３，Ｓ４の処理で確定される輝度最小値の最初値データを用いる。この最小値データは、各距離の画素データの同じ位置の同一画素のなかの輝度最小値である。
そのため、予め設定した閾値とこの最小値データを比較すれば、常時発光しているものを撮像した画素は、その輝度最小値が高い値を示すことになり、閾値を越えることで判別される。そして、ノイズとして除外されることにより、その後に生成される距離画像データは、より正確なものとなる。また、この距離画像を用いてその後に対象物を特定する処理を行う場合にも、より精度よく対象物特定が行えることになる。
例えば、１画素の輝度値データが０〜２５６までの分解能である場合に、その最小輝度値データが４８の閾値を越えると除外する。

図９は、自車両前方を一般的なカメラで撮像したときの画像であり、この状況で実施例１の手法を用いると、各撮像エリアの撮像画像は、図１０(a)〜(j)となる。ここで、図１０(a)〜(j)において、常時発光している部分を符号Ｐで指し示す。
このように常時発光している部分は、図１０(a)〜(j)のそれぞれの画像に、輝度の高い部分として存在することになる。

この常時発光している部分が撮像された画像（図１０(a)〜(j)）に基づいて生成される距離画像データには、常時発光している部分が実際に常時発光しているものが存在する撮像対象距離とは異なる距離が表示されている（図１１の符号Ｐ部分参照）。
これに対し、実施例１のノイズ除去を行い、常時発光部分の距離データを図１２の符号Ｐで示す部分のように削除することにより、この距離画像データの精度を向上させ、また、その後に対象物を特定する処理の精度を向上させる。
なお、図９〜１２は、都合上グレイスケールとしているが、実際にはカラー画像である。

次に、効果を説明する。
実施例１の距離画像データ生成装置２にあっては、以下に列挙する効果を奏する。

(1) 自車両前方に所定周期でパルス光を投光する投光器５と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア７ｂ及び高速度カメラ８と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ９と、イメージインテンシファイア７ｂ及び高速度カメラ８により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部１０を備え、画像処理部１０は、常時発光しているために全ての撮像画像に存在する画素データを、ノイズとして除去するステップＳ５の処理を備えたため、自車両前方の状況を連続的に把握でき、常時発光しているノイズを除去して距離画像データの精度を向上させることができ、その後の対象物特定処理の精度向上に寄与できる。

(2) (1)において、画像処理部１０が行うステップＳ５の処理は、ターゲット距離の異なる複数の撮像画像における同一画素の輝度に対して、最小輝度値を選択し、最小輝度値が予め設定した閾値を越えている場合は、ノイズとしてデータを除去するため、常時発光しているものは、複数の撮像画像の同一画素に輝度高く撮像されることになるので、これを閾値により判別して、ノイズとして除外することにより、常時発光しているノイズを除去して距離画像データの精度を向上させることができ、その後の対象物特定処理の精度向上に寄与できる。

（他の実施例）
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。

例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、１フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。

実施例１の障害物検出装置１の構成を示すブロック図である。 １つの撮像エリアを撮像する際の、投光器５の動作（投光動作）とゲート７ａの動作（カメラゲート動作）との時間的な関係を示す図である。 撮像エリアの一部がオーバーラップする状態を示す図である。 撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。 実施例１の画像処理部１０で実行される距離画像データ生成制御処理の流れを示すフローチャートである。 自車両前方の異なる位置に４人の歩行者A〜Dが存在している状況を示す図である。 各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。 実施例１の距離画像データ生成作用を示す図である。 自車両前方を一般的なカメラで撮像したときの画像である。 各撮像エリアの撮像画像を示す図である。 実施例１のノイズ除去を実施しない場合の距離画像データである。 実施例１のノイズ除去作用を示す距離画像データである。

符号の説明

１ 障害物検出装置
２ 距離画像データ生成装置
３ 物体認識処理部
４ 判断部
５ 投光器（投光手段）
６ 対物レンズ
７ 光増倍部
７ａ ゲート
７ｂ イメージインテンシファイア
８ 高速度カメラ（撮像手段）
９ タイミングコントローラ（タイミング制御手段）
１０ 画像処理部（距離画像データ生成手段）
Ｐ （距離画像データの常時発光箇所を示す）符号

Claims (2)

1. 自車両前方に所定周期でパルス光を投光する投光手段と、
   ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
   前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
   前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
   を備え、
   前記距離画像データ生成手段は、
   常時発光しているために全ての撮像画像に存在する画素データを、ノイズとして除去するノイズ除去手段を備えた、
   ことを特徴とする車両用距離画像データ生成装置。
2. 請求項１に記載の車両用距離画像データ生成装置において、
   前記ノイズ除去手段は、
   ターゲット距離の異なる複数の撮像画像における同一画素の輝度に対して、最小輝度値を選択し、最小輝度値が予め設定した閾値を越えている場合は、ノイズとしてデータを除去する、
   ことを特徴とする車両用距離画像データ生成装置。