JP5863536B2

JP5863536B2 - 車外監視装置

Info

Publication number: JP5863536B2
Application number: JP2012077747A
Authority: JP
Inventors: 関口　弘幸; 弘幸関口
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2012-03-29
Filing date: 2012-03-29
Publication date: 2016-02-16
Anticipated expiration: 2032-03-29
Also published as: JP2013206380A

Description

本発明は、異なる視点からステレオ撮像した画像対に基づいて車外の対象を認識する車外監視装置に関する。

従来、車外の対象を認識する車外監視装置においては、一対の車載カメラを用いたステレオ式の車外監視装置が知られている。この種の車外監視装置では、先ず、ステレオマッチング処理により、一方の画像（基準画像）中の画素ブロックと相関を有する画素ブロックが他方の画像（比較画像）中において特定され、両者の相対的なずれ量である視差が算出される。そして、算出された画素ブロック毎の視差から、三角測量の原理を用いて距離データが算出され、この距離データに対して周知のグルーピング処理等が施されることにより、撮像画像中の対象物（車外における車線区画線、車両、或いは、信号機等）が認識される。

ところで、車外監視装置で認識した車外情報を用いて各種運転支援制御等を行う場合、各対象物が実空間上に占める位置、大きさ、範囲等の情報のみならず、その対象物の色情報等についても取得されることが望ましい。例えば、対象物として車両を認識する場合において、車載灯具が点灯された際の色情報を取得できれば、当該灯具がヘッドランプ、テールランプ、ブレーキランプ、或いは、ターンシグナルランプの何れであるか等の判別を容易に行うことができ、この判別結果に基づいて車両が対向車或いは先行車であるかの判別や、右折（左折）車であるかの判別等を行うことができる。また、例えば、対象物として信号機を認識する場合において、信号機上で発光する領域の色情報を取得できれば、当該信号機が赤信号であるか或いは青信号であるか等の判別を的確に行うことができる。そして、これらの認識結果を運転支援制御等に反映させれば、より精度の高い緻密な制御を実現することが可能となる。

その一方で、上述のように車両や信号機等の対象物上で高輝度に発光する領域の色情報を取得する場合、当該領域の輝度飽和を防止すべく車載カメラの露光量を小さく制御する必要があるが、このように露光量を小さく制御した場合、他の対象物等の認識精度が低下する虞がある。これに対し、例えば、特許文献１に開示されているように、検出対象に応じて露光タイミングを順次変化させることも考えられる。

特開２００８−２０７６７７号公報

しかしながら、上述の特許文献１に開示された技術のように、検出対象毎に露光タイミングを変化させた場合、車外の対称を全体として認識することが可能なフレーム数が減少してしまう虞がある。

本発明は上記事情に鑑みてなされたもので、車外の対象物を認識する際の認識精度の低下やフレーム数の低下等を招くことなく、色情報についても的確に取得することができる車外監視装置を提供することを目的とする。

本発明の一態様による車外監視装置は、第１の撮像手段と第２の撮像手段とを用いて車外の対象を異なる視点から撮像し、互いに視差を有する基準画像と比較画像とを出力するステレオ撮像手段と、前記車外の対象を前記第１の撮像手段及び第２の撮像手段よりも低い露光量でカラー撮像し、前記基準画像に対応する参照画像を出力するカラー撮像手段と、前記基準画像と前記比較画像とのステレオマッチング処理を行うことで前記基準画像上の画素に距離情報を付与した距離画像を生成する距離画像生成手段と、前記距離画像上の画素に前記参照画像上の画素の色情報を付与する色情報付与手段と、を備えたものである。

本発明の車外監視装置によれば、車外の対象物を認識する際の認識精度の低下やフレーム数の低下等を招くことなく、色情報についても的確に取得することができる。

車両用運転支援装置を示す概略構成図カメラユニットの概略構成を示す斜視図画像認識処理ルーチンを示すフローチャート基準画像及び参照画像の一例を模式的に示す説明図ステレオマッチング処理を示す説明図画素ブロック内の水平方向の輝度エッジの評価方法の説明図参照画像から距離画像に色情報を付与する際の説明図

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置を示す概略構成図、図２はカメラユニットの概略構成を示す斜視図、図３は画像認識処理ルーチンを示すフローチャート、図４は基準画像及び参照画像の一例を模式的に示す説明図、図５はステレオマッチング処理を示す説明図、図６は画素ブロック内の水平方向の輝度エッジの評価方法の説明図、図７は参照画像から距離画像に色情報を付与する際の説明図である。

図１において、符号１は自動車等の車両（自車両）であり、この車両１には、車両用運転支援装置２が搭載されている。この運転支援装置２は、ステレオカメラ３と、当該ステレオカメラ３に併設する単眼カラーカメラ４と、画像認識装置５と、制御ユニット６とを備えて要部が構成されている。

また、車両１には、自車速Ｖを検出する車速センサ１１、運転支援装置のＯＮーＯＦＦ信号が入力されるメインスイッチ１３等が設けられており、自車速Ｖ及び運転支援制御のＯＮ−ＯＦＦ信号等は、制御ユニット６に入力される。

ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた左右一対のＣＣＤカメラ（カラー或いはモノクロカメラ）３ａ，３ｂで構成されている。これら左右のＣＣＤカメラ３ａ，３ｂは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点から撮像する。本実施形態において、カメラ３ａは、メインカメラとして車両１の進行方向右側に取り付けられており、基準画像を出力する。一方。カメラ３ｂはサブカメラとして進行方向に向かって左側に取り付けられており、比較画像を出力する。

単眼カラーカメラ４は、例えば、電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたカラーカメラで構成されている。例えば、図２に示すように、本実施形態の単眼カラーカメラ４は、メインカメラ３ａ及びサブカメラ３ｂと同一のステー７ａ上に保持されてカメラユニット７を構成する。この場合において、単眼カラーカメラ４は、例えば、メインカメラ３ａの水平方向に隣接する位置にてステー７ａに固定されている。これにより、単眼カラーカメラ４は、メインカメラ３ａと略同一の視点から車外の対象をカラー撮像し、基準画像に対応する参照画像を出力する。

ここで、メインカメラ３ａ、サブカメラ３ｂ、及び、単眼カラーカメラ４は互いに同期がとられている。また、ステレオカメラ３（メインカメラ３ａ、サブカメラ３ｂ）、及び、単眼カラーカメラ４の撮像時における露光量は、例えば、それぞれ予め設定されたマップ等に基づいて可変に設定される。すなわち、ステレオカメラ３及び単眼カラーカメラ４の露光量（シャッタースピード及び絞り量等）は、例えば、それぞれ撮像した画像の各領域の輝度平均値をパラメータとして得られる領域毎のマップ値を総計して決定される。その際、単眼カラーカメラ４の露光量は、メインカメラ３ａ及びサブカメラ３ｂの露光量よりも相対的に低く設定され、これにより、参照画像上における輝度の飽和領域の発生が抑制される。例えば、図４（ａ）に示すように基準画像（及び、比較画像）上において、撮像された車両１００や信号機１０１等の一部発光領域に輝度の飽和が発生している場合にも、参照画像上では同領域における輝度の飽和が抑制される（図４（ｂ）参照）。

このように、本実施形態において、ステレオカメラ３はステレオ撮像手段としての機能を実現し、単眼カラーカメラ４はカラー撮像手段としての機能を実現する。

画像認識装置５は、基準画像と比較画像とのステレオマッチング処理を行うことで基準画像上の画素に距離情報を付与した距離画像を生成する。さらに、画像認識装置５は、生成した距離画像上の画素に対し、参照画像上で対応する画素の色情報を付与する。そして、画像認識装置５は、色情報が付与された距離画像に対し、周知のグルーピング処理等を行うことによって自車両１の前方に存在する各種立体物等を認識し、自車両１の前方に予め設定された条件を満たす車両が存在する場合には当該車両を先行車として検出する。

このように、本実施形態において、画像認識装置５は、距離画像生成手段、及び、色情報付与手段としての機能を実現する。

制御ユニット６は、画像認識装置５で認識した車外情報に基づく運転支援制御として、例えば、車間距離制御付クルーズコントロール（ＡＣＣ；Adaptive Cruise Control）制御を行う。ここで、制御ユニット６には、例えば、車速センサ１１から自車速Ｖが入力されるとともに、メインスイッチ１３に併設された各種スイッチ類を通じて定速走行時の設定車速Ｖｓｅｔ等が入力される。

メインスイッチ１３がＯＮされた状態において、制御ユニット６は、先行車が検出されていない定速走行制御時には、ドライバがセットした設定車速Ｖｓｅｔを目標車速として設定し、電子制御スロットル弁１５の開度制御（エンジン出力制御）を行うことで、自車速Ｖを目標車速に収束させる。さらに、制御ユニット６は、エンジンの出力制御のみでは十分な減速度が得られないと判断した場合にアクティブブースタ１６からの出力液圧（ブレーキの自動介入制御）を併用し、自車速Ｖを目標車速に収束させる。

また、制御ユニット６は、定速走行制御を行っている際に、自車走行路上に先行車を検出した場合には、追従走行制御へと移行する。そして、追従走行制御に移行すると、制御ユニット６は、例えば、自車速Ｖに応じて可変設定される追従目標車間距離に基づいて、目標車速を設定し、電子スロットル弁１５の開度制御を行うことで、車間距離を追従目標車間距離に収束させる。さらに、制御ユニット６は、エンジンの出力制御のみでは十分な減速度が得られないと判断した場合に、アクティブブースタ１６からの出力液圧の制御を併用し、車間距離を追従目標距離に収束させる。

次に、画像認識装置５において実行される画像認識処理について、図３に示す画像認識処理ルーチンのフローチャートに従って詳細に説明する。このルーチンは設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、画像認識装置５は、先ず、ステップＳ１０１において、ステレオカメラ３のメインカメラ３ａ及びサブカメラ３ｂで撮像された基準画像と比較画像とのステレオマッチング処理を行う。

すなわち、画像認識装置５は、ステレオカメラ３から入力される基準画像データと比較画像データとに基づいて、例えば、４×４画素で構成される画素ブロック単位で距離データを算出する。具体的に説明すると、画像認識装置５は、基準画像データ中の一の画素ブロックＰＢ１を抽出し、この画素ブロックＰＢ１の輝度特性と比較画像データ上で相関を有する画素ブロックを検索して特定する（図５参照）。周知の通り、ステレオ画像に映し出された対象物間での距離は、ステレオ画像中における視差、すなわち、基準画像及び比較画像の位置に関する水平方向ずれ量として現れる。従って、対象画素ブロックＰＢ１と相関を有する画素ブロックを特定しようとする場合、比較画像データ上において、対象画素ブロックＰＢ１のｊ座標値と同じ値の水平線（エピポーラライン）上の画素ブロックを検出すればよい。画像認識装置５は、このエピポーラライン上を１画素ずつシフトしていくことで、エピポーラライン上の所定の画素範囲内における全ての比較画素ブロックとの相関を評価する。そして、画像認識装置５は、基準画像上の画素ブロックＰＢ１と、比較画像上において画素ブロックＰＢ１との相関が特定された画素ブロックとの視差を求める。

ステップＳ１０１からステップＳ１０２に進むと、画像認識装置５は、基準画像データを参照し、画素ブロックの水平方向の輝度エッジ（輝度変化量）を評価することにより、ステレオマッチング処理によって算出した視差にフィルタリング処理を施す。具体的に説明すると、画像認識装置５は、例えば、図６に示すように、距離データの算出単位である画素ブロックにおいて、水平方向に隣接する画素対の輝度変化量（絶対値）ΔＰｎ（１≦Ｐｎ≦１６）を算出する。但し、一番左側の画素列（Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４）に関しては、左側に隣接した画素ブロックの一番右側の画素列から輝度変化量ΔＰを算出する。次に、画像認識装置５は、１６個の輝度変化量ΔＰｎのうち輝度判定閾値ＤＣＤＸｔｈ以上のものの数をカウントする。そして、画像認識装置５は、輝度判定閾値ＤＣＤＸｔｈ以上の輝度変化量ΔＰの数が設定数（例えば、４つ）未満の画素ブロックに関する視差は除外することで輝度の変化量が大きな画素ブロックを抽出し、抽出した画素ブロックに関する視差のみを距離データとして出力する。すなわち、水平方向の輝度変化量が少なく、輝度の特徴があまりない画素ブロックはステレオマッチング処理においてマッチングが取れたとしても、その視差の信頼性は低い場合が多い。そこで、このような画素ブロックに関しては算出された視差を除去することにより、距離データの信頼性が高められている。そして、このようにして距離データを得ることにより、画像認識装置５は、基準画像上の画素に距離情報を付与した距離画像を生成する。

ステップＳ１０２からステップＳ１０３に進むと、画像認識装置５は、距離画像上の画素に対し、略同一の視点から撮像された参照画像上で対応する画素の色情報を付与する（図７参照）。

そして、ステップＳ１０３からステップＳ１０４に進むと、画像認識装置５は、距離画像上の立体物認識を行った後、ルーチンを抜ける。すなわち、画像認識装置５は、生成した距離画像上の距離データに対して周知のグルーピング処理を行う。ここで画像認識装置５には、例えば、３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）が予め設定されて格納されている。画像認識装置５は、グルーピング処理した距離データ群と各ウインドウとを比較することにより、車線区画線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、立体物を、２輪車、普通車両、大型車両、歩行者、電柱、信号機等その他の各種立体物に分類して抽出する。そして、画像認識装置５は、抽出した各立体物に対し、参照画像から得られた色情報を付与する。

また、画像認識装置５は、認識した車線区画線、側壁等の情報に基づいて自車走行路の推定を行い、さらに、推定した自車走行路上で先行車の検出処理を行う。すなわち、自車進行方向と同一方向に所定以上の速度成分を有する立体物（順方向移動物）が自車走行路上に存在するとき、これらの中から自車両１に最も近い順方向移動物を先行車として検出（捕捉）し、各種先行車情報（車間距離、先行車速度、先行車減速度等）を取得する。

このような実施形態によれば、ステレオカメラ３（メインカメラ３ａとサブカメラ３ｂ）を用いて車外の対象を異なる視点から撮像して互いに視差を有する基準画像と比較画像とを出力し、これらの画像のステレオマッチング処理を行うことで基準画像上の画素に距離情報を付与した距離画像を生成する車外監視装置において、メインカメラ３ａ及びサブカメラ３ｂよりも低い露光量で撮像する単眼カラーカメラ４をステレオカメラ３に併設し、当該単眼カラーカメラ４を用いて車外の対象を撮像することで参照画像を出力し、距離画像上の画素に参照画像上の画素の色情報を付与することにより、車体の対象物を認識する際の認識精度の低下やフレーム数の低下等を招くことなく色情報についても的確に取得することができる。

すなわち、併設した単眼カラーカメラ４によって車外の対象の色情報を別途取得することにより、メインカメラ３ａ及びサブカメラ３ｂを用いて十分な露光量にて基準画像及び比較画像を撮像することができ、これらを用いて得られる距離画像から各種立体物等を精度良く認識することができる。また、立体物等の色情報の取得を単眼カラーカメラ４に分担させることにより、フレームレートを低下することなく時々刻々変化する車外の状況を的確に認識することができる。

この場合において、単眼カラーカメラ４とメインカメラ３ａとの視差が略零となるよう、単眼カラーカメラ４をメインカメラ３ａに隣接して配置することにより、基準画像と参照画像との各画素の対応付けを容易に行うことができ、複雑な演算等を必要とすることなく、距離画像に対して参照画像の色情報を付与することができる。

そして、このように色情報を含んで構成された車外の立体物情報等を上述の運転支援制御に用いることにより、精度の高い緻密な運転支援制御を実現することができる。例えば、ＡＣＣの実行中に自車走行路前方に信号機を認識している場合において、当該信号機が赤信号である場合には自車両１の加速を制限することにより、ドライバのフィーリングに合致したＡＣＣを実現することができる。同様に、例えば、先行車を認識している場合において、当該先行車上に赤色の高輝度で発光するブレーキランプを検出した場合には先行車が減速状態にあると判定して自車両１の加速を制限することにより、ドライバのフィーリングに合致したＡＣＣを実現することができる。

１ … 車両（自車両）
２ … 車両用運転支援装置
３ … ステレオカメラ
３ａ … メインカメラ
３ｂ … サブカメラ
４ … 単眼カラーカメラ
５ … 画像認識装置
６ … 制御ユニット
７ … カメラユニット
７ａ … ステー
１１ … 車速センサ
１３ … メインスイッチ
１５ … 電子制御スロットル弁
１６ … アクティブブースタ

Claims

第１の撮像手段と第２の撮像手段とを用いて車外の対象を異なる視点から撮像し、互いに視差を有する基準画像と比較画像とを出力するステレオ撮像手段と、
前記車外の対象を前記第１の撮像手段及び第２の撮像手段よりも低い露光量でカラー撮像し、前記基準画像に対応する参照画像を出力するカラー撮像手段と、
前記基準画像と前記比較画像とのステレオマッチング処理を行うことで前記基準画像上の画素に距離情報を付与した距離画像を生成する距離画像生成手段と、
前記距離画像上の画素に前記参照画像上の画素の色情報を付与する色情報付与手段と、を備えたことを特徴とする車外監視装置。
前記カラー撮像手段は、前記第１の撮像手段に隣接して配置されていることを特徴とする請求項１記載の車外監視装置。