JP6660367B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

特許第３３４９０６０号公報

自車両の進行方向に存在する立体物としては、同方向に走行する先行車両や、進行路を自車両横方向に横断する歩行者等がある。例えば、車両前方を撮像した画像において、相対距離が等しい複数のブロックがグループ化され、そのグループ化された立体物の外観上の特徴が車両の背面に相当していれば、立体物は先行車両であると判断される。

しかし、逆光等により先行車両背面の中央部位との相対距離を取得できず、離隔した両脇の部位との相対距離しか取得できなかった場合、本来、一体的な先行車両と判定されるべきところ、離隔した２つの異なる立体物と判定されてしまうおそれがある。

そこで、相対距離の範囲や一体的とみなす閾値を緩和することで、離隔した両脇の部位を一体的に捉えさせることはできるが、単に閾値を緩和するだけでは、ロードコーン等、別体の複数の立体物が同相対距離に並んでいた場合、それらを一体的な立体物と認識してしまい、不要に衝突回避制御が働いてしまう。このような場合に、別体の２つの立体物の間に他の立体物があれば、一体化するのを回避できるかもしれないが、他の立体物が存在する場合に限定され、一体的な先行車両と判定すべき立体物を適切に抽出できない場合がある。

本発明は、このような課題に鑑み、立体物を適切に抽出可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、画像中の路面を特定する路面特定部と、特定された路面の鉛直上方に高さを有する立体物を特定する立体物特定部と、複数の離隔した立体物が同相対距離にあれば、その間の領域である立体物間領域が路面に相当するか否かを相対距離に基づいて判定する路面判定部と、立体物間領域が路面に相当すると判定されなければ、複数の離隔した立体物を一体的な立体物の候補とする立体物合成部、として機能する。

立体物特定部は、垂直方向および水平方向のいずれか一方、または、双方に、複数の画素からなるブロック単位で路面に相当すると判定した判定値を積分し、路面判定部は、立体物間領域におけるブロックの積分値に基づいて路面に相当するか否か判定するとしてもよい。

立体物特定部は、複数の画素からなるブロック毎に路面らしさを示す信頼値を決定し、垂直方向および水平方向のいずれか一方、または、双方に、ブロック単位で信頼値を積分し、路面判定部は、立体物間領域におけるブロックの積分値に基づいて路面に相当するか否か判定するとしてもよい。

本発明によれば、立体物を適切に抽出することが可能となる。

車外環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 路面領域の特定処理を説明するための説明図である。 ヒストグラムを説明するための説明図である。 路面モデルを説明するための説明図である。 路面特定部の立体物を特定する処理を説明するための説明図である。 路面に相当するブロックへの処理を説明するための説明図である。 路面特定部の積分処理を説明するための説明図である。 路面判定部の処理を説明するための説明図である。 路面判定部の処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画像横方向を示し、垂直は、撮像した画像の画像縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

図２は、輝度画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のような輝度画像１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このような輝度画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

また、車外環境認識装置１２０は、輝度画像１２６に基づく輝度値（カラー値）、および、距離画像１２８に基づいて算出された、自車両１との相対距離を含む実空間における三次元空間の位置情報を用いて、まず路面を特定し、特定した路面上に位置し、カラー値が等しく三次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１の前方の検出領域における立体物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

上述したように、車外環境認識システム１００では、カラー値が等しく三次元の位置情報が近いブロック同士をグループ化して立体物としている。例えば、自車両１の前方に先行車両が存在すると、先行車両の背面に相当する複数のブロックが、その相対距離が等しいことでグループ化される。そして、そのグループ化された立体物の特徴に応じて先行車両であると判断される。

しかし、逆光等により先行車両背面の中央部位との相対距離を取得できず、離隔した両脇の部位との相対距離しか取得できなかった場合、本来、一体的な先行車両と判定されるべきところ、離隔した２つの異なる立体物と判定されてしまうおそれがある。しかし、相対距離の範囲や一体的とみなす閾値を緩和するだけでは、離隔した両脇の部位を一体的に捉えさせることはできるが、ロードコーン等、別体の複数の立体物が同相対距離に並んでいた場合、それらを一体的な立体物と認識してしまう。そこで、本実施形態では、立体物と路面との関係を利用して、一体的な先行車両と判定すべき立体物を適切に抽出することを目的としている。

以下、このような目的を実現するための車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、自車両１の前方の検出領域における路面および立体物の特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、路面特定部１６０、立体物特定部１６２、路面判定部１６４、立体物合成部１６６としても機能する。以下、本実施形態に特徴的な路面を特定する車外環境認識処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、路面特定部１６０により、画像中の路面を特定する路面特定処理（Ｓ２００）が実行され、立体物特定部１６２により、特定された路面に基づいて立体物を特定する立体物特定処理（Ｓ２０２）が実行され、路面判定部１６４により、複数の離隔した立体物が同相対距離にあれば、その間の領域である立体物間領域が路面に相当するか否か判定する路面判定処理（Ｓ２０４）が実行され、立体物間領域が路面に相当すると判定されれば（Ｓ２０６におけるＹＥＳ）、当該車外環境認識処理が終了し、立体物間領域が路面に相当すると判定されなければ（Ｓ２０６におけるＮＯ）、立体物合成部１６６により、複数の離隔した立体物を一体的な立体物の候補とする立体物合成処理（Ｓ２０８）が実行される。

（路面特定処理Ｓ２００）
路面特定部１６０は、輝度画像１２６や距離画像１２８における路面に相当する路面領域を特定する。具体的に、路面特定部１６０は、まず、路面における自車両１が走行しているレーン左右の車線（白線等）に基づいて路面領域を特定する。

図５は、路面領域の特定処理を説明するための説明図である。路面には車両が円滑に走行するための車線が記されている。例えば、図５（ａ）の例では、輝度画像１２６上の道路２００において、２本のレーン２０２ａ、２０２ｂが存在し、これに伴い、幅方向の中央に１本、両端にそれぞれ１本の計３本の車線２１０ａ、２１０ｂ、２１０ｃが含まれている。

ここで、路面特定部１６０は、図５（ｂ）のように、自車両１が走行しているレーン２０２ａを形成する車線２１０ａ、２１０ｂのうちで最も左に位置する車線２１０aの左端よりさらに所定距離（例えば１０ｃｍ）左に、破線で示した仮想の左限界線２１２aを設定する。また、路面特定部１６０は、同様に、自車両１が走行しているレーン２０２ａを形成する車線２１０ａ、２１０ｂのうちで最も右に位置する車線２１０ｂの右端よりさらに所定距離（例えば１０ｃｍ）右に、破線で示した仮想の右限界線２１２ｂを設定する。そして、路面特定部１６０は、左限界線２１２aより右、かつ、右限界線２１２ｂより左の領域、すなわち、左限界線２１２aと右限界線２１２ｂとの水平方向の間のハッチングした領域を路面領域２１４として設定する。

なお、このように、路面の車線のみから路面領域を特定する場合に限らず、これに加え、現在の舵角、旋回角速度（ヨーレート）および速度で自車両１が将来進行するであろう予想進行路に基づき、例えば、自車両１の前方に延在する予想進行路を示す曲線から水平方向に±２．５ｍ内の領域を路面領域とし、両者を補間し合うことで路面領域の特定精度を高めるとしてもよい。

続いて、路面特定部１６０は、距離画像１２８における路面領域２１４から相対距離を有する（パターンマッチングによって相対距離が得られた）ブロックを全て抽出し、路面モデルを生成する。以下、路面モデルの生成態様を説明する。

図６は、ヒストグラムを説明するための説明図であり、図７は、路面モデルを説明するための説明図である。路面特定部１６０は、まず、路面領域２１４の水平方向の水平ラインについて相対距離のヒストグラムを生成する。具体的に、路面領域２１４において、垂直方向の任意のブロックと垂直位置（画像上の垂直方向の位置）を等しくするブロック、すなわち、図６（ａ）にクロスハッチで示した水平ラインにおける全てのブロックの相対距離を投票する。こうして、図６（ｂ）のように、任意の垂直位置に関するヒストグラムが生成される。

そして、路面特定部１６０は、ヒストグラムで投票数が最大数となる、図６（ｂ）においてハッチングで示した相対距離を、その垂直位置の代表距離とする。このような処理を、路面領域２１４において、垂直位置を変えて繰り返す。そうすると、路面領域２１４の複数の垂直位置それぞれに対して代表距離が求まる。

路面モデルは、縦軸が垂直位置、横軸が距離画像１２８における相対距離で表される。路面特定部１６０は、垂直位置（水平ライン）毎の代表距離を、その垂直位置にプロットする。そうすると、図７（ａ）のような点群を得る。路面特定部１６０は、最小二乗法等により、図７（ａ）において実線で示したように、点群の近似直線を導出し、路面モデル２１６とする。こうして、路面の変化態様、例えば、道路の勾配を把握することができる。なお、ここでは説明の便宜上、近似直線を導出する例を挙げて説明するが、複数次の近似曲線を導出してもよい。

ただし、単純に最小二乗法等により近似直線を導出すると、例えば、路面領域２１４内において、間違ってパターンマッチングされてしまった、実際の相対距離とは異なるノイズ的な代表距離（ノイズ代表距離）が含まれる場合がある。そのような本来除外すべきノイズ代表距離が含まれている状態で近似直線を導出すると、ノイズ代表距離の影響を受けて、図７（ａ）のように、近似直線が本来の位置や傾きからずれるおそれがある。そうすると、勾配のある道路自体を立体物と判定したり、本来存在するはずの立体物を抽出できなくなってしまう。

そこで、本実施形態では、直線に関するハフ（Hough）変換を用い、同一の直線を形成する、または、同一ではないが近距離（所定の相対距離内）の平行直線を形成する代表距離のみを残し、それ以外の、例えば、図７（ａ）において破線で囲んだ代表距離をノイズ代表距離として除外する。そして、路面特定部１６０は、残った代表距離のみを対象として、最小二乗法等により、かかる点群の近似直線を導出する。こうして、図７（ｂ）のように、本来の代表距離によって適切に近似された路面モデル２１６が導出される。なお、直線に関するハフ変換は、複数の点を共通して通る直線を導出する既存の技術なので、ここでは、その説明を省略する。

また、ここでは、路面の変化態様を近似直線で表しているが、検出領域内の道路が必ずしも同一の態様で変化しているとは限らない。例えば、道路の勾配が大きく変化する場合もある。この場合、上述したようにハフ変換を施すと、勾配が変化した後の路面に対応する代表距離が、ほとんどノイズ代表距離として除外されてしまう。

そこで、本実施形態では、ハフ変換で除外された代表距離が所定数以上あり、かつ、その点群が連続性を有する場合、その点群のみで新たに近似直線を導出する。このとき、その近似直線に関してさらにノイズ代表距離を除外できるのは言うまでもない。こうして、図７（ｃ）のように、２本の近似直線が連続する路面モデル２１６が導出される。

なお、導出された２つの近似直線の交点は所定の角度をもって交差するとしてもよいし、所定のＲを有する緩和曲線を通じて接続されるとしてもよい。また、ここでは、近似直線を２本生成する例を挙げて説明したが、道路の変化が多い場合、３本以上生成してもよい。

（立体物特定処理Ｓ２０２）
立体物特定部１６２は、このようにして生成された路面モデル２１６に基づいて、路面の鉛直上方に高さを有する立体物を特定する。

図８は、立体物特定部１６２の立体物を特定する処理を説明するための説明図である。図８では、任意のタイミングにおける路面領域２１４の路面モデル２１６が直線で示され、画像全体における相対距離を有するブロックが、その相対距離および垂直位置に点で示されている。

立体物特定部１６２は、ブロック毎の相対距離と路面モデル２１６とを比較することで、そのブロックが立体物に相当するか否か判定する。具体的に、立体物特定部１６２は、路面モデル２１６から高さが±所定距離（例えば３０ｃｍ）の範囲である、図８中破線で示した路面範囲２２０より内側に位置するブロックは、路面に相当すると判定する。

一方、立体物特定部１６２は、路面範囲２２０より外側（特に上側）に位置するブロックは、路面から高さ方向に突出しているので立体物の候補とする。そして、立体物特定部１６２は、路面の鉛直上方に高さを有する立体物の候補とされた複数のブロックの相対距離が等しいと、図８中楕円２２２で囲んだようにグループ化し、立体物として特定する。このような立体物となった点群の立体物らしさ（形状、大きさ等）の判定や、立体物がいずれの特定物であるかの判定については、既存の様々な技術を利用できるので、ここでは、その詳細な説明を省略する。

なお、立体物特定部１６２は、立体物に相当するブロックの抽出と並行して、後述する立体物合成処理Ｓ２０８に用いるために、路面に相当するブロックも抽出している。

図９は、路面に相当するブロックへの処理を説明するための説明図である。ここでは、説明の便宜上、図９（ａ）の輝度画像１２６および距離画像１２８の左下に位置する水平５ブロック×垂直７ブロックを切り出している。

例えば、立体物特定部１６２は、ブロックが相対距離を有し、その相対距離が路面範囲２２０の内側（路面モデル２１６から高さが±所定距離（例えば３０ｃｍ）の範囲内）に位置していれば、そのブロックは路面に相当すると判定し、そのブロックに「１」を対応付ける。

一方、立体物特定部１６２は、ブロックが相対距離を有し、その相対距離が路面範囲２２０の外側に位置していれば、そのブロックは路面に相当しないと判定し、そのブロックに「０」を対応付ける。なお、ブロックが相対距離を有していない場合、路面に相当するとは言えないので、立体物特定部１６２は、そのブロックに「０」を対応付ける。こうして、図９（ｂ）のように、画像上の各ブロックに「１」または「０」が対応付けられる。

続いて、立体物特定部１６２は、垂直方向および水平方向のいずれか一方、または、双方に、ブロック単位で路面に相当すると判定したか否かの結果（その判定値）を積分する。

図１０は、立体物特定部１６２の積分処理を説明するための説明図である。ここでも、説明の便宜上、輝度画像１２６および距離画像１２８の左下に位置する水平５ブロック×垂直７ブロックを切り出している。

立体物特定部１６２は、任意のブロックを対象とし、そのブロックの左方向かつ下方向に存在する全てのブロックに対応付けられた、路面に相当すると判定したか否かの判定値、すなわち「１」または「０」を積分する。例えば、図１０（ｂ）の水平位置３、垂直位置４のブロックの積分値は、それより左下に位置する水平位置１〜３×垂直位置１〜４の計１２ブロックの積分値である。ここでは、図１０（ａ）のように、かかる１２ブロックの中に「１」のブロックが５つあるので、水平位置３、垂直位置４のブロックの積分値は「５」となる。

なお、かかる積分値は、近傍のブロックに基づいて容易に導出することができる。例えば、図１０（ｃ）に示すように、任意のブロックにおける積分値ａｉは、その任意のブロックが路面に相当すると判定したか否かの判定値であるａと、その任意のブロックの左に位置するブロックの積分値ｂｉと、その任意のブロックの下に位置するブロックの積分値ｃｉと、その任意のブロックの左下に位置するブロックの積分値ｄｉとによって、ａ＋ｂｉ＋ｃｉ−ｄｉで表される。ただし、画像の左端や下端において、対応するブロックが存在しない場合、そのブロックは「０」とみなして計算する。

例えば、図１０（ｂ）の水平位置３、垂直位置４のブロックの積分値は、その任意のブロックが路面に相当すると判定したか否かの判定値「０」と、その任意のブロックの左に位置するブロックの積分値「４」と、その任意のブロックの下に位置するブロックの積分値「３」と、その任意のブロックの左下に位置するブロックの積分値「２」とによって、０＋４＋３−２＝５となる。こうして、図１０（ｂ）のような各ブロックの積分値を示した積分値マップ２２４が導出される。

なお、立体物特定部１６２は、図１０（ａ）のような路面に相当するか否かの判定と、図１０（ｂ）のような、その判定値の積分を並行して行う。ここで、立体物特定部１６２は、例えば、画像の左下から水平方向の右方向に路面に相当するか否かの判定を行うとともに、その判定値に基づいて近傍の積分値を用い、同ブロックの積分値を導出する。そして、水平方向の終点（右端）に到達したら、次は、垂直方向の位置を１ブロック上にずらし、また、水平方向の始点（左端）から水平方向右方向に路面に相当するか否かの判定を行うとともに、その判定値に基づいて近傍の積分値を用い、同ブロックの積分値を導出する。

このように、路面に相当するか否かの判定と積分とを並行して行うことで、処理負荷の軽減を図ることが可能となる。

（路面判定処理Ｓ２０４）
図１１は、路面判定部１６４の処理を説明するための説明図である。図１１（ａ）では、輝度画像１２６に先行車両２３０が含まれている。しかし、ここでは、逆光等により先行車両２３０の背面の中央部位２３０ａとの相対距離を取得できず、離隔した両脇の部位２３０ｂとの相対距離しか取得できなかったとする。そうすると、両脇の部位２３０ｂは、本来、一体的な先行車両２３０と判定されるべきところ、離隔した２つの異なる立体物と判定されてしまう。

また、図１１（ｂ）では、輝度画像１２６に複数の立体物（ここでは４つのロードコーン）２３２が含まれている。ここでは、複数の立体物２３２との相対距離を適切に取得したとする。かかる複数の立体物２３２のうち前方の２つの立体物２３２は、相対距離が等しい。そうすると、図１１（ａ）の例、および、図１１（ｂ）の例のいずれにおいても、離隔した２つの異なる立体物との相対距離が等しいが、図１１（ａ）では、その異なる立体物（両脇の部位２３０ｂ）を一体的な先行車両２３０と判定し、かつ、図１１（ｂ）では、異なる立体物２３２を別体の立体物と判定しなければならない。

図１１（ａ）と図１１（ｂ）とを比較すると、立体物の間の領域である立体物間領域のブロックがどのようなものを示しているかが異なる。例えば、図１１（ａ）の立体物間領域には、先行車両２３０の背面の中央部位２３０ａが位置するので、それが路面であると判定される可能性は低い。一方、図１１（ｂ）の立体物間領域は、路面２３４なので、路面であると判定される可能性が高い。

したがって、路面判定部１６４は、複数の離隔した立体物が同相対距離にある場合、その間の立体物間領域が路面に相当するか否か判定する。このように立体物間領域が路面に相当するか否かの判定手段としては様々な手段が考えられるが、ここでは、立体物間領域における路面に相当すると判定されたブロックの密度に基づいて路面に相当するか否か判定する。

例えば、路面判定部１６４は、複数の離隔した立体物が同相対距離にある場合、その離隔した２つの立体物の間の立体物間領域を特定する。具体的に、離隔した２つの立体物それぞれの長さの最大値によって立体物間領域の垂直方向の長さが決定される。そして、決定された垂直方向の長さで、左に位置する立体物の右端から、右に位置する立体物の左端までの水平方向の長さを有する長方形を導出し、立体物間領域とする。

続いて、路面判定部１６４は、特定した立体物間領域におけるブロックの積分値を導出する。

図１２は、路面判定部１６４の処理を説明するための説明図である。例えば、図１２（ａ）に示すような積分値マップ２２４において、太線で囲んだ、水平位置２〜５×垂直位置２〜７の計２４ブロックで示される領域２４０が立体物間領域として特定されたとする。本来、このような領域２４０内において路面に相当すると判定された「１」の数を積算すれば足りる。しかし、立体物間領域の面積が大きいと、それに伴いブロック数も多くなるので、積算に長時間を費やしてしまう。そこで、本実施形態では、積分値マップ２２４を用いて、積分値を容易に導出する。

例えば、図１２（ｂ）に示すように、任意の立体物間領域の積分値は、その任意の立体物間領域内の右上に位置するブロックの積分値ａｉと、その任意の立体物間領域内の左上に位置するブロックの１つ左に位置するブロックの積分値ｂｉと、その任意の立体物間領域内の右下に位置するブロックの１つ下に位置するブロックの積分値ｃｉと、その任意の立体物間領域内の左下に位置するブロックの斜め１つ左下に位置するブロックの積分値ｄｉとによって、ａｉ−ｂｉ−ｃｉ＋ｄｉで表される。ただし、画像の左端や下端において、対応するブロックが存在しない場合、そのブロックは「０」とみなして計算する。

例えば、図１２（ａ）の水平位置２〜５×垂直位置２〜７の領域２４０の積分値は、その任意の立体物間領域内の右上に位置するブロックの積分値「１７」と、その任意の立体物間領域内の左上に位置するブロックの１つ左に位置するブロックの積分値「５」と、その任意の立体物間領域内の右下に位置するブロックの１つ下に位置するブロックの積分値「１」と、その任意の立体物間領域内の左下に位置するブロックの斜め１つ左下に位置するブロックの積分値「１」とによって、１７−５−１＋１＝１２となる。こうして、立体物間領域の積分値を容易に求めることが可能となる。

次に、路面判定部１６４は、立体物間領域の積分値をその面積で除算し、路面に相当すると判定されたブロック（「１」）の密度を導出する。例えば、図１２（ａ）の例では、１２／２４＝５０％となる。

路面判定部１６４は、導出した密度が所定閾値（例えば５０％）以上であれば、立体物間領域が路面に相当すると判定し、所定閾値未満であれば、立体物間領域が路面に相当しないと判定する。例えば、図１２（ａ）の例では、路面に相当すると判定されたブロックの密度が５０％なので、立体物間領域が路面に相当すると判定される。

かかる路面判定処理Ｓ２０４により、立体物間領域が路面に相当するか否かが適切に把握される。そうすると、例えば、図１１（ａ）の例では、先行車両２３０の背面の両脇の部位２３０ｂの立体物間領域が路面に相当すると判定されず、図１１（ｂ）の例では、立体物２３２の立体物間領域が路面に相当すると判定される。立体物間領域が路面に相当すると判定されると以降の立体物合成処理Ｓ２０８は実行されない。

（立体物合成処理Ｓ２０８）
立体物合成部１６６は、例えば、図１１（ａ）の例のように、立体物間領域が路面に相当すると判定されなければ、複数の離隔した立体物を一体的な立体物の候補とする。

こうして、立体物としての他の条件を満たせば、先行車両２３０の背面の両脇の部位２３０ｂは一体的な立体物として扱われ、最終的には特定物である先行車両２３０として特定される。

以上、説明したように、相対距離が等しい立体物間が路面に相当するか否かを適切に判定することで、その立体物を適切に一体化することができ、立体物を適切に特定することが可能となる。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、立体物特定部１６２が、路面に相当すると判定した判定値である「１」または「０」を単純に積分する例を挙げて説明したが、路面に相当するか否かが明確ではない場合があることを踏まえ、ブロック毎に路面らしさを示す信頼値を決定してもよい。その場合、路面特定部１６０は、ブロック毎に路面らしさを示す信頼値を決定し、垂直方向および水平方向のいずれか一方、または、双方に、ブロック単位で信頼値（０〜１の範囲で示される）を積分することとなる。かかる構成により、より厳密に、立体物間領域の路面らしさを判定することが可能となる。

また、上述した実施形態では、立体物特定部１６２が、垂直方向および水平方向のいずれか一方、または、双方に、ブロック単位で、路面に相当すると判定した判定値や路面らしさを示す信頼値を積分する例を挙げて説明したが、路面とみなすブロックの密度を特定できれば、積分（加算）に限らず、乗算等、様々な演算を用いることができる。

また、上述した実施形態では、画像の左下から垂直方向の上方向および水平方向の右方向に路面に相当すると判定された判定値や路面らしさを示す信頼値を積分する例を挙げて説明したが、その方向はかかる場合に限らず、垂直方向および水平方向のいずれか一方、または、双方に積分すれば足り、画像の左上、右上、右下のいずれかから、画像が存在する方向に積分することができる。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。

１ 自車両
１２６ 輝度画像
１２８ 距離画像
１６０ 路面特定部
１６２ 立体物特定部
１６４ 路面判定部
１６６ 立体物合成部

Claims (3)

1. コンピュータが、
   画像中の路面を特定する路面特定部と、
   前記特定された路面の鉛直上方に高さを有する立体物を特定する立体物特定部と、
   複数の離隔した前記立体物が同相対距離にあれば、その間の領域である立体物間領域が前記路面に相当するか否かを相対距離に基づいて判定する路面判定部と、
   前記立体物間領域が前記路面に相当すると判定されなければ、前記複数の離隔した立体物を一体的な立体物の候補とする立体物合成部、
   として機能する車外環境認識装置。
2. 前記立体物特定部は、垂直方向および水平方向のいずれか一方、または、双方に、複数の画素からなるブロック単位で路面に相当すると判定した判定値を積分し、
   前記路面判定部は、前記立体物間領域におけるブロックの積分値に基づいて前記路面に相当するか否か判定する請求項１に記載の車外環境認識装置。
3. 前記立体物特定部は、複数の画素からなるブロック毎に路面らしさを示す信頼値を決定し、垂直方向および水平方向のいずれか一方、または、双方に、ブロック単位で前記信頼値を積分し、
   前記路面判定部は、前記立体物間領域におけるブロックの積分値に基づいて前記路面に相当するか否か判定する請求項１に記載の車外環境認識装置。

Images