JP5180126B2 - 道路認識装置 - Google Patents

Description

本発明は、道路認識装置に係り、特に、撮像された画像中から道路面の路面領域を検出する道路認識装置に関する。

従来から、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等で車両前方を撮像した画像中から道路面上に標示された車線等を検出する技術が種々開発されている（例えば特許文献１、２等参照）。なお、本明細書では、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線を車線という。

また、例えば特許文献３に記載の車両用環境認識装置では、今回のサンプリング周期で撮像した画像上に、前回のサンプリング周期で画像中に検出した自車両の側方に存在する車線で囲まれる領域よりも所定量大きい範囲のウインドウを設定して、車両の直前の路面が撮像されている確率が高いウインドウの下端部中央付近で基準色を認識し、ウインドウ全体で基準色と同一系色を抽出して、その領域を道路面の路面領域として認識し車線も認識する技術が提案されている。

特許第３３５２６５５号公報 特開２００６−３３１３８９号公報 特許第３１２０６４８号

しかしながら、自車両の左右いずれにも車線が標示されていないような道路もあるが、そのような場合、特許文献３に示された技術では上記のように画像中に検出した自車両の左右の車線に基づいてウインドウを設定するため、ウインドウを設定できず、道路面の路面領域を検出することが困難になる虞がある。

また、道路面の路面領域を抽出するための基準色としてウインドウの下端部中央付近の画素の色を基準色とすると、ウインドウの下端部中央付近に、道路面上に標示された横断歩道や停止線、或いは路面上の数字や文字、矢印等の白い表示が撮像されている場合には、その白い色を基準色として路面領域を抽出してしまうため、路面領域を正しく抽出することが困難となる虞がある。

さらに、画像に対してウインドウを設定するとしても、一旦メモリに保存されたウインドウ内の各画素の輝度を読み出してウインドウの全画素に対してその色が基準色と同一系色であるか否かを判定する処理は、いわば非常に重たい処理となる。そのため、例えば１秒間に数フレーム分或いは数十フレーム分の画像の輝度が取り込まれ、次々と処理を行わなければならないような場合に処理が間に合わなくなり、路面領域検出のリアルタイム性が損なわれる虞があった。

本発明は、このような事情に鑑みてなされたものであり、撮像画像中から道路面の路面領域を的確かつリアルタイムに検出することが可能な道路認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
撮像手段で撮像された画像を処理して、前記画像中から道路面の路面領域を検出する道路認識装置であって、
前記画像における一の画素に隣接する画素の輝度に対する前記一の画素の輝度の差分、および前記隣接する画素が属するグループの輝度の平均値との差分に基づいて前記一の画素および前記隣接する画素を１つのグループに統合する統合手段と、
前記統合手段により統合された前記グループについて、画像の横方向の画素行ごとの横幅の平均値、および前記グループに属する画素の輝度の平均値を算出する算出手段と、
前記画像中で自車両の進行方向に設定される領域内で前記グループが占める面積を算出する面積算出手段と、
前記グループの前記画素行に所定の横幅閾値以上である画素行が存在し、前記グループの前記画素行ごとの横幅の平均値が所定の平均値閾値以上であり、前記グループに属する前記各画素の輝度の平均値が所定の輝度平均閾値以下であり、かつ、前記面積算出手段により算出された前記グループの前記面積が所定の面積閾値以上である場合に、当該グループを道路面の路面領域に属するグループとして検出する路面領域検出手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の道路認識装置において、前記輝度平均閾値は、前記撮像手段のシャッタレベルに応じて可変されることを特徴とする。

第３の発明は、第１または第２の発明の道路認識装置において、
前記画像中から自車両の側方に存在する車線を検出する車線検出手段を備え、
前記車線検出手段は、検出した前記車線が撮像された画素の輝度の平均値を算出し、
前記輝度平均閾値は、前記車線が撮像された画素の輝度の平均値に応じて可変されることを特徴とする。

第４の発明は、第１から第３のいずれかの発明の道路認識装置において、
前記画像中から自車両の側方に存在する車線を検出する車線検出手段を備え、
前記画像中で自車両の進行方向に設定される領域は、前記車線検出手段により過去のサンプリング周期で検出された車線の情報と自車両の挙動とに基づいて今回のサンプリング周期において推定される車線の位置を基準に設定されることを特徴とする。

第５の発明は、第１から第３のいずれかの発明の道路認識装置において、前記画像中で自車両の進行方向に設定される領域は、自車両の挙動から推定される推定軌跡から横方向に所定距離離間した位置までの範囲に設定されることを特徴とする。

第６の発明は、第１から第５のいずれかの発明の道路認識装置において、
前記算出手段は、前記統合手段が前記一の画素と前記隣接する画素とを１つのグループに統合する際に、前記グループの前記画素行における実空間上の横幅が前記横幅閾値以上となった場合に、条件が成立した旨の情報を当該グループに対応付け、
前記路面領域検出手段は、前記グループの前記画素行ごとの横幅が所定の横幅閾値以上である画素行が存在するか否かの判定を、当該グループに前記情報が対応付けられているか否かを判定して行うことを特徴とする。

第７の発明は、第１から第６のいずれかの発明の道路認識装置において、
前記画像中の前記各画素の実空間上の距離を検出する距離検出手段を備え、
前記統合手段は、前記一の画素の前記実空間上の距離に基づいて算出される前記一の画素に対応する実空間上の点の前記道路面からの高さと前記隣接する画素に対応する実空間上の点の前記道路面からの高さのうち、一方が所定の第１高さ閾値以上であり、他方が前記第１高さ閾値未満である場合には、当該一の画素と前記隣接する画素とを非統合とすることを特徴とする。

第８の発明は、第１から第７のいずれかの発明の道路認識装置において、
前記画像中の前記画素の実空間上の距離を検出する距離検出手段を備え、
前記路面領域検出手段は、前記グループに属する画素の前記実空間上の距離に基づいて前記グループの前記道路面からの実空間上の高さが所定の第２高さ閾値以上である場合には、当該グループを前記道路面の路面領域の検出の対象から除外することを特徴とする。

第１の発明によれば、統合手段により画像の各画素を輝度に基づいて各グループに統合した後、グループの画素行ごとの横幅やその平均値、グループに属する各画素の輝度の平均値、グループが画像の前記領域内で占める面積に基づいて、当該グループを道路面の路面領域に属するグループであるか否かを判定する。すなわち、画像内でのグループの大きさや形状、平均的な輝度、画像中で占める位置に基づいて判定するため、グループが道路面の路面領域に属するグループであるか否かを的確に判定して、画像中から道路面の路面領域を的確に検出することが可能となる。

特に、上記の特許文献３に記載の車両用環境認識装置のように、画像中に設定したウインドウの下端部中央付近の画素の色を基準色とする等を処理を行わず、グループに属する各画素の輝度の平均値に基づいてグループが道路面の路面領域に属するグループであるか否かを判定するため、誤抽出や誤判定の問題が生じることを的確に防止して、道路面の路面領域を的確に検出することが可能となる。

また、統合手段による各グループの統合処理と同時並行で、算出手段や面積算出手段による各処理を行い、統合処理が終了した後、路面領域検出手段による判定処理等が行われるため、画像中からの道路面の路面領域の検出を非常に迅速に行うことが可能となる。そのため、例えば１秒間に数フレーム分或いは数十フレーム分の画像の輝度が取り込まれ、次々と処理を行わなければならないような場合でも、各フレームごとに画像中から道路面の路面領域を的確に検出することが可能となり、リアルタイムで処理を行うことが可能となる。

さらに、第１の発明によれば、統合手段により画像の各画素を輝度に基づいて統合した各グループとして画像中から道路面の路面領域を検出するため、例えば、自車両が走行する道路が自車両の左右のいずれにも車線が標示されていないような道路であっても画像中から的確に道路面の路面領域を検出することが可能となる。また、道路面の路面領域に属するグループとして検出した各グループをつなぎ合わせて画像中に道路面の路面領域を抽出して検出するため、後述する図１８に示すように、自車両が走行している道路に合流する道路Ｂや、自車両が走行している道路の遠方領域Ｃをも的確に検出することが可能となり、画像に撮像された道路面の路面領域を的確に検出することが可能となる。

第２の発明によれば、車線や横断歩道、停止線、数字、文字、矢印等の路面上に白く標示される各標示と、道路面の路面領域のように暗く撮像される撮像対象とを、撮像手段のシャッタレベルに応じて可変された輝度平均閾値により的確に選別することが可能となる。そのため、輝度が小さいグループを道路面の路面領域に属するグループとして的確に検出することが可能となり、前記発明の効果をより的確に発揮させることが可能となる。

第３の発明によれば、輝度平均閾値を車線が撮像された画素の輝度の平均値に応じて可変させて車線や横断歩道、停止線、数字、文字、矢印等の路面上に白く標示される各標示に対応するグループを適切に排除して、輝度が小さいグループを道路面の路面領域に属するグループとして的確に検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第４の発明によれば、車線検出手段により前回のサンプリング周期等の過去のサンプリング周期で自車両の側方に検出された車線の情報と自車両の挙動とに基づいて、今回のサンプリング周期における車線の位置を推定し、それを基準に前記領域を設定することで、前記領域を精度良く設定することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第５の発明によれば、前記領域を、例えば自車両の挙動から推定される推定軌跡に基づいて設定することが可能となる。そのため、自車両が走行している道路に車線が標示されていないような場合であっても、車線に頼らず、有効に前記領域を設定して画像中から道路面の路面領域を的確に検出することが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第６の発明によれば、横幅閾値を、実空間上の横幅として例えば６０ｃｍ等に設定することで、道路面上に標示される横断歩道の各白線ブロック等の標示に対応するグループを道路面の路面領域に属するグループとして検出しないように構成することが可能となるとともに、グループの画像行ごとの実空間上の横幅が横幅閾値以上か否かの判定を、算出手段で統合手段による統合処理と同時に行うように構成することで、処理の迅速化を図ることが可能となり、前記各発明の効果を的確に発揮させることが可能となる。

第７の発明によれば、路面領域を含む道路面に存在する撮像対象と、立体物等の道路面の上方に存在する撮像対象とを別のグループに統合することが可能となる。そのため、立体物等を道路面の路面領域として誤検出することを的確に防止することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第８の発明によれば、立体物等の道路面の上方に存在する撮像対象を除外して、路面領域を含む道路面に存在する撮像対象のみを道路面の路面領域の検出対象とすることが可能となる。そのため、立体物等を道路面の路面領域として誤検出することを的確に防止することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１の実施形態に係る道路認識装置の構成を示すブロック図である。 撮像手段で撮像される画像の例を示す図である。 画像中に撮像された車線に連続して標示される停止線の例を示す図である。 推定軌跡に基づいて設定される領域を説明する図である。 撮像手段で撮像される画像の例および画像中に設定された領域の例を示す写真である。 統合手段等における処理手順を示すフローチャートである。 統合手段等における処理手順を示すフローチャートである。 算出手段等における処理手順を示すフローチャートである。 路面領域検出手段等における処理手順を示すフローチャートである。 入力された一の画素と既に入力されている左に隣接する画素とを説明する図である。 一の画素と左に隣接する画素が属するグループの例とを説明する図である。 入力された一の画素と既に入力されている下に隣接する画素とを説明する図である。 一の画素と下に隣接する画素が属するグループの例とを説明する図である。 （Ａ）２つの画素が一の画素の左および下に隣接するグループの例を説明する図であり、（Ｂ）一の画素が左に隣接する画素とグループ化されたため下に隣接する画素ともグループ化される例を説明する図である。 （Ａ）下に隣接する画素が属するグループと左に隣接する画素が属するグループの例を説明する図であり、（Ｂ）２つのグループが一の画素とグループ化されて１つのグループになる例を説明する図である。 図５の画像に基づいて統合された複数のグループを表す写真である。 図５の画像から抽出された道路面の路面領域を表す写真である。 自車両の走行路に合流する道路や自車両の走行路の遠方領域を表す図である。 第２の実施形態に係る道路認識装置の構成を示すブロック図である。 距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。 距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 車線に対応する画素の輝度を説明する図である。 自車両の側方に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。

以下、本発明に係る道路認識装置の実施の形態について、図面を参照して説明する。

［第１の実施の形態］
第１の実施形態に係る道路認識装置１は、図１に示すように、主に撮像手段２と処理部５とで構成されている。撮像手段２は、本実施形態では、例えばＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されたカメラ等の単眼の撮像手段が用いられているが、複数設けられた撮像手段のうちの単数または複数の撮像手段により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。

また、本実施形態では、撮像手段２は、例えば図２に示すような画像Ｔを撮像する場合、画像Ｔの各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に輝度Ｄの各データを変換手段３に順次送信するようになっている。

変換手段３は、Ａ／Ｄコンバータで構成されており、撮像手段２で各撮像素子（各画素ｐ）ごとに撮像された輝度Ｄの各データが順次送信されてくると、各画素ｐの輝度Ｄのデータをそれぞれ例えば２５６階調等のグレースケールのデジタル値の輝度Ｄのデータに変換して画像補正部４に出力するようになっている。画像補正部４は、送信されてきた輝度Ｄの各データに対してずれやノイズの除去、輝度の補正等の画像補正を順次行い、画像補正した輝度Ｄの各データを処理部５に順次送信するようになっている。

処理部５は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部５は、統合手段６や算出手段７、面積算出手段８、路面領域検出手段９を備えている。

また、処理部５に、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、それらから各測定値が入力されるようになっている。なお、処理部５において、さらに、他の処理を行うように構成することも可能である。

なお、以下の説明では、例えば図２に示した画像Ｔにおける画素について、画像Ｔの左下隅の画素を原点とし、右向きにｉ軸、上向きにｊ軸をとった場合の画素の座標（ｉ，ｊ）を用いて、画素ｐi,jのように表す。また、画素ｐi,jの輝度ＤをＤi,jのように表す。

本実施形態では、処理部５では、上記のように撮像手段２により撮像された画像Ｔの各画素ｐの輝度Ｄのデータが変換手段３等での処理を経て順次入力されてくると、統合手段６で、入力された画素ｐi,j（以下、入力画素ｐi,jという。）の輝度Ｄi,jと、入力画素ｐi,jに隣接する画素ｐの輝度Ｄとを比較し、また、入力画素ｐi,jの輝度Ｄi,jと、それに隣接する画素ｐが属するグループｇに属する全画素ｐの各輝度Ｄの平均値とを比較して、後述する条件に適合する場合に入力画素ｐi,jと隣接する画素ｐとを１つのグループｇに統合するようになっている。

この統合処理は、上記のように画像Ｔの各画素ｐの輝度Ｄのデータが順次入力されてくるごとに行われ、最終的に、送信されてきた１画像分の全画素ｐについて行われて、画像Ｔの各画素ｐが複数のグループｇに分割される。

算出手段７は、統合手段６で入力画素ｐi,jをグループｇに統合する際に、同時並行で、各グループｇに属する各画素ｐの輝度Ｄの平均値Ｄaveを算出して更新していくようになっている。このグループｇに属する各画素ｐの輝度Ｄの平均値Ｄaveは、前述した統合手段６において、入力画素ｐi,jの輝度Ｄi,jと、隣接する画素ｐが属するグループｇに属する全画素ｐの各輝度Ｄの平均値Ｄaveとが比較される際に用いられるとともに、後述する路面領域検出手段９においてグループｇを道路面の路面領域に属するグループＧとして検出するか否かの判定にも用いられる。

また、算出手段７は、各グループｇごとに、画像Ｔ上で横方向に延在する各画素行ｊごとの横幅Ｗｊを算出するようになっている。本実施形態では、この各グループｇの画素行ｊごとの横幅Ｗｊを用いて、２通りの判定が行われるように構成されている。

まず、本実施形態では、道路面上に標示される横断歩道の各白線ブロック等に対応するグループｇを道路面の路面領域に属するグループＧとして検出しないようにするために、グループｇが占める実空間上での横方向の横幅に対して横幅閾値Ｗthが設けられている。横幅閾値Ｗthは、実空間上の横幅として例えば６０ｃｍの横幅に設定される。

そして、前述したように、撮像手段２からは水平ラインｊ（画素行ｊ）ごとに各画素ｐの輝度Ｄのデータが入力されるが、その際、算出手段７は、当該水平ラインｊごとに、上記の実空間上の横幅として設定された横幅閾値Ｗthに相当する画素数閾値Ｎthを算出して設定し、統合手段６が上記のように入力画素ｐi,jと隣接する画素ｐとを１つのグループｇに統合する統合処理の際に、その画像行jにおけるグループｇの横幅Ｗｊを画素数Ｎｊとして計数し、計数した画素数Ｎｊが横幅閾値Ｗthに相当する画素数閾値Ｎth以上となった場合に、条件が成立した旨の情報を当該グループｇに対応付けるようになっている。

このように、本実施形態では、条件が成立した旨の情報が対応付けられていることで、当該グループｇは、実空間上で上記の横幅閾値Ｗth以上の横幅が少なくともその一部に存在する撮像対象に対応するものであることが分かるようになっている。

なお、本実施形態では、画像Ｔの水平ラインｊ（画素行ｊ）ごとに１画素あたりの実空間上の横方向の横幅が予め算出されて割り当てられて図示しない記憶手段に記憶されており、実空間上の横幅である横幅閾値Ｗthに相当する水平ラインｊごとの画素数閾値Ｎthは、横幅閾値Ｗthを、当該水平ラインｊの１画素あたりの実空間上の横方向の横幅で除算することで算出することができる。

また、もう１つの判定として、自車両の側方に標示されている車線等のように画像Ｔ中に縦方向や斜め方向にいわば細長く延在するグループとして検出されるグループｇが道路面の路面領域に属するグループＧであると判定されないようにするために、各グループｇの画素行ｊごとの横幅Ｗｊが用いられるようになっている。

車線は、通常の場合、道路面上に１５ｃｍの横幅で標示され、画像Ｔ上のグループｇが車線のみに対応する場合には上記の横幅閾値Ｗthに基づく判定処理で排除されるため、車線のみに対応するグループｇが道路面の路面領域に属するグループＧとしては検出されることはない。

しかし、図３に示すように、画像Ｔ中に車線ＬＬ、ＬＲに連続して標示される停止線ＳＬ等が撮像されていると、例えば車線ＬＲに対応するグループｇの横方向の横幅Ｗｊが停止線ＳＬの部分で急に大きくなり、上記の横幅閾値Ｗth以上となるように検出される。そのため、上記の横幅閾値Ｗthに基づく判定処理のみでは、車線ＬＲや停止線ＳＬに対応するグループｇも道路面の路面領域に属するグループＧとして検出されてしまう可能性が生じる。

そこで、これを回避するために、本実施形態では、算出手段７は、各グループｇの画素行ｊごとの横幅Ｗｊの平均値Ｗaveを算出するようになっている。

その際、画像Ｔ中に撮像された車線ＬＬ、ＬＲの横幅は、道路面の横幅に比べれば非常に小さく画素数も少ない。そのため、本実施形態では、この平均値Ｗaveを算出する算出処理では、処理の単純化を図ることを目的として、算出手段７は、統合手段６での統合処理で入力画素ｐi,jをグループｇに統合するごとにグループｇに属する画素数Ｎを単純に加算していき、統合手段６での統合処理が終了した時点で、グループｇに属する画素数Ｎをグループｇの画像Ｔ中の縦方向の行数で除算する。そして、このようにして算出した画素行ｊごとの横方向の画素数の平均値Ｎaveとして、グループｇの画素行ｊごとの横幅Ｗｊの平均値Ｗaveを算出するようになっている。

このように構成すれば、上記のように仮に車線ＬＲに連続して標示される停止線ＳＬが撮像されていても、停止線ＳＬに相当する画素行ｊは少なく、車線ＬＲに相当する画素行ｊの方が圧倒的に多いため、グループｇの画素行ｊごとの横幅Ｗｊの平均値Ｗaveとしての画素数の平均値Ｎaveは、車線ＬＲに相当する画素数に近い値となる。

そのため、画素数の平均値Ｎaveに対する平均値閾値Ｎave_thとして、車線の横幅程度或いはそれよりやや大きめの横幅に相当する画素数を設定することで、車線に停止線ＳＬが連続して標示されているような場合であっても、車線に相当するグループｇを道路面の路面領域に属するグループＧとして検出しないように構成することが可能となる。

一方、本実施形態では、後述するように、画像Ｔ中で自車両の進行方向に領域Ｒ（以下、チェック領域Ｒという。）が設定されるようになっている。そして、面積算出手段８は、統合手段６で一の画素ｐi,jをグループｇに統合する際に、同時に、一の画素ｐi,jがチェック領域Ｒに存在する場合には一の画素ｐi,jをグループｇに統合するごとに加算していき、各グループｇが画像Ｔのチェック領域Ｒ内で占める面積Ａを画素数Ａｎとして算出するようになっている。

後述するように、路面領域検出手段９で、上記のように、算出手段７により算出されたグループｇの画素行ｊごとの横幅Ｗｊ（Ｎｊ）やその平均値Ｗave（Ｎave）、グループｇに属する各画素ｐの輝度Ｄの平均値Ｄaveに基づいて、当該グループｇを道路面の路面領域に属するグループＧであるか否かを判定するように構成されているが、それだけでは、空等に対応するグループｇを道路面の路面領域に属するグループＧとして検出してしまう可能性がある。

そこで、面積算出手段８で、上記のように各グループｇが画像Ｔのチェック領域Ｒ内で占める面積Ａを画素数Ａｎとして算出するように構成して、路面領域検出手段９における判定条件として、当該グループｇがチェック領域Ｒ内に占める面積Ａに関する条件を追加することで、画像Ｔ内に撮像されているがチェック領域Ｒ内には存在しない空等に対応するグループｇを道路面の路面領域に属するグループＧとして検出しないように構成することが可能となる。

本実施形態では、チェック領域Ｒは、例えば図４に示すように、自車両ＭＣの挙動から推定される推定軌跡Ｌestに基づいて設定することができる。本実施形態では、面積算出手段８は、センサ類Ｑ（図１参照）で検出される自車両ＭＣの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて自車両ＭＣの旋回曲率Ｃuaを下記（１）式または下記（２）、（３）式に従って算出する。

Ｃua＝γ／Ｖ …（１）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（２）
Ｃua＝１／Ｒｅ …（３）
ここで、上記の各式において、Ｒｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。

そして、算出した自車両ＭＣの旋回曲率Ｃuaに基づいて自車両が今後進行すると推定される推定軌跡Ｌestを算出し、その推定軌跡Ｌestを中心として左右方向に所定距離離間した位置までの範囲を自車両ＭＣの進行路として算出する。そして、例えば図５に示すように、上記範囲すなわち自車両ＭＣの進行路を画像Ｔ上の対応する各画素ｐに割り当てることで、画像Ｔ中にチェック領域Ｒを設定するようになっている。

なお、チェック領域Ｒを、例えば、自車両ＭＣの側方に検出された車線の位置を左右端とする領域として設定することも可能であるが、それについては後述する第２の実施形態の中で説明する。

路面領域検出手段９は、上記のように、算出手段７により算出されたグループｇの画素行ｊごとの横幅Ｗｊ（Ｎｊ）やその平均値Ｗave（Ｎave）、グループｇに属する各画素ｐの輝度Ｄの平均値Ｄave、および面積算出手段８により算出されたグループｇの前記面積Ａが、それぞれ所定の数値範囲内であるか否かを判定し、条件を満たす場合に、当該グループｇを道路面の路面領域に属するグループＧとして検出するようになっている。

なお、本実施形態では、上記のように、算出手段７で、グループｇのある画素行ｊで横幅Ｗｊとしての画素数Ｎｊが横幅閾値Ｗthに相当する画素数閾値Ｎth以上となった場合に、当該グループｇに条件が成立した旨の情報を対応付けるため、路面領域検出手段９は、グループｇに上記の情報が対応付けられているか否かを判定して、グループｇの画素行ｊごとの横幅Ｗｊが所定の横幅閾値Ｗth以上である画素行ｊが存在するか否かを判定するようになっている。

以下、上記の統合手段６や算出手段７、面積算出手段８、路面領域検出手段９を含む処理部５での各処理を、図６〜図９に示すフローチャートに従って説明するとともに、本実施形態に係る道路認識装置１の作用について説明する。

処理部５における処理では、撮像手段２により今回のサンプリング周期での撮像が開始されると（図６のステップＳ１）、前述したように、面積算出手段８は、その時点でセンサ類Ｑから入力された自車両ＭＣの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて自車両ＭＣの旋回曲率Ｃuaを算出し、チェック領域Ｒを設定する（ステップＳ２）。

そして、算出手段７は、撮像手段２から最初に各画素ｐi,jの輝度Ｄi,jのデータが送られてくる画像Ｔのｊ＝０の水平ラインｊすなわち水平ライン０における前述した横幅閾値Ｗthに相当する画素数閾値Ｎth（０）を算出して設定する（ステップＳ３）。また、統合手段６は、ｉおよびｊの値としてそれぞれ０を設定する（ステップＳ４）。

そして、前述したように、撮像手段２で撮像された水平ライン０上の左端の画素ｐ0,0（すなわち原点の画素）の輝度Ｄ0,0のデータの処理部５への入力が開始される（ステップＳ５）。処理部５には、続いて、画素ｐ1,0、ｐ2,0、ｐ3,0、…の輝度Ｄ1,0、Ｄ2,0、Ｄ3,0、…のデータが順次入力される。そして、水平ラインｊの右端の画素まで統合処理を完了していなければ（ステップＳ６；ＮＯ）、統合手段６は、ｉ座標を１ずつインクリメントして（ステップＳ７）、画素ｐi,jの輝度Ｄi,jのデータが入力するごとに統合処理を続行する。

また、水平ラインｊの右端の画素まで統合処理を完了すると（ステップＳ６；ＹＥＳ）、画像Ｔの最上段の水平ラインまで統合処理が終了していなければ（ステップＳ８；ＮＯ）、統合手段６は、ｊをインクリメントし、ｉに０を設定して（ステップＳ９）、統合処理を行う水平ラインｊを１行上方の水平ラインｊに移行させ、移行させた水平ラインｊから順次入力されてくる画素ｐ0,jの輝度Ｄ0,jのデータから順に統合処理を続行する。

また、算出手段７は、撮像手段２から移行させた水平ラインｊにおける前述した横幅閾値Ｗthに相当する画素数閾値Ｎth（ｊ）を算出して設定する（ステップＳ１０）。

次に、画素ｐi,jの輝度Ｄi,jのデータが入力した場合の処理部５における各処理（図７のステップＳ１１以降）について説明する。

統合手段６は、まず、入力した画素ｐi,j（入力画素ｐi,j）と、図１０に示すように入力画素ｐi,jが入力するより以前に入力されていて入力画素ｐi,jの左に隣接する画素ｐi-1,jについて、下記の条件１や条件２を満たすか否かの判定を行う（ステップＳ１１）。

［条件１］入力画素ｐi,jの輝度Ｄi,jと、左に隣接する画素ｐi-1,jの輝度Ｄi-1,jとの差分ΔＤleft（ｉ，ｊ）、すなわち、
ΔＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄi-1,j｜ …（４）
が、予め設定された第１輝度閾値ΔＤth未満である。なお、以下、上記のような隣接する画素間の輝度Ｄの差分ΔＤをエッジ強度という。

［条件２］図１１に示すように、入力画素ｐi,jの輝度Ｄi,jと、左に隣接する画素ｐi-1,jが属するグループｇに属する全画素の輝度Ｄの平均値Ｄave-leftとの差分δＤleft（ｉ，ｊ）、すなわち、
δＤleft（ｉ，ｊ）＝｜Ｄi,j−Ｄave-left｜ …（５）
が、予め設定された第２輝度閾値δＤth未満である。

なお、以下、上記のように、入力画素ｐi,jの輝度Ｄi,jと、隣接する画素が属するグループｇの輝度Ｄの平均値Ｄaveとの差分δＤを平均値差分という。また、隣接する画素が属するグループｇの輝度Ｄの平均値Ｄaveは、後述する図８のステップＳ２５の算出処理で、算出手段７により算出されている。さらに、左に隣接する画素ｐi-1,jが属するグループｇが当該左に隣接する画素ｐi-1,jのみで構成されている場合もあり、その場合、グループｇに属する全画素の輝度Ｄの平均値Ｄave-leftは、当該左に隣接する画素ｐi-1,jの輝度Ｄi-1,jに等しい。

統合手段６は、条件１と条件２をともに満たすと判定した場合には（ステップＳ１１；ＹＥＳ）、ステップＳ１２の判定処理に進み、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ１１；ＮＯ）、ステップＳ１５の判定処理に進む。

なお、本実施形態では、上記の第１輝度閾値ΔＤthと第２輝度閾値δＤthとは同じ値に設定されているが、異なる値に設定されてもよく、適宜設定される。また、第１輝度閾値ΔＤthと第２輝度閾値δＤthの値を状況に応じて可変させることも可能である。

統合手段６は、ステップＳ１１の判定処理で、条件１と条件２をともに満たすと判定すると（ステップＳ１１；ＹＥＳ）、続いて、入力画素ｐi,jと、図１２に示すように入力画素ｐi,jが入力されるより以前に入力されていて入力画素ｐi,jの下に隣接する画素ｐi,j-1について、上記と同様に、下記の条件３や条件４を満たすか否かの判定を行う（ステップＳ１２）。

［条件３］入力画素ｐi,jの輝度Ｄi,jと、下に隣接する画素ｐi,j-1の輝度Ｄi,j-1とのエッジ強度ΔＤlower（ｉ，ｊ）、すなわち、
ΔＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄi,j-1｜ …（６）
が、予め設定された前述した第１輝度閾値ΔＤth未満である。

［条件４］図１３に示すように、入力画素ｐi,jの輝度Ｄi,jと、下に隣接する画素ｐi,j-1が属するグループｇに属する全画素の輝度Ｄの平均値Ｄave-lowerとの平均値差分δＤlower（ｉ，ｊ）、すなわち、
δＤlower（ｉ，ｊ）＝｜Ｄi,j−Ｄave-lower｜ …（７）
が、予め設定された前述した第２輝度閾値δＤth未満である。

なお、この場合も、下に隣接する画素ｐi,j-1が属するグループｇが当該下に隣接する画素ｐi,j-1のみで構成されている場合もあり、その場合、グループｇに属する全画素の輝度Ｄの平均値Ｄave-lowerは、当該下に隣接する画素ｐi,j-1の輝度Ｄi,j-1に等しい。

そして、統合手段６は、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１２；ＮＯ）、入力画素ｐi,jを、下に隣接する画素ｐi,j-1とは非統合とするが、ステップＳ１１の判定処理で上記の条件１と条件２を満たすと判定しているため、入力画素ｐi,jと左に隣接する画素ｐi-1,jとを１つのグループに統合する（ステップＳ１３）。

その際、例えば図１０に示したように、左に隣接する画素ｐi-1,jが他の画素とグループ化されていなければ、入力画素ｐi,jと左に隣接する画素ｐi-1,jとが１つのグループに統合されて、左右に隣接する２つの画素からなるグループが新たに形成される。また、例えば図１１に示したように、左に隣接する画素ｐi-1,jが他の画素と統合されていてグループｇに属していれば、入力画素ｐi,jがグループｇに追加されるように統合され、グループｇが入力画素ｐi,jの分だけ１画素分拡大する。

なお、左に隣接する画素ｐi-1,jが属するグループｇが例えば図１４（Ａ）に示すような形状である場合に、ステップＳ１２の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定されて（ステップＳ１２；ＮＯ）、入力画素ｐi,jが下に隣接する画素ｐi,j-1と統合されない場合でも、図１４（Ｂ）に示すように、入力画素ｐi,jが左に隣接する画素ｐi-1,jと統合されることで（ステップＳ１３）、結果的に、入力画素ｐi,jが下に隣接する画素ｐi,j-1と１つのグループｇに統合される場合もある。

次に、統合手段６は、ステップＳ１２の判定処理で、条件３と条件４をともに満たすと判定した場合には（ステップＳ１２；ＹＥＳ）、入力画素ｐi,jと、下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとを１つのグループに統合する（ステップＳ１４）。

その際、例えば図１２に示したように、下に隣接する画素ｐi,j-1や左に隣接する画素ｐi-1,jがともに他の画素とグループ化されていなければ、入力画素ｐi,jと下に隣接する画素ｐi,j-1と左に隣接する画素ｐi-1,jが１つのグループに統合されて３つの画素からなるグループが新たに形成される。また、例えば図１１や図１３に示したように、下に隣接する画素ｐi,j-1または左に隣接する画素ｐi-1,jのいずれか一方が他の画素と統合されていてグループｇに属していれば、入力画素ｐi,jとグループｇに属していない方の画素とがグループｇに追加されるように統合されて、グループｇが２画素分拡大する。

また、例えば図１５（Ａ）に示すように、左に隣接する画素ｐi-1,jがグループｇ１に属し、下に隣接する画素ｐi,j-1が他のグループｇ２に属している場合、入力画素ｐi,jと下に隣接する画素ｐi,j-1および左に隣接する画素ｐi-1,jとを統合すると（ステップＳ１４）、図１５（Ｂ）に示すように、入力画素ｐi,jを介してグループｇ１とグループｇ２とが統合されて１つのグループｇとなる。

一方、統合手段６は、ステップＳ１１の判定処理で、条件１と条件２の少なくとも一方を満たさないと判定した場合には（ステップＳ１１；ＮＯ）、ステップＳ１５の判定処理に進み、上記と同様に、条件３や条件４を満たすか否かの判定を行う（ステップＳ１５）。

そして、統合手段６は、条件３と条件４をともに満たすと判定した場合には（ステップＳ１３；ＹＥＳ）、ステップＳ９の判定処理で条件１と条件２の少なくとも一方を満たさないと判定しているため（ステップＳ９；ＮＯ）、入力画素ｐi,jと、左に隣接する画素ｐi-1,jとを非統合とし、下に隣接する画素ｐi,j-1のみと１つのグループに統合する（ステップＳ１４）。

その際、入力画素ｐi,jと下に隣接する画素ｐi,j-1とを１つのグループに統合すると（ステップＳ１６）、結果的に、左に隣接する画素ｐi-1,jと統合される場合があることは、図１４（Ａ）、（Ｂ）に示したケースから容易に類推される。

また、統合手段６は、ステップＳ１５の判定処理で、条件３と条件４の少なくとも一方を満たさないと判定した場合には（ステップＳ１５；ＮＯ）、入力画素ｐi,jを、左に隣接する画素ｐi-1,jとも下に隣接する画素ｐi,j-1とも非統合として、入力画素ｐi,jのみが属する新たなグループｇとして登録する（ステップＳ１７）。

なお、統合手段６での統合処理の際、統合したグループｇの画素数が非常に小さく、ノイズ等のように無視してよいグループである場合に、そのようなグループｇをグループの登録から削除して、道路面の路面領域に属するグループＧであるか否かの判定の対象としないように構成することも可能である。

統合手段６は、入力画素ｐi,jをグループｇに統合すると（ステップＳ１３、Ｓ１４、Ｓ１６）、例えば図１５（Ｂ）に示したように、複数のグループを統合して１つのグループとした場合には、１つに統合したグループｇのグループ番号を、統合の対象となった複数のグループの各グループ番号のうちの例えば最も小さい番号を選択する等して、必要に応じて更新する。また、入力画素ｐi,jを新たなグループｇとして登録すると（ステップＳ１７）、その新規のグループｇにグループ番号を付ける（ステップＳ１８）。

また、算出手段７は、入力画素ｐi,jが新たなグループｇとして登録された場合（ステップＳ１７）には、当該グループｇに対応付ける後述する条件成立フラグＦを０に設定する（図８のステップＳ１９）。また、入力画素ｐi,jがグループｇに統合されたことにより（ステップＳ１４）、複数のグループが統合されて１つのグループとされた場合（例えば図１５（Ｂ）参照）には、算出手段７は、統合の対象となった複数のグループの中に条件成立フラグＦが１のグループがあれば、１つに統合された当該グループｇの条件成立フラグＦを１に設定し、統合の対象となった複数のグループの条件成立フラグＦがすべて０であれば、１つに統合された当該グループｇの条件成立フラグＦを０に設定する（ステップＳ１９）。

そして、現在統合処理が行われた当該グループｇの条件成立フラグＦが０であれば（ステップＳ２０；ＹＥＳ）、当該グループｇの当該画素行ｊにおける画素数Ｎｊを計数する（ステップＳ２１）。そして、図６のステップＳ３やステップＳ１０の設定処理で設定した当該水平ラインｊにおける横幅閾値Ｗthに相当する画素数閾値Ｎth（ｊ）を参照して、計数した当該画素行ｊにおける画素数Ｎｊが画素数閾値Ｎth（ｊ）以上であれば（ステップＳ２２；ＹＥＳ）、当該グループｇの条件成立フラグＦを１に切り替えて設定し（ステップＳ２３）、条件が成立した旨の情報を当該グループｇに対応付ける。

すなわち、本実施形態では、当該グループｇの条件成立フラグＦを１に設定することが、条件が成立した旨の情報を当該グループｇに対応付けることに対応する。計数した当該画素行ｊにおける画素数Ｎｊが画素数閾値Ｎth（ｊ）以上でなければ（ステップＳ２２；ＮＯ）、当該グループｇの条件成立フラグＦは０のままとされる。

また、現在統合処理が行われた当該グループｇの条件成立フラグＦが１であれば（ステップＳ２０；ＮＯ）、それ以降の統合処理で、当該グループｇにおいて一旦画素数Ｎｊが画素数閾値Ｎth（ｊ）以上となった画素行ｊに属する画素数が減少することはなく、当該グループｇの条件成立フラグＦが０とされることはないため、ステップＳ２１〜Ｓ２３の各処理を行う必要はない。

そのため、本実施形態では、処理の迅速化を図る目的から、現在統合処理が行われた当該グループｇの条件成立フラグＦが１であれば（ステップＳ２０；ＮＯ）、ステップＳ２１〜Ｓ２３の各処理を行わずにスキップするようになっている。

算出手段７は、続いて、現在統合処理が行われた当該グループｇの画素数Ｎを算出する（ステップＳ２４）。すなわち、入力画素ｐi,jが新規のグループｇとして登録された場合には当該グループｇの画素数Ｎを１とし、入力画素ｐi,jのみがグループｇに統合された場合には当該グループｇの画素数Ｎを１だけ増加させ、入力画素ｐi,jがグループｇに統合されたことにより他の１つの画素ｐもグループｇに統合された場合には当該グループｇの画素数Ｎを２だけ増加させる。

また、入力画素ｐi,jを介して２つのグループｇ１、ｇ２が統合されて１つのグループｇとされた場合には、当該１つに統合されたグループｇの画素数Ｎをグループｇ１、ｇ２の各画素数の和に入力画素ｐi,jの１画素を加えた画素数として算出する。

算出手段７は、続いて、当該グループｇに属する各画素ｐの輝度Ｄの合計を算出し、それを当該グループｇの画素数Ｎで除算して、当該グループｇに属する各画素ｐの輝度Ｄの平均値Ｄaveを算出して更新する（ステップＳ２５）。この場合、入力画素ｐi,jが新規のグループｇとして登録された場合には、当該グループｇの画素数Ｎは１であるから、入力画素ｐi,jの輝度Ｄi,jが当該グループｇに属する画素ｐの輝度Ｄの平均値Ｄaveとなる。

なお、必要に応じて、当該グループｇの左端、右端の画素の各座標や上端、下端の画素の各座標や、当該グループｇの中心点等を算出して更新するように構成することも可能である。

面積算出手段８は、図６のステップＳ２の設定処理で設定したチェック領域Ｒに基づいて、入力画素ｐi,jがチェック領域Ｒ内にあるか否かを判定し（ステップＳ２６）、入力画素ｐi,jがチェック領域Ｒ内にある場合には（ステップＳ２６；ＹＥＳ）、当該グループｇがチェック領域Ｒ内で占める面積Ａを画素数Ａｎとして算出する（ステップＳ２７）。

すなわち、入力画素ｐi,jがチェック領域Ｒ内にある場合（ステップＳ２６；ＹＥＳ）、入力画素ｐi,jが新規のグループｇとして登録された場合には当該グループｇの面積Ａの画素数Ａｎを１とし、入力画素ｐi,jのみがグループｇに統合された場合には当該グループｇの面積Ａの画素数Ａｎを１だけ増加させる。

また、入力画素ｐi,jがグループｇに統合されたことにより他の１つの画素ｐもグループｇに統合された場合には、当該他の１つの画素ｐがチェック領域Ｒ内にあれば、当該グループｇの面積Ａの画素数Ａｎを２だけ増加させ、当該他の１つの画素ｐがチェック領域Ｒ内になく、入力画素ｐi,jのみがチェック領域Ｒ内にある場合には、当該グループｇの面積Ａの画素数Ａｎを１だけ増加させる。

また、入力画素ｐi,jを介して２つのグループｇ１、ｇ２が統合されて１つのグループｇとされた場合には、当該１つに統合されたグループｇの面積Ａの画素数Ａｎを、グループｇ１、ｇ２の各面積Ａの画素数Ａｎの和に入力画素ｐi,jの１画素を加えた画素数として算出する。

そして、画像Ｔの最上段の水平ラインの統合処理が終了するまで（図６のステップＳ８）、統合手段６や算出手段７、面積算出手段８による上記の各処理が、入力画素ｐi,jが順次入力されるごとに繰り返される。

また、画像Ｔの最上段の水平ラインまで統合処理が終了すると（ステップＳ８；ＹＥＳ）、統合手段６による統合処理により各画素ｐが各グループｇに統合され、最終的に、画像Ｔの各画素ｐが複数のグループｇに分割される。例えば図５に示した画像Ｔの各画素ｐは、統合処理により、図１６に濃淡で分けて表されるような複数のグループｇにそれぞれ統合される。

続いて、算出手段７は、図８のステップＳ２４の算出処理で、各グループｇについて算出したグループｇに属する画素数Ｎをそれぞれ各グループｇの縦方向の画素行ｊの行数で除算して画素数の平均値Ｎaveを算出し、この画素数の平均値Ｎaveとして各グループｇの画素行ｊごとの横幅Ｗｊの平均値Ｗaveを算出する（図９のステップＳ２８）。

次に、路面領域検出手段９は、各グループｇについて、当該グループｇが道路面の路面領域に属するグループＧであるか否かを判定し、条件を満たす場合には、当該グループｇを道路面の路面領域に属するグループＧとして検出して登録する。

具体的には、路面領域検出手段９は、まだ判定していないグループｇがあれば（ステップＳ２９；ＹＥＳ）、まず、当該グループｇの条件成立フラグＦが１であるか否かを判定し（ステップＳ３０）、条件成立フラグＦが０であり（ステップＳ３０；ＮＯ）、当該グループｇに条件が成立した旨の情報が対応付けられていなければ、当該グループｇについての判定処理を終了する。

当該グループｇの条件成立フラグＦが１であり、当該グループｇに条件が成立した旨の情報が対応付けられていれば（ステップＳ３０；ＹＥＳ）、当該グループｇは、画素行ｊごとの横幅Ｎｊが所定の横幅閾値Ｗthに相当する画素数閾値Ｎth以上である画素行ｊが存在するという条件を満たす。

そして、当該グループｇは、実空間上で上記の横幅閾値Ｗth（例えば６０ｃｍ）以上の横幅Ｗｊが少なくともその一部に存在する撮像対象に対応するものであることが分かる。そのため、実空間上の横幅Ｗｊが大きくても５０ｃｍ程度である横断歩道の各白線ブロックや、停止線を伴わない車線、数字、文字、矢印等の路面上の標示に対応するグループｇは、このステップＳ３０の判定処理で、道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から排除される。

路面領域検出手段９は、続いて、算出手段７がステップＳ２８の算出処理で当該グループｇの画素行ｊごとの横幅Ｗｊの平均値Ｗaveとして算出した画素数の平均値Ｎaveが、予め設定された平均値閾値Ｎave_th以上であるか否かを判定し（ステップＳ３１）、画素数の平均値Ｎaveが平均値閾値Ｎave_th以上でなければ（ステップＳ３１；ＮＯ）、当該グループｇについての判定処理を終了する。

図３に示したように、仮に車線ＬＲに連続して道路面上に標示される停止線ＳＬが画像Ｔ中に撮像されていたとしても、停止線ＳＬを伴う車線ＬＲに対応するグループｇの画素数の平均値Ｎaveは平均値閾値Ｎave_th以上にはならないため（ステップＳ３１；ＮＯ）、停止線ＳＬを伴う車線ＬＲに対応するグループｇが、このステップＳ３１の判定処理で、道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から排除される。

路面領域検出手段９は、当該グループｇの画素数の平均値Ｎaveが平均値閾値Ｎave_th以上であれば（ステップＳ３１；ＹＥＳ）、続いて、算出手段７が図８のステップＳ２５の算出処理で算出した当該グループｇの各画素ｐの輝度Ｄの平均値Ｄaveが、予め設定された輝度平均閾値Ｄave_th以下であるか否かを判定し（ステップＳ３２）、輝度Ｄの平均値Ｄaveが輝度平均閾値Ｄave_th以下であれば（ステップＳ３２；ＮＯ）、当該グループｇについての判定処理を終了する。

この輝度平均閾値Ｄave_thは、通常、道路面の路面領域が撮像された画素ｐの輝度Ｄとして検出される程度の低い輝度に設定される。そのため、仮に上記のステップＳ３０やステップＳ３１の判定処理で横断歩道や停止線、車線、数字、文字、矢印等の路面上の標示に対応するグループｇが、道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から排除されなかった場合でも、このステップＳ３２の判定処理で判定対象から排除される。

また、図１６に示した画像Ｔ中の各グループｇでは、空に対応するグループｇskyが高輝度に撮像されているため、空に対応するグループｇskyも、このステップＳ３２の判定処理で、道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から排除される。

しかし、曇天や雨天等の場合には、空に対応するグループｇskyの各画素ｐの輝度Ｄの平均値Ｄaveが輝度平均閾値Ｄave_th以下になる場合もある（ステップＳ３２；ＹＥＳ）。また、図１６に示したように、道路脇の街路樹に対応するグループｇtreeも上記のステップＳ３０やステップＳ３１の判定処理では道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から排除されず、また、グループｇtreeに属する各画素ｐの輝度Ｄが低いため、街路樹に対応するグループｇtreeの各画素ｐの輝度Ｄの平均値Ｄaveが輝度平均閾値Ｄave_th以下になる場合もある（ステップＳ３２；ＹＥＳ）。

そのため、路面領域検出手段９は、続いて、面積算出手段８が図８のステップＳ２７の算出処理で算出した当該グループｇのチェック領域Ｒ内で占める面積Ａとしての画素数Ａｎが、予め設定された面積閾値Ａth以上であるか否かを判定し（ステップＳ３３）、画素数Ａｎが面積閾値Ａth以上でなければ（ステップＳ３３；ＮＯ）、当該グループｇについての判定処理を終了する。

図５に示したように、チェック領域Ｒは、自車両の推定軌跡Ｌest等に基づいて画像Ｔ中での自車両の進行方向に設定され、空や道路脇の街路樹が撮像された画素領域はこのチェック領域Ｒ内に存在しないため、図１６に示した空や街路樹に対応するグループｇsky、ｇtreeのチェック領域Ｒ内で占める面積Ａとしての画素数Ａｎは０になる。そのため、空や街路樹に対応するグループｇsky、ｇtreeは、このステップＳ３３の判定処理で、道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から排除される。

また、図１６に示したように、画像Ｔ中の右下に検出された立入り禁止の標示中の低輝度のグループｇkoが、上記のステップＳ３０〜Ｓ３２の各判定処理をクリアする場合があり、また、図５に示したように、チェック領域Ｒの一部がこのグループｇkoに相当する部分にかかっているため、グループｇkoのチェック領域Ｒ内で占める面積Ａとしての画素数Ａｎが０にならない場合がある。

しかし、このような場合でも、上記の面積閾値Ａthを予めある程度大きな値に設定しておくことで、グループｇkoのようなグループを、このステップＳ３３の判定処理で道路面の路面領域に属するグループＧとして検出されるグループｇの判定対象から的確に排除することが可能となる。

路面領域検出手段９は、グループｇが上記のステップＳ３０〜Ｓ３３の判定処理をすべてクリアすると、当該グループｇを道路面の路面領域に属するグループＧとして検出する（ステップＳ３４）。例えば、図５に示した画像Ｔに対する処理の結果、図１７に示すように、グループＧ１〜Ｇ４が道路面の路面領域に属するグループＧとして検出される。そして、これらのグループＧ１〜Ｇ４を画像Ｔ上でつなぎ合わせることで、画像Ｔから道路面の路面領域を抽出して検出することが可能となる。

路面領域検出手段９は、それらのグループＧ１〜Ｇ４の各情報やそれらをつなぎ合わせて検出した道路面の路面領域の情報を記憶手段に保存するとともに、必要に応じて外部装置に出力する。なお、検出した各グループＧ１〜Ｇ４の各情報が前回のサンプリング周期で抽出した道路面の路面領域の情報と整合性を有しない場合に整合性を有しないグループＧの情報を排除する等の処理を行うように構成することも可能である。

そして、統合手段６により画像Ｔ上で統合された全グループｇについての処理が終了すると（ステップＳ２９；ＮＯ）、今回のサンプリング周期で撮像手段２から入力された１画像分の画像Ｔに対する処理が終了され、撮像手段２により次のサンプリング周期での撮像が開始されると（図６のステップＳ１）、改めてステップＳ２からの各処理が処理部５で実行される。

以上のように、本実施形態に係る道路認識装置１によれば、統合手段６により画像Ｔの各画素ｐを輝度Ｄに基づいて各グループｇに統合した後、グループｇの画素行ｊごとの横幅Ｗｊ（Ｎｊ）やその平均値Ｗave（Ｎave）、グループｇに属する各画素ｐの輝度Ｄの平均値Ｄave、グループｇが画像Ｔのチェック領域Ｒ内で占める面積Ａ（Ａｎ）に基づいて、当該グループｇを道路面の路面領域に属するグループＧであるか否かを判定する。

すなわち、画像Ｔ内でのグループｇの大きさや形状（横幅やその平均値）、平均的な輝度（輝度の平均値）、画像Ｔ中で占める位置（チェック領域内で占める面積）に基づいて判定するため、グループｇが道路面の路面領域に属するグループＧであるか否かを的確に判定して、画像Ｔ中から道路面の路面領域を的確に検出することが可能となる。

特に、上記の特許文献３に記載の車両用環境認識装置では、画像Ｔ中にウインドウを設定し、道路面の路面領域を抽出するための基準色としてウインドウの下端部中央付近の画素の色を基準色とするため、ウインドウの下端部中央付近に停止線等の白い表示が撮像されている場合にはその白い色が基準色となってしまい、路面領域を正しく抽出することが困難となる虞があった。

しかし、本実施形態に係る道路認識装置１では、グループｇに属する各画素ｐの輝度Ｄの平均値Ｄaveに基づいてグループｇが道路面の路面領域に属するグループＧであるか否かを判定するため、そのような誤抽出や誤判定の問題が生じることを的確に防止して、道路面の路面領域を的確に検出することが可能となる。

また、統合手段６による各グループｇの統合処理と同時並行で、算出手段７や面積算出手段８による各処理が行われ、統合処理が終了した後、算出手段７による図９のステップＳ２８の算出処理や路面領域検出手段９によるステップＳ３０〜Ｓ３３の判定処理等が行われるため、画像Ｔ中からの道路面の路面領域の検出を非常に迅速に行うことが可能となる。

そのため、例えば１秒間に数フレーム分或いは数十フレーム分の画像の輝度が取り込まれ、次々と処理を行わなければならないような場合でも、各フレームごとに画像Ｔ中から道路面の路面領域を的確に検出することが可能となり、リアルタイムで処理を行うことが可能となる。

さらに、本実施形態に係る道路認識装置１によれば、統合手段６により画像Ｔの各画素ｐを輝度Ｄに基づいて統合した各グループｇとして画像Ｔ中から道路面の路面領域を検出するため、例えば、自車両が走行する道路が自車両の左右のいずれにも車線が標示されていないような道路であっても画像Ｔ中から的確に道路面の路面領域を検出することが可能となる。

その際、チェック領域Ｒ（図４、図５参照）を、例えば、自車両ＭＣの挙動から推定される推定軌跡Ｌestに基づいて設定することができるため、自車両が走行している道路が車線が標示されていない道路であっても、車線に頼ることなく、有効にチェック領域Ｒを設定して画像Ｔ中から道路面の路面領域を的確に検出することが可能となる。

また、本実施形態に係る道路認識装置１では、上記のように、道路面の路面領域に属するグループＧとして検出した各グループＧをつなぎ合わせて画像Ｔ中に道路面の路面領域を抽出して検出するため、図１８に示すように、自車両が走行している道路と同じような輝度Ｄを有し、自車両が走行している道路に合流してくる道路Ｂをも有効に検出することが可能となる。

また、自車両が走行している道路の遠方領域Ｃでは、画像Ｔ上では自車両の側方の車線が非常に細く撮像され、検出するのが困難になるが、そのような遠方領域Ｃでも、道路面の路面領域に属するグループＧとして検出した各グループＧをつなぎ合わせていくことで有効に画像Ｔ中から検出することが可能となる。

このように、本実施形態に係る道路認識装置１では、自車両が走行している道路に合流する道路Ｂや、自車両が走行している道路の遠方領域Ｃをも的確に検出することが可能となり、画像Ｔに撮像された道路面の路面領域を的確に検出することが可能となる。

なお、画像Ｔにおける道路面の路面領域の明るさ等は、撮像手段２のシャッタレベルに応じても変わるため、上記の輝度平均閾値Ｄave_thを撮像手段２のシャッタレベルに応じて可変させるように構成することも可能である。

具体的には、本実施形態のように撮像手段２をＣＣＤカメラ等で構成した場合、ＣＣＤカメラ等に通常備えられる機能として、自車両の周囲の明るさを自ら判断して適切な露光を得るための露光調整を自動的に行うように構成されている。すなわち、例えば、シャッタ時間調整やアンプゲイン切り替え、ＬＵＴ（Look Up Table）の選択やそれによる輝度値変換等の露光調整が自動的に行われるようになっている。

そこで、例えば、撮像手段２から画像Ｔを送信する際に、あわせて、その露光調整のレベルをシャッタレベルとして処理部５に送信するように構成し、路面領域検出手段９で、その撮像手段２のシャッタレベルに応じて輝度平均閾値Ｄave_thを可変させるように構成することが可能である。

このように構成すれば、上記のように、車線や横断歩道、停止線、数字、文字、矢印等の路面上に白く標示される各標示と、道路面の路面領域のように暗く撮像される撮像対象とを、撮像手段２のシャッタレベルに応じて可変された輝度平均閾値Ｄave_thにより的確に選別することが可能となる。

そのため、例えば、車線等の路面上の標示に対応するグループｇが図９のステップＳ３０やステップＳ３１の判定処理で排除されなかった場合でも、ステップＳ３２の判定処理で判定対象から的確に排除することが可能となり、道路面の路面領域に属するグループＧとして検出すべき輝度Ｄが小さいグループｇを道路面の路面領域に属するグループＧとして的確に検出することが可能となる。

［第２の実施の形態］
上記の第１の実施形態では、撮像手段２で撮像された１つの画像Ｔの各画素ｐの輝度Ｄを処理して、画像Ｔ中に道路面の路面領域Ｇ１〜Ｇ４を検出する道路認識装置１について説明した。

しかし、撮像手段２として一対のカメラ（すなわちいわゆるステレオカメラ）を用いて一対の画像を撮像し、それに基づいて処理を行うと、画像Ｔ中に撮像された撮像対象までの実空間上の距離Ｚを検出することができるため、それに基づいて道路面の路面領域をより的確に検出することが可能となる。第２の実施形態では、このように構成された道路認識装置について説明する。

本実施形態に係る道路認識装置１０は、図１９に示すように、第１の実施形態における道路認識装置１（図１参照）と同様に、撮像手段２や変換手段３、画像補正部４、統合手段６や算出手段７、面積算出手段８、路面領域検出手段９を有する処理部５等を備えて構成されるが、さらに、イメージプロセッサ１２等を有する距離検出手段１１等を備えている。

なお、イメージプロセッサ１２等を含む処理部５の上流側の構成については、特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２８に示すような画像Ｔを撮像するようになっている。なお、以下では、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像を比較画像という。

また、本実施形態においても、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで図２に示したような基準画像Ｔや図示を省略する比較画像を撮像する場合、基準画像Ｔ等の各水平ラインｊの最も左側の撮像素子から順に右方向に走査し、また、走査する水平ラインｊを最も下側のラインから順に上方に切り替えながら撮像するようにして、各撮像素子で撮像された順に基準画像Ｔと比較画像の各輝度Ｄのデータがそれぞれ変換手段３に順次送信されるようになっている。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各画素ｐごとに撮像された基準画像Ｔと比較画像の各輝度Ｄのデータがそれぞれ順次送信されてくると、各輝度Ｄをそれぞれ例えば２５６階調のグレースケールのデジタル値の輝度Ｄに変換して画像補正部４に出力するようになっている。

画像補正部４は、送信されてきた基準画像Ｔと比較画像の各輝度Ｄのデータに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像の各輝度Ｄのデータを画像データメモリ１４に順次格納するとともに、処理部５に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像の各輝度Ｄのデータを距離検出手段１１にも順次送信するようになっている。

距離検出手段１１のイメージプロセッサ１２では、基準画像Ｔと比較画像の各輝度Ｄのデータに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ｐごとに順次算出するようになっている。

イメージプロセッサ１２におけるステレオマッチング処理では、基準画像Ｔと比較画像Ｔｃの各輝度Ｄのデータが送信されてくると、図２０に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（８）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜ …（８）

なお、上記（８）式において、Ｄ１s,tは基準画素ブロックＰＢ中の各画素ｐの輝度Ｄを表し、Ｄ２s,tは比較画素ブロックＰＢｃ中の各画素ｐの輝度Ｄを表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素ｐについて計算される。

イメージプロセッサ１２は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素ｐに視差ｄｐを割り当てた画像を距離画像という。また、このようにして各画素ｐごとに算出された視差ｄｐの情報すなわち距離画像は、距離検出手段１１の距離データメモリ１３に順次格納されるとともに、処理部５に順次送信されるようになっている。

なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像上の画素ｐの座標（ｉ，ｊ）および視差ｄｐとは、下記（９）〜（１１）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（９）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（１０）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（１１）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ１２は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。

例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチング処理を行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。

したがって、基準画像Ｔの各画素ｐに、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図２１に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（１１）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素ｐに割り当てて作成するように構成することも可能である。

本実施形態では、処理部５における各処理では、必要に応じて上記（１１）式等に従って距離画像Ｔｚの各画素ｐにおける視差ｄｐが実空間上の距離Ｚに変換されて用いられる。

本実施形態においても、処理部５は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータで構成されており、第１の実施形態と同様の統合手段６や算出手段７、面積算出手段８、路面領域検出手段９が設けられている。なお、本実施形態では、統合手段６等での処理は基準画像Ｔに対して行われるようになっているが、比較画像Ｔｃに対して処理を行うように構成してもよく、また、基準画像Ｔと比較画像Ｔｃの両者に対して処理を行うように構成することも可能である。

また、本実施形態では、処理部５には、さらに、基準画像Ｔ中から自車両の側方に標示された車線を検出する車線検出手段１５が設けられている。さらに、第１の実施形態と同様に、処理部５に、先行車両を検出する先行車両検出手段等を設けるように構成することも可能であり、必要に応じて、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類からの測定値が入力されるように構成することも可能である。

ここで、本実施形態の処理部５の統合手段６等における処理について説明する前に、車線検出手段１５について説明する。

車線検出手段１５は、撮像手段２により撮像された基準画像Ｔ中から自車両の側方に存在する車線を検出するようになっている。具体的には、車線検出手段１５は、図２２に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度Ｄが隣接する画素ｐの輝度Ｄから設定された閾値以上に大きく変化する画素ｐを車線候補点ｃｌ、ｃｒとして検出する。

また、例えば、基準画像Ｔの中央から右方向に探索して検出した車線候補点ｃｒでは、図２３に示すように、輝度Ｄは大きく上昇するが、さらに右方向に探索を続けて車線が終了する車線終了点候補点ｃｒｅで、道路面に対応する低い輝度に低下する。また、図示を省略するが、左方向に探索して検出した車線候補点ｃｌでも同様である。

そこで、本実施形態では、車線検出手段１５は、車線候補点ｃｌ、ｃｒを検出すると、さらに左方向或いは右方向に探索を続け、車線終了点候補点ｃｌｅ、ｃｒｅが検出されるまで、検出される車線に対応する画素ｐの輝度Ｄを予め作成した図示しないヒストグラムにそれぞれ投票して、ヒストグラムを更新していくようになっている。なお、車線候補点ｃｒ等に到達する前の道路面に対応する低輝度の画素ｐの輝度Ｄをヒストグラムに投票する等して、道路面の輝度を算出するように構成することも可能である。

そして、車線検出手段１５は、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、検出される車線に対応する画素ｐの輝度Ｄのヒストグラムへの投票は継続される。

車線検出手段１５は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。

そして、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両の側方にそれぞれ検出する。その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側（例えば右側）に複数の車線が検出される場合には、自車両の他方（例えば左側）に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両の側方にそれぞれ直線を選別する。

このようにして、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図２４に示すように自車両の側方にそれぞれ車線ＬＲ、ＬＬを検出するようになっている。なお、以上の車線検出手段１５の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。

車線検出手段１５は、このようにして検出した車線位置ＬＬ、ＬＲや車線候補点ｃｌ、ｃｒ等の情報を図示しない記憶手段に保存するようになっている。

また、本実施形態では、車線検出手段１５は、検出した車線位置ＬＬ、ＬＲや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。すなわち、車線検出手段１５は、図２５（Ａ）、（Ｂ）に示すように、自車両の側方に検出した車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図２５（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図２５（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。

具体的には、車線検出手段１５は、自車両前方の実空間を自車両の位置からの例えば距離Ｚ７までの各区間に分け、検出した車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（１２）〜（１５）式のパラメータａＬ、ｂＬ、ａＲ、ｂＲ、ｃＬ、ｄＬ、ｃＲ、ｄＲを算出して車線モデルを形成するようになっている。

［水平形状モデル］
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（１２）
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（１３）
［道路高モデル］
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（１４）
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（１５）

車線検出手段１５は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。車線検出手段１５は、このようにして形成した車線モデルすなわち算出した各区間のパラメータａＬ〜ｄＲをそれぞれ記憶手段に保存するようになっている。

本実施形態に係る道路認識装置１０においても、統合手段６や算出手段７、面積算出手段８、路面領域検出手段９は、本実施形態においても上記の第１の実施形態の場合と同様に、図６〜図９に示したフローチャートに従って各処理を行うように構成されている。

本実施形態に係る道路認識装置１０は、さらに、上記のような車線検出手段１５を設けた結果、以下のような機能を有している。

まず、面積算出手段８で、チェック領域Ｒを、車線検出手段１５が自車両の側方に検出した車線ＬＬ、ＬＲの位置を左右端とする領域として基準画像Ｔ中に設定するようになっている。

具体的には、面積算出手段８は、前回のサンプリング周期等の過去のサンプリング周期で検出した車線ＬＬ、ＬＲの情報に基づいてその後の自車両の挙動から今回のサンプリング周期における車線ＬＬ、ＬＲの位置を推定し、それを基準にチェック領域Ｒを設定するようになっている。なお、本実施形態においても、第１の実施形態と同様に、チェック領域Ｒを、例えば、今回のサンプリング周期における自車両ＭＣの挙動から推定される推定軌跡Ｌest（図４参照）に基づいて設定するように構成することも可能である。

また、本実施形態では、前述したように、車線検出手段１５で車線ＬＬ、ＬＲの検出を行う際に、検出される車線に対応する画素ｐの輝度Ｄをヒストグラムに投票する。そこで、このヒストグラムへの投票結果を用いて、路面領域検出手段９で、画像Ｔ上で統合された各グループｇが道路面の路面領域に属するグループとして検出できるか否かの判定に用いられる輝度平均閾値Ｄave_thを、車線検出手段１５で算出された車線に対応する画素ｐの輝度Ｄの平均値に応じて可変して適用することが可能である。

すなわち、車線検出手段１５でヒストグラムへの投票結果から今回のサンプリング周期での車線に対応する画素ｐの輝度Ｄの平均値を算出することができる。そして、その平均値に基づいて、例えば、それより所定値だけ小さい値を輝度平均閾値Ｄave_thとするように構成し、車線に対応する画素ｐの輝度Ｄの平均値に応じて輝度平均閾値Ｄave_thが可変されるように構成する。

そして、このように構成すれば、車線や横断歩道、停止線、数字、文字、矢印等の路面上に白く標示される各標示に対応するグループｇが図９のステップＳ３０やステップＳ３１の判定処理で排除されなかった場合でも、ステップＳ３２の判定処理で判定対象から的確に排除することが可能となり、道路面の路面領域に属するグループＧとして検出すべき輝度Ｄが小さいグループｇを道路面の路面領域に属するグループＧとして的確に検出することが可能となる。

一方、本実施形態に係る道路認識装置１０は、上記のような距離検出手段１１を設けた結果、以下のような機能を有している。

前述した第１の実施形態では、算出手段７で、各グループｇごとに、画像Ｔ上で横方向に延在する各画素行ｊごとの横幅Ｗｊを実空間上の横幅として算出する際、画像Ｔの水平ラインｊ（画素行ｊ）ごとの１画素あたりの実空間上の横方向の横幅に基づいて算出した。しかし、実際の道路面は図２５（Ｂ）の道路高モデルに示したように必ずしも平坦ではなく、道路面が平坦であると仮定して算出された水平ラインｊごとの１画素あたりの実空間上の横幅が必ずしも適切に適用されない場合もある。

しかし、本実施形態のような距離検出手段１１を用い、撮像された基準画像Ｔと比較画像Ｔｃとを用いたステレオマッチング処理により三角測量の原理に基づいて算出される各画素ｐごとの視差ｄｐの情報を用いれば、以下のようにしてグループｇの画素行ｊごとの実空間上の横幅Ｗｊを的確に算出することが可能となる。

すなわち、グループｇの画素行ｊの左端の画素ｐleftにおける視差ｄｐleftを上記（１１）式に代入して、左端の画素ｐleftの実空間上の距離Ｚleftを算出し、それと左端の画素ｐの基準画像Ｔ上の座標ｉleftとを上記（９）式に代入して、左端の画素ｐleftに対応する実空間上の点ＰleftのＸ座標Ｘleftを算出することができる。

同様にして、グループｇの画素行ｊの右端の画素ｐrightにおける視差ｄｐrightと基準画像Ｔ上の座標ｉrightから上記（９）、（１１）式に従って右端の画素ｐrightに対応する実空間上の点ＰrightのＸ座標Ｘrightを算出することができる。そして、｜Ｘleft−Ｘright｜を算出することにより、グループｇの画素行ｊごとの実空間上の横幅Ｗｊを精度良く算出することが可能となる。

そのため、算出手段７は、上記のように精度良く算出されたグループｇの画素行ｊごとの実空間上の横幅Ｗｊに基づいて、それが例えば６０ｃｍ等に設定された横幅閾値Ｗth以上であるか否かを精度良く判定することが可能となり、グループｇを道路面の路面領域に属するグループＧとして検出すべきか否かを精度良く判定することが可能となる。

また、道路認識装置１では、統合手段６が画像Ｔ上で統合したグループｇに基づいて道路面の路面領域を検出するが、撮像された画像Ｔには、立体物等の検出の対象とならない撮像対象も撮像されている。

そこで、統合手段６で画像Ｔの各画素ｐの輝度Ｄに基づく統合処理を行う段階で、路面領域を含む道路面に存在する撮像対象と、立体物等の道路面の上方に存在する撮像対象を予め分離するように統合処理を行うように構成すれば、立体物等を道路面の路面領域として誤検出することを的確に防止することが可能となる。そして、本実施形態における距離検出手段１１による検出結果を用いれば、それを実現することが可能となる。

具体的には、統合手段６は、入力画素ｐi,jとそれに隣接する画素ｐ等が上記の条件１および条件２、または条件３および条件４を満たすと判定すると、さらに、入力画素ｐi,jと隣接する画素ｐのそれぞれについて、それらの画素ｐの視差ｄｐと基準画像Ｔ上の座標（ｉ，ｊ）に基づいて、上記（１０）、（１１）式に従って、それらの画素ｐに対応する実空間上の点Ｐの道路面からの高さＹを算出する。

そして、入力画素ｐi,jの実空間上の距離Ｚでの道路面の高さＹ^＊を、車線検出手段１５が検出した上記（１４）式および（１５）式で示される車線モデル（道路高モデル）から線形補間する等して求め、各点の道路面からの高さＹ−Ｙ^＊を算出する。そして、統合手段６は、入力画素ｐi,jに対応する実空間上の点Ｐの道路面からの高さＹ−Ｙ^＊と、隣接する画素ｐに対応する実空間上の点Ｐの道路面からの高さＹ−Ｙ^＊のうち、一方が所定の第１高さ閾値Ｙth１以上であり、他方が第１高さ閾値Ｙth１未満である場合には、入力画素ｐi,jと隣接する画素ｐとを１つのグループには統合せず、別のグループとする。

このように構成することで、路面領域を含む道路面に存在する撮像対象と、立体物等の道路面の上方に存在する撮像対象とを別のグループに統合することが可能となり、立体物等を道路面の路面領域として誤検出することを的確に防止することが可能となる。

なお、上記の第１高さ閾値Ｙth１は、例えば１０ｃｍ等の、道路面とその上方に存在する撮像対象とを的確に分離可能な値に設定される。また、車線検出手段１５によって今回のサンプリング周期における車線モデルが検出されていればそれを用いることが可能であり、今回のサンプリング周期での車線モデルが検出されていなければ前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。

実空間上の道路面からの高さＹ−Ｙ^＊を、路面領域検出手段９における道路面の路面領域に属するグループとして検出するか否かの判定に用いるように構成することも可能である。この場合、路面領域検出手段９は、例えば、グループｇに属する各画素ｐのうち、視差ｄｐが有効に検出されている各画素ｐについて、上記と同様に、視差ｄｐと基準画像Ｔ上の座標（ｉ，ｊ）に基づいて上記（１０）、（１１）式に従って各画素ｐに対応する実空間上の各点Ｐの道路面からの高さＹを算出する。

そして、各画素ｐに対応する実空間上の各点Ｐの道路面からの高さＹの平均値Ｙaveを算出し、その高さＹの平均値Ｙaveと、上記（１４）式および（１５）式で示される車線モデル（道路高モデル）から線形補間する等して求めた当該グループｇの実空間上の位置における道路面の高さＹ^＊とを比較して、当該グループｇの道路面からの実空間上の高さＹave−Ｙ^＊が所定の第２高さ閾値Ｙth２以上である場合には、当該グループｇを道路面の上方に存在する立体物等の撮像対象であるとして、道路面の路面領域の検出の対象から除外する。

このように構成することで、立体物等の道路面の上方に存在する撮像対象を除外して、路面領域を含む道路面に存在する撮像対象のみを道路面の路面領域の検出対象とすることが可能となり、立体物等を道路面の路面領域として誤検出することを的確に防止することが可能となる。

１、１０ 道路認識装置
２ 撮像手段
２ａ、２ｂ メインカメラ、サブカメラ（一対のカメラ）
６ 統合手段
７ 算出手段
８ 面積算出手段
９ 路面領域検出手段
１１ 距離検出手段
１５ 車線検出手段
Ａ 面積
Ａｎ 領域内でのグループが占める画素数
Ａth 面積閾値
Ｄ、Ｄi,j 輝度
Ｄave 輝度の平均値
Ｄave_th 輝度平均閾値
Ｆ 条件成立フラグ（条件が成立した旨の情報）
Ｇ 道路面の路面領域に属するグループ
ｇ グループ
Ｇ１〜Ｇ４ 道路面の路面領域
ｊ 画素行
Ｌest 推定軌跡
ＬＬ、ＬＲ 車線
ＭＣ 自車両
Ｎave 画素行ごとの横幅が占める画素数の平均値
Ｎave_th 平均値閾値
Ｎｊ 画素行ごとの横幅が占める画素数
Ｐ 実空間上の点
ｐ 画素
ｐi,j 入力画素（一の画素）
Ｒ チェック領域（領域）
Ｔ 画像
Ｗave 横幅の平均値
Ｗｊ 横幅
Ｗth 横幅閾値
Ｙ−Ｙ^＊ 道路面からの高さ
Ｙth１ 第１高さ閾値
Ｙth２ 第２高さ閾値
Ｚ 実空間上の距離
ΔＤ 差分
δＤ 差分

Claims (8)

1. 撮像手段で撮像された画像を処理して、前記画像中から道路面の路面領域を検出する道路認識装置であって、
   前記画像における一の画素に隣接する画素の輝度に対する前記一の画素の輝度の差分、および前記隣接する画素が属するグループの輝度の平均値との差分に基づいて前記一の画素および前記隣接する画素を１つのグループに統合する統合手段と、
   前記統合手段により統合された前記グループについて、画像の横方向の画素行ごとの横幅の平均値、および前記グループに属する画素の輝度の平均値を算出する算出手段と、
   前記画像中で自車両の進行方向に設定される領域内で前記グループが占める面積を算出する面積算出手段と、
   前記グループの前記画素行に所定の横幅閾値以上である画素行が存在し、前記グループの前記画素行ごとの横幅の平均値が所定の平均値閾値以上であり、前記グループに属する前記各画素の輝度の平均値が所定の輝度平均閾値以下であり、かつ、前記面積算出手段により算出された前記グループの前記面積が所定の面積閾値以上である場合に、当該グループを道路面の路面領域に属するグループとして検出する路面領域検出手段と、
   を備えることを特徴とする道路認識装置。
2. 前記輝度平均閾値は、前記撮像手段のシャッタレベルに応じて可変されることを特徴とする請求項１に記載の道路認識装置。
3. 前記画像中から自車両の側方に存在する車線を検出する車線検出手段を備え、
   前記車線検出手段は、検出した前記車線が撮像された画素の輝度の平均値を算出し、
   前記輝度平均閾値は、前記車線が撮像された画素の輝度の平均値に応じて可変されることを特徴とする請求項１または請求項２に記載の道路認識装置。
4. 前記画像中から自車両の側方に存在する車線を検出する車線検出手段を備え、
   前記画像中で自車両の進行方向に設定される領域は、前記車線検出手段により過去のサンプリング周期で検出された車線の情報と自車両の挙動とに基づいて今回のサンプリング周期において推定される車線の位置を基準に設定されることを特徴とする請求項１から請求項３のいずれか一項に記載の道路認識装置。
5. 前記画像中で自車両の進行方向に設定される領域は、自車両の挙動から推定される推定軌跡から横方向に所定距離離間した位置までの範囲に設定されることを特徴とする請求項１から請求項３のいずれか一項に記載の道路認識装置。
6. 前記算出手段は、前記統合手段が前記一の画素と前記隣接する画素とを１つのグループに統合する際に、前記グループの前記画素行における実空間上の横幅が前記横幅閾値以上となった場合に、条件が成立した旨の情報を当該グループに対応付け、
   前記路面領域検出手段は、前記グループの前記画素行ごとの横幅が所定の横幅閾値以上である画素行が存在するか否かの判定を、当該グループに前記情報が対応付けられているか否かを判定して行うことを特徴とする請求項１から請求項５のいずれか一項に記載の道路認識装置。
7. 前記画像中の前記各画素の実空間上の距離を検出する距離検出手段を備え、
   前記統合手段は、前記一の画素の前記実空間上の距離に基づいて算出される前記一の画素に対応する実空間上の点の前記道路面からの高さと前記隣接する画素に対応する実空間上の点の前記道路面からの高さのうち、一方が所定の第１高さ閾値以上であり、他方が前記第１高さ閾値未満である場合には、当該一の画素と前記隣接する画素とを非統合とすることを特徴とする請求項１から請求項６のいずれか一項に記載の道路認識装置。
8. 前記画像中の前記画素の実空間上の距離を検出する距離検出手段を備え、
   前記路面領域検出手段は、前記グループに属する画素の前記実空間上の距離に基づいて前記グループの前記道路面からの実空間上の高さが所定の第２高さ閾値以上である場合には、当該グループを前記道路面の路面領域の検出の対象から除外することを特徴とする請求項１から請求項７のいずれか一項に記載の道路認識装置。