JP2010224925A - 環境認識装置 - Google Patents

Abstract

【課題】撮像画像中から自車両の進行路上に存在する光源を確実に検出し的確に認識することが可能な環境認識装置を提供する。
【解決手段】環境認識装置１は、画像Ｔを撮像する撮像手段２と、画像Ｔの各画素ｐについて実空間上の距離Ｚを検出する距離検出手段６と、画像Ｔ中で互いに隣接する画素ｐを各画像データＤに基づいて隣接する画素ｐを１つのグループｇに統合する統合処理手段１０と、グループｇに属する各画素ｐやその周囲の各画素ｐ^＊に対応する実空間上の距離Ｚに基づいて各グループｇの実空間上の距離Ｚｇを算出する距離算出手段１１と、各グループｇの実空間上の距離Ｚｇ等に基づいて算出したグループｇの実空間上の大きさや道路面からの高さＹｃ−Ｙ^＊、グループｇの道路面上での自車両の進行路に対する位置がそれぞれ所定の条件を満たす場合に当該グループｇを道路上に存在する光源Ｓとして検出する光源検出手段１２とを備える。
【選択図】図１

Description

本発明は、環境認識装置に係り、特に、道路上に存在する光源を検出する環境認識装置に関する。

従来から、自車両に例えばＣＣＤカメラやＣＭＯＳカメラ等を搭載し、カメラで撮像した撮像画像中から、信号機の点灯されている信号灯等を検出する装置が知られている。

例えば、特許文献１に記載された装置では、カメラで撮像された撮像画像から赤色の発光部を抽出し、抽出した赤色発光部の撮像画像上での輝度や大きさ、撮像画像上での高さ、形状、楕円度等に基づいて信号機の赤色発光体の発光状態であるか否か、すなわち赤信号であるか否かを判定する。

また、特許文献１に記載された装置では、赤信号が複数抽出された場合には、撮像画像上での赤色発光部の大きさが大きく、かつ、撮像画像上における高さが高いほど自車両に近い距離であると判断して、自車両に近い順に各赤信号を認識することが提案されている。

特開２００７−３４６９３号公報

しかしながら、このような従来の赤信号の認識手法では、撮像画像上での輝度や大きさ、高さのみに基づいて発光部を認識しているため、例えば後述する図１５に示すように、撮像画像Ｔ中に信号機Ａ、Ｂ、Ｃがほぼ同等の大きさで撮像されているような場合、撮像画像Ｔの中央付近に撮像されている信号機Ａが検出されてしまう可能性が高くなる。

しかし、信号機Ａは自車両の進行路上ではなく側道上に設置された信号機であり、自車両の進行路上の信号機Ｂが青信号の場合に信号機Ａは赤信号である場合も多い。そのような場合、側道上の信号機Ａを自車両の進行路上の信号機と誤認して、赤信号であると認識してしまうと、例えばその検出結果に基づいて自車両のブレーキ制御を行う場合、自車両の進行路上の信号機Ｂが青信号であるにもかかわらず、信号機Ｂの手前で自動的にブレーキがかかる状態となり、後続車に追突される等の危険性が生じる。

このように、特に信号機の点灯されている信号灯のような誤認識が許されない対象を検出する場合、撮像画像上での輝度や大きさ、高さ等のみに基づいて認識する手法では、認識の信頼性が必ずしも高いものとはならない。

また、自車両から距離が遠い所にある信号機を検出する場合、上記の手法では、赤信号なのか広告塔やネオンサイン等の赤い表示であるのかを区別することが難しく、広告塔やネオンサイン等の赤い表示を赤信号であると誤認識してしまう場合もある。

道路上に存在する光源としては、信号機の点灯された信号灯のほかにも、例えば先行車両のテールランプやブレーキランプ、ウインカ等のように、誤認識すると甚大な事故を生じかねないものが多く、それらの光源を確実に検出し的確に認識することが可能な環境認識装置の開発が望まれている。

本発明は、このような事情に鑑みてなされたものであり、撮像画像中から自車両の進行路上に存在する信号機の点灯されている信号灯等の光源を確実に検出し的確に認識することが可能な環境認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
環境認識装置において、
画素ごとに画像データを有する画像を撮像する撮像手段と、
前記画像の各画素について実空間上の距離を検出する距離検出手段と、
前記画像から道路面を検出する路面検出手段と、
前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を１つのグループに統合する統合処理手段と、
前記グループに属する前記画素および前記グループの周囲に存在する前記画素に対応する前記実空間上の距離の少なくともいずれかに基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて、当該グループの実空間上の大きさ、前記道路面からの実空間上の高さ、および当該グループの自車両の進行路に対する実空間上の位置を算出し、前記大きさ、高さおよび位置がそれぞれ所定の条件を満たす場合に当該グループを道路上に存在する光源として検出する光源検出手段と、
を備えることを特徴とする。

第２の発明は、第１の発明の環境認識装置において、
前記画像中から自車両側方の車線を検出する車線検出手段を備え、
前記光源検出手段は、前記車線の実空間上の位置に基づいて前記自車両の進行路およびそれに対する前記グループの実空間上の位置を算出することを特徴とする。

第３の発明は、第１または第２の発明の環境認識装置において、前記統合処理手段は、予め設定された第１の条件を満たす前記画像データを有する画素を検出するととともに、前記第１の条件で規定される前記画像データの範囲よりも広い範囲に設定された第２の条件を満たす前記画像データを有する画素を検出する場合、前記第１の条件を満たす前記画像データを有する画素と統合して１つのグループとすることを特徴とする。

第４の発明は、第３の発明の環境認識装置において、
前記画像データはカラーの画像データであり、
前記第１の条件は、前記画像の中から特定の色と特定の明るさを有する前記画素が検出されるように設定されており、
前記第２の条件は、前記特定の色を有するが、その明るさが前記第１の条件で規定される前記特定の明るさよりも暗い前記画素が検出されるように設定されていることを特徴とする。

第５の発明は、第４の発明の環境認識装置において、前記第２の条件は、前記特定の色を有し、その明るさが前記第１の条件で規定される前記特定の明るさよりも明るい前記画素も検出されるように設定されていることを特徴とする。

第６の発明は、第１から第５のいずれかの発明の環境認識装置において、前記統合処理手段は、前記画素と隣接する画素の前記実空間上の距離の差異と、前記画素の前記実空間上の距離と前記グループの前記実空間上の距離との差異のいずれかの差異が所定の閾値を上回る場合には、前記画素をグループに非統合とすることを特徴とする。

第７の発明は、第１から第６のいずれかの発明の環境認識装置において、前記統合処理手段は、前記画素を前記グループに統合した場合に、当該グループの形状が円形状でなくなる場合には、前記画素を前記グループに非統合とすることを特徴とする。

第８の発明は、第１から第６のいずれかの発明の環境認識装置において、前記統合処理手段は、前記画素を前記グループに統合した場合に、当該グループの形状が円形状でなくなる場合には、前記グループを棄却して、前記光源検出手段における処理の対象から除外することを特徴とする。

第９の発明は、第１から第８のいずれかの発明の環境認識装置において、前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離と、前記グループの画像上での範囲から左右または上下に探索して、前記実空間上の距離が検出されており前記画像上で前記範囲に最も近接する位置に存在する前記画素に対応する前記実空間上の距離の少なくともいずれかに基づいて、前記グループの実空間上の距離を算出することを特徴とする。

第１０の発明は、第９の発明の環境認識装置において、前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離、および／または、前記グループの前記画像上での範囲の左右または上下に最も近接する位置に存在する前記画素に対応する前記実空間上の距離の、平均値または中央値を、前記各グループの実空間上の距離として算出することを特徴とする。

第１１の発明は、第９の発明の環境認識装置において、前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離、および／または、前記グループの前記画像上での範囲の左右または上下に最も近接する位置に存在する前記画素に対応する前記実空間上の距離を、前記グループごとにヒストグラムに投票し、そのピーク値を前記各グループの実空間上の距離として算出することを特徴とする。

第１２の発明は、第９の発明の環境認識装置において、前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離、および／または、前記グループの前記画像上での範囲の左右または上下に最も近接する位置に存在する前記画素に対応する前記実空間上の距離のうち、近接した値の前記距離同士をまとめ、まとめられた前記距離の群のうち、データ数が最も多い群に属する前記実空間上の距離の平均値または中央値を前記各グループの実空間上の距離として算出することを特徴とする。

第１３の発明は、第１から第１２のいずれかの発明の環境認識装置において、前記光源検出手段は、前記光源として、信号機の点灯された信号灯、先行車両のテールランプ、ブレーキランプ、ウインカのいずれかを検出することを特徴とする。

第１４の発明は、第１から第１３のいずれかの発明の環境認識装置において、前記光源検出手段は、前記光源として信号機の点灯された信号灯を検出する場合、検出した前記グループの前記画像上の位置から下方の所定距離内に、物体が存在しない場合に、前記信号機の点灯された信号灯を検出することを特徴とする。

第１の発明によれば、各グループに属する各画素の実空間上の距離に基づいて各グループの実空間上の大きさ、道路面からの実空間上の高さ、およびグループの道路面上での自車両の進行路に対する実空間上の位置が判定されるため、それらに基づいて、検出した光源が信号機の点灯された信号灯（例えば赤信号）等であるか否かを判定して的確に認識することが可能となる。また、それにより、光源を精度良く確実に検出することが可能となるとともに、認識の信頼性を飛躍的に向上させることが可能となる。

また、光源が自車両から遠い距離にある場合でも、実空間上の大きさや道路面からの実空間上の高さ、道路面上での自車両の進行路に対する実空間上の位置に基づいて光源を判定するため、例えば、道路脇の広告塔やネオンサイン等の赤い表示を赤信号であると誤認識することを的確に防止することが可能となる。

第２の発明によれば、画像中から検出した自車両側方の車線の情報に基づいて自車両の進行路やそれに対するグループの実空間上の位置、道路面を的確に算出することが可能となり、前記発明の効果がより的確かつ確実に発揮される。

第３の発明によれば、画像上では、光源は、中央が明るく、中央から離れるに従って暗く撮像されるという特徴を有するが、最初に中央の明るい部分を検出するように構成すると、画像中に撮像された空等の明るい部分が全て検出されてしまうため、検出すべき光源を効率良く検出できない。

そのため、前記各発明の効果に加え、画素の画像データに対する第１の条件を、中央の明るい部分ではなく、その周囲の部分の画像データを有する画素に絞り込んで検出するように規定し、当該画素の周囲の画素の探索における第２の条件を第１の条件で規定される画像データの範囲よりも広い範囲に設定して画素を検出することで、光源を効率良く検出することが可能となる。

第４の発明によれば、カラー画像上では、光源は、中央に白っぽく明るい部分が撮像され、その周囲に光源に特有の色を有する明るい部分が撮像され、さらにその周囲に光源に特有の色を有するが暗い部分が撮像されるという特徴を有するが、最初に中央の白っぽく明るい部分を検出するように構成すると、画像中に撮像された空等の白っぽく明るい部分が全て検出されてしまうため、検出すべき光源を効率良く検出できない。

そのため、前記各発明の効果に加え、画素の画像データに対する第１の条件を、中央の白っぽい明るい部分ではなく、その周囲の部分の、光源に特有の特定の色と特定の明るさを有する画素に絞り込んで検出するように規定し、その後の当該画素の周囲の画素の探索における第２の条件を、第１の条件で規定される画像データの範囲よりも広く、特定の色を有するがその明るさが第１の条件で規定される特定の明るさよりも暗い範囲に設定して画素を検出することで、光源に特有の辺縁部の暗い部分を含めて、光源に特有の色に着目して光源を効率良く検出することが可能となる。

第５の発明によれば、第２の条件を、光源に特有の特定の色を有しその明るさが第１の条件で規定される特定の明るさよりもさらに明るい画素も検出されるように設定することで、光源に特有の中央の白っぽく明るい部分を含めて、光源に特有の色に着目して光源を効率良く検出することが可能となり、前記各発明の効果がより的確に発揮させることが可能となる。

第６の発明によれば、画素と隣接する画素の実空間上の距離の差異や、グループの実空間上の距離との差異が所定の閾値を上回り大きく離れている場合には、当該画素と、隣接する画素やグループとは、異なる撮像対象に対応する画素であると考えられるため、そのような場合に画素をグループに非統合とするように構成することで、異なる撮像対象に対応する画素を１つのグループに統合することが回避され、画像上に撮像された異なる撮像対象をそれぞれ別のグループに分割して検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第７の発明によれば、信号機の点灯された信号灯等の光源を検出する場合、画像上で光源が撮像された画素領域に他の光源からの光が入り込んで検出したグループ全体の形状が円形状でなくなる場合がある。そのような場合に、検出の途中で、画像上でのグループの全体の形状が円形状でなくなった時点で当該画素をグループに非統合として統合処理を終了することで、他の光源から入り込んだ光の部分を的確に排除して、目的の光源から発光された光のみを的確に抽出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第８の発明によれば、他の光源からの光が入り込む環境にないような光源の場合には、検出の途中で、画像上でのグループの全体の形状が円形状でないことが分かった段階で統合処理を打ち切り、グループを棄却するように構成した方が処理の効率が向上する場合がある。そのため、そのような場合にして、グループを棄却して、その後の距離算出手段や光源検出手段における処理の対象から除外することで目的の光源を効率良く検出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第９の発明によれば、統合して検出したグループ自体の実空間上での距離を算出する場合、グループに属する各画素について距離検出手段により実空間上の距離がそれぞれ検出されていればそれらを用いてグループの実空間上の距離を算出することができるが、それらの画素に必ずしも実空間上の距離が検出されているとは限らない。

そのため、そのような場合には、画像上でグループが占める画素範囲を越えて上下や左右に実空間上の距離が検出されている画素を探し、それらの画素のうちでグループに最も近い画素の実空間上の距離を用いてグループの実空間上の距離を算出することが可能となる。そして、そのように構成することで、グループの実空間上の距離を的確に算出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１０の発明によれば、上記のようにグループの実空間上の距離を算出する際、グループに属する各画素や上記のようにグループに最も近接する画素の実空間上の距離の平均値や中央値を算出して、各グループの実空間上の距離とすることで、各グループの実空間上の距離を容易かつ的確に算出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１１の発明によれば、上記のようにグループの実空間上の距離を算出する際、グループに属する各画素や上記のようにグループに最も近接する画素の実空間上の距離のデータを、グループごとに作成された各ヒストグラムに投票し、そのピーク値を各グループの実空間上の距離として算出することで、例えば各画素の実空間上の距離のデータ中に誤検出等で他の画素の実空間上の距離から大きく離れた実空間上の距離のデータが存在しても、その大きく離れた実空間上の距離のデータに引きずられることなく、各グループの実空間上の距離を的確に算出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１２の発明によれば、上記のようにグループの実空間上の距離を算出する際、グループに属する各画素や上記のようにグループに最も近接する画素の実空間上の距離のデータとして、近接した値同士を群にまとめられるような距離のデータが得られた場合、まとめられた距離の群のうち、データ数が最も多い群に属する実空間上の距離の平均値や中央値を各グループの実空間上の距離として算出することで、各グループの実空間上の距離を的確に算出することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。

第１３の発明によれば、光源が信号機の点灯された信号灯や先行車両のテールランプ、ブレーキランプ、ウインカ等である場合にも、前記各発明の効果が的確に発揮され、撮像された少なくとも画像中から信号機の点灯された信号灯等の目的の光源を確実に検出して的確に認識することが可能となる。

第１４の発明によれば、前記各発明の効果に加え、光源として信号機の点灯された信号灯を検出する場合、実空間上で信号機の信号灯の下方の所定距離内には物体が存在せず、空間が存在するはずであるから、統合し検出したグループが他の条件を満たし、さらにその下側の所定距離内に物体が存在しない空間部分があれば、そのグループを信号機の点灯された信号灯であると的確に認識することが可能となり、光源として特に信号機の点灯された信号灯を検出する場合にその検出や認識の信頼性をさらに向上させることが可能となる。

第１の実施形態に係る環境認識装置の構成を示すブロック図である。 撮像手段で撮像される基準画像の例を示す図である。 距離検出手段のイメージプロセッサによるステレオマッチング処理を説明する図である。 作成された距離画像の例を示す図である。 基準画像の水平ライン上を探索して検出された車線候補点の例を説明する図である。 自車両側方に検出された車線の例を説明する図である。 形成された車線モデルの例を説明する図であり、（Ａ）はＺ−Ｘ平面上の水平形状モデル、（Ｂ）はＺ−Ｙ平面上の道路高モデルを表す。 基準画像上に撮像された光源の例を示す図である。 検出した画素の上下方向に探索して検出された第２の条件を満たす画素およびグループを示す図である。 図９の画素列の右隣の画素列におけるグループの検出の手法を説明する図である。 グループの縦方向の長さの変化を説明する図であり、（Ａ）は最大値になった場合、（Ｂ）は最大値より短い場合、（Ｃ）は（Ｂ）よりさらに短い場合を表す。 グループの縦方向の長さが最小値より増加した場合を説明する図である。 グループの範囲の上下に近接し実空間上の距離が検出されている各画素を表す図である。 グループの左右端の各画素および上下端の各画素を説明する図である。 自車両の進行路上の信号機を含む複数の信号機が撮像された基準画像の例を示す図である。 図１５の基準画像上で自車両の進行路に基づいて検出された信号機を説明する図である。 グループに属する各画素に対応する実空間上の各点をＸ−Ｚ平面にプロットした例を説明する図である。 グループに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットした例を説明する図である。

以下、本発明に係る環境認識装置の実施の形態について、図面を参照して説明する。

本実施形態に係る環境認識装置１は、図１に示すように、撮像手段２や距離検出手段６、統合処理手段１０や距離算出手段１１、光源検出手段１２、路面検出手段１４等を有する処理部９等を備えて構成されている。

なお、距離検出手段６等を含む処理部９の上流側の構成については、本願出願人により先に提出された特開２００６−７２４９５号公報等に詳述されており、構成の詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。

本実施形態では、撮像手段２は、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され、例えば車両のルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラであり、所定のサンプリング周期で撮像して、一対の画像を出力するように構成されている。

一対のカメラのうち、メインカメラ２ａは運転者に近い側のカメラであり、例えば図２に示すような画像Ｔを撮像するようになっている。サブカメラ２ｂで撮像された画像と区別するために、以下、メインカメラ２ａで撮像された画像Ｔを基準画像Ｔ、サブカメラ２ｂで撮像された画像を比較画像Ｔｃという。

なお、本実施形態では、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂでは、それぞれＲＧＢ値等で表されるカラーの画像データＤが取得されるようになっているが、モノクロの画像データを撮像する撮像手段を用いることも可能であり、その場合についても本発明が適用される。また、以下、カラーの画像データＤが、ＲＧＢ値、すなわちＲＧＢ表色系におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分で表現される各データ値として出力される場合について説明するが、ＲＧＢ値を例えばＬ^＊ａ^＊ｂ^＊表色系やＨＬＳ（ＨＳＬ、ＨＳＩともいう。）等で記述される各データ値に変換して処理を行うように構成することも可能である。

変換手段３は、一対のＡ／Ｄコンバータ３ａ、３ｂで構成されており、撮像手段２のメインカメラ２ａおよびサブカメラ２ｂで各画素ごとに撮像された基準画像Ｔと比較画像Ｔｃの各画像データＤがそれぞれ順次送信されてくると、各画像データＤのＲＧＢ値をそれぞれ例えば０〜２５５の輝度値のデジタル値に変換して画像補正部４に出力するようになっている。

画像補正部４は、送信されてきた基準画像Ｔと比較画像Ｔｃの各画像データＤに対してずれやノイズの除去、輝度の補正等の画像補正をそれぞれ順次行い、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データＤを画像データメモリ５に順次格納するとともに、処理部９に順次送信するようになっている。また、画像補正部４は、画像補正した基準画像Ｔと比較画像Ｔｃの各画像データＤを距離検出手段６にも順次送信するようになっている。

距離検出手段６のイメージプロセッサ７では、基準画像Ｔと比較画像Ｔｃの各画像データに対して順次ステレオマッチング処理やフィルタリング処理を施して、実空間上の距離に対応する視差ｄｐを基準画像Ｔの各画素ごとに順次算出するようになっている。

イメージプロセッサ７におけるステレオマッチング処理では、基準画像Ｔと比較画像Ｔｃの各画像データＤが送信されてくると、図３に示すように、基準画像Ｔ上に例えば３×３画素や４×４画素等の所定の画素数の基準画素ブロックＰＢを設定し、基準画素ブロックＰＢに対応する比較画像Ｔｃ中のエピポーララインＥＰＬ上の基準画素ブロックＰＢと同形の各比較画素ブロックＰＢｃについて、下記（１）式に従って当該基準画素ブロックＰＢとの輝度パターンの差異であるＳＡＤ値を算出し、ＳＡＤ値が最小の比較画素ブロックＰＢｃを特定するようになっている。
ＳＡＤ＝Σ｜Ｄ１s,t−Ｄ２s,t｜
＝Σ｛｜Ｒ１s,t−Ｒ２s,t｜＋｜Ｇ１s,t−Ｇ２s,t｜
＋｜Ｂ１s,t−Ｂ２s,t｜｝ …（１）

なお、上記（１）式において、Ｄ１s,t等は基準画素ブロックＰＢ中の各画素の画像データＤ等を表し、Ｄ２s,t等は比較画素ブロックＰＢｃ中の各画素の画像データＤ等を表す。また、上記の総和は、基準画素ブロックＰＢや比較画素ブロックＰＢｃが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について計算される。

イメージプロセッサ７は、このようにして基準画像Ｔの各基準画素ブロックＰＢについて、特定した比較画素ブロックＰＢｃの比較画像Ｔｃ上の位置と当該基準画素ブロックＰＢの基準画像Ｔ上の位置から視差ｄｐを順次算出するようになっている。以下、基準画像Ｔの各画素に視差ｄｐを割り当てた画像を距離画像Ｔｚという。また、このようにして各画素ごとに算出された視差ｄｐの情報すなわち距離画像Ｔｚは、距離検出手段６の距離データメモリ８に順次格納されるとともに、処理部９に順次送信されるようになっている。

なお、実空間上で、前記一対のカメラ２ａ、２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（すなわち水平方向）をＸ軸方向、車高方向（すなわち高さ方向）をＹ軸方向、車長方向（すなわち距離方向）をＺ軸方向とした場合、実空間上の点（Ｘ，Ｙ，Ｚ）と、距離画像Ｔｚ上の画素の座標（ｉ，ｊ）および視差ｄｐとは、下記（２）〜（４）式で表される三角測量の原理に基づく座標変換により一意に対応付けることができる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像Ｔｚ上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、上記のようなステレオマッチング処理で得られた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。

例えば、道路面の映像のみからなる特徴に乏しい４×４画素の基準画素ブロックＰＢに対して、比較画像Ｔｃ上でステレオマッチング処理を行っても、比較画像Ｔｃの道路面が撮像されている部分ではすべて相関が高くなるため、対応する比較画素ブロックＰＢｃが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐはフィルタリング処理を施して無効とし、視差ｄｐの値として０を出力するようになっている。

したがって、基準画像Ｔの各画素に、有効に算出された視差ｄｐを割り当てて（すなわち対応付けて）距離画像Ｔｚを作成すると、距離画像Ｔｚは、例えば図４に示すように、基準画像Ｔ上で有意な特徴を有する部分である撮像対象の辺縁部分（エッジ部分）等に有効な視差ｄｐが算出された画像となる。なお、距離画像Ｔｚの作成においては、上記（４）式等に従って予め視差ｄｐを距離Ｚ等に換算し、距離Ｚ等を基準画像Ｔの各画素に割り当てて作成するように構成することも可能である。

本実施形態では、処理部９の統合処理手段１０や距離算出手段１１、マッチング処理手段１２等における各処理では、必要に応じて上記（４）式等に従って距離画像Ｔｚの各画素における視差ｄｐが実空間上の距離Ｚに変換されて用いられる。

なお、本実施形態では、上記のように、撮像手段２としてメインカメラ２ａとサブカメラ２ｂとを備え、距離検出手段６は、それらで撮像された基準画像Ｔおよび比較画像Ｔｃに対するステレオマッチング処理により基準画像Ｔの各画素について実空間上の距離Ｚ（すなわち視差ｄｐ）を算出するように構成されているが、これに限定されず、撮像手段２は例えば単眼のカメラのように１枚の画像Ｔのみを出力するものであってもよい。

また、距離検出手段６は、実空間上の距離Ｚを算出又は測定して画像Ｔの各画素に割り当てる機能を有していればよく、例えば自車両前方にレーザ光等を照射してその反射光の情報に基づいて画像Ｔに撮像された撮像対象までの距離Ｚを測定するレーダ装置等で構成することも可能であり、検出の手法は特定の手法に限定されない。

処理部９は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されている。処理部９は、統合処理手段１０や距離算出手段１１、光源検出手段１２、車線検出手段１３、路面検出手段１４を備えて構成されている。

また、処理部９に、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されており、それらから各測定値が入力されるようになっている。なお、処理部９において先行車両検出等の他の処理を行うように構成することも可能である。

ここで、本実施形態の処理部９の統合処理手段１０や距離算出手段１１、光源検出手段１２等における処理について説明する前に、車線検出手段１３や路面検出手段１４における処理について説明する。

なお、以下の説明において、車線とは、追越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線をいう。また、本実施形態では、以下に説明するように、車線検出手段１３で道路面に標示された車線を検出し、路面検出手段１４でその検出結果に基づいて道路面を検出するように構成されているが、路面検出手段１４は道路面を検出することができるものであれば以下に説明する形態に限定されない。

車線検出手段１３は、撮像手段２により撮像された基準画像Ｔ中から自車両側方の車線を検出するようになっている。具体的には、車線検出手段１３は、図５に示すように、基準画像Ｔを用いて、その１画素幅の水平ラインｊ上を例えば基準画像Ｔの中央から左右方向に探索し、輝度が隣接する画素の輝度から設定された閾値以上に大きく変化する画素を車線候補点ｃｌ、ｃｒとして検出する。

そして、基準画像Ｔ上の水平ラインｊを１画素分ずつ上方にシフトさせながら、同様にして各水平ラインｊ上に車線候補点を検出していく。その際、車線検出手段１３は、検出した車線候補点の視差ｄｐ等に基づいて当該車線候補点が道路面上にないと判断した場合には当該車線候補点を車線候補点から除外する。なお、この場合の道路面は、前回のサンプリング周期で路面検出手段１４が検出した道路面に基づいてその後の自車両の挙動等から今回のサンプリング周期における道路面の位置が推定される。

そして、車線検出手段１３は、残った車線候補点のうち、自車両に近い側の車線候補点に基づいて車線をハフ変換等により直線で近似して自車両側方にそれぞれ検出する。その際、ハフ変換では種々の直線が候補として算出されるが、例えば自車両の一方の側（例えば右側）に複数の車線が検出される場合には、自車両の他方（例えば左側）に検出した車線との整合性がある車線や、前回のサンプリング周期で検出した車線との整合性がある車線を選ぶ等して、自車両側方にそれぞれ直線を選別する。

このようにして、車線検出手段１３は、自車両に近い側に車線を直線状にそれぞれ検出すると、それより遠い側ではその直線に基づいて直線との位置関係等から車線候補点を選別して結ぶことで、図６に示すように自車両側方にそれぞれ車線ＬＬ、ＬＲを検出するようになっている。なお、以上の車線検出手段１３の処理構成については、本願出願人が先に提出した特開２００６−３３１３８９号公報等に詳述されており、詳細な説明は同公報等を参照されたい。

車線検出手段１３は、このようにして検出した車線位置ＬＬ、ＬＲや車線候補点ｃｌ、ｃｒ等の情報を図示しないメモリに保存するようになっている。

路面検出手段１４は、車線検出手段１３が検出した車線位置ＬＬ、ＬＲや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、路面検出手段１４は、図７（Ａ）、（Ｂ）に示すように、自車両側方の各車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図７（Ａ）は、Ｚ−Ｘ平面上の車線モデルすなわち水平形状モデル、図７（Ｂ）は、Ｚ−Ｙ平面上の車線モデルすなわち道路高モデルを表す。

具体的には、路面検出手段１４は、自車両前方の実空間を自車両の位置からの例えば距離Ｚ７までの各区間に分け、検出した車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（５）〜（８）式のパラメータａＬ、ｂＬ、ａＲ、ｂＲ、ｃＬ、ｄＬ、ｃＲ、ｄＲを算出して車線モデルを形成するようになっている。

［水平形状モデル］
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ …（５）
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ …（６）
［道路高モデル］
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ …（７）
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ …（８）

路面検出手段１４は、このようにして車線モデルを形成して、実空間上における道路面を検出するようになっている。また、路面検出手段１４は、このようにして形成した車線モデルすなわち算出した各区間のパラメータａＬ〜ｄＲをそれぞれメモリに保存するようになっている。

次に、統合処理手段１０や距離算出手段１１、光源検出手段１２等における処理について説明するとともに、本実施形態に係る環境認識装置１の作用についてもあわせて説明する。

なお、以下では、信号機の赤く点灯された信号灯（すなわち、いわゆる赤信号）を検出する場合について説明する。また、本実施形態では、処理を行う対象として、撮像手段２のメインカメラ２ａで撮像された基準画像Ｔを用いるように構成されているが、撮像手段２のサブカメラ２ｂで撮像された比較画像Ｔｃを用いるように構成することも可能であり、また、その両方を用いるように構成することも可能である。

統合処理手段１０は、基準画像Ｔ中において互いに隣接する画素ｐについて、当該隣接する画素ｐの各画像データＤに基づいて当該隣接する画素ｐを１つのグループに統合するか否かを判定し、統合すべきと判定した場合に１つのグループｇに統合するようになっている。

本実施形態では、統合処理手段１０は、基準画像Ｔ中の各画素ｐを探索し、画像データＤについての予め設定された第１の条件を満たす画像データＤを有する画素ｐ（以下、注目画素ｐ（ｉ，ｊ）という。）を検出すると、注目画素ｐ（ｉ，ｊ）の周囲に隣接する各画素ｐを探索し、第１の条件で規定される画像データＤの範囲よりも広い範囲に設定された第２の条件を満たす画像データＤを有する画素ｐを検出すると、注目画素ｐ（ｉ，ｊ）と統合して１つのグループｇとする。そして、さらに当該グループｇの周囲に隣接する各画素ｐを探索し、第２の条件を満たす画像データＤを有する画素ｐを検出すると当該グループｇに統合する。

具体的には、統合処理手段１０は、撮像手段２のメインカメラ２ａから画像補正部４等を介して基準画像Ｔの各画素ｐの画像データＤが送信されてくると、基準画像Ｔ中の各画素ｐを探索し、画像データＤについての予め設定された下記の第１の条件を満たす画像データＤを有する画素ｐが探索する。

第１の条件としては、基準画像Ｔの中から特定の色（本実施形態では赤色）と特定の明るさを有する注目画素ｐ（ｉ，ｊ）が検出されるように設定されており、本実施形態では、注目画素ｐ（ｉ，ｊ）の画像データＤのそれぞれ０〜２５５の輝度値で表現されるＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分について、以下のような条件が設定されている。

［第１の条件］Ｒ≧２００、かつ、Ｇ、Ｂ＜２００ …（９）
すなわち、本実施形態では、第１の条件は、基準画像Ｔ中から赤みがかった色を有し、光源にふさわしい明るい画素ｐが注目画素ｐ（ｉ，ｊ）として検出されるように設定されている。

信号機の赤信号のような光源が撮像手段２で撮像されると、赤い光を放つ光源が撮像されているにもかかわらず、基準画像Ｔ等では、図８に示すように、光源Ｓの中心部分Ｓｃが赤みがかった白色に撮像され、その部分の画素ｐの画像データＤのＲ、Ｇ、Ｂの各色成分の輝度値が全て２００を越えるほど大きな値として検出される。これは、赤信号に限った現象ではなく、例えば、信号機の青信号のような青い光を放つ光源でも、やはり基準画像Ｔや比較画像Ｔｃ上では光源の中心部分が青みがかった白色に撮像される。

そのような場合に、第１の条件として光源Ｓの中心部分Ｓｃを検出することを目的として、第１の条件を、例えば後述する第２の条件の［条件２ｂ］のように、
Ｒ、Ｇ、Ｂ＞２００、かつ、Ｒ≧Ｇ、Ｒ≧Ｂ …（１０）
と設定すると、基準画像Ｔ中に撮像された空など白っぽく明るく撮影された対象が全て検出されてしまうため、信号機の赤信号のような赤い光を放つ光源Ｓを効率良く検出できない。

そのため、本実施形態では、光源Ｓの中心部分Ｓｃのように白く撮像された画素ｐではなく、その周囲の、赤く、かつ、明るく撮像された画素領域Ｓｌの画素ｐを最初に検出するように構成して、検出の端緒となる画素ｐ（注目画素ｐ（ｉ，ｊ））の条件を絞り込むことで、信号機の赤信号のような赤い光を放つ光源Ｓ等を効率良く検出するようになっている。

統合処理手段１０は、基準画像Ｔ上に上記の第１の条件を満たす画像データＤを有する注目画素ｐ（ｉ，ｊ）を検出すると、続いて、図９に示すように、検出した注目画素ｐ（ｉ，ｊ）を含む基準画像Ｔ中で上下方向に延在する１画素幅の画素列pls上を上向きに１画素シフトさせ、注目画素ｐ（ｉ，ｊ）の上側に隣接する画素ｐ（ｉ，ｊ＋１）の画像データＤが、上記の第１の条件で規定される画像データＤの範囲よりも広い範囲に設定された下記の第２の条件を満たすか否かを判定する。

［第２の条件］
［条件２ａ］Ｒ≧１６５、かつ、Ｇ、Ｂ＜１５０ …（１１）
［条件２ｂ］Ｒ、Ｇ、Ｂ＞２００、かつ、Ｒ≧Ｇ、Ｒ≧Ｂ …（１２）
［条件２ｃ］Ｒ≧２００、かつ、Ｇ、Ｂ＜２００ …（１３）

ここで、第２の条件の［条件２ａ］は、光源に特有の色（本実施形態では赤色）を有するが、その明るさが上記の第１の条件で規定されるような明るく撮像された画素領域Ｓｌの画素ｐではなく、画素領域Ｓｌの周囲に撮像された、より暗い画素領域Ｓｄ（図８参照）の画素ｐを検出するための条件である。

このように、光源Ｓとして、より暗い画素領域Ｓｄまで検出することで、中央の明るい部分から離れるに従って暗くなっていくという光源の明るさの特性を的確に捉えて、光源Ｓを的確に検出することが可能となる。

また、第２の条件の［条件２ｂ］は、前述したように、光源特定の色（本実施形態では赤色）を有し、その明るさが第１の条件で規定される明るさよりもさらに明るく、白く撮像された光源Ｓの中心部分の画素領域Ｓｃを検出するための条件である。

このように、光源Ｓとして、より明るい画素領域Ｓｃまで検出することで、前述したように中央の明るい部分ではその光源Ｓの特有の色味をもって白っぽく撮像されるという光源の明るさの特性を的確に捉えて、光源Ｓを的確に検出することが可能となる。

さらに、第２の条件の［条件２ｃ］は上記の第１の条件と同じ条件であり、注目画素ｐ（ｉ，ｊ）に隣接する画素が、注目画素ｐ（ｉ，ｊ）と同じく、光源Ｓの中心部分Ｓｃの周囲の、赤く、かつ、明るく撮像された画素領域Ｓｌの画素ｐである場合に、それを検出するための条件である。

統合処理手段１０は、注目画素ｐ（ｉ，ｊ）の上側に隣接する各画素ｐ（ｉ，ｊ＋１）の画像データＤが上記の第２の条件を満たすと判定すると、当該画素ｐ（ｉ，ｊ＋１）を注目画素ｐ（ｉ，ｊ）と統合して１つのグループｇとする。統合処理手段１０は、続いて、当該画素ｐ（ｉ，ｊ＋１）の上側に隣接する画素ｐ（ｉ，ｊ＋２）についても同様に第２の条件に基づいて判定を行い、第２の条件を満たすと判定すると、その画素ｐ（ｉ，ｊ＋２）をグループｇに統合する。

統合処理手段１０は、この作業を第２の条件のいずれの条件も満たさない画素ｐが出現するまで行い、第２の条件を満たさない画素ｐの直前の画素ｐまでをグループｇに統合する。また、注目画素ｐ（ｉ，ｊ）の下側の各画素ｐについても同様に統合処理を行う。

そして、統合処理手段１０は、図１０に示すように、画素列pls上で統合したグループｇの上端の画素の座標（ｉ，ｊmax）と下端の画素の座標（ｉ，ｊmin）をそれぞれ図示しないメモリに記憶させ、続いて、探索するを画素列を画素列plsから基準画像Ｔ上の右方向および左方向に画素列をシフトさせて各画素列で同様にして画素の探索を行う。

具体的には、画素列plsでのグループｇの上端と下端の各画素のｊ座標ｊmax、ｊminの中点のｊ座標ｊmidを算出する。そして、図１０に示すように、画素列を例えば右隣の画素列plに移行し、その画素列plで座標（ｉ＋１，ｊmid）の画素を開始点として上記と同様に上下方向に探索して画素列plでのグループｇの上端と下端の各画素を検出して、それらの座標（ｉ＋１，ｊmax）、（ｉ＋１，ｊmin）をそれぞれメモリに記憶する。

統合処理手段１０は、画素列plをさらに右方向にシフトさせながら探索を繰り返し、各画素列plのグループｇの上端、下端の各画素の座標をそれぞれメモリに記憶していく。また、最初の画素列plsの左方向についても同様に探索して、各画素列plのグループｇの上端、下端の各画素の座標をそれぞれメモリに記憶していく。

なお、前述したように、距離検出手段６で基準画像Ｔの各画素ｐ（正確には前述したフィルタリング処理で視差ｄｐの値として０ではない有意な値が割り当てられている各画素ｐ）には視差ｄｐが算出されて割り当てられている。そのため、その視差ｄｐ或いは視差ｄｐから算出された実空間上の距離Ｚを利用して、上記の画素ｐのグループｇへの統合処理において、画素ｐが上記の第２の条件を満たしていても、当該画素ｐの実空間上の距離Ｚｐと、隣接する画素や、グループｇの実空間上の距離Ｚとの差異が、予め設定された閾値を上回る場合には、当該画素ｐをグループｇに非統合とするように、すなわち統合しないように構成することが可能である。

隣接する画素やグループｇの実空間上の距離Ｚと大きくかけ離れた実空間上の距離Ｚｐを有する画素ｐは、たとえ第２の条件を満たすとしても、隣接する画素やグループｇに対応する撮像対象とは異なる撮像対象に対応する画素であると考えられる。そのため、上記のように構成することで、異なる撮像対象に対応する画素を１つのグループｇに統合することが回避され、基準画像Ｔ上に撮像された異なる撮像対象をそれぞれ別のグループに分割して検出することが可能となる。

なお、グループｇの実空間上の距離Ｚを求める手法としては、グループｇに統合されている各画素ｐに対応する実空間上の各距離Ｚｐの平均値や中央値として算出することが可能であり、また、画素ｐをグループｇに統合するごとにその画素ｐに対応する実空間上の距離Ｚｐを図示しないヒストグラムに投票していき、そのピーク値をグループｇの実空間上の距離Ｚとすることも可能である。

一方、本実施形態では、統合処理手段１０は、ある画素ｐをグループｇに統合するか否かの判定において、仮に画素ｐをグループｇに統合した場合に、基準画像Ｔ上でのグループｇの全体の形状が円形状でなくなる場合には、当該画素ｐをグループｇに非統合として統合処理を終了するようになっている。

具体的には、統合処理手段１０は、各画素列pls、plにおけるグループｇの上端の画素から下端の画素までの画素数ｒ（以下、上下方向の長さｒという。）を監視しており、図１１（Ａ）に示すように各画素列pls、plにおけるグループｇの上下方向の長さｒが一旦最大値ｒmaxとなり、図１１（Ｂ）に示すように画素列plにおけるグループｇの上下方向の長さｒが最大値ｒmaxを下回り、図１１（Ｃ）に示すように画素列plにおけるグループｇの上下方向の長さｒの減少傾向が続いて、画素列plにグループｇが発見できなくなれば、すなわち第２の条件も満たす画素ｐが見出されなくなれば、その時点で右方向や左方向の画素列での探索を停止する。

また、図１２に示すように画素列plにおけるグループｇの上下方向の長さｒが減少して一旦最小値ｒminとなった後、再び最小値ｒminより大きな値になった場合には、基準画像Ｔ上でのグループｇの全体の形状が円形状でなくなるため、画素列plで右方向や左方向の画素列での探索を停止し、その直前の最小値ｒminを与えた画素列までをグループｇが検出された範囲とする。信号機の点灯された信号灯のような光源に対応するグループｇは、通常、上下方向の長さｒが減少した後、再び増加することはないからである。

ここで、グループｇの全体の形状が円形状という場合、完全な円形を意味するものではなく、例えば基準画像Ｔ上で画素列plを左右方向に移動させながらグループｇの上下方向の長さｒを見た場合に、一旦増加傾向にあった上下方向の長さｒが減少傾向に転じて減少傾向が続くような形状であることを意味する。

また、上記のように、信号機の点灯された信号灯のような光源に対応するグループｇは、通常、上下方向の長さｒが減少した後、再び増加することはないから、図１２に示したように、画素列plにおけるグループｇの上下方向の長さｒが減少して一旦最小値ｒminとなった後、再び最小値ｒminより大きな値になり、基準画像Ｔ上でのグループｇの全体の形状が円形状でなくなった場合には、当該グループｇを棄却して、後述する距離算出手段１１や光源検出手段１２における処理の対象から除外するように構成することも可能である。

統合処理手段１０は、上記のようにして各画素ｐをグループｇに統合する統合処理を終了すると、基準画像Ｔ上で探索していない画素ｐがなくなるまで上記の統合処理を繰り返して、基準画像Ｔ上に各グループｇを統合して形成するようになっている。

なお、図８に示したように、光源Ｓが中央に画素領域Ｓｃを有するように撮像されるという特性を利用して、基準画像Ｔ上で統合された各グループｇにおいて、上記の第２の条件の［条件２ｂ］を満たす画素ｐがグループｇ内に存在しないグループｇを、光源Ｓが撮像されたものではないと判定し、当該グループｇを棄却して、後述する距離算出手段１１や光源検出手段１２における処理の対象から除外するように構成することも可能である。

距離算出手段１１は、統合処理手段１０により統合された各グループｇについて、実空間上の距離Ｚｇを算出するようになっている。

前述したように、統合処理手段１０で、画素ｐをグループｇに統合するか否かを判定する際に、グループｇの実空間上の距離Ｚとして、グループｇに統合されている各画素ｐに対応する実空間上の各距離Ｚｐの平均値や中央値が算出されたり、画素ｐをグループｇに統合するごとにその画素ｐに対応する実空間上の距離Ｚｐをヒストグラムに投票していった場合のピーク値が算出されているため、距離算出手段１１を、それらの値をグループｇの実空間上の距離Ｚｇとして活用するように構成することが可能である。

しかし、前述したように、統合処理手段１０では、基本的には上記の第１の条件と第２の条件に基づいて各画素ｐの画像データＤのＲ、Ｇ、Ｂの各色成の値に応じてグループｇへの統合の可否が判定されて各画素ｐがグループｇに統合される。そのため、グループｇが、前述した距離検出手段６におけるフィルタリング処理で視差ｄｐの値として０が割り当てられている各画素ｐのみで形成される場合もある。このような場合には、上記の手法ではグループｇの実空間上の距離Ｚｇを算出することができない。

そこで、本実施形態では、距離算出手段１１は、グループｇに属する各画素ｐの実空間上の距離Ｚｐだけでなく、基準画像Ｔ上でグループｇの周囲に存在する各画素ｐに対応する実空間上の距離Ｚｐをも用いて、各グループｇの実空間上の距離Ｚｇを算出するようになっている。

具体的には、上記のように、統合処理手段１０で、基準画像Ｔで各グループｇが統合され、各グループｇの基準画像Ｔ上での範囲が確定すると、距離算出手段１１は、各グループｇの基準画像Ｔ上での範囲に属する上下方向に延在する１画素幅の各画素列plごとに、各グループｇの範囲を越えて上方向および下方向に探索し、図１３に示すように、実空間上の距離Ｚｐが検出されている画素ｐのうち、グループｇの範囲に最も近接する位置に存在する画素ｐ^＊に対応する実空間上の距離Ｚｐ^＊をも用いて、各グループｇの実空間上の距離Ｚｇを算出するようになっている。

グループｇの範囲に最も近接する位置に存在する画素ｐ^＊に対応する実空間上の距離Ｚｐ^＊をも用いてグループｇの実空間上の距離Ｚｇを求める手法としては、グループｇに属する各画素ｐに対応する実空間上の距離Ｚｐおよび近接する位置に存在する画素ｐ^＊に対応する実空間上の各距離Ｚｐ^＊の平均値や中央値として算出することが可能である。

また、統合処理手段１０で作成され、グループｇに属する各画素ｐに対応する実空間上の距離Ｚｐが投票されているヒストグラムに、さらにグループｇの範囲に最も近接する位置に存在する画素ｐ^＊に対応する実空間上の距離Ｚｐ^＊を投票して、そのピーク値をグループｇの実空間上の距離Ｚｇとすることも可能である。

さらに、基準画像Ｔ上でグループｇの周囲に存在する各画素ｐ^＊に対応する実空間上の距離Ｚｐ^＊をも含めるように構成した結果、グループｇに属する各画素ｐや周囲の各画素ｐ^＊に対応する実空間上の距離Ｚｐ、Ｚｐ^＊の分布が複数の群にまとめられる状態となる場合がある。

そのような場合には、グループｇに属する各画素ｐに対応する実空間上の距離Ｚｐや、グループｇの基準画像Ｔ上での範囲の上下や左右に最も近接する位置に存在する画素ｐ^＊に対応する実空間上の距離Ｚｐ^＊のうち、似通った距離Ｚｐ、Ｚｐ^＊同士をまとめ、まとめられた距離の群のうち、データ数が最も多い群に属する実空間上の距離Ｚｐ、Ｚｐ^＊の平均値や中央値を、各グループｇの実空間上の距離Ｚｇとして算出するように構成することも可能である。

なお、グループｇの範囲に最も近接する位置に存在する画素ｐ^＊自体は、当該グループｇには統合されない。また、グループｇに最も近接するといっても、画素ｐ^＊が基準画像Ｔ上でグループｇからあまりに遠く離れている場合には、最も近接する位置に存在する画素ｐ^＊に対応する実空間上の距離Ｚｐ^＊をグループｇの実空間上の距離Ｚｇの算出に用いるべきではないため、各グループｇの範囲を越えて探索する範囲に制限を加えるように構成してもよい。

また、各グループｇの範囲を越える探索を常時行うように構成してもよく、また、例えばグループｇに属する各画素ｐについて対応する実空間上の距離Ｚｐがデータ数が十分に得られている場合には行わないように構成することも可能である。

さらに、本実施形態では、前述した距離検出手段６のイメージプロセッサ７におけるステレオマッチング処理で比較画像Ｔｃの左右方向に延在するエピポーララインＥＰＬ上で（図３参照）基準画素ブロックＰＢに対応する比較画素ブロックＰＢｃの探索が行われるため、基準画像Ｔ上で統合されたグループｇの左右の辺縁部分（エッジ部分）では比較的有効に視差ｄｐが得られている可能性が高い。

そのため、本実施形態では、上記のように、距離算出手段１１では、各グループｇの基準画像Ｔ上での範囲に属する上下方向に延在する１画素幅の各画素列plごとに各グループｇの範囲を越えて上方向および下方向に探索が行われるようになっており、左右方向の探索は行われないが、例えば、各グループｇの基準画像Ｔ上での範囲に属する左右方向に延在する１画素幅の各画素行ごとに各グループｇの範囲を越えて左方向および右方向に探索が行うように構成することも可能である。

次に、光源検出手段１２は、統合処理手段１０により統合された各グループｇの基準画像Ｔ上での座標（ｉ，ｊ）や、距離算出手段１１により算出された各グループｇの実空間上の距離Ｚｇ、路面検出手段１４により検出された道路面の情報に基づいて、（ａ）グループｇの実空間上の大きさや、（ｂ）道路面からの実空間上の高さ、（ｃ）グループｇの道路面上での自車両の進行路に対する実空間上の位置を算出し、これらの大きさや高さ、位置がそれぞれ所定の条件を満たす場合に、当該グループｇを道路上に存在する光源として検出するようになっている。

［（ａ）グループｇの実空間上の大きさについて］
具体的には、光源検出手段１２は、まず、各グループｇについて、図１４に示すように、グループｇの左端の画素のｉ座標Ｉminと右端の画素のｉ座標Ｉmax、および上端の画素のｊ座標Ｊmaxと下端の画素のｊ座標Ｊminを検出する。

そして、グループｇの左右端の画素のｉ座標Ｉmin、Ｉmaxと当該グループｇの実空間上の距離Ｚｇとを上記（２）式に代入すると、
Ｘmin＝ＣＤ／２＋Ｚｇ×ＰＷ×（Ｉmin−ＩＶ） …（１４）
Ｘmax＝ＣＤ／２＋Ｚｇ×ＰＷ×（Ｉmax−ＩＶ） …（１５）
が得られるから、グループｇの左右端間の実空間上の大きさを、
Ｘmax−Ｘmin＝Ｚｇ×ＰＷ×（Ｉmax−Ｉmin） …（１６）
と算出し、グループｇの左右方向の実空間上の大きさとする。

また、グループｇの上下端の画素のｉ座標Ｊmax、Ｊminと当該グループｇの実空間上の距離Ｚｇとを上記（３）式に代入すると、
Ｙmin＝ＣＨ＋Ｚｇ×ＰＷ×（Ｊmin−ＪＶ） …（１７）
Ｙmax＝ＣＨ＋Ｚｇ×ＰＷ×（Ｊmax−ＪＶ） …（１８）
が得られるから、グループｇの上下端間の実空間上の大きさを、
Ｙmax−Ｙmin＝Ｚｇ×ＰＷ×（Ｊmax−Ｊmin） …（１９）
と算出し、グループｇの上下方向の実空間上の大きさとする。

そして、通常の場合、信号機の信号灯は直径が２５ｃｍや３０ｃｍの円形に形成されるため、信号灯からの光の漏れ出しも含めて、本実施形態では、光源検出手段１２は、各グループｇの左右方向および上下方向の実空間上の大きさＸmax−Ｘmin、Ｙmax−Ｙminが例えば４０ｃｍ以内の範囲内にあるか否かをチェックするようになっている。

なお、グループｇの実空間上の大きさを、上記のように、グループｇの左右方向の実空間上の大きさＸmax−Ｘminおよび上下方向の実空間上の大きさＹmax−Ｙminの両者について算出してチェックするように構成してもよく、また、それらのいずれかを算出してチェックするように構成してもよい。

また、それらの大きさとともに、或いはそれらの大きさを算出する代わりに、例えば、各グループｇにおける斜め方向（例えば基準画像Ｔ上における斜め４５°の方向）等の所定の方向の実空間上の大きさを算出するように構成することも可能である。また、例えば、各グループｇの上下、左右の全辺縁部分（エッジ部分）の各画素ｐの座標（ｉ，ｊ）とグループｇの実空間上の距離Ｚｇを用いて上記（２）式、（３）式に従って各画素ｐに対応する実空間上の点の位置を算出し、グループｇの実空間上での面積や、グループｇの実空間上での周囲の長さを算出し、それぞれについて予め所定の範囲を設定して、その範囲内にあるか否かをチェックするように構成することも可能である。

［（ｂ）グループｇの道路面からの実空間上の高さについて］
また、光源検出手段１２は、各グループｇについて、前述したグループｇの左端の画素のｉ座標Ｉminと右端の画素のｉ座標Ｉmaxとの中間点Ｉｃ、および上端の画素のｊ座標Ｊmaxと下端の画素のｊ座標Ｊminとの中間点Ｊｃ、すなわち、
Ｉｃ＝（Ｉmin＋Ｉmax）／２ …（２０）
Ｊｃ＝（Ｊmin＋Ｊmax）／２ …（２１）
をそれぞれｉ座標、ｊ座標とするグループｇの中心点Ｇｃを算出する。そして、このＪｃとグループｇの実空間上の距離Ｚｇとを上記（３）式に代入して、グループｇの中心点Ｇｃの実空間上の高さＹｃを算出する。すなわち、
Ｙｃ＝ＣＨ＋Ｚｇ×ＰＷ×（Ｊｃ−ＪＶ） …（２２）

そして、光源検出手段１２は、路面検出手段１４が検出した実空間上の道路面の道路高モデル（図７（Ｂ）参照）をメモリから読み出して、グループｇの実空間上の距離Ｚｇにおける道路面の高さＹ^＊を算出する。そして、グループｇの道路面からの実空間上の高さを、グループｇの中心点Ｇｃの実空間上の高さＹｃと道路面の高さＹ^＊との差分Ｙｃ−Ｙ^＊として算出するようになっている。

そして、通常の場合、信号機の信号灯は道路面からの高さが５ｍ以上の高さに設置されるため、本実施形態では、多少幅を持たせて、光源検出手段１２は、上記のようにして算出したグループｇの道路面からの実空間上の高さＹｃ−Ｙ^＊が例えば４．５ｍ以上の範囲内にあるか否かをチェックするようになっている。

なお、グループｇの道路面からの実空間上の高さを、道路面からグループｇの中心点Ｇｃまでの高さとする代わりに、グループｇの下端（画素のｊ座標はＪmin）までの高さとすることも可能であり、或いは、予め設定された決定手法でグループｇ内に決定された他の点までの高さとすることも可能である。

また、グループｇの実空間上の距離Ｚｇにおける道路面の高さＹ^＊は、各区間ごとに上記（７）式および（８）式で与えられる道路高モデルから線形補間する等して求めることができる。さらに、道路高モデルを含む車線モデルは、路面検出手段１４によって今回のサンプリング周期における車線モデルが検出されていればそれを用い、今回のサンプリング周期での車線モデルが検出されていなければ、前回のサンプリング周期で検出した車線モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における車線モデルが推定されて用いられる。

［（ｃ）グループｇの道路面上での自車両の進行路に対する実空間上の位置について］
また、本実施形態のように、信号機の赤く点灯された信号灯（すなわち赤信号）を検出する場合には、道路面上での自車両の進行路上に存在する信号機の信号灯が検出されるべきである。すなわち、例えば図１５に示すように、基準画像Ｔに複数の信号機Ａ、Ｂ、Ｃが撮像されている場合、検出すべき信号機は、基準画像Ｔの中央付近に撮像されている信号機Ａでも対向車線上の信号機Ｃでもなく、道路面上での自車両の進行路上に存在する信号機Ｂである。

そこで、本実施形態では、前述した車線検出手段１３で図１６に示すように自車両側方に検出した各車線ＬＬ、ＬＲ等の情報に基づいて路面検出手段１４で検出した実空間上の道路面の水平形状モデル（図７（Ａ）参照）に基づいて、道路面上での自車両の進行路を把握するようになっている。なお、この場合も、今回のサンプリング周期での水平形状モデルが検出されていなければ、前回のサンプリング周期で検出した水平形状モデルに基づいてその後の自車両の挙動等から今回のサンプリング周期における水平形状モデルが推定されて用いられる。

そして、光源検出手段１２は、道路面の水平形状モデルをメモリから読み出して、グループｇの実空間上の距離Ｚｇにおける自車両の進行路のＸ軸方向（左右方向）の左右端の位置を線形補間等の方法で算出する。すなわち、グループｇの実空間上の距離Ｚｇにおける自車両側方の各車線ＬＬ、ＬＲの水平方向の位置を算出する。

そして、通常の場合、信号機の信号灯は自車両の進行路の上方に設置され、信号灯の水平方向の位置が自車両側方の各車線ＬＬ、ＬＲの間に存在するように設置される。そのため、本実施形態では、光源検出手段１２は、まず、グループｇの中心点Ｇｃのｉ座標Ｉｃ（上記（２０）式参照）とグループｇの実空間上の距離Ｚｇとを上記（２）式に代入して、グループｇの中心点Ｇｃの実空間上の水平位置Ｘｃを算出する。すなわち、
Ｘｃ＝ＣＤ／２＋Ｚｇ×ＰＷ×（Ｉｃ−ＩＶ） …（２３）

そして、光源検出手段１２は、このＸｃと、上記のようにして算出したグループｇの実空間上の距離Ｚｇにおける自車両側方の各車線ＬＬ、ＬＲの水平方向の位置と比較して、グループｇの中心点Ｇｃの実空間上の水平位置Ｘｃが自車両側方の各車線ＬＬ、ＬＲの水平方向の位置の範囲内にあるか否かをチェックするようになっている。

なお、自車両側方の車線ＬＬ、ＬＲの検出誤差や、水平形状モデルの誤差等を加味して、グループｇの中心点Ｇｃの実空間上の水平位置Ｘｃが存在し得る範囲を、自車両側方の各車線ＬＬ、ＬＲの水平方向の位置から外側にそれぞれ例えば１ｍまでの範囲とすることも可能である。

本実施形態では、光源検出手段１２は、上記の（ａ）〜（ｃ）の各チェック項目をクリアしたグループｇを道路上に存在する光源、すなわち本実施形態の場合は信号機の赤く点灯された信号灯（すなわち赤信号）として検出するようになっている。

以上のように、本実施形態に係る環境認識装置１によれば、撮像手段２で撮像された一対の画像（基準画像Ｔおよび比較画像Ｔｃ）に基づいて少なくとも一方の画像Ｔ（基準画像Ｔ）の各画素ｐについて実空間上の距離Ｚを算出し、それに基づいて、一方の画像Ｔ上で画像データＤに基づいて統合した各グループｇの実空間上の距離Ｚｇを算出する。そして、それに基づいて算出した各グループｇの実空間上の大きさ、道路面からの実空間上の高さ、およびグループｇの道路面上での自車両の進行路に対する実空間上の位置から、グループｇを自車両の進行路上に存在する光源であるか否かを判定して検出する。

このように、各グループｇに属する各画素ｐの実空間上の距離Ｚｐに基づいて各グループｇの実空間上の大きさ、道路面からの実空間上の高さ、およびグループｇの道路面上での自車両の進行路に対する実空間上の位置が判定されるため、それらに基づいて、検出した光源が信号機の点灯された信号灯（例えば赤信号）等であるか否かを的確に判定して認識することが可能となり、光源を精度良く検出することが可能となるとともに、認識の信頼性を飛躍的に向上させることが可能となる。

また、光源が自車両から遠い距離にある場合でも、実空間上の大きさや道路面からの実空間上の高さ、道路面上での自車両の進行路に対する実空間上の位置に基づいて光源を判定するため、例えば、道路脇の広告塔やネオンサイン等の赤い表示を赤信号であると誤認識することを的確に防止することが可能となる。

なお、本実施形態では、道路面上での自車両の進行路を、路面検出手段１４で検出した実空間上の道路面の水平形状モデル（図７（Ａ）参照）に基づいて算出する場合について説明したが、これに限定されない。例えば、自車両の車速等から算出される自車両の旋回曲率に基づいて自車両が今後進行すると推定される走行軌跡を算出し、その走行軌跡を中心として左右に所定幅の広がりを持つ面として自車両の進行路を算出するように構成することも可能である。

その際、自車両の旋回曲率Ｃuaは、センサ類Ｑ（図１参照）から送信されてくる自車両の車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（２４）式または下記（２５）、（２６）式に従って算出することができる。なお、下記の各式において、Ｒｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ …（２４）
Ｒｅ＝（１＋Ａsf・Ｖ^２）・（Ｌwb／δ） …（２５）
Ｃua＝１／Ｒｅ …（２６）

また、本実施形態では、信号機の赤く点灯された信号灯、すなわち赤信号を検出する場合について説明したが、この他にも、例えば、上記の第１の条件や第２の条件におけるＲ（赤）をＧ（緑）に読み替えて適用することで、信号機の青信号を検出するように構成することができる。

さらに、よく知られているように、各画素ｐの画像データＤのＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のうち、ＲとＧを加法混色すると黄色の色成分を得ることができる。そこで、例えば、撮像手段２で撮像して得られた基準画像Ｔの各画素ｐの画像データＤに対して、ＲとＧ、ＧとＢ、ＢとＲをそれぞれ加法混色して黄色、水色、桃色の各色成分を算出し、上記の第１の条件や第２の条件におけるＲ（赤）を黄色に読み替え、Ｇ（緑）やＢ（青）を水色や桃色に読み替えて適用することで、信号機の黄信号を検出するように構成することができる。

このように、撮像手段２で撮像して得られた基準画像Ｔの各画素ｐの画像データＤのＲ、Ｇ、Ｂの各色成分に対して所定の重み付け加算することで、例えば先行車両のオレンジ色のテールランプやウインカや、オレンジがかった赤色のブレーキランプ等の光源を検出することが可能となる。

その際、光源検出手段１２における前述した（ａ）グループｇの実空間上の大きさや（ｂ）道路面からの実空間上の高さ等の各チェック項目における予め設定される範囲は、適宜変更されて用いられることは言うまでもない。また、上記のように構成することで、光源として、信号機の点灯された信号灯のほかにも、先行車両のテールランプやブレーキランプ、ウインカ等のように、誤認識すると甚大な事故を生じかねない光源についても、それらの光源を確実に検出し、的確に認識することが可能となる。

また、本実施形態では、上記のように、グループｇに属する各画素ｐについて実空間上の距離Ｚｐ（視差ｄｐ）が算出されているため、各グループｇの実空間上の傾きを算出することができる。

具体的には、グループｇに属する各画素ｐに対応する実空間上の距離Ｚｐや各画素ｐの基準画像Ｔ上の座標（ｉ，ｊ）に基づいて上記（２）式〜（４）式から各画素ｐに対応する実空間上の各点（Ｘｐ，Ｙｐ，Ｚｐ）を算出することができる。それをＸ−Ｚ平面にプロットすると、例えば図１７に示すようにプロットすることができ、この各点の分布を直線近似する等して、各点の分布の水平方向（Ｘ軸方向）に対する距離方向（Ｚ軸方向）の傾きθを算出することができる。

また、グループｇに属する各画素に対応する実空間上の各点をＹ−Ｚ平面にプロットすると、例えば図１８に示すようにプロットすることができ、各点の分布を直線近似する等して、各点の分布の高さ方向（Ｙ軸方向）に対する距離方向（Ｚ軸方向）の傾きφを算出することができる。

そこで、例えば、このようにして算出した実空間上の傾きθ、φに予め閾値を設定しておき、自車両に対向する光源、すなわち傾きθやφが０°に近い値である光源のみを検出するように構成することも可能である。このように構成すれば、例えば自車両の進行路以外の走行路に設置された信号機の点灯された信号灯等を誤検出することをより的確に回避することが可能となる。

また、本実施形態に係る環境認識装置１で、光源として、信号機の点灯された信号灯を検出する場合には、さらに、検出したグループｇの基準画像Ｔ上の位置から下方の所定距離内に、物体に相当する実空間上の距離Ｚｐを有する画素ｐが存在しないことを確認し、そのような画素ｐが存在しない場合に信号機の点灯された信号灯を検出するように構成することが可能である。

グループｇとして検出された光源が信号機の点灯された信号灯であれば、通常、その下側には物体が存在しない空間があるが、グループｇとして検出された光源が例えば先行車両のテールランプ等であれば、通常、その下側には先行車両の車体が存在し、物体が存在するため、検出したグループｇの下方に物体が存在するか否かで光源が信号機の点灯された信号灯であるか否かを的確に判定することが可能となる。

この場合、グループｇから下方の所定距離は、例えば実空間上の距離として１ｍの距離に設定される。

また、基準画像Ｔ上では、検出されたグループｇの下方に存在する画素ｐに対して、距離検出手段６で実空間上の距離Ｚｐが検出される場合がある。そして、下方の複数の画素ｐについて同様の距離Ｚｐが検出される場合には、それらの画素ｐは物体が撮像された画素に相当すると考えられる。その場合、その物体とグループｇとして検出された信号機の点灯された信号灯との高さ方向の距離が１ｍより大きければ、グループｇは信号機の点灯された信号灯であると認定される。

また、その物体とグループｇとして検出された信号機の点灯された信号灯との高さ方向の距離が１ｍ以内であれば、グループｇを信号機の点灯された信号灯であるとは認定されない。さらに、検出されたグループｇの下方に存在し、実空間上の距離Ｚｐが検出された画素ｐが散在しているような場合や、実空間上の距離Ｚｐが同一の物体を撮像したものとは見なせないほど離れているような場合には、それらの画素ｐは物体が撮像された画素に相当するとは考えられず、グループｇを信号機の点灯された信号灯と認定することができる。

１ 環境認識装置
２ 撮像手段
６ 距離検出手段
１０ 統合処理手段
１１ 距離算出手段
１２ 光源検出手段
１３ 車線検出手段
１４ 路面検出手段
Ａ、Ｂ、Ｃ 信号機
Ｄ 画像データ
ｇ グループ
Ｇｃ グループの中心点
（ｉ，ｊ） 座標
ＬＬ、ＬＲ 自車両側方の車線
ｐ 画素
ｐ^＊ 最も近接する位置に存在する画素
Ｓ 光源
Ｔ 基準画像（画像）
Ｘmax−Ｘmin グループの左右方向の実空間上の大きさ
Ｙｃ グループの実空間上の高さ
Ｙｃ−Ｙ^＊ グループの道路面からの実空間上の高さ（差分）
Ｙmax−Ｙmin グループの上下方向の実空間上の大きさ
Ｚ、Ｚｐ 実空間上の距離
Ｚｇ グループの実空間上の距離
Ｚｐ^＊ 最も近接する位置に存在する画素に対応する実空間上の距離

Claims (14)

1. 画素ごとに画像データを有する画像を撮像する撮像手段と、
   前記画像の各画素について実空間上の距離を検出する距離検出手段と、
   前記画像から道路面を検出する路面検出手段と、
   前記画像において互いに隣接する画素の各画像データに基づいて当該隣接する画素を１つのグループに統合する統合処理手段と、
   前記グループに属する前記画素および前記グループの周囲に存在する前記画素に対応する前記実空間上の距離の少なくともいずれかに基づいて、前記グループの実空間上の距離を算出する距離算出手段と、
   前記グループの実空間上の距離および前記グループの前記画像中での座標に基づいて、当該グループの実空間上の大きさ、前記道路面からの実空間上の高さ、および当該グループの自車両の進行路に対する実空間上の位置を算出し、前記大きさ、高さおよび位置がそれぞれ所定の条件を満たす場合に当該グループを道路上に存在する光源として検出する光源検出手段と、
   を備えることを特徴とする環境認識装置。
2. 前記画像中から自車両側方の車線を検出する車線検出手段を備え、
   前記光源検出手段は、前記車線の実空間上の位置に基づいて前記自車両の進行路およびそれに対する前記グループの実空間上の位置を算出することを特徴とする請求項１に記載の環境認識装置。
3. 前記統合処理手段は、予め設定された第１の条件を満たす前記画像データを有する画素を検出するととともに、前記第１の条件で規定される前記画像データの範囲よりも広い範囲に設定された第２の条件を満たす前記画像データを有する画素を検出する場合、前記第１の条件を満たす前記画像データを有する画素と統合して１つのグループとすることを特徴とする請求項１または請求項２に記載の環境認識装置。
4. 前記画像データはカラーの画像データであり、
   前記第１の条件は、前記画像の中から特定の色と特定の明るさを有する前記画素が検出されるように設定されており、
   前記第２の条件は、前記特定の色を有するが、その明るさが前記第１の条件で規定される前記特定の明るさよりも暗い前記画素が検出されるように設定されていることを特徴とする請求項３に記載の環境認識装置。
5. 前記第２の条件は、前記特定の色を有し、その明るさが前記第１の条件で規定される前記特定の明るさよりも明るい前記画素も検出されるように設定されていることを特徴とする請求項４に記載の環境認識装置。
6. 前記統合処理手段は、前記画素と隣接する画素の前記実空間上の距離の差異と、前記画素の前記実空間上の距離と前記グループの前記実空間上の距離との差異のいずれかの差異が所定の閾値を上回る場合には、前記画素をグループに非統合とすることを特徴とする請求項１から請求項５のいずれか一項に記載の環境認識装置。
7. 前記統合処理手段は、前記画素を前記グループに統合した場合に、当該グループの形状が円形状でなくなる場合には、前記画素を前記グループに非統合とすることを特徴とする請求項１から請求項６のいずれか一項に記載の環境認識装置。
8. 前記統合処理手段は、前記画素を前記グループに統合した場合に、当該グループの形状が円形状でなくなる場合には、前記グループを棄却して、前記光源検出手段における処理の対象から除外することを特徴とする請求項１から請求項６のいずれか一項に記載の環境認識装置。
9. 前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離と、前記グループの画像上での範囲から左右または上下に探索して、前記実空間上の距離が検出されており前記画像上で前記範囲に最も近接する位置に存在する前記画素に対応する前記実空間上の距離の少なくともいずれかに基づいて、前記グループの実空間上の距離を算出することを特徴とする請求項１から請求項８のいずれか一項に記載の環境認識装置。
10. 前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離、および／または、前記グループの前記画像上での範囲の左右または上下に最も近接する位置に存在する前記画素に対応する前記実空間上の距離の、平均値または中央値を、前記各グループの実空間上の距離として算出することを特徴とする請求項９に記載の環境認識装置。
11. 前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離、および／または、前記グループの前記画像上での範囲の左右または上下に最も近接する位置に存在する前記画素に対応する前記実空間上の距離を、前記グループごとにヒストグラムに投票し、そのピーク値を前記各グループの実空間上の距離として算出することを特徴とする請求項９に記載の環境認識装置。
12. 前記距離算出手段は、前記グループに属する前記各画素に対応する前記実空間上の距離、および／または、前記グループの前記画像上での範囲の左右または上下に最も近接する位置に存在する前記画素に対応する前記実空間上の距離のうち、近接した値の前記距離同士をまとめ、まとめられた前記距離の群のうち、データ数が最も多い群に属する前記実空間上の距離の平均値または中央値を前記各グループの実空間上の距離として算出することを特徴とする請求項９に記載の環境認識装置。
13. 前記光源検出手段は、前記光源として、信号機の点灯された信号灯、先行車両のテールランプ、ブレーキランプ、ウインカのいずれかを検出することを特徴とする請求項１から請求項１２のいずれか一項に記載の環境認識装置。
14. 前記光源検出手段は、前記光源として信号機の点灯された信号灯を検出する場合、検出した前記グループの前記画像上の位置から下方の所定距離内に、物体が存在しない場合に、前記信号機の点灯された信号灯を検出することを特徴とする請求項１から請求項１３のいずれか一項に記載の環境認識装置。

Images