JP6378547B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両の周囲に存在する特定物を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を特定し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている。このような自車両の前方監視技術により、先行車両や歩行者などの特定物との接触事故の回避や軽減にも効果が期待されている。

特定物の特定技術としては、例えば、レーダ装置によって障害物を検知し、自車両と障害物との相対速度に基づいて障害物が静止物体であるか否か判定する技術が知られている（例えば、特許文献１）。また、立体物が存在する判定対象領域内のエッジ成分のエッジ方向やエッジ強度の分布に基づいて立体物の種別を判定する技術も公開されている（例えば、特許文献２）。

特開２００７−２７８８９２号公報 特開２００７−１５６６２６号公報

しかし、上述した特許文献１の技術では、レーダ装置のみで立体物を判定しているので、立体物の形状を認識できず、特定物の特定精度に劣る。また、特許文献２の技術では、エッジ方向やエッジ強度の分布に応じて特定物の特定精度は高まるものの、昼や夜といった車外環境の変化や、それに伴う判定対象への光源の照射範囲の変化に適応していない。そのため、例えば、夜間の場合、ヘッドライトを点灯した時の先行車両の照射範囲は先行車両との相対距離によって変わり、先行車両の上下でエッジの特性が変動することになる。しかし、特許文献２の技術では、ヘッドライトによる先行車両の照射範囲の影響まで考慮されていないため、夜間では、自車両からのヘッドライトによる判定対象領域のエッジ成分に道路面のエッジ成分が含まれてしまうなど、エッジ成分の検出への対応が十分ではなく、適切に先行車両を特定できない問題があった。

本発明は、このような課題に鑑み、車外環境や照射範囲の変化に拘わらず特定物の特定精度を向上することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、撮像装置により撮像された画像内における立体像の垂直方向の輝度の分布に基づいて、立体像を垂直方向上下に分断する境界を導出する境界導出部と、境界の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて立体像が所定の特定物か否か判定する特定物特定部と、を備えることを特徴とする。

境界導出部は、立体像を垂直方向に分割した、水平方向に延伸する複数の第１分割領域を生成し、複数の第１分割領域同士の輝度の差分に基づいて境界を導出してもよい。

画像が明状態か暗状態か判定する明暗判定部と、明状態であれば立体像の境界の上方を残し、暗状態であれば立体像の境界の下方を残し、残した立体像を水平方向に分割した、垂直方向に延伸する複数の第２分割領域を生成し、複数の第２分割領域のうち、中央に位置する第２分割領域内の、垂直方向に延伸する垂直エッジの数と、左右に位置する第２分割領域内の垂直エッジの数を計数するエッジ計数部と、をさらに備え、特定物特定部は、中央に位置する第２分割領域内の垂直エッジの数と、左右に位置する第２分割領域内の垂直エッジの数とに基づいて立体像が所定の特定物か否か判定してもよい。

特定物特定部は、中央に位置する第２分割領域内の垂直エッジの数が所定の閾値未満であり、かつ、左右に位置する第２分割領域内の垂直エッジが所定の閾値以上であれば、立体像を車両であると判定してもよい。

本発明によれば、車外環境や照射範囲に拘わらず特定物の特定精度を向上することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境の変化による立体像への光源の照射範囲の変化を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 輝度画像と距離画像を説明するための説明図である。 グループ化処理を例示した説明図である。 グループ化処理の他の例を示した説明図である。 グループ化処理の他の例を示した説明図である。 立体像の制限を説明するための説明図である。 明暗判定部の処理を説明するための説明図である。 境界導出部の動作を説明するための説明図である。 エッジ計数部の動作を説明するための説明図である。 エッジ方向を説明するための説明図である。 垂直エッジの出現態様を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、輝度（Ｙ）による輝度画像（モノクロ画像）、または、カラー値によるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（Ｕ、Ｖ）からなるＹＵＶ形式の色空間、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるＲＧＢ形式の色空間、または、色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）からなるＨＳＢ形式の色空間のいずれかで表される数値群である。本実施形態では、少なくとも輝度（Ｙ）を有していればよく、輝度画像およびカラー画像のいずれかであれば足りるので、撮像装置１１０は、輝度画像を生成するとして説明する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する立体物や、立体物に対応付けて特定する特定物は、車両、歩行者、自転車、信号機、道路、ガードレール、建物、道路の側壁、急勾配の坂といった立体的に独立して存在する物のみならず、テールランプやウィンカー、信号機の各点灯部分等、特定物の一部として特定できる物も含む。本実施形態の目的の一つは、輝度画像に含まれる立体像（立体物の像）を特定物、例えば車両として特定することにある。以下の実施形態における各機能部は、このような輝度画像の取得（更新）を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を輝度画像に対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との相対距離ｚを用いて、自車両１前方の検出領域における立体像を抽出し、立体像の中から制御対象となる特定物を特定する。

また、車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以上、説明したように、環境認識システム１００では、輝度画像に含まれる立体像の中から、自車両１前方に存在する、例えば先行車両を特定し、先行車両への追従制御や、先行車両との衝突回避制御を実行する。したがって、環境認識システム１００では、自車両１前方に存在する立体物が、先行車両等の移動物であるか、道路の側壁や急勾配の坂といった静止物であるか正確に判定する必要がある。そこで、例えば、抽出した立体像のエッジ成分（エッジ方向やエッジ強度）に基づいて、その立体像が車両であるか否か判定することが考えられる。

しかし、昼や夜といった車外環境の変化や、それに伴う立体像への光源の照射範囲の変化を考慮せず、単にエッジ成分に基づいて特定物（例えば先行車両）を特定しようとすると、特定物としての先行車両を正確に特定できない場合がある。

図２は、車外環境の変化による立体像への光源の照射範囲の変化を説明するための説明図である。例えば、図２（ａ）のような立体像（先行車両の背面）に対し、昼間は、先行車両の上方に位置する太陽が主たる光源になることが多く、図２（ｂ）に示すように、立体像への光源の照射範囲が、立体像の上部に限定され、立体像下部においては輝度が低くなる場合がある。このような状態においても、単に立体像全体を対象にエッジ成分を判定すると、立体像の上下でエッジ成分の特性が異なり、特に、立体像下部のエッジ方向が意図したエッジ方向とならず、先行車両を他の特定物、例えば、道路の側壁や急勾配の坂と誤判定する場合が生じ得る。また、昼間においては、トラックなど荷室が比較的上方に位置する車両は、逆光の状況下で、車両背面のうち下部の空間が影となり、暗く黒く見え、そもそもエッジ成分が無くなってしまう。また、順光の状況下では、その下部の空間に光が当たって路面表示が立体像として含まれることとなり、その模様がノイズとなることがある。

一方、夜間は、先行車両後方から照射する自車両１のヘッドライトが光源になることが多く、図２（ｃ）に示すように、先行車両の背面（後部面）への光源の照射範囲が、下部に限定され、立体像上部においては輝度が低くなる。このような状態においても、単に立体像全体を対象にエッジ成分を判定すると、立体像の上下でエッジ成分の特性が異なり、特に、立体像上部のエッジ方向が意図したエッジ方向とならず、先行車両を他の特定物、例えば、道路の側壁や急勾配の坂と誤判定する場合が生じ得る。

そこで、本実施形態では、昼夜（明暗）を判定することで車外環境や照射範囲の変化を考慮し、立体像を適切に判定して、特定物の特定精度を向上することを目的とする。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な立体像を、先行車両、道路の側壁、急勾配の坂のいずれかに特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。

Ｉ／Ｆ部１６０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した輝度画像を一時的に保持する。

中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０、データ保持部１６２等を制御する。また、本実施形態において、中央制御部１６４は、画像処理部１７０、３次元位置導出部１７２、グループ化部１７４、立体像追跡部１７６、明暗判定部１７８、境界導出部１８０、エッジ計数部１８２、特定物特定部１８４としても機能する。

（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部１７０が、撮像装置１１０から取得した画像を処理し（Ｓ２００）、３次元位置導出部１７２が、画像から３次元位置を導出し（Ｓ２０２）、グループ化部１７４が、３次元位置に基づいてグループ化された立体像を生成する（Ｓ２０４）。また、立体像追跡部１７６が立体像を追跡し（Ｓ２０６）、明暗判定部１７８が、車外環境が明状態か暗状態か判定し（Ｓ２０８）、境界導出部１８０が、立体像を垂直方向上下に分断する境界を導出し（Ｓ２１０）、エッジ計数部１８２が、立体像の判定対象の領域を絞り、その絞った領域中の垂直エッジの数を計数する（Ｓ２１２）。そして、特定物特定部１８４がその結果に応じて特定物を特定する（Ｓ２１４）。ここで、「垂直」は画面縦方向を示し、後述する「水平」は画面横方向を示す。以下、個々の処理を詳述する。

（画像処理Ｓ２００）
画像処理部１７０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差を導き出す。

このパターンマッチングとしては、２つの輝度画像間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１７０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。以下、かかる視差情報を導出する単位となるブロックを視差ブロックと称する。

ただし、画像処理部１７０では、検出分解能単位である視差ブロック毎に視差を導出することはできるが、その視差ブロックがどのような立体像の一部であるかを認識できない。したがって、視差情報は、立体像単位ではなく、検出領域における検出分解能単位（例えば視差ブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離ｚに相当）を輝度画像に対応付けた画像を距離画像という。

図５は、輝度画像２１２と距離画像２１４を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１６について図５（ａ）のような輝度画像２１２が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１２の一方のみを模式的に示している。本実施形態において、画像処理部１７０は、このような輝度画像２１２から視差ブロック毎の視差を求め、図５（ｂ）のような距離画像２１４を生成する。距離画像２１４における各視差ブロックには、その視差ブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出された視差ブロックを黒のドットで表している。

（３次元位置導出処理Ｓ２０２）
図３に戻って説明すると、３次元位置導出部１７２は、画像処理部１７０で生成された距離画像２１４に基づいて検出領域２１６内の視差ブロック毎の視差情報（視差ブロック中の画素は全て視差ブロックと等しい視差情報を有する。）を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む実空間における３次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、画素の距離画像２１４における視差からその画素の撮像装置１１０に対する相対距離ｚを導出する方法である。このような処理の最小単位である画像部位としては、かかる画素の他、複数の画素からなるブロックを用いることもできる。このとき、３次元位置導出部１７２は、画素の相対距離ｚと、画素と同相対距離ｚにある道路表面上の点と画素との距離画像２１４上の検出距離とに基づいて、画素の道路表面からの高さｙを導出する。そして、導出された３次元位置を改めて距離画像２１４に対応付ける。かかる相対距離ｚの導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（グループ化処理Ｓ２０４）
グループ化部１７４は、３次元位置の差分が所定範囲内にある画素同士をグループ化して立体像とする。具体的に、グループ化部１７４は、距離画像２１４における、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にある画素同士を、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的な画素群である立体像が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１７４は、グループ化により新たに追加された画素に関しても、その画素を基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にある画素をさらにグループ化する。結果的に、同一の特定物と仮定可能な画素全てがグループ化されることとなる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、画素同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

図６は、グループ化処理Ｓ２０４を例示した説明図である。例えば、図６（ａ）のような輝度画像２１２において、グループ化部１７４は、図６（ｂ）に一点鎖線で囲んだように、距離画像２１４に基づく３次元位置を用いて、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲内にある画素同士をグループ化する。このとき、グループ化部１７４は、立体像（画素の集合体）とともに、立体像が含まれる、外形線が水平線および垂直線からなる矩形状（以下、単に矩形状という）のウィンドウを設定する。なお、図６（ｂ）では、説明の便宜上、水平距離ｘおよび相対距離ｚの関係のみ記載し、高さｙについては省略している。

具体的に、グループ化部１７４は、図６（ａ）に示す、先行車両２２０ａの画素を、図６（ｂ）に一点鎖線で示したように、３次元位置に基づいてグループ化し、図６（ｃ）のように矩形状のウィンドウ２２２ａを生成する。同様に、グループ化部１７４は、図６（ａ）に示す、人２２０ｂの画素を、図６（ｂ）に一点鎖線で示したように、３次元位置に基づいてグループ化し、図６（ｃ）のように矩形状のウィンドウ２２２ｂを生成する。

本実施形態では、このような自車両１前方に位置する複数のウィンドウ２２２のうち、特に、追従制御や衝突回避制御の対象となり得る先行車両の立体像を含むウィンドウ２２２を特定することを目的とする。しかし、明らかに先行車両ではない位置にあるウィンドウを先行車両の可能性があるウィンドウと判定したり、先行車両と判定すべきウィンドウを先行車両の可能性があるウィンドウから除外してしまう場合がある。以下では、このような状況が生じる具体的な事例を挙げ、その対応策を述べる。

まず、明らかに先行車両ではない位置にあるウィンドウを先行車両の可能性があるウィンドウと判定してしまう例としては、道路の側方に位置する樹木、ガードレール、壁、さらに、急勾配の坂の一部を先行車両の可能性があるウィンドウ２２２と判定することが挙げられる。これらの立体像に対してエッジ成分を判定すると、立体像のエッジ方向がランダムに出現し、エッジ成分に関するヒストグラムの分布が車両の分布と類似する場合がある。そうすると、かかる立体像が車両でないにも拘わらず、車両（先行車両）として特定してしまうおそれがある。

また、先行車両と判定すべきウィンドウを先行車両の可能性があるウィンドウから除外してしまう例としては、逆光となる条件下で先行車両を撮像する場合がある。この場合、輝度画像２１２中、先行車両の背景（前方の風景）が白色に近く、かつ、輝度が高くなり、その反面、先行車両自体は黒色に近く、かつ、輝度が低くなる。そうすると、先行車両の背面の模様が認識不可能となり、エッジ成分を抽出できず、先行車両として特定できなくなる。また、先行車両が冷凍車等の特殊車両であると、背面に模様やエッジが少ない場合がある。この場合も、先行車両の模様が認識不可能となり、エッジ成分を抽出できず、先行車両として特定できなくなる。

そこで、本実施形態のグループ化部１７４は、ウィンドウ２２２（立体像）の左右両方の近傍領域における立体像との相対距離の変化態様が連続していない場合に、立体像を導出することとする。

図７は、グループ化処理Ｓ２０４の他の例を示した説明図である。図７（ａ）に示した、道路の側方に位置する壁（フェンス）は、道路に沿って鉛直方向に立設している。したがって、道路が湾曲（カーブ）している場合には、図７（ａ）に示すように、壁が自車両１の前方に位置することとなるので、グループ化部１７４が、壁の複数の部分を、図７（ｂ）に示すように、それぞれ個別にグループ化し、先行車両の可能性があるウィンドウ２２２として認識してしまう場合がある。

ここで、図７（ｂ）を参照すると、図７（ａ）の各ウィンドウ２２２中の立体像は、元々連続した壁なので、相対距離の変化態様が連続している。すなわち、水平距離に対する相対距離の変化量の変動が少ないのが理解できる。そこで、グループ化部１７４は、ウィンドウ２２２（立体像）の左右両方の近傍領域における立体像の相対距離の変化態様が連続している場合、そのウィンドウ２２２を、先行車両の可能性があるウィンドウ２２２から除外し、相対距離の変化態様が連続していない場合にのみ、そのウィンドウ２２２を、先行車両の可能性があるウィンドウ２２２とする。こうして、明らかに先行車両ではない位置にあるウィンドウ２２２を先行車両の可能性があるウィンドウ２２２から除外することが可能となる。

また、図７（ｃ）では、逆光となる条件下で先行車両を撮像しているので、先行車両自体は黒色に近く、かつ、輝度が低くなっている。しかし、図７（ｄ）を参照すると、図７（ｃ）の各ウィンドウ２２２中の立体像は、左右両方の近傍領域の立体像と相対距離、および、相対距離の変化態様が異なる。すなわち、水平距離に対する相対距離の変化態様が連続していない。そこで、グループ化部１７４は、ウィンドウ２２２（立体像）の左右両方の近傍領域における立体像の相対距離の変化態様が連続していないことをもって、そのウィンドウ２２２を、先行車両の可能性があるウィンドウ２２２とする。こうして、先行車両と判定すべきウィンドウ２２２を除外することなく、適切に判定対象とすることが可能となる。

図８は、グループ化処理Ｓ２０４の他の例を示した説明図である。本実施形態では、先行車両の確からしさを判定するため、後述するように、先行車両の背面のみを判定対象としている。したがって、グループ化部１７４は、先行車両の背面のみを立体像としてグループ化するのが望ましい。この点に関し、通常、先行車両と自車両１とは、同方向に進行していることが多いので、先行車両の背面のみが立体像として取得されるはずである。しかし、図８（ａ）のように、自車両１が走行している道路が湾曲している場合、先行車両が左右何れかに向かい、先行車両の進行方向と自車両１の進行方向とが有意な角度を有すこととなり、また、交差点を先行車両が左折または右折する場合も先行車両の進行方向と自車両１の進行方向とが有意な角度を有すこととなる。この場合、先行車両の背面のみならず、先行車両の側面の一部も立体像として取得されることがある。

そうすると、グループ化部１７４は、図８（ｂ）のように、側面の一部も含んだ立体像をグループ化し、図８（ａ）のように、その立体像に対して先行車両の可能性があるウィンドウ２２２を生成することとなる。この場合、先行車両の背面を判定する際に、側面のエッジ成分がノイズとして混在することとなり、先行車両の特定に支障を来すおそれがある。

ここで、図８（ｂ）を参照すると、図８（ａ）のウィンドウ２２２中の立体像では、その立体像の左右の近傍領域２２４の一方において、ここでは、左の近傍領域２２４において、先行車両の側面のうち背面に近い一部のみが背面と共にグループ化されている場合がある。したがって、先行車両の進行方向と自車両１の進行方向とが有意な角度を有している場合、立体像の左右一方の近傍領域２２４、ここでは、左の近傍領域２２４に対応する領域の相対距離が、図８（ｂ）の二点鎖線のように傾斜していれば、その近傍領域２２４の右方向（先行車両の左部）において、先行車両の側面が取得されている可能性が高いこととなる。

そこで、立体像の左右一方の近傍領域２２４において相対距離が傾斜していれば、グループ化部１７４は、図８（ｂ）に示すように、立体像において、近傍領域２２４から連続して相対距離が傾斜している領域２２６を、先行車両の可能性があるウィンドウ２２２から除外する。ここで、連続して相対距離が傾斜している領域２２６は、ウィンドウ２２２の左端から、図８（ｂ）に二点鎖線で示す、左の近傍領域２２４の相対距離の傾斜と、実線で示す、立体像の背面の傾斜との交点までとする。

また、車両の幅が例えば１．５ｍと大凡決まっている場合、例えば、ウィンドウ２２２のうち、相対距離が傾斜している領域と反対側の端部（ここではウィンドウ２２２の右端）から水平距離にして１．５ｍの部分までを残し、その部分から左の領域を固定的に除外してもよい。例えば、図８（ａ）の例では、右端から１．５ｍの位置から左の領域を除外することとなる。こうして、図８（ｃ）のように、ウィンドウ２２２の水平方向の幅が絞られ、先行車両の背面のみを立体像として取得することが可能となる。

（立体像追跡処理Ｓ２０６）
立体像追跡部１７６は、グループ化部１７４がグループ化した立体像（ウィンドウ２２２）を追跡する。かかる立体像を追跡する手順は既存の様々な技術を適用できるので、ここではその詳細な説明を省略する。

ところで、環境認識システム１００では、自車両１の前方の検出領域に位置する立体像が先行車両であるか否か判定することを目的の一つとしている。しかし、先行車両の判定は、テンプレートとの比較や、ハフ変換、色情報の取得等、様々な手法を用いるため、処理負荷が重くなる。特に、自車両１の前方の検出領域に位置する立体像の数には制限が無いので、その全ての立体像に対して判定を行うとすると、処理負荷が増大するおそれがある。そこで、本実施形態では、自車両１の進行方向に対応する進行路と、立体像追跡部１７６が追跡している立体像とに基づいて、判定対象となる立体像を制限する。

図９は、立体像の制限を説明するための説明図である。例えば、図９のように、立体像２３２ａが、自車両１の進行方向に対応する、図９に一点鎖線で示した進行路２３０上に位置している場合、その立体像２３２ａを判定対象とする。また、立体像２３２ａが存在しない（進行路２３０に何ら立体像が位置していない）場合、進行路２３０との水平距離の差が最短の立体像、例えば、立体像２３２ｂを判定対象とする。

また、かかる条件の代わりに、もしくは、かかる条件に加え、図９でハッチングしたように、立体像追跡部１７６が追跡している立体像２３２ａが、進行路２３０との水平距離の差が所定範囲内に維持されている（含まれている）ことをもって、その立体像２３２ａを判定対象とすることができる。後述する境界導出部１８０では、このように、進行路２３０との水平距離の差が最短の立体像、または、進行路２３０との水平距離の差が所定範囲内に維持された立体像を判定対象として、所定の処理を実行する。かかる構成により、自車両１の前方の検出領域に複数の立体像が位置する場合であっても、処理負荷を軽減することが可能となる。

（明暗判定処理Ｓ２０８）
明暗判定部１７８は、輝度画像２１２の輝度に応じて明状態か暗状態か判定する。かかる明状態は主として車外環境の輝度が高い昼間を、暗状態は主として車外環境の輝度が低い夜間を示すが、かかる場合に限らず、例えば、昼間であってもトンネル内を走行する場合に暗状態としてもよい。

図１０は、明暗判定部１７８の処理を説明するための説明図である。まず、明暗判定部１７８は、輝度画像２１２中の所定の位置に対応する３つの対象点２４０における所定のブロックに含まれる所定数の画素の輝度を抽出し、対象点２４０毎に輝度の平均を導出する。さらに、明暗判定部１７８は、導出した３つの平均値をさらに平均し、３つの対象点２４０全ての輝度の平均値（全体平均値）を導出する。そして、明暗判定部１７８は、その全体平均値と所定の閾値とを比較し、全体平均値が閾値以上であれば、明状態と判定し、全体平均値が閾値未満であれば、暗状態と判定する。

上記では、輝度画像２１２に基づいて明状態か暗状態か判定する例を挙げたが、かかる場合に限らず、撮像装置１１０のシャッタの開閉時間やゲインとそれぞれの閾値を比較する等、既存の様々な手順によって明状態か暗状態か判定することができる。また、上記では、全体平均値と閾値との１回の比較によって明状態か暗状態か判定する例を挙げたが、かかる場合に限らず、全体平均値と閾値との比較結果に応じて明状態と暗状態にそれぞれポイントを加減算し、その総数に応じて明状態か暗状態かを判定するとしてもよい。

（境界導出処理Ｓ２１０）
境界導出部１８０は、グループ化部１７４によって生成された立体像を含むウィンドウ２２２の垂直方向の輝度の分布に基づいて、ウィンドウ２２２を垂直方向上下に分断する境界を導出する。以下、境界導出部１８０の具体的な動作を説明する。

図１１は、境界導出部１８０の動作を説明するための説明図である。図２を用いて説明したように、明状態では、図１１（ａ）の左に示すように、立体像への光源の照射範囲が、立体像の上部に限定され、立体像下部においては輝度が低くなる。一方、暗状態では、図１１（ｂ）の左に示すように、先行車両の背面（後部面）への光源の照射範囲が、下部に限定され、立体像上部においては輝度が低くなる。そこで、境界導出部１８０は、その輝度の変化の境目（境界）を導出する。

具体的に、境界導出部１８０は、まず、ウィンドウ２２２を垂直方向に分割し、水平方向に延伸する複数（ここでは１０）の第１分割領域２５０を生成する。続いて、境界導出部１８０は、図１１（ａ）および図１１（ｂ）の右に示すように、分割した複数の第１分割領域２５０毎に第１分割領域２５０内の全ての画素における輝度の平均値を導出する。ここでは、理解を容易にするために垂直方向に１０分割する例を挙げているが、分割数はかかる場合に限らず、必要な分解能に応じて任意に決定することができる。

次に、境界導出部１８０は、明暗判定部１７８が判定した結果に基づき、明状態であれば垂直上方から検索し、輝度が所定の閾値以上低下する変化点を導出し、暗状態であれば同様に垂直上方から検索し、輝度が所定の閾値以上上昇する変化点を導出する。そして、その変化点は、水平方向に延伸する立体像内の境界２５２となる。図１１を参照すると、境界２５２の上下で照射態様が反転しているのが理解でき、その境が境界２５２となる。

（エッジ計数処理Ｓ２１２）
続いて、エッジ計数部１８２と特定物特定部１８４とは、境界導出部１８０が導出した境界２５２の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて立体像が所定の特定物か否か判定する。具体的に、まず、エッジ計数部１８２は、境界導出部１８０が導出した境界２５２に基づいて、先行車両の背面におけるエッジ成分の出現態様を特定する。

図１２は、エッジ計数部１８２の動作を説明するための説明図である。まず、エッジ計数部１８２は、境界導出部１８０が導出した境界２５２に基づいてウィンドウ２２２を絞る。具体的に、エッジ計数部１８２は、図１２（ａ）に示すように、明状態であればウィンドウ２２２（立体像）の境界２５２の下方を除外して上方を残し、図１２（ｂ）に示すように、暗状態であればウィンドウ２２２の境界２５２の上方を除外して下方を残し、それをエッジ成分の判定対象とする。

次に、エッジ計数部１８２は、図１２（ａ）および図１２（ｂ）に示すように、このようにして残した部分を、水平方向に分割し、垂直方向に延伸する複数（ここでは３）の第２分割領域２６０を生成する。そして、エッジ計数部１８２は、かかる複数の第２分割領域２６０毎に、その中に含まれる画素毎のエッジ方向を導出する。ここで、エッジ方向は、エッジの延伸方向を示す。

図１３は、エッジ方向を説明するための説明図である。図１３（ａ）に示すように、第２分割領域２６０における４画素からなる任意のブロック２６２を拡大すると、図１３（ｂ）のような輝度分布となっていたとする。また、輝度の範囲を０〜２５５とし、図１３（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、ブロック２６２の図中左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）、エッジ方向の垂直方向成分を（Ｂ＋Ｄ）−（Ａ＋Ｃ）と定義する。

すると、図１３（ｂ）に示すブロック２６２のエッジ方向の水平方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）−（２００＋０）＝０となり、エッジ方向の垂直方向成分は、（Ｂ＋Ｄ）−（Ａ＋Ｃ）＝（０＋０）−（２００＋２００）＝−４００となる。したがって、水平方向成分「０」、垂直方向成分「−４００」となり、エッジ方向は、図１３（ｃ）の如く垂直方向下向き（負）の矢印で示される。ただし、図１３（ｄ）のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。こうして導出されたエッジ方向はブロック内の４つの画素全てに対応付けられる。すなわち、ブロック内の４つの画素は全て同じエッジ方向を有することとなる。

このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷を軽減できる。

本実施形態では、このように導出されたエッジ方向を累積し、その割合を導出することを目的としている。しかし、上記水平方向成分や垂直方向成分を導出した値をそのまま用いて単純にエッジ方向としてしまうと、そのエッジ方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して同一とみなしてよいエッジ方向の範囲を設定しなければならない。

そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ方向は、図１３（ｅ）のようにそれぞれ４５度ずつの角度をなす８つの方向に限定することができる。例えば、上述した図１３（ｂ）の例では、エッジ方向は図１３（ｅ）の「７」の方向となる。こうすることで、エッジ計数部１８２の計算負荷を大幅に軽減することが可能となる。ただし、エッジ方向の導出手段は、かかる場合に限らず、エッジの出現態様を判定できる既存の様々な導出手段を適用することができる。

エッジ計数部１８２は、このようなエッジ方向を、複数の第２分割領域２６０それぞれの全ての画素に対応するブロックに対して導出し、そのエッジ方向の数を第２分割領域２６０毎に累計する。このとき、エッジ計数部１８２は、第２分割領域２６０内の垂直エッジの数のみを計数する。垂直エッジは、垂直方向のエッジ、および、垂直方向から所定の角度範囲にある斜め方向のエッジを言う。例えば、図１３（ｅ）の例では、垂直方向のエッジである「３」および「７」、ならびに、斜め方向のエッジ「２」、「４」、「６」、「８」のエッジ方向である。したがって、ここでは、垂直エッジの角度範囲は、水平左方向を０とした場合に、２２．５°〜１５７．５°、および、−２２．５°〜−１５７．５°となる。ただし、垂直エッジの角度範囲は、かかる場合に限らず、任意に決定することができる。

また、ここでは、第２分割領域２６０それぞれの全ての画素に対応するブロックに対してエッジ方向を導出する例を挙げて説明しているが、かかる場合に限らず、エッジ方向の導出するブロックを所定数に制限してもよい。例えば、第２分割領域２６０の水平方向に所定間隔を空けて５０画素、垂直方向に所定間隔を空けて５０画素を抽出し、その画素に対応するブロックに対してエッジ方向を導出し、その５０画素×５０画素に関して垂直エッジを計数してもよい。

このように第２分割領域２６０毎に垂直エッジを計数するとしたのは、車両、道路の側壁、急勾配の坂で、第２分割領域２６０毎の垂直エッジの数が異なり、その比率によって車両、道路の側壁、急勾配の坂を識別できるからである。

図１４は、垂直エッジの出現態様を説明するための説明図である。図１４では、エッジ方向を示しているが、理解を容易にするため、分解能を低くして表している。図１４に示すように、車両は、外形の左右端部に垂直エッジを多く含むので、第２分割領域２６０のうち、中央に位置する第２分割領域２６０内の垂直エッジの数は少なく、左右に位置する第２分割領域２６０内の垂直エッジが多くなる。また、道路の側壁は、エッジ成分がランダムに生じ全体的に垂直エッジを多く含むので、第２分割領域２６０それぞれの垂直エッジが比較的均一に多くなる。さらに、急勾配の坂は、全体的に水平方向のエッジ成分が多くなるので、第２分割領域２６０それぞれの垂直エッジが比較的均一に少なくなる。

（特定物特定処理Ｓ２１４）
特定物特定部１８４は、中央に位置する第２分割領域内の垂直エッジの数と左右に位置する第２分割領域内の垂直エッジの数とに基づいて立体像が所定の特定物か否か判定する。

具体的に、特定物特定部１８４は、複数の第２分割領域２６０毎に垂直エッジを計数し、それぞれの垂直エッジの数と所定の閾値とを比較し、その結果に応じて、ウィンドウ２２２内の立体像を以下の様に特定する。例えば、特定物特定部１８４は、中央に位置する第２分割領域２６０内の垂直エッジの数が所定の閾値未満であり、かつ、左右に位置する第２分割領域２６０内の垂直エッジの数が所定の閾値以上であれば、車両であると仮決定する。また、特定物特定部１８４は、中央に位置する第２分割領域２６０内の垂直エッジの数が所定の閾値以上であり、かつ、左右に位置する第２分割領域２６０内の垂直エッジの数が所定の閾値以上であれば、道路の側壁であると仮決定する。特定物特定部１８４は、中央に位置する第２分割領域２６０内の垂直エッジの数が所定の閾値未満であり、かつ、左右に位置する第２分割領域２６０内の垂直エッジの数が所定の閾値未満であれば、急勾配の坂であると仮決定する。

ここで、所定の閾値は、複数の試行から統計的に求めた予め定められた値である。また、所定の閾値は、先行車両の相対距離に応じ、相対距離が長ければ、より小さく、短ければ、より大きく変化させる。また、ウィンドウ２２２中の立体像の絶対的な大きさに応じ、トラック等、立体像が大きければ、より大きく、立体像が小さければ、より小さく変化させる。

続いて、特定物特定部１８４は、ウィンドウ２２２に対してポイントを加算する。具体的に、特定物特定部１８４は、車両であると仮決定すると車両のポイントを例えば１加算し、他のポイントを例えば１減算もしくはリセットする。また、特定物特定部１８４は、道路の側壁であると仮決定すると道路の側壁のポイントを１加算し、他のポイントを１減算もしくはリセットする。特定物特定部１８４は、急勾配の坂であると仮決定すると急勾配の坂のポイントを１加算し、他のポイントを１減算もしくはリセットする。そして、車両、道路の側壁、または、急勾配の坂のいずれかのポイントが、時間経過に応じて所定のポイント以上となると、そのウィンドウ２２２は、ポイント以上となった立体像を特定物、例えば、車両であると特定する。かかるポイントの計数は、車両、道路の側壁、または、急勾配の坂それぞれに対して重み付けをしてもよい。

こうして、本実施形態の車外環境認識装置１２０では、車外環境や照射範囲の変化に拘わらず、判定対象となる範囲を適切に定め、その中のエッジ成分の分布に基づいて特定物を判定することで、特定物の特定精度を向上することが可能となる。また、特定物を適切に定めることで、衝突回避制御やクルーズコントロールの制御対象を適切に定めることができ、車両の走行安定性を向上することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、立体像を含むウィンドウ２２２を判定対象としたが、かかる場合に限らず、当然にして、立体像そのものを判定対象とすることもできる。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の周囲に存在する立体像を特定する車外環境認識装置に利用することができる。

１ 自車両
１００ 環境認識システム
１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 画像処理部
１７２ ３次元位置導出部
１７４ グループ化部
１７６ 立体像追跡部
１７８ 明暗判定部
１８０ 境界導出部
１８２ エッジ計数部
１８４ 特定物特定部
２５０ 第１分割領域
２６０ 第２分割領域

Claims (4)

1. 撮像装置により撮像された画像内における立体像の垂直方向の輝度の分布に基づいて、該立体像を垂直方向上下に分断する境界を導出する境界導出部と、
   前記境界の垂直方向上下のいずれか輝度の高い方の画像を用い、エッジ成分に基づいて前記立体像が所定の特定物か否か判定する特定物特定部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記境界導出部は、前記立体像を垂直方向に分割した、水平方向に延伸する複数の第１分割領域を生成し、該複数の第１分割領域同士の輝度の差分に基づいて前記境界を導出することを特徴とする請求項１に記載の車外環境認識装置。
3. 前記画像が明状態か暗状態か判定する明暗判定部と、
   明状態であれば前記立体像の前記境界の上方を残し、暗状態であれば前記立体像の該境界の下方を残し、該残した立体像を水平方向に分割した、垂直方向に延伸する複数の第２分割領域を生成し、該複数の第２分割領域のうち、中央に位置する第２分割領域内の、垂直方向に延伸する垂直エッジの数と、左右に位置する第２分割領域内の該垂直エッジの数を計数するエッジ計数部と、
   をさらに備え、
   前記特定物特定部は、前記中央に位置する第２分割領域内の垂直エッジの数と、前記左右に位置する第２分割領域内の垂直エッジの数とに基づいて前記立体像が所定の特定物か否か判定することを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記特定物特定部は、前記中央に位置する第２分割領域内の垂直エッジの数が所定の閾値未満であり、かつ、前記左右に位置する第２分割領域内の垂直エッジが所定の閾値以上であれば、前記立体像を車両であると判定することを特徴とする請求項３に記載の車外環境認識装置。

Images