JP6313667B2

JP6313667B2 - 車外環境認識装置

Info

Publication number: JP6313667B2
Application number: JP2014119300A
Authority: JP
Inventors: 辰之輔木戸
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2014-06-10
Filing date: 2014-06-10
Publication date: 2018-04-18
Anticipated expiration: 2034-06-10
Also published as: JP2015232792A

Description

本発明は、検出領域に存在する立体物がいずれの特定物に対応するかを特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。このような自車両の前方監視技術により、先行車両や歩行者などの物体との接触事故の回避や軽減にも効果が期待されている。

特許文献１には、物体の特定技術として、自車両前方の車外環境を撮像した画像から、所定の画素群で構成されるブロックごとの三次元位置を導出し、三次元位置が近いブロック同士をグループ化して立体物を特定して、立体物の大きさ、形状等に基づき、立体物がいずれの特定物に対応するかを特定する技術が記載されている。

特許第３３４９０６０号公報

ところで、降雨や降雪等の環境下で車外環境を撮像した場合、露光時間の間に降下した、雨粒や雪粒等の降下物の像は、画像上において線形状に捉えられる。ここで、上述したような物体の特定技術を、降雨や降雪等の環境下で利用する場合、線形状に捉えられた複数の降下物に基づく複数のブロックが、画像上において一定領域を占める立体物としてグループ化されてしまい、車両や歩行者等の特定物と判断されないようにする必要がある。

本発明は、このような課題に鑑み、特定物の特定精度を向上することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、画像を取得する画像取得部と、取得した前記画像を１または複数の画素で構成される複数のブロックに分割し、当該ブロックごとの三次元位置を導出する位置情報導出部と、前記三次元位置が所定の第１範囲内である複数のブロックをクラスタ化してクラスタを生成するクラスタ生成部と、前記位置情報導出部によって導出されたブロックの三次元位置に基づいて、前記クラスタの三次元位置であるクラスタ三次元位置を当該クラスタごとに導出するクラスタ位置導出部と、前記クラスタ三次元位置が、前記第１範囲よりも大きい第２範囲内である複数のクラスタをグループ化してグループを生成するグループ生成部と、前記画像における前記クラスタの占有領域に基づいて該クラスタの水平方向の幅を該クラスタごとに導出するクラスタ幅導出部と、前記クラスタの水平方向の幅に基づいて、前記グループの水平方向の幅を導出するグループ幅導出部と、前記グループを構成する前記複数のクラスタの水平方向の幅の合計値が、該グループの水平方向の幅に基づいて設定される第１閾値未満であり、かつ、該グループを構成する該複数のクラスタすべての水平方向の幅が、所定の特定物の少なくとも一部として特定されるべき水平方向の幅に基づいて設定される第２閾値未満である場合、該グループのグループ化を解除して前記複数のクラスタに戻すグループ解除部と、前記グループ、および、グループ化されていない前記クラスタを１の立体物とし、該立体物が所定の条件を満たす場合に該立体物を前記所定の特定物と特定する特定物特定部と、を備えたことを特徴とする。

また、前記グループ生成部が３つ以上のクラスタをグループ化して１のグループを生成した場合、前記グループ解除部は、前記グループを構成する前記複数のクラスタの水平方向の幅の合計値が前記第１閾値未満であり、かつ、該グループを構成する該複数のクラスタすべての水平方向の幅が前記第２閾値未満である場合であって、さらに、該グループにおいて隣り合う２つのクラスタ間の水平方向の離隔距離のいずれかが、前記１の立体物とすべき離隔距離に基づいて設定される第３閾値以上である場合、該グループのグループ化を解除して前記複数のクラスタに戻すとしてもよい。

上記課題を解決するために、本発明の他の車外環境認識装置は、画像を取得する画像取得部と、取得した前記画像を１または複数の画素で構成される複数のブロックに分割し、当該ブロックごとの三次元位置を導出する位置情報導出部と、前記三次元位置が所定の第１範囲内である複数のブロックをクラスタ化してクラスタを生成するクラスタ生成部と、前記位置情報導出部によって導出されたブロックの三次元位置に基づいて、前記クラスタの三次元位置であるクラスタ三次元位置を当該クラスタごとに導出するクラスタ位置導出部と、前記画像における前記クラスタの占有領域に基づいて該クラスタの水平方向の幅を該クラスタごとに導出するクラスタ幅導出部と、前記複数のクラスタの水平方向の幅の合計値が、第１閾値以上である、もしくは、該複数のクラスタすべての水平方向の幅が、所定の特定物の少なくとも一部として特定されるべき水平方向の幅に基づいて設定される第２閾値以上である場合、該複数のクラスタをグループ化してグループを生成するグループ生成部と、前記グループ、および、グループ化されていない前記クラスタを１の立体物とし、該立体物が所定の条件を満たす場合に該立体物を前記所定の特定物と特定する特定物特定部と、を備え、前記第１閾値は、前記クラスタの水平方向の幅に応じて導出される前記グループの水平方向の幅に基づいて設定されることを特徴とする。

また、前記グループ生成部は、前記第２範囲内に３つ以上のクラスタがある場合、前記複数のクラスタの水平方向の幅の合計値が前記第１閾値以上でなく、かつ、該複数のクラスタすべての水平方向の幅が前記第２閾値以上でない場合であって、該複数のクラスタのうち隣り合う２つのクラスタ間の水平方向の幅のいずれかが、前記１の立体物とすべき離隔距離に基づいて設定される第３閾値未満である場合、該複数のクラスタをグループ化するとしてもよい。

また、前記グループ生成部が、２つのクラスタをグループ化して１のグループを生成する場合、前記第１閾値は、前記グループの水平方向の幅に加えて、該複数のクラスタの相対距離に基づいて設定されるとしてもよい。

本発明によれば、特定物の特定精度を向上することが可能となる。

環境認識システムの接続関係を示したブロック図である。第１の実施形態にかかる車外環境認識装置の概略的な機能を示した機能ブロック図である。第１の実施形態にかかる車外環境認識処理を示すフローチャートである。輝度画像と距離画像を説明するための説明図である。クラスタ生成部の処理を説明するための図である。クラスタ生成部の処理を説明するための図である。グループ生成部によるグループ化処理を説明するための図である。グループ生成部によるグループ化処理を説明するための図である。クラスタ幅導出部、グループ幅導出部、グループ解除部の処理を説明するための図である。第２の実施形態にかかる車外環境認識装置の概略的な機能を示した機能ブロック図である。第２の実施形態にかかる車外環境認識処理を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の車外環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の立体物を特定し、特定された立体物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

かかるＡＣＣや衝突防止機能では、例えば、自車両前方に位置する立体物の、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する立体物との衝突を回避したり、立体物が車両（先行車両）であった場合、その先行車両との相対距離を安全な距離に保つように制御する。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０、４２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる輝度画像やモノクロ画像の画像データを生成する。ここでは、撮像装置１１０で撮像された画像を輝度画像として採用し、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、画像内において認識する立体物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０、４２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０、４２０は、自車両１との相対距離を含む実空間における三次元の位置情報を用いて、自車両１前方の検出領域における立体物がいずれの特定物（例えば、先行車両）に対応するかを特定する。

車外環境認識装置１２０、４２０は、立体物を任意の特定物、例えば、先行車両を特定すると、その先行車両を追跡しつつ、先行車両との相対距離および先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。そして、先行車両と衝突の可能性が高いと判定した場合、車外環境認識装置１２０、４２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０、４２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。例えば、車外環境認識装置１２０、４２０から先行車両と衝突の可能性が高い旨の情報が入力されると、車両制御装置１３０は、制動機構１４６を通じて運転者のブレーキ操作を支援する。

以下、車外環境認識装置１２０、４２０の構成について詳述する。ここでは、本実施形態に特徴的な、所定の特定物を特定する処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（第１の実施形態：車外環境認識装置１２０）
図２は、第１の実施形態にかかる車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、画像処理部１６２、位置情報導出部１６４、クラスタ生成部１６６、クラスタ位置導出部１６８、グループ生成部１７０、クラスタ幅導出部１７２、グループ幅導出部１７４、グループ解除部１７６、特定物特定部１７８としても機能する。以下、各機能部の動作を説明するとともに、本実施形態に特徴的な車外環境認識処理について詳述する。

（車外環境認識処理）
図３は、第１の実施形態にかかる車外環境認識処理を示すフローチャートである。車外環境認識装置１２０の画像取得部１６０は、２つの撮像装置１１０それぞれから画像データ（輝度画像）を取得する（Ｓ３００）。

画像処理部１６２は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する（Ｓ３０２）。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６２は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されているすべてのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６２では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を、上述した輝度画像と区別して距離画像という。

図４は、輝度画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図４（ａ）のような輝度画像（画像データ）１２６が生成されたとする。画像処理部１６２は、このような輝度画像１２６からブロック毎の視差を求め、図４（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図３に戻って説明すると、位置情報導出部１６４は、距離画像１２８における検出領域１２４内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、（道路表面からの）高さｙおよび相対距離ｚを含む三次元の位置情報に変換する（Ｓ３０４）。ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。ここで、視差情報が、距離画像１２８における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属するすべての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

続いて、クラスタ生成部１６６は、三次元位置が所定の第１範囲内である複数のブロックをクラスタ化してクラスタを生成する。

図５および図６は、クラスタ生成部１６６の処理を説明するための図である。クラスタ生成部１６６は、まず、距離画像１２８の検出領域１２４を、水平方向に対して複数の分割領域２１６に分割する（Ｓ３０６）。すると、分割領域２１６は図５（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域１２４を１６等分したもので説明する。

続いて、クラスタ生成部１６６は、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置するすべてのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図５（ｂ）中、横長の四角（バー）で示す）を生成する（Ｓ３０８）。すると、図５（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図５（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、クラスタ生成部１６６は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図５（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する（Ｓ３１０）。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。

次に、クラスタ生成部１６６は、隣接する分割領域２１６同士を比較し、図６に示すように、代表距離２２０が近接する（例えば、０．１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する（Ｓ３１２）。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続するすべての分割領域２１６を分割領域群２２２として纏める。これにより、クラスタ生成部１６６は、道路表面より上方に位置する１または複数の立体物を特定物の候補とすることができる。

続いて、クラスタ生成部１６６は、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、三次元位置が所定の第１範囲内（水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内）にあるブロックとを、同一の立体物に対応すると仮定してクラスタ化する（Ｓ３１４）。

こうして、仮想的なブロック群であるクラスタ２２４が生成される。上記の第１範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、クラスタ生成部１６６は、クラスタ化により新たに追加されたブロックに関しても、そのブロックを基点として、第１範囲内にあるブロックをさらにクラスタ化する。結果的に、同一の立体物と仮定可能なブロックすべてがクラスタ化されることとなる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、すべてが第１範囲に含まれる場合のみ同一のクラスタ２２４としているが、他の計算によることもできる。例えば、第１範囲として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のクラスタ２２４としてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、クラスタ化の精度を高めることができる。

図３に戻って説明すると、クラスタ位置導出部１６８は、位置情報導出部１６４によって導出されたブロックの三次元位置に基づいて、クラスタ２２４の三次元位置であるクラスタ三次元位置をクラスタ２２４ごとに導出する（Ｓ３１６）。クラスタ位置導出部１６８は、例えば、クラスタ２２４を構成するブロックの重心位置を、クラスタ三次元位置として導出したり、クラスタ２２４を構成するブロックの三次元位置の平均値をクラスタ三次元位置として導出したり、またはクラスタ２２４を構成するブロックの出現頻度が最も高い三次元位置を、クラスタ三次元位置とすることができる。

グループ生成部１７０は、クラスタ三次元位置が、上記第１範囲よりも大きい第２範囲内（水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．５ｍ）内）である複数のクラスタ２２４をグループ化してグループを生成する（Ｓ３１８）。

図７および図８は、グループ生成部１７０によるグループ化処理Ｓ３１８を説明するための図であり、図７（ａ）、図８（ａ）、図８（ｄ）は、輝度画像１２６を示し、図７（ｂ）、図８（ｂ）、図８（ｅ）は、クラスタ生成部１６６が生成するクラスタ２２４の概念図を示し、図８（ｃ）、（ｆ）は、グループ生成部１７０が生成するグループ２２６の概念図を示す。ただし、図７（ｂ）、図８（ｂ）、図８（ｃ）、図８（ｅ）、図８（ｆ）は計算を行う上での、ブロックの高さに関する情報が省略された仮想的な画面であり、実際には視覚的な画面の生成を伴わない。

例えば、図７（ａ）に示すように、晴天の環境下において、先行車両を含む車外環境を撮像した場合、先行車両全体が輝度画像１２６に写りこむこととなる。かかる輝度画像１２６から形成された距離画像１２８に基づいて、クラスタ生成部１６６がクラスタ２２４を生成すると、図７（ｂ）に示すように、１の先行車両が１のクラスタ２２４として生成されることとなる。

一方、図８（ａ）に示すように、降雨や降雪等の環境下において、先行車両を含む車外環境を撮像した場合、先行車両に降下物が重畳され、先行車両が降下物によって分断（分割）されて輝度画像１２６に写りこむことがある。かかる輝度画像１２６から形成された距離画像１２８に基づいて、クラスタ生成部１６６がクラスタ２２４を生成すると、図８（ｂ）に示すように、１の先行車両から複数（例えば、３つ）のクラスタ２２４が生成されることとなる。この場合、図８（ｃ）に示すように、グループ生成部１７０は、クラスタ三次元位置が、上記第１範囲よりも大きい第２範囲内である複数のクラスタ２２４をグループ化してグループ２２６を生成することにより、１の立体物（先行車両）を、１のグループ２２６（ブロック群）として扱うことができる。

また、図８（ａ）に示すように、輝度画像１２６には、降下物（雨粒、雪粒等）の像が線形状になって写りこむ。したがって、降下物についても、クラスタ２２４が生成されることとなるが、クラスタ三次元位置が、第２範囲外である場合には、図８（ｃ）に示すように当該降下物に基づくクラスタ２２４はグループ化されない。

しかし、図８（ｄ）、図８（ｅ）に示すように、降下物に基づく複数のクラスタ２２４の三次元位置が第２範囲内である場合、降下物に基づく複数のクラスタ２２４を、誤ってグループ化してしまい（図８（ｆ）参照）、後述する特定物特定部１７８が、先行車両等の特定物と誤判断してしまうおそれがある。

そこで、本実施形態では、降下物に基づくクラスタ２２４の水平方向の幅が短いことや、降下物に基づくクラスタ２２４同士の水平方向の離隔距離が大きいことに着目し、グループ２２６を構成するクラスタ２２４の特徴を判定することで、降下物に基づくクラスタ２２４のグループ化を解除する。以下、かかる処理を実行するクラスタ幅導出部１７２、グループ幅導出部１７４、グループ解除部１７６について詳述する。

図９は、クラスタ幅導出部１７２、グループ幅導出部１７４、グループ解除部１７６の処理を説明するための図である。クラスタ幅導出部１７２は、クラスタ三次元位置および輝度画像１２６におけるクラスタ２２４の占有領域に基づいてクラスタ２２４の水平方向の幅（以下、「クラスタ幅ＣＷ」と称する）をクラスタ２２４ごとに導出する（Ｓ３２０）。ここで、クラスタ幅導出部１７２は、クラスタ２２４の占有領域の外接矩形の水平方向の幅をクラスタ幅ＣＷとして導出する。なお、外接矩形は、長方形であり、外縁の横方向が画像の横方向に平行となり、外縁の縦方向が画像の縦方向に平行となる。

グループ幅導出部１７４は、クラスタ三次元位置およびクラスタ幅ＣＷに基づいて、グループ２２６の水平方向の幅（以下、「グループ幅ＧＷ」と称する）を導出する（Ｓ３２２）。例えば、グループ幅導出部１７４は、図９に示すように、グループ２２６を構成するクラスタ２２４のうち、最も左側に位置するクラスタ２２４Ａの左端から、最も右側に位置するクラスタ２２４Ｃの右端までの水平方向の幅をグループ幅ＧＷとする。

グループ解除部１７６は、グループ２２６が、下記（１）〜（３）に示す解除条件をすべて満たすか否かを判定し（Ｓ３２４）、解除条件をすべて満たした場合（Ｓ３２４におけるＹＥＳ）、グループ２２６のグループ化を解除してクラスタ２２４に戻す（Ｓ３２６）。一方、解除条件をすべて満たさない場合（Ｓ３２４におけるＮＯ）、グループ２２６のグループ化を解除せず、後述する特定物特定処理Ｓ３２８に移る。

上記解除条件（１）は、グループ２２６を構成する複数のクラスタ２２４のクラスタ幅ＣＷの合計値が、グループ幅ＧＷに基づいて決定される第１閾値未満であることである。第１閾値は、グループ幅ＧＷに所定の係数（１未満）を乗算した値である。ここで、第１閾値は、例えば、降雨や降雪等の環境下において先行車両を撮像した場合に生成されたクラスタ２２４をグループ化したとき、グループ２２６を構成する複数のクラスタ２２４のクラスタ幅ＣＷの合計値が、第１閾値以上となるように設定される値である。

降下物に基づくクラスタ２２４は、撮像装置１１０の露光時間の間に降下した降下物の像に基づいてクラスタ化されたものである。降下物は、撮像装置１１０の露光時間の間に水平方向にほとんど移動しないため、降下物に基づくクラスタ２２４のクラスタ幅ＣＷは小さい。したがって、降下物に基づくクラスタ２２４がグループ化された場合、グループ幅ＧＷにおける、複数のクラスタ２２４のクラスタ幅ＣＷの合計値が占める割合は小さくなる。

一方、水平方向の幅が降下物よりも大きい１の立体物（例えば、先行車両）から、複数のクラスタ２２４が生成されるということは、例えば、立体物に降下物が重畳して撮像された場合である。つまり、水平方向の幅が降下物よりも大きい１の立体物から、複数のクラスタ２２４が生成される際のクラスタ２２４のクラスタ幅ＣＷの合計値が、降下物に基づく複数のクラスタ２２４のクラスタ幅ＣＷの合計値よりも小さくなることはないと考えられる。したがって、１の立体物から生成された複数のクラスタ２２４がグループ化された場合、グループ幅ＧＷにおける、複数のクラスタ２２４のクラスタ幅ＣＷの合計値が占める割合は大きくなる。

したがって、上記解除条件（１）を満たすか否かを判定することにより、グループ２２６を１の立体物としてみなせるかを判定することができる。

上記解除条件（２）は、グループ２２６において、すべてのクラスタ２２４のクラスタ幅ＣＷが第２閾値未満であることである。第２閾値は、所定の特定物（例えば、先行車両）の少なくとも一部として特定されるべき水平方向の幅に基づいて設定され、例えば、雨粒や雪粒等の降下物の水平方向の幅を上回る大きさであるナンバープレートの水平方向の幅である。

水平方向の幅が降下物よりも大きい１の立体物から、複数のクラスタ２２４が生成される際、複数のクラスタ２２４のうち水平方向の幅が最も小さいクラスタ２２４のクラスタ幅ＣＷであっても、降下物に基づくクラスタ２２４のクラスタ幅ＣＷよりも小さくなる可能性は低い。また、複数のクラスタ２２４のうち水平方向の幅が最も小さいクラスタ２２４のクラスタ幅ＣＷは、少なくとも、ナンバープレートの水平方向の幅より大きくなる可能性が高い。

そこで、解除条件（２）を満たすか否かを判定することにより、グループ２２６を構成するすべてのクラスタ２２４が、１の立体物として特定すべき水平方向の幅を有していないかを判定することができる。

上記解除条件（３）は、グループ２２６において隣り合う２つのクラスタ２２４間の水平方向の離隔距離（以下、「離隔距離ＲＫ」と称する）のいずれかが第３閾値以上であるクラスタ２２４があることである。第３閾値は、１の立体物とすべき離隔距離に基づいて設定される。ここで、第３閾値は、例えば、降雨や降雪等の環境下において先行車両を撮像した場合に生成された複数のクラスタ２２４をグループ化したとき、グループ２２６において隣り合う２つのクラスタ２２４間の離隔距離ＲＫのすべてが第３閾値未満となるように設定される値である。

降雨や降雪等の環境下において、隣り合う降下物間の離隔距離が降下物の水平方向の幅よりも小さくなる可能性は低い。したがって、降下物に基づくクラスタ２２４がグループ化されたグループ２２６において、隣り合う２つのクラスタ２２４間の離隔距離ＲＫは、降下物の水平方向の幅（降下物に基づくクラスタ２２４のクラスタ幅ＣＷ）より大きくなる。一方、水平方向の幅が降下物よりも大きい１の立体物から、複数のクラスタ２２４が生成された場合の、隣り合う２つのクラスタ２２４間の離隔距離ＲＫは、降下物の水平方向の幅（降下物に基づくクラスタ２２４のクラスタ幅ＣＷ）程度と小さい。

そこで、解除条件（３）を満たすか否かを判定することにより、グループ２２６を構成するクラスタ２２４において、降下物に基づくクラスタ２２４が含まれているかを判定することができる。

なお、２つのクラスタ２２４がグループ化されてグループ２２６が生成される場合、上記解除条件（１）と解除条件（３）は、実質的に等しい条件とみなすことができる。具体的に説明すると、上記解除条件（１）は、グループ幅ＧＷに対する、２つのクラスタ２２４のクラスタ幅ＣＷａ、ＣＷｂの合計値が占める割合を判定する条件、換言すれば、（ＣＷａ＋ＣＷｂ）／ＧＷが第１閾値未満であることである。また、解除条件（３）は、２つのクラスタ２２４間の離隔距離ＲＫを判定する条件である。２つのクラスタ２２４がグループ化された場合、解除条件（１）の（ＣＷａ＋ＣＷｂ）／ＧＷは、（ＧＷ−ＲＫ）／ＧＷと言い換えることもできるため、上記解除条件（１）と解除条件（３）は、実質的に等しい条件とみなすことができると言える。

したがって、グループ解除部１７６は、２つのクラスタ２２４がグループ化されたグループ２２６を判定する場合、上記解除条件（１）および解除条件（２）を満たすか否かを判定すればよい。

また、この場合、第１閾値は、グループ幅ＧＷに加えて、複数のクラスタ２２４の相対距離ｚに基づいて決定されるとよい。具体的に説明すると、１の立体物からクラスタ２２４が生成された場合、クラスタ２２４を構成するブロック数は、相対距離ｚが小さいと多くなり、相対距離ｚが大きいと少なくなる。ここで、グループ幅ＧＷに乗算する係数を固定値とすると、相対距離ｚが大きい場合、１の立体物からグループ２２６が生成された場合であっても、グループ２２６が解除されてしまう場合がある。

仮に、自車両１から降下物までの相対距離ｚが等しく、自車両１から先行車両までの相対距離ｚが異なるとし、降下物の水平方向の幅が等しい場合について説明する。この場合において、先行車両が降下物によって分断（分割）されて輝度画像１２６に写りこむとすると、相対距離ｚが大きい先行車両に基づくクラスタ２２４は、相対距離ｚが小さい先行車両のクラスタ２２４と比較して、クラスタ幅ＣＷは小さく、離隔距離ＲＫは大きくなる。ここで、グループ幅ＧＷに乗算する係数を固定値とすると、相対距離ｚが大きい場合、１の立体物からグループ２２６が生成された場合であっても、クラスタ幅ＣＷが小さく第１閾値未満となったり、離隔距離ＲＫが大きく第３閾値以上となったりして、グループ２２６が解除されてしまう場合がある。

そこで、第１閾値については、相対距離ｚに応じてグループ幅ＧＷに乗算する係数を変化させる、例えば、相対距離ｚが大きい場合には、相対距離ｚが小さい場合よりも小さい係数を乗算する。これにより、相対距離ｚによって、グループ２２６が解除されてしまう事態を回避することが可能となる。

図３に戻って説明すると、特定物特定部１７８は、グループ２２６、および、グループ化されていないクラスタ２２４を１の立体物とし、当該立体物がいずれの特定物に対応するか特定する。本実施形態において、特定物特定部１７８は、特に、立体物が、予め定められた車両に相当する所定の条件を満たしていれば、その立体物を特定物「車両」として決定する（Ｓ３２８）。例えば、特定物特定部１７８は、立体物が道路上に位置する場合、その立体物全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その立体物を特定物「車両」と特定する。

こうして、車外環境認識装置１２０では、距離画像１２８から、立体物を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域１２４内の任意の立体物が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を検出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。

以上説明したように、本実施形態にかかる車外環境認識装置１２０によれば、雨粒や雪粒等の降下物を、車両や歩行者等の特定物と誤判断する事態を回避し、特定物の特定精度を向上することが可能となる。

（第２の実施形態：車外環境認識装置４２０）
上記第１の実施形態では、クラスタ２２４をグループ化してグループ２２６とした後、上記解除条件（１）〜（３）をすべて満たした場合、グループ２２６を解除してクラスタ２２４に戻す構成について説明した。しかし、クラスタ２２４をグループ化する際に、解除条件を結合条件として用いて、結合条件を満たすか否かを判定してもよい。第２の実施形態では、クラスタ２２４をグループ化する際に、結合条件を判定する構成について説明する。

図１０は、第２の実施形態にかかる車外環境認識装置４２０の概略的な機能を示した機能ブロック図である。図１１は、第２の実施形態にかかる車外環境認識処理を示すフローチャートである。

図１０に示すように、車外環境認識装置４２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部４５４とを含んで構成される。

中央制御部４５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部４５４は、画像取得部１６０、画像処理部１６２、位置情報導出部１６４、クラスタ生成部１６６、クラスタ位置導出部１６８、クラスタ幅導出部１７２、グループ生成部４７０、特定物特定部１７８としても機能する。

なお、第１の実施形態における構成要素と実質的に機能が等しい構成要素については、同一の符号を付して説明を省略し、ここでは、機能が異なるグループ生成部４７０を主に説明する。また、第１の実施形態における処理と実質的に等しい処理については、同一の符号を付して説明を省略し、ここでは、結合条件判定処理Ｓ５１０、グループ化処理Ｓ５１２について説明する。

グループ生成部４７０は、まず、クラスタ三次元位置が、第１範囲よりも大きい第２範囲内である複数のクラスタ２２４を仮にグループ化した場合のグループ幅ＧＷを導出する。そして、グループ生成部４７０は、クラスタ三次元位置が、第１範囲よりも大きい第２範囲内である複数のクラスタ２２４について、上記解除条件（１）〜（３）を結合条件（１）〜（３）として用いて、結合条件（１）〜（３）のいずれかを満たすか否かを判定する（Ｓ５１０）。

そして、上記結合条件（１）〜（３）のいずれかを満たす場合（Ｓ５１０におけるＹＥＳ）、グループ生成部４７０は、複数のクラスタ２２４をグループ化して、グループ２２６を生成する（Ｓ５１２）。

また、グループ生成部４７０は、２つのクラスタ２２４をグループ化する場合、上記解除条件（１）と解除条件（２）との関係と同様に、上記結合条件（１）と結合条件（３）を、実質的に等しい条件とみなすことができる。このため、２つのクラスタ２２４をグループ化する場合、グループ生成部４７０は、上記結合条件（１）または結合条件（２）を満たすか否かを判定すればよい。

以上説明したように、本実施形態にかかる車外環境認識装置４２０によっても、雨粒や雪粒等の降下物を、車両や歩行者等の特定物と誤判断する事態を回避し、特定物の特定精度を向上することが可能となる。

また、コンピュータを、車外環境認識装置１２０、４２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した第１の実施形態において、グループ解除部１７６が３つ以上のクラスタ２２４で構成されるグループ２２６を判定する場合、上記解除条件（１）〜（３）をすべて満たすか否かを判定する構成について説明した。しかし、少なくとも上記解除条件（１）および解除条件（２）を満たすか否かを判定すればよい。

また、上述した第２の実施形態において、グループ生成部４７０が３つ以上のクラスタ２２４をグループ化する場合、上記結合条件（１）〜（３）（解除条件（１）〜（３））のいずれかを満たすか否かを判定する構成について説明した。しかし、上記結合条件（１）〜（３）のうち、複数の結合条件を満たすか否かを判定してもよい。

また、上述した実施形態において、グループ生成部１７０、４７０が、２つのクラスタ２２４をグループ化して１のグループ２２６を生成する場合、第１閾値は、グループ幅ＧＷに加えて、複数のクラスタ２２４の相対距離ｚに基づいて決定される構成を例に挙げて説明した。しかし、第１閾値は、グループ幅ＧＷのみに基づいて決定されてもよい。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、検出領域に存在する立体物がいずれの特定物に対応するかを特定する車外環境認識装置に利用することができる。

１２０、４２０車外環境認識装置
１６０画像取得部
１６４位置情報導出部
１６６クラスタ生成部
１６８クラスタ位置導出部
１７０、４７０グループ生成部
１７２クラスタ幅導出部
１７４グループ幅導出部
１７６グループ解除部
１７８特定物特定部

Claims

画像を取得する画像取得部と、
取得した前記画像を１または複数の画素で構成される複数のブロックに分割し、当該ブロックごとの三次元位置を導出する位置情報導出部と、
前記三次元位置が所定の第１範囲内である複数のブロックをクラスタ化してクラスタを生成するクラスタ生成部と、
前記位置情報導出部によって導出されたブロックの三次元位置に基づいて、前記クラスタの三次元位置であるクラスタ三次元位置を当該クラスタごとに導出するクラスタ位置導出部と、
前記クラスタ三次元位置が、前記第１範囲よりも大きい第２範囲内である複数のクラスタをグループ化してグループを生成するグループ生成部と、
前記画像における前記クラスタの占有領域に基づいて該クラスタの水平方向の幅を該クラスタごとに導出するクラスタ幅導出部と、
前記クラスタの水平方向の幅に基づいて、前記グループの水平方向の幅を導出するグループ幅導出部と、
前記グループを構成する前記複数のクラスタの水平方向の幅の合計値が、該グループの水平方向の幅に基づいて設定される第１閾値未満であり、かつ、該グループを構成する該複数のクラスタすべての水平方向の幅が、所定の特定物の少なくとも一部として特定されるべき水平方向の幅に基づいて設定される第２閾値未満である場合、該グループのグループ化を解除して前記複数のクラスタに戻すグループ解除部と、
前記グループ、および、グループ化されていない前記クラスタを１の立体物とし、該立体物が所定の条件を満たす場合に該立体物を前記所定の特定物と特定する特定物特定部と、
を備えたことを特徴とする車外環境認識装置。
前記グループ生成部が３つ以上のクラスタをグループ化して１のグループを生成した場合、
前記グループ解除部は、前記グループを構成する前記複数のクラスタの水平方向の幅の合計値が前記第１閾値未満であり、かつ、該グループを構成する該複数のクラスタすべての水平方向の幅が前記第２閾値未満である場合であって、さらに、該グループにおいて隣り合う２つのクラスタ間の水平方向の離隔距離のいずれかが、前記１の立体物とすべき離隔距離に基づいて設定される第３閾値以上である場合、該グループのグループ化を解除して前記複数のクラスタに戻すことを特徴とする請求項１に記載の車外環境認識装置。
画像を取得する画像取得部と、
取得した前記画像を１または複数の画素で構成される複数のブロックに分割し、当該ブロックごとの三次元位置を導出する位置情報導出部と、
前記三次元位置が所定の第１範囲内である複数のブロックをクラスタ化してクラスタを生成するクラスタ生成部と、
前記位置情報導出部によって導出されたブロックの三次元位置に基づいて、前記クラスタの三次元位置であるクラスタ三次元位置を当該クラスタごとに導出するクラスタ位置導出部と、
前記画像における前記クラスタの占有領域に基づいて該クラスタの水平方向の幅を該クラスタごとに導出するクラスタ幅導出部と、
前記複数のクラスタの水平方向の幅の合計値が、第１閾値以上である、もしくは、該複数のクラスタすべての水平方向の幅が、所定の特定物の少なくとも一部として特定されるべき水平方向の幅に基づいて設定される第２閾値以上である場合、該複数のクラスタをグループ化してグループを生成するグループ生成部と、
前記グループ、および、グループ化されていない前記クラスタを１の立体物とし、該立体物が所定の条件を満たす場合に該立体物を前記所定の特定物と特定する特定物特定部と、
を備え、
前記第１閾値は、前記クラスタの水平方向の幅に応じて導出される前記グループの水平方向の幅に基づいて設定されることを特徴とする車外環境認識装置。
前記グループ生成部は、
前記第２範囲内に３つ以上のクラスタがある場合、
前記複数のクラスタの水平方向の幅の合計値が前記第１閾値以上でなく、かつ、該複数のクラスタすべての水平方向の幅が前記第２閾値以上でない場合であって、該複数のクラスタのうち隣り合う２つのクラスタ間の水平方向の幅のいずれかが、前記１の立体物とすべき離隔距離に基づいて設定される第３閾値未満である場合、該複数のクラスタをグループ化することを特徴とする請求項３に記載の車外環境認識装置。
前記グループ生成部が、２つのクラスタをグループ化して１のグループを生成する場合、
前記第１閾値は、前記グループの水平方向の幅に加えて、該複数のクラスタの相対距離に基づいて設定されることを特徴とする請求項１または３に記載の車外環境認識装置。