JP2022039949A - 車外環境認識装置 - Google Patents

Abstract

【課題】追跡対象の先行車両の誤認識を抑制する。【解決手段】車外環境認識装置は、１つまたは複数のプロセッサと、プロセッサに接続される１つまたは複数のメモリと、を有し、プロセッサは、メモリに含まれるプログラムと協働して、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、立体物から先行車両２３０ａ、２３０ｂおよび側壁２３２ａ、２３２ｂを特定する特定物特定部と、先行車両の未来の位置を予測して先行車両を追跡する車両追跡部、として機能し、車両追跡部は、死角と可視領域との境界線２４０に基づいて、追跡対象の先行車両が側壁によって遮蔽されるか否か判定する。【選択図】図１０

Description

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。

特許文献１には、自車両の前方に位置する先行車両を検出し、先行車両との衝突被害を軽減する技術や、先行車両との車間距離を安全な距離に保つように追従制御する技術が開示されている。

特開２０１２－２２１１２６号公報

自車両と先行車両との衝突被害を軽減するため、また、先行車両への追従制御を実現するため、自車両は、まず、進行方向に存在する立体物を特定し、その立体物が先行車両等の特定物であるか否か判定する。そして、自車両は、特定した先行車両を追跡することで、先行車両に対する各種制御を実現する。

しかし、自車両がカーブを走行する際、追跡対象の先行車両が、道路脇に位置する側壁や、追跡対象の先行車両より手前に位置する他の先行車両によって遮蔽される場合がある。そうすると、自車両は、先行車両の追跡ができなくなり、他の特定物を、追跡対象の先行車両と誤認識するおそれがある。

本発明は、このような課題に鑑み、追跡対象の先行車両の誤認識を抑制することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、１つまたは複数のプロセッサと、プロセッサに接続される１つまたは複数のメモリと、を有し、プロセッサは、メモリに含まれるプログラムと協働して、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、立体物から先行車両および側壁を特定する特定物特定部と、先行車両の未来の位置を予測して先行車両を追跡する車両追跡部、として機能し、車両追跡部は、死角と可視領域との境界線に基づいて、追跡対象の先行車両が側壁によって遮蔽されるか否か判定する。

車両追跡部は、先行車両が側壁によって遮蔽されると判定すると、先行車両の追跡を停止してもよい。

上記課題を解決するために、本発明の他の車外環境認識装置は、１つまたは複数のプロセッサと、プロセッサに接続される１つまたは複数のメモリと、を有し、プロセッサは、メモリに含まれるプログラムと協働して、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、立体物から先行車両を特定する特定物特定部と、先行車両の未来の位置を予測して先行車両を追跡する車両追跡部、として機能し、車両追跡部は、複数の先行車両の位置関係に基づいて、追跡対象の先行車両が他の先行車両によって遮蔽されるか否か判定する。

車両追跡部は、先行車両が他の先行車両によって遮蔽されると判定すると、先行車両の追跡を停止してもよい。

本発明によれば、追跡対象の先行車両の誤認識を抑制することが可能となる。

図１は、車外環境認識システムの接続関係を示したブロック図である。 図２は、車外環境認識装置の概略的な機能を示した機能ブロック図である。 図３は、車外環境認識方法の流れを示すフローチャートである。 図４は、輝度画像と距離画像を説明するための説明図である。 図５は、立体物特定部の動作を説明するための説明図である。 図６は、特定物特定部の動作を説明するための説明図である。 図７は、車両追跡処理の流れを示すフローチャートである。 図８は、車両追跡部の動作を説明するための説明図である。 図９は、自車両の走行例を示した説明図である。 図１０は、車両追跡部の動作を示した説明図である。 図１１は、車両追跡部の動作を示した説明図である。 図１２は、自車両の走行例を示した説明図である。 図１３は、車両追跡部の動作を示した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、自車両１に設けられ、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含む。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子で構成される。撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成する。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、車外環境認識装置１２０が認識する立体物や特定物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物、道路脇の側壁といった独立して存在する物のみならず、車両の背面や側面、自転車の車輪等、その一部として特定できる物も含む。ここで、車両の背面は、自車両１の前方において自車両１に対向する面を示し、車両自体の後方面を示すものではない。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて距離画像を生成する。車外環境認識装置１２０は、輝度画像と距離画像に基づき、路面より上方に位置し、カラー値が等しく、三次元の位置情報が互いに隣接するブロック同士を立体物としてグルーピングする。そして、車外環境認識装置１２０は、立体物がいずれの特定物であるかを特定する。例えば、車外環境認識装置１２０は、立体物が先行車両であると特定する。また、車外環境認識装置１２０は、このように先行車両を特定すると、自車両１と先行車両との衝突被害の軽減制御を行い、また、自車両１を先行車両に追従させる追従制御を行う。車外環境認識装置１２０の具体的な動作については後程詳述する。

車両制御装置１３０は、ＥＣＵ（Electronic Control Unit）等で構成され、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含む。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、プロセッサ１５４ａ、プログラム等が格納されたＲＯＭ１５４ｂ、ワークエリアとしてのＲＡＭ１５４ｃ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。ＲＯＭ１５４ｂとＲＡＭ１５４ｃとを合わせてメモリと呼ぶ場合がある。また、本実施形態において、中央制御部１５４では、プロセッサ１５４ａ、ＲＯＭ１５４ｂ、および、ＲＡＭ１５４ｃが協働することで、位置導出部１７０、立体物特定部１７２、特定物特定部１７４、車両追跡部１７６としても機能する。以下、車外環境認識方法について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置１２０は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部１７０は、撮像装置１１０から取得した輝度画像におけるブロック単位の三次元位置を導出する（位置導出処理Ｓ２００）。立体物特定部１７２は、ブロック同士をグルーピングして立体物を特定する（立体物特定処理Ｓ２０２）。特定物特定部１７４は、立体物から先行車両および側壁を特定する（特定物特定処理Ｓ２０４）。車両追跡部１７６は、先行車両の未来の位置を予測して先行車両を追跡する（車両追跡処理Ｓ２０６）。

（位置導出処理Ｓ２００）
図４（図４Ａ～図４Ｃ）は、輝度画像および距離画像を説明するための説明図である。位置導出部１７０は、撮像装置１１０で光軸を異として同タイミングで撮像された複数（ここでは２）の輝度画像をそれぞれ取得する。ここで、位置導出部１７０は、輝度画像２１２として、図４Ａに示す、自車両１の比較的右側に位置する撮像装置１１０で撮像された第１輝度画像２１２ａと、図４Ｂに示す、自車両１の比較的左側に位置する撮像装置１１０で撮像された第２輝度画像２１２ｂとを取得したとする。

図４Ａおよび図４Ｂを参照すると、撮像装置１１０の撮像位置の違いから、第１輝度画像２１２ａと第２輝度画像２１２ｂとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

位置導出部１７０は、位置導出部１７０が取得した、図４Ａに示す第１輝度画像２１２ａと、図４Ｂに示す第２輝度画像２１２ｂとに基づいて、図４Ｃのような、撮像対象の距離を特定可能な距離画像２１４を生成する。

具体的に、位置導出部１７０は、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。そして、位置導出部１７０は、一方の輝度画像（ここでは第１輝度画像２１２ａ）から任意に抽出したブロックに対応するブロックを他方の輝度画像（ここでは第２輝度画像２１２ｂ）から検索する。ここで、ブロックは、例えば、水平４画素×垂直４画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。

例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

位置導出部１７０は、このようなブロック単位の視差導出処理を、例えば、６００画素×２００画素の検出領域に映し出されている全てのブロックについて行う。ここで、位置導出部１７０は、ブロックを４画素×４画素として処理しているが、任意の画素数で処理してもよい。

位置導出部１７０は、距離画像２１４のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む実空間における三次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの距離画像２１４における視差からそのブロックの撮像装置１１０に対する相対距離ｚを導出する手法である。このとき、位置導出部１７０は、ブロックの相対距離ｚと、ブロックと同相対距離ｚにある道路表面上の点とブロックとの距離画像２１４上の検出距離とに基づいて、ブロックの道路表面からの高さｙを導出する。そして、位置導出部１７０は、導出した三次元位置を改めて距離画像２１４に対応付ける。かかる相対距離ｚの導出処理や三次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（立体物特定処理Ｓ２０２）
立体物特定部１７２は、路面より上方に位置し、カラー値が等しく、距離画像２１４における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する。具体的に、立体物特定部１７２は、距離画像２１４における、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。

図５（図５Ａ～図５Ｃ）は、立体物特定部１７２の動作を説明するための説明図である。ここで、位置導出部１７０が、例えば、図５Ａのような距離画像２１４を生成したとする。立体物特定部１７２は、かかる距離画像２１４からブロック同士をグルーピングする。こうして、図５Ｂのようにグルーピングされたブロック群が複数抽出される。立体物特定部１７２は、図５Ｂにおいて、グルーピングしたブロックの全てが含まれる外形線、例えば、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠（面）を、立体物２２０（２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、２２０ｅ、２２０ｆ、２２０ｇ）とする。

図５Ｂにおける、距離画像２１４上の立体物２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、２２０ｅ、２２０ｆ、２２０ｇは、水平距離ｘおよび相対距離ｚで示す２次元の水平面で表すと、図５Ｃにおける、立体物２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、２２０ｅ、２２０ｆ、２２０ｇとなる。

（特定物特定処理Ｓ２０４）
特定物特定部１７４は、立体物特定部１７２が特定した立体物がいずれの特定物であるか特定する。例えば、特定物特定部１７４は、自車両１の前方において、自車両１と同方向に走行する立体物を先行車両と特定する。

例えば、立体物特定部１７２は、図５Ｃにおいて、立体物２２０ｂと立体物２２０ｃとを異なる立体物として特定する。しかし、実際、立体物２２０ｂは先行車両の背面を構成し、立体物２２０ｃは先行車両の側面を構成している。したがって、立体物２２０ｂと立体物２２０ｃとは、本来、一体的な同一の立体物を構成するペアとして認識されるべきである。同様に、立体物２２０ｅと立体物２２０ｆも同一の立体物として認識されるべきである。そこで、特定物特定部１７４は、同一の立体物の背面と側面とすべき立体物２２０をペアリングする。

図６は、特定物特定部１７４の動作を説明するための説明図である。図６は、立体物２２０を水平面に投影したものであり、水平距離ｘおよび相対距離ｚのみで表されている。

特定物特定部１７４は、立体物２２０を水平面に投影し、奥行き方向に対する角度に基づいて背面と側面とに区別し、背面と側面との関係が所定条件を満たせば、背面と側面とをペアリングしてペアを特定する。

具体的に、特定物特定部１７４は、まず、奥行き方向に相当する相対距離の軸に対する、立体物２２０の近似直線の角度を導出する。特定物特定部１７４は、導出した角度の絶対値が４５度以上１３５度未満であれば、その立体物２２０を背面とする。一方、特定物特定部１７４は、導出した角度の絶対値が０度以上４５度未満または１３５度以上１８０度以下であれば、その立体物２２０を側面とする。

例えば、立体物特定部１７２がグルーピングした結果、図６Ａのように、立体物２２０ｈ、２２０ｉを導出したとする。かかる例では、図６Ｂのように、立体物２２０ｈの近似直線の角度の絶対値は４５度以上１３５度未満となるので、特定物特定部１７４は、当該立体物２２０ｈを背面であると判定する。一方、立体物２２０ｉの近似直線の角度の絶対値は０度以上４５度未満となるので、特定物特定部１７４は、当該立体物２２０ｉを側面であると判定する。こうして、特定物特定部１７４は、背面と側面とを大凡区別することができる。

なお、このとき、特定物特定部１７４は、背面と側面との距離が車両の一部として適切な距離（例えば２ｍ）以内であり、背面と側面との速度がいずれも安定し、背面および側面それぞれの長さが所定値（例えば１ｍ）以上であり、かつ、その中央位置が検出領域内であれば、ペアリングを実行するとしてもよい。かかるペアリングの前提条件を追加することで、特定物特定部１７４は、ペアリングの対象を適切に制限することが可能となり、処理負荷の軽減を図ることが可能となる。

特定物特定部１７４は、例えば、背面に相当する立体物２２０ｈと、側面に対応する立体物２２０ｉとのペアが、先行車両としての条件を満たすか否か判定する。具体的に、特定物特定部１７４は、立体物２２０ｈと立体物２２０ｉとのペアによって構成される立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源を有するか判定する。このような条件を満たす場合、特定物特定部１７４は、立体物２２０ｈと立体物２２０ｉとのペアによって構成される立体物２２０を先行車両と特定する。

なお、特定物特定部１７４は、後述する車両追跡部１７６において前回フレームで予測された予測結果に基づき、立体物特定部１７２が特定した立体物と、車両追跡部１７６が予測した立体物２２０との位置との差が所定範囲内であることを条件に、その立体物２２０を先行車両と特定するとしてもよい。

また、特定物特定部１７４は、自車両１の前方において、道路脇に立設する立体物を側壁と特定する。

例えば、図５Ｃにおいては、立体物特定部１７２は、道路より左側において立設する立体物２２０ａを、左側の側壁とする。また、立体物特定部１７２は、道路より右側において立設する立体物２２０ｇを、右側の側壁とする。一般に、一体的に形成される側壁は連続性を有することが知られている。したがって、図５Ｃのように、立体物２２０ａ、２２０ｇが水平面において直線的な軌跡を有する場合、立体物特定部１７２は、立体物２２０ａを直線的な側壁と判断することができる。また、立体物が水平面において、曲率半径が等しい等、規則性のある曲線的な軌跡を有する場合、立体物特定部１７２は、立体物を曲線的な側壁と判断することができる。

なお、このとき、特定物特定部１７４は、立体物２２０ａ、２２０ｇの相対速度が自車両１の速度と等しく、道路からの水平距離および垂直距離が所定範囲内で安定しており、奥行き方向に連続性があることを条件に、立体物２２０ａ、２２０ｇを側壁と特定してもよい。

特定物特定部１７４は、立体物２２０を側壁と特定すると、その立体物２２０を構成するブロックに対し、例えば、最小二乗法による近似曲線を導出する。特定物特定部１７４は、導出した近似曲線を、側面の水平面上の軌跡として、立体物２２０に関連付ける。

（車両追跡処理Ｓ２０６）
車両追跡部１７６は、先行車両の未来の位置を予測して先行車両を追跡する。ここで、追跡とは、フレーム毎に特定される先行車両同士の同一性を判断し、同一とみなされる先行車両の時間的な移動推移を導出することで、先行車両を時系列に管理することである。

図７は、車両追跡処理の流れを示すフローチャートであり、図８（図８Ａ、図８Ｂ）は、車両追跡部１７６の動作を説明するための説明図である。図８は、水平距離ｘおよび相対距離ｚのみで表されている。例えば、立体物特定部１７２は、図８Ａのように、立体物２２０ｈ、２２０ｉを特定したとする。また、特定物特定部１７４は、立体物２２０ｈを背面とし、立体物２２０ｉを側面としてペアリングし、先行車両として特定したとする。ここで、立体物２２０ｈを構成するブロックの近似曲線と、立体物２２０ｉの各ブロックの近似曲線との交点を実測交点とする。また、立体物２２０ｈを構成するブロックのうち、実測交点から最も遠い点を実測背面端点とし、立体物２２０ｉを構成するブロックのうち、実測交点から最も遠い点を実測側面端点とする。

車両追跡部１７６は、図８Ｂに示すように、このような実測交点、実測背面端点、実測側面端点と、過去に導出した複数回分の実測交点、実測背面端点、実測側面端点とを用い、例えば、カルマンフィルタ等を用いて、次回の予測交点、予測背面端点、予測側面端点とを導出する（Ｓ３００）。このとき、車両追跡部１７６は、背面および側面の相対速度、Ｙ軸回りの角速度、および、エゴモーションを考慮して、次回の予測交点、予測背面端点、予測側面端点を予測する。そして、車両追跡部１７６は、今回フレームの予測結果（予測交点、予測背面端点、予測側面端点）を次回フレームのためにデータ保持部１５２に保持する。ここで、車両追跡部１７６は、先行車両の端点や交点を用いて先行車両の移動推移を予測しているが、かかる場合に限らず、従来から存在する様々な移動推移の予測技術を用いることができる。

次に、車両追跡部１７６は、データ保持部１５２から前回フレームにおいて予測した予測結果を読み出す。車両追跡部１７６は、今回フレームの実測結果（実測交点、実測背面端点、実測側面端点）と、前回フレームにおける予測結果とを比較し、立体物の同一性を判断する（Ｓ３０２）。具体的に、車両追跡部１７６は、前回フレームにおける予測結果との距離が最短であり、立体物の大きさの差が所定範囲内となる今回フレームの実測結果を特定する。そして、車両追跡部１７６は、特定した今回フレームの実測結果と前回フレームにおける予測結果との三次元位置の差分が所定範囲内にあれば、フレーム毎に特定された先行車両同士が同一の先行車両であると判断する。こうして、車両追跡部１７６は、追跡対象となる先行車両のフレーム毎の移動推移を導出することができる。

車両追跡部１７６が、追跡対象となる先行車両の移動推移を導出すると、車外環境認識装置１２０は、先行車両の移動推移を用いて、自車両１と先行車両との衝突被害の軽減制御を行い、また、自車両１を先行車両に追従させる追従制御を行うことができる。

ところで、自車両１がカーブを走行する際、追跡対象の先行車両が、道路脇に位置する側壁によって遮蔽される場合がある。そうすると、自車両１は、先行車両の追跡ができなくなり、他の特定物を、追跡対象の先行車両と誤認識するおそれがある。

図９（図９Ａ、図９Ｂ）は、自車両１の走行例を示した説明図である。図９Ａは、自車両１がカーブを走行しているときの輝度画像２１２を示し、図９Ｂは、検出領域の状態を水平面に投影したものである。図９Ａに示すように、自車両１は、左方向のカーブを走行し、前方には、２台の先行車両２３０ａ、２３０ｂが位置している。

ここでは、カーブしている道路の脇に側壁２３２ａ、２３２ｂが位置している。そうすると、自車両１と先行車両２３０ａとの位置関係によっては、特定物特定部１７４が、先行車両２３０ａを特定物として特定できない場合が生じ得る。例えば、図９Ｂのように、先行車両２３０ａが車線上を走行していたとしても、自車両１から見ると、図９Ａのように、先行車両２３０ａが左側の側壁２３２ａによって一部遮蔽される。

このように先行車両２３０ａが側壁２３２ａに遮蔽され、立体物特定部１７２が立体物全体を特定できなくなると、特定物特定部１７４による先行車両２３０ａの特定精度が低下するとともに、車両追跡部１７６による先行車両２３０ａの追跡が不安定になる。また、上述したように、車両追跡部１７６は、前回フレームにおける今回フレームの予測結果との距離が最短となる今回フレームの実測結果を用いて先行車両を追跡する。したがって、先行車両２３０ａが側壁２３２ａによって完全に遮蔽されると、車両追跡部１７６は、先行車両２３０ａとして、先行車両２３０ａの近傍に位置し、その大きさが先行車両２３０ａと近似する先行車両２３０ｂを追跡するおそれがある。

そこで、車両追跡部１７６は、追跡対象の先行車両２３０ａが側壁２３２ａによって将来的に遮蔽されるか否か判定する（Ｓ３０４）。

図１０および図１１は、車両追跡部１７６の動作を示した説明図である。図１０では、撮像装置１１０の死角をハッチングで示している。したがって、ハッチング以外の領域が、撮像装置１１０が撮像可能な可視領域となる。可視領域は、撮像装置１１０の死角、側壁２３２ａ、２３２ｂの軌跡、側壁２３２ａのカーブによる死角によって決まる。

ここで、側壁２３２ａのカーブによる死角と可視領域との境界を示す可視境界線２４０を定義する。太線で示した可視境界線２４０は、自車両１の撮像装置１１０を通る、側壁２３２ａの水平面での軌跡が曲線で近似できる場合の側壁２３２ａの近似曲線に対する接線であり、側壁２３２ａとの接点から奥行き方向に延長した直線を言う。

ここで、車両追跡部１７６は、図１０のように、追跡対象の先行車両２３０ａの中心点を始点とした速度ベクトル２４２（以下、単に速度ベクトル２４２と言う）が、可視境界線２４０と交差する場合、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定する。かかる構成により、車両追跡部１７６は、先行車両２３０ａが側壁２３２ａによって遮蔽されることを適切に判定することができる。

また、車両追跡部１７６は、図１１において一点鎖線で示した、先行車両２３０ａの奥行き位置における側壁２３２ａの近似曲線に対する水平面での接線２４４が、可視境界線２４０と交差する場合、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定してもよい。かかる構成により、車両追跡部１７６は、先行車両２３０ａが側壁２３２ａによって遮蔽されることを適切に判定することができる。

ただし、速度ベクトル２４２や接線２４４と、可視境界線２４０とが交差した場合に、車両追跡部１７６が、直ちに、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定すると、以下の問題が生じ得る。例えば、ノイズにより、本来、遮蔽判定すべきではない状況で遮蔽判定されることがある。また、チャタリングにより追従制御が不安定になることもある。そこで、車両追跡部１７６は、速度ベクトル２４２や接線２４４と、可視境界線２４０とが交差する等、遮蔽判定の条件を満たすと、それに応じてポイントを付加し、そのポイントが所定閾値以上になると、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定する。

例えば、車両追跡部１７６は、速度ベクトル２４２や接線２４４と、可視境界線２４０とが交差した場合、遮蔽ポイントを１だけインクリメントする。また、車両追跡部１７６は、先行車両２３０ａを基準として側壁２３２ａと反対側に他の特定物が存在した場合、遮蔽ポイントを１だけインクリメントする。また、車両追跡部１７６は、先行車両２３０ａを特定物として特定できない、すなわち、先行車両２３０ａが相対距離ｚを有さない場合、喪失ポイントを１だけインクリメントする。なお、車両追跡部１７６は、側壁２３２ａが先行車両２３０ａの近傍に位置しない場合、遮蔽ポイントおよび喪失ポイントを０にリセットする。

そして、車両追跡部１７６は、遮蔽ポイントが所定値（例えば、３ポイント）以上となれば、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定する。また、車両追跡部１７６は、喪失ポイントが所定値（例えば、２ポイント）以上となれば、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定してもよい。さらに、遮蔽ポイントが所定値（例えば、２ポイント）以上、かつ、喪失ポイントが所定値（例えば、２ポイント）以上となれば、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定してもよい。なお、車両追跡部１７６は、先行車両２３０ａを基準として側壁２３２ａと反対側に他の特定物が存在した場合、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定し易くするため、その閾値を下げるとしてもよい。かかる構成により、車両追跡部１７６は、先行車両２３０ａが側壁２３２ａによって遮蔽されることを、適切かつ安定的に判定することができる。

図７に戻り、車両追跡部１７６は、上記のように、先行車両２３０ａが側壁２３２ａによって遮蔽されると判定すると（Ｓ３０４におけるＹＥＳ）、先行車両２３０ａの追跡を停止する（Ｓ３０６）。具体的に、車両追跡部１７６は、側壁２３２ａによって遮蔽されると判定された先行車両２３０ａを、追跡対象から除外する。かかる構成により、先行車両２３０ａが早期に追跡対象から除外されるので、車両追跡部１７６が、先行車両２３０ａを追跡できなくなることや、他の特定物を、追跡対象の先行車両と誤認識することを抑制することができる。なお、先行車両２３０ａが側壁２３２ａによって遮蔽されないと判定すると（Ｓ３０４におけるＮＯ）、後述する先行車両遮蔽判定Ｓ３０８に移行する。

また、自車両１がカーブを走行する際、追跡対象の先行車両が、並走する他の先行車両によって遮蔽される場合がある。そうすると、自車両１は、側壁２３２ａにより追跡対象の先行車両２３０ａが遮蔽される場合と同様、先行車両の追跡ができなくなり、他の特定物を、追跡対象の先行車両と誤認識するおそれがある。

図１２（図１２Ａ、図１２Ｂ）は、自車両１の走行例を示した説明図である。図１２Ａは、自車両１がカーブを走行しているときの輝度画像２１２を示し、図１２Ｂは、検出領域の状態を水平面に投影したものである。図１２Ａに示すように、自車両１は、左方向のカーブを走行し、前方には、２台の先行車両２３０ｃ、２３０ｄが位置している。また、カーブしている道路の脇に側壁２３２ａ、２３２ｂが位置している。

ここで、自車両１と先行車両２３０ｃ、２３０ｄとの位置関係によっては、特定物特定部１７４が、先行車両２３０ｄを特定物として特定できない場合が生じ得る。例えば、図１２Ｂのように、先行車両２３０ｄが車線上を走行していたとしても、自車両１から見ると、図１２Ａのように、先行車両２３０ｄが、先行車両２３０ｄより左側に位置する先行車両２３０ｃによって一部遮蔽される。先行車両２３０ｄが先行車両２３０ｃによって完全に遮蔽されると、車両追跡部１７６は、先行車両２３０ｄの近傍に位置する側壁２３２ｂを、先行車両２３０ｄと誤認識するおそれがある。

そこで、車両追跡部１７６は、複数の先行車両２３０ｃ、２３０ｄの位置関係に基づいて、追跡対象の先行車両２３０ｄが先行車両２３０ｃによって遮蔽されるか否か判定する（Ｓ３０８）。

図１３（図１３Ａ、図１３Ｂ）は、車両追跡部１７６の動作を示した説明図である。車両追跡部１７６は、図１３Ａに示した今回フレームにおける輝度画像２１２において、先行車両２３０ｃを表す外形線２５０ｃと、先行車両２３０ｄを表す外形線２５０ｄとが接しているか否か、換言すれば、その間に隙間がないか否か判定する。そして、車両追跡部１７６は、外形線２５０ｃと外形線２５０ｄとが接していれば、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定する。かかる構成により、車両追跡部１７６は、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されることを適切に判定することができる。

また、車両追跡部１７６は、図１３Ｂのような計算空間において、先行車両２３０ｃが距離画像２１４を占有する、自車両１から放射状に広がる領域２６０ｃと、先行車両２３０ｄが距離画像２１４を占有する、自車両１から放射状に広がる領域２６０ｄとがｘｚ平面でオーバーラップしているか否か判定する。このとき、車両追跡部１７６は、車両追跡部１７６が予測した前回フレームにおける予測結果に基づいて、先行車両２３０ｄの位置を特定する。車両追跡部１７６は、自車両１から放射状に広がる、領域２６０ｃと領域２６０ｄとがｘｚ平面でオーバーラップしていれば、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定する。かかる構成により、車両追跡部１７６は、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されることを適切に判定することができる。また、図１３Ｂの例では、図１３Ａのように、今回フレームのみならず、前回フレームからの先行車両２３０ｄの移動量も判定対象としているので、車両追跡部１７６は、より高精度で遮蔽判定することが可能となる。

また、車両追跡部１７６は、外形線２５０ｃと外形線２５０ｄとが接している等、遮蔽判定の条件を満たすと、それに応じてポイントを付加し、そのポイントが所定閾値以上になると、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定する。

例えば、車両追跡部１７６は、外形線２５０ｃと外形線２５０ｄとが接していれば、遮蔽ポイントを１だけインクリメントする。また、車両追跡部１７６は、領域２６０ｃと領域２６０ｄとが図１３Ｂのようにｘｚ平面でオーバーラップしていれば、遮蔽ポイントを２だけインクリメントする。また、車両追跡部１７６は、先行車両２３０ｄを基準として先行車両２３０ｃと反対側に他の特定物が存在した場合、遮蔽ポイントを１だけインクリメントする。また、車両追跡部１７６は、先行車両２３０ｄを特定物として特定できない、すなわち、先行車両２３０ｄが相対距離ｚを有さない場合、喪失ポイントを１だけインクリメントする。なお、車両追跡部１７６は、並走する他の先行車両２３０ｃが先行車両２３０ｄの近傍に位置しない場合、遮蔽ポイントおよび喪失ポイントを０にリセットする。

そして、車両追跡部１７６は、遮蔽ポイントが所定値（例えば、３ポイント）以上となれば、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定する。また、車両追跡部１７６は、喪失ポイントが所定値（例えば、２ポイント）以上となれば、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定してもよい。さらに、遮蔽ポイントが所定値（例えば、２ポイント）以上、かつ、喪失ポイントが所定値（例えば、２ポイント）以上となれば、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定してもよい。なお、車両追跡部１７６は、先行車両２３０ｄを基準として先行車両２３０ｃと反対側に他の特定物が存在した場合、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定する閾値を下げるとしてもよい。かかる構成により、車両追跡部１７６は、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されることを、適切かつ安定的に判定することができる。

図７に戻り、車両追跡部１７６は、上記のように、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されると判定すると（Ｓ３０８におけるＹＥＳ）、先行車両２３０ｄの追跡を停止する（Ｓ３０６）。具体的に、車両追跡部１７６は、先行車両２３０ｃによって遮蔽されると判定された先行車両２３０ｄを、追跡対象から除外する。かかる構成により、先行車両２３０ｄが早期に追跡対象から除外されるので、車両追跡部１７６が、先行車両２３０ｄを追跡できなくなることや、他の特定物を、追跡対象の先行車両と誤認識することを抑制することができる。なお、先行車両２３０ｄが先行車両２３０ｃによって遮蔽されないと判定すると（Ｓ３０８におけるＮＯ）、先行車両２３０ｄの追跡を停止することなく、当該車両追跡処理Ｓ２０６を終了する。

なお、図７では、車両追跡部１７６が、追跡対象の先行車両２３０ａが側壁２３２ａによって将来的に遮蔽されるか否か判定する処理（Ｓ３０４）、および、追跡対象の先行車両２３０ｄが先行車両２３０ｃによって遮蔽されるか否か判定する処理（Ｓ３０８）のいずれも実行する例を挙げて説明したが、かかる場合に限らず、いずれか一方のみを実行するとしてもよい。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態では、追跡対象となる先行車両２３０ａ、２３０ｄの左側に側壁２３２ａや他の先行車両２３０ｃが位置する例を挙げて説明したが、かかる場合に限らず、先行車両２３０ａ、２３０ｄの右側に側壁や他の先行車両が位置する場合も、同処理で対応できることは言うまでもない。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。

１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 位置導出部
１７２ 立体物特定部
１７４ 特定物特定部
１７６ 車両追跡部

Claims (4)

1. １つまたは複数のプロセッサと、
   前記プロセッサに接続される１つまたは複数のメモリと、
   を有し、
   前記プロセッサは、前記メモリに含まれるプログラムと協働して、
   撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、
   前記三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、
   前記立体物から先行車両および側壁を特定する特定物特定部と、
   前記先行車両の未来の位置を予測して前記先行車両を追跡する車両追跡部、
   として機能し、
   前記車両追跡部は、死角と可視領域との境界線に基づいて、追跡対象の前記先行車両が前記側壁によって遮蔽されるか否か判定する車外環境認識装置。
2. 前記車両追跡部は、前記先行車両が前記側壁によって遮蔽されると判定すると、前記先行車両の追跡を停止する請求項１に記載の車外環境認識装置。
3. １つまたは複数のプロセッサと、
   前記プロセッサに接続される１つまたは複数のメモリと、
   を有し、
   前記プロセッサは、前記メモリに含まれるプログラムと協働して、
   撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、
   前記三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、
   前記立体物から先行車両を特定する特定物特定部と、
   前記先行車両の未来の位置を予測して前記先行車両を追跡する車両追跡部、
   として機能し、
   前記車両追跡部は、複数の先行車両の位置関係に基づいて、追跡対象の前記先行車両が他の先行車両によって遮蔽されるか否か判定する車外環境認識装置。
4. 前記車両追跡部は、前記先行車両が前記他の先行車両によって遮蔽されると判定すると、前記先行車両の追跡を停止する請求項３に記載の車外環境認識装置。

Images