JP2022039949A - 車外環境認識装置 - Google Patents
車外環境認識装置 Download PDFInfo
- Publication number
- JP2022039949A JP2022039949A JP2021082892A JP2021082892A JP2022039949A JP 2022039949 A JP2022039949 A JP 2022039949A JP 2021082892 A JP2021082892 A JP 2021082892A JP 2021082892 A JP2021082892 A JP 2021082892A JP 2022039949 A JP2022039949 A JP 2022039949A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- preceding vehicle
- dimensional object
- tracking unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009795 derivation Methods 0.000 claims abstract description 19
- 230000015654 memory Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000005259 measurement Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 230000012447 hatching Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】追跡対象の先行車両の誤認識を抑制する。【解決手段】車外環境認識装置は、1つまたは複数のプロセッサと、プロセッサに接続される1つまたは複数のメモリと、を有し、プロセッサは、メモリに含まれるプログラムと協働して、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、立体物から先行車両230a、230bおよび側壁232a、232bを特定する特定物特定部と、先行車両の未来の位置を予測して先行車両を追跡する車両追跡部、として機能し、車両追跡部は、死角と可視領域との境界線240に基づいて、追跡対象の先行車両が側壁によって遮蔽されるか否か判定する。【選択図】図10
Description
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。
特許文献1には、自車両の前方に位置する先行車両を検出し、先行車両との衝突被害を軽減する技術や、先行車両との車間距離を安全な距離に保つように追従制御する技術が開示されている。
自車両と先行車両との衝突被害を軽減するため、また、先行車両への追従制御を実現するため、自車両は、まず、進行方向に存在する立体物を特定し、その立体物が先行車両等の特定物であるか否か判定する。そして、自車両は、特定した先行車両を追跡することで、先行車両に対する各種制御を実現する。
しかし、自車両がカーブを走行する際、追跡対象の先行車両が、道路脇に位置する側壁や、追跡対象の先行車両より手前に位置する他の先行車両によって遮蔽される場合がある。そうすると、自車両は、先行車両の追跡ができなくなり、他の特定物を、追跡対象の先行車両と誤認識するおそれがある。
本発明は、このような課題に鑑み、追跡対象の先行車両の誤認識を抑制することが可能な車外環境認識装置を提供することを目的としている。
上記課題を解決するために、本発明の車外環境認識装置は、1つまたは複数のプロセッサと、プロセッサに接続される1つまたは複数のメモリと、を有し、プロセッサは、メモリに含まれるプログラムと協働して、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、立体物から先行車両および側壁を特定する特定物特定部と、先行車両の未来の位置を予測して先行車両を追跡する車両追跡部、として機能し、車両追跡部は、死角と可視領域との境界線に基づいて、追跡対象の先行車両が側壁によって遮蔽されるか否か判定する。
車両追跡部は、先行車両が側壁によって遮蔽されると判定すると、先行車両の追跡を停止してもよい。
上記課題を解決するために、本発明の他の車外環境認識装置は、1つまたは複数のプロセッサと、プロセッサに接続される1つまたは複数のメモリと、を有し、プロセッサは、メモリに含まれるプログラムと協働して、撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、立体物から先行車両を特定する特定物特定部と、先行車両の未来の位置を予測して先行車両を追跡する車両追跡部、として機能し、車両追跡部は、複数の先行車両の位置関係に基づいて、追跡対象の先行車両が他の先行車両によって遮蔽されるか否か判定する。
車両追跡部は、先行車両が他の先行車両によって遮蔽されると判定すると、先行車両の追跡を停止してもよい。
本発明によれば、追跡対象の先行車両の誤認識を抑制することが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、自車両1に設けられ、撮像装置110と、車外環境認識装置120と、車両制御装置130とを含む。
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、自車両1に設けられ、撮像装置110と、車外環境認識装置120と、車両制御装置130とを含む。
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子で構成される。撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像(カラー画像やモノクロ画像)を生成する。撮像装置110は、自車両1の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここで、車外環境認識装置120が認識する立体物や特定物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物、道路脇の側壁といった独立して存在する物のみならず、車両の背面や側面、自転車の車輪等、その一部として特定できる物も含む。ここで、車両の背面は、自車両1の前方において自車両1に対向する面を示し、車両自体の後方面を示すものではない。
車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、所謂パターンマッチングを用いて距離画像を生成する。車外環境認識装置120は、輝度画像と距離画像に基づき、路面より上方に位置し、カラー値が等しく、三次元の位置情報が互いに隣接するブロック同士を立体物としてグルーピングする。そして、車外環境認識装置120は、立体物がいずれの特定物であるかを特定する。例えば、車外環境認識装置120は、立体物が先行車両であると特定する。また、車外環境認識装置120は、このように先行車両を特定すると、自車両1と先行車両との衝突被害の軽減制御を行い、また、自車両1を先行車両に追従させる追従制御を行う。車外環境認識装置120の具体的な動作については後程詳述する。
車両制御装置130は、ECU(Electronic Control Unit)等で構成され、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転手の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。
(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含む。
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含む。
I/F部150は、撮像装置110、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部154は、プロセッサ154a、プログラム等が格納されたROM154b、ワークエリアとしてのRAM154c等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。ROM154bとRAM154cとを合わせてメモリと呼ぶ場合がある。また、本実施形態において、中央制御部154では、プロセッサ154a、ROM154b、および、RAM154cが協働することで、位置導出部170、立体物特定部172、特定物特定部174、車両追跡部176としても機能する。以下、車外環境認識方法について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
(車外環境認識方法)
図3は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置120は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部170は、撮像装置110から取得した輝度画像におけるブロック単位の三次元位置を導出する(位置導出処理S200)。立体物特定部172は、ブロック同士をグルーピングして立体物を特定する(立体物特定処理S202)。特定物特定部174は、立体物から先行車両および側壁を特定する(特定物特定処理S204)。車両追跡部176は、先行車両の未来の位置を予測して先行車両を追跡する(車両追跡処理S206)。
図3は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置120は、所定の割込時間毎に車外環境認識方法を実行する。車外環境認識方法において、位置導出部170は、撮像装置110から取得した輝度画像におけるブロック単位の三次元位置を導出する(位置導出処理S200)。立体物特定部172は、ブロック同士をグルーピングして立体物を特定する(立体物特定処理S202)。特定物特定部174は、立体物から先行車両および側壁を特定する(特定物特定処理S204)。車両追跡部176は、先行車両の未来の位置を予測して先行車両を追跡する(車両追跡処理S206)。
(位置導出処理S200)
図4(図4A~図4C)は、輝度画像および距離画像を説明するための説明図である。位置導出部170は、撮像装置110で光軸を異として同タイミングで撮像された複数(ここでは2)の輝度画像をそれぞれ取得する。ここで、位置導出部170は、輝度画像212として、図4Aに示す、自車両1の比較的右側に位置する撮像装置110で撮像された第1輝度画像212aと、図4Bに示す、自車両1の比較的左側に位置する撮像装置110で撮像された第2輝度画像212bとを取得したとする。
図4(図4A~図4C)は、輝度画像および距離画像を説明するための説明図である。位置導出部170は、撮像装置110で光軸を異として同タイミングで撮像された複数(ここでは2)の輝度画像をそれぞれ取得する。ここで、位置導出部170は、輝度画像212として、図4Aに示す、自車両1の比較的右側に位置する撮像装置110で撮像された第1輝度画像212aと、図4Bに示す、自車両1の比較的左側に位置する撮像装置110で撮像された第2輝度画像212bとを取得したとする。
図4Aおよび図4Bを参照すると、撮像装置110の撮像位置の違いから、第1輝度画像212aと第2輝度画像212bとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。
位置導出部170は、位置導出部170が取得した、図4Aに示す第1輝度画像212aと、図4Bに示す第2輝度画像212bとに基づいて、図4Cのような、撮像対象の距離を特定可能な距離画像214を生成する。
具体的に、位置導出部170は、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。そして、位置導出部170は、一方の輝度画像(ここでは第1輝度画像212a)から任意に抽出したブロックに対応するブロックを他方の輝度画像(ここでは第2輝度画像212b)から検索する。ここで、ブロックは、例えば、水平4画素×垂直4画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。
例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。
位置導出部170は、このようなブロック単位の視差導出処理を、例えば、600画素×200画素の検出領域に映し出されている全てのブロックについて行う。ここで、位置導出部170は、ブロックを4画素×4画素として処理しているが、任意の画素数で処理してもよい。
位置導出部170は、距離画像214のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離x、高さyおよび相対距離zを含む実空間における三次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの距離画像214における視差からそのブロックの撮像装置110に対する相対距離zを導出する手法である。このとき、位置導出部170は、ブロックの相対距離zと、ブロックと同相対距離zにある道路表面上の点とブロックとの距離画像214上の検出距離とに基づいて、ブロックの道路表面からの高さyを導出する。そして、位置導出部170は、導出した三次元位置を改めて距離画像214に対応付ける。かかる相対距離zの導出処理や三次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
(立体物特定処理S202)
立体物特定部172は、路面より上方に位置し、カラー値が等しく、距離画像214における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する。具体的に、立体物特定部172は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。
立体物特定部172は、路面より上方に位置し、カラー値が等しく、距離画像214における三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する。具体的に、立体物特定部172は、距離画像214における、水平距離xの差分、高さyの差分および相対距離zの差分が予め定められた範囲(例えば0.1m)内にあるブロック同士を、同一の特定物に対応すると仮定してグルーピングする。こうして、仮想的なブロック群が生成される。
図5(図5A~図5C)は、立体物特定部172の動作を説明するための説明図である。ここで、位置導出部170が、例えば、図5Aのような距離画像214を生成したとする。立体物特定部172は、かかる距離画像214からブロック同士をグルーピングする。こうして、図5Bのようにグルーピングされたブロック群が複数抽出される。立体物特定部172は、図5Bにおいて、グルーピングしたブロックの全てが含まれる外形線、例えば、水平線および垂直線、または、奥行き方向に延びる線および垂直線からなる矩形状の枠(面)を、立体物220(220a、220b、220c、220d、220e、220f、220g)とする。
図5Bにおける、距離画像214上の立体物220a、220b、220c、220d、220e、220f、220gは、水平距離xおよび相対距離zで示す2次元の水平面で表すと、図5Cにおける、立体物220a、220b、220c、220d、220e、220f、220gとなる。
(特定物特定処理S204)
特定物特定部174は、立体物特定部172が特定した立体物がいずれの特定物であるか特定する。例えば、特定物特定部174は、自車両1の前方において、自車両1と同方向に走行する立体物を先行車両と特定する。
特定物特定部174は、立体物特定部172が特定した立体物がいずれの特定物であるか特定する。例えば、特定物特定部174は、自車両1の前方において、自車両1と同方向に走行する立体物を先行車両と特定する。
例えば、立体物特定部172は、図5Cにおいて、立体物220bと立体物220cとを異なる立体物として特定する。しかし、実際、立体物220bは先行車両の背面を構成し、立体物220cは先行車両の側面を構成している。したがって、立体物220bと立体物220cとは、本来、一体的な同一の立体物を構成するペアとして認識されるべきである。同様に、立体物220eと立体物220fも同一の立体物として認識されるべきである。そこで、特定物特定部174は、同一の立体物の背面と側面とすべき立体物220をペアリングする。
図6は、特定物特定部174の動作を説明するための説明図である。図6は、立体物220を水平面に投影したものであり、水平距離xおよび相対距離zのみで表されている。
特定物特定部174は、立体物220を水平面に投影し、奥行き方向に対する角度に基づいて背面と側面とに区別し、背面と側面との関係が所定条件を満たせば、背面と側面とをペアリングしてペアを特定する。
具体的に、特定物特定部174は、まず、奥行き方向に相当する相対距離の軸に対する、立体物220の近似直線の角度を導出する。特定物特定部174は、導出した角度の絶対値が45度以上135度未満であれば、その立体物220を背面とする。一方、特定物特定部174は、導出した角度の絶対値が0度以上45度未満または135度以上180度以下であれば、その立体物220を側面とする。
例えば、立体物特定部172がグルーピングした結果、図6Aのように、立体物220h、220iを導出したとする。かかる例では、図6Bのように、立体物220hの近似直線の角度の絶対値は45度以上135度未満となるので、特定物特定部174は、当該立体物220hを背面であると判定する。一方、立体物220iの近似直線の角度の絶対値は0度以上45度未満となるので、特定物特定部174は、当該立体物220iを側面であると判定する。こうして、特定物特定部174は、背面と側面とを大凡区別することができる。
なお、このとき、特定物特定部174は、背面と側面との距離が車両の一部として適切な距離(例えば2m)以内であり、背面と側面との速度がいずれも安定し、背面および側面それぞれの長さが所定値(例えば1m)以上であり、かつ、その中央位置が検出領域内であれば、ペアリングを実行するとしてもよい。かかるペアリングの前提条件を追加することで、特定物特定部174は、ペアリングの対象を適切に制限することが可能となり、処理負荷の軽減を図ることが可能となる。
特定物特定部174は、例えば、背面に相当する立体物220hと、側面に対応する立体物220iとのペアが、先行車両としての条件を満たすか否か判定する。具体的に、特定物特定部174は、立体物220hと立体物220iとのペアによって構成される立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源を有するか判定する。このような条件を満たす場合、特定物特定部174は、立体物220hと立体物220iとのペアによって構成される立体物220を先行車両と特定する。
なお、特定物特定部174は、後述する車両追跡部176において前回フレームで予測された予測結果に基づき、立体物特定部172が特定した立体物と、車両追跡部176が予測した立体物220との位置との差が所定範囲内であることを条件に、その立体物220を先行車両と特定するとしてもよい。
また、特定物特定部174は、自車両1の前方において、道路脇に立設する立体物を側壁と特定する。
例えば、図5Cにおいては、立体物特定部172は、道路より左側において立設する立体物220aを、左側の側壁とする。また、立体物特定部172は、道路より右側において立設する立体物220gを、右側の側壁とする。一般に、一体的に形成される側壁は連続性を有することが知られている。したがって、図5Cのように、立体物220a、220gが水平面において直線的な軌跡を有する場合、立体物特定部172は、立体物220aを直線的な側壁と判断することができる。また、立体物が水平面において、曲率半径が等しい等、規則性のある曲線的な軌跡を有する場合、立体物特定部172は、立体物を曲線的な側壁と判断することができる。
なお、このとき、特定物特定部174は、立体物220a、220gの相対速度が自車両1の速度と等しく、道路からの水平距離および垂直距離が所定範囲内で安定しており、奥行き方向に連続性があることを条件に、立体物220a、220gを側壁と特定してもよい。
特定物特定部174は、立体物220を側壁と特定すると、その立体物220を構成するブロックに対し、例えば、最小二乗法による近似曲線を導出する。特定物特定部174は、導出した近似曲線を、側面の水平面上の軌跡として、立体物220に関連付ける。
(車両追跡処理S206)
車両追跡部176は、先行車両の未来の位置を予測して先行車両を追跡する。ここで、追跡とは、フレーム毎に特定される先行車両同士の同一性を判断し、同一とみなされる先行車両の時間的な移動推移を導出することで、先行車両を時系列に管理することである。
車両追跡部176は、先行車両の未来の位置を予測して先行車両を追跡する。ここで、追跡とは、フレーム毎に特定される先行車両同士の同一性を判断し、同一とみなされる先行車両の時間的な移動推移を導出することで、先行車両を時系列に管理することである。
図7は、車両追跡処理の流れを示すフローチャートであり、図8(図8A、図8B)は、車両追跡部176の動作を説明するための説明図である。図8は、水平距離xおよび相対距離zのみで表されている。例えば、立体物特定部172は、図8Aのように、立体物220h、220iを特定したとする。また、特定物特定部174は、立体物220hを背面とし、立体物220iを側面としてペアリングし、先行車両として特定したとする。ここで、立体物220hを構成するブロックの近似曲線と、立体物220iの各ブロックの近似曲線との交点を実測交点とする。また、立体物220hを構成するブロックのうち、実測交点から最も遠い点を実測背面端点とし、立体物220iを構成するブロックのうち、実測交点から最も遠い点を実測側面端点とする。
車両追跡部176は、図8Bに示すように、このような実測交点、実測背面端点、実測側面端点と、過去に導出した複数回分の実測交点、実測背面端点、実測側面端点とを用い、例えば、カルマンフィルタ等を用いて、次回の予測交点、予測背面端点、予測側面端点とを導出する(S300)。このとき、車両追跡部176は、背面および側面の相対速度、Y軸回りの角速度、および、エゴモーションを考慮して、次回の予測交点、予測背面端点、予測側面端点を予測する。そして、車両追跡部176は、今回フレームの予測結果(予測交点、予測背面端点、予測側面端点)を次回フレームのためにデータ保持部152に保持する。ここで、車両追跡部176は、先行車両の端点や交点を用いて先行車両の移動推移を予測しているが、かかる場合に限らず、従来から存在する様々な移動推移の予測技術を用いることができる。
次に、車両追跡部176は、データ保持部152から前回フレームにおいて予測した予測結果を読み出す。車両追跡部176は、今回フレームの実測結果(実測交点、実測背面端点、実測側面端点)と、前回フレームにおける予測結果とを比較し、立体物の同一性を判断する(S302)。具体的に、車両追跡部176は、前回フレームにおける予測結果との距離が最短であり、立体物の大きさの差が所定範囲内となる今回フレームの実測結果を特定する。そして、車両追跡部176は、特定した今回フレームの実測結果と前回フレームにおける予測結果との三次元位置の差分が所定範囲内にあれば、フレーム毎に特定された先行車両同士が同一の先行車両であると判断する。こうして、車両追跡部176は、追跡対象となる先行車両のフレーム毎の移動推移を導出することができる。
車両追跡部176が、追跡対象となる先行車両の移動推移を導出すると、車外環境認識装置120は、先行車両の移動推移を用いて、自車両1と先行車両との衝突被害の軽減制御を行い、また、自車両1を先行車両に追従させる追従制御を行うことができる。
ところで、自車両1がカーブを走行する際、追跡対象の先行車両が、道路脇に位置する側壁によって遮蔽される場合がある。そうすると、自車両1は、先行車両の追跡ができなくなり、他の特定物を、追跡対象の先行車両と誤認識するおそれがある。
図9(図9A、図9B)は、自車両1の走行例を示した説明図である。図9Aは、自車両1がカーブを走行しているときの輝度画像212を示し、図9Bは、検出領域の状態を水平面に投影したものである。図9Aに示すように、自車両1は、左方向のカーブを走行し、前方には、2台の先行車両230a、230bが位置している。
ここでは、カーブしている道路の脇に側壁232a、232bが位置している。そうすると、自車両1と先行車両230aとの位置関係によっては、特定物特定部174が、先行車両230aを特定物として特定できない場合が生じ得る。例えば、図9Bのように、先行車両230aが車線上を走行していたとしても、自車両1から見ると、図9Aのように、先行車両230aが左側の側壁232aによって一部遮蔽される。
このように先行車両230aが側壁232aに遮蔽され、立体物特定部172が立体物全体を特定できなくなると、特定物特定部174による先行車両230aの特定精度が低下するとともに、車両追跡部176による先行車両230aの追跡が不安定になる。また、上述したように、車両追跡部176は、前回フレームにおける今回フレームの予測結果との距離が最短となる今回フレームの実測結果を用いて先行車両を追跡する。したがって、先行車両230aが側壁232aによって完全に遮蔽されると、車両追跡部176は、先行車両230aとして、先行車両230aの近傍に位置し、その大きさが先行車両230aと近似する先行車両230bを追跡するおそれがある。
そこで、車両追跡部176は、追跡対象の先行車両230aが側壁232aによって将来的に遮蔽されるか否か判定する(S304)。
図10および図11は、車両追跡部176の動作を示した説明図である。図10では、撮像装置110の死角をハッチングで示している。したがって、ハッチング以外の領域が、撮像装置110が撮像可能な可視領域となる。可視領域は、撮像装置110の死角、側壁232a、232bの軌跡、側壁232aのカーブによる死角によって決まる。
ここで、側壁232aのカーブによる死角と可視領域との境界を示す可視境界線240を定義する。太線で示した可視境界線240は、自車両1の撮像装置110を通る、側壁232aの水平面での軌跡が曲線で近似できる場合の側壁232aの近似曲線に対する接線であり、側壁232aとの接点から奥行き方向に延長した直線を言う。
ここで、車両追跡部176は、図10のように、追跡対象の先行車両230aの中心点を始点とした速度ベクトル242(以下、単に速度ベクトル242と言う)が、可視境界線240と交差する場合、先行車両230aが側壁232aによって遮蔽されると判定する。かかる構成により、車両追跡部176は、先行車両230aが側壁232aによって遮蔽されることを適切に判定することができる。
また、車両追跡部176は、図11において一点鎖線で示した、先行車両230aの奥行き位置における側壁232aの近似曲線に対する水平面での接線244が、可視境界線240と交差する場合、先行車両230aが側壁232aによって遮蔽されると判定してもよい。かかる構成により、車両追跡部176は、先行車両230aが側壁232aによって遮蔽されることを適切に判定することができる。
ただし、速度ベクトル242や接線244と、可視境界線240とが交差した場合に、車両追跡部176が、直ちに、先行車両230aが側壁232aによって遮蔽されると判定すると、以下の問題が生じ得る。例えば、ノイズにより、本来、遮蔽判定すべきではない状況で遮蔽判定されることがある。また、チャタリングにより追従制御が不安定になることもある。そこで、車両追跡部176は、速度ベクトル242や接線244と、可視境界線240とが交差する等、遮蔽判定の条件を満たすと、それに応じてポイントを付加し、そのポイントが所定閾値以上になると、先行車両230aが側壁232aによって遮蔽されると判定する。
例えば、車両追跡部176は、速度ベクトル242や接線244と、可視境界線240とが交差した場合、遮蔽ポイントを1だけインクリメントする。また、車両追跡部176は、先行車両230aを基準として側壁232aと反対側に他の特定物が存在した場合、遮蔽ポイントを1だけインクリメントする。また、車両追跡部176は、先行車両230aを特定物として特定できない、すなわち、先行車両230aが相対距離zを有さない場合、喪失ポイントを1だけインクリメントする。なお、車両追跡部176は、側壁232aが先行車両230aの近傍に位置しない場合、遮蔽ポイントおよび喪失ポイントを0にリセットする。
そして、車両追跡部176は、遮蔽ポイントが所定値(例えば、3ポイント)以上となれば、先行車両230aが側壁232aによって遮蔽されると判定する。また、車両追跡部176は、喪失ポイントが所定値(例えば、2ポイント)以上となれば、先行車両230aが側壁232aによって遮蔽されると判定してもよい。さらに、遮蔽ポイントが所定値(例えば、2ポイント)以上、かつ、喪失ポイントが所定値(例えば、2ポイント)以上となれば、先行車両230aが側壁232aによって遮蔽されると判定してもよい。なお、車両追跡部176は、先行車両230aを基準として側壁232aと反対側に他の特定物が存在した場合、先行車両230aが側壁232aによって遮蔽されると判定し易くするため、その閾値を下げるとしてもよい。かかる構成により、車両追跡部176は、先行車両230aが側壁232aによって遮蔽されることを、適切かつ安定的に判定することができる。
図7に戻り、車両追跡部176は、上記のように、先行車両230aが側壁232aによって遮蔽されると判定すると(S304におけるYES)、先行車両230aの追跡を停止する(S306)。具体的に、車両追跡部176は、側壁232aによって遮蔽されると判定された先行車両230aを、追跡対象から除外する。かかる構成により、先行車両230aが早期に追跡対象から除外されるので、車両追跡部176が、先行車両230aを追跡できなくなることや、他の特定物を、追跡対象の先行車両と誤認識することを抑制することができる。なお、先行車両230aが側壁232aによって遮蔽されないと判定すると(S304におけるNO)、後述する先行車両遮蔽判定S308に移行する。
また、自車両1がカーブを走行する際、追跡対象の先行車両が、並走する他の先行車両によって遮蔽される場合がある。そうすると、自車両1は、側壁232aにより追跡対象の先行車両230aが遮蔽される場合と同様、先行車両の追跡ができなくなり、他の特定物を、追跡対象の先行車両と誤認識するおそれがある。
図12(図12A、図12B)は、自車両1の走行例を示した説明図である。図12Aは、自車両1がカーブを走行しているときの輝度画像212を示し、図12Bは、検出領域の状態を水平面に投影したものである。図12Aに示すように、自車両1は、左方向のカーブを走行し、前方には、2台の先行車両230c、230dが位置している。また、カーブしている道路の脇に側壁232a、232bが位置している。
ここで、自車両1と先行車両230c、230dとの位置関係によっては、特定物特定部174が、先行車両230dを特定物として特定できない場合が生じ得る。例えば、図12Bのように、先行車両230dが車線上を走行していたとしても、自車両1から見ると、図12Aのように、先行車両230dが、先行車両230dより左側に位置する先行車両230cによって一部遮蔽される。先行車両230dが先行車両230cによって完全に遮蔽されると、車両追跡部176は、先行車両230dの近傍に位置する側壁232bを、先行車両230dと誤認識するおそれがある。
そこで、車両追跡部176は、複数の先行車両230c、230dの位置関係に基づいて、追跡対象の先行車両230dが先行車両230cによって遮蔽されるか否か判定する(S308)。
図13(図13A、図13B)は、車両追跡部176の動作を示した説明図である。車両追跡部176は、図13Aに示した今回フレームにおける輝度画像212において、先行車両230cを表す外形線250cと、先行車両230dを表す外形線250dとが接しているか否か、換言すれば、その間に隙間がないか否か判定する。そして、車両追跡部176は、外形線250cと外形線250dとが接していれば、先行車両230dが先行車両230cによって遮蔽されると判定する。かかる構成により、車両追跡部176は、先行車両230dが先行車両230cによって遮蔽されることを適切に判定することができる。
また、車両追跡部176は、図13Bのような計算空間において、先行車両230cが距離画像214を占有する、自車両1から放射状に広がる領域260cと、先行車両230dが距離画像214を占有する、自車両1から放射状に広がる領域260dとがxz平面でオーバーラップしているか否か判定する。このとき、車両追跡部176は、車両追跡部176が予測した前回フレームにおける予測結果に基づいて、先行車両230dの位置を特定する。車両追跡部176は、自車両1から放射状に広がる、領域260cと領域260dとがxz平面でオーバーラップしていれば、先行車両230dが先行車両230cによって遮蔽されると判定する。かかる構成により、車両追跡部176は、先行車両230dが先行車両230cによって遮蔽されることを適切に判定することができる。また、図13Bの例では、図13Aのように、今回フレームのみならず、前回フレームからの先行車両230dの移動量も判定対象としているので、車両追跡部176は、より高精度で遮蔽判定することが可能となる。
また、車両追跡部176は、外形線250cと外形線250dとが接している等、遮蔽判定の条件を満たすと、それに応じてポイントを付加し、そのポイントが所定閾値以上になると、先行車両230dが先行車両230cによって遮蔽されると判定する。
例えば、車両追跡部176は、外形線250cと外形線250dとが接していれば、遮蔽ポイントを1だけインクリメントする。また、車両追跡部176は、領域260cと領域260dとが図13Bのようにxz平面でオーバーラップしていれば、遮蔽ポイントを2だけインクリメントする。また、車両追跡部176は、先行車両230dを基準として先行車両230cと反対側に他の特定物が存在した場合、遮蔽ポイントを1だけインクリメントする。また、車両追跡部176は、先行車両230dを特定物として特定できない、すなわち、先行車両230dが相対距離zを有さない場合、喪失ポイントを1だけインクリメントする。なお、車両追跡部176は、並走する他の先行車両230cが先行車両230dの近傍に位置しない場合、遮蔽ポイントおよび喪失ポイントを0にリセットする。
そして、車両追跡部176は、遮蔽ポイントが所定値(例えば、3ポイント)以上となれば、先行車両230dが先行車両230cによって遮蔽されると判定する。また、車両追跡部176は、喪失ポイントが所定値(例えば、2ポイント)以上となれば、先行車両230dが先行車両230cによって遮蔽されると判定してもよい。さらに、遮蔽ポイントが所定値(例えば、2ポイント)以上、かつ、喪失ポイントが所定値(例えば、2ポイント)以上となれば、先行車両230dが先行車両230cによって遮蔽されると判定してもよい。なお、車両追跡部176は、先行車両230dを基準として先行車両230cと反対側に他の特定物が存在した場合、先行車両230dが先行車両230cによって遮蔽されると判定する閾値を下げるとしてもよい。かかる構成により、車両追跡部176は、先行車両230dが先行車両230cによって遮蔽されることを、適切かつ安定的に判定することができる。
図7に戻り、車両追跡部176は、上記のように、先行車両230dが先行車両230cによって遮蔽されると判定すると(S308におけるYES)、先行車両230dの追跡を停止する(S306)。具体的に、車両追跡部176は、先行車両230cによって遮蔽されると判定された先行車両230dを、追跡対象から除外する。かかる構成により、先行車両230dが早期に追跡対象から除外されるので、車両追跡部176が、先行車両230dを追跡できなくなることや、他の特定物を、追跡対象の先行車両と誤認識することを抑制することができる。なお、先行車両230dが先行車両230cによって遮蔽されないと判定すると(S308におけるNO)、先行車両230dの追跡を停止することなく、当該車両追跡処理S206を終了する。
なお、図7では、車両追跡部176が、追跡対象の先行車両230aが側壁232aによって将来的に遮蔽されるか否か判定する処理(S304)、および、追跡対象の先行車両230dが先行車両230cによって遮蔽されるか否か判定する処理(S308)のいずれも実行する例を挙げて説明したが、かかる場合に限らず、いずれか一方のみを実行するとしてもよい。
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態では、追跡対象となる先行車両230a、230dの左側に側壁232aや他の先行車両230cが位置する例を挙げて説明したが、かかる場合に限らず、先行車両230a、230dの右側に側壁や他の先行車両が位置する場合も、同処理で対応できることは言うまでもない。
なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。
110 撮像装置
120 車外環境認識装置
170 位置導出部
172 立体物特定部
174 特定物特定部
176 車両追跡部
120 車外環境認識装置
170 位置導出部
172 立体物特定部
174 特定物特定部
176 車両追跡部
Claims (4)
- 1つまたは複数のプロセッサと、
前記プロセッサに接続される1つまたは複数のメモリと、
を有し、
前記プロセッサは、前記メモリに含まれるプログラムと協働して、
撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、
前記三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、
前記立体物から先行車両および側壁を特定する特定物特定部と、
前記先行車両の未来の位置を予測して前記先行車両を追跡する車両追跡部、
として機能し、
前記車両追跡部は、死角と可視領域との境界線に基づいて、追跡対象の前記先行車両が前記側壁によって遮蔽されるか否か判定する車外環境認識装置。 - 前記車両追跡部は、前記先行車両が前記側壁によって遮蔽されると判定すると、前記先行車両の追跡を停止する請求項1に記載の車外環境認識装置。
- 1つまたは複数のプロセッサと、
前記プロセッサに接続される1つまたは複数のメモリと、
を有し、
前記プロセッサは、前記メモリに含まれるプログラムと協働して、
撮像された画像におけるブロック単位の三次元位置を導出する位置導出部と、
前記三次元位置の差分が所定範囲内にあるブロック同士をグルーピングして立体物を特定する立体物特定部と、
前記立体物から先行車両を特定する特定物特定部と、
前記先行車両の未来の位置を予測して前記先行車両を追跡する車両追跡部、
として機能し、
前記車両追跡部は、複数の先行車両の位置関係に基づいて、追跡対象の前記先行車両が他の先行車両によって遮蔽されるか否か判定する車外環境認識装置。 - 前記車両追跡部は、前記先行車両が前記他の先行車両によって遮蔽されると判定すると、前記先行車両の追跡を停止する請求項3に記載の車外環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/411,809 US11816902B2 (en) | 2020-08-26 | 2021-08-25 | Vehicle external environment recognition apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020142364 | 2020-08-26 | ||
JP2020142364 | 2020-08-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022039949A true JP2022039949A (ja) | 2022-03-10 |
Family
ID=80498698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021082892A Pending JP2022039949A (ja) | 2020-08-26 | 2021-05-17 | 車外環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022039949A (ja) |
-
2021
- 2021-05-17 JP JP2021082892A patent/JP2022039949A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9280900B2 (en) | Vehicle external environment recognition device | |
US9978276B2 (en) | Vehicle exterior environment recognition device | |
US9349070B2 (en) | Vehicle external environment recognition device | |
US9975551B2 (en) | Vehicle exterior environment recognition device | |
JP6670085B2 (ja) | 車外環境認識装置 | |
US9524645B2 (en) | Filtering device and environment recognition system | |
US9659376B2 (en) | Filtering device | |
JP7356319B2 (ja) | 車外環境認識装置 | |
JP6660162B2 (ja) | 車外環境認識装置 | |
JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 | |
US11816902B2 (en) | Vehicle external environment recognition apparatus | |
JP2022039949A (ja) | 車外環境認識装置 | |
KR102444675B1 (ko) | 주변 객체의 차로 변경 예측 장치 및 방법 | |
JP7522616B2 (ja) | 車外環境認識装置 | |
JP6378594B2 (ja) | 車外環境認識装置 | |
JP6756507B2 (ja) | 環境認識装置 | |
JP2022043413A (ja) | 車外環境認識装置 | |
JP6254866B2 (ja) | 車両制御装置 | |
CN112606839A (zh) | 车外环境识别装置 | |
US9430707B2 (en) | Filtering device and environment recognition system | |
JP7352432B2 (ja) | 車外環境認識装置 | |
JP7534889B2 (ja) | 車外環境認識装置 | |
JP2022037358A (ja) | 車外環境認識装置 | |
JP7431698B2 (ja) | 車外環境認識装置 | |
JP2021059322A (ja) | 車外環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240426 |