JP2016126613A - 道路境界線認識装置及び道路境界線認識方法 - Google Patents

Abstract

【課題】現実の境界線を境界線候補として抽出できない場合でも、現実の境界線から大幅に乖離した境界線候補を境界線と誤認識する可能性を低減する。
【解決手段】仮想境界線候補設定部により、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ２に重複せずに沿った仮想境界線候補Ｖ２が設定される。位置予測部により、仮想境界線候補Ｖ２等が境界線であると仮定した場合において、第ｎ_１撮像画像Ｆｎ_１で認識される第ｎ_１マーカーＭ（Ｔｎ_１）の第ｎ_２撮像画像における予測位置ｍ_Ｖ２（Ｔｎ_２）等が予測され、境界線認識部により、予測された第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｖ２（Ｔｎ_２）と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーＭ（Ｔｎ_１）の抽出位置Ｍ（Ｔｎ_２）との比較に基づいて、仮想境界線候補Ｖ２等のいずれかが境界線Ｂとして認識される。
【選択図】図８

Description

本発明の一側面は、道路境界線認識装置及び道路境界線認識方法に関する。

走行車線からの車両の逸脱を防止するシステム等への適用を目的として、車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成するガードレール等の立体構造物と道路の路面との境界線を認識する技術が提案されている。例えば、特許文献１の装置では、車両前方の撮像時間ｔ１の撮像画像において消失点に向かって伸びる複数の線分が検出され、これらの線分はガードレールと路面との境界線候補に設定される。特許文献１の装置では、これらの境界線候補をガードレールと路面との境界線であると仮定したそれぞれの場合において、撮像時間ｔ１の後の撮像時間ｔ２の撮像画像におけるガードレールのポストの予測位置と、撮像時間ｔ２の撮像画像における当該ポストの実際の位置との比較に基づいて、境界線が認識される。

米国特許出願公開第２０１２／００６９１８５号明細書

ところで、上記特許文献１の装置においては、ガードレール等の立体構造物と道路の路面との境界線が、植木、自生植物及び土等の遮蔽物によって遮蔽されているために、現実の境界線を境界線候補として抽出することができない場合がある。このような場合は、現実の境界線から大きく乖離した境界線候補が誤って境界線と認識される恐れがある。

そこで本発明は、現実の境界線を境界線候補として抽出することができない場合であっても、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる道路境界線認識装置及び道路境界線認識方法を提供することを目的とする。

本発明の一側面は、車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と道路の路面との境界線を認識する道路境界線認識装置であって、道路を走行中の車両の前方における第ｎ_１時点の第ｎ_１撮像画像について境界線の候補である実境界線候補を抽出する実境界線候補抽出部と、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定する仮想境界線候補設定部と、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ_１撮像画像で認識される第ｎ_１マーカーについて、車両の移動情報に基づいて、第ｎ_１時点よりも後の第ｎ_２時点の第ｎ_２撮像画像における予測位置を予測する位置予測部と、位置予測部により予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかを境界線として認識する境界線認識部とを備えた道路境界線認識装置である。

この構成によれば、仮想境界線候補設定部により、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。また、位置予測部により、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ_１撮像画像で認識される第ｎ_１マーカーについて、車両の移動情報に基づいて、第ｎ_２撮像画像における予測位置が予測され、境界線認識部により、予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかが境界線として認識される。そのため、立体構造物と道路の路面との現実の境界線が遮蔽物によって遮蔽されているために、現実の境界線そのものを撮像画像から直接に認識できず、実境界線候補上に現実の境界線が含まれていない場合であっても、仮想境界線候補が実境界線候補を補うことができるため、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる。

この場合、実境界線候補抽出部は、第ｎ_１時点よりも前の第ｎ_−１時点の第ｎ_−１撮像画像について境界線の候補である実境界線候補を抽出し、位置予測部は、第ｎ_−１撮像画像の実境界線候補を境界線であると仮定した場合において、第ｎ_−１撮像画像で認識される第ｎ_−１マーカーについて、車両の移動情報に基づいて、第ｎ_−１時点と第ｎ_１時点との間の第ｎ_０時点の第ｎ_０撮像画像における予測位置を予測し、仮想境界線候補設定部は、位置予測部により予測された第ｎ_−１マーカーの予測位置と、第ｎ_０撮像画像から抽出された第ｎ_−１マーカーの抽出位置とのずれ量が第１閾値を超えている場合に、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定することができる。

この構成によれば、第ｎ_−１マーカーの予測位置と、第ｎ_０撮像画像から抽出された第ｎ_−１マーカーの抽出位置とのずれ量が第１閾値を超えている場合に、仮想境界線候補設定部によって、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。このため、常に仮想境界線候補が設定される場合に比べて、道路境界線認識装置の演算負荷を低減することができる。

また、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部により予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量が第２閾値以下の実境界線候補又は仮想境界線候補が無い場合は、仮想境界線候補設定部は、第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について実境界線候補抽出部により抽出された実境界線候補に重複せずに沿い、第ｎ_１撮像画像に設定した仮想境界線候補よりも数が多い仮想境界線候補を設定することができる。

この構成によれば、第ｎ_１マーカーの予測位置と抽出位置とのずれ量が第２閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の数を多くするので、第ｎ_２時点の後の第ｎ_３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。

また、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部により予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量が第３閾値以下の実境界線候補又は仮想境界線候補が無い場合は、仮想境界線候補設定部は、第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について実境界線候補抽出部により抽出された実境界線候補に重複せずに沿い、第ｎ_１撮像画像に設定した仮想境界線候補とは位置が異なる仮想境界線候補を設定することができる。

この構成によれば、第ｎ_１マーカーの予測位置と抽出位置とのずれ量が第３閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の位置を変更するので、第ｎ_２時点の後の第ｎ_３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。

また、本発明の他の側面は、車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と道路の路面との境界線を認識する道路境界線認識方法であって、道路を走行中の車両の前方における第ｎ_１時点の第ｎ_１撮像画像について境界線の候補である実境界線候補を抽出する実境界線候補抽出工程と、第ｎ_１撮像画像の実境界線候補に重複せずに沿って隣接するように仮想境界線候補を設定する仮想境界線候補設定工程と、第ｎ_１撮像画像で第ｎ_１マーカーを認識するマーカー認識工程と、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、車両の移動情報に基づいて、第ｎ_１時点より後の第ｎ_２時点の第ｎ_２撮像画像における第ｎ_１マーカーの予測位置を予測する位置予測工程と、第ｎ_２撮像画像から第ｎ_１マーカーの抽出位置を抽出する位置抽出工程と、予測位置と抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかを境界線として認識する境界線認識工程とを含む道路境界線認識方法である。

本発明の一側面及び他の側面によれば、現実の境界線を境界線候補として抽出することができない場合であっても、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる。

第１実施形態の道路境界線認識装置を示すブロック図である。 図１の道路境界線認識装置の動作を示すフローチャートである。 第ｎ_１時点Ｔｎ_１の第ｎ_１撮像画像Ｆｎ_１を示す図である。 図３の第ｎ_１撮像画像Ｆｎ_１にエッジ処理により実境界線候補Ｒ１〜Ｒ４を抽出した状態を示す図である。 図４の第ｎ_１撮像画像Ｆｎ_１に仮想境界線候補Ｖ１〜Ｖ３を設定した状態を示す図である。 図４の第ｎ_１撮像画像Ｆｎ_１について抽出された第ｎ_１マーカーＭ（Ｔｎ_１）を示す図である。 実境界線候補Ｒ２を境界線Ｂであると仮定した場合において、図６の第ｎ_１マーカーＭ（Ｔｎ_１）の第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像Ｆｎ_２での予測位置ｍ_Ｒ２（Ｔｎ_２）を予測した状態を示す図である。 仮想境界線候補Ｖ２を境界線Ｂであると仮定した場合において、図６の第ｎ_１マーカーＭ（Ｔｎ_１）の第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像Ｆｎ_２での予測位置ｍ_Ｖ２（Ｔｎ_２）を予測した状態を示す図である。 実境界線候補Ｒ３を境界線Ｂであると仮定した場合において、図６の第ｎ_１マーカーＭ（Ｔｎ_１）の第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像Ｆｎ_２での予測位置ｍ_Ｒ３（Ｔｎ_２）を予測した状態を示す図である。 第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像Ｆｎ_２を示す図である。 図１２の第ｎ_２撮像画像Ｆｎ_２における第ｎ_１マーカーＭ（Ｔｎ_１）の抽出位置Ｍ（Ｔｎ_２）を示す図である。 予測位置ｍ_Ｒ２（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）との比較を示す図である。 予測位置ｍ_Ｖ２（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）との比較を示す図である。 予測位置ｍ_Ｒ３（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）との比較を示す図である。 第２実施形態の道路境界線認識装置のメインフローを示すフローチャートである。 図１５において予測位置と抽出位置とのずれ量が第１閾値を超えている場合の動作を示すフローチャートである。 第３実施形態の道路境界線認識装置のメインフローを示すフローチャートである。 図１７において予測位置と抽出位置とのずれ量が第２閾値を超えている場合の動作を示すフローチャートである。 第４実施形態の道路境界線認識装置のメインフローを示すフローチャートである。 図１９において予測位置と抽出位置とのずれ量が第３閾値を超えている場合の動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る道路境界線認識装置及び道路境界線認識方法について説明する。

（第１実施形態）
図１に示すように、第１実施形態に係る道路境界線認識装置１は、車載カメラ１１、車速センサ１２、ヨーレートセンサ１３、ＥＣＵ２０、ディスプレイ３１及びスピーカ３２を備えている。道路境界線認識装置１は、車載カメラ１１による撮像画像に基づいて車両が走行する道路の路端を形成するガードレール、縁石、中央分離帯及び壁等の立体構造物と道路の路面との境界線を認識する。

以下、境界線とは、車両が走行する道路の路端を形成するガードレール、縁石、中央分離帯及び壁等の立体構造物と道路の路面とを区画する線を意味する。境界線は、必ずしも塗装された線でなくともよい。境界線は、立体構造物の表面と道路の路面との交差によって、撮像画像中に線状或いは略線状に現れる形状である。境界線は、厳密な直線部でなくとも、凹部等の立体構造物と道路の路面と境界部であればよい。例えば、境界線は、立体構造物が複数のポストにより支持されたガードレールである場合は、ポストが設置された位置を繋げた線である。

道路境界線認識装置１は、例えば、走行車線からの車両の逸脱を防止するために、境界線と車両との距離を検出し、車両のドライバーに当該距離を表示する。また、道路境界線認識装置１は、認識した境界線と車両との距離が予め設定された閾値未満になったときに、車両のドライバーに必要な警報を報知する。なお、本実施形態においては、路面の走行車線を区画する白線の検出が主目的ではないが、境界線の検出後に、検出された境界線を利用して白線を検出してもよい。或いは、本実施形態においては、検出された境界線から所定量だけ車両の側に近接した白線を模擬した仮想的な区画線を設定し、当該区画線と車両との距離が予め設定された閾値未満となったときに、車両のドライバーに必要な警報を報知してもよい。

車載カメラ１１は、例えば、車両のフロントガラスの裏面に設けられた一つの撮像部を有する単眼カメラである。撮像部は、車両の前方を撮像する。車載カメラ１１は、車両の前方を任意の第ｎ_１時点において第ｎ_１撮像画像として撮像し、車両の前方を第ｎ_１時点より後の任意の第ｎ_２時点において第ｎ_２撮像画像として撮像する。第ｎ_１時点と第ｎ_２時点との間隔は、例えば、５０ｍｓｅｃとすることができる。

車載カメラ１１は、同様にして、第ｎ_１時点より前の第ｎ_−１時点の第ｎ_−１撮像画像を撮像し、第ｎ_−１時点と第ｎ_１時点との間の第ｎ_０時点の第ｎ_０撮像画像を撮像する。車載カメラ１１は、同様にして、第ｎ_２時点より後の第ｎ_３時点の第ｎ_３撮像画像を撮像する。このようにして、車載カメラ１１は、任意の自然数ｋについて、第ｎ_−ｋ時点，第ｎ_−ｋ＋１時点，…第ｎ_−１時点，第ｎ_０時点，第ｎ_１時点，第ｎ_２時点，第ｎ_３時点，…，第ｎ_ｋ−１時点，第ｎ_ｋ時点それぞれにおける第ｎ_−ｋ撮像画像，第ｎ_−ｋ＋１撮像画像，…第ｎ_−１撮像画像，第ｎ_０撮像画像，第ｎ_１撮像画像，第ｎ_２撮像画像，第ｎ_３撮像画像，…，第ｎ_ｋ−１撮像画像，第ｎ_ｋ撮像画像を例えば、５０ｍｓｅｃの周期で撮像する。車載カメラ１１は、車両前方の撮像画像に関する情報をＥＣＵ２０へ送信する。車載カメラ１１は、モノクロカメラ及びカラーカメラのいずれでもよい。また、車載カメラ１１は、ステレオカメラでもよい。

車速センサ１２は、車両の速度を検出するためのセンサである。車速センサ１２としては、例えば、車両の車輪又は車輪と一体に回転する車軸等に対して設けられ、車輪の回転速度を信号として検出する車輪速センサが用いられる。車速センサ１２は、車輪の回転速度に応じた信号をＥＣＵ２０に送信する。

ヨーレートセンサ１３は、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出することにより、車両の向きを検出するためのセンサである。ヨーレートセンサ１３としては、例えばジャイロセンサを用いることができる。ヨーレートセンサ１３は、検出した車両のヨーレートに応じた信号を運転支援ＥＣＵ２へ出力する。

ＥＣＵ２０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２０では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、ＥＣＵ２０のハードウェアが実境界線候補抽出部２１、仮想境界線候補設定部２２、位置予測部２３及び境界線認識部２４として機能する。ＥＣＵ２０は、複数のＥＣＵから構成されていてもよい。

実境界線候補抽出部２１は、道路を走行中の車両の前方における任意の第ｎ_１時点の第ｎ_１撮像画像について境界線の候補である実境界線候補を抽出する。実境界線候補とは、第ｎ_１撮像画像について、画像処理を行うことにより、第ｎ_１撮像画像から直接に抽出される境界線の候補である。上述したように、第ｎ_１時点の第ｎ_１撮像画像は、車載カメラ１１により撮像された撮像画像である。実境界線候補抽出部２１は、第ｎ_１撮像画像について、例えばエッジ処理等の画像処理を行うことによって実境界線候補を抽出する。また、実境界線候補抽出部２１は、他の手法により実境界線候補を抽出してもよい。

仮想境界線候補設定部２２は、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定する。仮想境界線候補とは、第ｎ_１撮像画像から抽出された実境界線候補に沿って、例えば、予め設定された１〜数個のピクセル数毎に実境界線候補から距離をおいて位置するように設定された境界線の候補である。本実施形態では、後述する第２実施形態と異なり、常に第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。本実施形態では、全ての実境界線候補に仮想境界線候補が設定されなくともよい。また、一つの実境界線候補に複数の仮想境界線候補が設定されてもよい。

位置予測部２３は、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ_１撮像画像で認識される第ｎ_１マーカーについて、車両の移動情報に基づいて、第ｎ_１時点よりも後の第ｎ_２時点の第ｎ_２撮像画像における予測位置を予測する。移動情報とは、車両の移動に関する情報であり、例えば、車両の速度、向き及びヨーレート等を意味する。本実施形態では、車両の速度は車速センサ１２により検出され、車両のヨーレートはヨーレートセンサ１３により検出される。実境界線候補及び仮想境界線候補を境界線であると仮定するとは、例えば、境界線であると仮定した実境界線候補又は仮想境界線候補で区画される第ｎ_１撮像画像の領域の内で、車両から近い側の領域が道路の路面であると仮定し、車両から遠い側の領域が道路の路面から垂直或いは略垂直な面であると仮定することを意味する。

第ｎ_１マーカーとは、例えば、第ｎ_１撮像画像中の任意の位置を特定するための任意の画素群を意味する。第ｎ_１マーカーには、例えば、ガードレールのポスト等から認識される第ｎ_１撮像画像の縦方向に伸びる線分と、実境界線候補との交点の画素群を適用することができる。或いは、第ｎ_１マーカーには、第ｎ_１撮像画像中で認識が容易な任意の画素群を適用してもよい。第ｎ_１マーカーの画素群には、例えば、縦４ピクセル×横４ピクセル、縦８ピクセル×横８ピクセル及び縦１６ピクセル×横１６ピクセルの正方配置された画素群等を適用することができる。画素群の特定には画素群に含まれる画素の輝度、明度、彩度、色相等を用いることができる。予測位置とは、第ｎ_１時点の第ｎ_１撮像画像で認識される第ｎ_１マーカーについて、第ｎ_１時点よりも後の第ｎ_２時点の第ｎ_２撮像画像中において予測される位置である。

位置予測部２３が第ｎ_１マーカーの予測位置を予測する際には、位置予測部２３は、例えば、車両に対する車載カメラ１１の位置、角度等のパラメータから、第ｎ_１撮像画像の実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、第ｎ_１時点の第ｎ_１撮像画像中の第ｎ_１マーカーの三次元空間上の車両に対する位置を算出する。次に、位置予測部２３は、車両の移動情報に基づいて、第ｎ_１時点より後の第ｎ_２時点における第ｎ_１マーカーの三次元空間上の車両に対する位置を算出する。最後に、位置予測部２３は、車両に対する車載カメラ１１の位置、角度等のパラメータに基づいて、第ｎ_２時点における当該第ｎ_１マーカーの三次元空間上の車両に対する位置から、第ｎ_２時点の第ｎ_２撮像画像中の第ｎ_１マーカーの予測位置を予測する。これにより、位置予測部２３は、マーカーの予測位置を予測することができる。

境界線認識部２４は、後述するように、位置予測部２３により予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置との比較に基づいて、実境界線候補及び仮想境界線候補のいずれかを境界線として認識する。抽出位置とは、第ｎ_２撮像画像において、第ｎ_１撮像画像で認識された第ｎ_１マーカーに対応する画素群として抽出される第ｎ_１マーカーの位置を意味する。

予測位置と抽出位置との比較に基づいて実境界線候補及び仮想境界線候補のいずれかを境界線として認識するとは、例えば、第ｎ_１マーカーの予測位置と抽出位置とのずれ量が最小である実境界線候補及び仮想境界線候補のいずれかを境界線として認識することを意味する。或いは、予測位置と抽出位置との比較に基づいて実境界線候補及び仮想境界線候補のいずれかを境界線として認識するとは、例えば、第ｎ_１マーカーの予測位置と抽出位置とのずれ量が予め設定された境界線を認識するための閾値以下の実境界線候補及び仮想境界線候補のいずれかを境界線として認識することを意味する。ずれ量とは、例えば、予測位置と抽出位置との最短距離、水平方向距離、垂直方向距離等を意味する。境界線を認識するための閾値は、固定値でも変動値でもよい。

境界線認識部２４は、認識した境界線の位置、境界線と車両との距離等の情報をディスプレイ３１により車両のドライバーに表示する。また、境界線認識部２４は、境界線と車両との距離が予め設定された閾値未満となったときは、スピーカ３２により車両のドライバーに警報を報知する。

本実施形態では、実境界線候補抽出部２１、仮想境界線候補設定部２２、位置予測部２３及び境界線認識部２４は、任意の自然数ｋについて、第ｎ_−ｋ時点，第ｎ_−ｋ＋１時点，…，第ｎ_−１時点，第ｎ_０時点，第ｎ_１時点，第ｎ_２時点，第ｎ_３時点，…，第ｎ_ｋ−１時点，第ｎ_ｋ時点それぞれにおける第ｎ_−ｋ撮像画像，第ｎ_−ｋ＋１撮像画像，…，第ｎ_−１撮像画像，第ｎ_０撮像画像，第ｎ_１撮像画像，第ｎ_２撮像画像，第ｎ_３撮像画像，…，第ｎ_ｋ−１撮像画像，第ｎ_ｋ撮像画像それぞれについての処理を繰り返し実行する。

尚、実境界線候補抽出部２１、仮想境界線候補設定部２２、位置予測部２３は、任意の自然数ｊについて、第ｎ_{−２ｊ＋１}時点，…，第ｎ_−１時点，第ｎ_１時点，第ｎ_３時点，…，第ｎ_２ｊ＋１時点それぞれにおける第ｎ_{−２ｊ＋１}撮像画像，…，第ｎ_−１撮像画像，第ｎ_１撮像画像，第ｎ_３撮像画像，…，第ｎ_２ｊ＋１撮像画像それぞれについての処理をおこなえばよく、必ずしも、第ｎ_−２ｊ時点，…，第ｎ_０時点，第ｎ_２時点，…，第ｎ_２ｊ時点それぞれにおける第ｎ_−２ｊ撮像画像，…，第ｎ_０撮像画像，第ｎ_２撮像画像，…，第ｎ_２ｊ撮像画像それぞれについての処理を行う必要は無い。

ディスプレイ３１は、ＥＣＵ２０の境界線認識部２４からの指令信号により、境界線認識部２４が認識した境界線の位置、境界線と車両との距離等の情報を車両のドライバーに表示する。スピーカ３２は、境界線と車両との距離が予め設定された閾値未満となったときは、境界線認識部２４からの指令信号により、車両のドライバーに警報を報知する。

以下、本実施形態の道路境界線認識装置１の動作について説明する。図２に示すように、第ｎ_１撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における任意の第ｎ_１時点の第ｎ_１撮像画像が取得される（Ｓ１０１）。

第ｎ_１撮像画像取得工程では、例えば、図３に示すような第ｎ_１撮像画像Ｆｎ_１が取得される。第ｎ_１撮像画像Ｆｎ_１には、車両が走行する道路１００の路面１０１と、道路１００の路端を形成する立体構造物であるガードレール１０４とが写っている。路面１０１には、道路１００の走行車線を区画する白線１０２が設けられている。ガードレール１０４は、路面１０１から垂直方向に直立した複数のポスト１０６により、支持されている。

第ｎ_１撮像画像Ｆｎ_１には、ガードレール１０４と路面１０１との境界線Ｂが写っている。境界線Ｂの一部は、植木、自生植物及び土等の遮蔽物１２０により遮蔽されている。第ｎ_１撮像画像Ｆｎ_１において、境界線Ｂ、白線１０２及びガードレール１０４の道路１００の進行方向に沿った輪郭線は、消失点ＶＰに向かって伸びている。消失点ＶＰとは、第ｎ_１撮像画像Ｆｎ_１において、遠近法により、現実の物体の輪郭線等では平行線になっている線が第ｎ_１撮像画像Ｆｎ_１内では平行ではない線であるように写される場合に、その線が交わる点である。

図２に示すように、第ｎ_１実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ_１時点の第ｎ_１撮像画像Ｆｎ_１について、境界線Ｂの候補である実境界線候補が抽出される（Ｓ１０２）。

第ｎ_１実境界線候補抽出工程では、例えば、図４に示すように、境界線Ｂ、ガードレール１０４及び白線１０２の輪郭線であって、道路１００の進行方向に沿い、消失点ＶＰに向かって伸びる線分がエッジ処理により複数の実境界線候補Ｒ１〜Ｒ４として抽出される。エッジ処理においては、各線分について複数のエッジ点ｅが検出され、当該エッジ点ｅを通り、消失点ＶＰに向かって伸びる線分が実境界線候補Ｒ１〜Ｒ４として抽出される。消失点ＶＰを抽出する手法は、オプティカルフロー等の既知の種々の手法を適用することができる。

図４の例では、境界線Ｂは遮蔽物１２０により遮蔽されているために検出されるエッジ点ｅが少ない。そのため、境界線Ｂについては、実境界線候補は抽出されない。そこで、このように境界線Ｂが遮蔽物１２０により遮蔽されている場合を考慮し、本実施形態の道路境界線認識装置１では、常に以下の処理がなされる。

図２に示すように、第ｎ_１仮想境界線候補設定工程として、道路境界線認識装置１の仮想境界線候補設定部２２により、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ１〜Ｒ４に重複せずに沿った仮想境界線候補が設定される（Ｓ１０３）。

第ｎ_１仮想境界線候補設定工程では、例えば、図５に示すように、実境界線候補Ｒ１〜Ｒ４から第ｎ_１撮像画像Ｆｎ_１の周縁で１〜数ピクセルずつ距離を隔てて互いに重複せずに隣接し、且つ消失点ＶＰに向かって伸びる複数の仮想境界線候補Ｖ１〜Ｖ３が設定される。実境界線候補Ｒ１〜Ｒ４からの仮想境界線候補Ｖ１〜Ｖ３の距離は任意に変更することができる。図３の例では、仮想境界線候補Ｖ２は、境界線Ｂにほぼ一致する位置に設定される。

図２に示すように、マーカー認識工程として、道路境界線認識装置１の位置予測部２３により、第ｎ_１撮像画像Ｆｎ_１で第ｎ_１マーカーが認識される（Ｓ１０４）。マーカー認識工程では、例えば、図６に示すように、第ｎ_１時点Ｔｎ_１の第ｎ_１撮像画像Ｆｎ_１における第ｎ_１マーカーＭ（Ｔｎ_１）として、ポスト１０６の垂直方向の輪郭線を含む線分と実境界線候補Ｒ１との交点にその中心が位置する正方形の領域の画素群が認識される。

このように、位置予測部２３は、第ｎ_１撮像画像Ｆｎ_１において認識し易く、第ｎ_１撮像画像Ｆｎ_１における位置を特定し易い任意の画素群を第ｎ_１マーカーＭ（Ｔｎ_１）として認識することができる。第ｎ_１撮像画像Ｆｎ_１において、第ｎ_１マーカーＭ（Ｔｎ_１）は、実境界線候補Ｒ１〜Ｒ４又は仮想境界線候補Ｖ１〜Ｖ３の位置で認識されてもよく、実境界線候補Ｒ１〜Ｒ４又は仮想境界線候補Ｖ１〜Ｖ３以外の位置で認識されてもよい。

後述するように、第ｎ_１撮像画像Ｆｎ_１において第ｎ_１マーカーＭ（Ｔｎ_１）が現実の路面１０１の位置で認識された場合には、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３が境界線であるとの仮定が実際には正しくなくとも、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置と抽出位置とが一致し、当該仮定が正しいか否かが判定できない場合がある。そのため、位置予測部２３は、例えば、第ｎ_１撮像画像Ｆｎ_１において可能な限り車両（路面１０１）から距離が遠いと思われる位置で第ｎ_１マーカーＭ（Ｔｎ_１）を認識することができる。或いは、例えば、図６の例に示すように、位置予測部２３は、第ｎ_１撮像画像Ｆｎ_１において車両（路面１０１）から距離が最も遠いと思われる位置にある実境界線候補Ｒ１上で第ｎ_１マーカーＭ（Ｔｎ_１）を認識することができる。

図２に示すように、位置予測工程として、道路境界線認識装置１の位置予測部２３により、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３を境界線であると仮定したそれぞれの場合において、車両の移動情報に基づいて、第ｎ_１時点Ｔｎ_１より後の第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像における第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置が予測される（Ｓ１０５）。

位置予測工程では、例えば、図７に示すように、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ２を境界線であると仮定した場合において、車両に対する車載カメラ１１の位置、角度等のパラメータから第ｎ_１時点Ｔｎ_１の第ｎ_１撮像画像Ｆｎ_１中の第ｎ_１マーカーＭ（Ｔｎ_１）の三次元空間上の車両に対する位置が算出される。

この場合、例えば、実境界線候補Ｒ２で区画される第ｎ_１撮像画像Ｆｎ_１の車両から近い側の領域は、路面１０１であると仮定される。一方、例えば、実境界線候補Ｒ２で区画される第ｎ_１撮像画像Ｆｎ_１の車両から遠い側の領域は、実境界線候補Ｒ２を交線として路面１０１と垂直に交差する平面であると仮定される。図７の例では、第ｎ_１マーカーＭ（Ｔｎ_１）は、実境界線候補Ｒ２を交線としつつ路面１０１と垂直に交差する平面上に存在すると仮定される。車両に対する車載カメラ１１の位置、角度等のパラメータから、実境界線候補Ｒ２を交線としつつ路面１０１と垂直に交差する平面及び当該平面上における第ｎ_１マーカーＭ（Ｔｎ_１）の三次元空間上の車両に対する位置を算出することができる。

次に、車速センサ１２及びヨーレートセンサ１３により検出された車両の移動情報に基づいて、位置予測部２３により、第ｎ_１時点Ｔｎ_１より後の第ｎ_２時点Ｔｎ_２における第ｎ_１マーカーＭ（Ｔｎ_１）の三次元空間上の車両に対する位置が算出される。最後に、位置予測部２３により、車両に対する車載カメラ１１の位置、角度等のパラメータに基づいて、第ｎ_２時点Ｔｎ_２における第ｎ_１マーカーＭ（Ｔｎ_１）の三次元空間上の車両に対する位置から、第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像中の第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ２（Ｔｎ_２）が予測される。これにより、位置予測部２３は、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ２を境界線であると仮定した場合において、第ｎ_１マーカーＭ_Ｒ２（Ｔｎ_１）の予測位置ｍ_Ｒ２（Ｔｎ_２）を予測することができる。

同様にして、図８に示すように、第ｎ_１撮像画像Ｆｎ_１の仮想境界線候補Ｖ２を境界線であると仮定した場合において、第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像における第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｖ２（Ｔｎ_２）が予測される。また、同様にして、図９に示すように、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ３を境界線であると仮定した場合において、第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像における第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ３（Ｔｎ_２）が予測される。

図７に示すように、第ｎ_１撮像画像Ｆｎ_１において、現実の境界線Ｂよりも車両から遠い実境界線候補Ｒ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ２（Ｔｎ_２）までの移動距離は現実の移動距離よりも長くなる。また、図８に示すように、第ｎ_１撮像画像Ｆｎ_１において、現実の境界線Ｂとほぼ一致する仮想境界線候補Ｖ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｖ２（Ｔｎ_２）までの移動距離は現実の移動距離とほぼ一致する。また、図９に示すように、第ｎ_１撮像画像Ｆｎ_１において、現実の境界線Ｂよりも車両から近い実境界線候補Ｒ３がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ３（Ｔｎ_２）までの移動距離は現実の移動距離よりも短くなる。

図２に示すように、第ｎ_２撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における第ｎ_１時点Ｔｎ_１より後の任意の第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像が取得される（Ｓ１０６）。第ｎ_２撮像画像取得工程では、例えば、図１０に示すような第ｎ_２撮像画像Ｆｎ_２が取得される。図１０に示すように、第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像Ｆｎ_２では、第ｎ_１時点Ｔｎ_１の第ｎ_１撮像画像Ｆｎ_１に比べて、ポスト１０６や遮蔽物１２０が車両の手前側の位置に写っている。

図２及び図１１に示すように、第ｎ_２実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ_２時点Ｔｎ_２の第ｎ_２撮像画像Ｆｎ_２について、境界線Ｂの候補である実境界線候補Ｒ１〜Ｒ４が、上述した第ｎ_１実境界線候補抽出工程と同様にして抽出される（Ｓ１０７）。第ｎ_２仮想境界線候補設定工程として、道路境界線認識装置１の仮想境界線候補設定部２２により、第ｎ_２撮像画像Ｆｎ_２の実境界線候補Ｒ１〜Ｒ４に沿って仮想境界線候補Ｖ１〜Ｖ３が、上述した第ｎ_１仮想境界線候補設定工程と同様にして設定される（Ｓ１０８）。尚、上述したように、第ｎ_２実境界線候補抽出工程及び第ｎ_２仮想境界線候補設定工程は必須ではなく、省略することができる。

図２及び図１１に示すように、位置抽出工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ_２撮像画像Ｆｎ_２から第ｎ_１マーカーＭ（Ｔｎ_１）の抽出位置Ｍ（Ｔｎ_２）が抽出される（Ｓ１０９）。抽出位置Ｍ（Ｔｎ_２）の抽出は、第ｎ_１マーカーＭ（Ｔｎ_１）の画素群に対応する画素群を第ｎ_２撮像画像Ｆｎ_２から抽出することにより行われる。

第ｎ_１マーカーＭ（Ｔｎ_１）は、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ１上で認識されているため、第ｎ_２撮像画像Ｆｎ_２上の抽出位置Ｍ（Ｔｎ_２）も実境界線候補Ｒ１上になると考えられる。そこで、第ｎ_１マーカーＭ（Ｔｎ_１）の画素群に対応する画素群を第ｎ_２撮像画像Ｆｎ_２から抽出するために、例えば、第ｎ_２撮像画像Ｆｎ_２上に実境界線候補Ｒ１に沿った領域が設定される。当該領域内において、マッチング処理により、第ｎ_１マーカーＭ（Ｔｎ_１）の画素群に対応する画素群を位置をずらしながら、当該位置における当該第ｎ_１マーカーＭ（Ｔｎ_１）の画素群に対応する画素群と第ｎ_２撮像画像Ｆｎ_２の画素群との相関値が算出される。当該相関値が最大となる第ｎ_２撮像画像Ｆｎ_２上の位置が、第ｎ_１マーカーＭ（Ｔｎ_１）の抽出位置Ｍ（Ｔｎ_２）に決定される。

図２に示すように、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、予測位置ｍ_Ｒ２（Ｔｎ_２），ｍ_Ｖ２（Ｔｎ_２），ｍ_Ｒ３（Ｔｎ_２）等と、抽出位置Ｍ（Ｔｎ_２）との比較に基づいて、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３のいずれかが境界線Ｂとして認識される（Ｓ１１０）。

境界線認識工程では、例えば、図１２に示すように、実境界線候補Ｒ２が境界線であると仮定した場合における第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ２（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）とが比較される。上述したように、現実の境界線Ｂよりも車両から遠い実境界線候補Ｒ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ２（Ｔｎ_２）までの移動距離は現実よりも長くなる。そのため、予測位置ｍ_Ｒ２（Ｔｎ_２）は抽出位置Ｍ（Ｔｎ_２）よりも、ずれ量ｇだけ車両の手前側となり、予測位置ｍ_Ｒ２（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）とは一致しない。

また、境界線認識工程では、例えば、図１３に示すように、仮想境界線候補Ｖ２が境界線であると仮定した場合における第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｖ２（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）とが比較される。上述したように、現実の境界線Ｂとほぼ一致する仮想境界線候補Ｖ２がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｖ２（Ｔｎ_２）までの移動距離は現実とほぼ一致する。そのため、予測位置ｍ_Ｖ２（Ｔｎ_２）は抽出位置Ｍ（Ｔｎ_２）とはほぼ一致する。

また、境界線認識工程では、例えば、図１４に示すように、実境界線候補Ｒ３が境界線であると仮定した場合における第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ３（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）とが比較される。上述したように、現実の境界線Ｂよりも車両から近い実境界線候補Ｒ３がガードレール１０４と路面１０１との境界線であると仮定した場合には、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｒ３（Ｔｎ_２）までの移動距離は現実よりも短くなる。そのため、予測位置ｍ_Ｒ３（Ｔｎ_２）は抽出位置Ｍ（Ｔｎ_２）よりも、ずれ量ｇだけ車両の奥側となり、予測位置ｍ_Ｒ３（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）とは一致しない。

境界線認識工程では、境界線認識部２４は、例えば、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３を境界線であると仮定したそれぞれの場合において、予測位置ｍ_Ｖ２（Ｔｎ_２）と抽出位置Ｍ（Ｔｎ_２）とのずれ量ｇが最小である仮想境界線候補Ｖ２を境界線Ｂとして認識する。

尚、第ｎ_１マーカーＭ（Ｔｎ_１）が現実の路面１０１において認識された場合には、実境界線候補Ｒ１〜Ｒ４及び仮想境界線候補Ｖ１〜Ｖ３の中で第ｎ_１マーカーＭ（Ｔｎ_１）よりも車両から遠い側に位置する実境界線候補及び仮想境界線候補それぞれについては、それらの実境界線候補及び仮想境界線候補が境界線であるとの仮定が正しいか否かに関わらず、第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置と抽出位置Ｍ（Ｔｎ_２）とが一致し、ずれ量ｇが０となり、当該仮定が正しいか否かが判定できない。

このような場合には、境界線認識部２４は、例えば、実境界線候補及び仮想境界線候補のそれぞれが境界線であると仮定した場合にずれ量ｇが０となる実境界線候補及び仮想境界線候補のいずれかの中で、車両から最も近い実境界線候補又は仮想境界線候補を境界線Ｂとして認識することができる。

また、上記のように実境界線候補及び仮想境界線候補のそれぞれが境界線であると仮定した場合にずれ量ｇが０となる実境界線候補又は仮想境界線候補が複数ある場合や、ずれ量ｇが予め設定された境界線を認識するための閾値を超えている場合は、境界線認識部２４は、境界線Ｂを認識することが不可能である旨又は境界線Ｂの認識を保留する旨を出力してもよい。

上記のＳ１０１〜Ｓ１１０の処理は、道路境界線認識装置１により所定の周期で繰り返し実行される。そのため、任意の自然数ｋについて、第ｎ_−ｋ時点，第ｎ_−ｋ＋１時点，…，第ｎ_−１時点，第ｎ_０時点，第ｎ_１時点，第ｎ_２時点，第ｎ_３時点，…，第ｎ_ｋ−１時点，第ｎ_ｋ時点それぞれにおける第ｎ_−ｋ撮像画像，第ｎ_−ｋ＋１撮像画像，…，第ｎ_−１撮像画像，第ｎ_０撮像画像，第ｎ_１撮像画像，第ｎ_２撮像画像，第ｎ_３撮像画像，…，第ｎ_ｋ−１撮像画像，第ｎ_ｋ撮像画像それぞれについての処理が繰り返し実行される。

例えば、任意の自然数ｊについて、第ｎ_{−２ｊ＋１}時点，…，第ｎ_−１時点，第ｎ_１時点，第ｎ_３時点，…，第ｎ_２ｊ＋１時点それぞれにおける第ｎ_{−２ｊ＋１}撮像画像，…，第ｎ_−１撮像画像，第ｎ_１撮像画像，第ｎ_３撮像画像，…，第ｎ_２ｊ＋１撮像画像それぞれについて、上述した第ｎ_１撮像画像取得工程、第ｎ_１実境界線候補抽出工程、第ｎ_１仮想境界線候補抽出工程、マーカー認識工程及び位置予測工程と同様の処理が実行され、第ｎ_−２ｊ時点，…，第ｎ_０時点，第ｎ_２時点，…，第ｎ_２ｊ時点それぞれにおける第ｎ_−２ｊ撮像画像，…，第ｎ_０撮像画像，第ｎ_２撮像画像，…，第ｎ_２ｊ撮像画像それぞれについて、上述した第ｎ_２撮像画像取得工程、第ｎ_２実境界線候補抽出工程、第ｎ_２仮想境界線候補抽出工程、位置抽出工程及び境界線認識工程と同様の処理が実行されてもよい。

また、任意の自然数ｋについて、第ｎ_−ｋ時点，第ｎ_−ｋ＋１時点，…，第ｎ_−１時点，第ｎ_０時点，第ｎ_１時点，第ｎ_２時点，第ｎ_３時点，…，第ｎ_ｋ−１時点，第ｎ_ｋ時点それぞれにおける第ｎ_−ｋ撮像画像，第ｎ_−ｋ＋１撮像画像，…，第ｎ_−１撮像画像，第ｎ_０撮像画像，第ｎ_１撮像画像，第ｎ_２撮像画像，第ｎ_３撮像画像，…，第ｎ_ｋ−１撮像画像，第ｎ_ｋ撮像画像それぞれについて、上述した第ｎ_１撮像画像取得工程、第ｎ_１実境界線候補抽出工程、第ｎ_１仮想境界線候補抽出工程、マーカー認識工程及び位置予測工程と同様の処理が実行されるとともに、これらの前の時点である第ｎ_−ｋ−１時点，第ｎ_−ｋ時点，…，第ｎ_−２時点，第ｎ_−１時点，第ｎ_０時点，第ｎ_１時点，第ｎ_２時点，…，第ｎ_ｋ−２時点，第ｎ_ｋ−１時点それぞれにおける第ｎ_−ｋ−１撮像画像，第ｎ_−ｋ撮像画像，…，第ｎ_−２撮像画像，第ｎ_−１撮像画像，第ｎ_０撮像画像，第ｎ_１撮像画像，第ｎ_２撮像画像，…，第ｎ_ｋ−２撮像画像，第ｎ_ｋ−１撮像画像それぞれについて実行されたマーカー認識工程及び位置予測工程の結果に基づいて、上述した第ｎ_２撮像画像取得工程、第ｎ_２実境界線候補抽出工程、第ｎ_２仮想境界線候補抽出工程、位置抽出工程及び境界線認識工程と同様の処理が実行されてもよい。

本実施形態では、仮想境界線候補設定部２２により、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ２等に重複せずに沿った仮想境界線候補Ｖ２等が設定される。また、位置予測部２３により、第ｎ_１撮像画像Ｆｎ_１の実境界線候補Ｒ２等及び仮想境界線候補Ｖ２等を境界線であると仮定したそれぞれの場合において、第ｎ_１撮像画像Ｆｎ_１で認識される第ｎ_１マーカーＭ（Ｔｎ_１）について、車両の移動情報に基づいて、第ｎ_２撮像画像Ｆｎ_２における予測位置ｍ_Ｖ２（Ｔｎ_２）が予測され、境界線認識部２４により、予測された第ｎ_１マーカーＭ（Ｔｎ_１）の予測位置ｍ_Ｖ２（Ｔｎ_２）等と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーＭ（Ｔｎ_１）の抽出位置Ｍ（Ｔｎ_２）との比較に基づいて、実境界線候補Ｒ２等及び仮想境界線候補Ｖ２等のいずれかが境界線Ｂとして認識される。そのため、立体構造物と道路の路面との現実の境界線が遮蔽物によって遮蔽されているために、現実の境界線そのものを撮像画像から直接に認識できず、実境界線候補上に現実の境界線が含まれていない場合であっても、仮想境界線候補が実境界線候補を補うことができるため、現実の境界線から大幅に乖離した境界線候補を誤って境界線と認識する可能性を低減させることができる。

（第２実施形態）
以下、本発明の第２実施形態について説明する。本実施形態では、上記第１実施形態のように常に仮想境界線候補が設定されるのではなく、仮想境界線候補を設定する条件が規定されている。図１５に示すように、上記第１実施形態の第ｎ_１撮像画像取得工程と同様に、第ｎ_−１撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における第ｎ_１時点よりも前の第ｎ_−１時点の第ｎ_−１撮像画像が取得される（Ｓ２０１）。

上記第１実施形態の第ｎ_１実境界線候補抽出工程と同様に、第ｎ_−１実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ_１時点よりも前の第ｎ_−１時点の第ｎ_−１撮像画像について、境界線Ｂの候補である実境界線候補が抽出される（Ｓ２０２）。

上記第１実施形態と同様に、マーカー認識工程として、道路境界線認識装置１の位置予測部２３により、第ｎ_−１撮像画像で第ｎ_−１マーカーが認識される（Ｓ２０３）。上記第１実施形態と同様に、位置予測工程として、道路境界線認識装置１の位置予測部２３により、第ｎ_−１撮像画像の実境界線候補を境界線であると仮定した場合において、車両の移動情報に基づいて、第ｎ_−１撮像画像で認識される第ｎ_−１マーカーの第ｎ_−１時点と第ｎ_１時点との間の第ｎ_０時点の第ｎ_０撮像画像における予測位置が予測される（Ｓ２０４）。本実施形態では、この時点では、まだ仮想境界線候補は設定されていないため、第ｎ_−１撮像画像の仮想境界線候補を境界線であると仮定した場合における第ｎ_−１マーカーの第ｎ_０撮像画像における予測位置の予測は行われない。

上記第１実施形態の第ｎ_２撮像画像取得工程と同様に、第ｎ_０撮像画像取得工程として、道路境界線認識装置１の車載カメラ１１により、道路を走行中の車両の前方における第ｎ_０時点の第ｎ_０撮像画像が取得される（Ｓ２０５）。上記第１実施形態の第ｎ_２実境界線候補抽出工程と同様に、第ｎ_０実境界線候補抽出工程として、道路境界線認識装置１の実境界線候補抽出部２１により、道路１００を走行中の車両の前方における第ｎ_０時点の第ｎ_０撮像画像について、境界線Ｂの候補である実境界線候補が抽出される（Ｓ２０６）。尚、上記第１実施形態と同様に、第ｎ_０実境界線候補抽出工程は必須ではなく、省略することができる。

上記第１実施形態と同様に、位置抽出工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ_０撮像画像の第ｎ_−１マーカーの抽出位置が抽出される（Ｓ２０７）。本実施形態では、第ｎ_−１マーカーの予測位置と第ｎ_０撮像画像から抽出された第ｎ_−１マーカーの抽出位置とのずれ量ｇが第１閾値以下である場合は（Ｓ２０８）、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、実境界線候補を境界線であると仮定した場合において、ずれ量ｇが第１閾値以下である実境界線候補の中で、ずれ量ｇが最小である実境界線候補が境界線として認識される（Ｓ２０９）。第１閾値は、固定値でも変動値でもよい。また、第１閾値は、上述した境界線を認識するための閾値と同じ値であっても、異なる値でもよい。

一方、本実施形態では、第ｎ_−１マーカーの予測位置と第ｎ_０撮像画像から抽出された第ｎ_−１マーカーの抽出位置とのずれ量ｇが第１閾値を超えている場合は（Ｓ２０８）、図１６に示すように、上記第１実施形態の図２のＳ１０１〜Ｓ１１０と同様の第ｎ_１撮像画像取得工程（Ｓ２１０）、第ｎ_１実境界線候補抽出工程（Ｓ２１１）、第ｎ_１仮想境界線候補抽出工程（Ｓ２１２）、マーカー認識工程（Ｓ２１３）、位置予測工程（Ｓ２１４）、第ｎ_２撮像画像取得工程（Ｓ２１５）、第ｎ_２実境界線候補抽出工程（Ｓ２１６）、第ｎ_２仮想境界線候補抽出工程（Ｓ２１７）、位置抽出工程（Ｓ２１８）及び境界線認識工程（Ｓ２１９）が実行される。すなわち、仮想境界線候補設定部２２は、第ｎ_−１マーカーの予測位置と第ｎ_０撮像画像から抽出された第ｎ_−１マーカーの抽出位置とのずれ量ｇが第１閾値を超えている場合に、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補を設定する。

本実施形態によれば、第ｎ_−１マーカーの予測位置と、第ｎ_０撮像画像から抽出された第ｎ_−１マーカーの抽出位置とのずれ量ｇが第１閾値を超えている場合に、仮想境界線候補設定部２２によって、第ｎ_１撮像画像の実境界線候補に重複せずに沿った仮想境界線候補が設定される。このため、常に仮想境界線候補が設定される場合に比べて、道路境界線認識装置１の演算負荷を低減することができる。

（第３実施形態）
以下、本発明の第３実施形態について説明する。本実施形態では、ずれ量ｇが予め設定された第２閾値を超えている場合には、設定される仮想境界線候補の数が増加させられる。図１７に示すように、上記第１実施形態の図２のＳ１０１〜Ｓ１０９と同様の第ｎ_１撮像画像取得工程（Ｓ３０１）、第ｎ_１実境界線候補抽出工程（Ｓ３０２）、第ｎ_１仮想境界線候補抽出工程（Ｓ３０３）、マーカー認識工程（Ｓ３０４）、位置予測工程（Ｓ３０５）、第ｎ_２撮像画像取得工程（Ｓ３０６）、第ｎ_２実境界線候補抽出工程（Ｓ３０７）、第ｎ_２仮想境界線候補抽出工程（Ｓ３０８）及び位置抽出工程（Ｓ３０９）が実行される。

実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ_１マーカーの抽出位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量ｇが第２閾値以下の実境界線候補又は仮想境界線候補が有る場合には（Ｓ３１０）、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量ｇが境界線を認識するための閾値以下の実境界線候補及び仮想境界線候補のいずれかが境界線として認識される（Ｓ３１１）。尚、本実施形態では、第２閾値を上述した境界線を認識するための閾値と同じ値としているが、第２閾値は境界線を認識するための閾値と異なる値であってもよい。また、第２閾値は、固定値でも変動値でもよい。

一方、実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量ｇが第２閾値以下の実境界線候補又は仮想境界線候補が無い場合には（Ｓ３１０）、図１８に示すように、第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について、上記第１実施形態の図２のＳ１０１及びＳ１０２と同様の第ｎ_３撮像画像取得工程（Ｓ３１２）及び第ｎ_３実境界線候補抽出工程（Ｓ３１３）が実行される。

第ｎ_３仮想境界線候補設定工程として、仮想境界線候補設定部２２により、第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について実境界線候補抽出部２１により抽出された実境界線候補に重複せずに沿い、第ｎ_１仮想境界線候補抽出工程（Ｓ３０３）で第ｎ_１撮像画像に設定した仮想境界線候補よりも数が多い仮想境界線候補が設定される（Ｓ３１４）。

その後は、第ｎ_３撮像画像について、上記第１実施形態の図２のＳ１０４及びＳ１０５と同様のマーカー認識工程（Ｓ３１５）及び位置予測工程（Ｓ３１６）が実行される。また、第ｎ_３時点よりも後の第ｎ_４時点の第ｎ_４撮像画像について、上記第１実施形態の図２のＳ１０６〜Ｓ１１０と同様の第ｎ_４撮像画像取得工程（Ｓ３１７）、第ｎ_４実境界線候補抽出工程（Ｓ３１８）、第ｎ_４仮想境界線候補抽出工程（Ｓ３１９）、位置抽出工程（Ｓ３２０）及び境界線認識工程（Ｓ３２１）が実行される。

尚、本実施形態では、仮想境界線候補設定部２２は、任意の自然数ｍについて、第ｎ_３時点、第ｎ_７時点、第ｎ_１０時点、…、第ｎ_{３（ｍ−１）＋４}時点、第ｎ_３ｍ＋４時点の第ｎ_３撮像画像、第ｎ_７撮像画像、第ｎ_１０撮像画像、…、第ｎ_{３（ｍ−１）＋４}撮像画像、第ｎ_３ｍ＋４撮像画像について、上記の第ｎ_３仮想境界線候補設定工程と同様の処理を行ない、設定する仮想境界線候補の数が任意の上限数に達するまでは、設定する仮想境界線候補の数を段階的に増加させてもよい。

本実施形態によれば、第ｎ_１マーカーの予測位置と抽出位置とのずれ量ｇが第２閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の数を多くするので、第ｎ_２時点の後の第ｎ_３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。

（第４実施形態）
以下、本発明の第４実施形態について説明する。本実施形態では、ずれ量ｇが予め設定された第３閾値を超えている場合には、設定される仮想境界線候補の位置が変更させられる。図１９に示すように、上記第１実施形態の図２のＳ１０１〜Ｓ１０９と同様の第ｎ_１撮像画像取得工程（Ｓ４０１）、第ｎ_１実境界線候補抽出工程（Ｓ４０２）、第ｎ_１仮想境界線候補抽出工程（Ｓ４０３）、マーカー認識工程（Ｓ４０４）、位置予測工程（Ｓ４０５）、第ｎ_２撮像画像取得工程（Ｓ４０６）、第ｎ_２実境界線候補抽出工程（Ｓ４０７）、第ｎ_２仮想境界線候補抽出工程（Ｓ４０８）及び位置抽出工程（Ｓ４０９）が実行される。

実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ_１マーカーの抽出位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量ｇが第３閾値以下の実境界線候補又は仮想境界線候補が有る場合には（Ｓ４１０）、境界線認識工程として、道路境界線認識装置１の境界線認識部２４により、第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量ｇが第３閾値以下の実境界線候補及び仮想境界線候補のいずれかが境界線として認識される（Ｓ４１１）。尚、本実施形態では、第３閾値を上述した境界線を認識するための閾値と同じ値としているが、第３閾値は境界線を認識するための閾値と異なる値であってもよい。また、第３閾値は、固定値でも変動値でもよい。

一方、実境界線候補及び仮想境界線候補を境界線であると仮定したそれぞれの場合において、位置予測部２３により予測された第ｎ_１マーカーの予測位置と、第ｎ_２撮像画像から抽出された第ｎ_１マーカーの抽出位置とのずれ量ｇが第３閾値以下の実境界線候補又は仮想境界線候補が無い場合には（Ｓ４１０）、図２０に示すように、第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について、上記第１実施形態の図２のＳ１０１及びＳ１０２と同様の第ｎ_３撮像画像取得工程（Ｓ４１２）及び第ｎ_３実境界線候補抽出工程（Ｓ４１３）が実行される。

第ｎ_３仮想境界線候補設定工程として、仮想境界線候補設定部２２により、第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について実境界線候補抽出部２１により抽出された実境界線候補に重複せずに沿い、第ｎ_１仮想境界線候補抽出工程（Ｓ４０３）で第ｎ_１撮像画像に設定した仮想境界線候補とは位置が異なる仮想境界線候補が設定される（Ｓ４１４）。

その後は、第ｎ_３撮像画像について、上記第１実施形態の図２のＳ１０４及びＳ１０５と同様のマーカー認識工程（Ｓ４１５）及び位置予測工程（Ｓ４１６）が実行される。また、第ｎ_３時点よりも後の第ｎ_４時点の第ｎ_４撮像画像について、上記第１実施形態の図２のＳ１０６〜Ｓ１１０と同様の第ｎ_４撮像画像取得工程（Ｓ４１７）、第ｎ_４実境界線候補抽出工程（Ｓ４１８）、第ｎ_４仮想境界線候補抽出工程（Ｓ４１９）、位置抽出工程（Ｓ４２０）及び境界線認識工程（Ｓ４２１）が実行される。

本実施形態によれば、第ｎ_１マーカーの予測位置と抽出位置とのずれ量ｇが第３閾値以下である現実の境界線に十分に近い実境界線候補又は仮想境界線候補を認識できない場合には、設定される仮想境界線候補の位置を変更するので、第ｎ_２時点の後の第ｎ_３時点において現実の境界線に十分に近い仮想境界線候補を認識することができる可能性を増大させることができる。

尚、本発明の実施形態の道路境界線認識装置及び道路境界線認識方法は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上述した第２〜第４実施形態の中の２つの実施形態又は３つの実施形態は互いに組み合わせた態様で実施されてもよい。この場合において、上記第１閾値〜第３閾値はそれぞれ同じ値であっても異なる値であってもよい。

１…道路境界線認識装置、１１…車載カメラ、１２…車速センサ、１３…ヨーレートセンサ、２０…ＥＣＵ、２１…実境界線候補抽出部、２２…仮想境界線候補設定部、２３…位置予測部、２４…境界線認識部、３１…ディスプレイ、３２…スピーカ、１００…道路、１０１…路面、１０２…白線、１０４…ガードレール、１０６…ポスト、１２０…遮蔽物、Ｆｎ_１…第ｎ_１撮像画像、Ｆｎ_２…第ｎ_２撮像画像、ＶＰ…消失点、Ｂ…境界線、ｅ…エッジ点、Ｒ１，Ｒ２，Ｒ３，Ｒ４…実境界線候補、Ｖ１，Ｖ２，Ｖ３…仮想境界線候補、Ｍ（Ｔｎ_１）…第ｎ_１マーカー，ｍ_Ｒ２（Ｔｎ_２），ｍ_Ｖ２（Ｔｎ_２），ｍ_Ｒ３（Ｔｎ_２）…予測位置、Ｍ（Ｔｎ_２）…抽出位置、ｇ…ずれ量。

Claims (5)

1. 車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と前記道路の路面との境界線を認識する道路境界線認識装置であって、
   前記道路を走行中の前記車両の前方における第ｎ_１時点の第ｎ_１撮像画像について前記境界線の候補である実境界線候補を抽出する実境界線候補抽出部と、
   前記第ｎ_１撮像画像の前記実境界線候補に重複せずに沿った仮想境界線候補を設定する仮想境界線候補設定部と、
   前記第ｎ_１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記第ｎ_１撮像画像で認識される第ｎ_１マーカーについて、前記車両の移動情報に基づいて、前記第ｎ_１時点よりも後の第ｎ_２時点の第ｎ_２撮像画像における予測位置を予測する位置予測部と、
   前記位置予測部により予測された前記第ｎ_１マーカーの予測位置と、前記第ｎ_２撮像画像から抽出された前記第ｎ_１マーカーの抽出位置との比較に基づいて、前記実境界線候補及び前記仮想境界線候補のいずれかを前記境界線として認識する境界線認識部と、
   を備えた道路境界線認識装置。
2. 前記実境界線候補抽出部は、第ｎ_１時点よりも前の第ｎ_−１時点の第ｎ_−１撮像画像について前記境界線の候補である実境界線候補を抽出し、
   前記位置予測部は、前記第ｎ_−１撮像画像の前記実境界線候補を前記境界線であると仮定した場合において、前記第ｎ_−１撮像画像で認識される第ｎ_−１マーカーについて、前記車両の前記移動情報に基づいて、前記第ｎ_−１時点と前記第ｎ_１時点との間の第ｎ_０時点の第ｎ_０撮像画像における予測位置を予測し、
   前記仮想境界線候補設定部は、前記位置予測部により予測された前記第ｎ_−１マーカーの予測位置と、前記第ｎ_０撮像画像から抽出された前記第ｎ_−１マーカーの抽出位置とのずれ量が第１閾値を超えている場合に、前記第ｎ_１撮像画像の前記実境界線候補に重複せずに沿った前記仮想境界線候補を設定する、請求項１に記載の道路境界線認識装置。
3. 前記第ｎ_１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記位置予測部により予測された前記第ｎ_１マーカーの予測位置と、前記第ｎ_２撮像画像から抽出された前記第ｎ_１マーカーの抽出位置とのずれ量が第２閾値以下の前記実境界線候補又は前記仮想境界線候補が無い場合は、
   前記仮想境界線候補設定部は、前記第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について前記実境界線候補抽出部により抽出された前記実境界線候補に重複せずに沿い、前記第ｎ_１撮像画像に設定した前記仮想境界線候補よりも数が多い前記仮想境界線候補を設定する、請求項１又は２に記載の道路境界線認識装置。
4. 前記第ｎ_１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記位置予測部により予測された前記第ｎ_１マーカーの予測位置と、前記第ｎ_２撮像画像から抽出された前記第ｎ_１マーカーの抽出位置とのずれ量が第３閾値以下の前記実境界線候補又は前記仮想境界線候補が無い場合は、
   前記仮想境界線候補設定部は、前記第ｎ_２時点よりも後の第ｎ_３時点の第ｎ_３撮像画像について前記実境界線候補抽出部により抽出された前記実境界線候補に重複せずに沿い、前記第ｎ_１撮像画像に設定した前記仮想境界線候補とは位置が異なる前記仮想境界線候補を設定する、請求項１〜３のいずれか１項に記載の道路境界線認識装置。
5. 車載カメラによる撮像画像に基づいて、車両が走行する道路の路端を形成する立体構造物と前記道路の路面との境界線を認識する道路境界線認識方法であって、
   前記道路を走行中の前記車両の前方における第ｎ_１時点の第ｎ_１撮像画像について前記境界線の候補である実境界線候補を抽出する実境界線候補抽出工程と、
   前記第ｎ_１撮像画像の前記実境界線候補に重複せずに沿って隣接するように仮想境界線候補を設定する仮想境界線候補設定工程と、
   前記第ｎ_１撮像画像で第ｎ_１マーカーを認識するマーカー認識工程と、
   前記第ｎ_１撮像画像の前記実境界線候補及び前記仮想境界線候補を前記境界線であると仮定したそれぞれの場合において、前記車両の移動情報に基づいて、前記第ｎ_１時点より後の第ｎ_２時点の第ｎ_２撮像画像における前記第ｎ_１マーカーの予測位置を予測する位置予測工程と、
   前記第ｎ_２撮像画像から前記第ｎ_１マーカーの抽出位置を抽出する位置抽出工程と、
   前記予測位置と前記抽出位置との比較に基づいて、前記実境界線候補及び前記仮想境界線候補のいずれかを前記境界線として認識する境界線認識工程と、
   を含む道路境界線認識方法。

Images