JP6171612B2 - 仮想レーン生成装置及びプログラム - Google Patents

Description

本発明は、仮想レーン生成装置及びプログラムに関する。

従来より、車載カメラからレーンマークを構成するエッジを抽出し、それらの分布に基づき白線を検出する白線検出装置が知られている（特許文献１）。また、白線検出後、道路パラメータを算出して白線が本線のものかどうかを判定し、自車の走行すべき経路を算出する境界線検出装置が知られている（特許文献２）。

特開２００４−２４０６３６号公報 特開２００５−３４６３８２号公報

上記の特許文献１、２に記載の技術では、道路白線に基づいたレーン逸脱防止が可能となり、高速道路等においては有効である。しかし、一般道では白線が不明瞭もしくは存在しない場合もあり、そのような場合への適用は難しい。

本発明は、上記の事情を鑑みてなされたもので、白線が不明瞭もしくは存在しない場合であっても、仮想的な走行レーンを生成することができる仮想レーン生成装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の仮想レーン生成装置は、車両に搭載され、かつ、前記車両の周辺を撮像してステレオ画像を生成する撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出する道路検出手段と、前記車両の絶対位置を検出する位置検出手段によって検出された前記車両の絶対位置と、各地点の道路情報を表す予め用意された道路地図データとに基づいて、前記車両が走行している走行レーンを表すレーンパラメータの初期値を設定する初期値設定手段と、前記道路検出手段によって検出された前記走行可能領域と、前記初期値設定手段によって設定された前記レーンパラメータの初期値とに基づいて、前記車両が走行している仮想的な走行レーンのレーンパラメータを推定し、前記推定されたレーンパラメータに基づいて、前記車両が走行している仮想的な走行レーンを表すデータを生成する仮想レーン生成手段とを含んで構成されている。

本発明に係るプログラムは、コンピュータを、車両に搭載され、かつ、前記車両の周辺を撮像してステレオ画像を生成する撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出する道路検出手段、前記車両の絶対位置を検出する位置検出手段によって検出された前記車両の絶対位置と、各地点の道路情報を表す予め用意された道路地図データとに基づいて、前記車両が走行している走行レーンを表すレーンパラメータの初期値を設定する初期値設定手段、及び前記道路検出手段によって検出された前記走行可能領域と、前記初期値設定手段によって設定された前記レーンパラメータの初期値とに基づいて、前記車両が走行している仮想的な走行レーンのレーンパラメータを推定し、前記推定されたレーンパラメータに基づいて、前記車両が走行している仮想的な走行レーンを表すデータを生成する仮想レーン生成手段として機能させるためのプログラムである。

本発明によれば、撮像手段によって、前記車両の周辺を撮像してステレオ画像を生成し、道路検出手段によって、撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出する。

そして、初期値設定手段によって、前記車両の絶対位置を検出する位置検出手段によって検出された前記車両の絶対位置と、各地点の道路情報を表す予め用意された道路地図データとに基づいて、前記車両が走行している走行レーンを表すレーンパラメータの初期値を設定する。仮想レーン生成手段によって、前記道路検出手段によって検出された前記走行可能領域と、前記初期値設定手段によって設定された前記レーンパラメータの初期値とに基づいて、前記車両が走行している仮想的な走行レーンのレーンパラメータを推定し、前記推定されたレーンパラメータに基づいて、前記車両が走行している仮想的な走行レーンを表すデータを生成する。

このように、ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出し、車両の絶対位置と、道路地図データとに基づいて、車両が走行している走行レーンを表すレーンパラメータの初期値を設定し、検出された走行可能領域と、レーンパラメータの初期値とに基づいて車両が走行している仮想的な走行レーンのレーンパラメータを推定することにより、白線が不明瞭もしくは存在しない場合であっても、仮想的な走行レーンを生成することができる。

本発明に係る仮想レーン生成装置は、前記撮像手段によって生成されたステレオ画像のうちの少なくとも一方の画像に基づいて車両候補を検出する車両検出手段と、前記撮像手段によって生成されたステレオ画像に基づいて検出される前記車両が走行している走行レーン、又は前記仮想レーン生成手段によって生成された前記仮想的な走行レーンと、前記車両検出手段によって検出された車両候補との関係に基づいて、運転支援に用いられる対象車両を検出する対象車両検出手段と、を更に含むようにすることができる。

本発明に係る道路検出手段は、各時刻について、前記撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、前記走行可能領域を検出し、前記仮想レーン生成手段は、前記初期値設定手段によって設定されたレーンパラメータの初期値を表すパーティクルを複数生成し、各時刻について、前記道路検出手段によって検出された前記走行可能領域に基づいて、前記複数のパーティクルから前記パーティクルの各々をサンプリングし、サンプリングされた前記パーティクルの各々が表すレーンパラメータを、予め定められた状態遷移モデルに従って更新することを繰り返すことにより、各時刻について前記仮想的な走行レーンを表すレーンパラメータを推定し、推定されたレーンパラメータに基づいて、前記仮想的な走行レーンを表すデータを生成するようにすることができる。

また、上記の仮想レーン生成手段は、前記サンプリングされた前記パーティクルの各々が表すレーンパラメータを、クロソイド曲線に基づいて予め定められた前記状態遷移モデルに従って更新するようにすることができる。

また、上記の仮想レーン生成装置は、前記撮像手段によって生成されたステレオ画像のうちの少なくとも一方の画像に基づいて車両を検出する車両検出手段を更に含み、前記仮想レーン生成手段は、各時刻について、前記道路検出手段によって検出された前記走行可能領域のうちの、前記車両検出手段によって検出された車両が走行している他の走行レーンの領域と重複する走行レーンのレーンパラメータを表すパーティクルに対して、前記車両が走行している走行レーンの領域と重複するほど、小さな重みを付して、前記パーティクルの各々をサンプリングし、サンプリングされた前記パーティクルの各々が表すレーンパラメータを、前記状態遷移モデルに従って更新するようにすることができる。

上記の対象車両検出手段は、前記仮想的な走行レーン内に存在する前記車両候補を、追跡対象の車両として検出するようにすることができる。

なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。

以上説明したように、本発明の仮想レーン生成装置及びプログラムによれば、ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出し、車両の絶対位置と、道路地図データとに基づいて、車両が走行している走行レーンを表すレーンパラメータの初期値を設定し、検出された走行可能領域と、レーンパラメータの初期値とに基づいて車両が走行している仮想的な走行レーンのレーンパラメータを推定することにより、白線が不明瞭もしくは存在しない場合であっても、仮想的な走行レーンを生成することができる、という効果が得られる。

本発明の第１の実施の形態に係る運転支援制御装置を示すブロック図である。 運転支援システムの例を示す図である。 （ａ）視差マップの例を示す図、（ｂ）視差マップの垂直方向の勾配を示す図、及び（ｃ）走行可能領域の検出結果を示す図である。 （ａ）クロソイド道路モデルを説明するための図、（ｂ）道路構造を推定した結果を示す図、及び（ｃ）道路構造を推定した結果を示す図である。 （ｄ）上記図４−１（ｂ）に対応する道路エネルギーマップの例を示す図、及び（ｅ）上記図４−１（ｃ）に対応する道路エネルギーマップの例を示す図である。 各時刻の仮想走行レーンを生成した結果を示す図である。 （ａ）走行可能領域を示す図、（ｂ）走行可能領域を示す正投影画像を示す図、（ｃ）バウンディングボックス部分の拡大図である。 本発明の第１の実施の形態に係る運転支援制御装置のコンピュータにおける仮想目標生成処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る運転支援制御装置のコンピュータにおける仮想レーン生成処理の内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、第１の実施の形態では、車線維持制御を行う際の走行レーン及び追従制御を行う際の追従対象車両を検出して運転支援部に出力する運転支援制御装置に、本発明を適用した場合を例に説明する。

＜概要＞
本実施の形態は、主に幹線道路などの体系化された道路において使用されている高度運転支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ）の使用を、通常の都市街路、特にマークのない道路まで拡張するための手法に関する。具体的には、本実施の形態は、ＡＤＡＳシステムの要件を満たすための仮想目標を、システムを変更することなく生成することができる。本実施の形態は、ＬＫＡ（ｌａｎｅ ｋｅｅｐ ａｓｓｉｓｔ：車線維持支援）システムのための仮想レーンマークの生成、ＡＣＣ（ａｄａｐｔｉｖｅ ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ：車間自動制御）システムのための自車レーン内での先行車両の特定（または仮想車両の生成）に関するものである。

ＡＤＡＳ技術、特にカメラなどの手ごろなセンサを使用する技術には依然として多くの未解決問題が残っている。これらのシステムを日常交通に向けて実施するには、主として以下の２種類の難点がある。

（１）システムの機能に従った構造情報が必要とされる。例えばＬＫＡシステムは自車を車道の内側からはみ出さずに走行させるためにレーンマークを検出する必要がある。ＡＣＣシステムは自車レーン内の前方／先行車両の検出を必要とし、ＰＣＳシステムは、衝突を回避するためにそのような車両の検出を必要とする。しかし、多くの通常の都市街路には、走行レーンを定義し、またはレーン曲率を表示するレーンマークがない。走行レーンやレーン曲率を理解することがなければ、ＬＫＡシステムやＡＣＣシステムは、図２に示すように、路側の車両（駐車車両など）や他の走行レーン（交差路／曲線路における進路変更車両など）を、自車レーン上の本物の目標と区別することができず、誤警報や誤った制御コマンドを生成する場合がある。さらに、ＰＣＳ（ｐｒｅ−ｃｒａｓｈ ｓｙｓｔｅｍ）は、衝突回避動作時に他の物体にぶつかるのを回避するために道路上の自由空間情報を必要とする。いくつかのシステムは、そのような情報を得るために、ＲＮＤＦ（Ｒｏｕｔｅ Ｎｅｔｗｏｒｋ Ｄｅｆｉｎｉｔｉｏｎ Ｆｉｌｅ：経路ネットワーク定義ファイル）やＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ：地理情報システム）といった他の事前情報と共にＧＰＳを利用する。しかし、ＧＰＳは空間および時間分解能に限界があり、地図データは、特にレーンレベルでは、最新のデータでなく、不正確である可能性もある。さらに、そのような地図は静的であり、リアルタイムで動的な車両に対応することができない。

（２）交通現場で、車線、他の車両といった目標を認識することは、コンピュータビジョンにとって困難である。というのは、目標の外観が、多くの場合、容易に検出されず、時間的、空間的に変化するいくつかの要因、例えば、道路材料、車両のタイプおよび向き、照明、天候条件などの影響を受けるからである。これらの要因は、目標の視認性に多大な影響を及ぼす可能性があり、そのため、システムの正確さ、および信頼性にも提供を及ぼす。

本実施の形態では、通常の都市街路内の構造情報を反映するために仮想レーンが生成され、自車と走行レーンと他の車両との間のコンテクスト関係が、ＡＤＡＳ要件を満たすと共に、物体検出性能を改善するために用いられる。

今日では、高品質カメラが非常に低価格で市販されているため、本実施の形態では、前述の問題についての立体視ベースの解決策を目指す。ＬＫＡ、ＡＣＣおよびＰＣＳをレーンマークのない道路で実行するためには、走行レーン、近くの車両の検出、およびそれらの関係の推定を必要とする。

本実施の形態では、まず、ナビ地図およびクロソイド道路モデルに基づいて入力ステレオ画像から走行レーンを認識する。走行レーンの認識処理の中で、入力画像から近くの車両が検出される。続いて、走行レーンの認識結果及び車両の検出結果が、以下の２つの目的でコンテクスト相関に使用される。目的の１つは、走行レーンおよび車両についての検出性能および信頼性を高めることであり、もう１つは、ＡＤＡＳシステムの要件を満たす仮想目標を生成することである。

画像入力が与えられた場合、レーンマーク検出がまず実行される。レーンマークが検出された場合、ＬＫＡなどのＡＤＡＳは、検出結果を使用して運転者／自車を誘導する。現時点の道路にレーンマークが存在しない場合には、ＬＫＡシステムの要件を満たすための仮想レーンが、以下のように、走行可能領域の境界から生成される。

最初に、ステレオ画像に基づいて、視差マップが、ＳＧＭ（Ｓｅｍｉ−ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ ｓｔｅｒｅｏ：準グローバルマッチング立体）を使用して算出され、画像内の道路の形状特性を説明するコストマップが生成される。続いて、コストマップに基づいて、走行可能領域の境界が、ビリーフプロパゲーションアルゴリズムを使用して、ＭＲＦ（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ）ベースの方式において検出される。さらに、ＧＰＳ位置決めを使用して、ナビ地図において自車が位置決めされ、ナビ地図から得られる自車位置の道路情報に基づいて、走行レーンを表すレーンパラメータの初期値が提供される。結果として得られる初期値を使用することにより、仮想走行レーンが、パーティクルフィルタに基づく方式において生成される。このとき、クロソイド道路モデルに基づいて、パーティクルフィルタを更新する。クロソイド道路モデルは、現実の世界でレーンマークおよび縁石を構築するための道路設計において広く使用されているからである。

また、既存のＡＤＡＳシステムの大部分は、関心対象の物体を検出すること、または場面のセグメンテーション（道路、車両などといった異なるカテゴリ）を作成することに焦点を合わせたものであったが、これらの方法によって提供される情報のレベルは、前述のように、通常の都市街路において、ＬＫＡ、ＡＣＣ、ＰＣＳといったＡＤＡＳシステムを実施するにはあまりに限られたものである。道路コンテクストにおける近くの車両、ならびに走行レーンといった道路構造自体を理解することが、都市環境におけるＡＤＡＳ適用成功の鍵である。これは、特に多くのクラッタが生じる動的な都市場面や、道路構造を表示するレーンマークがないシナリオにおいては、きわめて困難である。本実施の形態では、検出又は生成された走行レーンと車両とを相関させることにより、関心対象の物体を検出する。

＜システム構成＞
図１に示すように、本発明の第１の実施の形態に係る運転支援制御装置１０は、ＧＰＳ衛星からの電波を受信するＧＰＳ受信部１２と、自車両の前方を撮像して、ステレオ画像を生成する撮像装置１４と、ＧＰＳ受信部１２によって受信されたＧＰＳ衛星からの受信信号、及び撮像装置１４によって撮像されたステレオ画像に基づいて、走行レーンを検出又は生成して、運転支援部１８で用いる仮想目標を生成するコンピュータ１６と、を備えている。

運転支援部１８は、検出又は生成された走行レーンに基づいて、自車両の車線維持制御を行うと共に、仮想目標として生成された、例えば追従対象となる先行車両に基づいて、自車両の追従運転制御を行う。

ＧＰＳ受信部１２は、各時刻について、複数のＧＰＳ衛星からの電波を受信して、受信した全てのＧＰＳ衛星からの受信信号を、コンピュータ１６へ出力する。

撮像装置１４は、各時刻について、自車両の前方を繰り返し撮像して、ステレオ画像を繰り返し生成し、コンピュータ１６へ出力する。

コンピュータ１６を機能ブロックで表すと、上記図１に示すように、ＧＰＳ受信部１２から、電波を受信した全てのＧＰＳ衛星について、ＧＰＳ衛星の情報を取得して、各時刻における自車両の位置を算出する位置検出部２０と、撮像装置１４によって生成されたステレオ画像から、自車両の走行レーンのレーンマークを検出するレーンマーク検出部２２と、各時刻について、レーンマークが検出されなかった場合に、撮像装置１４によって生成されたステレオ画像に基づいて、自車両の走行可能領域を検出する道路検出部２４と、撮像装置１４によって生成されたステレオ画像に基づいて、他の車両候補を検出する車両検出部２６と、各地点の道路情報を格納したナビゲーション地図データを記憶する地図データベース２８と、道路モデルを表すデータを記憶する道路モデル記憶部３０と、検出された自車両の位置、検出された走行可能領域、検出された他の車両候補、ナビゲーション地図データ、及び道路モデルを表すデータに基づいて、各時刻について、走行レーン又は仮想走行レーンを認識するレーン認識部３２と、認識された走行レーン又は仮想走行レーンと検出された車両とのコンテクスト相関を計算するコンテクスト相関計算部３４と、コンテクストモデルを表すデータを記憶したコンテクストモデル記憶部３６と、コンテクスト相関に基づいて、車両を検出する対象車両検出部３７と、検出された車両に基づいて、仮想目標を生成する仮想目標生成部３８とを備えている。なお、レーン認識部３２が、初期値設定手段及び仮想レーン生成手段の一例である。

位置検出部２０は、ＧＰＳ受信部１２から、電波を受信した全てのＧＰＳ衛星について、ＧＰＳ衛星の情報を取得し、取得したＧＰＳ情報に基づいて、自車両の絶対位置を算出する。

レーンマーク検出部２２は、各時刻について、撮像装置１４によって生成されたステレオ画像の例えば左画像から、例えばパターンマッチングにより、レーンマークを検出する。

道路検出部２４は、レーンマーク検出部２２によりレーンマークが検出されなかった場合、撮像装置１４によって生成されたステレオ画像から、視差マップを計算し（図３（ａ）参照）、計算した視差マップから、垂直方向の視差の勾配に基づくコストマップを生成する（図３（ｂ）参照）。道路検出部２４は、生成されたコストマップに基づいて、ＭＲＦベースの手法に従って、走行可能領域の境界を検出し（図３（ｃ）参照）、走行可能領域を検出する。

車両検出部２６は、撮像装置１４によって生成されたステレオ画像の例えば左画像について、関心領域（ＲＯＩ：ｒｅｇｉｏｎ−ｏｆ−ｉｎｔｅｒｅｓｔ）内で、勾配の方向ヒストグラム（ＨＯＧ：ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔ）特徴を用いた変形可能なパートモデル（ＤＰＦ：ｄｅｆｏｒｍａｂｌｅ ｐａｒｔ−ｂａｓｅｄ ｍｏｄｅｌ）に基づいて車両候補を検出し、車両候補に対して、検出処理で得られたスコアの閾値判定を行うことによって、撮像装置１４によって生成されたステレオ画像の左画像から、車両を検出する。

地図データベース２８は、各地点の道路情報（レーン幅、曲率、曲率の変化）を格納したナビゲーション地図データを記憶している。

道路モデル記憶部３０は、クロソイド道路モデルに基づく状態遷移モデルのパラメータを記憶している。

レーン認識部３２は、レーンマーク検出部２２によってレーンマークが検出された場合、検出されたレーンマークに基づいて、走行レーンを認識する。複数の走行レーンが存在する場合には、複数の走行レーンが認識される。

レーン認識部３２は、レーンマーク検出部２２によってレーンマークが検出されなかった場合、検出された自車両位置、検出された走行可能領域、検出された他の車両、ナビゲーション地図データ、及び状態遷移モデルのパラメータに基づいて、以下に説明するように、各時刻について、自車両が走行している仮想的な走行レーンを生成する。

まず、クロソイド道路モデルにおいてレーン境界位置は次式で表される。

ただし、ｘ_ｋ，ｔ（ｚ）は、距離ｚ、時刻ｔにおけるレーン境界の横位置である。ｋ＝｛−１，１｝は、レーン境界の側、すなわち、−１は左側、１は右側を示す。図４−１（ａ）に示すように、時刻ｔにおける道路および道路に対する自車の位置は、レーン幅ｗ_ｔ、道路のセンターラインに対する自車の横方向オフセットｘ_０，ｔ、道路に対する自車のヨー角θ_ｔ、曲率ｃ_０，ｔ、および曲率の変化ｃ_１，ｔによって与えられる。これらのパラメータは、推定されるべき状態ベクトルＳ_ｔを形成し、Ｓ_ｔ＝（ｗ_ｔ，ｘ_０，ｔ，θ_ｔ，ｃ_０，ｔ，ｃ_１，ｔ）であり、レーンパラメータの一例である。Ｓ_ｔについての時刻ｔとｔ＋Δｔとの間の状態遷移モデルは、クロソイド道路モデルに基づいて次式として定義される。

本実施の形態では、レーンマークが検出されない道路について、パーティクルフィルタを使用して、追跡プロセスにおいてレーンレベルの道路構造を推定する（図４−１（ｂ）、（ｃ）参照）。各推定周期において、１５００個のパーティクルが生成され、各パーティクルが、クロソイド道路モデルに基づくレーン境界位置を表すレーンパラメータを有し、これらのパーティクルと関連付けられた重みが、図４−２（ｄ）、（ｅ）に示すような道路エネルギーマップ上の尤度測定に基づいて計算される。尤度スコアは次式によって計算される。

ただし、Ｐ_Ｌは、仮想的な左右のレーンマーク間の領域である。ｐはＰ_Ｌ内部の画素であり、Ｎ_ＰＬは、Ｐ_Ｌのサイズである。ρは、道路点α、β、γのエネルギーを表す正の定数であり、α、β、γは、特定の点のエネルギーを調整するための正の定数である。実験に際して、本実施の形態では、ρ＝１、α＝１０、β＝５、γ＝５０に設定した。実際には、上記（３）式で定義される尤度スコアは、仮想的な左右のレーンマーク間の領域の各点の平均値であり、これにより、推定される仮想的な走行レーンが、非道路点を除外しつつ、より多くの道路点を含むことになる。

上記（４）式に示すように、各点ｐは、走行可能領域のうちの自車両が走行可能なフリー走行レーンPblue（上記図４−２（ｄ）の細線斜線領域参照）、走行可能領域のうちの自車両が走行不可能な走行レーンPred（上記図４−２（ｅ）の細線斜線領域参照）、それ以外の走行可能領域Proad（上記図４−２（ｄ）、（ｅ）の白色領域参照）、走行可能領域以外の領域Ｐnon-road（上記図４−２（ｄ）、（ｅ）の黒色領域参照）、の何れかに分類される。

走行可能領域のうちの自車両が走行可能なフリー走行レーンPblue、走行可能領域のうちの自車両が走行不可能な領走行レーンPred、それ以外の走行可能領域Proadを表す道路エネルギーマップが、走行可能領域の検出結果と、他の車両の検出結果との相関に基づいて、上記図４（ｄ）、（ｅ）に示すように、求められる。例えば、検出された他の車両が、安全ＲＯＩの外部にある場合には、当該他の車両が走行している走行レーンは、自車両の走行に使用することができるため、自車両が走行可能なフリー走行レーンPblueとして求められる。また、検出された他の車両が、安全ＲＯＩの内部にある場合には、当該他の車両が走行している他の走行レーンは、当該他の車両に占有されており、自車両の走行に使用することができないため、自車両が走行不可能な走行レーンPredとして求められる。上記のフリー走行レーンPblue、走行不可能な走行レーンPredは、上記の状態ベクトルの、ｘ_０，ｔを除くパラメータと同じパラメータによって定義される。

レーン認識部３２は、検出された自車両位置に基づいて、ナビゲーション地図データから、現在の自車両位置における道路情報（レーン幅、曲率など）を取得し、自車両位置、道路情報を用いて、状態ベクトルＳの初期値を設定する。設定された状態ベクトルの初期値を用いて、複数のパーティクルを生成する。生成された各パーティクルについて、当該パーティクルの状態ベクトルが表す仮想的な走行レーンについて、上記（３）式に従って、重みを計算する。

計算された重みに応じて、生成された各パーティクルから、パーティクルをサンプリングし、サンプリングされた各パーティクルの状態ベクトルを、上記（２）式に従って更新する。各時刻で検出された走行可能領域に基づく道路エネルギーマップに基づいて、各パーティクルの重みの計算、及びパーティクルのサンプリングを各時刻において繰り返すことにより、各時刻の車両位置におけるレーンパラメータを推定し、推定された各時刻のレーンパラメータに基づいて、自車両が走行している各時刻の仮想的な走行レーンを認識する（図５参照）。

次に、認識された走行レーン又は仮想走行レーンと検出された車両とのコンテクスト相関に基づいて、仮想目標を生成する原理について説明する。

現実の世界では、環境と環境内で見られる物体との間、例えば道路と車両との間には強い関係が存在する。物体の構成を現実世界へ特徴付けることができる物体の設定と当該物体との間の５つの関係クラスを提示する。これらは、１）介在（物体がその背景に割り込む）、２）支持（物体が表面上で静止する傾向にある）、３）可能性（物体があるコンテクストでは見つかるが、別のコンテクストでは見つからない傾向にある）、４）位置（ある物体がある場面において予想される場合に、その物体は多くの場合ある位置で見つかり、他の位置では見つからない）、５）よく知られたサイズ（物体と他の物体とのサイズ関係の集合が限られたものである）である。そのようなコンテクスト情報は、物体検出において、少なくとも２つのやり方で有益な役割を果たすことができる。第１に、このコンテクスト情報は、考慮される必要のある位置および尺度の数を削減することにより物体識別を簡略化することができる。第２に、このコンテクスト情報は、クラッタ、雑音、遮蔽、ポーズおよび照明の変動といったいくつかの要因のために局所的な外観サポートが不十分であるときに、物体認識性能を改善するために、検出の仮説に再度重み付けすることができる。

また、外観モデルだけによって返される誤検出は、以下の３つの主要カテゴリへ分けることができる。

１）非現実的な位置における誤った車両検出：外観モデルによる検出では、多くの場合、立体視によって高い信頼度で検出される、空中や走行不可能領域内といった画像内の非現実的な位置に位置する車両を検出する。しかし、現実の世界では、車両は、道路上や道路の近くなど、ある一定の場所にある可能性がより高い。

２）不合理なサイズを有する誤った車両検出：外観モデルによる検出では、多くの場合、カメラの近くに見えるが、きわめて小さい検出を返し、あるいはカメラから遠く離れているが、きわめて大きい検出を返す。しかし、ピンホール・カメラ・モデルによれば、画像内の車両サイズは、車両とカメラとの距離に反比例するはずである。

３）弱い外観サポートによる誤った車両未検出：現実の交通では、車両は普通、走行レーンに沿って走行する。自車レーン内の車両は、カメラから遠く離れているとき、画像内で非常に小さい場合もある。隣のレーンの車両は、前方の車両による遮蔽のために一部しか見えない場合もある。これらの場合には、外観サポートが弱すぎて、外観モデルだけによって検出することができなくなる。

上記の状況における車両検出の改善に寄与するように、本実施の形態では、低レベルの検出改善と高レベルの道路理解との両方のために、検出される走行可能領域の境界によって提供される空間的コンテクストを組み合わせる。そのような手法は、ＡＤＡＳシステムの性能ならびに信頼性を大幅に改善することができる。

本実施の形態では、車両検出部２６により、関心領域ＲＯＩ内で、車両候補を検出する。コンテクスト相関計算部３４では、検出された車両候補が以下の２つの方法で使用される。一方の方法では、比較的高い外観証拠を有する車両候補を抽出するために、粗い閾値処理が実行される。他方の方法では、空間的位置および空間的大きさを含む空間的サポートを探索するために、車両候補を道路コンテクストと相関させる。次いで、得られる結果の両方について、車両認識の出力のためのＡＮＤ論理を用いて、交差検証が行われ、それによって、外観と空間的サポートの両方について最も妥当な車両検出結果が取り出される。

また、本実施の形態では、道路と、バウンディングボックスｂ＝｛ｐ_ｕ，ｐ_ｖ，ｗ，ｈ｝で表示される車両候補（図６（ａ）の矩形枠参照）との間の車両空間構成を取り込むための特徴ベクトルを、４次元空間的コンテクスト記述子β＝｛ｄ_Ｌ，ｄ_Ｒ，Ｏ，Ｈ｝として定義する。（ｐ_ｕ，ｐ_ｖ）は、バウンディングボックスの左上点の画像座標であり、ｗ、ｈは、それぞれ、バウンディングボックスの幅と高さである。ｄ_Ｌは、自車レーンのセンターライン（図６（ｃ）のドッド部分参照）までの車両候補の距離である。前述のように、弱い外観サポートを有する車両は、普通、走行レーンにおいて現れ、したがって、本実施の形態では、平行な走行レーン内に位置する車両候補には高い重みを与え、可能性がない位置に位置する車両候補には低い重みを割り当てる。ｄ_Ｒは、道路領域までの車両候補の垂直方向の距離である。道路上を走行している車両は、検出される走行可能領域の近くにあるはずであり、その場合、高い重みが割り当てられる。垂直方向に道路領域から遠く離れている車両候補は、普通、地上に属するものではない。本実施の形態では、距離測定の水平方向を省く。というのは、相対的水平位置は、交通シナリオにおいていかなる識別情報ももたないからである。図６（ｂ）に示すように、車両候補の距離はすべて、視差マップからの３次元再構築により得られる正投影画像において測定される。Ｏは、走行可能領域に対する車両候補のバウンディングボックスのオーバーラップ率である。すなわち、以下の式で、オーバーラップ率Ｏが計算される。

Ｏ =（バウンディングボックス内での走行可能領域の画素数）/（バウンディングボックスの総画素数）

大きいオーバーラップ率は誤検出に対応する。というのは、道路検出部２４による走行可能領域の検出の信頼度が非常に高いからである。Ｈは現実の世界での車高であり、これはバウンディングボックスから推定され、すなわち、Ｈ＝ｈ・ｄ_ｃ／ｆである。ただし、ｄ_ｃは車両候補とカメラとの距離であり、ｆはカメラの焦点距離である。現実の車両は、当該車両の車種に従って、予め定められた高さを有するはずである。

すべての特徴は、検出される車両の特定位置およびよく知られたサイズについて高い重みを与えるため、本実施の形態では、これらを、車両候補に再度重み付けするためのコンテクストスコアを計算するためのガウス分布としてモデル化する。特に、本実施の形態では、以下の（５）式で計算されるスコアＳconを、車両候補に対する検出スコアに加算して、再度スコアを計算する。

ただし、（μ，σ）は、特徴の平均値および標準偏差であり、実データから得られる。ｉは、走行レーンの数を表す。ここで、本実施の形態では、自車両が走行する走行レーンと隣接する走行レーンとがある場合を考察する。したがって、本実施の形態では、自車走行レーンと隣接する走行レーンとにそれぞれ位置する車両に対応する、ｄ_Ｌについての２組の（μ，σ）を得る。同様に本実施の形態では、乗用車などの普通サイズの車両と、トラックなどの大型車両とに対応する、Ｈについての２組の（μ，σ）も得る。λは、コンテクストスコアの重みを調整するための重みパラメータである。本実施の形態ではλ＝０．５に設定し、これにより、０と２との間の値が、検出される車両のサイズおよび位置に応じて、［−１，１］の範囲内の検出スコアに加算されることになる。

以上のように、本実施の形態に係る運転支援制御装置１０では、コンテクスト相関計算部３４によって、車両検出部２６において検出された車両候補の各々について、レーン認識部３２によって認識された走行レーン又は仮想走行レーンとのコンテクスト相関を計算する。

コンテクストモデル記憶部３６には、上記（５）式における各種パラメータが、コンテクストモデルを表すデータとして記憶されている。

対象車両検出部３７は、コンテクスト相関計算部３４によって計算されたコンテクスト相関、及びコンテクストモデルを表すデータに基づいて、車両検出部２６において検出された車両候補の各々について、上記（５）式に従って、スコアＳconを計算し、検出スコアに加算して、再度スコアを算出し、算出されたスコアに基づいて、車両を検出する。また、対象車両検出部３７は、車両検出部２６において検出された車両候補の各々について、粗い閾値処理により、車両を検出する。対象車両検出部３７は、粗い閾値処理による車両の検出結果と、再度算出されたスコアに基づく車両の検出結果とに対して、ＡＮＤ論理により、車両を検出する。

仮想目標生成部３８は、対象車両検出部３７によって検出された車両と、レーン認識部３２によって認識された走行レーン又は仮想走行レーンとに基づいて、自車両が走行している走行レーン内の車両を、追従運転制御の仮想目標として生成して、運転支援部１８へ出力する。また、仮想目標生成部３８は、レーン認識部３２によって認識された走行レーン又は仮想走行レーンを、車線維持制御の仮想目標として運転支援部１８へ出力する。

なお、空間的コンテクストに関する特徴の平均値および標準偏差を、事前に定義するのではなく、学習することにより求めてもよい。この場合には、車両と道路との間の空間的相互作用の一般的で、かつ、ロバストな記述がもたらされる。例えば、６４０×４８０画素の解像度で毎秒ほぼ１５フレームを生じる同期された１対のカメラを装備する実験車両から記録されたデータセット（例えば、750フレームのデータセット）を使用して、平均値及び標準偏差のパラメータ学習を行う。なお、データセットについて、画像において車体の１／４超が見えている限り、すべての車両インスタンスに手操作でラベル付けした。

＜運転支援制御装置の作用＞
次に、本実施の形態の作用について説明する。

運転支援制御装置１０を搭載した車両が走行しているときであって、撮像装置１４によって自車両の前方を撮像し、ステレオ画像を逐次生成すると共に、ＧＰＳ受信部１２によって、ＧＰＳ衛星からの信号を逐次受信しているときに、運転支援制御装置１０は、図７に示す仮想目標生成処理ルーチンを実行する。

ステップ１００では、撮像装置１４によって生成されたステレオ画像を取得し、ステップ１０２において、ＧＰＳ受信部１２によって受信したＧＰＳ信号を取得し、自車両の絶対位置を検出する。

次のステップ１０４では、上記ステップ１００で取得したステレオ画像の左画像から、車両候補を検出し、車両候補の検出処理で得られた車両候補の検出スコアに対する閾値処理により、車両を検出する。ステップ１０６では、上記ステップ１００で取得したステレオ画像の左画像から、レーンマークを検出する。ステップ１０８では、上記ステップ１０６でレーンマークが検出されたか否かを判定する。レーンマークが検出された場合には、ステップ１１０において、上記ステップ１０６で検出されたレーンマークに基づいて、走行レーンを認識する。

一方、レーンマークが検出されなかった場合には、ステップ１１２において、上記ステップ１００で取得したステレオ画像、上記ステップ１０２で検出された自車両の絶対位置、及び上記ステップ１０４で検出された車両に基づいて、仮想的な走行レーンを生成する。

ステップ１１４では、上記ステップ１０４で検出された車両候補の各々について、上記ステップ１１０で認識された走行レーン、又は上記ステップ１１２で生成された仮想的な走行レーンとのコンテクスト相関を計算する。

ステップ１１６において、上記ステップ１０４で検出された車両候補の各々について、上記ステップ１１４で計算されたコンテクスト相関、及びコンテクストモデルを表すデータ、当該車両候補の位置及び大きさに基づいて、上記（５）式に従って、コンテクスト相関に関するスコアを算出し、算出したスコアを、当該車両候補の検出スコアに加算して、当該車両候補のスコアを再度計算する。

ステップ１１８では、上記ステップ１０４で検出された車両候補の各々について、検出スコアに対する粗い閾値処理を行った結果と、上記ステップ１１６で再度計算されたスコアに対する閾値処理を行った結果とに対して、ＡＮＤ論理により、車両を検出する。

ステップ１２０では、上記ステップ１１８で検出された車両と、上記ステップ１１０で認識された走行レーン、又は上記ステップ１１２で生成された仮想的な走行レーンとに基づいて、仮想目標を生成して、運転支援部１８に出力して、上記ステップ１００へ戻る。

上記の仮想目標生成処理ルーチンが繰り返し実行されることにより、逐次生成された仮想目標が、運転支援部１８へ出力され、運転支援部１８により、仮想目標に基づく運転支援が行われる。

上記ステップ１１２は、図８に示す仮想レーン生成処理ルーチンによって実現される。

ステップ１３０では、取得したステレオ画像に基づいて、視差マップを計算する。ステップ１３２では、上記ステップ１３０で計算された視差マップに基づいて、コストマップを生成する。ステップ１３４では、上記ステップ１３２で生成されたコストマップに基づいて、走行可能領域の境界を検出する。

ステップ１３５では、後述するステップ１３６により、仮想的な走行レーンを表すレーンパラメータの初期値がすでに設定されているか否かを判定する。レーンパラメータの初期値が設定済みである場合には、後述するステップ１３７へ移行する。一方、レーンパラメータの初期値が未設定である場合には、ステップ１３６において、上記ステップ１０２で検出された自車両の絶対位置と、地図データとに基づいて、自車両の位置における道路情報を取得し、取得した道路情報に基づいて、仮想的な走行レーンを表すレーンパラメータの初期値を設定する。

そして、ステップ１３８において、上記ステップ１３６で設定されたレーンパラメータの初期値又は前回更新されたパーティクルの状態ベクトルと、上記ステップ１３４で検出された走行可能領域の境界と、上記ステップ１０４で検出された車両とに基づいて、各パーティクルに対して、重みを計算して、計算された重みに従って、パーティクルをサンプリングすると共に、状態遷移モデルに従って、サンプリングされたパーティクルの各々の状態ベクトルを更新する。

そして、ステップ１３８において、上記ステップ１３７で更新されたパーティクルの各々の状態ベクトルに基づいて、自車両の現在位置における仮想的な走行レーンを表すレーンパラメータを推定する。

ステップ１４０では、上記ステップ１３８で推定されたレーンパラメータに基づいて、仮想的な走行レーンを生成し、仮想レーン生成処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る運転支援制御装置によれば、車両前方を撮像して生成されたステレオ画像から得られる視差マップに基づいて、車両の走行可能領域を検出し、ＧＰＳ受信信号から検出される車両の絶対位置と、道路地図データとに基づいて、車両が走行している走行レーンを表すレーンパラメータの初期値を設定し、検出された走行可能領域と、レーンパラメータの初期値とに基づいて車両が走行している仮想的な走行レーンのレーンパラメータを推定することにより、白線が不明瞭もしくは存在しない場合であっても、仮想的な走行レーンを生成することができる。

また、ステレオ画像に対するステレオマッチングにより求めた視差マップに基づいて、白線なし道路における走行可能領域が検出される。走行可能領域だけでは、自車の走行すべき経路を定めることは難しいが、ナビゲーション地図から得た道路形状情報を利用し、走行可能領域に曲線を当てはめることで、仮想走行レーンを生成できる。これは、自車の走行すべき経路を表している。

さらに、仮想走行レーンと車両の位置関係に基づいて、簡易な処理により、走路上の車両が追随すべき対象か回避すべき対象かを判定することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る運転支援制御装置の構成は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

第２の実施の形態では、自車両が走行している走行レーンではなく、衝突回避のための緊急走行レーンを表す仮想的な走行レーンを生成している点が、第１の実施の形態と異なっている。

第２の実施の形態では、レーン認識部３２は、レーンマークのない道路について、パーティクルフィルタを使用して、追跡プロセスにおいてレーンレベルの道路構造を推定する。各推定周期において、１５００個のパーティクルが生成され、これらのパーティクルと関連付けられた重みが、道路エネルギーマップ上の尤度測定に基づいて更新される。尤度スコアは次式によって計算される。

ただし、Ｐ_Ｌは、仮想的な左右のレーンマーク間の領域である。ｐはＰ_Ｌ内部の画素であり、Ｎ_ＰＬは、Ｐ_Ｌのサイズである。ρは、道路点γのエネルギーを表す正の定数であり、γは、特定の点のエネルギーを調整するための正の定数である。

上記（７）式に示すように、各点ｐは、走行可能領域Proad、走行可能領域以外の領域Ｐnon-roadの何れかに分類される。

このように、緊急レーンは、異なるエネルギーマップを使用することを除いて、仮想レーン生成と同様に推定される。このエネルギーマップは、走行可能領域Proadと、走行可能領域以外の領域Ｐnon-roadとを表している。

上記（７）式で負の無限大ではなく非常に大きい重みパラメータγを使用しているが、その理由は、このパラメータが、例えば雑音などのために避けられない場合を除いて、確実に非道路点が緊急レーンに含まれないようにするからである。

レーン認識部３２は、検出された自車両位置に基づいて、ナビゲーション地図データから、現在の自車両位置における道路情報（レーン幅、曲率など）を取得し、自車両位置、道路情報を用いて、状態ベクトルの初期値を設定する。設定された状態ベクトルの初期値を用いて、複数のパーティクルを生成する。生成された各パーティクルについて、当該パーティクルの状態ベクトルが表す仮想的な走行レーンについて、上記（６）式に従って、重みを計算する。

計算された重みに応じて、生成された各パーティクルから、パーティクルをサンプリングし、サンプリングされた各パーティクルの状態ベクトルを、上記（２）式に従って更新する。各パーティクルの重みの計算、及びパーティクルのサンプリングを各時刻において繰り返すことにより、各時刻の車両位置におけるレーンパラメータを推定し、推定された各時刻のレーンパラメータに基づいて、各時刻における仮想的な緊急走行レーンを認識する。

仮想目標生成部３８は、対象車両検出部３７によって検出された車両を、障害物候補として検出すると共に、レーン認識部３２によって認識された仮想緊急走行レーンを、追突回避運転制御の仮想目標として生成して、運転支援部１８へ出力する。

なお、第２の実施の形態に係る運転支援制御装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、車両前方を撮像して生成されたステレオ画像から得られる視差マップに基づいて、車両の走行可能領域を検出し、検出された走行可能領域に基づくコストマップに従って、緊急走行レーンのレーンパラメータを推定することにより、白線が不明瞭もしくは存在しない場合であっても、仮想的な緊急走行レーンを生成することができる。

１０ 運転支援制御装置
１２ ＧＰＳ受信部
１４ 撮像装置
１６ コンピュータ
１８ 運転支援部
２０ 位置検出部
２２ レーンマーク検出部
２４ 道路検出部
２６ 車両検出部
２８ 地図データベース
３０ 道路モデル記憶部
３２ レーン認識部
３４ コンテクスト相関計算部
３６ コンテクストモデル記憶部
３７ 対象車両検出部
３８ 仮想目標生成部

Claims (6)

1. 車両に搭載され、かつ、前記車両の周辺を撮像してステレオ画像を生成する撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出する道路検出手段と、
   前記車両の絶対位置を検出する位置検出手段によって検出された前記車両の絶対位置と、各地点の道路情報を表す予め用意された道路地図データとに基づいて、前記車両が走行している走行レーンを表すレーンパラメータの初期値を設定する初期値設定手段と、
   前記道路検出手段によって検出された前記走行可能領域と、前記初期値設定手段によって設定された前記レーンパラメータの初期値とに基づいて、前記車両が走行している仮想的な走行レーンのレーンパラメータを推定し、前記推定されたレーンパラメータに基づいて、前記車両が走行している仮想的な走行レーンを表すデータを生成する仮想レーン生成手段と、
   を含み、
   前記道路検出手段は、各時刻について、前記撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、前記走行可能領域を検出し、
   前記仮想レーン生成手段は、前記初期値設定手段によって設定されたレーンパラメータの初期値を表すパーティクルを複数生成し、
   各時刻について、前記道路検出手段によって検出された前記走行可能領域に基づいて、前記複数のパーティクルから前記パーティクルの各々をサンプリングし、サンプリングされた前記パーティクルの各々が表すレーンパラメータを、予め定められた状態遷移モデルに従って更新することを繰り返すことにより、各時刻について前記仮想的な走行レーンを表すレーンパラメータを推定し、推定されたレーンパラメータに基づいて、前記仮想的な走行レーンを表すデータを生成する仮想レーン生成装置。
2. 前記撮像手段によって生成されたステレオ画像のうちの少なくとも一方の画像に基づいて車両候補を検出する車両検出手段と、
   前記撮像手段によって生成されたステレオ画像に基づいて検出される前記車両が走行している走行レーン、又は前記仮想レーン生成手段によって生成された前記仮想的な走行レーンと、前記車両検出手段によって検出された車両候補との関係に基づいて、運転支援に用いられる対象車両を検出する対象車両検出手段と、
   を更に含む請求項１記載の仮想レーン生成装置。
3. 前記仮想レーン生成手段は、前記サンプリングされた前記パーティクルの各々が表すレーンパラメータを、クロソイド曲線に基づいて予め定められた前記状態遷移モデルに従って更新する請求項１又は２記載の仮想レーン生成装置。
4. 前記撮像手段によって生成されたステレオ画像のうちの少なくとも一方の画像に基づいて車両を検出する車両検出手段を更に含み、
   前記仮想レーン生成手段は、各時刻について、前記道路検出手段によって検出された前記走行可能領域のうちの、前記車両検出手段によって検出された車両が走行している他の走行レーンの領域と重複する走行レーンのレーンパラメータを表すパーティクルに対して、前記車両が走行している走行レーンの領域と重複するほど、小さな重みを付して、前記パーティクルの各々をサンプリングし、サンプリングされた前記パーティクルの各々が表すレーンパラメータを、前記状態遷移モデルに従って更新する請求項１〜請求項３の何れか１項記載の仮想レーン生成装置。
5. 前記対象車両検出手段は、前記仮想的な走行レーン内に存在する前記車両候補を、追跡対象の車両として検出する請求項２記載の仮想レーン生成装置。
6. コンピュータを、
   車両に搭載され、かつ、前記車両の周辺を撮像してステレオ画像を生成する撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、車両の走行可能領域を検出する道路検出手段、
   前記車両の絶対位置を検出する位置検出手段によって検出された前記車両の絶対位置と、各地点の道路情報を表す予め用意された道路地図データとに基づいて、前記車両が走行している走行レーンを表すレーンパラメータの初期値を設定する初期値設定手段、及び
   前記道路検出手段によって検出された前記走行可能領域と、前記初期値設定手段によって設定された前記レーンパラメータの初期値とに基づいて、前記車両が走行している仮想的な走行レーンのレーンパラメータを推定し、前記推定されたレーンパラメータに基づいて、前記車両が走行している仮想的な走行レーンを表すデータを生成する仮想レーン生成手段
   として機能させるためのプログラムであって、
   前記道路検出手段は、各時刻について、前記撮像手段によって生成されたステレオ画像に基づいて得られる前記ステレオ画像の視差情報に基づいて、前記走行可能領域を検出し、
   前記仮想レーン生成手段は、前記初期値設定手段によって設定されたレーンパラメータの初期値を表すパーティクルを複数生成し、
   各時刻について、前記道路検出手段によって検出された前記走行可能領域に基づいて、前記複数のパーティクルから前記パーティクルの各々をサンプリングし、サンプリングされた前記パーティクルの各々が表すレーンパラメータを、予め定められた状態遷移モデルに従って更新することを繰り返すことにより、各時刻について前記仮想的な走行レーンを表すレーンパラメータを推定し、推定されたレーンパラメータに基づいて、前記仮想的な走行レーンを表すデータを生成するプログラム。