JP2007011490A - 道路パラメータ検出装置および道路パラメータ検出方法 - Google Patents

Abstract

【課題】 信頼度を考慮しつつ複数車線の道路パラメータを同時に検出することが可能な道路パラメータ検出装置を提供する。
【解決手段】 道路パラメータ検出装置１は、カメラ１０と、カメラ１０により撮像された画像データに基づき多峰性を有する道路パラメータの確率分布を求めるパラメータ候補取得部２１と、道路パラメータの確率分布の期待値を演算することにより道路パラメータ値を求めるパラメータ値演算部３０と、道路パラメータの確率分布の分散値を演算することにより道路パラメータ値の信頼度を求める信頼度判定部３１と、道路パラメータ値に関する情報をその信頼度に応じて変更し外部のディスプレイなどに出力する出力部４０とを備える。
【選択図】 図１

Description

本発明は、道路パラメータ検出装置および道路パラメータ検出方法に関する。

車線維持支援装置や車線逸脱警報装置等の走行支援装置では、自車両が走行している車線を認識するために走行路認識装置が用いられている（例えば、特許文献１参照）。特許文献１に記載の走行路認識装置では、カルマンフィルタを用いて、走行車線の幅、車両の白線に対する横変位や道路曲率等の道路パラメータが推定される。
特開２００２−１０９６９５号公報

カルマンフィルタは、道路パラメータの存在確率分布が単一のガウシアン分布を取ると仮定し、分布の平均と共分散の値を過去の履歴と現在の観測値から推定する方法である。カルマンフィルタのように単峰性の確率分布しか扱えない手法では、車線が複数存在する状況であっても、複数車線の道路パラメータを同時に取り扱うことができない。また、上記走行路認識装置では、カルマンフィルタを用いて道路パラメータを推定する際に、推定される道路パラメータの信頼度については考慮されていない。

本発明は、上記問題点を解消する為になされたものであり、信頼度を考慮しつつ複数車線の道路パラメータを同時に検出することが可能な道路パラメータ検出装置および道路パラメータ検出方法を提供することを目的とする。

本発明に係る道路パラメータ検出装置は、撮像手段と、撮像手段により撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得手段と、道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算手段と、道路パラメータ候補の分布状態に基づいて道路パラメータ値の信頼度を判定する信頼度判定手段とを備えることを特徴とする。

また、本発明に係る道路パラメータ検出方法は、撮像ステップと、撮像ステップで撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得ステップと、道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算ステップと、道路パラメータ候補の分布状態に基づいて道路パラメータ値の信頼度を判定する信頼度判定ステップとを備えることを特徴とする。

本発明に係る道路パラメータ検出装置または道路パラメータ検出方法によれば、複数の道路パラメータ候補を含むことができる道路パラメータ候補分布の状態に基づいて、道路パラメータ値に加えて該道路パラメータ値の信頼度が取得される。そのため、道路パラメータ値の信頼度を考慮しつつ複数車線の道路パラメータ値を同時に検出することが可能となる。

上記信頼度判定手段は、道路パラメータ候補の分布の分散値が大きいほど道路パラメータ値の信頼度が低いと判定することが好ましい。

また、上記信頼度判定ステップでは、道路パラメータ候補の分布の分散値が大きいほど道路パラメータ値の信頼度が低いと判定することが好ましい。

例えば道路パラメータ候補がほとんどない状態やノイズが多く含まれるような状態では、道路パラメータ候補の分布がばらつく。したがって、道路パラメータ候補の分布がばらついた場合すなわち道路パラメータ候補分布の分散が大きいときには求められた道路パラメータ値の信頼度が低いと判定し、逆に、道路パラメータ候補の分布が所定の領域に集中するような場合すなわち道路パラメータ候補の分散が小さいときには道路パラメータ値の信頼度が高いと判定することができる。このようにすれば、道路パラメータ候補分布から取得される道路パラメータ値の信頼度を適切に判定することが可能となる。

本発明に係る道路パラメータ検出装置は、上記道路パラメータ値に関する情報を出力するとともに、道路パラメータ値の信頼度に応じて出力する情報を変更する出力手段を備えることが好ましい。

また、本発明に係る道路パラメータ検出方法では、上記道路パラメータ値に関する情報を出力するとともに、道路パラメータ値の信頼度に応じて出力する情報を変更する出力ステップを備えることが好ましい。

例えば、取得された道路パラメータ値の信頼度が低い場合には、車線をロストしたと判断して出力する情報を変更することができる。そのため、道路パラメータ値の検出状態に応じた適切な情報を提示することが可能となる。

本発明によれば、複数の道路パラメータ候補を含むことができる道路パラメータ候補分布の状態に基づいて、道路パラメータ値に加えて該道路パラメータ値の信頼度が取得される構成としたので、信頼度を考慮しつつ複数車線の道路パラメータ値を同時に検出することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。

図１乃至１３を併せて用いて、実施形態に係る道路パラメータ検出装置１および道路パラメータ検出方法について説明する。図１は、道路パラメータ検出装置１の全体構成を示すブロック図である。なお、本明細書では、道路上において各車線の区切りを示すために描画されている白色や黄色などの線（点線等も含む）を全て「白線」と称するものとする。

道路パラメータ検出装置１は、車両前方の風景を撮像して画像データを取得するカメラ１０と、取得された画像データに対して画像処理及び演算処理等を施すことにより多峰性を有する道路パラメータの確率分布を求めると共に、道路パラメータの確率分布から道路パラメータ値および道路パラメータ値の信頼度を求める画像ＥＣＵ２０とを備えている。ここで、道路パラメータとしては、例えば、車線幅ｗ、車両の車線中央からの横変位（以下「横位置」という）Ｘ_０、カメラ１０の車線に対するヨー角φ、及びカメラ１０のピッチ角θ等が挙げられる。

カメラ１０は、例えばＣＣＤカメラであり、自車両のフロントウィンドウ上部（例えば、バックミラーの裏側）に前方を向いて設置されている。カメラ１０は、車両前方の風景を撮像して画像データを取得する。カメラ１０により取得された画像データは、画像ＥＣＵ２０に出力される。なお、カメラ１０の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像が取得できる場所であれば、他の位置に取り付けてもよい。カメラ１０は特許請求の範囲に記載の撮像手段として機能し、撮像ステップを実行する。

画像ＥＣＵ２０は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及び１２Ｖバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。

画像ＥＣＵ２０は、カメラ１０から入力された画像データに対して画像処理や演算処理等を施すことにより多峰性を有する道路パラメータの確率分布を求めるパラメータ候補取得部２１、パラメータ候補取得部２１で求められた道路パラメータの確率分布に基づいて道路パラメータ値を求めるパラメータ値演算部３０、道路パラメータの確率分布に基づいて道路パラメータ値の信頼度を判定する信頼度判定部３１、および、道路パラメータ値に関する情報をその信頼度に応じて変更し外部の走行支援装置やディスプレイなどに出力する出力部４０を備えて構成されている。

パラメータ候補取得部２１は、特許請求の範囲に記載のパラメータ候補取得手段として機能し、パラメータ候補取得ステップを実行する。パラメータ値演算部３０はパラメータ値演算手段として機能し、パラメータ値演算ステップを実行する。また、信頼度判定部３１は信頼度判定手段として機能し、信頼度判定ステップを実行する。出力部４０は出力手段として機能し、出力ステップを実行する。

パラメータ候補取得部２１は、画像処理部２２、事前確率推定部２５と事後確率推定部２６とを含んで構成されるパラメータ推定部２４、および道路モデル生成部２８を有して構成されている。

画像処理部２２は、エッジ抽出フィルタ等を用いて、カメラ１０によって撮像された画像データから輝度変化の大きいエッジを抽出し、二値化されたエッジ画像を取得するものである。取得されたエッジ画像は、パラメータ推定部２４を構成する事後確率推定部２６に出力される。カメラ１０で撮像された画像データの一例を図２示す。また、図２の画像データを画像処理部２２に入力し、画像処理したときの出力結果を図３に示す。

道路モデル生成部２８は、車線幅ｗや横位置Ｘ_０等の道路パラメータに基づいて、車線を画像面上に投影したときの形状を演算するものである。道路モデル生成部２８に道路パラメータが入力されると、道路パラメータに応じた車線を撮像面上に投影する線分の座標が出力される。

図４に道路パラメータと撮像面上に投影される線分との関係を示す。図４において、ｗは車線幅、Ｘ_０は横位置、φはカメラ１０の車線に対するヨー角、θはカメラ１０のピッチ角である。また、Ｚ_０はカメラ１０の取り付け高さ、ｆはカメラ１０の焦点距離を表す。取り付け高さＺ_０及び焦点距離ｆは、共に既知の値であり、画像ＥＣＵ２０のＲＯＭ等にデータとして記憶されている。

パラメータ推定部２４は、事前確率推定部２５及び事後確率推定部２６を含んで構成され、画像フレームを更新するごとに過去の経歴に基づいた事前確率の推定と、現在の観測値、即ち画像処理部２２からの出力値に基づいた事後確率の推定を行うことにより、道路パラメータの存在確率分布を推定するものである。なお、道路パラメータの存在確率分布が特許請求の範囲に記載の道路パラメータ候補に相当する。

本実施形態では、道路パラメータの存在確率分布を推定するために、多峰性を有する確率分布を表現可能なパーティクルフィルタを用いた。パーティクルフィルタは、過去の情報と現在の観測情報から現在の状態推定を行うことができる手法である。パーティクルフィルタは、まず、ある時刻での事後分布からサンプリングをして得られたパーティクルを追跡対象のダイナミクスに従って動し、次に、遷移させたパーティクルによって作られた次時刻の予測分布に観測結果から得られた情報を用いて重みを付け、新しい事後分布を作る。この重みに応じてまた次の時刻の遷移に使うパーティクルを選び直し、これを繰り返すことでフィルタリングを行う。

パーティクルフィルタをパラメータ推定部２４に適用する場合について説明する。図５は、パラメータが１次元の場合のパーティクルと確率分布との関係を示す図である。図５において、円が一つのパーティクルを表し、円の大きさが重みを表す。一つのパーティクルは、車線幅ｗ、横位置Ｘ_０、ヨー角φ、及びピッチ角θからなるパラメータセットを表す状態変数Ｘと、そのパラメータセット（ベクトル）の評価値に相当する重みを持つ。即ち、一つのパーティクルは、パラメータ空間において、状態変数Ｘを平均とし重みに応じた高さを持つガウシアン分布を表す。

パーティクルフィルタでは、様々な状態変数Ｘと重みを持つパーティクルを一定の個数（例えば１００個）備えたものをサンプルセットとし、サンプルセットに含まれる各パーティクルが表すガウシアン分布を重ね合わせることによって、多峰性を有する複雑な確率分布を表現する。また、各パーティクルの状態変数Ｘと重みを過去の履歴と現在の観測値とに基づいて更新することによって道路パラメータの確率分布を推定する。

事前確率推定部２５は、前フレームのサンプルセットから各パーティクルの重みに応じた確率でパーティクルを選択し、選択されたパーティクルそれぞれに対して、例えば（１）式で示されるダイナミカルモデルに従って状態変数Ｘを遷移させることにより、次フレームでの状態変数Ｘを推定する。なお、各パーティクルの重みに応じた確率でパーティクルを選択するときには、サンプルセットに含まれるパーティクルの総数が変化しないように選択される。また、その際、ある一定の確率で一部のパーティクルをランダムに生成してもよい。

ここで、ｗ_ａは車線幅の平均値、Ｘ_０ａは横位置の平均値、θ_ａはピッチ角の平均値、φ_ａはヨー角の平均値であり、予め設定されている。Ｎ（０，１）は標準正規分布である。Ａ，Ｂは所定の定数であり、予め設定されている。

事後確率推定部２６は、事前確率推定部２５で推定された各パーティクルの状態変数Ｘに基づいて道路モデル生成部２８により生成された線分を、画像処理部２２から入力されたエッジ画像面上に投影することにより、各パーティクルに対する重みを再計算する。各パーティクルに対する重みは、エッジ画像と投影された線分とが重なった画素値の総和をとることにより求められる。道路モデル生成部２８で生成された線分をエッジ画像面上に投影した画像を図６に示す。

そして、再計算された重みに応じて再度事前確率推定が行おこなわれ、これが繰り返されることによって道路パラメータの確率分布が推定される。図７は、上述したパーティクルフィルタの動作を説明するための図である。推定された道路パラメータの確率分布は、パラメータ値演算部３０および信頼度判定部３１に出力される。

ここで、図８〜１０に、道路パラメータの存在確率分布の推定結果例を示す。図８に、カメラ１０で撮像した画像データを示す。図９は、各パーティクルの状態変数Ｘに基づいて描かれた線分を図８の画像上に投影した図である。図９に示されるように、投影された線分は、車線を区画する白線上に集中している。なお、図９中の一点鎖線は確率分布の山の位置を示す。図１０は、道路パラメータ（車線幅ｗ、横位置Ｘ_０）の確率分布の推定結果を示す図である。図１０に示されるように、車線幅が約６．２ｍ、横位置が約０．５ｍの位置に確率分布の山が存在している。

また、図１１〜１３に、候補となる車線が２車線存在する場合における、道路パラメータの存在確率分布の推定結果例を示す。図１１に、カメラ１０で撮像した画像データを示す。図１２は、状態変数Ｘに基づいて描かれた線分を図１１の画像上に投影した図である。図１２中の一点鎖線及び破線それぞれは、確率分布の２つの山の位置を示す。図１３は、道路パラメータ（車線幅ｗ、横位置Ｘ_０）の確率分布の推定結果を示す図である。図１３に示されるように、候補となる車線が２車線ある場合には、車線幅が約６．５ｍ、横位置が約−０．７ｍの位置（図１２の一点鎖線の車線に対応）、及び車線幅が約５．５ｍ、横位置が約１．３ｍの位置（図１２の破線の車線に対応）に２つの確率分布の山が存在している。

パラメータ値演算部３０は、パラメータ候補取得部２１により推定された道路パラメータの確率分布に基づいて道路パラメータ値を求める。道路パラメータ値は、例えば次式（２）により期待値（１次モーメント）を演算することにより求めることができる。求められた道路パラメータ値は、出力部４０に出力される。なお、道路パラメータ値は、確率分布のピークから求めてもよい。

ここで、ｐ（Ｘ_ｔ）は状態変数Ｘ_ｔの重みを表す。

なお、パラメータ値演算部３０では、パラメータ推定部２４から入力された道路パラメータの確率分布を複数の領域に分割し、分割された領域ごとに、各領域内の確率分布に基づいて道路パラメータ値を演算してもよい。

信頼度判定部３１は、パラメータ候補取得部２１により推定された道路パラメータの確率分布に基づいて道路パラメータ値の信頼度を求める。信頼度は、例えば次式（３）により確率分布の分散値（２次モーメント）を演算することにより求めることができる。

また、信頼度判定部３１は、求められた信頼度の高さ（または低さ）を判定する。例えば、求められた確率分布の分散値が予め設定されている所定のしきい値より大きいか否かを判定することにより、信頼度の高さ（または低さ）を判定する。ここで、分散値がしきい値より大きい場合には信頼度が低いと判定される。一方、分散値がしきい値以下のときには信頼度が高いと判定される。これは、例えば白線が明瞭に撮像されていない状態やノイズが多く含まれるような状態では確率分布の分散値が大きくなることを利用したものである。なお、誤判定を抑制するため、複数回（複数フレーム）連続して分散値がしきい値を超えた場合に信頼度が低いと判定するようにすることが好ましい。信頼度の判定結果は、出力部４０に出力される。

出力部４０は、道路パラメータ値に基づく情報、例えば白線の位置情報などを提示する。また、道路パラメータ値の信頼度に応じて提示する情報を変更する。例えば、道路パラメータ値の信頼度が低いと判定された場合には、白線の位置を表す線の色や太さ、線種（点線や破線など）を切り替えたり、線を点滅させたりする。また、ディスプレイの画面の色や明るさなどを変えてもよい。さらに、ロストしたことを表す文字や記号を表示したり、警告音を発するようにしてもよい。

本実施形態に係る道路パラメータ検出装置１および道路パラメータ検出方法によれば、多峰性を有する複雑な確率分布を取り扱うことができるパーティクルフィルタを用いて道路パラメータの確率分布が推定され、その確率分布の期待値を演算することにより道路パラメータ値が求められる。また、確率分布の分散値を演算することにより道路パラメータ値の信頼度が求められる。そのため、道路パラメータ値の信頼度を考慮しつつ複数車線の道路パラメータ値を同時に検出することが可能となる。

また、本実施形態によれば、取得された道路パラメータ値の信頼度が低い場合には、車線をロストしたと判断して出力する情報を変更することができる。そのため、道路パラメータ値の検出状態に応じた適切な情報を提示することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、本実施形態では、道路パラメータの存在確率分布を推定するために、多峰性を有する確率分布を表現可能なパーティクルフィルタを用いたが、複雑な確立分布を扱うことができればパーティクルフィルタ以外のもの採用してもよい。

本実施形態に係る道路パラメータ検出装置の全体構成を示すブロック図である。 カメラで撮像された画像データの一例を示す図である。 図２の画像データを画像処理した結果の一例を示す図である。 道路パラメータと撮像面上に投影される線分との関係を示す図である。 パーティクルと確率分布との関係を示す図である。 パーティクルフィルタの動作を説明するための図である。 事後確率推定部の動作を説明するための図である。 カメラで撮像した画像データの一例を示す図である。 各パーティクルの状態変数に基づいて描かれた線分を図８の画像上に投影した図である。 道路パラメータ（車線幅、横位置）の確率分布を示す図である。 カメラで撮像した画像データの一例を示す図である。 状態変数に基づいて描かれた線分を図１１の画像上に投影した図である。 道路パラメータ（車線幅、横位置）の確率分布を示す図である。

符号の説明

１…道路パラメータ検出装置、１０…カメラ、２０…画像ＥＣＵ、２１…パラメータ候補取得部、２２…画像処理部、２４…パラメータ推定部、２５…事前確率推定部、２６…事後確率推定部、２８…道路モデル生成部、３０…パラメータ値演算部、３１…信頼度判定部、４０…出力部。

Claims (6)

1. 撮像手段と、
   前記撮像手段により撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得手段と、
   前記道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算手段と、
   前記道路パラメータ候補の分布状態に基づいて前記道路パラメータ値の信頼度を判定する信頼度判定手段と、を備えることを特徴とする道路パラメータ検出装置。
2. 前記信頼度判定手段は、前記道路パラメータ候補の分布の分散値が大きいほど前記道路パラメータ値の信頼度が低いと判定することを特徴とする請求項１に記載の道路パラメータ検出装置。
3. 前記道路パラメータ値に関する情報を出力するとともに、前記道路パラメータ値の信頼度に応じて出力する情報を変更する出力手段を備えることを特徴とする請求項１または２に記載の道路パラメータ検出装置。
4. 撮像ステップと、
   前記撮像ステップで撮像された画像データに基づき道路パラメータ候補を複数取得可能なパラメータ候補取得ステップと、
   前記道路パラメータ候補の分布状態に基づいて道路パラメータ値を求めるパラメータ値演算ステップと、
   前記道路パラメータ候補の分布状態に基づいて前記道路パラメータ値の信頼度を判定する信頼度判定ステップと、を備えることを特徴とする道路パラメータ検出方法。
5. 前記信頼度判定ステップは、前記道路パラメータ候補の分布の分散値が大きいほど前記道路パラメータ値の信頼度が低いと判定することを特徴とする請求項４に記載の道路パラメータ検出方法。
6. 前記道路パラメータ値に関する情報を出力するとともに、前記道路パラメータ値の信頼度に応じて出力する情報を変更する出力ステップを備えることを特徴とする請求項４または５に記載の道路パラメータ検出方法。

Images