JP5216010B2 - ウインドシールド上の雨滴を同定するための方法及び装置 - Google Patents

Description

本発明は、車両のウインドシールド上の雨滴を同定するための方法及び装置に関する。

ワイパーを自動的に起動するためにウインドシールドの雨滴の存在を同定する努力が払われている。過去に提案されたものは、センサ上に雨滴が堆積したときに、その抵抗率が変化することを利用した電気的センサを利用するものが大半であった。これは、比較的低コストで実現することができるが、センサの表面が時と共に汚染されることから、比較的信頼性が高くないという難点があった。

近年になって、道路の車線或いはセンターラインを追跡したり、路上の障害物を回避したり、歩行者を検出するなどの目的で車両用ビジョンシステムを利用することに関心が高まってきている。このようなビジョンシステムは、ウインドシールドの雨滴の存在を検出するために好適に利用することが出来る。しかしながら、以下に列挙する要因等のために、ウインドシールドの雨滴を検出することは、コンピュータによるビジョンシステムにとって困難な課題である。

（１）雨滴は、様々な形状及びサイズを有する。
（２）雨滴は、焦点が合っていないことからぼやける。すなわちカメラは外界の景色に対して焦点が合わされており、ウインドシールドには焦点が合わされていない。
（３）ウインドシールドが透明であることにより、観測されるべき雨滴が、背景の情報による干渉を受け、それに重ね合わせられる。（通常の運転者補助システムに於いては、これが逆となる。すなわち、雨滴の像が重ね合わされていることにより、注視しようとする交通状態に対応する背景を観測することを妨げる。）
（４）雨滴自体が透明である。すなわち、雨滴に特有な特徴が見られない。むしろ、雨滴は、背景における特徴点を反射してしまう。

特開平１０−１４８６８１は、ウインドシールドの雨滴を、周囲よりも高い輝度を有する領域として検出するような雨滴検出方法を開示している。これは、光を発生する或いは光を反射することによる高輝度の点が車両から見た景色内に含まれるような場合には、この方法は必ずしも所望通り機能することができない。

特開平９−１４２２５９は、ウインドシールドの雨滴を、ウインドシールドを透過する光に対する外乱として検出するような雨滴検出装置が開示されている。しかしながらこの装置は、雨滴の検出のために設けられる発光素子及び受光素子を必要とする。従って、コストが高いことに加えて、車両の限られたスペース内に発光素子及び受光素子に適した取付スペースを確保する必要がある。

このような従来技術の問題点に鑑み、本発明の主な目的は、信頼性が高くかつ経済的であるようなウインドシールドの雨滴を検出するための方法を提供することにある。
本発明の第２の目的は、車両用ビジョンシステムを利用して実現することのできる、ウインドシールドの雨滴を検出するための方法を提供することにある。

本発明によれば、このような目的は、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、前記一般像中の関心の有る点としての雨滴候補を検出するステップと、前記一般像から前記雨滴候補の実際の像を抽出し、前記雨滴候補のサイズを測定するステップと、所定の光学モデルに基づき、前記一般像から再構成雨滴像を再構成するステップと、前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求めるステップと、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法を提供することにより達成される。

このようにすれば、実際の雨滴の像と再構成雨滴像との間に高い相関が偶然発生することはあり得ないことであることから、雨滴の存在を高精度に判定することができる。しかも、これは既存の車両用ビジョンシステムを利用して、新たなプログラムを追加するのみで実現することができ、費用の追加を最小化することができる。通常、雨滴候補は、球の一切片からなる凸レンズからなるものとすることができる。

また、雨滴の像から一般像を再構成し、実際の一般像と再構成一般像との間の相関を求めることもできる。

本発明の別の側面によれば、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置であって、ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、前記一般像から前記雨滴候補の実際の像を抽出し、前記雨滴候補のサイズを測定する抽出器と、前記サイズに応じた所定の光学モデルに基づき、前記一般像の屈折像として再構成雨滴像を再構成する像再構成器と、前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求める相関器と、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有することを特徴とする装置が提供される。

或いは、ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置が、ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、前記一般像から前記雨滴候補の実際の像を抽出し、前記雨滴候補のサイズを測定する抽出器と、前記サイズに応じた所定の光学モデルに基づき、前記雨滴候補の屈折像として再構成一般像を再構成する像再構成器と、前記一般像の実際の像と前記再構成一般像との間の相関を求める相関器と、求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有するものであっても良い。

光学的なノイズや外乱が存在する場合でも雨滴を同定する精度を向上させるために、雨滴を、車両の走行に際して、固定した点として、或いは車両の走行に際して、雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することもできる。

ウインドシールドを透過する車両前方の景色を示す模式図である。 本発明に基づく雨滴検出のための装置の機能的要素を示すブロック図である。 本発明に基づく、アクション面を含む雨滴光学モデルの幾何学的構成を示すダイヤグラム図である。 各アクション面に於ける屈折モデルのダイヤグラム図である。 雨滴の表面に於ける屈折モデルのダイヤグラム図である。 本発明に基づく雨滴を同定するための制御プロセスの一例を示すフロー図である。 いくつもの雨滴候補から得られた相関係数のグラフである。 本発明の変形実施例を示す図２と同様の図である。 図９ａ−９ｄからなり、車両の走行に伴ない変化するウインドシールドを透過する景色を示す模式図である。

発明を実施するための形態

以下に、本発明に基づく雨滴検出のためのアルゴリズムの基本概念について説明する。図１は、カメラによりキャプチャされる車両のウインドシールドを透過する景色を示している。図１に示されるように、ウインドシールドを透過する景色の像は、複数の同心円及びこれら同心円の中心から半径方向に放射する線との間に形成される格子点により与えられる多数のピクセルにより表現される。図示されている格子点の密度は、図示の便宜のために実際よりもかなり低くされている。同心円は、互いに等間隔に設けられ、半径線は互いに等角度で配置されている。直交座標系或いは他の直線座標系などのような他の座標系を用いてピクセルの位置を定めることも、本発明の概念から逸脱しない。

「ＳＵＲＦ」等の、標準的な、関心のある点（ＰＯＩ：points of interest）を検出するための検出器を用いることにより、ウインドシールド上の雨滴を検出する。「ＳＵＲＦ」の詳細については、 "Herbert Bay, Tinne Tuytelaars, and Luc Van Gool, Lecture Notes in Computer Science, volume 3951/2006, chapter SURF: Speeded Up Robust Features, pages 404-417, Springer, Berlin / Heidelberg, 2006"を参照されたい。このアルゴリズムは、様々な物体、道路標識等ばかりでなく、雨滴からなるものであって良い像中の関心のある点を検出するために用いることができる。本明細書中で提案されているアルゴリズムの目的は、周囲の（物体、道路標識等の）景色から雨滴を区別することにある。

検出された雨滴のそれぞれは、ウインドシールドを透過する光を屈折させるウインドシールド上の追加の凸レンズと見なすことができる。図１に示されるように、雨滴内のすべてのピクセルは、屈折の法則に従って３次元環境におけるそれらの点の元の点に対応づけることができる。すなわち、ウインドシールドからの景色における格子点のピクセルのすべては、雨滴上の対応するピクセルに対して一対一の関係で関連づけることができ、雨滴の像を、フレネルの屈折の法則に基づいて格子点のピクセルの座標に適宜変換することにより再構成することができる。特に、雨滴の像は、ウインドシールドを通して見える周囲の景色の像から再構成された像に類似し或いは高い相関を有する。従って、雨滴と思われるもの、すなわち雨滴の候補は、その像が、ウインドシールドを通して見える周囲の景色の像から再構成された像と高い相関を有する場合には雨滴であると確認することができる。

図２は、本発明に基づく雨滴を同定するための装置の全体的な構成を示すブロック図である。この装置は、カメラと、雨滴の検出に応じて作動されるべきワイパーなどのような別の装置や表示装置であってよい出力ユニットを備えたマイクロプロセッサからなるコントローラとからなる２つの部分により構成されている。コントローラは、コンピュータプログラムに基づいて所定の処理を実行し、様々な機能を果たすように構成されている。これらの機能が図２におけるブロック図により示されている。これらの機能を果たす要素としては、雨滴検出器、抽出器、背景キャプチャラ、再構成要素、相関器及び雨滴同定器が含まれる。

背景キャプチャラは、カメラの出力を用いて、ウインドシールドから見える前方の景色の像をキャプチャする。雨滴検出器は、背景像から関心のある点を抽出する。この時、「ＳＵＲＦ」などの適宜なアルゴリズムを利用するとよい。これらの関心のある点は、ウインドシールド上に雨滴が堆積しているときに見られるような背景或いはその他の景色に対して際立ったコントラストをなすような領域として与えられる。抽出器は、背景像から雨滴候補の像を抽出しキャプチャする。同時に、各雨滴候補のサイズが測定される。

再構成器は、各雨滴の像を雨滴の光学モデルに対してスネルの法則を適用することにより雨滴により屈折された景色の像として各雨滴の像を再構成する。相関器は、実際に抽出された雨滴の像を、対応する再構成された雨滴の像と比較する。雨滴同定器は、実際にキャプチャされた雨滴の像と、対応する再構成された雨滴の像との間の相関を評価し、その結果を総計する。相関が所定レベルよりも高い事象の数が所定値以上である場合には、雨滴同定器は、ウインドシールドの上に実際に雨滴があるものと判断する。

以下に、雨滴の光学モデルがどのように形成され、それに対してＳの法則がどのように適用されるかを図３及び４を参照して以下に説明する。以下の説明に於いて、ベクトル値は、対応する文字の直前に「＾」を付すことにより示すものとする。

先ず、「ＳＵＲＦ」などの標準的な検出器により、像の面内にｎ個の位置 x_i = (x_i, y_i)^T にあり、半径 r_i (i = 1, ..., n) を有する雨滴候補を検出する。従って、検出された各雨滴候補は、^p_i = (x_i, y_i, r_i)^Tにより完全に表すことができる。このような検出結果に基づき、各雨滴候補を、本発明に基づくアルゴリズムによりテストする。以下に、１つの例としての雨滴候補^p = (x, y, r)^Tを対象として、本発明に基づくアルゴリズムを説明する。ここでは、雨滴候補^p を通過し、カメラの光学的中心Ｏに到達する光線のみが考慮されることに留意されたい。

３次元のカメラの座標系^X = (X_C, Y_C, Z_C)^Tが図３に示されるように構成される。この座標系の原点は、カメラの光学的中心Ｏに位置する。光学的中心線は、ウインドシールドの内面に対して角度Ψをなし、同面を距離Ｍをおいて通過する。光学的中心Ｏ、そのウインドシールド内面上への直交投影点Ｏ’及び検出された液滴（雨滴候補）上の各走査点はアクション面を構成し、その内の（点Ｏ、Ｏ’及びウインドシールド内面上の雨滴の中心点により画定される）主アクション面に対して関心が向けられる。スネルの屈折の法則によれば、雨滴の表面から、対応する走査点を通過し光学的中心に至る光線は、この面を離れることがないことから、このような面はアクション面と呼ばれる。従って、光線はこの面内に留まるが、雨滴の表面に至る前は、必ずしもそうではない。

図４は、このようなアクション面の一つを詳細に示す図である。厚さＴを有するウインドシールドを２つの互いに平行な面Ｗ_ｉ（内側面）及びＷ_ｏ（外側面）によりモデル化する。従って、Ｗ_ｉ及びＷ_ｏに対する直交投影点が、それぞれ以下の式により与えられる。
^O' = M sinΨ ^n_W --- (1)
^O" = ^O' + T ^n_W = (M sinΨ + T)^n_W --- (2)
ここで、 ^n_W = (cosΨ, 0, sinΨ)^T はウインドシールドの法線である。^pのウインドシールド内面Ｗ_ｉ上の実際の座標は、ピンホールカメラのモデルを用い、焦点距離をｆとすることにより、以下の式により与えられる。
X_i = Z_i (x/f) --- (3)
Y_i = Z_i (y/f) --- (4)
Z_i = M sinΨ / {tanΨ + (x/f)} --- (5)
そこで、対応する雨滴の半径は、
R_i = Z_i (r/f) --- (6)
となる。Ｗ_ｉに対するガラスの屈折の効果により、Ｗ_ｏ上の雨滴の位置は僅かに変化し、実際の雨滴の半径は、ウインドシールドを通してみたときに比較して、やや大きい。従って、検出された雨滴の実際の位置Ｘ_０及び半径Ｒ_０を決定するためには、（点Ｏ、Ｏ’及びＯＸ_ｉにより画定される）主アクション面内に於ける雨滴の端部（図４を参照）を、Ｗ_ｏ上の対応部分に関連付ければ良い。

雨滴の端部間の全ての光線は、スネルの屈折の法則を適用すれば、以下のように追跡することができる。図４に於いて破線により示されるようにＷ_ｉ上の或る光線^S = OS = (X_S, Y_S, Z_S)^Tを考慮する。ウインドシールドの法線に対するベクトル＾Ｓの入射角は以下の式により表される。
α = arcos {(^S^n_W) / ||^S||} --- (7)
Ｗ_ｏに対する通過点Ｒは、スネルの法則、空気及びガラスの屈折率、並びに式（１）を用いることにより求めることができる。
κ = arcsin {n_air sin α / n_glass} --- (8)
^R = ^S + T {^n_W + (tan κ / ||SO'||) (^S - M sinΨ^n_W) } --- (9)
これは、像の座標が知られた雨滴の任意の点について、そのＷ_ｏ上のＸＹＺ座標を求めることができることを意味する。また、この式から、Ｗ_ｏ上の界面端部のＸＹＺ座標を求めることができる。なぜなら、Ｗ_ｉ上の液滴の端部の座標が既知であるからである。界面端部が特定されれば、雨滴の半径Ｒ_０及びＷ_ｏ上の位置Ｘ_０を求めることができる。

固体面上の液滴の形状は、表面張力、圧力及び曲率の関係を記述するYoung-Laplaceの式を用いてモデル化される。雨滴の表面とウインドシールドの表面Ｗ_ｏとの間の接触角τは、境界条件の働きを果たす。上記した関係に加えて、正確な接触角は、固体面の表面処理及び雨水の性状に依存する。過去に行った実験により得られた結果に合致するような数値（３０−５０度）が文献に記載されている。

単純化のために、雨滴を球の一部即ち球の一切片（spherical cap）からなるものと仮定し、その切断面の半径をＲ_０とし、雨滴の表面とウインドシールドの表面Ｗ_ｏとの間の接触角をτとする。その場合、球の半径R_sphereは、
R_sphere = Ro / sin τ --- (10)
として与えられ、この球の中心は、
^C_sphere = ^C_o - ^n_WR_sphere cos τ --- (11)
となる。図４に於いて破線で示した光線により示されるように、雨滴の表面上の点Ｊは、屈折率としてそれぞれn_glass and n_waterを仮定したときに、点Ｓから戻り、^n_W に向けて点Ｒにて屈折した光線の通過点として決定することができる。
γ = arcsin (n_glass sin κ / n_water) --- (12)

雨滴の表面に於ける入射角は、屈折した外界の景色を同定する上で重要である。点Ｊに於ける屈折角は、以下の式により与えられる。
β = arcos {^n_sphere(^J) (RJ) /||RJ||} --- (13)
ここで、雨滴の表面上の法線^ns_phere(^J)は、点Ｊに依存する。従って、光線は、図４のアクション面を離れる。点Ｊに於ける入射光線は、図５に示されるように、点Ｒ、Ｊ及びC_sphereによって張られる面内に位置する。

入射角θは、表面上の法線^n_sphere(^J)及び光線の伝播の逆方向^eとの間の角度は、式（１２）に基づいて求めることができるが、この場合 β, n_water and n_airが用いられる。θが複素数である場合には、点Ｊに於ける屈折は発生せず、光線は、この点から光学的中心にむけて到達しない。それに対して、θが実数である場合には、光線は、点Ｊから光学的中心に向けて到達する。これにより、本発明に基づくアルゴリズムは、景色に於ける、光線が放射される点Ｅを、（それが既知の景色の面内に位置するものとすれば、）求めることができる。単純化のために、 (^n_env ^x) + d = 0の式により表されるように、この面が垂直であるものと仮定する。しかしながら、本発明に基づくアルゴリズムは、垂直面についてのみならず、任意の面（又は幾何学的表面に）について適用可能である。

図１に示されるように、雨滴によりマップされた景色の点の大部分は、雨滴によりカバーされた領域（雨滴背景）外に位置する。これは、ウインドシールド上の雨滴の光の強度は、それ自体の背景にそれ程依存することはなく、むしろ外界の幾何学的及び光学的条件に依存することを示している。

雨滴候補を決定するためには、空気を通過し、ウインドシールド内に突入し、更に車内に達するようにして、点Ｅから点Ｏに至る光線として示されるように、３次元点Ｅを、像の面の点ｘに於ける観測に対応するように追跡する必要がある。この光線は、Ｗ_ｏに対して角度ωをもって入射し、^n_Wに対して逆方向に角度ωをなしてＷ_ｉから出射する。破線ＥＯは、^n_Wに対して角度ω_０をなす。
ω₀ = arcos {(OE)^n_W /||OE||} --- (14)

ここで、点Ｅ、Ｂ、Ａ、Ｏ、Ｏ’及びＯ”は全て同一面内に位置する。ωを求める問題は、非線形問題であって、Newton-Raphson法などの繰り返し計算により、初期値ω_０から開始して解を求めるような手法により解くことができる。
f(ω) = (x^* _E - x^* _B) cot (ω + Ψ_P) - (y^* _E - y^* _B) = 0
但し、(x^* _E, y^* _E), (x^* _B, y^* _B)及びΨ_P は、それぞれ上記したアクション面に対するＥ、Ｂ及びΨの投影である。

本発明に基づくアルゴリズムは、水滴の検出された位置に基づいて、雨滴と相互作用する全ての光線の、像の面から背景に向けて追跡される正確な経路を求めることができる。しかしながら、景色の像を雨滴の像と比較するためには、観測されたピクセルの光の強度を予測することは、少なくとも、上記したように光線の正確な経路を求めることと同様に重要である。即ち、本発明に基づくアルゴリズムは、（前記したように）景色の光の強度及びフレネルの屈折率を利用する。

光が第１の屈折率ｎ_１を有する媒体から第２の屈折率ｎ_２を有する媒体に進んだとき、光の反射及び屈折の両者が発生し得る。本明細書に於ける手法では、ウインドシールド上の雨滴の所定の幾何学的構造のために、屈折した光線のみが光学的中心に達することから、入射光の強度の一部のみが第１の媒体から第２の媒体に屈折することになる。これは、以下の式により表される。
I₂ = (1 - R₁₂)I₁ --- (15)
但し、R₁₂は、第１の媒体から第２の媒体に至る非偏光光のフレネル反射率である。

また、

Ｉ_Ａはカメラについて既知であることから、この強度は、点Ｅから、雨滴及びガラスにより屈折した後に、光学的中心に至る光線により伝達される。点Ｓに於ける雨滴の光の強度は、次のように求めることができる。

但し、Ｒ_ｉは、２つの媒体間での屈折が引起される全ての点に於けるフレネル反射率であって（即ち、i ∈ {A, B, J, R, S}；図４参照）、ｊは、光強度予測の方向である。

表１は、Ｉ＾ｓを推定する上で関連する全ての情報を示す。

表１
点 媒体の変移 ｎ_１ ｎ_２ μ１ μ２
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
Ａ 空気／ガラス ｎ_ａｉｒ ｎ_{ｇｌａｓｓ} ω χ
Ｂ ガラス／空気 ｎ_{ｇｌａｓｓ} ｎ_ａｉｒ χ ω
Ｊ 空気／水 ｎ_ａｉｒ ｎ_{ｗａｔｅｒ} θ β
Ｒ 水／ガラス ｎ_{ｗａｔｅｒ} ｎ_{ｇｌａｓｓ} γ κ
Ｓ ガラス／空気 ｎ_{ｇｌａｓｓ} ｎ_ａｉｒ κ α

雨滴候補を決定するに際して、観測されたピクセルの光強度Ｉｓと、推定された光強度Ｉ＾ｓとの間の偏差は、以下のように定義される相関係数を用いて評価することができる。

視覚的な結果はかなり正確であって、かなり高い相関係数が達成されるが、相関の大きさ自体は重要ではない。その理由については以下に詳しく述べる。

先ず、雨滴は、ウインドシールド上の追加のレンズとみなすことができ、雨滴に入射される光線は曲げられ、雨滴上の各観測点は、外界の光を集合させたものからなる。第２に、カメラは無限遠方に焦点が合わされているために、雨滴はぼやけて見える。そのために、雨滴の観測が不適切に行なわれ、アルゴリズムは正確に処理を行ったとしても、雨滴の同定精度が低くなり、低い相関値が得られることになる。しかしながら、ここで求められるのは、周囲の景色を、観測された雨滴候補に対応付け、雨滴像を正確に再構成し得るような物理的に正確なモデルを構築することにある。有意義な相関結果を達成するためには、必要に応じて、上記したような効果を補償すると良い。そのための補償作用は、図４に示されるようなカメラレンズの幾何学的及び光学的構成に基づいて、周囲の景色及びを再構成された画像をぼやかすことにより達成することができる。

初期の雨滴候補の位置の精度に関する検出感度を低減するためには、初期位置を変化させることを行う。最適合致したものを相関値を求めるために採用する。

図６は、コントローラにより実行される制御処理のフロー図である。先ず、ステップＳＴ１に於いて、車両前方の景色が、キャプチャラによりカメラを用いてキャプチャされ、ステップＳＴ２に於いて、ウインドシールド上に雨滴の候補があるか否かを判定する。雨滴の候補が検出されない場合、プログラムフローはステップＳＴ１に戻る。

ステップＳＴ２で雨滴候補が検出された場合、ステップＳＴ３に於いて、雨滴の像が抽出される。適切は光学モデルを用いることにより、ステップＳＴ４に於いて、雨滴の像が、景色の像から再構成される。再構成された像は、実際に抽出された雨滴の像と比較され、両者の間の相関が、ステップＳＴ５に於いて評価される。相関が所定レベルよりも高ければ（ステップＳＴ６に於いてｙｅｓ）、ステップＳＴ７に於いて、雨滴候補は実際の雨滴であると同定され、プログラムフローはステップＳＴ１に戻る。相関が所定レベルよりも低い場合には（ステップＳＴ６に於いてｎｏ）、ステップＳＴ８に於いて、雨滴候補が雨滴として検出されず、プログラムフローはステップＳＴ１に戻る。

ウインドシールドの上に多数の雨滴が落ちてくるような場合には同定精度は１００パーセントであることを要しない。従って、このような方法を必要としないかもしれない。このような場合には、図７に示されるように、雨滴であるか否かの判断基準となる相関係数には大きな差異が見出すことができる。

上記実施例では、雨滴を景色の像から再構成したが、図８のブロック図に示されるように雨滴の像から景色を再構成し、雨滴候補の実際の像と再構成雨滴像との間の相関を互いに比較することもできる。

ウインドシールド上の雨滴を検出する場合に、雨滴を可及的に正確に抽出し、同定することが重要である。実際に本発明を実施する際には、様々な光学的なノイズや外乱が存在することから、同定精度を高めるような識別方法を適用することが望まれる。図９ａ−９ｄは、そのような方法の１つの原理を説明している。

SURFやHarris Corner Detector等のＰＯＩ検出器により、図９ａに示されるようにＰＯＩが検出されたとする。各ＰＯＩに対して１つのトラッカーを適用することによる多ターゲット追跡を行ない、フレームｉで検出されたＰＯＩを、再びフレームｉ＋１で検出し、これら両ＰＯＩを互いに関連付ける。図９ｂ−９ｄに示されるように、フレームｉで検出されたＰＯＩを、それに続くフレーム中で対応付け、これらの点の軌跡を計算する。その結果、２つの顕著に異なる運動パターンが見られる。外界の景色に属するＰＯＩは、車両の運動に基づくカメラの透視角（perspective viewing angle）の変化のために移動し、一方、ウインドシールドに固定されたＰＯＩは、ウインドシールドがカメラの座標系に対して固定されていることから、移動しない。何度かの、繰り返し計算サイクルの追跡を行なった後、各ＰＯＩの軌跡を観測することにより、ウインドシールド上の異物と、景色に属する点との区別を高い信頼性をもって識別できるようになる。所定の許容誤差を上回るような軌跡の変位が観測された場合には、そのＰＯＩが雨滴或いはウインドシールド上の異物でない確率が明瞭に増大する。

上記したような判断方法は、図９ａに示されるような場面で、殆どの雨滴について問題なく機能する。しかしながら、雨滴がカメラに対して静止していない場合がある。車両の速度が増大すると、雨滴の或るものは上方に運動する。また、雨滴のサイズが或る程度以上であると、下方に運動する場合もある。雨滴のこのような運動は、各雨滴のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって行なわれる。このように、本発明に於けるアルゴリズムを、雨滴の運動モデルを含むように拡張することにより、このような、より高度な効果も考慮することができる。このような運動モデルによれば、雨滴が概ね上下方向に移動することが想定される。この場合でも、透視角の幾何学的構成から、景色の像中のＰＯＩの殆どは上下方向に移動することがないことから、雨滴と景色の像とを明瞭に識別することができる。この識別方法は、雨滴により屈折した像から景色の像から再構成する方法に併用するばかりでなく、それ自体で雨滴を検出するために利用することも可能である。

ウインドシールド上の雨滴が検出された場合、検出結果は、運転者に警報を行なうために表示装置に送られたり、或いは雨滴の検出に応じて自動的に作動されるべきワイパーなどのような別の装置に送られるようにすると良い。

以上で具体的実施形態の説明を終えるが、当業者であれば容易に理解できるように、本発明は上記実施形態や変形例に限定されることなく幅広く変形実施することができる。

Claims (9)

1. ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、
   ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、
   前記一般像中の関心の有る点としての雨滴候補を検出するステップと、
   前記一般像から前記雨滴候補の実際の像を抽出し、前記雨滴候補のサイズを測定するステップと、
   所定の光学モデルに基づき、前記一般像から再構成雨滴像を再構成するステップと、
   前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求めるステップと、
   求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法。
2. 前記雨滴候補の前記光学モデルが、球の一切片からなることを特徴とする請求項１に記載の方法。
3. 前記一般像中の関心の有る点としての雨滴候補を検出する前記ステップが、車両の走行に際して、固定した点として抽出することを含むことを特徴とする請求項１に記載の方法。
4. 前記一般像中の関心の有る点としての雨滴候補を検出する前記ステップが、車両の走行に際して、前記雨滴候補のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することを含むことを特徴とする請求項１に記載の方法。
5. ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための方法であって、
   ウインドシールドを透過する車両前方の景色をカメラを用いて一般像としてキャプチャするステップと、
   前記一般像中の関心の有る点としての雨滴候補を検出するステップと、
   前記一般像から前記雨滴候補の実際の像を抽出し、前記雨滴候補のサイズを測定するステップと、
   所定の光学モデルに基づき、前記雨滴候補から再構成一般像を再構成するステップと、
   実際の前記一般像と前記再構成一般像との間の相関を求めるステップと、
   求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断するステップとを有することを特徴とする方法。
6. ビジョンシステムを用いて車両のウインドシールド上の雨滴を同定するための装置であって、
   ウインドシールドを透過する前方の景色をキャプチャするために車両に搭載されたカメラと、
   前記一般像中の関心の有る点としての雨滴候補を検出する雨滴検出器と、
   前記一般像から前記雨滴候補の実際の像を抽出し、前記雨滴候補のサイズを測定する抽出器と、
   前記サイズに応じた所定の光学モデルに基づき、前記一般像の屈折像として再構成雨滴像を再構成する像再構成器と、
   前記雨滴候補の実際の像と前記再構成雨滴像との間の相関を求める相関器と、
   求められた相関が所定レベルよりも高ければ、前記雨滴候補を実際の雨滴であると判断する雨滴同定器とを有することを特徴とする装置。
7. 前記雨滴候補の前記光学モデルが、球の一切片からなることを特徴とする請求項６に記載の装置。
8. 前記雨滴検出器が、車両の走行に際して、前記一般像から雨滴候補を、固定した点として検出することを特徴とする請求項６に記載の装置。
9. 前記雨滴検出器が、車両の走行に際して、前記一般像から雨滴候補を、前記雨滴候補のサイズ、ウインドシールドの外面の輪郭及び車両の対気速度により定められる軌跡及び速度をもって移動する点として抽出することを特徴とする請求項６に記載の装置。

Images