JP6555569B2 - 画像処理装置、移動体機器制御システム及び画像処理用プログラム - Google Patents

Description

本発明は、１又は２以上の撮像手段によって撮像した撮像画像に基づいて撮像領域内に存在する検出対象物を検出するための画像処理を実行する画像処理装置、移動体機器制御システム及び画像処理用プログラムに関する。

車両、船舶、航空機等の移動体に用いられるガラス或いは一般建造物の窓ガラス等の光透過性部材上の付着物（検出対象物）を検出する付着物検出装置が知られている。例えば、特許文献１には、車両のフロントガラスに付着した異物（付着物）を検出する異物検出装置（付着物検出装置）が開示されている。この異物検出装置は、フロントガラスの内壁面側に配置される発光部（照明手段）からの照明光によって映し出されるフロントガラス外壁面上の雨滴等の異物（付着物）をカメラによって撮影する。発光部からの照明光は、雨滴が付着していない箇所では、フロントガラス外壁面で正反射した正反射光がカメラに受光される一方、雨滴が付着している箇所ではフロントガラス外壁面を透過してカメラに受光されない。これにより、撮像画像の輝度が低い箇所には雨滴が付着していると判別できる。

前記特許文献１に記載の付着物検出装置においては、発光部としてＬＥＤ（Light Emitting Diode）を用いている。一般に、ＬＥＤは、温度変化によってその発光出力が変化するものであり、温度が上昇すると発光部の発光出力が低下する。また、ＬＥＤは経年劣化によっても発光量が低下していく。このように発光部の発光量が変化すると、例えば、実際には雨滴が付着していないのに雨滴が付着していると認識されてしまったり、逆に実際には雨滴が付着しているのに雨滴が付着していないと認識されてしまったりする誤検出の問題が生じる。この問題は、照明手段がＬＥＤで構成されている場合に限らず、射出される光量が温度に依存して変化する照明手段であれば、同様に生じ得る問題である。

また、発光部から射出された光がカメラの画像センサに受光されるまでの光路上には、種々の光学部材が存在する。これらの光学部材は温度変化によって形状変化や性質変化が生じ、その光学特性を変化させる。そのため、温度変化が生じると、光学部材の光学特性に変化が生じて、画像センサに受光される受光量に変動が生じ、雨滴の誤検出という問題を引き起こす。

温度変化によって生じる雨滴誤検出の問題は、温度センサの検知結果をフィードバックして補正するという一般的なフィードバック制御では解決することが困難である。温度変化の影響を受ける照明手段や光学部材等の設置場所の違いによってそれぞれの温度環境が異なり、また、照明手段や光学部材等の個々の温度をそれぞれ精度良く検知することが困難だからである。また、温度変化の影響を受ける照明手段や光学部材等に個体差があるため、温度変化によって生じる雨滴誤検出の程度が付着物検出装置ごとにバラバラであることも、一般的なフィードバック制御での対処が困難な理由である。更には、雨滴誤検出を引き起こす要因は、温度変化以外の外乱要因（未知な要因を含む。）も合わせて複合的に影響していることから、個々の要因をそれぞれ突き止めて要因ごとの誤差をそれぞれ補正するというような処理はきわめて困難である。

以上の説明は、雨滴検出処理を例に挙げているが、照明手段によって照明される照明範囲を撮像し、その撮像画像に基づいて当該照明範囲内に存在する検出対象物を検出するための画像処理を実行する画像処理装置であれば、検出対象物の誤検出という同様の問題が生じる。
また、以上の説明は、温度という外乱要因の変動によって雨滴誤検出が生じる例であるが、例えば湿度等の他の外乱要因の変動によって雨滴誤検出が生じる場合にも、同様の問題が発生する。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、外乱要因の変動に起因した検出対象物の誤検出を抑制できる画像処理装置、移動体機器制御システム及び画像処理用プログラムを提供することである。

前記目的を達成するために、本発明は、照明手段によって照明される照明範囲を撮像手段により撮像して得られる撮像画像に基づいて該照明範囲内に存在する検出対象物を検出するための画像処理を実行する画像処理装置において、前記撮像画像を区分けして得られる複数の区分ごとの画素値情報と所定の外乱要因の大きさを示す外乱要因値との相関値情報を記憶する記憶手段と、前記複数の区分ごとの画素値情報と前記相関値情報とから外乱要因値を演算し、該外乱要因値に基づいて所定の外乱変動成分を除外した後の画素値情報を用いて、前記画像処理を実行する処理実行手段とを有し、前記相関値情報は、前記外乱要因値が規定変動幅以上に変動する状況下で前記複数の区分ごとに取得した規定量以上の画素値情報を主成分分析して得られる主成分負荷量であることを特徴とする。

本発明によれば、外乱要因の変動に起因した検出対象物の誤検出を抑制できるという優れた効果が奏される。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットを備えた付着物検出装置の概略構成を示す模式図である。 同撮像ユニットの光学系を説明するための説明図である。 同撮像ユニットの概略構成を模式的に示した斜視図である。 （ａ）は、水平面に対するフロントガラスの傾斜角度が２２°である車両に取り付けた状態の撮像ユニットを示す側面図である。（ｂ）は、同図（ａ）の状態において雨滴が付着していない場合の撮像ユニットの光学系を示す説明図である。（ｃ）は、同図（ａ）の状態において雨滴が付着している場合の撮像ユニットの光学系を示す説明図である。 同撮像ユニットの反射偏向プリズムを示す斜視図である。 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像部の光学フィルタに設けられる前段フィルタの正面図である。 同撮像部の撮像画像データの画像例を示す説明図である。 同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。 実施形態における光学フィルタの層構成を模式的に示す断面図である。 同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。 同光学フィルタの雨滴検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタの雨滴検出用フィルタ部及び画像センサを模式的に表した断面図である。 同撮像部を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光（照り返し光）とを撮像し、それぞれの差分偏光度を算出したときのヒストグラムである。 雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を同撮像部で撮像した場合の一例を示す模式図である。 実施形態における車両検出処理の流れを示すフローチャートである。 （ａ）は、雨天時において白線を含む撮像領域を撮像したモノクロ輝度画像（非分光・非偏光）と非分光の差分偏光度画像とを示す画像例である。（ｂ）は、雨天時において同じ撮像領域を撮像した非分光の差分偏光度画像を示す画像例である。 実施形態における雨滴検出処理の説明図である。 撮像動作例１における撮像部の撮像動作を簡易的に示したタイミングチャートである。 撮像動作例２における撮像部の撮像動作を簡易的に示したタイミングチャートである。 実施形態における雨滴量の検出処理をモデル化した検出モデルである。 実施形態における温度変化に起因した雨滴量検出誤差の補正処理の流れを示すフローチャートである。 一定の照明光で照明した撮像環境下において０℃〜６０℃まで温度を上昇させたときの雨滴検出用画像領域の各区分の合計輝度値を検出した実験結果を示すグラフである。 変形例における雨滴検出に関わる各種光線についての説明図である。

以下、本発明に係る画像処理装置を、移動体である自動車等の車両に搭載される対象機器を制御する移動体機器制御システムとしての車載機器制御システムに用いる一実施形態について説明する。
本発明に係る画像処理装置は、車載機器制御システムに限らず、例えば、照明手段によって照明される照明範囲内の検出対象物を検出する物体検出装置を利用するその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像部により、自車両周囲（特に進行方向前方領域）を撮像領域として撮像した撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。

本実施形態の車載機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、処理実行手段としてのＣＰＵやＲＡＭ等により構成され、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置（方角や距離）を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した他車両の位置データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した他車両の位置データに基づいて、先行車両との距離が近接した場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１に設けられる撮像部２００を含む付着物検出装置の概略構成を示す説明図である。
撮像部２００は、主に、撮像レンズ２０４と、光学フィルタ２０５と、受光素子が２次元配置された画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８と、内部メモリ２０９とから構成されている。また、本実施形態においては、センサ基板２０７上に照明手段としての光源部２０２が実装されている。この光源部２０２は、フロントガラス１０５の内壁面（一方の面）側に配置され、外壁面（他方の面）に付着した付着物（以下、検出対象物が主に雨滴である場合を例に挙げて説明する。）を検出するためのものである。

本実施形態では、撮像レンズ２０４の光軸が水平方向に一致するように撮像ユニット１０１を配置するが、これに限定されることはなく、水平方向（図２中のＸ方向）を基準とした特定方向に向けるような例であってもよい。撮像レンズ２０４は、例えば、複数のレンズで構成され、焦点がフロントガラス１０５の位置よりも遠方に設定されるものを用いる。撮像レンズ２０４の焦点位置は、例えば、無限遠又は無限遠とフロントガラス１０５との間に設定することができる。

画像センサ２０６は、センサ面を保護するカバーガラスを透過した光を受光する２次元配置された複数の受光素子で構成され、受光素子（撮像画素）ごとに入射光を光電変換する機能を有する。後述の図等では画像センサ２０６の各画素を簡略化して描いているが、実際には画像センサ２０６は２次元配置された数十万個程度の画素で構成されている。画像センサ２０６としては、例えば、全撮像画素を同時露光（グローバルシャッター）して各撮像画素の信号を読み出すＣＣＤ（Charge Coupled Device）や、ライン露光（ローリングシャッター）で露光された各撮像画素の信号を読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオードを用いることができる。

信号処理部２０８は、画像センサ２０６で光電変換され、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６の各受光素子への入射光量）をデジタル電気信号に変換した撮像画像データを生成して出力する機能を有する。信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。信号処理部２０８は、センサ基板２０７を経由して画像センサ２０６から電気信号（アナログ信号）が入力されると、入力された電気信号から、画像センサ２０６上における各撮像画素の明るさ（輝度）を示すデジタル信号（撮像画像データ）を生成する。そして、この撮像画像データを、画像の水平・垂直同期信号とともに、後段の画像解析ユニット１０２へ出力する。

本実施形態の画像センサ２０６は、後述するダーク補正（ブラックレベルコントロール：ＢＬＣ）を行うための複数のオプティカルブラック（光が入射しないように構成された受光素子）を、有効撮像画素の領域外に備えている。オプティカルブラックの出力信号は、信号処理部２０８に送られ、暗電流のノイズ量の測定に使用される。詳しくは、信号処理部２０８は、ゼロ基準設定手段として機能し、例えばオプティカルブラックからの出力信号の平均レベルに所定のマージン分を上乗せした信号レベルを、撮像画像データのゼロ基準（画素値ゼロ）に設定する。これにより、センサ基板２０７から出力されるアナログ電気信号のうち、ゼロ基準に対応する信号レベル以下のものはゼロ値とされる。

また、ゼロ基準に対応する信号レベルを超えるアナログ電気信号は、当該ゼロ基準の信号レベルと最大信号レベルとの間を所定の階調数で分割したデジタル値のデジタル電気信号に変換される。これにより、画像センサ２０６の受光素子を流れる暗電流が原因で、全く光を受光していない受光素子が光を受光しているものと誤検知してしまう事態を回避することができる。

また、画像解析ユニット１０２は、撮像ユニット１０１の撮像動作を制御する機能や、撮像ユニット１０１から送信される撮像画像データを解析する機能を有する。画像解析ユニット１０２は、撮像ユニット１０１から送信された撮像画像データから、画像センサ２０６の撮像対象（自車両前方領域に存在する他車両等の物体や、フロントガラス１０５上に付着している雨滴、凍結、曇り等）ごとの最適な露光量を算出し、画像センサ２０６の撮像対象ごとに最適な露光量（本実施形態では露光時間）を設定する機能を有する。また、画像解析ユニット１０２は、露光量調整と連動しながら、光源部２０２の発光タイミングを調整する機能も有する。また、画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データから、路面状態や道路標識などに関する情報を検出する機能を有する。また、画像解析ユニット１０２は、検出処理部１０２Ａによって、フロントガラス１０５の状態（雨滴の付着、凍結、曇りなど）を検出する機能を有する。また、画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データから、自車両の前方に存在する他車両の位置や方角、距離等を算出する機能を有する。また、画像解析ユニット１０２は、光量調整部１０２Ｂによって、光源部２０２が照射する光の量を調整する機能を有する。

図３は、本実施形態における撮像ユニット１０１の光学系を説明するための説明図である。
本実施形態の光源部２０２は、フロントガラス１０５上に付着した付着物（雨滴、凍結、曇り等）を検出するための照明光を照射するものである。本実施形態の光源部２０２は、その光源としてのＬＥＤを複数備えた構成となっている。このように光源を複数具備することにより、光源が１つである場合と比較して、フロントガラス１０５上の付着物を検出するための検出領域が広がり、フロントガラス１０５の付着物の検出精度が向上する。

本実施形態では、ＬＥＤを画像センサ２０６と同じセンサ基板２０７上に実装しているので、これらを別々の基板上に実装する場合よりも基板枚数を減らすことができ、低コストを実現できる。また、ＬＥＤの配置方法は、図３中のＹ方向に沿って１列又は複数列に配置することで、後述するとおり、車両前方領域の画像が映し出される画像領域の下側に映し出されるフロントガラス画像を撮像するための照明を均一化することが可能となる。本実施形態では、光源部２０２を、画像センサ２０６と同じセンサ基板２０７上に実装しているが、画像センサ２０６とは別基板上に実装してもよい。

光源部２０２は、光源部２０２が照射する光の光軸方向と撮像レンズ２０４の光軸方向とが予め所定の角度を有するように、センサ基板２０７上に配置されている。また、光源部２０２は、光源部２０２が照射する光によって照明されるフロントガラス１０５上において、その照明範囲が撮像レンズ２０４の画角範囲内（視野角の範囲内）となるように、配置されている。光源部２０２の発光波長としては、対向車の運転者や歩行者を眩惑しないように、可視光を避けることが好ましく、例えば、可視光よりも波長が長く、画像センサ２０６の受光感度が及ぶ波長範囲（例えば８００〜１０００ｎｍ程度の赤外光波長範囲）を用いる。光源部２０２の発光タイミングなどの駆動制御は、信号処理部２０８からの画像信号の取得と連動しながら、画像解析ユニット１０２を通じて行われる。

本実施形態の撮像ユニット１０１には、図３に示すように、光源部２０２からの光を反射させてフロントガラス１０５へ導く反射面２３１を備えた光学部材としての反射偏向プリズム２３０が設けられている。反射偏向プリズム２３０は、光源部２０２からの光を適切にフロントガラス１０５の内部に導くために、その一面がフロントガラス１０５の内壁面に密着するように配置されている。具体的には、反射偏向プリズム２３０に入射する光源部２０２からの光の入射角が所定範囲内で変化しても、光源部２０２から照射されて反射偏向プリズム２３０の反射面２３１で正反射した光のうち、フロントガラス１０５の外壁面上における雨滴（検出対象物）が付着していない非付着箇所で正反射した正反射光が、画像センサ２０６に受光される関係が維持されるように、反射偏向プリズム２３０がフロントガラス１０５の内壁面に取り付けられる。

反射偏向プリズム２３０をフロントガラス１０５の内壁面に取り付ける際、これらの間に、透光性材料からなるジェルやシール材などの充填材を介在させて密着性を高めるのが好ましい。これにより、反射偏向プリズム２３０とフロントガラス１０５との間に空気層や気泡などが介在しないようにでき、これらの間で曇りが生じにくいようにしている。また、充填材の屈折率は、反射偏向プリズム２３０とフロントガラス１０５の中間屈折率であることが好ましい。これにより、充填材と反射偏向プリズム２３０との間、及び、充填材とフロントガラス１０５との間でのフレネル反射ロスを軽減できるからである。ここでいうフレネル反射とは、屈折率の異なる材料間で発生する反射のことである。

反射偏向プリズム２３０は、図３に示すように、光源部２０２からの入射光を反射面２３１で一回だけ正反射して、これをフロントガラス１０５の内壁面に向けて折り返す。折り返した光は、フロントガラス１０５の外壁面に対して入射角θ（θ≧約４２°）となるように構成されている。この適切な入射角θは、空気とフロントガラス１０５の外壁面との間の屈折率差に起因して、フロントガラス１０５の内部においてその外壁面で全反射を起こす臨界角である。したがって、本実施形態では、フロントガラス１０５の外壁面に雨滴等の付着物が付着していない場合には、反射偏向プリズム２３０の反射面で折り返された光は、フロントガラス１０５の外壁面を透過することなく、すべて反射される。

一方、フロントガラス１０５の外壁面上に空気（屈折率１）とは異なる雨滴（屈折率１．３８）などの付着物が付着すると、この全反射条件が崩れ、雨滴が付着している箇所では光がフロントガラス１０５の外壁面を透過する。したがって、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所については、その反射光が画像センサ２０６に受光されて高輝度な画像部分となる一方、雨滴が付着している付着箇所については、その反射光の光量が減り、画像センサ２０６に受光される光量が少なくなるので、低輝度な画像部分となる。したがって、撮像画像上においては、雨滴付着箇所と非雨滴付着箇所とのコントラストが得られる。

図４は、本実施形態の撮像ユニット１０１の概略構成を模式的に示した斜視図である。
本実施形態の撮像ユニット１０１は、反射偏向プリズム２３０を固定支持し、フロントガラス１０５の内壁面に固定配置される第一支持部材としての第一モジュール１０１Ａと、画像センサ２０６及びＬＥＤ２１１が実装されたセンサ基板２０７、導光体２１５、撮像レンズ２０４を固定支持する第二支持部材としての第二モジュール１０１Ｂとから構成されている。

これらのモジュール１０１Ａ，１０１Ｂは、回転連結機構２４０によって回動可能に連結されている。この回転連結機構２４０は、フロントガラス１０５の傾斜方向及び鉛直方向のいずれにも直交する方向（図３中紙面前後方向）に延びる回転軸２４１を有し、この回転軸２４１を中心にして、第一モジュール１０１Ａと第二モジュール１０１Ｂとを相対回転させることができる。このように回動可能な構成としているのは、傾斜角度が異なるフロントガラス１０５に対して第一モジュール１０１Ａが固定配置される場合でも、第二モジュール１０１Ｂの撮像部２００の撮像方向を目標とする特定方向（本実施形態では水平方向）に向けることができるようにするためである。

図５（ａ）は、水平面に対するフロントガラス１０５の傾斜角度θｇが２２°である車両に取り付けた状態の撮像ユニット１０１を示す側面図である。図５（ｂ）は、図５（ａ）の状態において雨滴が付着していない場合の撮像ユニット１０１の光学系を示す説明図である。図５（ｃ）は、図５（ａ）の状態において雨滴が付着している場合の撮像ユニット１０１の光学系を示す説明図である。

光源部２０２からの光Ｌ１は、反射偏向プリズム２３０の反射面２３１で正反射され、その反射光Ｌ２はフロントガラス１０５の内壁面を透過する。フロントガラス１０５の外壁面に雨滴が付着していない場合は、その反射光Ｌ２は外壁面では全反射し、この反射光Ｌ３はフロントガラス１０５の内壁面を透過して撮像レンズ２０４に向けて光は進む。一方、フロントガラス１０５の外壁面に雨滴２０３が付着している場合、反射偏向プリズム２３０の反射面２３１で正反射した反射光Ｌ２は、その外壁面を透過する。このような系において、フロントガラス１０５の角度θｇが変わると、第二モジュール１０１Ｂの姿勢を維持したまま（撮像方向を水平方向に固定したまま）、フロントガラス１０５の内壁面に固定される第二モジュール１０１Ｂの姿勢が変化し、反射偏向プリズム２３０がフロントガラス１０５と一体になって図中Ｙ軸回りに回転することになる。

ここで、本実施形態における反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係は、回転連結機構２４０の回転調整範囲内において、常に、フロントガラス１０５の外壁面での全反射光Ｌ３が、フロントガラス状態変化検出用の画像センサ２０６の受光領域（以下「付着物検出用受光領域」という。）に受光される関係となっている。したがって、フロントガラス１０５の角度θｇが変わっても、フロントガラス１０５の外壁面での全反射光Ｌ３が画像センサ２０６の付着物検出用受光領域に受光され、適切な雨滴検出を実現できる。

特に、本実施形態における配置関係は、回転連結機構２４０の回転調整範囲内において実質的にコーナーキューブの原理が成立するような関係となっている。そのため、フロントガラス１０５の角度θｇが変わっても、フロントガラス１０５の外壁面での全反射光Ｌ３の光軸方向と水平面とのなす角度θは実質的に一定である。よって、画像センサ２０６の付着物検出用受光領域内におけるフロントガラス１０５の外壁面での全反射光Ｌ３の光軸が通過する箇所の変動を小さく抑えることができ、より適切な雨滴検出を実現できる。

反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係が互いに垂直な関係であればコーナーキューブの原理が成立するが、回転連結機構２４０の回転調整範囲内において実質的にコーナーキューブの原理が成立するのであれば、反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係は互いに垂直な関係である場合に限られない。反射偏向プリズム２３０の反射面２３１とフロントガラス１０５の外壁面との配置関係が互いに垂直な関係でなくても、反射偏向プリズム２３０の他の面（被入射面や出射面）の角度を調整することにより、フロントガラス１０５の傾斜角度θｇが変わっても、撮像レンズへ向かう全反射光Ｌ３の光軸の角度θを略一定に保持することが可能である。

図６は、本実施形態の反射偏向プリズム２３０を示す斜視図である。
反射偏向プリズム２３０は、光源部２０２からの光が入射する被入射面２３３と、被入射面２３３から入射した光Ｌ１を反射させる反射面２３１と、フロントガラス１０５の内壁面と密着する密着面２３２と、フロントガラス１０５の外壁面で反射した反射光Ｌ３を撮像部２００に向けて出射する出射面２３４とを備えている。本実施形態では、被入射面２３３と出射面２３４とは互いに平行な面となるように構成されているが、両者を非平行な面としてもよい。

反射偏向プリズム２３０の材料は、少なくとも光源部２０２からの光を透過させる材料であればよく、ガラスやプラスチックなどを用いることができる。本実施形態の光源部２０２からの光は赤外光であるため、反射偏向プリズム２３０の材料としては、可視光を吸収するような黒色系の材料を用いてもよい。可視光を吸収する材料を用いることにより、反射偏向プリズム２３０にＬＥＤからの光（赤外光）以外の光（車外からの可視光など）が入射するのを抑制できる。

また、反射偏向プリズム２３０は、回転連結機構２４０の回転調整範囲内において、その反射面２３１で光源部２０２からの光を全反射させる全反射条件が満たされるように形成される。また、回転連結機構２４０の回転調整範囲内において反射面２３１で全反射させる条件を満たすことが難しい場合には、反射偏向プリズム２３０の反射面２３１に、アルミニウムなどの膜を蒸着させるなどして、反射ミラーを形成してもよい。

また、本実施形態では、反射面２３１が平面であるが、反射面を凹面としたものでもよい。このような凹面状の反射面２２５を用いることで、反射面２２５に入射してくる拡散光束を平行化することができる。このことにより、フロントガラス１０５上での照度低下を抑制することが可能となる。

ここで、フロントガラス１０５の外壁面で反射した光源部２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサ２０６では、光源部２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源部２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源部２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源部２０２を用いることは困難である場合が多い。

そこで、本実施形態においては、例えば、図７に示すように光源部２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図８に示すように透過率のピークが光源部２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源部２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源部２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源部２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源部２０２でなくても、光源部２０２からの光を外乱光と区別することが可能となる。

ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源部２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源部２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。

図９は、光学フィルタ２０５に設けられる前段フィルタ２１０の正面図である。
図１０は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２０５は、前段フィルタ２１０と後段フィルタ２２０とを光透過方向に重ね合わせた構造となっている。前段フィルタ２１０は、図９に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図７に示したカットフィルタや図８に示したバンドパスフィルタを用いる。

対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像中央部から上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図１０に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して前段フィルタ２１０を領域分割するのが好適である。

なお、本実施形態では、撮像画像中における車両検出用画像領域２１３の下部に雨滴検出用画像領域２１４を設けた例であるが、車両検出用画像領域２１３の上部に雨滴検出用画像領域２１４を設けたり、車両検出用画像領域２１３の上部と下部の両方に雨滴検出用画像領域２１４を設けたりしてもよい。

撮像部２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図７に示したカットフィルタや図８に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。

なお、本実施形態では、撮像レンズ２０４の特性により、撮像領域内の光景と画像センサ２０６上の像とでは天地が逆になる。よって、撮像画像下部を雨滴検出用画像領域２１４とする場合には、光学フィルタ２０５の前段フィルタ２１０の上部を図７に示したカットフィルタや図８に示したバンドパスフィルタで構成することになる。

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。

ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。

図１１は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、上述したようにＣＣＤやＣＭＯＳなどを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。

画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５の後段フィルタ２２０は、図１１に示すように、透明なフィルタ基板２２１上に偏光フィルタ層２２２と分光フィルタ層２２３を順次形成して積層構造としたものである。偏光フィルタ層２２２と分光フィルタ層２２３は、いずれも、画像センサ２０６上における１つのフォトダイオード２０６Ａに対応するように領域分割されている。

光学フィルタ２０５と画像センサ２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の各領域の境界と画像センサ２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図１２は、本実施形態に係る光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の領域分割パターンを示す説明図である。
偏光フィルタ層２２２と分光フィルタ層２２３は、それぞれ、第１領域及び第２領域という２種類の領域が、画像センサ２０６上の１つのフォトダイオード２０６Ａに対応して配置されたものである。これにより、画像センサ２０６上の各フォトダイオード２０６Ａによって受光される受光量は、受光する光が透過した偏光フィルタ層２２２と分光フィルタ層２２３の領域の種類に応じて、偏光情報や分光情報等として取得することができる。

なお、本実施形態では、画像センサ２０６はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ２０６をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層２２２と分光フィルタ層２２３の各領域の光透過特性を調整してやればよい。

ここで、本実施形態における光学フィルタ２０５の一例について説明する。
図１３は、本実施形態における光学フィルタ２０５の層構成を模式的に示す断面図である。
本実施形態における光学フィルタ２０５の後段フィルタ２２０は、車両検出用画像領域２１３に対応する車両検出用フィルタ部２２０Ａと、雨滴検出用画像領域２１４に対応する雨滴検出用フィルタ部２２０Ｂとで、その層構成が異なっている。具体的には、車両検出用フィルタ部２２０Ａは分光フィルタ層２２３を備えているのに対し、雨滴検出用フィルタ部２２０Ｂは分光フィルタ層２２３を備えていない。また、車両検出用フィルタ部２２０Ａと雨滴検出用フィルタ部２２０Ｂとでは、その偏光フィルタ層２２２，２２５の構成が異なっている。

図１４は、本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１５（ａ）は、図１４に示す符号Ａ−Ａで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
図１５（ｂ）は、図１４に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。

本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａは、図１５（ａ）及び（ｂ）に示すように、透明なフィルタ基板２２１の上に偏光フィルタ層２２２を形成した後、その上に分光フィルタ層２２３を形成して積層構造としたものである。そして、偏光フィルタ層２２２は、ワイヤーグリッド構造を有するものであり、その積層方向上面（図１５中下側面）は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層２２３を形成しようとすると、分光フィルタ層２２３がその凹凸面に沿って形成され、分光フィルタ層２２３の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ２０５は、偏光フィルタ層２２２の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層２２３を形成している。

充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層２２２の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。

本実施形態において、偏光フィルタ層２２２の第１領域は、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分のみを選択して透過させる鉛直偏光領域であり、偏光フィルタ層２２２の第２領域は、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層２２３の第１領域は、偏光フィルタ層２２２を透過可能な使用波長帯域に含まれる赤色波長帯（特定波長帯）の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層２２３の第２領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本実施形態においては、図１４に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの撮像画素（符号ａ、ｂ、ｅ、ｆの４撮像画素）によって撮像画像データの１画像画素が構成される。

図１４に示す撮像画素ａでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ａは、鉛直偏光成分（図１４中符号Ｐで示す。）の赤色波長帯（図１４中符号Ｒで示す。）の光Ｐ／Ｒを受光することになる。
また、図１４に示す撮像画素ｂでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｂは、鉛直偏光成分Ｐにおける非分光（図１４中符号Ｃで示す。）の光Ｐ／Ｃを受光することになる。
また、図１４に示す撮像画素ｅでは、光学フィルタ２０５の偏光フィルタ層２２２における水平偏光領域（第２領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｅは、水平偏光成分（図１４中符号Ｓで示す。）における非分光Ｃの光Ｓ／Ｃを受光することになる。
図１４に示す撮像画素ｆでは、光学フィルタ２０５の偏光フィルタ層２２２における鉛直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ｆは、撮像画素ａと同様、鉛直偏光成分Ｐにおける赤色波長帯Ｒの光Ｐ／Ｒを受光することになる。

以上の構成により、本実施形態によれば、撮像画素ａおよび撮像画素ｆの出力信号から赤色光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｂの出力信号から非分光の鉛直偏光成分画像についての一画像画素が得られ、撮像画素ｅの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色光の鉛直偏光成分画像、非分光の鉛直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。

なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間技術を用いてもよい。例えば、より高い解像度である赤色光の鉛直偏光成分画像を得ようとする場合、撮像画素ａと撮像画素ｆに対応する画像画素についてはこれらの撮像画素ａ，ｆで受光した赤色光の鉛直偏光成分Ｐの情報をそのまま使用し、撮像画素ｂに対応する画像画素については、例えばその周囲を取り囲む撮像画素ａ，ｃ，ｆ，ｊの平均値を当該画像画素の赤色光の鉛直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素ｅに対応する画像画素についてはこの撮像画素ｅで受光した非分光の水平偏光成分Ｓの情報をそのまま使用し、撮像画素ａ，ｂ，ｆに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素ｅや撮像画素ｇなどの平均値を使用したり、撮像画素ｅと同じ値を使用したりしてもよい。

このようにして得られる赤色光の鉛直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の鉛直偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射した赤色光や自車両１００の室内におけるダッシュボードなどからの赤色光（映りこみ光）等のように水平偏光成分Ｓの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の鉛直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。

また、非分光の鉛直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両１００の室内におけるダッシュボードなどからの白色光（映りこみ光）等のように水平偏光成分Ｓの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の鉛直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Ｓが多いことが一般に知られている。よって、非分光の鉛直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。

また、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした比較画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる比較画像としては、例えば、非分光の鉛直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率（差分偏光度）を画素値とした差分偏光度画像などを使用することができる。

図１６は、本実施形態における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１７（ａ）は、図１６に示す符号Ａ−Ａで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。
図１７（ｂ）は、図１６に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂ及び画像センサ２０６を模式的に表した断面図である。

本実施形態における光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂは、図１７（ａ）及び（ｂ）に示すように、前記車両検出用フィルタ部２２０Ａと共通のフィルタ基板２２１の上にワイヤーグリッド構造の偏光フィルタ層２２５が形成されている。この偏光フィルタ層２２５は、前記車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２とともに、積層方向上面側が充填材によって充填されて平坦化されている。ただし、雨滴検出用フィルタ部２２０Ｂは、前記車両検出用フィルタ部２２０Ａとは異なり、分光フィルタ層２２３は積層されていない。

本実施形態においては、自車両１００の室内側の風景がフロントガラス１０５の内壁面に映り込むことがある。この映り込みは、フロントガラス１０５の内壁面で正反射した光によるものである。この映り込みは、正反射光であるのでその光強度が比較的大きい外乱光である。よって、この映り込みが雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、雨滴の検出精度が低下する。また、光源部２０２からの光がフロントガラス１０５の内壁面で正反射した正反射光も、雨滴と一緒に雨滴検出用画像領域２１４に映し出されると、外乱光となって雨滴の検出精度を低下させる。

このような雨滴の検出精度を低下させる外乱光は、フロントガラス１０５の内壁面で正反射した正反射光であるので、その偏光成分のほとんどは光源入射面に対して偏光方向が垂直な偏光成分、すなわち、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分Ｓである。そこで、本実施形態の光学フィルタ２０５の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５は、フロントガラス１０５に向かう光源部２０２からの光の光軸と撮像レンズ２０４の光軸とを含む仮想面（光源入射面）に対して偏光方向が平行である偏光成分、すなわち、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する鉛直偏光成分Ｐのみを透過するように透過軸が設定されている。

これにより、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５を透過する光は、鉛直偏光成分Ｐのみとなり、フロントガラス１０５の内壁面の映り込みや、フロントガラス１０５の内壁面で正反射した光源部２０２からの正反射光などの外乱光の大部分を占める水平偏光成分Ｓをカットすることができる。その結果、雨滴検出用画像領域２１４は、外乱光による影響の少ない鉛直偏光成分Ｐによる鉛直偏光画像となり、その雨滴検出用画像領域２１４の撮像画像データに基づく雨滴の検出精度が向上する。

本実施形態では、前段フィルタ２１０を構成する赤外光カットフィルタ領域２１１と赤外光透過フィルタ領域２１２とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ２１０の製造方法としては、赤外光カットフィルタ領域２１１の部分をマスクで隠しながら赤外光透過フィルタ領域２１２の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域２１２の部分をマスクで隠しながら赤外光カットフィルタ領域２１１の部分を真空蒸着などにより成膜するという方法が挙げられる。

また、本実施形態において、車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２と、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５とは、いずれも、２次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層２２２は透過軸が互いに直交する２種類の領域（鉛直偏光領域及び水平偏光領域）が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層２２５は鉛直偏光成分Ｐのみを透過させる透過軸をもつ１種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層２２２，２２５を同一のフィルタ基板２２１上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート（型に相当するもの）の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。

なお、本実施形態では、赤外光カットフィルタ領域２１１を光学フィルタ２０５に設けず、例えば、撮像レンズ２０４に赤外光カットフィルタ領域２１１を設けてもよい。この場合、光学フィルタ２０５の作製が容易となる。
また、赤外光カットフィルタ領域２１１に代えて、後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂに鉛直偏光成分Ｐのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ２１０には赤外光カットフィルタ領域２１１を形成する必要はない。
また、偏光フィルタ層は、必ずしも設ける必要はない。
また、本実施形態の光学フィルタ２０５は、図１４に示したように領域分割された偏光フィルタ層２２２及び分光フィルタ層２２３を有する後段フィルタ２２０が、前段フィルタ２１０よりも画像センサ２０６側に設けられているが、前段フィルタ２１０を後段フィルタ２２０よりも画像センサ２０６側に設けてもよい。

〔ヘッドランプの配光制御〕
以下、本実施形態におけるヘッドランプの配光制御について説明する。
本実施形態におけるヘッドランプの配光制御は、撮像部２００で撮像された撮像画像データを解析して車両のテールランプとヘッドランプを識別し、識別したテールランプから先行車両を検出するとともに、識別したヘッドランプから対向車両を検出する。そして、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

本実施形態のヘッドランプ配光制御では、撮像ユニット１０１から取得することができる情報のうち、撮像領域内の各地点（光源体）から発せられる光の強さ（明るさ情報）、ヘッドランプやテールランプなどの光源体（他車両）と自車両との距離（距離情報）、各光源体から発せられる光の赤色成分と白色成分（非分光）との比較による分光情報、白色成分の水平偏光成分と鉛直偏光成分との比較による偏光情報、水平偏光成分がカットされた白色成分の鉛直偏光成分情報、水平偏光成分がカットされた赤色成分の鉛直偏光成分情報を用いる。

明るさ情報について説明すると、夜間に、先行車両や対向車両が自車両から同じ距離に存在する場合、撮像部２００によってそれらの先行車両及び対向車両を撮像すると、撮像画像データ上では検出対象物の１つである対向車両のヘッドランプが最も明るく映し出され、検出対象物の１つである先行車両のテールランプはそれよりも暗く映し出される。また、リフレクタが撮像画像データに映し出されている場合、リフレクタは自ら発光する光源ではなく、自車両のヘッドランプを反射することによって明るく映し出されるものに過ぎないので、先行車両のテールランプよりもさらに暗くなる。一方、対向車両のヘッドランプ、先行車両のテールランプ及びリフレクタからの光は、距離が遠くなるにつれて、それを受光する画像センサ２０６上ではだんだん暗く観測される。よって、撮像画像データから得られる明るさ（輝度情報）を用いることで ２種類の検出対象物（ヘッドランプとテールランプ）及びリフレクタの一次的な識別が可能である。

また、距離情報について説明すると、ヘッドランプやテールランプは、そのほとんどが左右一対のペアランプの構成であるため、この構成の特徴を利用してヘッドランプやテールランプ（すなわち他車両）と自車両との距離を求めることが可能である。ペアとなる左右一対のランプは、撮像部２００が撮像した撮像画像データ上では、互いに近接して同じ高さ方向位置に映し出され、当該ランプを映し出すランプ画像領域の広さはほぼ同じで、かつ、当該ランプ画像領域の形状もほぼ同じである。よって、これらの特徴を条件とすれば、その条件を満たすランプ画像領域同士をペアランプであると識別できる。なお、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなり、単一ランプとして認識される。

このような方法でペアランプを識別できた場合、そのペアランプ構成であるヘッドランプやテールランプの光源までの距離を算出することが可能である。すなわち、車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像部２００における撮像レンズ２０４の焦点距離ｆは既知であるため、撮像部２００の画像センサ２０６上における左右ランプにそれぞれ対応した２つのランプ画像領域間の距離ｗ１を撮像画像データから算出することにより、そのペアランプ構成であるヘッドランプやテールランプの光源と自車両までの距離ｘは、単純な比例計算（ｘ＝ｆ×ｗ０／ｗ１）により求めることができる。また、このようにして算出される距離ｘが適正範囲であれば、その算出に用いた２つのランプ画像領域は他車両のヘッドランプとテールランプであると識別することができる。よって、この距離情報を用いることで、検出対象物であるヘッドランプとテールランプの識別精度が向上する。

また、分光情報について説明すると、本実施形態では、上述したとおり、撮像部２００で撮像した撮像画像データから、赤色光（鉛直偏光成分）Ｐ／Ｒを受光する画像センサ２０６上の撮像画素ａ，ｃ，ｆ，ｈ等に対応した画素データのみを抽出することで、撮像領域内の赤色成分だけを映し出した赤色画像を生成することができる。よって、赤色画像において所定輝度以上の輝度を有する画像領域が存在する場合、その画像領域はテールランプを映し出したテールランプ画像領域であると識別することが可能である。

また、撮像部２００で撮像した撮像画像データから、白色光（非分光）の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ，ｄ等に対応した画素データのみを抽出することで、撮像領域内のモノクロ輝度画像（鉛直偏光成分）を生成することができる。よって、赤色画像上の画像領域と、この画像領域に対応したモノクロ輝度画像上の画像領域との間の輝度比率（赤色輝度比率）を算出することもできる。この赤色輝度比率を用いれば、撮像領域内に存在する物体（光源体）からの光に含まれる相対的な赤色成分の比率を把握することができる。テールランプの赤色輝度比率は、ヘッドランプや他のほとんどの光源よりも十分に高い値をとるので、この赤色輝度比率を用いればテールランプの識別精度が向上する。

また、偏光情報について説明すると、本実施形態では、上述したとおり、撮像部２００で撮像した撮像画像データから、白色光（非分光）の鉛直偏光成分Ｐ／Ｃを受光する画像センサ２０６上の撮像画素ｂ，ｄ等に対応した画素データと、白色光（非分光）の水平偏光成分Ｓ／Ｃとを受光する画像センサ２０６上の撮像画素ｅ，ｇ等に対応した画素データとを抽出し、画像画素ごとに、これらの画像データ間の画素値（輝度）を比較した比較画像を得ることができる。具体的には、例えば、白色光（非分光）の鉛直偏光成分Ｐと白色光（非分光）の水平偏光成分Ｓとの差分値（Ｓ−Ｐ）を画素値とした差分画像を、比較画像として得ることができる。このような比較画像によれば、ヘッドランプから撮像部２００へ直接入射する直接光の画像領域（ヘッドランプ画像領域）と、ヘッドランプから雨路の水面で反射してから撮像部２００へ入射する間接光の画像領域とのコントラストを大きくとることができ、ヘッドランプの識別精度が向上する。

特に、比較画像としては、白色光（非分光）の鉛直偏光成分Ｐと白色光（非分光）の水平偏光成分Ｓとの比率（Ｓ／Ｐ）を画素値とした比率画像や、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を画素値とした差分偏光度画像などが好適に使用できる。一般に、水面などの水平な鏡面で反射した光は、水平偏光成分が常に強くなることが知られており、とくに水平偏光成分Ｓと鉛直偏光成分Ｐとの比率（Ｓ／Ｐ）や差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとった場合、その比率や差分偏光度は特定角度（ブリュースター角度）において最大となることが知られている。雨路では、散乱面であるアスファルト面に水が張られて鏡面に近い状態となるため、路面からのヘッドランプ反射光は水平偏光成分Ｓの方が強くなる。よって、路面からのヘッドランプ反射光の画像領域は、比率画像や差分偏光度画像においては、その画素値（輝度）が大きいものとなる。一方、ヘッドランプからの直接光は基本的には無偏光なので、比率画像や差分偏光度画像においては、その画素値（輝度）が小さいものとなる。この違いにより、ヘッドランプからの直接光と同じ程度の光量をもつ雨路面からのヘッドランプ反射光を適切に除外でき、ヘッドランプからの直接光をこのようなヘッドランプ反射光と区別して識別することができる。

図１８は、撮像部２００を用いて、雨の日にヘッドランプからの直接光とヘッドランプの雨路面で反射光（照り返し光）とを撮像し、それぞれの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出したときのヒストグラムである。図１８中の縦軸は、頻度を示しており、ここでは１に規格化してある。図１８中の横軸は、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））をとったものである。図１８からわかるように、ヘッドランプの雨路面で反射光は、ヘッドランプの直接光と比較して、水平偏光成分Ｓが相対的に大きい側（図中右側）に分布がシフトしていることがわかる。

図１９は、雨路面上を自車両が走行しているときにその進行方向前方のほぼ同一距離に先行車両と対向車両の両方が存在する状況を撮像部２００で撮像した場合の一例を示す模式図である。
このような状況においては、明るさ情報と距離情報だけでは、先行車両のテールランプ、雨路面からのテールランプの照り返し光、対向車両のヘッドランプ、雨路面からのヘッドランプの照り返し光を、互いに区別して検出することが困難である。

本実施形態によれば、このような状況でも、まず、先行車両のテールランプ及び雨路面からのテールランプの照り返し光と、対向車両のヘッドランプ及び雨路面からのヘッドランプの照り返し光との区別については、上述した分光情報を用いて高精度に識別できる。具体的には、明るさ情報や距離情報を用いて絞り込んだランプ画像領域において、上述した赤色画像の画素値（輝度値）あるいは赤色輝度比率が所定の閾値を超える画像領域は、先行車両のテールランプ又は雨路面からのテールランプの照り返し光を映し出したテールランプ画像領域であり、当該閾値以下である画像領域は、対向車両のヘッドランプ又は雨路面からのヘッドランプの照り返し光を映し出したヘッドランプ画像領域であると識別する。

また、本実施形態によれば、このように分光情報により識別した各ランプ画像領域について、上述した偏光情報を用いることにより、テールランプやヘッドランプからの直接光と照り返し光とを高い精度で識別できる。具体的には、例えば、テールランプに関しては、上述した水平偏光成分Ｓの赤色画像の画素値（輝度値）やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のテールランプからの直接光と雨路面からのテールランプの照り返し光とを識別する。また、例えば、ヘッドランプに関しては、上述した水平偏光成分の白色画像の画素値（輝度値）やその差分偏光度等を元に、水平偏光成分の頻度や強さの違いを利用して、先行車両のヘッドランプからの直接光と雨路面からのヘッドランプの照り返し光とを識別する。

次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図２０は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像部２００が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が２種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。

まず、ステップＳ１では、撮像部２００の画像センサ２０６によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ２０６の各撮像画素における輝度を示す信号を含む。次に、ステップＳ２では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。

ステップＳ３では、メモリに取り込まれた画像データから検出対象物（先行車両のテールランプ及び対向車両のベッドランプ）であると思われる輝度の高い画像領域（高輝度画像領域）を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。

高輝度画像領域抽出処理では、まず、ステップＳ３１において、画像センサ２０６上の各撮像画素の輝度値を所定の閾値輝度と比較することにより２値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、ステップＳ３２において、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、１つの高輝度画像領域として抽出される。

上述した高輝度画像領域抽出処理の後に実行されるステップＳ４では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右１対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。

まず、ペアランプ距離算出処理のために、ステップＳ４１では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像部２００が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップＳ４２のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像部２００における焦点距離ｆは既知であるため、撮像部２００の画像センサ２０６上の左右ランプ距離ｗ１を算出することにより、ペアランプまでの実際の距離ｘは、単純な比例計算（ｘ＝ｆ・ｗ０／ｗ１）により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。

ステップＳ５では、鉛直偏光成分Ｐの赤色画像と鉛直偏光成分Ｐの白色画像との比率（赤色輝度比率）を分光情報として用い、この分光情報から、ペアランプとされた２つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップＳ５１において、ペアランプとされた高輝度画像領域について、画像センサ２０６上の撮像画素ａ，ｆに対応した画素データと画像センサ２０６上の撮像画素ｂに対応した画素データとの比率を画素値とした赤色比画像を作成する。そして、ステップＳ５２において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。

続いて、ステップＳ６では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップＳ６１において、テールランプ画像領域について差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップＳ６２において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。

なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。また、運転者（ドライバー）がワイパーを稼働している場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理Ｓ６を実行するようにしてもよい。

以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。

〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線（区画線）を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。

本実施形態における白線検出処理では、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の鉛直偏光成分Ｐの偏光情報を用いる。なお、この白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めても良い。一般に、白線やアスファルト面は、可視光領域においてフラットな分光輝度特性を有することが知られている。一方、シアン光は可視光領域内の広帯域を含んでいるため、アスファルトや白線を撮像するには好適である。よって、前記構成例２における光学フィルタ２０５を用い、白色成分の鉛直偏光成分にシアン光の鉛直偏光成分を含めることで、使用する撮像画素数が増えるため、結果的に解像度が上がり、遠方の白線も検出することが可能となる。

本実施形態の白線検出処理において、多くの道路では、黒色に近い色の路面上に白線が形成されており、白色成分（非分光）の鉛直偏光成分Ｐの画像において白線部分の輝度は路面上の他部分より十分に大きい。そのため、路面部分のうち輝度が所定値以上である部分を白線として判定することにより、白線を検出することができる。特に、本実施形態では、使用する白色成分（非分光）の鉛直偏光成分Ｐの画像は、水平偏光成分Ｓがカットされているので、雨路からの照り返し光などを抑制した画像を取得することが可能となる。よって、夜間における雨路などからヘッドランプの照り返し光等の外乱光を白線と誤認識することなく、白線検出を行うことが可能である。

また、本実施形態における白線検出処理において、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐとの比較による偏光情報、例えば、白色成分（非分光）の水平偏光成分Ｓと鉛直偏光成分Ｐの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を用いてもよい。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の鉛直偏光成分Ｐと水平偏光成分Ｓとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。

図２１（ａ）及び（ｂ）は、雨天時において同じ撮像領域を撮像したモノクロ輝度画像（非分光・非偏光）と非分光の差分偏光度画像とを示す画像例である。
この画像例は、雨天時に撮影したものであるため、撮像領域が比較的暗く、また、路面は湿潤状態となっている。そのため、図２１（ａ）に示すモノクロ輝度画像では、白線と路面とのコントラストが小さい。これに対し、図２１（ｂ）に示す差分偏光度画像では、白線と路面とのコントラストが十分に大きい。よって、モノクロ輝度画像では白線を識別することが困難な状況下であっても、差分偏光度画像を用いれば白線を高精度に識別することが可能である。
また、画像例の右側部分の白線は、陰に重なっているため、図２１（ａ）に示すモノクロ輝度画像では、この右側の白線と路面とのコントラストが特に小さい。これに対し、図２１（ｂ）に示す差分偏光度画像では、この右側の白線と路面とのコントラストも十分に大きい。よって、モノクロ輝度画像では識別困難な白線についても、差分偏光度画像を用いれば高精度に識別することが可能である。

〔フロントガラス上の雨滴検出処理〕
以下、本実施形態における雨滴検出処理について説明する。
本実施形態では、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う目的で、付着物としての雨滴を検出する処理を行う。なお、ここでは、フロントガラス上に付着した付着物が雨滴である場合を例に挙げて説明するが、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどの付着物についても同様である。

本実施形態における雨滴検出処理では、撮像ユニット１０１から取得することができる情報のうち、前段フィルタ２１０の赤外光透過フィルタ領域２１２及び後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂにおける偏光フィルタ層２２５を透過した光を受光する雨滴検出用画像領域２１４の鉛直偏光成分Ｐの偏光情報を用いる。そのため、光源部２０２からフロントガラス１０５へ入射させる光は鉛直偏光成分Ｐを多く含むようにする必要がある。そのためには、例えば光源部２０２の光源として発光ダイオード（ＬＥＤ）を用いる場合、その光源部２０２とフロントガラス１０５との間に、鉛直偏光成分Ｐのみを透過させる偏光子を配置するのがよい。また、光源部２０２の光源として半導体レーザ（ＬＤ）を用いる場合、ＬＤは特定偏光成分の光のみを発光させることができるので、鉛直偏光成分Ｐのみの光がフロントガラス１０５に入射するようにＬＤの軸を合わせてもよい。

本実施形態では、上述したとおり、光源部２０２から照射されて反射偏向プリズム２３０からフロントガラス１０５の内壁面に入射した照明光（赤外光）は、フロントガラス１０５の外壁面上に雨滴が付着していない非付着箇所では、フロントガラス１０５の外壁面で正反射する。この正反射光は、画像センサ２０６に受光されて雨滴検出用画像領域２１４に映し出される。一方、フロントガラス１０５の外壁面上に雨滴が付着している付着箇所では、照明光がフロントガラス１０５の外壁面を透過し、その透過光が画像センサ２０６に受光されることはない。したがって、撮像画像データの雨滴検出用画像領域２１４は、フロントガラス１０５の外壁面に雨滴が付着していない非付着箇所は高輝度な画像部分（高い画素値）となる一方、雨滴が付着している付着箇所は低輝度な画像部分（低い画素値）となる。このような違いから、雨滴の有無だけでなく、雨滴の量も把握することが可能である。

図２２は、本実施形態における雨滴検出処理の説明図である。
本実施形態の雨滴検出処理では、撮像ユニット１０１から取得した撮像画像データの雨滴検出用画像領域２１４の情報を用い、雨滴量が一定量を超えたと判断したらワイパー１０７を駆動させる。詳しくは、雨滴検出用画像領域２１４を例えば図２２に示すように画像横方向に８区分に分割し、各区分内の合計画素値ＩＬ１〜ＩＬ８を算出する。そして、いずれかの区分の合計画素値ＩＬ１〜ＩＬ８が予め決められた閾値ＩＬｔｈを下回ったら、雨滴量が一定量を超えたと判断してワイパー１０７を駆動させる。逆に、いずれかの区分の合計画素値ＩＬ１〜ＩＬ８が予め決められた閾値ＩＬｔｈ以上になったら、ワイパー１０７の駆動を停止させる。なお、ワイパー１０７の駆動を開始させる条件や停止させる条件は、これに限らず適宜設定できる。例えば、閾値は固定値である必要はなく、撮像部２００が搭載される自車両周辺の状況変化等に応じて適宜変更するようにしてもよい。また、開始条件と停止条件の閾値は同じ値でも異なる値でもよい。

ここで、本実施形態のように光学フィルタ２０５を設けて外乱光を低減している構成であっても、雨滴検出用画像領域２１４に対応する赤外光透過フィルタ領域２１２を透過する外乱光（光源部２０２の発行波長と同じ外乱光）も存在するため、外乱光の影響を完全に除去することはできない。例えば、昼間は、太陽光の赤外波長成分が外乱光として影響するし、夜間は、対向車のヘッドライトに含まれる赤外波長成分が外乱光として影響する。このような外乱光があると、上述した各区分の合計画素値ＩＬ１〜ＩＬ８が外乱光分だけ高めに誤差が生じ、雨滴２０３を検出する際に誤検出を引き起こして適切な制御の妨げとなる。

このような誤検出を防ぐため、本実施形態では、光源部２０２の照明光の光量を画像センサ２０６の露光タイミングと同期させて制御している。具体的には、光源部２０２の照明光の光量が多いとき（第１光量のとき）の高照明時画像と、光源部２０２の照明光の光量が少ないとき（第２光量のとき）の低照明時画像とを撮像し、雨滴検出用画像領域２１４について、これらの差分画像（比較画像）を生成して、その差分画像に基づいて上述した雨滴検出処理を行う。

なお、光源部２０２で照明しているときの照明時画像と、光源部２０２を消灯したときの消灯時画像とを撮像して、その差分画像（比較画像）から上述した雨滴検出処理を行ってもよい。ただし、本実施形態においては、画像センサ２０６の各受光素子を流れる暗電流を考慮してゼロ基準を設定するダーク補正（ＢＬＣ）を行っている関係で、画像センサ２０６の出力レベルがゼロ基準に満たないような弱い外乱光の場合、消灯時画像にはその弱い外乱光が反映されない。その結果、照明時画像と消灯時画像の差分をとっても、外乱光の影響を排除した差分画像を得ることができず、外乱光による雨滴２０３の誤検出を抑制できない。

これに対し、本実施形態では、消灯時画像の代わりに、低照明時画像を用いることとしている。低照明時画像の撮像時においては、光源部２０２の照明光がフロントガラス１０５の外壁面で反射して画像センサ２０６に受光されるときの画像センサ２０６の出力レベルがゼロ基準を超えるように、光源部２０２の照明光の光量が設定されている。よって、高照明時画像だけでなく低照明時画像においても、外乱光を受光する画像センサ２０６の出力レベルがゼロ基準を上回るものとなる。そのため、外乱光が弱い状況下であっても、高照明時画像と低照明時画像の両方に、外乱光の影響を反映されることができる。その結果、高照明時画像と低照明時画像との差分をとることで、外乱光の影響が適切に排除された差分画像を得ることができる。

光源部２０２の照明光の光量を多くしたり少なくしたりする光量調整は、光量切替手段としての画像解析ユニット１０２の光量調整部１０２Ｂが行う。光量を切り替える具体的な方法しては、例えば、光源部２０２に設けられる各ＬＥＤ等の光源のパワーを変更したり、露光時間に対する光源の発光時間を変更したり、光源部２０２に設けられる複数のＬＥＤの点灯数を変更したりする方法が考えられる。

なお、高照明時画像と低照明時画像との間における照明光の光量差は、できるだけ広い方が好ましい。この光量差が大きいほど、差分画像において高いコントラストが得やすく、より高精度な雨滴検出が可能となるからである。本実施形態においては、低照明時画像の撮像時における照明光の光量を、高照明時画像の撮像時における照明光の光量の１／１０程度に設定するが、これに限らず適宜設定される。

外乱光のうち、太陽光などは多少時間が経過しても大きな変化がないが、自車両１００の走行中の対向車のヘッドライトなどは、わずかの時間経過で大きな変化が生じる場合がある。この場合、差分画像を得るための２つのフレームの時間的な間隔が開いていると、その間に外乱光の大きさが変わってしまい、差分画像を生成した際に、うまく外乱光をキャンセルできない可能性がある。このようなことを防ぐために、差分画像を得るための２つのフレームは連続するフレームであることが好ましい。

また、本実施形態においては、車両検出用画像領域２１３の画像情報を用いるために撮像される通常フレームでは、車両検出用画像領域２１３の輝度値に基づいた自動露光制御を行い、光源部２０２は消灯させておく。通常フレームを撮像している任意の合間に雨滴検知用の２つのフレームを連続して挿入する。この２つのフレームの撮像時において、露光制御は通常フレームの撮像時の自動露光制御ではなく、雨滴検知に適した露光制御を行う。

また、車両検出用画像領域２１３の画像情報を元に車両制御や配光制御等を行う場合には、撮像画像中央部の輝度値に合わせた自動露光制御（ＡＥＣ）を行うのが通常であるが、雨滴を検出するための２フレームについては、雨滴検知に最適な露光制御を行うのが好ましい。なぜなら、雨滴を検出するための２フレームの撮像時にも自動露光制御を行うと、光源部２０２の高照明時のフレームと光源部２０２の低照明時のフレームとで、その露光時間が変わってしまう場合があるためである。２つのフレーム間で露光時間が変わると、それぞれのフレームに含まれる外乱光の受光量が変わってしまい、差分画像によって外乱光を適切にキャンセルできないおそれがあるからである。よって、雨滴を検出するための２フレームについては、例えば、露光時間が同じなるように露光制御を行うのがよい。

また、雨滴検知用のフレームを用いずに、通常フレームと同じ撮像フレームを用いて雨滴検出処理を行うようにしてもよい。以下、２つの動作例について説明する。

〔撮像動作例１〕
図２３は、雨滴検知用のフレームを用いずに通常フレームと同じ撮像フレームを用いて雨滴検出処理を行う場合の撮像動作の一例（以下、「撮像動作例１」という。）を簡易的に示したタイミングチャートである。このタイミングチャートは、撮像動作の概要を把握するためのものであり、正確な制御タイミングを示すものではないので、例えば矢印の長さは時間の長さを正確に示すものではない。

本撮像動作例１における撮像部２００は、画像センサ２０６としてＣＣＤイメージセンサを用い、画像センサの全撮像画素を同時露光して撮像フレームを生成するグローバルシャッター方式を採用したものである。よって、本撮像動作例１においては、図２３に示すように、前フレーム周期Ｔ_ｎ−１に全撮像画素同時露光がなされた画像センサ２０６の各撮像画素の信号が、その次のフレーム周期Ｔ_ｎに読み出されることになる。

本撮像動作例１において、以下の３種類の撮像フレームを順次撮像するという撮像動作を繰り返す。
第１フレーム目の撮像フレームは、車線維持制御（ＬＤＷ：Lane Departure Warning）に用いられるものである。この撮像フレームの撮像動作時においては、露光条件としての露光時間ＦＥ_ＬＤＷが、例えば２０μｓ〜３３ｍｓの範囲内で自動露光制御される。したがって、例えば、昼間であれば２０μｓに近い露光時間ＦＥ_ＬＤＷが設定され、夜間であれば３３μｓに近い露光時間ＦＥ_ＬＤＷが設定される。
第２フレーム目の撮像フレームは、ヘッドランプの配光制御（ＡＨＢ：Auto High Beam）に用いられるものである。この撮像フレームの撮像動作時においては、露光条件としての露光時間ＦＥ_ＡＨＢが固定であり、昼夜を問わず、例えば４０μｓに設定される。
第３フレーム目の撮像フレームは、衝突回避制御（ＦＣＷ：Front Collision Warning）に用いられるものである。この撮像フレームの撮像動作時においては、露光条件としての露光時間ＦＥ_ＦＣＷが、例えば２０μｓ〜３３ｍｓの範囲内で自動露光制御される。したがって、例えば、昼間であれば２０μｓに近い露光時間ＦＥ_ＦＣＷが設定され、夜間であれば３３μｓに近い露光時間ＦＥ_ＦＣＷが設定される。

ここで、本実施形態においては、上述したとおり、フロントガラスに付着する雨滴（付着物）を検出する雨滴検出処理を行い、その雨滴検出結果を用いてワイパー駆動制御等を行う。この雨滴検出処理に用いる撮像画像データに適した露光条件は、レンズのフレアゴーストや光源部２０２からの照明光以外の外乱光の影響を小さくするために、なるべく露光量が少なくなる、すなわち露光時間を短く設定するのが好ましい。本撮像動作例１においては、上述した３種類の撮像フレームの中で、雨滴検出処理に適した露光条件に近い露光条件で撮像される撮像フレームを、雨滴検出処理に用いることとしている。具体的には、上述した３種類の撮像フレームのうち、ヘッドランプの配光制御ＡＨＢに用いる撮像フレームを雨滴検出処理に用いる。

特に、本実施形態においては、雨滴検出処理に用いる撮像画像データである雨滴検出用画像領域２１４に対応した雨滴検出用フィルタ部２２０Ｂには、光源部２０２が射出する赤外波長帯の赤外光に制限して透過させる赤外光透過フィルタ領域２１２等の波長制限手段としての光学フィルタ２０５が設けられている。このような光学フィルタ２０５は、その機能上、光透過損失が存在するため、光学フィルタ２０５を設けない場合と比較して、光源部２０２からの照明光が画像センサ２０６に受光される受光量が落ちる。そのため、光学フィルタ２０５を設けることで、光学フィルタ２０５を設けない場合と比較して、雨滴検出処理に用いる撮像画像データに適した露光時間を延ばすことができる。例えば、雨滴検出処理に用いる撮像画像データに適した露光時間が、光学フィルタ２０５を設けない場合には４μｓであるところ、光学フィルタ２０５を設けることで４０μｓとすることができる。その結果、雨滴検出処理の検出精度を落とすことなく、露光時間が４０μｓであるヘッドランプの配光制御ＡＨＢの撮像フレームを雨滴検出処理に利用することが可能となっている。

しかも、本撮像動作例１においては、雨滴検出処理に利用するヘッドランプの配光制御ＡＨＢに用いる撮像フレームは、固定された露光時間で撮像されるものである。よって、高照明時画像のためのフレームと低照明時画像のためのフレームとで同じ露光時間が設定される結果、適切な差分画像を得ることができる。もちろん、雨滴検出処理に利用する撮像フレームの種類は、露光時間が固定された撮像フレームに限られず、また、ヘッドランプの配光制御ＡＨＢの用途に利用される撮像フレームにも限られるものではない。

高照明時画像と低照明時画像は、例えば、上述した３種類の撮像フレームの繰り返し周期において、ある繰り返し周期におけるヘッドランプ配光制御ＡＨＢの撮像フレームの露光時には光源部２０２を高照明状態にして高照明時画像を撮像し、その次の繰り返し周期におけるヘッドランプ配光制御ＡＨＢの撮像フレームの露光時には光源部２０２を低照明状態にして低照明時画像を撮像するという動作を繰り返す。あるいは、光源部２０２を高照明状態にして撮像されるヘッドランプ配光制御ＡＨＢの撮像フレームと、光源部２０２を低照明状態にして撮像されるヘッドランプ配光制御ＡＨＢの撮像フレームを設けるようにしてもよい。例えば、第１フレーム目を、車線維持制御ＬＤＷ用の撮像フレームとし、第２フレーム目を、光源部２０２を高照明状態にしたヘッドランプ配光制御ＡＨＢ用の撮像フレームとし、第３フレーム目を、衝突回避制御ＦＣＷ用の撮像フレームとし、第４フレーム目を、光源部２０２を低照明状態にしたヘッドランプ配光制御ＡＨＢ用の撮像フレームとする。

また、本撮像動作例１においては、図２３に示すように、雨滴検出処理に用いる撮像フレームの露光期間以外の期間では、光源部２０２をＯＦＦにしている。これにより、光源部２０２を常時ＯＮにする場合よりも、消費電力を抑制できる。また、光源部２０２からの照明光は、その一部が車両検出用画像領域２１３にも映し出されることがあり、車両検出用画像領域２１３の外乱光となるおそれがある。そのため、雨滴検出処理には用いない車線維持制御ＬＤＷ用の撮像フレームや衝突回避制御ＦＣＷ用の撮像フレームについては、光源部２０２をＯＦＦにしておくことで、光源部２０２の照明光による外乱光を抑制し、これらの制御の高精度化を実現できる。

〔撮像動作例２〕
図２４は、雨滴検知用のフレームを用いずに通常フレームと同じ撮像フレームを用いて雨滴検出処理を行う場合の撮像動作の他の例（以下、「撮像動作例２」という。）を簡易的に示したタイミングチャートである。このタイミングチャートは、撮像動作の概要を把握するためのものであり、正確な制御タイミングを示すものではないので、例えば矢印の長さは時間の長さを正確に示すものではない。

本撮像動作例２における撮像部２００は、画像センサ２０６としてＣＭＯＳイメージセンサを用い、画像センサの撮像画素を部分的に順次露光して撮像フレームを生成するローリングシャッター方式を採用したものである。本撮像動作例２では、画像センサ２０６上に配列される撮像画素を一ラインごとに露光し、各ライン１〜Ｘの撮像画素の信号を順次読み出す。

本撮像動作例２においても、上述した撮像動作例１と同様、以下の３種類の撮像フレームを順次撮像するという撮像動作を繰り返す。また、本撮像動作例２においても、雨滴検出専用撮像フレームの追加、挿入するのではなく、上述した３種類の撮像フレームのうちのヘッドランプ配光制御ＡＨＢに用いる撮像フレームを雨滴検出処理に用いる。

ところで、上述した撮像動作例１においては、雨滴検出処理に用いるヘッドランプ配光制御ＡＨＢ用の撮像フレームの露光時には、光源部２０２がＯＮになっている。そのため、光源部２０２からの照明光の一部が、ヘッドランプ配光制御ＡＨＢ用の撮像フレームにおける車両検出用画像領域２１３にも映し出され、車両検出用画像領域２１３の外乱光となるおそれがある。この場合、その外乱光によってヘッドランプ配光制御ＡＨＢにおけるテールランプやヘッドランプの検出精度が落ち、ヘッドランプ配光制御ＡＨＢの精度が低下するおそれがある。

そこで、本撮像動作例２においては、図２４に示すように、ヘッドランプ配光制御ＡＨＢ用の撮像フレームの露光期間において、車両検出用画像領域２１３に対応するラインの露光時には光源部２０２をＯＦＦにし、雨滴検出用画像領域２１４に対応するラインの露光時には光源部２０２をＯＮ（高照明又は低照明）にするという光源制御を行っている。これにより、ヘッドランプ配光制御ＡＨＢ用の撮像フレーム中の車両検出用画像領域２１３については、光源部２０２の照明光による外乱の影響を抑制しつつ、その撮像フレーム中の雨滴検出用画像領域２１４については、光源部２０２の照明光による雨滴検出が可能となる。しかも、ヘッドランプ配光制御ＡＨＢ用の撮像フレームの露光期間中ずっと光源部２０２をＯＮにする場合よりも、消費電力を抑制することもできる。

また、本撮像動作例２のようなローリングシャッター方式の場合、例えば、ヘッドランプ配光制御ＡＨＢの撮像フレームにおける雨滴検出用画像領域２１４に対応するラインの露光時に、１又は２以上のライン単位で光源部２０２の高照明／低照明を繰り返すという光源制御を行うことができる。このような光源制御によれば、１つの撮像フレーム内における雨滴検出用画像領域２１４だけで高照明時画像と低照明時画像との差分情報を得ることができる。この差分情報は、時間ずれのない差分情報であるため、より高精度な雨滴検出を実現できる。

次に、本発明の特徴部分である、温度変化に起因した雨滴量検出誤差の補正処理について説明する。
以下の説明では、説明の簡略化のため、低照明時画像に代えて消灯時画像を用い、照明時画像（高照明時画像）と消灯時画像との差分画像に基づいて雨滴量の検出を行う例で説明する。また、ここでは、温度変化を例に挙げて説明するが、湿度などの他の状況の変化によって雨滴量の誤検出が生じる場合でも同様である。

図２５は、本実施形態における雨滴量の検出処理をモデル化した検出モデルである。
本実施形態における雨滴量の検出処理では、図２２に示したように雨滴検出用画像領域２１４を画像横方向に８区分に分割し、各区分内の合計画素値ＩＬ１〜ＩＬ８を算出する。以下、各区分をｘ（＝１〜８）とし、ある時刻ｔにおける各区分ｘの合計画素値をｙ（ｘ，ｔ）とする。本実施形態の雨滴量検出処理において、各区分ｘの合計画素値ｙ（ｘ，ｔ）は、入力電流値ｉ（ｔ）に応じた光量の照明光が光源部２０２から射出され、フロントガラス１０５の外壁面で雨滴付着の有無に応じた反射率ｒ（ｘ，ｔ）で反射した反射光が画像センサ２０６に受光されることにより得られる。

照明光が光源部２０２から射出されて画像センサ２０６に受光されるまでの間、その照明光は反射偏向プリズム２３０やフロントガラス１０５等の光学部材を経由する。このときの伝達効率ｅは、各光学部材の不均一性等により区分ｘごとに異なり、また温度変化によって各光学部材の光学特性が変化することから、ｅ（ｘ，ｔ）で表すことができる。更に、画像センサ２０６には、照明光以外の外乱光ｄ（ｘ，ｔ）も受光される。

以上の条件により、画像センサ２０６のセンサ特性をｆとすると、下記の式（１）が得られる。なお、下記の式（１）中「ｅ（ｘ，ｔ）・ｉ（ｔ）」の項は、フロントガラス１０５上に雨滴が存在しない場合に照明光が全反射して画像センサ２０６に受光される成分である。
ｙ（ｘ，ｔ） ＝ ｆ［ｅ（ｘ，ｔ）×ｉ（ｔ）×ｒ（ｘ，ｔ） ＋ ｄ（ｘ，ｔ） ＋ ｅ（ｘ，ｔ）×ｉ（ｔ）］ ・・・（１）

センサ特性ｆが線形だと仮定すると、前記式（１）から下記の式（２）が得られる。
ｙ（ｘ，ｔ） ＝ ｅ（ｘ，ｔ）×ｉ（ｔ）×ｒ（ｘ，ｔ） ＋ ｄ（ｘ，ｔ） ＋ ｅ（ｘ，ｔ）×ｉ（ｔ） ・・・（２）

ここで、ｙ_OFF（ｘ，ｔ）を消灯時画像とし、ｙ_ON（ｘ，ｔ）を照明時画像とすると、消灯時画像ではｉ（ｔ）＝０であるため、ｙ_OFF（ｘ，ｔ）＝ｄ（ｘ，ｔ）となる。照明時画像のｙ_ON（ｘ，ｔ）は、前記式（２）のとおりであるため、照明時画像と消灯時画像との差分画像［ｙ_ON（ｘ，ｔ）−ｙ_OFF（ｘ，ｔ）］は、下記の式（３）のとおりである。
ｙ_ON（ｘ，ｔ）−ｙ_OFF（ｘ，ｔ） ＝ ｅ（ｘ，ｔ）×ｉ（ｔ）×ｒ（ｘ，ｔ） ＋ ｅ（ｘ，ｔ）×ｉ（ｔ） ・・・（３）

本雨滴量検出処理で求めるのは、雨滴量と相関のある反射率ｒ（ｘ，ｔ）である。よって、前記式（３）を反射率ｒ（ｘ，ｔ）について解くと、下記の式（４）が得られる。
ｒ（ｘ，ｔ） ＝ ［ｙ_ON（ｘ，ｔ）−ｙ_OFF（ｘ，ｔ）］／［ｅ（ｘ，ｔ）×ｉ（ｔ）］ − １ ・・・（４）

ここで、想定している規定温度からの温度変化が生じた場合、光源部２０２の光源の発光出力が変化したり、光源を実装しているセンサ基板２０７の歪み（反り）の量が変化したり、反射偏向プリズム２３０やフロントガラス１０５の歪み量が変化したりして、雨滴量変化に関係なく、各区分ｘの合計画素値ｙ（ｘ，ｔ）が変化する。この温度変化による影響は、前記検出モデルにおける効率ｅ（ｘ，ｔ）の変動として現れる。

ここで、効率ｅ（ｘ，ｔ）の変動要因（外乱要因）は、温度変化に限らず、その他の時間変化要因（湿度変化など）も存在するが、効率ｅ（ｘ，ｔ）の変動に最も大きく影響する外乱要因は温度変化であることが判明している。そのため、以下の説明では、効率ｅ（ｘ，ｔ）の変動に最も大きく影響する外乱要因が温度変化であることを前提として、温度変化に起因した雨滴量検出誤差の補正処理を行う。

本実施形態における雨滴量検出誤差の補正処理では、８つの区分ｘの各合計画素値ｙ（ｘ，ｔ）を用いるところ、同時に８つの観測点（各区分ｘ）におけるｙ（ｘ，ｔ）が得られるという特徴がある。温度変化による誤差（すなわち規定温度時に対する誤差）の大きさやその誤差の時間変化は、区分ｘごとに相違する。この相違を利用すれば、検出した各区分ｘの合計画素値ｙ（ｘ，ｔ）にそれぞれ含まれる各温度変化成分（各区分ｘの温度変化による誤差）を特定することが可能である。

詳しく説明すると、各区分ｘの合計画素値ｙ（ｘ，ｔ）に含まれる温度変化成分は、時間ｔの経過により温度が変われば、それぞれの温度変化特性に応じて変化するものである。温度変化が生じると、光源部２０２を実装したセンサ基板２０７の歪み等による照明光の偏りや反射偏向プリズム２３０等の光学部材の歪みなどが生じる。このとき、各区分ｘにそれぞれ受光される光の光路は互いに異なることから、照明光の偏りや光学部材の歪み等に起因した各区分ｘの受光量変化が、区分ｘごとに異なるものとなる。したがって、各区分ｘの合計画素値ｙ（ｘ，ｔ）についての温度変化特性は区分ｘごとに異なるものとなる。この区分ｘごとに温度変化特性が異なることを利用して、検出した各区分ｘの合計画素値ｙ（ｘ，ｔ）にそれぞれ含まれる各温度変化成分（各区分ｘの温度変化による誤差）を特定する。

具体的には、まず、本実施形態における撮像ユニット１０１に固有の各区分ｘの温度変化特性を取得する必要がある。この温度変化特性の取得は、少なくとも初期時に行えばよいが、その後の経時使用により温度変化特性が変化し得る場合には、適切なタイミングで温度変化特性を取得、更新する処理を行ってもよい。温度変化特性を取得する方法は、特に制限はないが、例えば、以下のように主成分分析を用いて取得する方法が挙げられる。以下、主成分分析を用いて各区分ｘの温度変化特性を取得する場合を例に挙げて説明する。

図２６は、本実施形態における温度変化に起因した雨滴量検出誤差の補正処理の流れを示すフローチャートである。
主成分分析を用いて各区分ｘの温度変化特性を取得する場合、まずは、フロントガラス１０５上に雨滴が付着しておらず、かつ、なるべく広い温度範囲で温度が時間変化している状況下において、各区分ｘの合計画素値ｙ（ｘ，ｔ）を十分な数だけサンプリングする（Ｓ１）。このとき、時間変化に応じて温度変化させているため、ｙ（ｘ，ｔ）はｙ（ｘ，Ｔ）（Ｔは温度）に相当する。このときの各区分ｘの合計画素値ｙ（ｘ，ｔ）は、照明時画像と消灯時画像との差分画像における各区分ｘの合計画素値であり、［ｙ_ON（ｘ，ｔ）−ｙ_OFF（ｘ，ｔ）］により得られる。

このようにしてサンプリングしたｙ（ｘ，ｔ）のデータ群を主成分分析し（Ｓ２）、第一主成分についての主成分負荷量ｚ（ｘ）を抽出、保存する（Ｓ３）。具体的には、ｙ（ｘ，ｔ）の分散共分散行列Ａ＝ｃｏｖ（ｙ）を演算し、下記の式（５）に示す固有値方程式を解くことで、下記の式（６）の関係を満たす固有値λと固有ベクトルＺを求める。このとき、もっとも大きな固有値λに対応する固有ベクトルＺが第１主成分に対応するので、これを第一主成分についての主成分負荷量ｚ（ｘ）として取得する。なお、区分ｘの数が８個である本例においては、分散共分散行列Ａが８×８の行列となる。
ｄｅｔ（λＥ−Ａ） ＝ ０ ・・・（５）
Ａ・Ｚ ＝ λ・Ｚ ・・・（６）

主成分分析における第一主成分負荷量は、もっとも影響の大きな要因によるデータのばらつきに対応したものである。ここでは、データのばらつきに最も大きな影響を与えているのは温度変化であるので、主成分分析における第一主成分負荷量は、温度変化によってばらついているデータに対応したものと取り扱うことができる。

主成分分析により得られる第一主成分負荷量ｚ（ｘ）は、区分ｘごとの各第一主成分負荷量（固有値）ｚ１〜ｚ８からなる情報であり、各第一主成分負荷量ｚ１〜ｚ８は、温度と各区分ｘの合計画素値ｙ（ｘ，ｔ）との相関係数であり、それぞれの区分ｘにおける温度変化特性を示すものである。この第一主成分負荷量ｚ（ｘ）は、本実施形態における撮像ユニット１０１に固有の値であるため、撮像ユニット１０１の内部メモリ２０９に保持しておくのが好ましい。

このようにして、各区分ｘの温度変化特性である第一主成分負荷量ｚ（ｘ）を相関値情報として保存した後、上述した雨滴検出処理のとおり、照明時画像と消灯時画像との差分画像から各区分ｘの合計画素値ｙ（ｘ，ｔ）＝ｙ_ON（ｘ，ｔ）−ｙ_OFF（ｘ，ｔ）を取得する（Ｓ４）。そして、保存された第一主成分負荷量ｚ（ｘ）と、取得した各区分ｘの合計画素値ｙ（ｘ，ｔ）との相関演算を行い、外乱要因値Ｓを算出する（Ｓ５）。具体的には、下記の式（７）に示す相関演算式を解いて外乱要因値Ｓを算出する。

このようにして得られる外乱要因値Ｓは、今回の各区分ｘの合計画素値ｙ（ｘ，ｔ）の取得時点における温度に依存する。したがって、この外乱要因値Ｓを、温度と各区分ｘの合計画素値ｙ（ｘ，ｔ）との相関係数である第一主成分負荷量ｚ（ｘ）に乗じることにより、今回得られた差分画像における各区分ｘの合計画素値ｙ（ｘ，ｔ）に含まれる温度変化成分（外乱変動成分）が求められる。よって、温度変化成分を除外した各区分ｘの合計画素値ｙ’（ｘ，ｔ）は、下記の式（８）より算出することができる（Ｓ６）。
ｙ’（ｘ，ｔ） ＝ ｙ（ｘ，ｔ） − Ｓ×ｚ（ｘ） ・・・（８）

このようにして温度変化成分を除外した各区分ｘの合計画素値ｙ’（ｘ，ｔ）を求めた後は、この合計画素値ｙ’（ｘ，ｔ）を用いて上述した雨滴量検出処理を行う（Ｓ７）。すなわち、雨滴検出用画像領域２１４における８つの区分の合計画素値ＩＬ１〜ＩＬ８としてｙ’（ｘ，ｔ）を用い、いずれかの区分ｘの合計画素値ｙ’（ｘ，ｔ）が予め決められた閾値ＩＬｔｈを下回ったら、雨滴量が一定量を超えたと判断してワイパー１０７を駆動させる。逆に、いずれかの区分ｘの合計画素値ｙ’（ｘ，ｔ）が予め決められた閾値ＩＬｔｈ以上になったら、ワイパー１０７の駆動を停止させる。

そして、所定の温度変化特性の再取得タイミングが到来したら（Ｓ８のＹｅｓ）、上述した処理ステップＳ１〜Ｓ３の処理を行って、サンプリングしたｙ（ｘ，ｔ）のデータ群の主成分分析の結果から得られる第一主成分負荷量ｚ（ｘ）を抽出、保存する。その後は、新たな第一主成分負荷量ｚ（ｘ）を用いて雨滴量検出処理（Ｓ４〜Ｓ７）を繰り返し行う。

図２７は、一定の照明光で照明した撮像環境下において０℃〜６０℃まで温度を上昇させたときの各区分ｘの合計輝度値を検出した実験結果を示すグラフである。
このグラフの縦軸は、基準となる照明光の受光量がゼロとなるように規格化したものであり、かつ縦軸を雨量に相当する値とするため、正負を判定させている。このグラフの横軸は、時間をとっているが、温度と同義である。また、この実験は、区分数が１６個である場合の例である。

図２７のグラフにおいて、符号Ａで示すデータ群が本実施形態の雨滴量検出誤差の補正処理を実行していない場合の各区分ｘの雨滴検出量ｙ（ｘ，ｔ）である。このデータ群は、時間が経過するにつれて検出される各区分ｘの雨滴検出量ｙ（ｘ，ｔ）が上昇しており、温度変化による影響を受けていることがわかる。

これに対し、符号Ｂで示すデータ群は、本実施形態の雨滴量検出誤差の補正処理を実行した場合の各区分ｘの雨滴検出量ｙ’（ｘ，ｔ）である。このデータ群は、時間が経過しても当該補正処理により各区分ｘの雨滴検出量ｙ’（ｘ，ｔ）がほぼ一定を保たれており、温度変化成分が適切に除外されている。

〔変形例〕
次に、本実施形態の一変形例について説明する。
上述した実施形態においては、反射偏向プリズム２３０を用い、雨滴の付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の非付着箇所では照明光がフロントガラス外壁面で反射して画像センサ２０６に受光される構成であった。これに対し、本変形例は、雨滴の非付着箇所では照明光がフロントガラス外壁面を透過し、雨滴の付着箇所ではフロントガラス外壁面を透過した照明光が雨滴で反射して画像センサ２０６に受光される構成である。具体的には、図２８に示すような構成である。

なお、図２８の例では、光源部２０２から出射した照明光が直接フロントガラス１０５の内壁面に入射する構成となっているが、ミラー等の光路変更部材を介する構成としてもよい。この場合、上述した実施形態と同様に、センサ基板２０７上に照明手段としての光源部２０２を実装することが可能となる。

図２８中の光線Ａは、光源部２０２から出射してフロントガラス１０５を通過する光線である。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源部２０２からフロントガラス１０５に向けて照射された光は、光線Ａのように、フロントガラス１０５を透過してそのまま自車両１００の外部に漏れ出る。

図２８中の光線Ｂは、光源部２０２からの出射光がフロントガラス１０５の内壁面で正反射して撮像部２００へ入射する光線である。光源部２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面で正反射する。この正反射光（光線Ｂ）の偏光成分は、一般に、その入射面に対して直交する方向（図２８の紙面に対して垂直な方向）に振動するＳ偏光成分（水平偏光成分Ｓ）が支配的であることが知られている。光源部２０２から照射されてフロントガラス１０５の内壁面で正反射した正反射光（光線Ｂ）は、フロントガラス１０５の外壁面に付着する雨滴２０３の有無によって変動しないので、雨滴検出に不要な光であるばかりか、雨滴検出の検出精度を低下させる外乱光となる。本変形例では、光線Ｂ（水平偏光成分Ｓ）が雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５によってカットされるので、この光線Ｂによって雨滴検出精度が低下することを抑制できる。

図２８中の光線Ｃは、光源部２０２からの出射光がフロントガラス１０５の内壁面を透過し、その後、フロントガラス１０５の外壁面に付着する雨滴で反射して撮像部２００へ入射する光線である。光源部２０２からフロントガラス１０５へ向かう光の一部はフロントガラス１０５の内壁面を透過するが、その透過光は水平偏光成分Ｓよりも鉛直偏光成分Ｐの方が多い。そして、フロントガラス１０５の外壁面上に雨滴２０３が付着している場合、フロントガラス１０５の内壁面を透過した光は、前記光線Ａのように外部へ漏れ出ずに、雨滴内部で多重反射して撮像部２００側に向けて再度フロントガラス１０５内を透過し、撮像部２００に入射する。このとき、撮像部２００の光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２は、光源部２０２の発光波長（赤外光）を透過させるように構成されているので、光線Ｃは赤外光透過フィルタ領域２１２を通過する。また、続く後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５は、鉛直偏光成分Ｐを透過するようにワイヤーグリッド構造の金属ワイヤーの長手方向が形成されているため、光線Ｃは偏光フィルタ層２２５も透過する。よって、光線Ｃは、画像センサ２０６に到達し、その受光量によって雨滴の検出が行われる。

図２８中の光線Ｄは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像部２００の雨滴検出用フィルタ部２２０Ｂに向かって入射してくる光線である。この光線Ｄも雨滴検出時の外乱光となり得るが、本変形例では、その光線Ｄの大部分が、光学フィルタ２０５における前段フィルタ２１０の赤外光透過フィルタ領域２１２によってカットされる。よって、この光線Ｄによって雨滴検出精度が低下することも抑制できる。

図２８中の光線Ｅは、フロントガラス１０５の外部からフロントガラス１０５を透過して撮像部２００の車両検出用フィルタ部２２０Ａに向かって入射してくる光線である。この光線Ｅは、光学フィルタ２０５における前段フィルタ２１０の赤外光カットフィルタ領域２１１によって赤外光帯域がカットされ、可視域の光のみが撮像される。この撮像画像は、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の検出などに利用される。

本変形例においても、雨滴検出用画像領域２１４に対応する赤外光透過フィルタ領域２１２を透過する外乱光（光源部２０２の発行波長と同じ外乱光）があると、雨滴検出用画像領域２１４の各区分の合計画素値ＩＬ１〜ＩＬ８が外乱光分だけ高めに誤差が生じる。本変形例では、雨滴の付着箇所に対応する画素値が高く、雨滴の非付着箇所に対応する画素値が低いので、外乱光の影響により、雨滴が付着していない箇所を雨滴の付着箇所であると判断する誤検出を招く。

この誤検出は、上述した実施形態と同様に差分画像を得ることで外乱光の影響を排除して解消することが可能である。ただし、ダーク補正（ＢＬＣ）により設定されたゼロ基準に満たないような弱い外乱光の場合、従来のように点灯時画像と消灯時画像との差分画像を得る方法では、消灯時画像に弱い外乱光が反映されないために、差分画像により外乱光の影響を排除できず、外乱光による雨滴の誤検出を解消できない。

また、本変形例においても、従来の消灯時画像の代わりに低照明時画像を用いることによって、高照明時画像と低照明時画像の両方に、弱い外乱光の影響を反映させることができる。その結果、高照明時画像と低照明時画像との差分をとることで、外乱光の影響が適切に排除された差分画像を得ることができる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源部２０２等の照明手段によって照明される照明範囲を撮像ユニット１０１等の撮像手段により撮像して得られる雨滴検出用画像領域２１４等の撮像画像に基づいて該照明範囲内に存在する雨滴２０３等の検出対象物を検出するための画像処理を実行する画像解析ユニット１０２等の画像処理装置において、前記撮像画像を区分けして得られる複数の区分ｘごとの合計画素値ｙ（ｘ，ｔ）等の画素値情報と温度等の所定の外乱要因の大きさを示す外乱要因値との相関値情報である第一主成分負荷量ｚ（ｘ）等を記憶する撮像ユニット１０１の内部メモリ２０９等の記憶手段と、前記複数の区分ごとの画素値情報と前記相関値情報とから外乱要因値Ｓを演算し、該外乱要因値に基づいて温度変化成分Ｓ×ｚ（ｘ）等の所定の外乱変動成分を除外した後の合計画素値ｙ’（ｘ，ｔ）等の画素値情報を用いて、前記画像処理を実行するＣＰＵ等の処理実行手段とを有することを特徴とする。
所定の外乱要因の変動に対して画素値情報がどのように変化するかは、区分ごとに相違する。このことから、各区分の画素値情報の相互の関係性と、これらの画素値情報を取得した時点において生じている外乱要因の大きさ（外乱要因値）との間に、高い相関関係を見出すことができる。本態様においては、この相関関係を示す相関値情報が記憶手段に記憶されている。そして、本態様では、検出対象物を検出するための画像処理を実行するために各区分の画素値情報を取得したら、各区分における画素値情報と前記相関値情報とから、外乱要因値を演算する。この外乱要因値を用いることで、今回の各区分の画素値情報を取得した時点においてその画素値情報に含まれる外乱変動成分を特定することが可能となる。本態様では、このように特定できる外乱変動成分を今回取得した各区分の画素値情報から除外し、これにより得られる除外後の画素値情報を用いて前記画像処理を実行する。よって、外乱要因の変動に起因した検出対象物の誤検出を抑制できる。

（態様Ｂ）
前記態様Ａにおいて、前記処理実行手段が前記画像処理に用いる画素値情報は、前記複数の区分ごとの画素値情報と前記相関値情報とから演算した外乱要因値と該相関値情報とを用いて該複数の区分ごとの画素値情報に含まれる外乱変動成分を算出し、該複数の区分ごとの画素値情報から該外乱変動成分を除外した後の画素値情報であることを特徴とする。
これによれば、各区分の画素値情報を取得した時点においてその画素値情報に含まれる外乱変動成分を精度よく特定することができる。

（態様Ｃ）
前記態様Ａ又はＢにおいて、前記相関値情報は、前記外乱要因値が規定変動幅以上に変動する状況下で前記複数の区分ごとに取得した規定量以上の画素値情報を主成分分析して得られる主成分負荷量であることを特徴とする。
画素値情報を変動させる外乱要因は未知な要因を含めて複合的に影響しているが、所定の外乱要因に関する相関値情報を得るためには、当該所定の外乱要因に起因して変化する分の画素値情報を抽出する必要がある。このような抽出の方法としては主成分分析が有用である。具体的には、外乱要因値が規定変動幅以上に変動する状況下で、種々の外乱要因の影響を受けている規定量以上の画素値情報を取得し、その取得した画素値情報の中から主成分分析を用いて所定の外乱要因に起因した分の画素値情報を抽出することができる。

（態様Ｄ）
前記態様Ｃにおいて、前記相関値情報は、前記主成分分析して得られる第１主成分負荷量を含むことを特徴とする。
画素値情報を変動させる影響が最も大きい外乱要因に関する相関値情報を得ることができる。

（態様Ｅ）
前記態様Ａ〜Ｄのいずれかの態様において、前記所定の外乱要因は温度であることを特徴とする。
これによれば、温度変化に起因した検出対象物の誤検出を抑制できる。

（態様Ｆ）
前記態様Ａ〜Ｅのいずれかの態様において、前記画素値情報は、前記複数の区分ごとの画素値の総和又は平均値を示す情報である。
これによれば、簡易な処理で、外乱要因の変動に起因した検出対象物の誤検出を抑制できる。

（態様Ｇ）
前記態様Ａ〜Ｆのいずれかの態様において、前記記憶手段は前記撮像手段に設けられていることを特徴とする。
記憶手段に記憶される相関値情報は、撮像手段ごとに固有の情報であるため、前記撮像手段に一緒に相関値情報を管理することが望ましく、本態様によれば、その管理が容易になる。

（態様Ｈ）
前記態様Ａ〜Ｇのいずれかの態様において、前記照明範囲全域にわたって前記照明手段からの照明光が前記光透過性部材を経由して前記画像センサに受光される状況下、かつ、前記外乱要因値が規定変動幅以上に変動する状況下で前記複数の区分ごとに取得した規定量以上の画素値情報に基づいて、前記相関値情報を生成して前記記憶手段に記憶させる相関値情報生成記憶処理手段を有することを特徴とする。
これによれば、経時使用により相関値情報が変化して、外乱要因の変動に起因した検出対象物の誤検出が広がる状況になり得る場合でも、相関値情報を更新して、外乱要因の変動に起因した検出対象物の誤検出を抑制できる。

（態様Ｉ）
前記態様Ｈにおいて、前記外乱要因値が規定変動幅以上に変動することを検知する温度センサ等の検知手段を有することを特徴とする。
これによれば、外乱要因値が規定変動幅以上に変動する状況を適切に把握することができ、適切な相関値情報を生成することができる。

（態様Ｊ）
光源部２０２等の照明手段によって照明される照明範囲を撮像ユニット１０１等の撮像手段により撮像して得られる雨滴検出用画像領域２１４等の撮像画像に基づいて該照明範囲内に存在する雨滴２０３等の検出対象物を検出するための画像処理を実行する画像解析ユニット１０２等の画像処理手段と、前記画像処理手段による前記検出対象物の検出結果に基づいて、自車両１００等の移動体に搭載されたワイパー、ヘッドランプ、ハンドルやブレーキ等の所定の機器を制御するワイパー制御ユニット１０６、ヘッドランプ制御ユニット１０３、車両走行制御ユニット１０８等の移動体機器制御手段とを備えた車載機器制御システム等の移動体機器制御システムにおいて、前記画像処理手段として、前記態様Ａ〜Ｉのいずれかの態様に係る画像処理装置を用いたことを特徴とする。
これによれば、外乱要因の変動に起因した検出対象物の誤検出を抑制できるので、検出対象物の検出結果を用いる機器制御を高精度に行うことが可能となる。

（態様Ｋ）
照明手段によって照明される照明範囲を撮像手段により撮像して得られる撮像画像に基づいて該照明範囲内に存在する検出対象物を検出するための画像処理を実行し、前記撮像画像を区分けして得られる複数の区分ごとの画素値情報と所定の外乱要因の大きさを示す外乱要因値との相関値情報を記憶する記憶手段を備えた画像処理装置のコンピュータに実行させるための画像処理用プログラムであって、前記複数の区分ごとの画素値情報と前記相関値情報とから外乱要因値を演算し、該外乱要因値に基づいて所定の外乱変動成分を除外した後の画素値情報を用いて前記画像処理を実行する処理実行手段として、前記コンピュータを機能させることを特徴とする。
これによれば、外乱要因の変動に起因した検出対象物の誤検出を抑制できる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０８ 車両走行制御ユニット
２００ 撮像部
２０２ 光源部
２０３ 雨滴
２０６ 画像センサ
２０７ センサ基板
２０８ 信号処理部
２１４ 雨滴検出用画像領域
２３０ 反射偏向プリズム

特開２０１０−１４４９４号公報

Claims (10)

1. 照明手段によって照明される照明範囲を撮像手段により撮像して得られる撮像画像に基づいて該照明範囲内に存在する検出対象物を検出するための画像処理を実行する画像処理装置において、
   前記撮像画像を区分けして得られる複数の区分ごとの画素値情報と所定の外乱要因の大きさを示す外乱要因値との相関値情報を記憶する記憶手段と、
   前記複数の区分ごとの画素値情報と前記相関値情報とから外乱要因値を演算し、該外乱要因値に基づいて所定の外乱変動成分を除外した後の画素値情報を用いて、前記画像処理を実行する処理実行手段とを有し、
   前記相関値情報は、前記外乱要因値が規定変動幅以上に変動する状況下で前記複数の区分ごとに取得した規定量以上の画素値情報を主成分分析して得られる主成分負荷量であることを特徴とする画像処理装置。
2. 請求項１の画像処理装置において、
   前記処理実行手段が前記画像処理に用いる画素値情報は、前記複数の区分ごとの画素値情報と前記相関値情報とから演算した外乱要因値と該相関値情報とを用いて該複数の区分ごとの画素値情報に含まれる外乱変動成分を算出し、該複数の区分ごとの画素値情報から該外乱変動成分を除外した後の画素値情報であることを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記相関値情報は、前記主成分分析して得られる第１主成分負荷量を含むことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置において、
   前記所定の外乱要因は温度であることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか１項に記載の画像処理装置において、
   前記画素値情報は、前記複数の区分ごとの画素値の総和又は平均値を示す情報である画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置において、
   前記記憶手段は前記撮像手段に設けられていることを特徴とする画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置において、
   前記照明範囲全域にわたって前記照明手段からの照明光が光透過性部材を経由して画像センサに受光される状況下、かつ、前記外乱要因値が規定変動幅以上に変動する状況下で前記複数の区分ごとに取得した規定量以上の画素値情報に基づいて、前記相関値情報を生成して前記記憶手段に記憶させる相関値情報生成記憶処理手段を有することを特徴とする画像処理装置。
8. 請求項７の画像処理装置において、
   前記外乱要因値が規定変動幅以上に変動することを検知する検知手段を有することを特徴とする画像処理装置。
9. 照明手段によって照明される照明範囲を撮像手段により撮像して得られる撮像画像に基づいて該照明範囲内に存在する検出対象物を検出するための画像処理を実行する画像処理手段と、
   前記画像処理手段による前記検出対象物の検出結果に基づいて、移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
   前記画像処理手段として、請求項１乃至８のいずれか１項に記載の画像処理装置を用いたことを特徴とする移動体機器制御システム。
10. 照明手段によって照明される照明範囲を撮像手段により撮像して得られる撮像画像に基づいて該照明範囲内に存在する検出対象物を検出するための画像処理を実行し、前記撮像画像を区分けして得られる複数の区分ごとの画素値情報と所定の外乱要因の大きさを示す外乱要因値との相関値情報を記憶する記憶手段を備えた画像処理装置のコンピュータに実行させるための画像処理用プログラムであって、
    前記複数の区分ごとの画素値情報と前記相関値情報とから外乱要因値を演算し、該外乱要因値に基づいて所定の外乱変動成分を除外した後の画素値情報を用いて前記画像処理を実行する処理実行手段として、前記コンピュータを機能させるものであり、
    前記相関値情報は、前記外乱要因値が規定変動幅以上に変動する状況下で前記複数の区分ごとに取得した規定量以上の画素値情報を主成分分析して得られる主成分負荷量であることを特徴とする画像処理用プログラム。