JP6003396B2 - 撮像装置、車載用監視装置および対象物検知方法 - Google Patents

Description

本発明は、遠近双方の対象物を撮像し検知するのに有用な撮像装置、車載用監視装置および対象物検知方法に関するものである。

近年、自家用車両などでは、ルームミラー近傍に車載用監視装置を設置し、この車載用監視装置に搭載されるカメラで前方を撮像することにより各種運転支援を行う技術が取り入れられている。例えば白線等の走行区画線を画像認識することによる車線維持操舵制御や、フロンガラスに付着した雨滴の画像認識によりワイパーを作動させるオートワイパー機能などは、上記運転支援技術の一例である。

ところで、これらの運転支援技術を一台の車両に導入する場合、車載用監視装置には、遠方の走行区画線と、フロントガラス上の雨滴の双方を正確に検出することが求められる。かかる課題に対して、例えば特許文献１には、レンズを移動させることで焦点距離を切り換え可能なカメラを備え、対象物に応じて焦点距離を切り換えることで遠近双方の対象物を正確に検出することが可能な車載用監視装置が開示されている。

特開２００５−２２５２５０号公報

しかし、特許文献１の車載用監視装置は、レンズを駆動するための駆動機構をカメラに組み込む必要があるため、カメラの大型化に伴う前方視界の低下やコスト高などの懸念がある。また、遠近双方の領域を同時に撮像することができないため、対象物の検出にタイムラグが生じることも考えられる。

本発明は、上記の事情に鑑みて成されたものであり、コンパクトな構成で、遠近異なる位置の対象物を正確に検出することが可能技術を提供することを目的とする。

上記の課題を解決するために、出願人は、車載用監視装置に適用されるカメラに、一般的なカメラ技術である「絞り」を利用することを考えた。すなわち、絞りを絞れば（絞り値を大きくすれば）被写界深度が深くなるため、カメラに絞りを設け、遠近双方の対象物にピントが合うように予め絞り値を固定的に設定することを考えた。この構成によれば、従来のようなレンズの駆動機構は不要であり、コンパクトなカメラの構成で遠近双方の対象物を撮像し、検知することが可能となる。

ところが、このようにカメラに絞りを設ける場合には、絞りを設けない場合に比べてカメラ受光面（撮像センサ）に入射する光量が減少するため、夜間撮影時、特に、遠距離対象物の画像品質が低下し易くなるという課題がある。

このような課題は、以下のような本発明により解決される。すなわち、本発明の一の局面にかかる撮像装置は、対象物を撮像するためのカメラを備えた撮像装置であって、前記カメラは、第１波長域の光に感度を有する複数の第１受光部と前記第１波長域とは異なる第２波長域の光に感度を有する複数の第２受光部とを含む受光面を有し、前記第１波長域の光による画像と前第２波長域の光による画像とを撮像することが可能な撮像センサと、対象物の像を前記受光面上に結像させるためのレンズと、対象物からの光を絞る絞り部材と、を備え、かつ、これら撮像センサ、レンズおよび絞り部材が所定の位置関係で固定的に配設されるものであり、前記レンズは、前記受光面から所定距離の領域に位置する第１対象物の像であって前記第１波長域の光による像を前記受光面上に結像させる位置に配置され、前記絞り部材は、前記第２波長域の光のみを遮光する材料から形成され、かつ、当該第１対象物よりも前記受光面に近い領域に位置する第２対象物の像であって前記第２波長域の光による像が前記レンズにより前記受光面上に結像するように、当該第２対象物からの光のうち前記第２波長域の光を絞るように形成されているものである。より具体的には、前記第１波長域の光は可視光であり、前記第２波長域の光は赤外光である。

この撮像装置では、第１対象物（遠距離対象物）の像のうち可視光（第１波長域の光）による像が撮像センサの受光面上に結像する。また、第２対象物（近距離対象物）の像のうち赤外光（第２波長域の光）による像が撮像センサの前記受光面上に結像する。よって、撮像センサの受光部のうち、第１受光部に撮像される画像を取り出すことで第１対象物の合焦画像を取得することができ、また、第２受光部による画像を取り出すことで第２対象物の合焦画像を取得することが可能となる。しかも、絞り部材は、赤外光についてのみ機能を有するので、第１対象物からの光のうち可視光は遮光されることがない。従って、第１受光部により得られる第１対象物の画像、つまり遠距離対象物の像が光量不足によることが抑制される。

この撮像装置においては、前記第２波長域の光を照明光として前記第２対象物に向かって照射する照明手段をさらに備えているのが好適である。

この構成によれば、第２対象物からの赤外光の光量を補うことが可能となり、第２対象物をより良好に撮像することが可能となる。

一方、本発明の一の局面にかかる車載用監視装置は、上述した何れかの撮像装置を含み、前記カメラによる車両前方の撮像が可能となるように、前記撮像装置が車室内のフロントガラス近傍の位置に設置されるものである。より具体的には、前記カメラのレンズは、前記第１対象物として、車両よりも前方に位置する特定物の像を前記撮像センサの受光面上に結像させるように設けられ、前記カメラの絞り部材は、前記第２対象物として、前記フロントガラスの特定領域に付着した雨滴の像を前記受光面上に結像させるように形成されているものである。

この車載用監視装置によれば、特定物（第１対象物／遠距離対象物）の画像が光量不足になることを抑制しつつ、車両よりも前方に位置する当該特定物と、フロントガラス上の雨滴（第２対象物／近距離対象物）とを撮像することが可能となる。

この場合には、前記撮像装置は前記照明手段を備え、この照明手段が、車室側からフロントガラスの前記特定領域に向かって前記照明光を照射するものであるのが好適である。

この構成によれば、雨滴からの赤外光の光量を補うことが可能となるため、フロントガラス上の雨滴（第２対象物）をより良好に撮像することが可能となる。

この場合、前記照明手段は、前記フロントガラスの車外側の面および車室側の面で各々反射する前記照明光が前記カメラの光軸と平行又は略平行な方向以外の方向に向かうように、前記特定領域に対する前記照明光の照射角度が設定されているのが好適である。

この構成によれば、フロントガラスで反射した照明光が外乱光としてカメラに入射することが抑制される。そのため、フロントガラス上の雨滴（第２対象物）をより良好に撮像することが可能となる。

なお、上記車載用監視装置においては、前記カメラの撮像センサのうち、前記第１受光部により得られる画像であって前記特定物を含む第１画像に基づき前記特定物を検知し、前記第２受光部により得られる画像であって前記雨滴を含む第２画像に基づき前記雨滴を検知する検知手段をさらに含むものであるのが好適である。

この構成によれば、撮像装置により撮像される画像に基づき、前記特定物および前記雨滴を検知することが可能となる。

この場合、前記検知手段は、前記第１画像と前記第２画像とを比較することにより前記雨滴を検知するものであるが好適である。より具体的には、前記カメラの絞り部材は、前記特定物および前記雨滴の各像であって前記第２波長域の光による像が前記受光面上に結像するように形成されており、前記検知手段は、前記第２受光部により得られる画像であって前記特定物および前記雨滴を含む前記第２画像から前記第１画像を差し引ひいた差分画像を生成し、この差分画像に基づき前記雨滴を検知する。

この構成によれば、複雑な画像処理技術や画像処理プログラムを要することなく、比較的簡単な差分計算で雨滴を検知することが可能となる。

一方、本発明の一の局面にかかる対象物検知方法は、上述した撮像装置を用いて対象物を検知する方法であって、前記撮像装置を用いて、前記第１対象物を含む画像であって前記第１波長域の光による第１画像と前記第２対象物を含む画像であって前記第２波長域の光による第２画像とを撮像する撮像工程と、前記第１画像と前記第２画像とを比較することにより、前記第２対象物を検知する検知工程と、を含むものである。

この構成によれば、撮像装置（カメラ）により撮像される２つの画像、すなわち第１対象物を含む画像（第１波長域の光による画像）と、第１対象物および第２対象物を含む画像（第２波長域の光による画像）とに基づき第２対象物を比較的容易に検知することが可能となる。

この場合、前記検知工程では、前記第２画像から前記第１画像を差し引ひいた差分画像を生成し、この差分画像に基づき前記第２対象物を検知するのが好適である。

この構成によれば、高度な画像処理技術や画像処理プログラムを要することなく、比較的簡単な差分計算で第２対象物を検知することが可能となる。

以上説明したように、本発明の撮像装置によれば、従来のようなレンズ駆動機構等は不要であり、コンパクトな構成で遠近双方の対象物を良好に撮像することが可能となる。

本発明にかかる車載監視ユニット（車載用監視装置）が搭載された車両を示す部分断面図である。 車載監視ユニットの構成図である。 車載監視ユニットの構成を示すブロック図である。 （ａ）、（ｂ）は、カメラの原理を説明する図である。 撮像センサの受光面の構成を示す模式図である。 雨滴の抽出処理の方法を説明する図である。 照明装置による投光角度（照明光の照射角度）とフロントガラスでの反射光角度との関係を示す図（グラフ）である。

以下、添付図面を参照しながら本発明の好ましい実施の一形態について詳述する。

図１は、本発明に係る車載監視ユニット１０（本発明に係る車載用監視装置の一例）が搭載された自動車等の車両の一部を概略的に示している。同図に示すように、車載監視ユニット１０は、車両の車室内において、ルームミラー２の近傍位置、具体的には、ルームミラー２の側方であってフロントガラス１の室内側の面に固定されている。

当実施形態の車載監視ユニット１０は、各種運転支援を行うために車両前方を撮像するものである。当例の車載監視ユニット１０は、白線等の走行区画線の画像認識に基づく車線維持操舵制御、およびフロントガラス１に付着した雨滴の画像認識に基づくオートワイパー制御を実施するために当該車両に搭載されている。なお、車線維持操舵制御は、遠距離対象物を画像認識することによる運転支援の一例であり、また、オートワイパー制御は、近距離対象物を画像認識することによる運転支援の一例である。

車載監視ユニット１０は、図２及び図３に示すように、前方監視用のカメラ１２と、照明装置２２（本発明の照明手段に相当する）と、制御基板２０と、これらカメラ１２等が組み込まれるケーシング１１（図１に示す）とを備えている。なお、当例では、カメラ１２および照明装置２２が本発明の撮像装置に相当する。

カメラ１２は、フロントガラス１を介して走行区画線（本発明の特定物／第１対象物に相当する）を撮像するとともに、フロントガラス１に付着する雨滴（本発明の第２対象物に相当する）を撮像するために、車両前方に向かって僅か下方に指向する状態で、前記ケーシング１１を介してフロントガラス１に固定されている。

カメラ１２は、撮像センサ１８と、走行区画線や雨滴の像を撮像センサ１８の受光面上に結像させるためのレンズ１４と、レンズ１４を透過した光を絞る絞り１６（本発明の絞り部材に相当する）と、を含む。

撮像センサ１８は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）からなるエリアイメージセンサである。この撮像センサ１８は、可視光（約０．３８〜０．７５μｍ）による像と、近赤外光（約０．７５〜２．５μｍ）による像とを撮像可能な可視・赤外一体型センサである。より具体的に、前記撮像センサ１８は、図５に示すように、可視光にのみ感度を有する可視受光素子１９ａ（本発明の第１受光部に相当する）と、近赤外光にのみ感度を有する赤外受光素子１９ｂ（本発明の第２受光部に相当する）とを含み、これら受光素子１９ａ、１９ｂが同一平面内に規則的に配列された構成を有する。当例では、これら受光素子１９ａ、１９ｂが縦方向および横方向に交互にマトリクス状に配列されることにより、撮像センサ１８の前記受光面が形成されている。この構成により、撮像センサ１８は、撮像対象物（以下、単に対象物という）からの光（すなわち反射光）のうち可視光成分を可視受光素子１９ａで受光し、その受光量に応じた信号（画像信号）を制御基板２０に出力するとともに、前記反射光のうち近赤外光成分を赤外受光素子１９ｂで受光し、その受光量に応じた信号（画像信号）を制御基板２０に出力する。つまり、撮像センサ１８は、可視受光素子１９ａにより対象物の可視光画像を撮像し、赤外受光素子１９ｂにより対象物の近赤外光画像を撮像する。

前記レンズ１４は、車両よりも前方の遠距離領域に位置する対象物、すなわち前記走行区画線を基準としてその像が撮像センサ１８の受光面に結像するように、前記受光面の前方に所定の焦点距離を隔てて配置されている。

前記絞り１６は、レンズ１４と撮像センサ１８との間に配置されている。この絞り１６は、近赤外光のみを遮光する光学フィルタから形成されており、これにより対象物からの光（反射光）のうちレンズ１４を透過した近赤外光に対してのみ絞り機能を有する。具体的には、絞り１６は、前記フロントガラス１に付着した雨滴の像のうち、近赤外光による像がレンズ１４により撮像センサ１８の受光面に結像するようにその絞り値が設定されている。

この構成により、前記カメラ１２は、走行区画線については、可視光による像を撮像センサ１８の受光面に結像させ、また、雨滴については、近赤外光による像を前記受光面に結像させることが可能に構成されている。つまり、カメラ１２は、走行区画線の可視光による合焦画像（ピントが合った画像）と、雨滴の近赤外光による合焦画像を同時に撮像することが可能に構成されている。

なお、このカメラ１２によれば、上記の通り絞り１６が近赤外光についてのみ絞り機能を有することで、ピントの合った走行区画線（遠距離対象物）の画像を、その光量を確保しつつ良好に撮像する一方で、雨滴（近距離対象物）についてもピントのあった画像を取得することができる。ここで、その原理について簡単に説明する。

図４（ａ）は、遠距離対象物Ｏａの像が撮像センサの受光面Ｒｆに結像するように、焦点距離ｆ（レンズＬから受光面Ｒｆまでの距離）が設定されたカメラの構成を示す。この構成では、遠距離対象物Ｏａと近距離対象物Ｏｂとを同時に撮像しようとすると、遠距離対象物Ｏａについてはピントが合うものの、近距離対象物Ｏｂについてはピントが合わず画像がぼけたものとなる。この場合、図４（ｂ）に示すように、カメラに絞りＤを付加し、被写界深度を深くすれば、遠近両方の対象物Ｏａ、Ｏｂについてピントが合うこととなる。しかし、このカメラの構成では、遠近両方の対象物Ｏａ、Ｏｂについてピントが合うものの、対象物Ｏａ、Ｏｂからの光が絞られることで、特に、遠距離対象物Ｏａについては光量不足により薄暗くなり、遠距離対象物Ｏａを良好に撮像することが難しくなる。

この点、上記のカメラ１２は、可視・赤外一体型センサからなる撮像センサ１８を備え、走行区画線（遠距離対象物）にピントが合うように焦点距離が定められる一方で、近赤外光についてのみ機能を有する絞り１６が設けられ、雨滴（近距離対象物）にピントが合うように当該絞り１６の絞り値が設定されている。そのため、雨滴（近距離対象物）については、その近赤外光による像を撮像することで絞りの効いた合焦画像を得ることができ、他方、走行区画線（遠距離対象物）については、その可視光による像を撮像することで、絞り１６の影響を受けない、つまり遮光されない合焦画像を得ることができる、こととなる。

従って、このカメラ１２によれば、ピントの合った走行区画線（遠距離対象物）の画像を、その光量を確保しつつ良好に撮像する一方で、雨滴（近距離対象物）についてもピントのあった画像を取得することができる。

なお、前記カメラ１２において、レンズ１４、絞り１６及び撮像センサ１８は一定の位置関係が保持されるように、図外のフレーム部材に固定的に組み付けられている。

前記照明装置２２は、雨滴の撮像に必要な光を補うものである。上記の通り、カメラ１２による雨滴の撮像に際しては、絞り１６により近赤外光が一部遮光されることで撮像センサ１８への入射光量が低下する。照明装置２２は、この光量の低下を補うものである。

照明装置２２は、近赤外光ＬＥＤからなる投光器２４と、この投光器２４から照射される照明光をフロントガラス１の特定領域、すなわちカメラ１２による撮像領域に集光させるためのレンズ２６とを含む。この照明装置２２は、同図に示すように、上向きであってかつカメラ１２の光軸に対して照明光が所定の照射角度θＬ_１で照射されるように、前記ケーシング１１を介して前記フロントガラス１に固定されている。

なお、照明装置２２は、照明光のうちフロントガラス１の車外側の面および車室側の面で各々反射する反射光が、カメラ１２の光軸と平行および略平行な方向以外の方向に向かうように、照明光の照射角度が設定されている。これは、フロントガラス１における照明光の前記反射光がカメラ１２に外乱光として入射し易くなるためである。当例では、カメラ１２の光軸（図示の例では略水平）に対するフロントガラス１の傾斜角度θＬ_３は２３°である。この場合の照明装置２２による照明光の照射角度θＬ_１は、６５°を越える１８０°以下の範囲内であって極力６５°に近い角度であるのが望ましい。これは、上記の通り、６５°以下の角度では、図７に示すように、フロントガラス１の外面（室外側の面）および内面（室内側の面）で反射した照明光の反射光角度θＬ_２（当例では光軸に対する反射光の角度として定義する）が０°に近づく、つまり、反射光がカメラ１２の光軸と平行および略平行な方向に向かう結果、前記反射光が外乱光としてカメラ１２に入射し易くなるためである。同図中の斜線で示す領域は、レンズ１４に反射光が入射し易くなる反射光角度θＬ_２の範囲である。なお、当例では、照射角度θＬ_１は６５°に設定されており、これにより、カメラ１２に外乱光が入射することによる雨滴画像の画質の低下が抑制されるようになっている。

前記制御基板２０は、車載監視ユニット１０を統括的に制御するものである。この制御基板２０は、論理演算を実行する周知のＣＰＵ、そのＣＰＵを制御する種々のプログラム等を予め記憶するＲＯＭ、装置動作中に種々のデータを一時的に記憶するＲＡＭ等から構成されており、図３に示すように、その機能構成として、カメラコントローラ３２、投光器コントローラ３４、検出処理部３６（本発明の検知手段に相当する）および雨滴量測定部３８を含む。

カメラコントローラ３２および投光器コントローラ３４は、カメラ１２および照明装置２２の駆動をそれぞれ制御するものである。

検出処理部３６は、カメラ１２（撮像センサ１８）により撮像された画像に基づき、車両前方の走行区画線およびフロントガラス１に付着した雨滴を検出するものであり、雨滴量測定部３８は、検出処理部３６により検出される雨滴の量を求めるものである。

なお、当該車両には、その電装系統を統括的に制御する中央制御装置（ＥＣＵ）４０が備えられており、雨滴量測定部３８は、検出した雨滴量データをこの中央制御装置４０に出力する。この中央制御装置４０は、オートワイパー判断部４２およびワイパー制御部４４を含んでいる。オートワイパー判断部４２は、前記雨滴量測定部３８により検出された雨滴量と所定の比較値とを比較することでワイパー３の作動の要否を判断するとともに、ワイパー３を作動させる場合には、さらに前記雨滴量に基づきワイパー３の作動速度（払拭間隔）等の作動条件を演算し、当該作動条件でワイパー３を作動させるべくワイパー制御部４４に制御信号を出力する。

ここで、前記検出処理部３６による雨滴の検出処理について図５を用いて説明する。

前記車載監視ユニット１０では、予め設定された撮像条件（例えば設定された時間間隔など）に基づき前記撮像センサ１８による雨滴の撮像動作が実行される。具体的には、照明装置２２からフロントガラス１上の撮像領域に照明光（近赤外光）が照射されるとともに、これと同時にカメラ１２により前記撮像領域の撮像が行われる。これにより、例えば図６（左端の上下二図）に示すような画像を取得する。

図６は、撮像センサ１８により撮像された画像モデルを示しており、同図中に示す第１画像Ｇ１は、撮像センサ１８のうち可視受光素子１９ａにより撮像された画像を示し、第２画像Ｇ２（初期）は、赤外受光素子１９ｂにより撮像された画像を示す。各画像Ｇ１、Ｇ２中の符号Ｔａは、走行区画線の画像に相当し、同符号Ｔｂは、雨滴の画像に相当する。

検出処理部３６は、まず、撮像センサ１８により撮像された画像のうち、赤外受光素子１９ｂにより撮像された第２画像Ｇ２の画像データの明度調整を行う（ステップ１）。

具体的には、第２画像Ｇ２の明度が第１画像Ｇ１の明度と同等になるように、第１画像Ｇ１の明度に基づき第２画像Ｇ２の明度を補正する。つまり、赤外光画像である第２画像Ｇ２は、可視光画像である第１画像Ｇ１に比べて全体的に薄暗い画像になる傾向があるため、当該ステップ１の処理により、両画像Ｇ１、Ｇ２の明度が略均等になるように第２画像Ｇ２の明度を補正する。

なお、上記カメラ１２は、上記の通り走行区画線を基準に焦点距離が設定されているため、可視光画像である第１画像Ｇ１については、走行区画線の画像Ｔａはピントが合っているが、雨滴の画像Ｔｂはピントがぼけて殆ど写らない。これに対し、赤外光画像である第２画像Ｇ２については、上記の通り、絞り１６の効果により被写界深度が深くなるため、走行区画線および雨滴の画像Ｔａ、Ｔｂ共にピントが合っている。

第２画像Ｇ２の明度調整が終了すると、検出処理部３６は、当該第２画像Ｇ２の画像データから第１画像Ｇ１の画像データを差し引くことにより、その差分画像を生成し（ステップ２）、さらにこの差分画像を二値化画像に変換する（ステップ３）。これにより、第２画像Ｇ２から雨滴の画像Ｔｂの画像だけを抽出する。つまり、第２画像Ｇ２は走行区画線および雨滴の双方の画像Ｔａ、Ｔｂにピントが合った画像であるが、第１画像Ｇ１は、走行区画線の画像Ｔａにのみピントが合った画像であるため、上記のような差分画像を生成することで、第２画像Ｇ２から雨滴の画像Ｔｂのみを抽出することができる。

なお、差分画像を二値化画像へ変換するのは、差分画像のノイズを削除するためである。この変換は、検出処理部３６において予め設定されている閾値に基づき、差分画像の各画素のうち閾値よりも高い階調をブラック画素に、低い階調をホワイト画素に各々変換することにより行う。

検出処理部３６は、上記の処理により第２画像Ｇ２から抽出した雨滴の画像Ｔｂに基づき、例えば当該雨滴の画像Ｔｂの総面積を総雨滴量とみなして当該総雨滴量を演算し、この演算結果と所定の閾値と比較することで、ワイパー３の前記作動要否等の判断を行うように構成されている。

なお、当例では、照明装置２２による照明の下でフロントガラス１上の撮像領域をカメラ１２により撮像する工程が、本発明（対象物検知方法）の撮像工程に相当し、検出処理部３６による上記ステップ１〜ステップ３の処理が、本発明の検知工程に相当する。

以上のように、本発明の車載監視ユニット１０では、上記の通り、カメラ１２に一定の絞り値を有する絞り１６が組み込まれることでカメラ１２の被写界深度が深められており、このカメラ１２を用いて遠近の対象物を撮像することで、遠距離対象物である白線等の走行区画線と近距離対象物である雨滴の双方についてピントの合った画像を撮像できるようになっている。このようなカメラ１２の構成によれば、従来のようなレンズの駆動機構等は不要であり、従って、非常にコンパクトな構成で遠近双方の対象物（走行区画線、雨滴）を撮像することができる。また、このようにカメラ１２がコンパクトになる分、車載監視ユニット１０の省スペース化を図ることができるという利点もある。

しかも、走行区画線（遠距離対象物）の可視光による像が撮像センサ１８に結像するようにカメラ１２の焦点距離が定められた上で、絞り１６が、近赤外光についてのみ機能しかつ雨滴（近距離対象物）の近赤外光による像が撮像センサ１８に結像するように形成されており、これにより、雨滴については、上記近赤外光による像を撮像することで、絞りの効いた合焦画像を取得する一方で、走行区画線については、上記可視光による像を撮像することで、絞り１６の影響を受けない、つまり遮光されない合焦画像を取得するようになっている。よって、絞り１６が組み込まれたカメラ１２を用いて、遠近双方の対象物（走行区画線、雨滴）を撮像しながらも、遠距離対象物である走行区画線の画像品質が光量不足により低下することが効果的に抑制される。また、雨滴の画像については、上記の通り照明装置２２による照明光（近赤外光）の下で撮像が行われることで、画像品質が光量不足により低下することが効果的に抑制される。従って、上記カメラ１２およびこれが搭載された上記車載監視ユニット１０によれば、可視光画像のみを撮像可能なカメラに単に絞りを組み込んだだけのカメラを用いる場合と比較すると、遠近双方の対象物（走行区画線、雨滴）をより良好に撮像することが可能となる。

また、この車載監視ユニット１０（検出処理部３６）では、上記の通り、撮像センサ１８のうち可視受光素子１９ａにより撮像された画像、すなわち走行区画線にピントの合った可視光画像（第１画像Ｇ１）と、赤外受光素子１９ｂにより撮像された画像、すなわち走行区画線および雨滴の双方にピントの合った近赤外画像（第２画像Ｇ２）との差分画像を生成し、この差分画像に基づき雨滴を検知するため、簡単な差分計算で雨滴を検知することができる。従って、複雑な画像処理技術や画像処理プログラムを要することなく、比較的簡単にかつ正確に雨滴を検知することができるという利点もある。特に、差分画像の生成については、上記の通り、予め上記第２画像Ｇ２の明度が上記第１画像Ｇ１の明度と略均等になるように当該第２画像Ｇ２の明度を第１画像Ｇ１の画像に基づき補正するので、当該差分画像の明暗のコントラストが明確化され、二値化画像への変換に伴い雨滴を精度よく抽出することができる。

ところで、以上説明した車載監視ユニット１０、撮像センサ１８および雨滴検知方法は、本発明にかかる車載用監視装置、カメラおよび対象物検知方法の好ましい実施形態の例示であり、車載監視ユニット１０および撮像センサ１８の具体的な構成や、具体的な雨滴検知方法は、本発明の要旨を逸脱しない範囲で適宜変更可能である。

例えば、上記実施形態の車載監視ユニット１０は、車線維持操舵制御を行うために、遠距離対象物として、走行区画線を撮像するとともに、オートワイパー制御を実施するために、近距離対象物として、フロントガラス１上の雨滴を撮像するものであるが、勿論、これら以外の運転支援を行うために遠近の対象物を撮像するものであってもよい。例えば、車載監視ユニット１０は、車間距離を一定間隔に保つ車間距離制御を行うために、遠距離対象物として先行車両を撮像するものであってもよい。

また、上記実施形態の車載監視ユニット１０（検出処理部３６）は、撮像センサ１８により撮像された可視光画像（走行区画線にピントの合った可視光画像）と、赤外光画像（走行区画線および雨滴の双方にピントの合った近赤外画像）との差分画像を生成し、この差分画像に基づき雨滴を検知するが、勿論、これ以外の手法に基づき雨滴を検知する構成であってもよい。例えば、上記赤外光画像からテンプレートマッチング等の手法により雨滴を検出するようにしてもよい。

また、上記実施形態のカメラ１２（撮像センサ１８）は、本発明の第１波長域の光として可視光に感度を有する可視受光素子１９ａと、本発明の第２波長域の光として近赤外光に感度を有する赤外受光素子１９ｂとを備えることにより、対象物の可視光画像と近赤外光画像とを撮像するものであるが、第１波長域の光および第２波長域の光はこれに限定されるものではない。例えば、第２波長域の光は、中赤外光や遠赤外光であってもよい。

また、上記実施形態では、本発明に係る撮像装置を車載監視ユニット１０に適用した例（本発明の車載用監視装置）について説明したが、本発明の撮像装置は、車載監視ユニット１０以外の監視ユニットなどにも適用可能である。例えば防犯用監視装置などに適用することも可能である。この場合には、撮像装置により、門前の道路等、遠距離領域に位置する対象物の可視光画像と、玄関前等、近距離領域に位置する対象物の近赤外画像とを取得するように構成すればよい。

１ フロントガラス
２ ルームミラー
３ ワイパー
１０ 車載監視ユニット（車載用監視装置）
１１ ケーシング
１２ カメラ
１４ レンズ
１６ 絞り（絞り部材）
１８ 撮像センサ
１９ａ 可視受光素子（第１受光部）
１９ｂ 赤外受光素子（第２受光部）
２０ 制御基板
２２ 照明装置

Claims (12)

1. 対象物を撮像するためのカメラを備えた撮像装置であって、
   前記カメラは、
   第１波長域の光に感度を有する複数の第１受光部と前記第１波長域とは異なる第２波長域の光に感度を有する複数の第２受光部とを含む受光面を有し、前記第１波長域の光による画像と前第２波長域の光による画像とを撮像することが可能な撮像センサと、
   対象物の像を前記受光面上に結像させるためのレンズと、
   対象物からの光を絞る絞り部材と、を備え、かつ、これら撮像センサ、レンズおよび絞り部材が所定の位置関係で固定的に配設されるものであり、
   前記レンズは、前記受光面から所定距離の領域に位置する第１対象物の像であって前記第１波長域の光による像を前記受光面上に結像させる位置に配置され、
   前記絞り部材は、前記第２波長域の光のみを遮光する材料から形成され、かつ、当該第１対象物よりも前記受光面に近い領域に位置する第２対象物の像であって前記第２波長域の光による像が前記レンズにより前記受光面上に結像するように、当該第２対象物からの光のうち前記第２波長域の光を絞るように形成されている、ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第１波長域の光は可視光であり、前記第２波長域の光は赤外光であることを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記第２波長域の光を照明光として前記第２対象物に向かって照射する照明手段をさらに備えていることを特徴とする撮像装置。
4. 車載用監視装置であって、
   請求項１乃至３の何れか一項に記載の撮像装置を含み、前記カメラによる車両前方の撮像が可能となるように、前記撮像装置が車室内のフロントガラス近傍の位置に設置されることを特徴とする車載用監視装置。
5. 請求項４に記載の車載用監視装置において、
   前記カメラのレンズは、前記第１対象物として、車両よりも前方に位置する特定物の像を前記撮像センサの受光面上に結像させるように設けられ、
   前記カメラの絞り部材は、前記第２対象物として、前記フロントガラスの特定領域に付着した雨滴の像を前記受光面上に結像させるように形成されている、ことを特徴とする車載用監視装置。
6. 請求項３に記載の撮像装置を含み、前記カメラによる車両前方の撮像が可能となるように、前記撮像装置が車室内のフロントガラス近傍の位置に設置され、
   前記カメラのレンズは、前記第１対象物として、車両よりも前方に位置する特定物の像を前記撮像センサの受光面上に結像させるように設けられ、
   前記カメラの絞り部材は、前記第２対象物として、前記フロントガラスの特定領域に付着した雨滴の像を前記受光面上に結像させるように形成され、
   前記撮像装置は、前記照明手段を備えるものであり、
   この照明手段は、車室側からフロントガラスの前記特定領域に向かって前記照明光を照射することを特徴とする車載用監視装置。
7. 請求項６に記載の車載用監視装置において、
   前記照明手段は、前記フロントガラスの車外側の面および車室側の面で各々反射する前記照明光が前記カメラの光軸と平行および略平行な方向以外の方向に向かうように、前記特定領域に対する前記照明光の照射角度が設定されていることを特徴とする車載用監視装置。
8. 請求項５乃至７の何れか一項に記載の車載用監視装置において、
   前記カメラの撮像センサのうち、前記第１受光部により得られる画像であって前記特定物を含む第１画像に基づき前記特定物を検知し、前記第２受光部により得られる画像であって前記雨滴を含む第２画像に基づき前記雨滴を検知する検知手段をさらに含むことを特徴とする車載用監視装置。
9. 請求項８に記載の車載用監視装置において、
   前記検知手段は、前記第１画像と前記第２画像とを比較することにより前記雨滴を検知することを特徴とする車載用監視装置。
10. 請求項９に記載の車載用監視装置において、
    前記カメラの絞り部材は、前記特定物および前記雨滴の各像であって前記第２波長域の光による像が前記受光面上に結像するように形成されており、
    前記検知手段は、前記第２受光部により得られる画像であって前記特定物および前記雨滴を含む前記第２画像から前記第１画像を差し引ひいた差分画像を生成し、この差分画像に基づき前記雨滴を検知するとこを特徴とする車載用監視装置。
11. 請求項１乃至３の何れか一項に記載の撮像装置を用いて対象物を検知する方法であって、
    前記撮像装置を用いて、前記第１対象物を含む画像であって前記第１波長域の光による第１画像と前記第２対象物を含む画像であって前記第２波長域の光による第２画像とを撮像する撮像工程と、
    前記第１画像と前記第２画像とを比較することにより、前記第２対象物を検知する検知工程と、を含むことを特徴とする対象物検知方法。
12. 請求項１１に記載の対象物検知方法において、
    前記検知工程では、前記第２画像から前記第１画像を差し引ひいた差分画像を生成し、この差分画像に基づき前記第２対象物を検知することを特徴とする対象物検知方法。