JP6480605B2 - 撮像装置、撮像システム、車両及び異物判定方法 - Google Patents

Description

関連出願の相互参照

本出願は、２０１５年１２月２２日に出願された日本国特許出願２０１５−２５０５２０号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本発明は、撮像装置、撮像システム、車両及び異物判定方法に関するものである。

近年、車両には多くの撮像装置が搭載され、走行中における前方の障害物、道路環境の検出、または、駐車時の運転者の補助等に用いられている。撮像装置により検出された画像情報は、運転席の前のモニタに表示され運転者の視覚の補助に使用される。あるいは、画像情報は、画像処理後に車両の制御部に送られ、危険が発生した際の車両の自動制御、運転者への警告等に用いられる。また、街中、駐車場、道路の路側等には、多くの監視カメラが設置されている。

このような屋外環境で使用される撮像装置では、悪天候などのために被写体側のレンズまたはカバーガラス等に水滴などの異物が付着すると、画像がぼけ、または、一部が欠落する等して、鮮明な画像の取得ができなくなる場合がある。また、車両の内側に撮像装置を配置して、ウインドシールド越しに車外を監視する場合は、撮像装置の前面のウインドシールドに異物が付着した場合も、鮮明な画像の取得が困難になる。このため、撮像装置のレンズ、カバーガラス、または、ウインドシールド等に付着した異物を自動的に検出するさまざまな技術が提案されている。

例えば、オートフォーカス機能を有する撮像装置において、水滴などの異物がレンズに付着したとき、オートフォーカス機能が異物に対して焦点を合わせることを利用して、異物の有無を判断する技術が開示されている（例えば、特許文献１参照）。

特開２０１０−８１２７３号公報

本開示の撮像装置は、撮像光学系と、撮像素子と、プロセッサとを備える。撮像光学系は、被写体の像を結像させる。撮像素子は、撮像光学系により結像された被写体の像を取得する。撮像素子の受光面は、被写体が所定の被写体距離に位置する場合の撮像光学系による合焦位置に配置される。プロセッサは、撮像素子により取得した第１画像から、所定の被写体距離とは異なる被写体距離にピント位置を変更した1つ以上の第２画像を生成する。プロセッサは、第２画像の合焦状態に基づいて、撮像光学系の最も被写体側の面または撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定する。プロセッサは、無限遠から撮像光学系または光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する。

また、本開示の撮像システムは、撮像装置と異物除去装置を備える。撮像装置は、光学系と撮像素子とプロセッサとを備える。撮像光学系は、被写体の像を結像させる。撮像素子は、撮像光学系により結像された被写体の像を取得する。撮像素子の受光面は、被写体が所定の被写体距離に位置する場合の撮像光学系による合焦位置に配置される。プロセッサは、撮像素子により取得した第１画像から、所定の被写体距離とは異なる被写体距離にピント位置を変更した１つ以上の第２画像を生成する。プロセッサは、第２画像の合焦状態に基づいて、撮像光学系の最も被写体側の面または撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定する。プロセッサは、無限遠から撮像光学系または光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する。異物除去装置は、プロセッサが、撮像光学系または光透過物の表面に付着する異物が有ると判定したとき、異物の除去動作を行う。

さらに、本開示の車両は、撮像装置を備える。撮像装置は、撮像光学系と、撮像素子と、プロセッサとを備える。撮像光学系は、被写体の像を結像させる。撮像素子は、撮像光学系により結像された被写体の像を取得する。撮像素子の受光面は、被写体が所定の被写体距離に位置する場合の撮像光学系による合焦位置に配置される。プロセッサは、撮像素子により取得した第１画像から、所定の被写体距離とは異なる被写体距離にピント位置を変更した1つ以上の第２画像を生成する。プロセッサは、第２画像の合焦状態に基づいて、撮像光学系の最も被写体側の面または撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定する。プロセッサは、無限遠から撮像光学系または光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する。

また、本開示の異物判定方法は、撮像光学系による所定距離の被写体の合焦位置に受光面が配置された撮像素子により被写体の像を取得することを含む。異物判定方法は、撮像素子により取得した第１画像から、所定距離とは異なる被写体距離にピント位置を変更した1つ以上の第２画像を生成することを含む。異物判定方法は、第２画像の合焦状態に基づいて、撮像光学系の最も被写体側の面または撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定することを含む。異物判定方法は、無限遠から撮像光学系または光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定することを含む。

図１は、レンズによる光学系の被写***置と結像位置との関係を説明する図である。 図２は、合焦状態の判定方法を説明する図である。 図３は、至近位置から無限遠までのピント位置の配置を説明する図である。 図４は、第１実施形態に係る撮像システムの構成を示すブロック図である。 図５は、図４の撮像システムの車両への搭載例を示す図である。 図６は、第１実施形態に係る制御部の処理を説明するフローチャートである。 図７は、第２実施形態に係る合焦状態の判定方法を説明する図である。 図８は、第３実施形態に係る合焦状態の判定方法を説明する図である。 図９は、第４実施形態に係る制御部の処理を説明するフローチャートである。 図１０は、第４実施形態における異物付着の判定方法を説明する図である。 図１１は、第５実施形態に係る制御部の処理を説明するフローチャートである。 図１２は、画像の領域分割の例を示す図である。

車両用のカメラなどのように、振動を伴う環境下で使用される撮像装置では、オートフォーカスのような駆動部を有する機構は、振動による故障を生じやすい。そのため、ピントを合わせる機構を有さない固定焦点のカメラが多く使用されている。車載用の撮像装置にオートフォーカス機能を追加するのは、コストの増加と故障の危険性の増大をもたらす懸念がある。また、一般的な防犯カメラも固定焦点のカメラが使用されている場合が多い。

本開示の撮像装置は、簡単な構成で撮像光学系の光学素子または撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を検知することができる。

以下、本開示の複数の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

（第１実施形態）
まず、図１〜３を用いて、本開示の複数の実施形態の１つである第１実施形態の撮像システムにおける、異物の検知方法の基本的な原理について説明する。

図１は、レンズ１と撮像素子１２の受光面２とを含む車載用の撮像装置の光学系を示している。撮像素子１２の受光面２は、予め設定した被写体距離（所定の被写体距離）に位置する被写体Ｏ_Ｓの被写体像Ｉ_Ｓが、太い実線で示すように、合焦する結像位置に配置される。被写体像が合焦する結像位置を合焦位置とよぶ。したがって、撮像装置により撮像される画像は、所定の被写体距離を中心とする被写界深度の範囲でピントが合った状態となる。所定の被写体距離は、撮像装置の用途により異なる距離が設定される。車両の前方を監視する撮像装置では、遠方までを監視するため比較的長い距離となる。

また、図１において、破線は無限遠の被写体距離に位置する被写体Ｏ_∞からの光を示す。また、細い実線は撮像対象となる最も撮像装置に近い至近位置の被写体Ｏ_Ｎからの光を示す。さらに、一点鎖線はレンズ１の被写体側の表面またはレンズ１よりも被写体側に位置するウインドシールドなどの光透過物の表面に付着した異物等の被写体Ｏ_Ｌからの光を示す。ガラスのように、可視光を少なくとも部分的に透過させる部材を光透過物とよぶ。被写体Ｏ_∞、Ｏ_Ｎ、Ｏ_Ｌからの光は、それぞれ、被写体像Ｉ_∞、Ｉ_Ｎ、Ｉ_Ｌの位置に合焦する。これらの被写体像は、被写体像Ｉ_Ｓの位置に配置された撮像素子１２の受光面２上では、ぼけを有している。

次に、図２を用いて本実施形態に係る撮像システムの異物検知方法について説明する。

図２は、図１の撮像装置の光学系において、レンズ１に対し撮像素子１２の受光面２を配置する結像位置を変位可能とし、これをずらした場合のコントラスト値の変化を示す。図２において、横軸に結像位置、縦軸に撮像素子１２によって取得される画像のコントラスト値をとっている。横軸は、撮像素子１２の受光面２の設定位置である被写体像Ｉ_Ｓの位置を０とする。結像位置ｐ_１〜ｐ_ｎは、それぞれ被写***置に１対１で対応関係にある。横軸上のｐ_１は、至近位置に位置する被写体（Ｏ_Ｎ）の被写体像（Ｉ_Ｎ）の合焦位置に対応する。ここで、至近位置とは、レンズ１の被写体側で撮像対象とする被写体の最も近い位置である。例えば、前方を監視する撮像装置では、レンズ１より２〜３ｍ先の位置を至近位置に設定することができる。また、ｐ_ｎは、無限遠に位置する被写体（Ｏ_∞）の被写体像（Ｉ_∞）の合焦位置に対応する。また、コントラスト値は、１フレームの画像全体の最大輝度をLmax、最小輝度をLminとするとき、
（Lmax−Lmin）／（Lmax＋Lmin）
で表される値である。

撮像素子１２により取得される画像は、被写体の像が撮像素子１２の受光面２に合焦しているときに、最も鮮鋭となり、コントラスト値が高くなる。また、受光面２が合焦位置から外れるほどコントラスト値は低くなる。図２中の実線は無限遠側に被写体がある場合の結像位置に対するコントラスト値を例示するグラフであり、至近側に対応する結像位置（ｐ_１）の近くではコントラスト値が低く、無限遠側に対応する結像位置（ｐ_ｎ）の近くでコントラスト値のピークを有する。また、図中の破線は至近側に被写体がある場合の結像位置に対するコントラスト値を例示するグラフであり、至近側に対応する結像位置（ｐ_１）の近くでコントラスト値のピークを有し、無限遠側に対応する結像位置（ｐ_ｎ）の近くではコントラスト値が低くなる。このように被写体距離および画像を撮像する結像位置によって画像のコントラスト値は異なる。

また、図２中の点線はレンズ１の被写体側の表面に付着した異物がある場合のコントラスト値を示す曲線である。異物があるためにいずれの結像位置でも合焦しないので、至近位置から無限遠までのいずれに対応する結像位置でもコントラスト値が低い。

図２の一点鎖線で示す閾値は、実測により、以下のように予め定められる。まず、レンズ１の表面に異物が付着しない状態で、被写体までの距離を至近位置から無限遠までの範囲に設定し、結像位置ｐ_１〜ｐ_ｎに撮像素子１２を配置した場合のコントラスト値のピーク値をそれぞれ測定する。このような実測を、異なる複数の被写体距離に置いた被写体について行う。次に、レンズ１の表面に水滴等の異物が付着した状態で、結像位置ｐ_１〜ｐ_ｎに撮像素子１２の受光面２を配置してコントラスト値を測定する。そして、異物が付着しない状態で測定した何れのコントラスト値のピーク値よりも低く、異物が付着した状態で測定したいずれのコントラスト値よりも高い値に、閾値を設定する。このように、予めコントラスト値の閾値を設定することによって、各結像位置ｐ_１〜ｐ_ｎに受光面２を配置して得られる画像のコントラスト値を確認することによってレンズ１の表面に異物が付着しているかどうかある程度判断することができる。

以上のように、レンズ１と受光面２との間の距離を変更することができる場合は、受光面２をレンズ１の光軸方向にずらして、コントラスト値を検出することによって、レンズ１の表面に異物があるか否かを検知できる。すなわち、何れかの結像位置ｐ_１〜ｐ_ｎで、閾値よりも高いコントラスト値が検出されれば、被写体の像が撮像素子１２の受光面２に合焦しており、レンズ１の面に異物は付着していないと判断される。

しかし、レンズ１と撮像素子１２の受光面２との関係が、設定値０に固定されているときは、撮像した画像そのものからは、設定値の結像位置でのコントラスト値しか得られない。この場合、図２の結像位置が設定値０のときのコントラスト値を見ると、無限遠側に被写体がある場合の実線のグラフからは、閾値を超えるために合焦と判断される。一方、異物がある場合の点線のグラフは閾値を超えず合焦と判断されない。しかし、破線のように至近側に被写体がある場合のグラフもコントラスト値が閾値を超えず、合焦と判断されない。つまり設定値０で撮像した画像のコントラスト値だけでは誤検知する可能性がある。

そこで、本開示の撮像装置は、デコンボリューション技術により、設定値の結像位置で撮像した画像から、ピント位置が異なる（すなわち結像位置が異なる）画像を生成する。設定値の結像位置で撮像した画像は第１画像である。デコンボリューション技術により生成されたピント位置が異なる画像は、第２画像である。デコンボリューション技術により生成されたピント位置が異なる画像は、ピント位置変更画像ともよぶ。撮像装置は、ピント位置変更画像により、上記コントラスト値に基づく合焦状態の判定を行い、レンズ１の表面に付着する異物の有無が検知される。

デコンボリューション技術は、点広がり関数（ＰＳＦ:Point Spread Function）から得られるボケの光学特性Ｈ（ｘ，ｙ）の逆フィルタを、入力画像に畳み込むことにより、ボケ画像を復元する技術である。本実施形態では、設定値のピント位置からずれた場合の光学特性Ｈ（ｘ，ｙ）の逆フィルタのデータを予め記憶しておき、そのデータを元にピント位置を設定値のピント位置から至近側および無限遠側にずらしたピント位置変更画像を生成する。各結像位置ｐ_１，ｐ_２，ｐ_３，・・・，ｐ_ｎでの画像のコントラスト値を演算により算出して合焦しているかどうか判断をすることにより、レンズ１の表面に付着する異物があるかどうかを精度よく判断することが可能になる。点広がり関数に基づくデコンボリューション技術による画像の生成方法については、公知の技術であるから説明を省略する。

また、本実施形態では、無限遠から前記至近位置までの被写体距離が、図３に示すように、何れかのピント位置変更画像の被写界深度の範囲に含まれるように、結像位置ｐ_１〜ｐ_ｎを設定し、ピント位置変更画像を生成する。特に各ピント位置変更画像の被写界深度の範囲がちょうど接するか僅かにのみ重なるように、ピント位置を設定することにより演算回数を削減することが可能になる。

次に第１実施形態に係る撮像システムの構成を説明する。図４は、第１実施形態に係る撮像システムの構成を示すブロック図である。本実施形態の撮像システムは車両に設置されるものである。ここで、本開示における「車両」には、自動車、軌道車両、産業車両、及び生活車両を含むが、これに限られない。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

撮像システムは、レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３及び制御部１４を含んで構成される撮像装置１０、並びに、異物除去装置１５を備える。撮像光学系はレンズ１１を含む。

レンズ１１は、撮像素子１２の受光面２に被写体の像を結像する正の屈折力を有するレンズである。図４において、レンズ１１は、単一のレンズとして描いているが、複数枚のレンズを組み合わせて構成してもよい。また、撮像装置１０の光学系はレンズ１１を含む複数の光学素子により構成されていてもよい。その場合、図示のレンズ１１は光学系の最も被写体側に位置する光学素子である。

撮像素子１２は、撮像素子を含む。撮像素子は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を含む。撮像素子１２は、レンズ１１を通って受光面２に結像する被写体の像を電気信号に変換し、Ａ／Ｄ変換部１３に出力する。レンズ１１と撮像素子１２との配置は相互に固定される。従ってレンズ１１と撮像素子１２との間の距離は固定されている。レンズ１１と撮像素子１２との相対位置は、予め定められた所定の被写体距離に位置する被写体のレンズ１１による合焦位置に、撮像素子１２の受光面２が位置するように定められている。

Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログ画像信号をデジタル画像信号に変換し、デジタル画像信号を制御部１４に出力する。制御部１４は、一つまたは複数のプロセッサを含む。制御部１４もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１４は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。制御部１４が実行する処理は、プロセッサが実行するものと言い換えることができる。

制御部１４は、画像処理部１６、デコンボリューション処理部１７、記憶部１８、及び、異物判定部１９の各機能ブロックを有し、Ａ／Ｄ変換部１３から出力された画像信号に対して種々の処理を行う。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。各機能ブロックが行える動作を、制御部１４は実行できる。制御部１４は、画像処理部１６、デコンボリューション処理部１７、記憶部１８、及び、異物判定部１９を含む形態に限られず、これらの機能ブロックの１つ又は複数が省略されてよい。制御部１４は、各機能ブロックが行う全ての動作を実行してよい。各機能ブロックが行う動作は、制御部１４が行う動作として言い換えてよい。制御部１４が、何れかの機能ブロックを使役して行う処理は、制御部１４が自ら実行してよい。また、撮像装置１０は、出力部２０をさらに備える。出力部２０は、異物除去装置１５に信号を出力する出力インタフェースである。出力部２０は、物理コネクタ、及び無線通信機が採用できる。制御部１４は、撮像装置１０の出力部２０を介して、異物除去装置１５に制御信号を送信することができる。

画像処理部１６は、Ａ／Ｄ変換部１３から出力された画像信号にノイズ除去、色補間、明るさ補正、色補正、ガンマ補正、およびホワイトバランス等の所定の画像処理を施して、車両のダッシュボード等に配置されたモニタ２１に出力する。また、画像処理部１６は、例えば、歩行者、障害物、路面上の白線等の被写体を認識し、モニタ２１に出力する表示画像の一部を加工または強調等して表示する。これにより、画像処理部１６は運転者に歩行者、障害物等に対する注意を促す。あるいは、画像処理部１６は、検知した被写体の情報を、車両の制御装置にＣＡＮ等の車内ネットワークを介して伝達してもよい。これにより、車両は運転者に対して、警報を発したり、自動ブレーキなどの運転支援を行ったりすることができる。

さらに、画像処理部１６は、継続的にＡ／Ｄ変換部１３から出力された画像信号のコントラスト値を算出する。画像処理部１６は、コントラスト値が経時的に低下した場合、または、予め定めた値よりも低下した場合、デコンボリューション処理部１７および異物判定部１９による異物の検知処理を起動する。この処理は、レンズ１１の被写体側の面に、雨滴等の異物が有るか否かを検知するものである。

デコンボリューション処理部１７は、第１画像である撮像素子１２から取得した画像に対し、記憶部１８に記憶されているデータを用いてデコンボリューション処理を行う。これにより、デコンボリューション処理部１７は、無限遠から至近位置までの上述の所定の被写体距離とは異なる１つ以上の異なる被写体距離にピント位置を変更した画像（ピント位置変更画像）を生成する。すなわち、デコンボリューション処理部１７は、１つ以上の第２画像を生成する。記憶部１８は、不揮発性のメモリであり、撮像光学系の構成により決定される点広がり関数に基づく、ボケの光学特性Ｈ（ｘ，ｙ）の逆フィルタが記憶されている。デコンボリューション処理部１７は、撮像された画像に対してこの逆フィルタを畳み込み演算することによりピント位置変更画像を生成する。

異物判定部１９は、デコンボリューション処理部１７で生成した、ピント位置の異なる各ピント位置変更画像についてそれぞれコントラスト値を計算する。異物判定部１９は、無限遠から至近位置までの異なる被写体距離にピント位置を変更した各ピント位置変更画像のコントラスト値を、予め定めた閾値（所定の閾値）と比較する。この閾値を超えた場合、異物判定部１９は、そのピント位置でピント位置変更画像が合焦していると判定する。

ここで、予め定めた閾値は、前述のように、レンズ１１の表面に異物が付着した状態と付着しない状態のそれぞれの場合について、コントラスト値の実測値から定める。様々な撮像環境下で、遠方から至近位置まで異なる距離に物体を配置して撮像した多数の画像のコントラスト値を実測する。予め定めた閾値は、コントラスト値がその閾値よりも大きければ、異物の無い状態で撮像した画像として、異物のある状態で撮像した画像から区別できる値に設定する。また、高速道路上もしくは市街地等の走行中の周囲の環境、または、明るさ等に応じて複数の種類の閾値を設け、取得された画像に基づき、制御部１４が周囲の環境または明るさ等を判断し、何れのコントラスト値を用いるか切り替えるようにしてもよい。

異物判定部１９は、いずれかのピント位置変更画像が合焦していると判断した場合、異物は付着していないと判断する。また、異物判定部１９は、いずれのピント位置変更画像も合焦していないと判断した時は、レンズ１１の被写体側の面に異物が付着していると判定する。異物が付着していると判定した場合、異常を知らせる信号を出力部２０から異物除去装置１５に出力する。

異物除去装置１５は、例えば、圧電素子を含んで構成され、レンズ１１を保持するレンズ保持部２２に接触し、レンズ１１の表面に振動を加えることにより、レンズ１１表面に付着した異物を除去する。また、図４において異物除去装置１５は、撮像装置１０の外部に設置されるが、撮像装置１０に内蔵される構成も可能である。

さらに、異物除去装置１５は、レンズ１１を振動させるものに限られず、レンズ１１に向けて気体を噴射するもの、レンズ１１に設けた異物除去用のワイパーを動かすもの等、種々の方式が可能である。

次に、図５は、図４の撮像システムの車両への搭載例を示す図である。

車両２３において、撮像装置１０および異物除去装置１５を含む撮像システムは、例えば車両２３のフロントバンパー部分に取り付けられ、取得した画像をモニタ２１に表示する。撮像装置１０のレンズ１１は、前方に向けて車外に露出している。このため、レンズ１１の前方（被写体側）の面は、雨による水滴および埃などの異物が付着しやすい。レンズ１１に異物が付着すると、画像処理部１６が検出するコンストラスト値が低下するので、デコンボリューション処理部１７および異物判定部１９による異物の検知が実行される。異物判定部１９により異物ありと判断されると、異物除去装置１５によりレンズ１１の表面に振動が加えられ、異物が除去される。

また、図５では、撮像システムの別の態様として、ウインドシールド２４の内側であってダッシュボード上に配置された撮像装置２５およびウインドシールド２４の外側に配置した異物除去装置２６を示している。ウインドシールド２４は、光透過物である。撮像装置２５はウインドシールド２４越しに車外の映像を撮像する。また、異物除去装置２６は気体噴射機構を有する。撮像装置２５が前面のウインドシールド２４に異物が付着していることを検知したとき、制御部１４からの指示により、異物除去装置２６は、ウインドシールド２４の撮像装置２５に入射する映像光が透過する領域に、空気などの気体の噴射を行う。このような構成の場合、至近位置は、ウインドシールド２４よりも被写体側、すなわち、車外側に位置する。

さらに、異物除去装置としては、車両２３の有するウインドシールド２４のワイパーを兼用することもできる。すなわち、撮像装置１０は異物を検知したとき、車両２３の制御装置にワイパーを起動する信号を送出するように構成することができる。

上記の他、本撮像システムは車両２３の内側および外側の側部、後部等種々の場所に設置することが可能である。

次に、図６のフローチャートを用いて、第１実施形態に係る制御部１４の処理を説明する。

まず、車両２３のエンジンの駆動により、または、運転者の操作により、撮像装置１０の電源がオンになる（ステップＳ１０１）。これにより、撮像処理が開始される（ステップＳ１０２）。

撮像処理では、レンズ１１により結像された車外の画像が、撮像素子１２で撮像され、Ａ／Ｄ変換部１３でＡ／Ｄ変換した後、制御部１４に引き渡される。制御部１４では、この画像に画像処理部１６で必要な画像処理を行った後、モニタ２１に表示させる処理が継続的に実行される。撮像処理中、画像処理部１６は、Ａ／Ｄ変換部１３から出力された画像信号のコントラスト値を算出し、コントラスト値の低下を監視する（ステップＳ１０３）。コントラスト値の低下を検知すると、画像処理部１６は、デコンボリューション処理部１７による処理（ステップＳ１０４）を起動させる。コントラスト値の低下が検知されない場合は、ステップＳ１０８の処理に進む。

ステップＳ１０４において、デコンボリューション処理部１７は、記憶部１８に記憶されたボケの光学特性の逆フィルタを用いて、Ａ／Ｄ変換部１３から出力された画像（第１画像）に畳み込み演算を行う。デコンボリューション処理部１７は、無限遠から至近位置までの被写体距離に、それぞれピント位置を合わせた複数のピント位置変更画像（第２画像）を生成する。前述のように、被写体距離は、無限遠から前記至近位置までの距離が何れかのピント位置変更画像の被写界深度の範囲に含まれるように設定してよい。このピント位置変更画像は、図２において各結像位置ｐ_１，ｐ_２，ｐ_３，．．．,ｐ_ｎに撮像素子１２の受光面２をシフトさせて得られる画像に相当する。

次に、異物判定部１９は、デコンボリューション処理部１７で作成されたそれぞれのピント位置変更画像について、それぞれコントラスト値を算出する（ステップＳ１０５）。さらに、異物判定部１９は、各ピント位置変更画像のコントラスト値を、予め定めた閾値（所定の閾値）と比較する（ステップＳ１０６）。コントラスト値がこの閾値を超えた場合、異物判定部１９は、そのピント位置でピント位置変更画像が合焦していると判定する。

異物判定部１９は、いずれかのピント位置変更画像が合焦していると判断した場合、異物が付着していないと判断して異物を検知する処理を終了し、ステップＳ１０８へ進む。一方、いずれのピント位置変更画像も合焦していないと判断した場合、異物判定部１９は、異物が付着していると判定する。異物が付着していると判定した場合、異物判定部１９は、出力部２０を介して異常を知らせる信号を異物除去装置１５に出力して、異物除去装置１５を駆動させる（ステップＳ１０７）。これにより、異物除去装置１５は、レンズ１１を振動させ、レンズ１１の被写体側の表面に付着した水滴等の異物を除去する。

異物除去装置１５が駆動された後、制御部１４の処理はステップＳ１０８に進む。異物除去装置１５が異物除去をした結果を確認するために、ステップＳ１０７の実行から一定時間経過後に、再びステップＳ１０４〜ステップＳ１０６を実行するようにしてもよい。

制御部１４は、ステップＳ１０８において、電源がオフされない限り、再びステップＳ１０２に戻り、ステップＳ１０２〜ステップＳ１０７の処理を適宜繰り返す。

以上のように、本実施形態の撮像システムは、ピント位置変更画像を生成し、このピント位置変更画像のコントラスト値から合焦状態を判定する。したがって、オートフォーカス機能が無く、レンズ１１と撮像素子１２との位置関係が固定された固定焦点の撮像装置１０を用いる場合でも、レンズ１１の被写体側の面への異物の付着を検知することができる。これによって、異物除去装置１５により異物の除去をすることが可能になる。

本撮像システムは、異物を検知するために、レンズ１１または撮像素子１２を駆動する機構を必要とせず、撮像した画像から制御部１４における演算処理のみで異物を検知するので、耐久性に優れ故障が少なく、小型且つ安価に構成することができる。

さらに、ピント位置変更画像のコントラスト値に対してあらかじめ実測した結果に基づく閾値を設けて、この閾値を超えるか否かという単純な基準により合焦状態を判定するようにしたので、異物判定部１９における判定を高速に実行することができる。

また、本撮像システムは、無限遠から至近位置までの間の位置が何れかのピント位置変更画像の被写界深度の範囲に含まれるように複数のピント位置を設定した。これによって、本撮像システムは、何れかの被写体距離で合焦する場合も、漏れなく検出することが可能になり、検出の精度が向上する。

さらに、本実施形態に係る撮像システムは、図５の車室内に配置された撮像装置２５を含む撮像システムに適用することもできる。その場合は、撮像装置２５の撮像する光の光路が透過する例えばウインドシールド２４等のガラス部分（光透過物）の表面に付着した異物の有無が検知の対象となる。異物判定部１９により、ウインドシールド２４上に異物が有ると判定された場合は、異物除去装置２６により、ウインドシールド２４に付着した異物が除去される。

（第２実施形態）
レンズ１１等の撮像光学系は、温度変化等の環境変化によって焦点距離等の特性が変化する。そこで、第２実施形態に係る撮像システムでは、第１実施形態の撮像システムにおいて、予め温度変化によるピント位置の変動を考慮して、ピント位置変更画像を生成する結像位置を設定する。図７は、図２に示した結像位置ｐ_１〜ｐ_ｎに加え、ｐ_ｎ’及びｐ_１’を、ピント位置変更画像を生成する結像位置としたものである。ｐ_ｎ’は、環境変化により無限遠の被写体Ｏ_∞のピント位置が被写体側にずれた場合の合焦位置である。ｐ_１’は、環境変化により至近位置の被写体Ｏ_Ｎのピント位置が被写体方向と反対方向にずれた場合の合焦位置である。ここで、ｐ_ｎ’およびｐ_１’は、撮像光学系の動作温度環境の仕様上の範囲によって決定されるピントのずれ量および／またはずれの方向により、予め設定することができる。具体的には、シミュレーション及び／または実測等の手段により、決定することができる。これらの結像位置ｐ_ｎ’，ｐ_１’に結像される画像についても、異物の検知処理、すなわち、デコンボリューション処理部１７による画像生成と、異物判定部１９による合焦状態の判定を行う。これらの結像位置ｐ_ｎ’およびｐ_１’の少なくとも何れかで合焦していた場合は、異物が付着していないものと判定される。このようにすることによって、環境変化に依存せず、より正確な異物の検知が可能になる。

（第３実施形態）
第３実施形態に係る撮像システムは、第１実施形態に係る撮像システムと異物の有無の判定方法において異なる。図８は、第３実施形態係る撮像システムの異物判定部１９における合焦状態の判定方法を説明する図である。この判定方法では、デコンボリューション処理部１７において、無限遠から至近位置までの範囲内の３つ以上の被写体距離に対応する結像位置について、デコンボリューション技術によりピント位置変更画像を生成する。

次に、異物判定部１９は、それぞれのピント位置変更画像のコントラスト値を算出した後、結像位置に対するコントラスト値の変化のグラフにピーク値が存在するか否かを推定する。例えば、無限遠側に被写体がある場合、実線で表されるコントラスト値のグラフが得られると仮定すると、結像位置ｐ_ｎ−１とｐ_ｎ−２との間にピーク値があることが推定される。また、至近側に被写体がある場合、破線で表されるコントラスト値のグラフが得られると仮定すると、結像位置ｐ_３の近傍にピークがあることが推定される。また、実際の撮像画像の中に、被写体距離の異なる複数の被写体の画像が含まれている場合でも、画像の中で占める割合の高い被写体の被写体距離に対応する特定の結像位置でコントラスト値のピーク値が現れる可能性が高い。

これに対して、レンズ１１の被写体側の面に、異物が付着している場合、図８に点線で示されるように、コントラスト値のグラフは、全般に比較的平らなグラフ、または、至近側に向かって増加するグラフとなり結像位置に対してピーク値を示さない。

したがって、異物判定部１９は、ステップＳ１０６の判定処理において、コントラスト値のピーク値の存在が推定されれば合焦しており、ピーク値の存在が推定されなければ合焦していないと判断することができる。例えば、異物判定部１９は、連続する３つの結像位置で画像を生成したとき、真ん中の画像のコントラスト値が、前後の画像のコントラスト値よりも高い場合、ピーク値が存在すると推定することができる。また、異物判定部１９は、少なくとも３つの結像位置で生成した画像のコントラスト値から近似した曲線が上に凸のグラフとなる場合に、ピーク値が存在すると推定することができる。

このように、結像位置の変化に対するコントラスト値のピークを推定することによって、予めコントラスト値の閾値を実測により設定しなくても、レンズ１１（車内の撮像装置２５の場合は、ウインドシールド２４）に付着する異物の有無を判定することが可能になる。

上記第１実施形態および第３実施形態では、合焦状態の判定を正確に行うために、コントラスト値に閾値を設ける方法と、結像位置の変化に対するコントラスト値のピークを検出する方法とを個別に用いた。しかしこれらの方法は、組合せてもよい。例えば、推定されるコントラスト値のピーク値が、予め定めたコントラスト値の閾値を超えた場合にのみ、合焦していると判断してもよい。

（第４実施形態）
図９は、本開示の複数の実施形態の１つである第４実施形態に係る撮像システムを構成する撮像装置１０の制御部１４の処理を説明するフローチャートである。また、図１０は、第４実施形態における異物の付着の有無の判定方法を説明する図である。第４実施形態の撮像システムは、図４に示された第１実施形態と同一の構成要素により構成される。また、制御部１４の各機能ブロックの処理のうち、デコンボリューション処理部１７及び異物判定部１９の処理が異なっているが、他の機能ブロックの動作は第１実施形態と同一である。したがって、各構成要素には第１実施形態と同一の参照符号を付し、図９のフローチャートに基づいて、第１実施形態との差異部分について説明する。

まず、ステップＳ２０１〜ステップＳ２０３の処理は、第１実施形態のステップＳ１０１〜ステップＳ１０３と同一なので、説明を省略する。ステップＳ２０４において、デコンボリューション処理部１７は、ピント位置をレンズ１１の被写体側の面とする。デコンボリューション処理部１７は、記憶部１８に記憶されたボケの光学特性の逆フィルタを用いて、Ａ／Ｄ変換部１３から出力された画像に畳み込み演算を行い、ピント位置変更画像を生成する。

次に、異物判定部１９は、デコンボリューション処理部１７で作成された、レンズ１１の表面にピント位置を合わせたピント位置変更画像について、コントラスト値を算出する（ステップＳ２０５）。レンズ１１の被写体側の面に付着する異物がある場合、高いコントラスト値が得られる。これについて、図１０を用いて説明する。

図１０は、レンズ１１の被写体側の面にピント位置を合わせた場合のコントラスト値を説明する図であって、図２のグラフをレンズ１１の被写体側の面に対応する結像位置まで延長した図である。本実施形態では、ピント位置変更画像を作成する結像位置は、グラフ右端のレンズ１１の被写体側の面（レンズ表面）に対応する被写体像Ｉ_Ｌの結像位置のみとしてよい。しかし、図１０では説明のため他の被写体距離に対応する結像位置も表示している。

無限遠側及び至近側に被写体が有る場合のコントラスト値を示す実線及び破線のグラフは、ピント位置がレンズ１１の被写体側の面に近づくにつれて（すなわち、結像位置がグラフの右端に近づくにつれ）、コントラスト値の値が低くなる。これに対し、レンズ１１の被写体側の面に付着する異物がある場合、点線のグラフで示されるように、レンズ１１の被写体側の面に対応する結像位置ではコントラスト値が高くなる。このため、コントラスト値を示す曲線は、ピント位置がレンズ１１の被写体側の面に近づくにつれて高くなり、予め定めた所定の閾値を超えるため合焦と判断される。

ここで、閾値は、レンズ１１の被写体側の面に水滴等の異物が付着しない状態と、異物を付着させた状態とを区別するため、これらの状態でピント位置をレンズ１１の被写体側の面に合わせて、予めコントラスト値を実測することにより決定する。

図９に戻り、異物判定部１９は、ステップ２０５で算出したコントラスト値を閾値と比較する（ステップＳ２０６）。異物判定部１９は、レンズ１１の被写体側の面にピントを合わせたピント位置変更画像のコントラト値が閾値未満であれば、異物が付着していないと判断して異物を検知する処理を終了する。その後、制御部１４はステップＳ２０８へ進む。一方、ピント位置変更画像のコントラスト値が閾値以上である場合、異物判定部１９は、異物が付着していると判定する。異物が付着していると判定したとき、異物判定部１９は、異常を知らせる信号を、出力部２０を介して異物除去装置１５に出力して、異物除去装置１５を駆動させる（ステップＳ２０７）。

以降の処理は、第１実施形態と同じであり、電源オフになるまで上記処理が繰り返される（ステップＳ２０８）。

以上説明したように、本実施形態の撮像システムによれば、撮像装置１０のレンズ１１の表面にピント位置を合わせたピント位置変更画像を生成して、コントラスト値を算出することにより、レンズ１１の被写体側の面に付着する異物を検出することが可能になる。また、この方法によれば、第１実施形態に比べ、複数の被写***置にピントを合わせた複数のピント位置変更画像を生成する必要が無いので、制御部１４の処理負荷を減らすことが可能になる。

また、本実施形態に係る撮像システムも、図５の車室内に配置された撮像装置２５を含む撮像システムに適用することもできる。その場合は、ステップＳ１０４において、ピント位置を撮像装置２５が設置された前面のウインドシールド２４の表面に合わせたピント位置変更画像を作成する。このピント位置変更画像のコントラス値が、閾値を上回る場合は、ウインドシールド２４の表面に異物が付着していると判定され、異物除去装置２６により、ウインドシールド２４に付着した異物が除去される。

（第５実施形態）
図１１は、本開示の複数の実施形態の１つである第５実施形態に係る撮像システムを構成する撮像装置１０の制御部１４の処理を説明するフローチャートである。第５実施形態の撮像システムは、図４に示された第１実施形態と同一の構成要素により構成され、制御部１４の処理のうち、特に画像処理部１６、デコンボリューション処理部１７及び異物判定部１９の処理が異なっている。したがって、各構成要素には第１実施形態と同一の参照符号を付し、第１実施形態に係る撮像システムとの差異部分について説明する。

第５実施形態の撮像システムは、撮像した画像を複数の領域に分割して合焦状態の判別を行うものである。図１２に、撮像した画像の例を示す。領域１には特筆すべきものは何も映っておらず、領域２には遠距離に他の車両が映っており、領域３には近距離に子供が映っている。また、領域４にはレンズ１１の被写体側の面に付着した水滴のボケた像が映っている。このように、画像の領域毎に被写体距離の異なる被写体が映っている場合、各領域に分割して領域毎に合焦しているか判断することで、レンズ１１の表面に異物が付着しているか精度良く判断することが可能になる。なお、図１２は、画像を４つに分割しているが、画像の分割数は４つに限られない。

以下に、図１１のフローチャートに基づいて、第５実施形態の制御部１４の処理を説明する。

まず、車両２３のエンジンの駆動により、または、運転者の操作により、撮像装置１０の電源がオンになる（ステップＳ３０１）。これにより、撮像処理が開始される（ステップＳ３０２）。撮像処理中、画像処理部１６は、Ａ／Ｄ変換部１３から出力された画像信号のコントラスト値を算出し、コントラスト値の経時的な低下を監視する（ステップＳ３０３）。

コントラスト値の低下が検知されない場合、処理はステップＳ３１２に進む。コントラスト値の低下を検知すると、画像処理部１６は、撮像した画像を複数（例えば、ｎ（＝４）個とする）の領域に分割する（ステップＳ３０４）。画像の分割は、種々の方法で行うことができる。例えば、撮像された画像を公知の物体認識技術により処理して画像内の複数の被写体を検出し、画像内での面積比の大きい主要な被写体が存在する領域を切り出して分割することができる。あるいは、車両２３の前方を撮像する撮像装置の場合、一般に画像の上部には遠方の被写体、下部には近傍の被写体が存在することが多いため、撮像した画像を上下方向に分割してもよい。

次に、画像処理部１６は、分割された複数の領域の画像の情報をデコンボリューション処理部１７に受け渡す。デコンボリューション処理部１７は、最初の領域（領域１）の画像を選択し（ステップＳ３０５）、記憶部１８に記憶されたボケの光学特性の逆フィルタを用いて畳み込み演算を行う。デコンボリューション処理部１７は、それぞれ無限遠から至近位置までの複数の被写体距離にピント位置を合わせた複数のピント位置変更画像を生成する（ステップＳ３０６）。

次に、異物判定部１９は、デコンボリューション処理部１７で作成されたそれぞれのピント位置変更画像についてそれぞれコントラスト値を算出する（ステップＳ３０７）。ここで、コントラスト値は、分割した領域の範囲内での、最大輝度と最小輝度とから計算される。さらに、異物判定部１９は、各ピント位置変更画像のコントラスト値を、予め定めた閾値（所定の閾値）と比較する（ステップＳ３０８）。コントラスト値がこの閾値を超えた場合、異物判定部１９は、そのピント位置でピント位置変更画像が合焦していると判定する。

異物判定部１９は、いずれかのピント位置変更画像が合焦していると判断した場合、異物が付着していないと判断して、ステップＳ３１０へ進む。一方、いずれのピント位置変更画像も合焦していないと判断した場合、異物判定部１９は、異物が付着していると判定し、異常を知らせる信号を異物除去装置１５に出力して、異物除去装置１５を駆動させて（ステップＳ３０９）、ステップＳ３１２に移行する。

制御部１４は、最初の領域で異物が付着していると判定されなかった場合、次の領域（領域２）についてステップＳ３０６〜ステップＳ３０９までの異物の検知及び除去処理を行う。以降、何れかの領域で合焦が検出されない限り、制御部１４は、全ての領域（領域１〜４）について異物の検知処理を繰り返し実行する（ステップＳ３１０，Ｓ３１１）。全ての領域（領域１〜４）について異物の検知処理を行い、異物が検知されない場合、異物除去装置１５を駆動することなく、ステップＳ３１２の処理に移る（ステップＳ３１０）。

ステップＳ３１２では、電源がオフにならない限り撮像処理（ステップＳ３０２）に戻る。これによって、電源がオフになるまでステップＳ３０２〜ステップＳ３１２の間の処理が繰り返される。

本実施形態の撮像システムによれば、撮像装置１０の制御部１４が、レンズ１１の被写体側の面に付着する異物の有無を判断して、異物除去装置１５により異物の除去をすることが可能になる。また、画像を複数の領域に分割したので、各領域では画像全体のコントラスト値を算出する場合よりも、コントラスト値の変化がより鮮明に表れ、異物の検知精度が向上する。さらに、画像を分割したことによって、レンズ１１の一部にのみ異物が付着しているような場合でも、異物の検出が容易になる。

本実施形態に係る撮像システムも、図５の車室内に配置された撮像装置２５を含む撮像システムに適用することもできる。

なお、本開示は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、上記各実施形態では、画像処理部１６によりコントラスト値の低下を検知したときに、デコンボリューション処理部１７および異物判定部１９による異物の付着を検知する処理（例えば、第１実施形態のステップＳ１０４〜ステップＳ１０６）を実行した。しかし、デコンボリューション処理部１７および異物判定部１９による異物の付着を検知する処理は、他の種々の運転者の操作、または信号の受信等に基づいて行うことができる。例えば、異物の検知はカメラの電源がオンになった時にも行うようにしてもよい。また、運転者がワイパーのスイッチを入れたときに、その信号を取得して処理を行うようにしてもよい。

また、本開示の撮像装置において、制御部１４が、撮像光学系の最も被写体側の面または撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物が有ると判断したときは、異物除去装置に対して異常を知らせる信号を送信した。制御部１４は、異物除去装置のみならず、撮像装置の画像に基づいて制御を行う車両２３の他のシステムに対して、異常を知らせる信号を送信するようにすることができる。これによって、他のシステムが、異物のため精度の落ちた画像を用いて処理を行い、不具合が発生することを低減することができる。

さらに、本開示は、車載の撮像システムとしてのみでなく、異物除去装置を有する撮像装置として、屋外に設置される監視用カメラにも適用することができる。

１ レンズ（撮像光学系）
２ 受光面
１０ 撮像装置
１１ レンズ
１２ 撮像素子
１３ Ａ／Ｄ変換部
１４ 制御部（プロセッサ）
１５ 異物除去装置
１６ 画像処理部
１７ デコンボリューション処理部
１８ 記憶部
１９ 異物判定部
２０ 出力部
２１ モニタ
２２ レンズ保持部
２３ 車両
２４ ウインドシールド（光透過物）
２５ 撮像装置
２６ 異物除去装置

Claims (14)

1. 被写体の像を結像させる撮像光学系と、
   前記撮像光学系により結像された被写体の像を取得する撮像素子であって、前記被写体が所定の被写体距離に位置する場合の前記撮像光学系による合焦位置に受光面が配置された撮像素子と、
   前記撮像素子により取得した第１画像から、前記所定の被写体距離とは異なる被写体距離にピント位置を変更した１つ以上の第２画像を生成し、該第２画像の合焦状態に基づいて、前記撮像光学系の最も被写体側の面または前記撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定するプロセッサと、を備え、
   前記プロセッサは、無限遠から前記撮像光学系または前記光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する撮像装置。
2. 前記プロセッサは、前記第２画像のコントラスト値を算出し、該コントラスト値が所定の閾値よりも大きい場合に合焦していると判断する請求項１に記載の撮像装置。
3. 前記プロセッサは、無限遠から前記至近位置までの範囲内の３つ以上の被写体距離について、前記第２画像を生成し、それぞれの前記第２画像のコントラスト値を算出し、前記被写体距離に対する前記コントラスト値の変化にピーク値が存在すると推定したときは、合焦していると判断する請求項１に記載の撮像装置。
4. 前記プロセッサは、無限遠から前記至近位置までの距離が何れかの前記第２画像の被写界深度の範囲に含まれるように設定した複数の前記被写体距離にピントを合わせた、複数の前記第２画像を生成する請求項１から３の何れか一項に記載の撮像装置。
5. 前記プロセッサは、環境変化により無限遠の被写体のピント位置が前記被写体側にずれた場合の合焦位置、及び、環境変化により前記至近位置の被写体のピント位置が被写体方向と反対方向にずれた場合の合焦位置に、それぞれ撮像素子を配置した場合に得られる画像を、第２画像として生成する請求項４に記載の撮像装置。
6. 前記プロセッサは、前記撮像光学系の前記被写体側の面または前記光透過物の前記表面にピント位置を合わせた前記第２画像を生成し、該生成した第２画像が合焦していると判断したときは、異物が有ると判定する、請求項１に記載の撮像装置。
7. 前記プロセッサは、前記第２画像のコントラスト値を算出し、該コントラスト値が所定の閾値よりも大きい場合に合焦していると判断する請求項６に記載の撮像装置。
8. 前記プロセッサは、前記撮像素子により取得した第１画像を複数の領域に分割し、前記複数の領域のそれぞれについて、前記第２画像を生成し、該第２画像が合焦しているか否かを判断する請求項１から７の何れか一項に記載の撮像装置。
9. 前記プロセッサは、前記撮像光学系の構成に基づいて予め設定された点広がり関数を用いて、デコンボリューション処理を実行することにより前記第２画像を生成することを特徴とする請求項１から８の何れか一項に記載の撮像装置。
10. 前記プロセッサが、前記撮像光学系の前記被写体側の面または前記光透過物の表面に付着する異物があると判断したときは、異常を知らせる信号を出力する出力部を備える請求項１から９の何れか一項に記載の撮像装置。
11. 被写体の像を結像させる撮像光学系、前記撮像光学系により結像された被写体の像を取得する撮像素子であって、前記被写体が所定の被写体距離に位置する場合の前記撮像光学系による合焦位置に受光面が配置された撮像素子、及び、前記撮像素子により取得した第１画像から、前記所定の被写体距離とは異なる被写体距離にピント位置を変更した１つ以上の第２画像を生成し、該第２画像の合焦状態に基づいて、前記撮像光学系の最も被写体側の面または前記撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定するプロセッサを含み、前記プロセッサは、無限遠から前記撮像光学系または前記光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する撮像装置と、
    前記プロセッサが、前記撮像光学系または前記光透過物の表面に付着する異物が有ると判定したとき、前記異物の除去動作を行う異物除去装置と
    を備える撮像システム。
12. 被写体の像を結像させる撮像光学系、前記撮像光学系により結像された被写体の像を取得する撮像素子であって、前記被写体が所定の被写体距離に位置する場合の前記撮像光学系による合焦位置に受光面が配置された撮像素子、及び、前記撮像素子により取得した第１画像から、前記所定の被写体距離とは異なる被写体距離にピント位置を変更した1つ以上の第２画像を生成し、該第２画像の合焦状態に基づいて、前記撮像光学系の最も被写体側の面または前記撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定するプロセッサを含み、前記プロセッサは、無限遠から前記撮像光学系または前記光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する撮像装置を備える車両。
13. 被写体の像を結像させる撮像光学系、前記撮像光学系により結像された被写体の像を取得する撮像素子であって、前記被写体が所定の被写体距離に位置する場合の前記撮像光学系による合焦位置に受光面が配置された撮像素子、及び、前記撮像素子により取得した第１画像から、前記所定の被写体距離とは異なる被写体距離にピント位置を変更した1つ以上の第２画像を生成し、該第２画像の合焦状態に基づいて、前記撮像光学系の最も被写体側の面または前記撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定するプロセッサを含み、前記プロセッサは、無限遠から前記撮像光学系または前記光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する撮像装置、並びに、前記プロセッサが、前記撮像光学系または前記光透過物の表面に付着する異物が有ると判定したとき、前記異物の除去動作を行う異物除去装置を有する撮像システムを備える車両。
14. 撮像光学系による所定距離の被写体の合焦位置に受光面が配置された撮像素子により被写体の像を取得し、
    前記撮像素子により取得した第１画像から、前記所定距離とは異なる被写体距離にピント位置を変更した1つ以上の第２画像を生成し、
    前記第２画像の合焦状態に基づいて、前記撮像光学系の最も被写体側の面または前記撮像光学系よりも被写体側に位置する光透過物の表面に付着する異物の有無を判定する、異物判定方法であって、
    無限遠から前記撮像光学系または前記光透過物よりも被写体側に設定した至近位置までの範囲内の被写体距離にピント位置を合わせた第２画像を生成し、該第２画像の何れかが合焦していると判断したときは、異物が無いと判定する、異物判定方法。

Images