JP2011078047A - 撮像装置 - Google Patents

Abstract

【課題】簡易な構成で、レンズに付着した異物を自動的に検出することが可能な撮像装置を提供する。
【解決手段】デジタルカメラ１０は、光学レンズ１２を経た被写界の光学像が照射される撮像面を有し、光電変換により被写界の光学像に対応する画像信号を生成する撮像素子１６と、光学レンズ１２の絞りを制御する絞り機構１４と、撮像素子１６の露光時間を制御するシャッタ１５と、被写界の明るさの評価値に基づいて撮像面の露光量を調整する露光調整手段と、光学レンズ１２のフォーカス位置を調整するフォーカス調整手段とを備える。ＣＰＵ３０は、露光量およびフォーカス位置を同一とし、かつ、絞り値が互いに異なる複数の撮影条件で撮影動作を行なうとともに、撮影動作時に撮像手段から得られる複数の画像信号を比較することにより光学レンズ１２に付着した異物を検出する。
【選択図】図１

Description

この発明は、撮像装置に関し、より特定的には、光学系に付着した異物を検出する異物検出機能を備えた撮像装置に関する。

レンズを含む光学系に付着した異物を検出する機能を有する撮像装置の一例として、特開２００５−２８６４０４号公報（特許文献１）には、レンズ鏡筒に設けられ、外部に露出する光学部品と、被写体像を結像位置に合焦させるフォーカスレンズと、フォーカスレンズを移動させ、焦点調整して合焦位置を得る駆動手段と、フォーカスレンズの移動時に、光学部品の表面に合焦されるか否かを判定する合焦判定手段と、合焦判定手段により合焦されたと判定されたときに、光学部品の表面に汚れが付着していることを示す警告をユーザーに報知する報知手段とを有するデジタルカメラが開示される。

この特許文献１に記載のデジタルカメラによれば、光学部品の表面にゴミなどの汚れが付着しているときには、光学部品の表面に合焦され、汚れが付着していないときには、光学部品の表面に合焦しない。合焦判定手段により合焦されたと判定されたときには、警告がユーザーに報知されるため、ユーザーは、汚れの付着を容易に確認し、クリーナーなどで拭くことができ、汚れが付着したまま撮影が続行されるのを回避できる。

また、特開２００８−２６５７２７号公報（特許文献２）には、車両の後方に据え付けたカメラと、該カメラで撮影した画像を監視するディスプレイとを備えた車両用バックモニタ装置であって、カメラの一部に写った車両の実画像と、カメラに付着物が付いていないときの実画像に対応する基準画像とを比較し、画像の変化の有無を検出することにより、カメラの付着物の有無を判定する付着物有無検出手段を備えた構成が開示される。

特開２００５−２８６４０４号公報 特開２００８−２６５７２７号公報

しかしながら、上記の特許文献１に記載の合焦判定手段は、フォーカスレンズのフォーカス位置が光学部品の表面に合焦することを前提としたものであるが、このようなレンズはコストが高く、レンズ自体も大きくなってしまうため、汎用性が求められるデジタルカメラへの適応が難しいという問題があった。

また、上記の特許文献２に記載される付着物有無検出手段では、カメラの付着物の有無を判定するために基準画像が必要となるが、車両の後方に据え付けられたカメラとは異なり、様々な場所で撮影動作が行なわれることを前提としたデジタルカメラにおいては、実画像の被写体と基準画像の被写体とが一致しないことが多い。そのため、特許文献２に記載される付着物有無検出手段をデジタルカメラに適応するには問題が発生し得る。特に、一旦電源がオフされると、オフ期間中にカメラに付着した付着物は、次回の電源がオンされたときには、被写体が変更しているために検出することが不可能となる。

それゆえ、この発明はかかる課題を解決するためになされたものであり、その目的は、簡易な構成で、レンズに付着した異物を自動的に検出することが可能な撮像装置を提供することである。

この発明のある局面に従えば、撮像装置は、レンズを経た被写界の光学像が照射される撮像面を有し、光電変換により被写界の光学像に対応する画像信号を生成する撮像手段と、レンズの絞りを制御する絞り制御手段と、撮像手段の露光時間を制御するシャッタ手段と、被写界の明るさの評価値に基づいて撮像面の露光量を調整する露光調整手段と、レンズのフォーカス位置を調整するフォーカス調整手段と、露光量およびフォーカス位置を同一とし、かつ、絞り値が互いに異なる複数の撮影条件で撮影動作を行なうとともに、撮影動作時に撮像手段から得られる複数の画像信号を比較することによりレンズに付着した異物を検出するための異物検出手段とを備える。

好ましくは、異物検出手段は、撮影条件が異なる第１の画像信号と第２の画像信号との輝度差を、第１および第２の画像信号の各々が表わす画像を分割した複数の分割領域の各領域ごとに求める演算手段と、少なくとも一部の分割領域において、演算手段により求められた輝度差が予め設定された閾値以上となるか否かを判定する判定手段と、判定手段によって演算手段により求められた輝度差が閾値以上となると判定された場合には、レンズに異物が付着したと判断して警告を出力する警告手段とを含む。

好ましくは、演算手段は、複数の分割領域から第１の画像信号と第２の画像信号とで共通するエッジ部分を除いた残余の分割領域の各領域ごとに、第１の画像信号と第２の画像信号との輝度差を求める。

好ましくは、異物検出手段は、絞りを設定可能範囲の開放端とする第１の撮影条件で撮影した第１の画像信号と、絞りを設定可能範囲の小絞り端とする第２の撮影条件で撮影した第２の画像信号とを比較することにより、レンズに付着した異物を検出する。

好ましくは、撮像装置は、撮影画角を調整するズーム調整手段をさらに備える。異物検出手段は、複数の撮影条件の間で撮影画角を広角側の所定値に固定する。

好ましくは、撮像装置は、撮影動作時における手ぶれを検出する手ぶれ検出手段をさらに備える。異物検出手段は、複数の撮影条件で連続して撮影動作を行なっているときに手ぶれ検出手段により検出される手ぶれ量が所定量以下である場合に、レンズに付着した異物を検出する。

この発明によれば、簡易な構成で、レンズに付着した異物を自動的に検出することができる。

この発明の実施の形態１に係る撮像装置としてのデジタルカメラの要部を示す概略構成図である。 この発明の実施の形態１に従う異物検出処理を説明するフローチャートである。 この発明の実施の形態１に従う異物検出処理を説明するフローチャートである。 図３のステップＳ２２の撮影／記録処理において取得される撮影画像の一例を示す図である。 図３のステップＳ２３の撮影／記録処理において取得される撮影画像の一例を示す図である。 画像１および画像２を比較した結果の一例を示す図である。 この発明の実施の形態１の変更例に従う異物検出処理を説明する図である。 この発明の実施の形態１の変更例に従う異物検出処理を説明するフローチャートである。 この発明の実施の形態２に従う異物検出処理を説明するフローチャートである。 この発明の実施の形態３に従う異物検出処理を説明するフローチャートである。 この発明の実施の形態３に従う異物検出処理を説明するフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当する部分には同一符号を付してその説明は繰返さない。

［実施の形態１］
図１は、この発明の実施の形態１に係る撮像装置としてのデジタルカメラ１０の要部を示す概略構成図である。

図１を参照して、デジタルカメラ１０において、被写界の光学像は、光学レンズ１２を通して撮像素子１６の受光面つまり撮像面に照射される。絞り機構１４は、光学レンズ１２を通過する光の量を調整する機構である。シャッタ１５は、撮像素子１６の撮像面に被写界からの光かが当たる時間を（露光時間）を調整する機構である。撮像素子１６は、光電変換によって、撮像面に結像した被写界の光学像の明暗に対応する電荷つまりＲａｗ画像信号を生成する。撮像素子１６には、たとえばＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）が用いられる。

電源が投入されると、スルー画像処理つまり被写界のリアルタイム動画像を液晶モニタ３８に表示する処理が実行される。具体的には、ＣＰＵ３０はまず、絞り機構１４の開放をドライバ２０に命令し、プリ露光および間引き読み出しの繰り返しをタイミングジェネレータ（ＴＧ）２６に命令する。

ドライバ２０は、絞り機構１４の絞りを開放し、ＴＧ２６は、撮像素子１６のプリ露光とこれによって生成されたＲａｗ画像信号の間引き読み出しとを繰り返し実行する。プリ露光および間引き読み出しは、１／３０秒毎に発生する垂直同期信号に応答して実行される。これによって、被写界の光学像に対応する低解像度のＲａｗ画像信号が、３０ｆｐｓのフレームレートで撮像素子１６から出力される。

ＡＦＥ回路２２は、相関２重サンプリング、ゲイン調整およびＡ／Ｄ変換の一連の処理を撮像素子１６から出力された各フレームのＲａｗ画像信号に施す。ＡＦＥ回路２２から出力されたデジタル信号であるＲａｗ画像データは、ホワイトバランス調整、色分離、ＹＵＶ変換などの処理を信号処理回路２４によって施され、これによってＹＵＶ形式の画像データに変換される。

信号処理回路２４は、バスＢ１を通して所定量の画像データをメモリ制御回路３２に与え、この所定量の画像データの書込みリクエストをメモリ制御回路３２に向けて発行する。所定量の画像データは、メモリ制御回路３２によってＳＤＲＡＭ３４に書き込まれる。こうして、画像データは所定量ずつＳＤＲＡＭ３４に格納される。

ビデオエンコーダ３６は、メモリ制御回路３２から与えられた画像データをＮＴＳＣフォーマットに従うコンポジットビデオ信号に変換し、変換されたコンポジットビデオ信号を液晶モニタ３８に与える。この結果、被写界のスルー画像がモニタ画面に表示される。

シャッタボタン２８が半押しされると、ＣＰＵ３０は、ＡＥ処理およびＡＦ処理を行なう。ＡＥ処理は、次の要領で行なわれる。信号処理回路２４によって生成された画像データのうちＹデータは、輝度評価回路５０に与えられる。輝度評価回路５０は、与えられたＹデータに基づいて、１／３０秒毎に被写界の輝度を評価する。このとき、輝度評価回路５０は、被写界を水平方向および垂直方向の各々において複数に分割し（たとえば８分割とする）、６４個の分割エリアの各々についてＹデータを積算する。この結果、６４個の輝度評価値Ｉｙ［０］〜Ｉｙ［６４］が輝度評価回路５０で生成される。

輝度評価値Ｉｙ［０］〜Ｉｙ［６４］は、ＣＰＵ３０によって取り込まれ、スルー画像用ＡＥ処理に利用される。ＣＰＵ３０は、輝度評価値Ｉｙ［０］〜Ｉｙ［６４］に基づいてＴＧ２６に設定されたプリ露光時間および絞り機構１４の絞り値を調整する。この結果、液晶モニタ３８に表示されるスルー画像の明るさが適度に調整される。

シャッタボタン２８が半押しされると、被写界像の撮影条件が調整される。ＣＰＵ３０は、記録用ＡＥ処理を実行する。具体的には、ＣＰＵ３０は、輝度評価回路５０で積算された最新の輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を取り込み、取り込んだ輝度評価値Ｉｙ［０］〜Ｉｙ［６４］に従って適正な露光量（Exposure Value）を算出する。この結果、被写界の明るさに応じて露光量が厳密に調整される。そして、ＣＰＵ３０は、算出された適正な露光量が得られるように最適露光時間を調整し、調整した最適露光時間をＴＧ２５に設定する。

ＡＦ処理は、次の要領で実行される。ＡＦ評価回路５４では、信号処理回路２４によって生成されたＹデータの高周波成分が１フレーム期間毎に積算される。積算結果つまりＡＦ評価値（合焦度）はＣＰＵ３０によって取り込まれ、ＣＰＵ３０は取り込んだＡＦ評価値に基づいてドライバ１８を制御する。この結果、光学レンズ１２が合焦位置に設定される。

シャッタボタン２８が全押しされると、ＣＰＵ３０によって撮影／記録処理が実行される。ＣＰＵ３０は、最適露光時間に従う本露光と全画素読み出しとをＴＧ２６に命令する。撮像素子１６は本露光を施され、これによって得られた全ての電荷つまり高解像度のＲａｗ画像信号が撮像素子１６から出力される。出力されたＲａｗ画像信号は、ＡＦＥ回路２２によってＲａｗ画像データに変換され、変換されたＲａｗ画像データは信号処理回路２４を通してＳＤＲＡＭ３４に書き込まれる。この結果、ＹＵＶ形式の画像データがＳＤＲＡＭ３４に一旦格納される。

上述の処理が完了すると、ＣＰＵ３０は続いて、ＪＰＥＧコーデック４０およびＩ／Ｆ４２に命令を与える。ＪＰＥＧコーデック４０は、ＳＤＲＡＭ３４に格納された画像データをメモリ制御回路３２を通して読み出す。読み出された画像データは、バスＢ１を経てＪＰＥＧコーデック４０に与えられ、ＪＰＥＧ圧縮が施される。これによって生成された圧縮画像データは、バスＢ１を経てメモリ制御回路３２に与えられ、これによってＳＤＲＡＭ３４に書き込まれる。Ｉ／Ｆ４２は、ＳＤＲＡＭ３４に格納された圧縮画像データをメモリ制御回路３２を通して読み出し、読み出された圧縮画像データをファイル形式で記録媒体４４に記録する。

（処理フロー）
ＣＰＵ３０は、詳しくは、図２に示すフローチャートに従う処理を実行する。なお、このフローチャートに対応する制御プログラムは、フラッシュメモリ４６に記憶されている。

図２を参照して、電源が投入されると、最初に初期化を行なう（ステップＳ０１）。ここでは、異物検出フラグを「１」に設定し、初期値を示す露光時間をＴＧ２６に設定する。また、光学レンズ１２を初期位置（無限遠側端部）に配置する。

次に、ＣＰＵ３０は、被写界のスルー画像を液晶モニタ３８に表示すべくスルー画像処理を実行する（ステップＳ０２）。そして、シャッタボタン２８が半押しされたか否かを判定する（ステップＳ０３）。シャッタボタン２８が半押しされていなければ（ステップＳ０３にてＮＯ）、ステップＳ０３に戻る。一方、シャッタボタン２８が半押しされていれば（ステップＳ０３にてＹＥＳ）、ＡＥ処理を実行する（ステップＳ０４）。つまり、輝度評価回路によって積算された最新の輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を取り込み、取り込んだ輝度評価値Ｉｙ［０］〜Ｉｙ［６４］に基づいて適正な露光量を算出する。そして、ＣＰＵ３０は、適正な露光量が得られるように、最適露光時間を調整する。

また、ＣＰＵ３０は、ＡＦ処理を実行する（ステップＳ０５）。つまり、ＣＰＵ３０は、ＡＦ評価回路５４からＡＦ評価値を取り込み、取り込んだＡＦ評価値に基づいてドライバ１８を制御する。これによって、光学レンズ１２が合焦位置に設定される。

次に、シャッタボタン２８が全押しされたか否かを判定する（ステップＳ０６）。シャッタボタン２８が全押しされていなければ（ステップＳ０６にてＮＯ）、シャッタボタン２８が解除されたか否かを判定する（ステップＳ１１）。シャッタボタン２８の半押し状態が解除されると（ステップＳ１１にてＹＥＳ）、ステップＳ０２に戻り、シャッタボタン２８の半押し状態が継続すれば（ステップＳ１１にてＮＯ）、ステップＳ０６に戻る。

一方、シャッタボタン２８が全押しされていれば（ステップＳ０６にてＹＥＳ）、ＣＰＵ３０は、撮影／記録処理を行なう（ステップＳ０７）。そして、ＣＰＵ３０は、異物検出フラグが「１」を示すか否かを判定する（ステップＳ０８）。

異物検出フラグが「１」でない、すなわち、異物検出フラグが「０」のときには（ステップＳ０８にてＮＯ）、ＣＰＵ３０は、前回の異物検出処理を実行した時点から所定時間以上経過したか否かを判定する（ステップＳ１２）。なお、所定時間は、異物検出処理が実行される間隔を規定するものとして、予め定められたものである。

前回の異物検出処理を実行した時点から所定時間以上経過しているときには（ステップＳ１２にてＹＥＳ）、異物検出フラグを「１」に設定してステップＳ０２に戻る。一方、前回の異物検出処理を実行した時点から所定時間以上経過していなければ（ステップＳ１２にてＮＯ）、異物検出フラグを「０」に維持してステップＳ０２に戻る。

これに対して、ステップＳ０８において異物検出フラグが「１」のとき（ステップＳ０８にてＹＥＳ）には、ＣＰＵ３０は、異物検出フラグを「０」に設定し（ステップＳ０９）、光学レンズ１２に付着した異物を検出するための異物検出処理を実行する（ステップＳ１０）。

（異物検出処理）
ステップＳ１０の異物検出処理は、図３に示すサブルーチンに従う。なお、このフローチャートに対応する制御プログラムは、フラッシュメモリ４６に記憶されている。

図３を参照して、最初に、ＣＰＵ３０は、光学レンズ１２を現在の位置から至近側端部に移動させる（ステップＳ２１）。そして、以下のステップＳ２２，Ｓ２３に従って、フォーカス位置および露光量を同一とし、かつ、絞り値および露光時間の組合せが異なる複数の撮影条件を用いた撮影を連続して実行する。

具体的には、最初に、ＣＰＵ３０は、絞り機構１４の絞りの開放をドライバ２０に命令する。ここで、絞り機構１４の状態は、絞り値（Ｆ値）と呼ばれる数値を用いて表わされる。本実施の形態に従うデジタルカメラ１０は、絞り値を複数の段階に設定可能である。このうち、絞り値の最も小さい側が、絞りの開放端であり、絞り値の最も大きい側が、絞りの絞り込み側（小絞り端）である。なお、絞り値を一段階上げるごとに、露光量は減少する。本ステップＳ２２では、絞り値は、開放端に対応する値に設定される。

絞りが開放端に変更されると、変更後のプリ露光に基づくＲａｗ画像信号が撮像素子１６から出力される。ＣＰＵ３０は、Ｒａｗ画像信号に基づく輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を輝度評価回路５０から取り込み、取り込んだ輝度評価値に基づいて適正な露光量を算出する。そして、算出した適性な露光量が得られるように、最適露光時間が調整され、ＴＧ２６に設定される。最適露光時間が調整されると、ＣＰＵ３０は、決定された撮影条件にて撮影／記録処理を実行する（ステップＳ２２）。

なお、ステップＳ２２の撮影／記録処理では、撮像素子１６から出力される高解像度のＲａｗ画像信号は、ＡＦＥ回路２２によってＲａｗ画像データに変換され、変換されたＲａｗ画像データは信号処理回路２４を通してＳＤＲＡＭ３４に書き込まれる。このとき、ＡＦＥ回路２２では、撮影画像が最適な明るさになるようにゲイン調整が行なわれる。この結果、ＹＵＶ形式の画像データがＳＤＲＡＭ３４に一旦格納される。以下では、この絞りを開放端に設定したときの撮影画像を、「画像１」もしくは「絞り開放画像」とも称する。

次に、ＣＰＵ３０は、絞り機構１４の絞り込みをドライバ２０に命令する。本ステップＳ２３では、絞り値は、小絞り端に対応する値に設定される。

絞りが小絞り端に変更されると、変更後のプリ露光に基づくＲａｗ画像信号が撮像素子１６から出力される。ＣＰＵ３０は、Ｒａｗ画像信号に基づく輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を輝度評価回路５０から取り込み、取り込んだ輝度評価値に基づいて露光時間を調整する。

このとき、ＣＰＵ３０は、ステップＳ２２での「画像１（絞り開放画像）」の撮影時の露光量と、今回の撮影時の露光量とが実質的に同一となるように、露光時間を調整する。すなわち、ステップＳ２２の撮影条件とステップＳ２３の撮影条件とは、被写界の明るさに応じた適正な露光量を実現するための絞りと露光時間との組合せが異なるように設定される。

変更された絞りにて最適露光時間が調整されると、ＣＰＵ３０は、決定された撮影条件にて撮影／記録処理を実行する（ステップＳ２３）。具体的には、撮像素子１６から出力されたＲａｗ画像信号は、ＡＦＥ回路２２によってＲａｗ画像データに変換され、変換されたＲａｗ画像データが信号処理回路２４を通してＳＤＲＡＭ３４に書き込まれる。このとき、ＡＦＥ回路２２では、撮影画像が「画像１」と略同じ明るさになるようにゲイン調整が行なわれる。この結果、ＹＵＶ形式の画像データがＳＤＲＡＭ３４に一旦格納される。以下では、この絞りを小絞り端に設定したときの撮影画像を、「画像２」もしくは「小絞り画像」とも称する。

図４および図５には、図３のステップＳ２２，Ｓ２３の撮影／記録処理において取得される撮影画像の一例が示される。なお、図４はステップＳ２２の撮影／記録処理を説明する図であり、図５は、ステップＳ２３の撮影／記録処理を説明する図である。

図４を参照して、光学レンズ１２の表面の中央部分に異物が付着している場合を仮定する。このような場合において、光学レンズ１２を至近側端部に配置し、かつ、絞りを開放端に設定して被写界を撮影すると（図４（ａ）参照）、撮像素子１６の撮像面上に結像される被写界の光学像には、その中央部分Ｐ１に、異物の像が拡散した状態で現われる（図４（ｂ）参照）。これは、光学レンズ１２の合焦位置が光学レンズ１２の表面となっていないことによる。したがって、図４（ｃ）に示すように、光学像を光電変換することによって得られる撮影画像（画像１）は大きくぼやけたものとなり、かつ、その中央部分Ｐ１には若干の異物の影響が見られる。

一方、図５に示すように、光学レンズ１２を至近側端部に配置し、かつ、絞りを小絞り端に設定して被写界を撮影した場合には（図５（ａ）参照）、撮像素子１６の撮像面上に結像される被写界の光学像において、その中央部分Ｐ２では、異物の像の拡散が小さく抑えられている（図５（ｂ）参照）。そのため、図５（ｃ）に示すように、光学像を光電変換して得られる撮影画像（画像２）では、その中央部分Ｐ２に見られる異物の影響が、撮影画像（画像１）における異物の影響と比較して、より大きいものとなっている。

このようにして、絞りを開放端と小絞り端との間で変化させて同一の被写界を撮影することにより、撮影された画像１および画像２の間では、撮影画像に及ぼす異物の影響の大きさに違いが現われる。かかる違いは、絞りの変更に応じて被写界深度（ピントが合っているように見える幅）が変化することに起因している。

すなわち、絞りを開放端まで開放して撮影された画像（画像１）は、被写界深度の浅い画像となるため、フォーカス位置のみピントが合い、フォーカス位置よりも前方の異物は完全にぼけた画像となる。そのため、異物が撮影画像に及ぼす影響は小さいものとなる。

これに対して、絞りを小絞り端まで絞り込んで撮影された画像（画像２）は、被写界深度の深い画像となるため、フォーカス位置のみならず、フォーカス位置の前方にもピントが合った画像となる。そのため、異物は少しぼけた画像となり、撮影画像に及ぼす影響が画像１と比較して大きくなる。

したがって、被写界深度に応じて撮影画像に及ぼす異物の影響が変化することを利用すれば、被写界深度が異なる２つの画像１および画像２を比較することによって、光学レンズ１２に付着した異物の有無を判断することが可能となる。

図６は、画像１および画像２を比較した結果の一例を示す図である。なお、図６（ａ）は、画像１（図４（ｃ）と同じ）および画像２（図５（ｃ）と同じ）を示し、図６（ｂ）は、画像１と画像２との間で、画素毎での輝度の差分を算出した結果を示す。

上述したように、画像１と画像２とは、露光量が同一であるとともに、同じ明るさとなるようにゲイン調整が行なわれているため、本来、画素ごとの輝度差分値は略零となり、輝度差が発生することがない。しかしながら、図６（ｂ）では、画像間で異物の影響が異なることを受けて、画面の中央部分Ｐ３に輝度差が生じている。したがって、この輝度差の発生の有無を検出することにより、光学レンズ１２に付着した異物の有無を判断することが可能となる。

これによれば、レンズの表面に合焦位置を有さないレンズを搭載した一般的なデジタルカメラであっても、レンズの表面に付着した異物の検出を行なうことができる。

また、絞りを変更しながら連続して撮影を行なうことによって、被写界および露光量が同一であり、被写界深度が異なる２枚の撮影画像を取得できることから、電源をオフした後に撮影環境が変更された場合であっても、次回の電源投入後には、オフ期間中にレンズに付着した異物を検出することができる。

なお、本実施の形態において、絞りを開放端と小絞り端との間で変化させて撮影する構成としたのは、２枚の撮影画像の間で被写界深度の差を最大とすることで、撮影画像に及ぼす異物の影響に顕著な差を生じさせるためである。したがって、２枚の撮影画像の間で異物の影響に顕著な差を生じさせるものである限りにおいて、絞りは必ずしも開放端および小絞り端に限定されるものではない。

再び図３を参照して、画像１および画像２の撮影／記録処理が完了すると（ステップＳ２２，Ｓ２３）、ＣＰＵ３０は、ジャイロセンサ５６のセンサ値を取得する（ステップＳ２４）。ジャイロセンサ５６は、デジタルカメラ１０の装置本体の手ぶれを検知し、その検知した手ぶれ量をＣＰＵ３０へ出力する。なお、ＣＰＵ３０は、通常の撮影処理においては、ジャイロセンサ５６により検知された手ぶれ量に応じて、光学レンズ１２の光軸に垂直な方向に撮像素子１６を移動させるように、手ぶれ補正機構（図示せず）を駆動制御する。これにより、手ぶれ補正機構は、装置本体の手ぶれを相殺させるように撮像素子１６を移動させる。

ステップＳ２５では、ＣＰＵ３０は、ジャイロセンサ５６のセンサ値に基づいて、画像１の撮影時（ステップＳ２２）から画像２の撮影時（ステップＳ２３）までの時間に手ぶれが発生していないかを判定する。当該時間に手ぶれが発生したと判定されたときには（ステップＳ２５にてＮＯ）、異物検出処理を終了する。

一方、当該時間に手ぶれが発生していないと判定されたときには（ステップＳ２５にてＹＥＳ）、ＣＰＵ３０は、画像１および画像２の比較を行ない、その比較結果に基づいて光学レンズ１２に付着した異物の有無を検出する。

具体的には、ＣＰＵ３０は、ＳＤＲＡＭ３４に格納された画像１および画像２の画像データをメモリ制御回路３２を通して読み出し、読み出した画像１および画像２を、それぞれ同一の所定ブロックに分割する（ステップＳ２６）。そして、ＣＰＵ３０は、各ブロック毎に画像１および画像２を比較する（ステップＳ２７）。このとき、ＣＰＵ３０は、ブロック毎に画像１および画像２の輝度の差分値を算出し、算出した輝度差分値と所定の閾値とを比較する。そして、輝度差分値が所定の閾値以上となるブロックが所定数以上である場合には（ステップＳ２８にてＹＥＳ）、ＣＰＵ３０は、光学レンズ１２の異物が付着していると判断する。一方、輝度差分値が所定の閾値以上となるブロックが所定数を下回る場合には（ステップＳ２８にてＮＯ）、異物検出処理を終了する。

光学レンズ１２に異物が付着していると判断されると、ＣＰＵ３０は、ビデオエンコーダ３６を介して液晶モニタ３８に、光学レンズ１２に異物が付着していることを示す警告を表示する。さらに、ＣＰＵ３０は、異物検出フラグを「０」にリセットする（ステップＳ２９）。

なお、光学レンズ１２に異物が付着していることをユーザーに報知するため手段は、上述したような液晶モニタ３８に警告を表示させる構成に限定されるものではない。例えば、装置本体に設けた警告ランプを点灯させる構成や、スピーカーから警告音を出力する構成としてもよい。

［変更例］
上述した実施の形態１では、被写界深度が異なる画像１および画像２の差分を算出し、差分が所定の閾値以上となるブロックが所定数以上となるか否かにより、異物の有無を判断する構成としたが、本変更例に示すように、画像１および画像２の露光制御に用いられる輝度評価値を比較することにより異物の有無を判断する構成とすることも可能である。

図７は、この発明の実施の形態１の変更例に従う異物検出処理を説明する図である。なお、図７（ａ）は、画像１（図４（ｃ）と同じ）および画像２（図５（ｃ）と同じ）を示し、図７（ｂ）は、各画像の露光量の調整に用いられた輝度評価値を示す。輝度評価値は、輝度評価回路５０（図１）で生成され、ＡＥ処理においてＣＰＵ３０に取り込まれたものである。なお、輝度評価回路５０は、図７（ｂ）に示すように、被写界を水平方向および垂直方向の各々において８分割し、６４個の分割エリアの各々についてＹデータを積算することにより、６４個の輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を生成する。

図７（ｃ）には、各分割エリア毎の輝度評価値の差分を算出した結果が示される。同図では、画面中央部分の４つの分割エリアＰ４において、大きな差が生じている。したがって、この差分の発生の有無を検出することにより、光学レンズ１２に付着した異物の有無を判断することが可能となる。

図８は、本変更例に従う異物検出処理を説明するフローチャートである。図８のフローチャートは、図３のフローチャートのステップＳ２６，Ｓ２７，Ｓ２８を、ステップＳ２６０，Ｓ２７０，Ｓ２８０に変更した点でのみ異なる。

ステップＳ２５で、画像１の撮影時（ステップＳ２２）から画像２の撮影時（ステップＳ２３）までの時間に手ぶれが発生していないと判定されたときには、ＣＰＵ３０は、内蔵するレジスタから、画像１の露光量の調整に用いた輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を取得するとともに（ステップＳ２６０）、画像２の露光量の調整に用いた輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を取得する（ステップＳ２７０）。なお、これらの輝度評価値は、ステップＳ２２，Ｓ２３において最適露光時間を調整した後にレジスタに登録されている。

ＣＰＵ３０は、分割エリア毎に輝度評価値の差分値を算出し、算出した差分値と所定の閾値とを比較する。そして、差分値が所定の閾値以上となる分割エリアが所定数以上である場合には（ステップＳ２８０にてＹＥＳ）、光学レンズ１２の異物が付着していると判断する。一方、差分値が所定の閾値以上となる分割エリアが所定数を下回る場合には（ステップＳ２８０にてＮＯ）、異物検出処理を終了する。

このように、この発明の実施の形態１の変更例に従う異物検出処理によれば、画像１および画像２の露光制御に用いられる評価値を比較して、光学レンズ１２に付着した異物の有無を判断する構成としたことにより、異物検出処理のためにＣＰＵ３０にかかる処理負荷を軽減することができる。この結果、短時間で異物の検出を行なうことができる。

［実施の形態２］
上述した実施の形態１では、光学レンズ１２のフォーカス位置を予め至近側端部に設定した状態で、被写界深度の異なる画像１および画像２を撮影する構成としたが、かかる構成では、図４および図５に示したように、被写体がぼけた画像となる。そのため、画像１と画像２との間での被写体のぼけ具合の差が、画像間の明るさの差となって現われた場合には、この明るさの差を検出することで異物が付着していると誤って判断してしまう可能性がある。

このような不具合を防止する手段として、本実施の形態に従う異常検出処理では、光学レンズ１２のフォーカス位置を被写体に合わせた状態で、絞りを変更して画像１および画像２の撮影を行なう構成とする。

図９は、この発明の実施の形態２に従う異物検出処理を説明するフローチャートである。図９のフローチャートは、図３のフローチャートから、フォーカス位置を至近端部へ移動させるステップＳ２１を削除した点でのみ異なる。すなわち、図９の異常検出処理は、通常の撮影処理で設定された光学レンズ１２のフォーカス位置を維持したままで、絞りを変更させて連続した撮影が行なわれる。

このような構成としたことにより、この発明の実施の形態に従う異物検出処理によれば、画像１と画像２とは、ともに被写体にピントが合っているが、被写体の前方および後方のぼけ具合に差が生じる。したがって、画像１および画像２の差分からは、被写体の明るさの差が排除されるため、誤って異物が付着していると判断するのを防止することができる。

［実施の形態３］
上述した実施の形態１および２では、通常の撮影処理の完了後に、絞りを開放端と小絞りとに変更して連続して撮影を行なう構成としたが、通常の撮影処理での絞りとの間で絞りを変更して撮影を行なう構成としても、同様の効果を得ることができる。

図１０および図１１は、この発明の実施の形態３に従う異物検出処理を説明するフローチャートである。なお、このフローチャートに対応する制御プログラムは、フラッシュメモリ４６に記憶されている。

図１０のフローチャートは、図２のフローチャートのステップＳ０７，Ｓ１０を、ステップＳ０７１，Ｓ１０１に変更した点でのみ異なる。

図１０を参照して、ステップＳ０６でシャッタボタン２８が全押しされていれば（ステップＳ０６でＹＥＳ）、ＣＰＵ３０は、撮影／記録処理を行なう（ステップＳ０７１）。このとき、撮像素子１６から出力される高解像度のＲａｗ画像信号は、ＡＦＥ回路２２によってＲａｗ画像データに変換され、変換されたＲａｗ画像データは信号処理回路２４を通してＳＤＲＡＭ３４に書き込まれる。この結果、ＹＵＶ形式の画像データがＳＤＲＡＭ３４に一旦格納される。本変更例では、この通常の撮影条件で撮影された画像を「画像１」とする。

そして、ステップＳ０８で異物検出フラグが「１」を示すか否かを判定し、異物検出フラグが「１」であれば（ステップＳ０８にてＹＥＳ）、ＣＰＵ３０は、異物検出フラグを「０」に設定し（ステップＳ０９）、光学レンズ１２に付着した異物を検出するための異物検出処理を実行する（ステップＳ１０１）。

ステップＳ１０１の異物検出処理は、図１１に示すサブルーチンに従う。なお、図１１のフローチャートは、図３のフローチャートのステップＳ２１〜Ｓ２３を、ステップＳ２１０，Ｓ２２０に変更した点でのみ異なる。

図１１を参照して、最初に、ＣＰＵ３０は、絞り機構１４の絞り値の変更をドライバ２０に命令する（ステップＳ２１０）。本ステップＳ２１０では、絞り値を、現在の状態から複数の段階絞り込み側に設定する。

絞りが変更されると、変更後のプリ露光に基づくＲａｗ画像信号が撮像素子１６から出力される。ＣＰＵ３０は、Ｒａｗ画像信号に基づく輝度評価値Ｉｙ［０］〜Ｉｙ［６４］を輝度評価回路５０から取り込み、取り込んだ輝度評価値に基づいて露光時間を調整する。

このとき、ＣＰＵ３０は、ステップＳ０７１での通常の撮影時の露光量と、今回の撮影時の露光量とが実質的に同一となるように、露光時間を調整する。すなわち、ステップＳ０７１の撮影条件とステップＳ２２０の撮影条件とは、被写界の明るさに応じた適正な露光量を実現するための絞りと露光時間との組合せが異なるように設定される。

変更された絞りにて最適露光時間が調整されると、ＣＰＵ３０は、決定された撮影条件にて撮影／記録処理を実行する（ステップＳ２２０）。撮像素子１６から出力されたＲａｗ画像信号は、ＡＦＥ回路２２によってＲａｗ画像データに変換され、変換されたＲａｗ画像データが信号処理回路２４を通してＳＤＲＡＭ３４に書き込まれる。このとき、ＡＦＥ回路２２では、撮影画像が「画像１」と略同じ明るさになるようにゲイン調整が行なわれる。この結果、ＹＵＶ形式の画像データがＳＤＲＡＭ３４に一旦格納される。本変更例では、この絞りを変更したときの撮影画像を、「画像２」とする。

したがって、本変更例においては、通常の撮影条件で撮影された「画像１」と、通常の撮影条件の絞りを変更した撮影条件で撮影された「画像２」とが比較されることによって、光学レンズ１２に付着した異物の有無が判断される。なお、ステップＳ２１０における絞りの変更は、画像１と画像２との間で異物の影響に顕著な差を生じさせるものである限りにおいて、絞り込み側および開放側のいずれかに限定されるものではない。

この発明の実施の形態３に従う異物検出処理によれば、通常の撮影処理で設定された光学レンズ１２のフォーカス位置を維持したままで、絞りを変更させた撮影条件で撮影が行なわれる。そのため、画像１および画像２はともに被写体にピントが合っており、画像１および画像２の差分からは、被写体の明るさの差が排除される。その結果、誤って異物が付着していると判断するのを防止することができる。

また、先の実施の形態１および２に従う異物検出処理と比較して、撮影条件（絞りおよび露光時間）を変更して撮影を行なう回数が２回から１回に低減するため、異物検出処理の処理負荷および処理時間を低減することができる。また、取得された連続撮影画像に手ぶれ画像が混入するのを抑制することができるため、異物検出処理の検出精度を高めることが可能となる。

［実施の形態４］
ここで、絞りが異なる２枚の画像とを比較すると、いずれの画像も、ピントが合っている領域では、被写体の輪郭や細部がはっきり描写されるため、エッジ部分が多くなり、ピントがぼけている領域では、被写体の輪郭や細部が曖昧になるためエッジ部分が少なくなる。なお、エッジ部分とは、画像中の被写体の輪郭部分などに現われる、隣接する画素間の階調値の差が大きい部分である。

したがって、絞りが絞り込まれた画像２の方が、ピントが合っている領域が大きいためエッジ部分が多くなり、絞りが開放された画像１では、ピントが合っている領域が小さいためエッジ部分が少なくなる。そのため、このエッジ部分の差に起因して画像１および画像２の間には輝度差が生じると、この輝度差を検出することで異物が付着していると誤って判断してしまう可能性がある。

そこで、本実施の形態に従う異物検出処理では、画像１および画像２を比較する際には、それぞれの画像から、画像１および画像２に共通するエッジ部分を除外することにより、エッジ部分でない部分を画像１および画像２の間で比較する構成とする。

なお、画像間に共通するエッジ部分の検出は、画像１のエッジ部分を検出することにより行なうことができる。絞りが開放された画像１のエッジ部分は、絞りが絞り込まれた画像２においてもエッジ部分となるからである。

この発明の実施の形態４に従う異物検出処理によれば、画像１および画像２の差分からは、エッジ部分の差が排除されるため、誤って異物が付着していると判断するのを防止することができる。

［実施の形態５］
光学レンズ１２が撮影画角を変更するズーム機能を有している場合には、画像１および画像２の撮影条件において、撮影画角を同一とする必要が生じる。撮影画角によって被写界深度が異なるためである。

ここで、撮影画角を広角側に設定して撮影した場合には、一般的に被写界深度が深くなるため、光学レンズ１２に付着した異物の撮影画像に及ぼす影響が相対的に大きくなる。したがって、この発明の実施の形態５に従う異物検出処理では、さらに、画像１および画像２の撮影条件において、撮影画角を広角側の所定値に固定する構成とする。これによれば、画像１と画像２とで、撮影画像に及ぼす異物の影響に顕著な差を生じさせることができる。その結果、異物検出処理の検出精度を高めることができる。

なお、上述した実施の形態１〜５では、通常の撮影処理の完了後に、異物検出処理を行なう構成について説明したが、異物検出処理は、通常の撮影処理の前に行なわれてもよい。たとえば、ユーザがシャッタボタン２８を半押し状態にした場合に実行されてもよいし、スルー画像処理に併せて行なわれてもよい。

また、上述した実施の形態では、異物検出処理を実行する度合いを規定するものとして、前回の異物検出処理を行なった時点から所定時間以上経過したと判断された場合に、今回の異物検出処理を行なう構成について説明したが、前回の異物検出処理を行なった時点以降に撮影した画像の枚数が予め定められた所定枚数に達したと判断された場合に、今回の異物検出処理を行なう構成としてもよい。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０ デジタルカメラ、１２ 光学レンズ、１４ 絞り機構、１５ シャッタ、１６ 撮像素子、１８，２０ ドライバ、２２ ＡＦＥ回路、２４ 信号処理回路、２８ シャッタボタン、３０ ＣＰＵ、３２ メモリ制御回路、３４ ＳＤＲＡＭ、３６ ビデオエンコーダ、３８ 液晶モニタ、４０ ＪＰＥＧコーデック、４４ 記録媒体、４６ フラッシュメモリ、５０ 輝度評価回路、５４ ＡＦ評価回路、５６ ジャイロセンサ、Ｂ１ バス。

Claims (6)

1. レンズを経た被写界の光学像が照射される撮像面を有し、光電変換により被写界の光学像に対応する画像信号を生成する撮像手段と、
   前記レンズの絞りを制御する絞り制御手段と、
   前記撮像手段の露光時間を制御するシャッタ手段と、
   被写界の明るさの評価値に基づいて前記撮像面の露光量を調整する露光調整手段と、
   前記レンズのフォーカス位置を調整するフォーカス調整手段と、
   露光量およびフォーカス位置を同一とし、かつ、絞り値が互いに異なる複数の撮影条件で撮影動作を行なうとともに、前記撮影動作時に前記撮像手段から得られる複数の画像信号を比較することにより前記レンズに付着した異物を検出するための異物検出手段とを備える、撮像装置。
2. 前記異物検出手段は、
   撮影条件が異なる第１の画像信号と第２の画像信号との輝度差を、前記第１および第２の画像信号の各々が表わす画像を分割した複数の分割領域の各領域ごとに求める演算手段と、
   少なくとも一部の分割領域において、前記演算手段により求められた輝度差が予め設定された閾値以上となるか否かを判定する判定手段と、
   前記判定手段によって前記演算手段により求められた輝度差が前記閾値以上となると判定された場合には、前記レンズに異物が付着したと判断して警告を出力する警告手段とを含む、請求項１に記載の撮像装置。
3. 前記演算手段は、前記複数の分割領域から前記第１の画像信号と前記第２の画像信号とで共通するエッジ部分を除いた残余の分割領域の各領域ごとに、前記第１の画像信号と前記第２の画像信号との輝度差を求める、請求項２に記載の撮像装置。
4. 前記異物検出手段は、絞りを設定可能範囲の開放端とする第１の撮影条件で撮影した第１の画像信号と、絞りを前記設定可能範囲の小絞り端とする第２の撮影条件で撮影した第２の画像信号とを比較することにより、前記レンズに付着した異物を検出する、請求項１に記載の撮像装置。
5. 撮影画角を調整するズーム調整手段をさらに備え、
   前記異物検出手段は、前記複数の撮影条件の間で撮影画角を同一とする、請求項１に記載の撮像装置。
6. 撮影動作時における手ぶれを検出する手ぶれ検出手段をさらに備え、
   前記異物検出手段は、前記複数の撮影条件で連続して撮影動作を行なっているときに前記手ぶれ検出手段により検出される手ぶれ量が所定量以下である場合に、前記レンズに付着した異物を検出する、請求項１から請求項５のいずれか１項に記載の撮像装置。