JP2008158343A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】レンズに付着したゴミがレンズ回転に応じて移動することを利用してゴミを検出する際、ゴミを検出可能な最小の回転角でレンズを回転させてゴミ検出することができ、ゴミ検出時の手ぶれの影響を低減して、ゴミ検出精度を向上させること。
【解決手段】画像取得部１１１により第１の検出用画像を撮影させ、ゴミ候補検出部１１５が前記第１の検出用画像において所定の範囲を逸脱する輝度値を有する画素の領域をゴミ候補領域と判断し、回転角度算出部１１６が前記第１の検出用画像の重心から前記ゴミ候補領域に外接する２本の直線の角度を算出し、該算出された角度回転させた後に画像取得部１１１により第２の検出用画像を撮影させ、ゴミ判断部１１９が前記第１の検出用画像と前記第２の検出用画像における前記ゴミ候補領域の輝度を比較してゴミ領域を検出するように情報制御部１１０が制御する構成を特徴とする。
【選択図】図２

Description

本発明は、光学部材を介して画像を入力する撮像手段と前記光学部材を回転駆動させる駆動手段とを有する撮像装置および撮像装置の制御方法に関する。

デジタルカメラは、カメラのレンズを透過した光をＣＣＤ／ＣＭＯＳセンサなどの撮像素子で感知し、これにより撮影する風景をデジタル画像として取り込むことができる。

従来のデジタルカメラにおいて、筐体内にホコリ、ゴミ等が入り込むことがある。そのゴミ等が光学系に付着し、画像データに欠損を作ってしまうことが問題となっている。

特許文献１では、顔照合処理などに用いられる画像に影響を与える光学部材に付着した汚れあるいはキズを、光学部材を回転させることで判定することができる撮影装置、及び撮影装置の汚れ検知方法が開示されている。
特開２００４−１５３４２２号公報

しかし、特許文献１の技術では、固定カメラが想定されており、ゴミを検知する際、レンズを１８０度回転させる。このため、ユーザが手でもって撮影するデジタルカメラに応用した場合、回転により手ぶれが生じてしまい、回転の前後で撮影された画像の比較が困難になり、ゴミ検出の精度が落ちてしまう恐れがあった。

また、上記回転角度を小さくした場合、ゴミの大きさによっては、回転の前後で撮影された画像において、ゴミ領域が重なってしまい、正確にゴミ検出ができない恐れがあった。

本発明は、上記の問題点を解決するためになされたもので、本発明の目的は、レンズに付着したゴミがレンズ回転に応じて移動することを利用してゴミを検出する際、ゴミを検出可能な最小の回転角でレンズを回転させてゴミ検出することができ、ゴミ検出時の手ぶれの影響を低減して、ゴミ検出精度を向上させ、また、ゴミを補正可能な最小の回転角でレンズを回転させて、ゴミを補正することができ、品質のよい補正画像を生成することができる仕組みを提供することである。

本発明は、光学部材を介して画像を入力する入力手段と、前記光学部材を回転駆動させる駆動手段とを有する撮像装置において、前記入力手段により第１の検出用画像を入力させる第１の検出用画像入力手段と、前記第１の検出用画像においてゴミ候補領域を判断する判断手段と、前記第１の検出用画像内の前記ゴミ候補領域が回転後重ならない角度を算出する第１の算出手段と、前記光学部材を前記第１の算出手段で算出された角度回転させた後に前記入力手段により第２の検出用画像を入力させる第２の検出用画像入力手段と、前記第１の検出用画像と前記第２の検出用画像における前記ゴミ候補領域からゴミ領域を検出する検出手段と、を有することを特徴とする。

また、前記検出手段により検出されたゴミ領域を記憶する記憶手段と、前記撮像手段により第１の画像を入力させる第１の画像入力手段と、前記第１の画像内の前記ゴミ領域が回転後重ならない角度を算出する第２の算出手段と、前記光学部材を前記第２の算出手段で算出された角度回転させた後に前記撮像手段により第２の画像を入力させる第２の画像入力手段と、前記第１の画像における前記ゴミ領域を、前記第２の画像における前記ゴミ領域の画像に置換した撮影画像をメモリに記憶させる置換手段と、を有することを特徴とする。

本発明によれば、ゴミを検出可能な最小の回転角でレンズを回転させてゴミ検出することができ、ゴミ検出時の手ぶれの影響を低減して、ゴミ検出精度を向上させることができる。

また、ゴミを補正可能な最小の回転角でレンズを回転させて、ゴミを補正することができ、品質のよい補正画像を生成することができる等の効果を奏する。

以下、図面を参照して、本発明の一実施形態を示す撮像装置について説明する
図１は、本発明の一実施形態を示す本発明の撮像装置を適用可能なデジタルカメラのハードウェア構成の一例を示すブロック図である。

図１において、２００は本発明の撮像装置（例えば、デジタルカメラ，デジタルビデオカメラ等）であり、レンズ２１０，レンズ回転制御部２１１，撮像素子２１２，ＲＯＭ，メモリ２１３，ＣＰＵ２１４，外部記憶装置２１５（フラッシュメモリ等）を備えている。なお、撮像装置２００は、上記２１０〜２１５に示した以外に、レンズ２１０を回転させるモータ、シャッタボタン、光学系部材等の多数の部品から構成されるものであるが図１では省略してある。

レンズ回転制御部２１１は、ＣＰＵ２１４からの指示により、図示しないモータを駆動させてレンズ２１０を回転させる。撮像素子２１２は、例えばＣＣＤ，ＣＯＭＳセンサ等であり、レンズ２１０を透過した光を感知して画像データに変換しメモリ２１３に転送する。

ＣＰＵ２１４は、メモリ２１３に記憶されたプログラムを実行して、メモリ２１３から画像データを読み込み、後述するフローチャートに示す処理を実行して、画像データを外部記憶装置２１５に保存する。

図２は、本発明の撮像装置のソフトウェア構成の一例を示すブロック図である。

図２において、１１０〜１１９は夫々処理部であり、図１に示したＣＰＵ２１４がメモリ２１３に格納されるプログラムを実行することにより実現されるものである。以下、処理部１１０〜１１９について簡単に説明する（詳細は後述するフローチャートで詳細に説明する）。

図２において、１１０は情報制御部であり、後述する全ての処理部１１１〜１１９の制御及び管理を行っている処理部である。

１１１は画像取得部であり、画像を撮影して撮影画像１２０ｅを取得する処理部である。１１２は画像比較部であり、画像取得部１１１で撮影された複数枚の画像（撮影画像１２０ｅ）を比較する処理部である。

１１５はゴミ候補検出部であり、画像取得部１１１によって撮影された撮影画像１２０ｅ内のゴミ候補の領域（ゴミ候補領域１２０ｃ）を検出する処理部である。

１１６は回転角度算出部であり、画像内のゴミ候補領域（ゴミ候補領域１２０ｃ）又はゴミ領域（１２０ａ）からレンズを回転させる角度を算出する処理部である。１１４はレンズ回転部であり、回転角度算出部１１６に処理算出された回転角度１２０ｄに基づいてレンズ２１０の回転を制御する処理部である。

１１９はゴミ判断部であり、ゴミ候補検出部１１５によって検出されたゴミ候補領域１２０ｃがゴミ領域であるか判断して、ゴミ領域１２０ａとして保存しゴミ検出カウンタ１２０ｆをカウントアップする処理部である。

１１７は、はみ出し判断部であり、ゴミ領域がレンズ回転によって画像に影響を及ぼさない位置にあるか判断して、はみだし検出フラグをセットする処理部である。

１１８は画像置換部であり、撮影された複数枚の画像（撮影画像１２０ｅ）からゴミの影響のない領域（置換領域１２０ｂ）を求め、置換領域１２０ｂでゴミ領域１２０ａを置換する処理部である。

１１３は画像保存部であり、画像取得部１１１で撮影された画像（撮影画像１２０ｅ）又は画像置換部１１８において生成された画像を外部記憶装置２１５に保存させる処理部である。

なお、メモリ２１３内には、ゴミ領域１２０ａ、置換領域１２０ｂ、ゴミ候補領域１２０ｃ、回転角度１２０ｄ、撮影画像１２０ｅ、ゴミ検出カウンタ１２０ｆ、ゴミ検出フラグ１２０ｇ、はみ出し検出フラグ１２０ｈが保持される。また、メモリ２１３のプログラム領域１２０ｉには、ＣＰＵ２１４が実行するプログラムが格納されている。

以下、図３〜図１８を参照して、本発明における制御動作について説明する。

図３は、本発明における第１の制御処理手順の一例を示すフローチャートである。なお、このフローチャートの処理は、図２に示した各処理部１１０〜１１９により実行される。即ち、図１に示したＣＰＵ２１４がメモリ２１３内のプログラム領域１２０ｉに格納されるプログラムを実行することにより実現される。また、図中、Ｓ３１０〜Ｓ３１３は各ステップを示す。

まず、撮像装置２００の電源がＯＮになると、ＣＰＵ２１４はメモリ２１３内のプログラムを実行して本フローチャートの処理を開始する。

まず、ステップＳ３１０において、情報制御部１１０は、ゴミ検出処理を実行する。なお、このゴミ検出処理の詳細は、後述する図４に示すフローチャートで説明する。

続いて、ステップＳ３１１において、情報制御部１１０は、シャッタボタンが押下されたかどうか判定し、押されていれたと判定した場合には、撮影・保存処理を実行し、ステップＳ３１３に処理を進める。なお、この撮影・保存処理の詳細は、後述する図１４に示すフローチャートで説明する。

一方、ステップＳ３１１で、シャッタボタンが押下されていないと判定した場合には、情報制御部１１０は、そのままステップＳ３１３に処理を進める。

そして、情報制御部１１０は、電源ＯＮ状態を維持するか否かを判定し、電源ＯＮ状態を維持すると判定した場合には、ステップＳ３１１に処理を戻す。

一方、ステップＳ３１３において、情報制御部１１０が、電源ＯＮを維持する状態でない（電源ＯＦＦ状態に移行する）と判定した場合には、本フローチャートの処理を終了する。

以下、図４〜図１３を参照して、図３のステップＳ３１１に示したゴミ検出処理について詳細に説明する。

図４は、本発明における第２の制御処理手順の一例を示すフローチャートであり、図３のステップＳ３１１に示したゴミ検出処理に対応する。なお、このフローチャートの処理は、図２に示した各処理部１１０〜１１９により実行される。即ち、図１に示したＣＰＵ２１４がメモリ２１３内のプログラム領域１２０ｉに格納されるプログラムを実行することにより実現される。また、図中、Ｓ４１０〜Ｓ４２３は各ステップを示す。

まず、ステップＳ４１０において、画像取得部１１１が、ゴミがレンズ内のあるかないかを判断する基準となる画像（基準画像ImageＢ１）を撮影してメモリ２１３に格納する。この基準画像ImageＢ１の一例を図５に示す。

次に、ステップＳ４１１において、ゴミ候補検出部１１５が、Ｓ４１０で撮影した基準画像ImageＢ１内から、所定の閾値以上または以下の輝度値（即ち、所定の範囲を逸脱する輝度）を持つ画素の領域を個別にゴミ候補領域Ｂｎとして検出する。なお、上記所定の範囲を逸脱する輝度とは、例えば、輝度が0.0〜1.0 (0.0:黒 1.0:白) としたとき、0.8以上または0.2以下の輝度とするが、本発明は、これに限定されるものではない。上記ゴミ候補領域Ｂｎの一例を図６に示す。

図６において、Ｂ１〜Ｂ３はゴミ候補領域を示し、ゴミ候補領域Ｂ１〜Ｂ３は、後述するレンズ回転後に撮影された画像内において移動していた場合、ゴミ領域と判断される。

以下、図４のフローチャートの説明に戻る。

次に、ステップＳ４１２において、情報制御部１１０は、Ｓ４１０で撮影した基準画像ImageＢ１を１８０度回転させ、回転させる前後でゴミ候補領域Ｂｎが重なっている面積が一定の以上の割合（例えば、20〜30％程度とするが、本発明はこの値に限定されるものではない）であるかどうかを判定する。以下、この判定処理を図７，図８を用いて説明する。

図４のＳ４１０で撮影された画像ImageＢ１を図７に示す画像とし、図４のＳ４１１でゴミ候補領域７０１が検出されたものとする。

そして、図７に示した画像ImageＢ１を１８０度回転させた後の画像と、図７に示したゴミ候補領域７０１を重ねると、図８に示すようになる。

図８において、８０１は、図７の画像ImageＢ１を１８０度回転させた前後でゴミ候補領域７０１が重なっている領域を示す。

以下、図４のフローチャートの説明に戻る。

ステップＳ４１２において、情報制御部１１０が、Ｓ４１０で撮影した基準画像ImageＢ１（図７）を１８０度回転させる前後でゴミ候補領域Ｂｎが重なっている領域８０１（図８）の面積が基準画像ImageＢ１に対して所定の割合以上であると判定した場合には、基準画像ImageＢ１が全体的に暗かったり明るかったりした場合や、レンズ内に極端に大きなゴミが入っていた場合等が想定されるため、ごみの検出精度が下がってしまうため、後述するゴミ検出処理、及び、以後の画像補正処理は行わず、そのままステップＳ４２２に処理を進める。

一方、ステップＳ４１２において、情報制御部１１０が、Ｓ４１０で撮影した基準画像ImageＢ１（図７）を１８０度回転させる前後でゴミ候補領域Ｂｎが重なっている領域８０１（図８）の面積が基準画像ImageＢ１に対して所定の割合未満であると判定した場合には、情報制御部１１０は、ステップＳ４１３に処理を進める。

次に、ステップＳ４１３では、回転角度算出部１１６が、基準画像ImageＢ１の重心から見たゴミ候補領域Ｂｎに対する平面角の最大値θを算出する。以下、このθの算出方法を図９を用いて説明する。

まず、回転角度算出部１１６は、図９に示すように、ゴミ候補領域Ｂ１，Ｂ２，Ｂ３に対する平面角Θ１，Θ２，Θ３をそれぞれ算出し、最大となるΘ１をθに決定する。なお、平面角とは、基準画像ImageＢ１の重心か９０１らゴミ候補領域Ｂｎ（Ｂ１，Ｂ２，Ｂ３等）に外接する２本の直線の角度を示す（なお、この角度に所定の値（例えば１度）を加算した値を平面角としてもよい）。

なお、算出したθだけレンズを回転させることにより、レンズ内のゴミが写る領域を基準画像ImageＢ１に写っていた位置に重ならない位置まで移動することが可能となる。

以下、図４のフローチャートの説明に戻る。

次に、ステップＳ４１４において、レンズ回転部１１４は、レンズ回転後にゴミの写る領域が移動する先の輝度値と、ゴミ候補領域Ｂｎとの輝度値の差が大きくなる方向にレンズをθだけ回転させる。なお、輝度値の差が大きくなる方向に回転させことにより、ゴミ検出の精度を向上させることができる。

次にステップＳ４１５において、画像取得部１１１が、ゴミ検出のために基準画像ImageＢ１と比較する比較画像ImageＢ２を撮影してメモリ２１３に格納する。そして、レンズ回転部１１４が、レンズを通常位置に戻す。

次に、ステップＳ４１６において、ゴミ判断部１１９は、基準画像ImageＢ１内のゴミ候補領域Ｂｎの中から１つのゴミ候補領域を処理対象に選択し（以下、処理対象のゴミ候補領域Ｂｎ）、該処理対象のゴミ候補領域に対して、画像比較部１１２を用いて、〔条件１〕又は〔条件２〕を満たすか否かを判定する。

〔条件１；処理対象のゴミ候補領域Ｂｎの輝度値と比較画像ImageＢ２内における当該処理対象のＢｎと同じ位置の輝度値とが異なる場合〕
〔条件２；当該処理対象のＢｎの輝度値と比較画像ImageＢ２内における当該処理対象のＢｎがθ度のレンズ回転に伴って移動すると予測される位置の輝度値とが等しい場合〕
〔条件１〕，〔条件２〕は、いずれもレンズの回転により、ゴミが移動したことを示す条件であるが、〔条件１〕は、ゴミ候補領域Ｂｎが比較画像ImageＢ２の同じ位置に無かった場合に対応し、〔条件２〕は、ゴミ候補領域Ｂｎがゴミ領域だと仮定したとき、ゴミ候補領域Ｂｎが比較画像ImageＢ２内で存在しているはずの位置にあった場合に対応する。

まず〔条件１〕について図１０を用いて説明する。

図１０において、１００１は、基準画像ImageＢ１における処理対象のゴミ候補領域Ｂ３に相当する比較画像ImageＢ２内の領域である。よって、この領域１００１の輝度とゴミ候補領域Ｂ３の輝度とが異なれば、レンズ回転によりゴミが移動したと判断できる。

次に〔条件２〕について図１１を用いて説明する。

図１１において、１１０１は、基準画像ImageＢ１における処理対象のゴミ候補領域Ｂ３が、レンズ回転（θ）移動により移動すると予測された比較画像ImageＢ２内の領域である。よって、この領域１１０１の輝度とゴミ候補領域Ｂ３の輝度とが等しければ、レンズ回転によりゴミが移動したと判断できる。

このように２種類の条件で判定することにより、基準画像ImageＢ１内においてゴミ領域がゴミ候補領域Ｂｎであると判断された背景領域と重なっていた場合や、基準画像ImageＢ１内でゴミ候補Ｂｎとして検出されていたゴミ領域が、比較画像ImageＢ２内において背景領域と重なってしまった場合や、比較画像ImageＢ２内に写らない位置に移動してしまった場合でも、ゴミ領域を検出できることを実現する。

以下、図４のフローチャートの説明に戻る。

ステップＳ４１６で、ゴミ判断部１１９が、処理対象のゴミ候補領域に対して〔条件１〕及び〔条件２〕のいずれも満たさないと判定した場合（即ちゴミでない場合）には、そのままステップＳ４１９に処理を進める。

そしてステップＳ４１６で、ゴミ判断部１１９が、処理対象のゴミ候補領域に対して〔条件１〕又は〔条件２〕を満たすと判定した場合（即ちゴミの場合）には、ステップＳ４１７に処理を進める。

ステップＳ４１７では、ゴミ判断部１１９は、処理対象のゴミ候補領域Ｂｎをゴミ領域としてメモリ２１３に保存する。

次に、ステップＳ４１８において、ゴミ判断部１１９は、メモリ２１３に保持されるゴミ検出カウンタ１２０ｆの値を１つ増やし（インクリメントし）、ステップＳ４１９に処理を進める。

ステップＳ４１９では、ゴミ判断部１１９は、全てのゴミ候補領域Ｂｎに対して比較を完了したか否かを判定し、まだ全てのゴミ候補領域Ｂｎに対して比較を完了していないと判定した場合には、ステップＳ４１６に処理を戻し、次のゴミ候補領域Ｂｎに対する比較に処理を移行させる。

一方、ステップＳ４１９で、ゴミ判断部１１９が、全てのゴミ候補領域Ｂｎに対して比較を完了したと判断した場合には、ステップＳ４２０に処理を進める。

ステップＳ４２０では、はみだし判断部１１７が、基準画像ImageＢ１の重心（図１２の１２００）を中心とした一辺が画像の短辺の長さの正方形（図１２の１２０１）の外の領域（図１２の１２０２，１２０３）にのみゴミ候補領域Ｂｎが存在しているか否かを判定する。

正方形（図１２の１２０１）の外の領域（図１２の１２０２，１２０３）にのみゴミ候補領域Ｂｎが存在している場合、レンズを９０度回転させることにより、図１３に示すように、レンズ内のゴミ候補領域Ｂｎを撮影画像に影響のない位置に移動させることができる。

以下、図４のフローチャートの説明に戻る。

ステップＳ４２０で、はみだし判断部１１７が、基準画像ImageＢ１の重心を中心とした一辺が画像の短辺の長さの正方形（図１２の１２０１）の外の領域（図１２の１２０２，１２０３）にのみゴミ候補領域Ｂｎが存在していると判定した場合には、ステップＳ４２１に処理を進める。

ステップＳ４２１では、はみだし判断部１１７は、ごみ候補領域はみだし検出フラグ１２０ｈ（ゴミ候補領域を、はみ出させることが可能という意味のフラグ）を立てて、ステップＳ４２２に処理を進める。このごみ候補領域はみだし検知フラグにより、後述する図１４に示す撮影・保存処理での動作を変えることができる。

一方、ステップＳ４２０で、はみだし判断部１１７が、基準画像ImageＢ１の重心を中心とした一辺が画像の短辺の長さの正方形（図１２の１２０１）の外の領域（図１２の１２０２，１２０３）にのみゴミ候補領域Ｂｎが存在していないと判定した場合には、そのままステップＳ４２２に処理を進める。

ステップＳ４２２では、情報制御部１１０は、ごみ検知カウンタが「０」であるか否かを判定し、ごみ検知カウンタが「０」であると判定した場合には、ゴミ領域が１つも検出されなかったと判断して、そのまま本フローチャートの処理（ゴミ検出処理）を終了する。

一方、ステップＳ４２２では、情報制御部１１０が、ごみ検知カウンタが「０」でないと判定した場合には、ステップＳ４２３に処理を進める。

ステップＳ４２３では、情報制御部１１０は、ゴミ検出フラグ１２０ｇ（ゴミが検出されたという意味のフラグ）を立て、本フローチャートの処理（ゴミ検出処理）を終了する。

なお、本フローチャートでは、レンズに付着したゴミがレンズ回転に応じて移動することを利用してゴミを検出する構成について説明した。しかし、ズーム倍率が変更可能なレンズを搭載した撮像装置の場合、倍率変更することにより、ゴミ領域が撮影される画像に与える影響の変化を利用してゴミを検出するように構成してもよい。この構成場合、Ｓ４１３で各ゴミ候補領域Ｂｎに対してゴミ判別可能な最小の倍率を算出し、該算出した倍率のなかの最大倍率を算出し、Ｓ４１４において、Ｓ４１３で算出した最大倍率に倍率変更をするようにする。また、Ｓ４１６の判定処理も、Ｓ４１３で算出した最大倍率に基づいて行うものとする。

以下、図１４〜図１８を用いて、図３のステップＳ３１２に示した撮影・保存処理について説明する。

図１４は、本発明における第３の制御処理手順の一例を示すフローチャートであり、図３のステップＳ３１２に示した撮影・保存処理に対応する。なお、このフローチャートの処理は、図２に示した各処理部１１０〜１１９により実行される。即ち、図１に示したＣＰＵ２１４がメモリ２１３内のプログラム領域１２０ｉに格納されるプログラムを実行することにより実現される。また、図中、Ｓ５１０〜Ｓ５２４は各ステップを示す。

まず、ステップＳ５１０において、情報制御部１１０が、ゴミが検出された（ゴミ検出フラグ１２０ｇが立っている）か否かを判定し、ゴミが検出されていないと判定した場合には、ステップＳ５２３に処理を進める。

ステップＳ５２３では、画像取得部１１１が、撮影を行って画像（Image１）を取得し、ステップＳ５２４において、画像保存部１１３が、Ｓ５２３で撮影した画像（Image１）を外部記憶装置２１５に保存し、本フローチャートの処理（撮影・保存処理）を終了する。

一方、ステップＳ５１０において、情報制御部１１０が、ゴミが検出された（ゴミ検出フラグ１２０ｇが立っている）と判定した場合には、ステップＳ５１１に処理を進める。

ステップＳ５１１では、情報制御部１１０が、はみだし検知された（はみだし検出フラグ１２０ｈが立っている）か否かを判定し、はみだし検知されていないと判定した場合には、ステップＳ５１９に処理を進める。

ステップＳ５１９では、レンズ回転部１１４が、レンズを９０度回転させて、ステップＳ５２０において、画像取得部１１１が、撮影を行って画像（Image１）を取得し、ステップＳ５２１において、画像保存部１１３が、Ｓ５２１で撮影した画像（Image１）を外部記憶装置２１５に保存し、ステップＳ５２２に処理を進める。

ステップＳ５２２では、レンズ回転部１１４が、レンズを通常位置に戻し、本フローチャートの処理（撮影・保存処理）を終了する。

一方、ステップＳ５１１において、情報制御部１１０が、はみだし検知された（はみだし検出フラグ１２０ｈが立っている）と判定した場合には、ステップＳ５１２に処理を進める。

次にステップＳ５１３において、画像取得部１１１が、１枚目の画像（Image１）を撮影し、メモリ２１３内に格納する。この画像の一例を図１５に示す。

次に、ステップＳ５１４において、回転角度算出が１１６が、図１６に示すように、ゴミ検出によって検出された各ゴミ領域（例えば、図１６のＢ３）に対して、画像の重心からみた平面角を算出し、平面角が最大の角度θ´を求める。なお、平面角とは、基準画像Image１の重心か１６０１らゴミ領域Ｂｎ（Ｂ３等）に外接する２本の直線の角度を示す（なお、この角度に所定の値（例えば１度）を加算した値を平面角としてもよい）。

次に、ステップＳ５１５において、レンズ回転部１１４が、Ｓ５１３で算出したθ´度レンズを回転させる。

次に、ステップＳ５１５において、画像取得部１１１が、２枚目の画像（Image２）を撮影し、メモリ２１３内に格納する。この画像の一例を図１７に示す。なお、図１７において、１７０１は1枚目の画像(Image１)内のゴミ領域に対応する位置を示す。

次に、ステップＳ５１６において、画像置換部１１８が、１枚目(Image１)のゴミ領域と同位置の2枚目の画像(Image2)の領域（図１７の１７０１）を切り抜き、メモリ２１３内に保存する。

次に、ステップＳ５１７において、画像置換部１１８は、図１８の１８０１に示すように、Ｓ５１６で切り抜いた領域で、1枚目(Image1)のゴミ領域を置換してゴミの影響を受けていないImage1´（図１８）を生成する。

次に、ステップＳ５１８において、画像保存部１１３が、Ｓ５１７で生成した画像（Image１´）を外部記憶装置２１５に保存し、ステップＳ５２２に処理を進める。

ステップＳ５２２では、レンズ回転部１１４が、レンズを通常位置に戻し、本フローチャートの処理（撮影・保存処理）を終了する。

なお、はみ出し検知されていない場合には、Ｓ５１９でレンズを９０度回転させた後、所定時間（例えば３分間）この状態を保ち（Ｓ５２２をスキップし）、次に、シャッターがＯＮされた場合、レンズ回転をさせることなく（Ｓ５１９をスキップし）、連続撮影可能なように構成してもよい。

なお、図４のＳ４２０では、基準画像ImageＢ１の重心を中心とした一辺が画像の短辺の長さの正方形の外の領域にのみゴミ候補領域Ｂｎが存在しているか否かを判定した。しかし、基準画像ImageＢ１と基準画像ImageＢ１の重心を中心として所定の角度（はみ出し角度）回転させた回転画像とが重なる領域以外の領域にのみゴミ候補領域Ｂｎが存在していると判定した場合に、ゴミ候補領域はみ出し検知フラグを立てるように構成してもよい。この構成の場合、図５のＳ５１９において、前記はみ出し角度回転させるように構成する。

なお、上述したように、レンズ回転の代わりに倍率変更を行う場合には、Ｓ５１３でゴミ領域が倍率変更前後で重ならないようになる最小の倍率を、各ゴミ領域に対して算出し、該算出した倍率のなかの最大倍率を算出し、Ｓ５１４において、Ｓ５１３で算出した最大倍率に倍率変更をするようにする。また、Ｓ５１８では、倍率を標準倍率に戻すものとする。

また、上記実施形態では、ゴミの検出としているが、レンズ２１０上の傷の検出に本発明を利用可能なことはいうまでもない。

以上示したように、ゴミを検出可能な最小の回転角でレンズを回転させてゴミ検出することができ、ゴミ検出時の手ぶれの影響を低減して、ゴミ検出精度を向上させることができる。

また、ゴミを補正可能な最小の回転角でレンズを回転させて、ゴミを補正することができ、撮影時の手ぶれの影響を低減して、品質のよい補正画像を生成することができる。

さらに、倍率変更を用いた構成では、ゴミを検出可能な最小の倍率変更に対応するレンズ移動でゴミ検出することができ、ゴミ検出時の手ぶれの影響を低減して、ゴミ検出精度を向上させることができる。

また、ゴミを補正可能な最小の倍率変更に対応するレンズ移動で、ゴミを補正することができ、撮影時の手ぶれの影響を低減して、品質のよい補正画像を生成することができる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

以下、図１９に示すメモリマップを参照して本発明に係る撮像装置で読み取り可能なデータ処理プログラムの構成について説明する。

図１９は、本発明に係る撮像装置で読み取り可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図３，図４，図１４に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

本発明の一実施形態を示す本発明の撮像装置を適用可能なデジタルかめらのハードウェア構成の一例を示すブロック図である。 本発明の撮像装置のソフトウェア構成の一例を示すブロック図である。 本発明における第１の制御処理手順の一例を示すフローチャートである。 本発明における第２の制御処理手順の一例を示すフローチャートである。 図４のステップＳ４１０で撮影される基準画像（ImageＢ１）の一例を示す模式図である。 図４のステップＳ４１１で検出されるゴミ候補領域Ｂｎの一例を示す模式図である。 図４のステップＳ４１２の判定処理を説明するための模式図である。 図４のステップＳ４１２の判定処理を説明するための模式図である。 図４のステップＳ４１３の角度θの算出処理を説明するための模式図である。 図４のステップＳ４１６における条件１の判定処理を説明するための模式図である。 図４のステップＳ４１６における条件２の判定処理を説明するための模式図である。 図４のステップＳ４２０におけるはみ出し検知の判定処理を説明するための模式図である。 図４のステップＳ４２０におけるはみ出し検知の判定処理を説明するための模式図である。 本発明における第３の制御処理手順の一例を示すフローチャートである。 図５のステップＳ５１２で撮影される１枚目の画像（Image１）の一例を示す模式図である。 図５のステップＳ５１４の角度θ´の算出処理を説明するための模式図である。 図５のステップＳ５１５で撮影される２枚目の画像（Image２）の一例を示す模式図である。 図５のステップＳ５１７の置換処理を説明するための模式図である。 本発明に係る撮像装置で読み取り可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。

符号の説明

２００ 撮像装置
２１０ レンズ
２１１ レンズ回転制御部
２１２ 撮像素子
２１３ メモリ
２１４ ＣＰＵ
２１５ 外部記憶装置
１１０ 情報制御部
１１１ 画像取得部
１１２ 画像比較部
１１３ 画像保存部
１１４ レンズ回転部
１１５ ゴミ候補検出部
１１６ 回転角度算出部
１１７ 判断部
１１８ 画像置換部
１１９ ゴミ判断部
１２０ａ ゴミ領域
１２０ｂ 置換領域
１２０ｃ ゴミ候補領域
１２０ｄ 回転角度
１２０ｅ 撮像画像
１２０ｆ ゴミ検出カウンタ
１２０ｆ ゴミ検出カウンタ
１２０ｇ ゴミ検出フラグ
１２０ｈ 検出フラグ
１２０ｉ プログラム領域

Claims (14)

1. 光学部材を介して画像を入力する入力手段と、前記光学部材を回転駆動させる駆動手段とを有する撮像装置において、
   前記入力手段により第１の検出用画像を入力させる第１の検出用画像入力手段と、
   前記第１の検出用画像においてゴミ候補領域を判断する判断手段と、
   前記第１の検出用画像内の前記ゴミ候補領域が回転後重ならない角度を算出する第１の算出手段と、
   前記光学部材を前記第１の算出手段で算出された角度回転させた後に前記入力手段により第２の検出用画像を入力させる第２の検出用画像入力手段と、
   前記第１の検出用画像と前記第２の検出用画像における前記ゴミ候補領域からゴミ領域を検出する検出手段と、
   を有することを特徴とする撮影装置。
2. 前記判断手段は、前記第１の検出用画像において、所定の範囲外の輝度値を有する画素の領域をゴミ候補領域と判断する、ことを特徴とする請求項１に記載の撮影装置。
3. 前記第１の算出手段は、前記判断手段により判断された各ゴミ候補領域に対して、前記第１の検出用画像の重心から前記ゴミ候補領域に外接する２本の直線の角度を算出する、ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記第１の算出手段は、前記判断手段により判断された各ゴミ候補領域に対して、前記第１の検出用画像の重心からゴミ候補領域に外接する２本の直線の角度を算出し、該それぞれ算出された角度の最大値となる角度を算出する、ことを特徴とする請求項３に記載の撮影装置。
5. 前記算出手段は、前記第１の検出用画像と前記第２の検出用画像における前記ゴミ候補領域の輝度を比較してゴミ領域を検出すること、を特長とする請求項１乃至４のいずれかに記載の撮影装置。
6. 前記検出手段は、前記第１の検出用画像における前記ゴミ候補領域の輝度と、前記第２の検出用画像における前記ゴミ候補領域の輝度とが異なる場合、該ゴミ候補領域を輝度と判定する、ことを特徴とする請求項５に記載の撮影装置。
7. 前記検出手段は、前記第１の検出用画像における前記ゴミ候補領域の輝度と、前記第２の検出用画像における前記ゴミ候補領域を前記第２の検出用画像の重心を中心として前記第１の算出手段で算出した角度回転移動させた領域の輝度とが等しい場合、該ゴミ候補領域をゴミ領域と判定する、ことを特徴とする請求項５又は６に記載の撮影装置。
8. 前記検出手段により検出されたゴミ領域を記憶する記憶手段と、
   前記撮像手段により第１の画像を入力させる第１の画像入力手段と、
   前記第１の画像内の前記ゴミ領域が回転後重ならない角度を算出する第２の算出手段と、
   前記光学部材を前記第２の算出手段で算出された角度回転させた後に前記撮像手段により第２の画像を入力させる第２の画像入力手段と、
   前記第１の画像における前記ゴミ領域を、前記第２の画像における前記ゴミ領域の画像に置換した撮影画像をメモリに記憶させる置換手段と、
   を有することを特徴とする請求項１乃至７のいずれかに記載の撮影装置。
9. 前記第２の算出手段は、前記記憶手段により記憶された各ゴミ領域に対して、前記第２の検出用画像の重心から前記ゴミ領域に外接する２本の直線の角度を算出する、ことを特徴とする請求項８に記載の撮影装置。
10. 前記第２の算出手段は、前記記憶手段により記憶された各ゴミ領域に対して、前記第１の画像の重心から前記第１の画像におけるゴミ領域に外接する２本の直線の角度を算出し、該それぞれ算出された角度の最大値となる角度を算出する、ことを特徴とする請求項９に記載の撮影装置。
11. 前記第１の検出用画像と、前記第１の検出用画像をその重心を中心として所定の角度回転させた回転画像とが重なる領域に、前記ゴミ候補領域が存在しない場合、前記第１の画像撮影手段は、操作者からの撮影指示に応じて、前記光学部材を前記所定の角度回転させた後に前記撮像手段により第１の画像を撮影させるものであり、
    前記第１の画像を前記操作者からの撮影指示に対応する撮影画像としてメモリに記憶させるように制御する制御手段を、設けたことを特徴とする請求項８乃至１０いずれかに記載の撮影装置。
12. 前記所定の角度は、９０度である、ことを特徴とする請求項１１に記載の撮影装置。
13. 前記光学部材を介して画像を入力する入力手段と、前記光学部材を回転駆動させる駆動手段とを有する撮影装置の制御方法において、
    前記入力手段により第１の検出用画像を入力させる第１の検出用画像撮影ステップと、
    前記第１の検出用画像においてゴミ候補領域を判断する判断ステップと、
    前記第１の検出用画像内の前記ゴミ候補領域が重ならない角度を算出する第１の算出ステップと、
    前記光学部材を前記第１の算出ステップで算出された角度回転させた後に前記入力手段により第２の検出用画像を入力させる第２の検出用画像撮影ステップと、
    前記第１の検出用画像と前記第２の検出用画像における前記ゴミ候補領域からゴミ領域を検出する検出ステップと、
    を有することを特徴とする撮影装置の制御方法。
14. 前記検出ステップで検出されたゴミ領域を記憶手段に保存する保存ステップと、
    前記入力手段により第１の画像を入力させる第１の画像撮影ステップと、
    前記第１の画像内の前記ゴミ領域が回転後重ならない角度を算出する第２の算出ステップと、
    前記光学部材を前記第２の算出ステップで算出された角度回転させる第２の回転ステップと、
    前記光学部材を前記第２の算出ステップで算出された角度回転させた後に前記入力手段により第２の画像を入力させる第２の画像撮影ステップと、
    前記第１の画像における前記ゴミ領域を、前記第２の画像における前記ゴミ領域の画像に置換した撮影画像をメモリに記憶させる置換ステップと、
    を有することを特徴とする請求項１３に記載の撮影装置の制御方法。

Images