JP2013162488A - 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 - Google Patents

Abstract

【課題】画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体を提供する。
【解決手段】表示手段（１０）に表示される画像データ（５０）の内、ユーザが指定している特定の位置または範囲（１８，２０，２２，２８）を検出する検出手段（１０２）と、前記検出手段（１０２）により検出された特定の位置または範囲（１８，２０，２２，２８）に基づき、検出範囲（２４，２６，２８）を決定する範囲決定手段（１０４）と、前記範囲決定手段（１０４）により決定された検出範囲（２４，２６，２８）内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段（１０８）とを有するゴミ検出装置。
【選択図】図２

Description

本発明は、画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体に関する。

近年、デジタルカメラ等の撮像装置にて撮像を行う際に、撮像素子や光学フィルタ等にゴミが付着していると、付着したゴミの影（ゴミ影）が撮影画像に写り込み、画像の品質の劣化を招くことが問題となっている。

この問題を解決するため、例えば特許文献１に示す従来技術では、基準画像を取得するための所定の背景でゴミ影が写り込んだ基準画像を予め撮像しておき、ゴミ位置の座標を算出する。そして、その基準画像のゴミ位置に対応する座標を利用して、補正対象の撮像画像のゴミ影を削除する補正を行なう。また、特許文献１には、補正対象の画像に含まれる各画素の輝度の情報に基づいてゴミ影を抽出する方法が記載されている。

しかし、上記の基準画像を撮影する方法においては、カメラ操作等により、ゴミの位置の座標や向きが変わったときに、高品質の画像を得ることができない。さらに、撮影者は基準画像を予め撮影しておかなければならないので、撮影者に負担が掛かる。

また、輝度の情報に基づいてゴミ影を抽出する方法においては、ゴミの位置が補正対象の画像内のエッジ部分に近いと輝度勾配が重なってしまいゴミの検出が困難である。さらに、輝度の情報に基づいてゴミ影を抽出する方法において、エッジ付近のゴミ影を抽出しようとすると、他の位置での検出精度を低下させてしまう問題や、他の場所での誤検出を招くという問題が新たに発生する。

特開２００４−２２０５５３号公報

本発明の目的は、画像のゴミ検出を高精度に行うことができるゴミ検出装置、カメラ、プログラム、記録媒体を提供することである。

上記の目的を達成するために、本発明の画像のゴミ検出装置は、
表示手段（１０）に表示される画像データ（５０）の内、ユーザが指定している特定の位置または範囲（１８，２０，２２，２８）を検出する検出手段（１０２）と、
前記検出手段（１０２）により検出された特定の位置または範囲（１８，２０，２２，２８）に基づき、検出範囲（２４，２６，２８）を決定する範囲決定手段（１０４）と、
前記範囲決定手段（１０４）により決定された検出範囲（２４，２６，２８）内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段（１０８）とを有する。

本発明のゴミ検出装置は、前記検出範囲（２４，２６，２８）内に位置する画像データに基づき、前記ゴミ検出処理のパラメータを決定するパラメータ決定手段（１０６）をさらに有してもよい。

前記パラメータは、前記検出範囲（２４，２６，２８）内に位置する画像データの輝度または輝度勾配の平均化処理のパラメータであってもよい。

前記平均化処理の強弱パラメータは、前記検出範囲（２４，２６，２８）内に位置する画像データの輝度の標準偏差または輝度勾配の標準偏差により決定されてもよい。

前記パラメータは、前記検出範囲内に位置する画像データの輝度勾配からゴミを検出する際の閾値であってもよい。

本発明のゴミ検出装置は、ゴミ検出手段（１０８）で検出されたゴミに対応する画像データを補正する補正手段（１１０）をさらに有してもよい。

本発明のゴミ検出装置は、範囲決定手段（１０４）により決定された検出範囲（２４，２６，２８）を、画像データ（５０）と共に表示手段に表示させる範囲表示手段（１１２）をさらに有してもよい。

本発明のカメラは、上記のゴミ検出装置を有してもよい。

本発明のコンピュータに実行させるためのプログラムは、
表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出工程と、
前記検出工程により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定工程と、
前記範囲決定工程により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出工程とを有する。

本発明の記憶媒体には、上記のプログラムが記録してある。

なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応付けて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

図１は、本発明の一実施形態に係るカメラの概略図である。 図２は、図１に示すカメラの制御装置に係るブロック図である。 図３は、図１および図２に示す制御装置の動作の一例を示すフローチャートである。 図４は、図１に示すカメラの液晶タッチパネルに表示される画像の一例である。 図５（Ａ）〜図５（Ｄ）は、図４の画像の一部に画像処理を施した画像である。 図６は、本発明の一実施形態に係るＰＣの概略図である。

第１実施形態
図１に示すカメラ２００は、レンズ群２５２等が備えられるレンズ鏡筒部２５０と、撮像素子２１６等が備えられるカメラ本体部２１０とを含む。以下では、レンズ鏡筒部２５０がカメラ本体部２１０に着脱自在に取り付けられるレンズ交換式カメラを例に説明するが、本実施形態はこれに限定されない。例えば、レンズ鏡筒部２５０とカメラ本体部２１０が一体であるコンパクトカメラやカメラ付きモバイル機器であっても良い。

図１に示すカメラ本体部２１０には、タッチパネル液晶８，シャッター２１２，光学フィルタ２１４，撮像素子２１６，ボディＣＰＵ２１８，メモリ２２０等が備えられる。

カメラ本体部２１０に内蔵してあるボディＣＰＵ２１８は、レンズ接点２６０を介して、レンズＣＰＵ２５８に接続してある。レンズ接点２６０は、カメラ本体部２１０に対してレンズ鏡筒部２５０を連結することで、ボディＣＰＵ２１８と、レンズＣＰＵ２５８とを電気的に接続するようになっている。ボディＣＰＵ２１８には、電源２４５が接続してある。電源２４５は、カメラ本体部２１０に内蔵してある。

ボディＣＰＵ２１８には、タッチパネル液晶８、レリーズスイッチ２３１、ストロボ２３２、ジャイロセンサ２３３、メモリ２２０、防振スイッチ２３４、防塵フィルタ駆動回路２４０、画像処理コントローラ２３６、ＡＦセンサ２４４、防振追随制御ＩＣ２３５などが接続してある。

ボディＣＰＵ２１８は、カメラ２００全体の制御を行う。たとえば、ボディＣＰＵ２１８は、ユーザによるレリーズスイッチ２３１からの全押し信号を受けて、ミラー２３９，シャッター２１２および撮像素子２１６等を制御し、カメラ２００の撮影動作を制御する。また、ボディＣＰＵ２１８は、後述のように、タッチパネル液晶８のタッチパネル部９と共に図２に示すゴミ検出装置１００を構成し、画像のゴミ検出を行う。

タッチパネル液晶８は、入力部として機能するタッチパネル部９と表示部として機能する液晶ディスプレイ部１０とを有する。タッチパネル部９は、ユーザによる操作を検出して、ユーザの操作に対応する信号をボディＣＰＵ２１８に出力する。たとえば、ユーザは、タッチパネル部９にタップ操作を行ってタッチパネル部９上の位置座標を入力したり、ドラッグ操作を行ってタッチパネル部９に表示された画像の中心位置を移動させたり、ピンチ操作を行ってタッチパネル部９に表示された画像を拡大／縮小させることができる。また、液晶ディスプレイ部１０は、撮像素子２１６で撮像した画像やメモリ２２０に記憶された画像を表示する。

レリーズスイッチ２３１は、シャッター駆動のタイミングを操作するスイッチであり、ボディＣＰＵ２１８にスイッチの状態を出力する。たとえば、レリーズスイッチ２３１が半押し時には、ＡＦ、ＡＥ、防振駆動等が行われる。また、レリーズスイッチ２３１が全押し時には、ミラーアップ、シャッター駆動等が行われる。

ジャイロセンサ２３３は、ボディに生じるブレの角速度を検出し、不図示のアンプを介して、その出力をボディＣＰＵ２１８に出力する。ボディＣＰＵ２１８は、ジャイロセンサ２３３の角速度を積分することによって、振れ角度を求める。

メモリ２２０は、ハードディスクやフラッシュメモリ等で構成され、画像データや音声データ、カメラ２００の設定、ジャイロセンサ２３３の調整値等のデータを記憶する。

防振スイッチ２３４は、防振ＯＮ、ＯＦＦの状態を撮像素子ユニットＣＰＵに出力する。ＡＦセンサ２４４は、オートフォーカス（ＡＦ）を行うためのセンサである。このＡＦセンサとしては、通常ＣＣＤが用いられる。

画像処理コントローラ２３６には、インターフェース回路２３７を介して、撮像素子２１６が接続してあり、撮像素子２１６にて撮像された画像の画像処理を制御可能になっている。

防塵フィルタ駆動回路２４０は、光学フィルタ２１４に取り付けられた不図示の圧電素子に接続してあり、所定条件を満足する場合に、圧電素子を駆動し、光学フィルタ２１４を振動させ、光学フィルタ２１４の表面に付着している塵埃などを除去する動作を行う。光学フィルタ２１４が振動して、塵埃がガラス面から受ける慣性力が塵埃の付着力を上回ると、塵埃がガラス面から離れる。

撮像素子ユニット２４１は、撮像素子２１６を備えており、光軸Ｚ方向に対して垂直なＸ軸およびＹ軸方向に沿って、カメラ本体部２１０に対して相対移動自在である。Ｘ軸とＹ軸とは垂直である。コイル２４７ｘと永久磁石２４６ｘは、Ｘ軸方向移動手段としてのボイスコイルモータ（ＶＣＭ）を構成しており、コイル２４７ｙと永久磁石２４６ｙは、Ｙ軸方向移動手段としてのボイスコイルモータを構成している。コイル２４７ｘおよび２４７ｙへの電流制御により、撮像素子ユニット２４１がＸ軸方向およびＹ軸方向に移動制御されるようになっている。なお、Ｘ軸方向およびＹ軸方向の移動手段としては、ＶＣＭに限定されず、その他のアクチュエータを用いることができる。

防振追従制御ＩＣ２３５は、防振制御を行うためのＩＣである。ボディＣＰＵ２１８からの撮像素子ユニット２４１の目標位置に関する情報と、位置検出部２３８からの撮像素子ユニット２４１の位置情報から、撮像素子ユニット２４１の移動量を算出し、防振駆動ドライバ２３５へ出力する。

防振駆動ドライバ２４３は、防振駆動部を制御するためのドライバであり、防振追従制御ＩＣ２３５から駆動量の入力を受けて、防振駆動部の駆動方向、駆動量を制御する。すなわち、防振駆動ドライバ２４３は、防振追従制御ＩＣ２３５からの入力情報に基づき、コイル２４７ｘ，２４７ｙに駆動電流を流し、撮像素子ユニット２４１を、カメラ本体部２１０に対してＸ軸方向およびＹ軸方向に相対移動させ、像ブレ補正制御を行う。

カメラ本体部２１０の内部において、撮像素子２１６の光軸方向（Ｚ軸方向）の前方には、シャッター２１２が配置してある。シャッター２１２のＺ軸方向の前方には、ミラー２３９が配置してあり、そのＺ軸方向の前方には、レンズ鏡筒部２５０に内蔵してある絞り部２５４およびレンズ群２５２が配置してある。

ミラー２３９は、構図決定の際にファインダーに像を映し出すためのもので、露光中は光路から退避する。ボディＣＰＵ２１８からレリーズスイッチ２３１の情報が入力され、全押し時にミラーアップ、露光終了後にミラーダウンを行う。ミラー２３９は、不図示のミラー駆動部（例えばＤＣモータ）により駆動される。ミラー２３９には、サブミラー２３９ａが連結してある。

サブミラー２３９ａは、ＡＦセンサに光を送るためのミラーであり、ミラーを通過した光束を反射してＡＦセンサに導く。このサブミラー２３９ａは、露光中は光路から退避する。

シャッター２１２は、ボディＣＰＵ２１８により制御され、レンズ鏡筒部２５０から撮像素子２１６へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。図１では、シャッター２１２は、メカニカルシャッターであるが、本実施形態では、メカニカルシャッター２１２を含まなくても良い。メカニカルシャッター２１２を含まない場合は、撮像素子２１６を電子シャッターとして機能させても良い。

光学フィルタ２１４は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。

撮像素子２１６は、ＣＣＤやＣＭＯＳ等で構成される。撮像素子２１６は、ボディＣＰＵ２１８により制御され、撮像素子２１６に導かれた光を光電変換することによって、画像データを取得する。

レンズ鏡筒部２５０には、焦点距離エンコーダ２５６、距離エンコーダ２６２、絞り部２５４、絞り部２５４を制御する駆動モータ２６４、レンズＣＰＵ２５８、カメラ本体部２１０とのレンズ接点２６０、及び、複数のレンズ群２５２が具備してある。レンズ接点２６０には、カメラ本体部２１０からレンズ駆動系電源を供給するための接点と、レンズＣＰＵ２５８を駆動するためのＣＰＵ電源の接点とデジタル通信用の接点がある。

駆動系電源およびＣＰＵ電源はカメラ本体部２１０の電源２４５から供給され、レンズＣＰＵ２５８や駆動系の電源を供給している。デジタル通信用接点では、レンズＣＰＵ２５８から出力された焦点距離、被写体距離、フォーカス位置情報等のデジタル情報をボディＣＰＵ２１８に入力するための通信と、ボディＣＰＵ２１８から出力されたフォーカス位置や絞り量等のデジタル情報をレンズＣＰＵ２５８に入力するための通信を行う。ボディＣＰＵ２１８からのフォーカス位置情報や絞り量情報を受けて、レンズＣＰＵ２５８が、ＡＦ、絞り制御等を行う。

焦点距離エンコーダ２５６は、ズームレンズ群の位置情報より焦点距離を換算する。すなわち、焦点距離エンコーダ２５６は、焦点距離をエンコードし、レンズＣＰＵ２５８に出力する。

距離エンコーダ２６２は、フォーカシングレンズ群の位置情報より被写体距離を換算する。すなわち、距離エンコーダ２６２は、被写体距離をエンコードし、レンズＣＰＵ２５８に出力する。

レンズＣＰＵ２５８は、カメラ本体部２１０との通信機能、レンズ群２５２の制御機能を有している。レンズＣＰＵ２５８には、焦点距離、被写体距離等が入力され、レンズ接点を介してボディＣＰＵ２１８に出力する。ボディＣＰＵ２１８からレンズ接点２６０を介して、レリーズ情報、ＡＦ情報が入力される。

図２に示すように、図１に示すボディＣＰＵ２１８は、位置検出部１０２と検出範囲決定部１０４とパラメータ決定部１０６とゴミ検出部１０８と画像補正部１１０と範囲表示部１１２とを有する。

位置検出部１０２は、位置座標を検出し、検出範囲決定部１０４に出力する。検出範囲決定部１０４は、位置検出部１０２からの位置座標を基に検出範囲を決定し、検出範囲に関する情報をパラメータ決定部１０６に出力する。パラメータ決定部１０６は、検出範囲決定部１０４からの検出範囲に関する情報を基にパラメータを決定し、ゴミ検出部１０８に出力する。ゴミ検出部１０８は、パラメータ決定部１０６からのパラメータを基にゴミを検出し、ゴミに関する情報を画像補正部１１０に出力する。画像補正部１１０は、ゴミ検出部１０８からのゴミに関する情報を基に画像を補正する。範囲表示部１１２は、検出範囲決定部１０４からの検出範囲に関する情報をタッチパネル液晶８に表示させる。ゴミ検出装置１００は、タッチパネル部９と位置検出部１０２と検出範囲決定部１０４とパラメータ決定部１０６とゴミ検出部１０８と画像補正部１１０と範囲表示部１１２とを有して構成され、画像のゴミ検出を行う。

次に図３に示すフローチャートを用いて、図２に示すゴミ検出装置１００の動作を説明する。ステップＳ１０２にて、図１に示すカメラ２００にて取得した画像データ５０を液晶ディスプレイ部１０に表示させる。液晶ディスプレイ部１０での表示画像の一例を図４に示す。

図１に示すカメラ２００では、上記のように、光学フィルタ２１４を振動させ、光学フィルタ２１４に付着した埃等のゴミを除去しているが、ゴミを完全に除去できない場合がある。たとえば、図１に示すカメラ２００では、撮影光の光路上にあって撮影光を透過する光学フィルタ２１４に、異物２３０が付着している。このため、カメラ２００にて撮影を行った場合、撮像素子２１６によって取得される画像データは、異物２３０の影響を受ける。すなわち、図１に示すカメラ２００において、異物２３０の影響を受けた箇所は、図４に示す画像５０において、ゴミ影１２，１４，１６として現れ、画像の品質を低下させる。そこで、ユーザは、図２に示すゴミ検出装置１００を利用して、図４に示す画像５０のゴミ影１２，１４，１６を検出する。本実施形態では、ゴミ影１２を検出する。

ステップＳ１０４にて、ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すゴミ影１２の概略位置を入力する。たとえば、ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すカーソル１８を移動させ、カーソル１８をゴミ影１２の概略位置に合わせてタッチパネル液晶８をタップ操作する。図１に示すタッチパネル液晶８のタッチパネル部９は、図４に示すカーソル１８の位置およびユーザによるタップ操作を検出して、カーソル１８の位置に関する情報を図２に示す位置検出部１０２に出力する。位置検出部１０２は、図１に示すタッチパネル部９からの図４に示すカーソル１８の位置に関する情報を利用して、ゴミ影１２の概略位置座標を検出し、図２に示す検出範囲決定部１０４に出力する。

ステップＳ１０６にて、図２に示す検出範囲決定部１０４は、位置検出部１０２で検出された図４に示すゴミ影１２の概略位置座標を利用して、ゴミ検出範囲２４を決定する。図２に示す検出範囲決定部１０４は、図４に示すゴミ影１２の概略位置座標を中心にして、想定するゴミの大きさよりも大きい範囲をゴミ検出範囲２４として決定する。たとえば、図２に示す検出範囲決定部１０４は、図４に示すゴミ影１２の概略位置座標を中心にして、想定するゴミの大きさの１．５倍〜５倍の四角形の範囲をゴミ検出範囲２４として決定する。検出範囲決定部１０４が決定するゴミ検出範囲の大きさおよび形状は、これに限定されず、たとえば、想定するゴミの大きさの数倍の直径を有する円であっても良い。ゴミ検出範囲に関する設定は、ユーザにより予め設定されており、図２に示すメモリ２２０に記憶されている。検出範囲決定部１０４は、ゴミ検出範囲２４の位置座標、大きさ等の情報を対応する画像に関連させて（あるいは関連させずに）メモリ２２０またはその他のメモリに記憶させる。

ステップＳ１０８にて、図２に示すゴミ検出部１０８は、検出範囲決定部１０４で決定された図４に示すゴミ検出範囲２４の画像データに基づき、図５（ａ）に示す輝度平面を算出する。図５（ａ）に示す輝度平面では、白いところほど輝度が大きく、黒いところほど輝度が小さい。

ステップＳ１１０およびステップＳ１１２にて、図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図５（ａ）に示す輝度平面の平均化処理（ｎ×ｎフィルタ等（ｎは３などの整数））を行う。図５（ａ）に示す輝度平面からノイズ成分を取り除いて、好適にゴミ検出範囲２４のゴミ検出を行うためである。

ステップＳ１１０にて、図２に示すパラメータ決定部１０６は、図５（ａ）に示す輝度平面から輝度の標準偏差を算出する。図５（ａ）に示す輝度平面では、輝度の標準偏差が小さい。なぜなら、図５（ａ）に示す輝度平面は、図４に示すゴミ検出範囲２４に基づく輝度平面であり、ゴミ検出範囲２４では、ゴミ影１２以外の部分で輝度のバラツキが小さい。

図２に示すパラメータ決定部１０６は、図５（ａ）に示す輝度平面において輝度の標準偏差が小さいので、輝度平面の平均化を所定値Ｂ１より弱くするように平均化パラメータを決定する。輝度平面の平均化を必要以上に強くすると、ゴミ影の形状までもがぼやけてしまいゴミを好適に検出することができないからである。なお、所定値Ｂ１は、輝度平面の平均化の度合いを示す所定の基準値であり、平均化処理によりゴミ影の形状がぼやけないように決定される。

図３に示すステップＳ１１２にて、図２に示すゴミ検出部１０８は、パラメータ決定部１０６が決定した輝度平面の平均化パラメータを利用して、図５（ａ）に示す輝度平面の平均化処理を行う。

ステップＳ１１４にて、図２に示すゴミ検出部１０８は、ステップＳ１０８〜Ｓ１１２で取得された図５（ａ）に示す輝度平面に基づき、図５（ｂ）に示す輝度勾配平面を算出する。図５（ｂ）に示す輝度勾配平面において、白いところほど輝度勾配が大きく、黒いところほど輝度勾配が小さい。

ステップＳ１１６およびステップＳ１１８にて、図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図５（ｂ）に示す輝度勾配平面の平均化処理（ｎ×ｎフィルタ等（ｎは３などの整数））を行う。図５（ｂ）に示す輝度勾配平面からノイズ成分を取り除いて、ゴミ検出範囲２４で好適にゴミ検出を行うためである。

ステップＳ１１６にて、図２に示すパラメータ決定部１０６は、図５（ｂ）に示す輝度勾配平面から輝度勾配の標準偏差を算出する。図５（ｂ）に示す輝度勾配平面では、輝度勾配の標準偏差が小さい。なぜなら、図５（ｂ）に示す輝度勾配平面は、図４に示すゴミ検出範囲２４に基づく輝度勾配平面であり、ゴミ検出範囲２４では、ゴミ影１２以外の部分で輝度のバラツキが小さい。

図２に示すパラメータ決定部１０６は、図５（ｂ）に示す輝度勾配平面において輝度勾配の標準偏差が小さいので、輝度勾配平面の平均化処理を所定値Ｂｄ１より弱くするように平均化パラメータを決定する。輝度勾配平面の平均化を必要以上に強くすると、ゴミ影の形状までもがぼやけてしまいゴミを好適に検出することができないからである。なお、所定値Ｂｄ１は、輝度勾配平面の平均化の度合いを示す所定の基準値であり、平均化処理によりゴミ影の形状がぼやけないように決定される。

図３に示すステップＳ１１８にて、図２に示すゴミ検出部１０８は、パラメータ決定部１０６が決定した輝度勾配の平均化パラメータを利用して、図５（ｂ）に示す輝度勾配平面の平均化処理を行う。

ステップＳ１２０にて、図２に示すパラメータ決定部１０６は、図５（ａ）に示す輝度平面および図５（ｂ）に示す輝度勾配平面等を解析して、図４に示すゴミ検出範囲２４にエッジがあるか否かを判断し、輝度勾配の２値化パラメータを決定する。パラメータ決定部１０６は、ゴミ検出範囲２４にエッジがあるので、輝度勾配の２値化の閾値を所定値Ｔ１より大きくするようにパラメータを決定する。ゴミ影とエッジとの分離を好適に行うためである。なお、所定値Ｔ１は、輝度勾配の二値化の閾値を示す所定の基準値であり、ゴミ影とエッジとの分離が良好となるように決定される。

ここで、パラメータ決定部１０６は、輝度勾配の２値化のパラメータを決定する際に、図５（ｃ）に示すゴミ判別画像でのゴミ影の形状を評価しながら、輝度勾配の２値化のパラメータを決定しても良い。たとえば、２値化後のゴミ影の形状を円類似度により評価し、円類似度が低い場合には、円類似度が設定値より高くなるように、２値化時の閾値を上げる。ゴミ影の形状が円形であるときに、このようにして輝度勾配の２値化のパラメータを決定することにより、好適にゴミ影を検出することができる。

ステップＳ１２２にて、図２に示すゴミ検出部１０８は、パラメータ決定部１０６が決定した輝度勾配の２値化のパラメータを利用して、図５（ｂ）に示す輝度勾配平面を２値化して、図５（ｃ）に示すゴミ検出画像を得る。

ステップＳ１２４にて、図２に示すゴミ検出部１０８は、図５（ｃ）に示すゴミ検出画像に基づき、ゴミ影１２の位置座標、大きさ等の情報を算出し、メモリ２２０に記憶させる。

本実施形態では、上記のように、ユーザにより指定された検出範囲内に位置する画像データを処理してゴミ検出を行うので、その指定された範囲内で、好適に画像処理（輝度／輝度勾配の平均化および輝度勾配の２値化）を行い、ゴミを好適に検出することができる。

なお、従来の方法（画像全体における輝度の情報に基づいてゴミ影を抽出する方法）では、ゴミ影がエッジの近辺にあるときに、図４（ｄ）に示すように、ゴミの輝度勾配とエッジの輝度勾配とが２値化後に連結してしまい、ゴミ影を高精度に検出することができない。

ステップＳ１２６にて、図２に示す画像補正部１１０は、ゴミ検出部１０８で検出されたゴミ影１２の影響を低減する画像補正を行う。たとえば、画像補正部１１０は、ゴミ影の領域の輝度を、周辺の画素の輝度と同程度になるように増加させることより、ゴミ影の影響を低減することができる。

本実施形態では、上記のように、好適に検出されたゴミに関するデータを利用して、ユーザにより指定された検出範囲内のゴミ影の補正・除去を行うので、高品質の画像データを取得することができる。

ステップＳ１２８にて、図２に示す範囲表示部１１２は、範囲決定手段１０４により決定され、メモリ２２０に記憶されたゴミ検出範囲２４をゴミ影１２の影響を低減した画像データと共にタッチパネル液晶８に表示させる。ユーザは、ゴミ検出範囲２４内に表示された補正後の画像を見て、良好に画像補正がなされているか否かを判断し、良好に補正がなされていれば、補正後の画像をメモリ２２０に記憶させる。

また、良好に画像補正がなされていないと判断した場合には、補正前の画像データを、ゴミ影の位置データなどとともに、メモリ２２０に記憶させる。ゴミ影の位置データなどと共に保存された画像データは、カメラからパソコンに移されて、パソコンに搭載してあるその他の画像補正アルゴニズムにより処理されて、ゴミ影の補正除去を行うことができる。

なお、本実施形態のカメラ２００では、光学フィルタ２１４に付着したゴミを除去する構成を有していたが、これに限定されず、ゴミを除去する構成を有さないカメラ２００であっても良い。また、ゴミ検出部１０８は、光学フィルタ２１４以外の撮影光の光路上にあって撮影光を透過する部材に付着したゴミを検出しても良い。
第２実施形態

本発明の第２実施形態では、図４に示すゴミ影１４を検出する。すなわち、前述した第１実施形態では、ゴミ影１２を検出したのに対して、本実施形態では、ゴミ影１４を検出する。下記の説明において、上記の第１実施形態と重複する部分の説明を省略する。

ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すゴミ影１４の概略位置を入力する。たとえば、ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すカーソル２０を移動させ、カーソル２０をゴミ影１４の概略左上位置に合わせて、タッチパネル液晶８をタップ操作する。次に、ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すカーソル２２を移動させ、カーソル２２をゴミ影１４の概略右下位置に合わせて、タッチパネル液晶８をタップ操作する。タッチパネル液晶８のタッチパネル部９は、カーソル２０および２２の位置座標およびユーザによるタップ操作を検出して、カーソル２０および２２の位置に関する情報を図２に示す位置検出部１０２に出力する。位置検出部１０２は、図１に示すタッチパネル部９からのカーソル２０および２２の位置に関する情報を利用して、図４に示すゴミ影１４の概略位置座標を検出し、図２に示す検出範囲決定部１０４に出力する。

検出範囲決定部１０４は、位置検出部１０２で検出されたゴミ影１４の概略位置座標を利用して、図４に示すゴミ検出範囲２６を決定する。たとえば、検出範囲決定部１０４は、図４に示すゴミ影１４の概略左上位置の座標（カーソル２０の位置座標）とゴミ影１４の概略右下位置の座標（カーソル２２の位置座標）とを含む四角形の範囲をゴミ検出範囲２６として決定する。

図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図４に示すゴミ検出範囲２６の画像データから輝度平面を算出し（図３に示すステップＳ１０８〜Ｓ１１２）、その輝度平面から輝度勾配平面を算出し（ステップＳ１１４〜Ｓ１１８）、その輝度勾配平面を２値化してゴミ影の検出を行う（ステップＳ１２０〜Ｓ１２４）。

図４に示すゴミ検出範囲２６では、ゴミ影１４以外の部分で輝度のバラツキが少ないので、ゴミ検出範囲２６では、輝度および輝度勾配の標準偏差が小さい。したがって、図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図３に示すステップＳ１１０〜Ｓ１１２にて、輝度平面に所定値Ｂ２より弱い平均化処理を行い、ステップＳ１１６〜Ｓ１１８にて、輝度勾配平面に所定値Ｂｄ２より弱い平均化処理を行う。輝度平面および輝度勾配平面の平均化を必要以上に強くすると、ゴミ影の形状までもがぼやけてしまいゴミを好適に検出することができないからである。なお、この実施形態の所定値Ｂ２およびＢｄ２は、第１実施形態の所定値Ｂ１およびＢｄ１と同じように決定され、その数値は同じであってもよいが、異なっていてもよい。

また、図４に示すゴミ検出範囲２６にはエッジがない。したがって、図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図３に示すステップＳ１２０〜Ｓ１２２にて、所定値Ｔ２より小さい閾値で輝度勾配の２値化を行う。閾値を必要以上に大きくして輝度勾配の２値化を行うと、ゴミ影の外周部を好適に検出できないからである。なお、所定値Ｔ２は、ゴミ影の外周部を好適に検出できるように決定され、第１実施形態の所定値Ｔ１と同等以下の値である。
第３実施形態

本発明の第３実施形態では、図４に示すゴミ影１６を検出する。すなわち、前述した第１実施形態では、ゴミ影１２を検出したのに対して、本実施形態では、ゴミ影１６を検出する。下記の説明において、上記の第１実施形態と重複する部分の説明を省略する。

本実施形態では、図４に示すカーソル２８の形状が四角形である。カーソル２８の形状および大きさは、あらかじめ決定されてもよいが、ユーザにより設定可能にしてあることが好ましい。ユーザは、検出するゴミ影の形状および大きさに合わせてカーソル２８の形状および大きさを変更することができる。

ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すゴミ影１６の概略位置を入力する。たとえば、ユーザは、図１に示すタッチパネル液晶８を操作して、図４に示すカーソル２８を移動させ、ゴミ影１６がカーソル２８の枠内に入るようにして、タッチパネル液晶８をタップ操作する。図１に示すタッチパネル液晶８のタッチパネル部９は、図４に示すカーソル２８の位置座標およびユーザによるタップ操作を検出して、カーソル２８の位置に関する情報を図２に示す位置検出部１０２に出力する。位置検出部１０２は、図１に示すタッチパネル部９からの図４に示すカーソル２８の位置に関する情報を利用して、ゴミ影１６の概略位置座標を検出し、図２に示す検出範囲決定部１０４に出力する。

検出範囲決定部１０４は、位置検出部１０２で検出された図４に示すゴミ影１６の概略位置座標（ゴミ検出範囲２８）を利用して、ゴミ検出範囲２８を決定する。たとえば、図２に示す検出範囲決定部１０４は、図４に示すゴミ検出範囲２８のｍ倍の範囲をゴミ検出範囲２４として決定する。

図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図４に示すゴミ検出範囲２８の画像データから輝度平面を算出し（図３に示すステップＳ１０８〜Ｓ１１２）、その輝度平面から輝度勾配平面を算出し（ステップＳ１１４〜Ｓ１１８）、その輝度勾配平面を２値化してゴミ影の検出を行う（ステップＳ１２０〜Ｓ１２４）。

図４に示すゴミ検出範囲２８では、ゴミ影１６以外の部分で輝度のバラツキが多いので、ゴミ検出範囲２８では、輝度および輝度勾配の標準偏差が大きい。したがって、図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図３に示すステップＳ１１０〜Ｓ１１２にて、輝度平面に所定値Ｂ３より強い平均化処理を行い、ステップＳ１１６〜Ｓ１１８にて、輝度勾配平面に所定値Ｂｄ３より強い平均化処理を行う。ゴミ検出範囲２８のゴミ影１６以外の部分における輝度のバラツキを平均化して、ゴミ影１６を良好に検出するためである。なお、この実施形態の所定値Ｂ３およびＢｄ３は、輝度のばらつきが多い状態でもゴミ影を良好に検出できるように決定され、第１実施形態の所定値Ｂ１およびＢｄ１と同等以上となるように決定される。

また、図４に示すゴミ検出範囲２８にはエッジがある。したがって、図２に示すパラメータ決定部１０６とゴミ検出部１０８とは、図３に示すステップＳ１２０〜Ｓ１２２にて、所定値Ｔ３より大きい閾値で輝度勾配の２値化を行う。ゴミ影とエッジとの分離を好適に行うためである。なお、所定値Ｔ３は、第１実施形態の所定値Ｔ１と同じでも異なっていてもよい。
第４実施形態

本発明の第４実施形態では、図６に示すように、制御装置２１８がＰＣ本体５００に組み込まれる。すなわち、前述した第１実施形態では、図１に示すように、カメラ２００にボディＣＰＵ２１８が組み込まれるのに対して、本実施形態では、図６に示すように、ＰＣ本体５００に制御装置２１８が組み込まれる。また、前述した第１実施形態では、図１に示すように、表示装置がタッチパネル液晶８のディスプレイ部１０であったのに対して、本実施形態では、図６に示すように、表示装置が液晶ディスプレイ１０である。以下の説明において、上記の実施形態と重複する部分の説明を省略する。

図５に示すＰＣ本体５００は、ＵＳＢインターフェース５０２と制御装置２１８とメモリ２２０とを有する。ＰＣ本体５００には、ＰＣ本体５００により制御されて映像を表示する液晶ディスプレイ１０と、ユーザからの指示をＰＣ本体５００に入力するキーボード５０４およびマウス５０６が接続される。

ユーザは、図１に示すカメラ２００を、不図示のＵＳＢ接続ケーブルを介して、図５に示すＰＣ本体５００に接続して、カメラ２００にて取得した画像５０を、液晶ディスプレイ部１０に表示させる。ユーザは、キーボード５０４およびマウス５０６を利用して、図４に示す液晶ディスプレイ１０に表示された画像５０のゴミ影１２，１４，１６の概略位置を入力する。

なお、本発明は、上記の実施形態に限定されない。

上記の実施形態では、カメラ２００により取得された画像のゴミ検出を行ったが、これに限定されず、たとえば、他のカメラで取得された画像のゴミ検出を行っても良い。また、一般的な画像処理装置によりゴミ影が除去された画像について、更にゴミ検出を行っても良い。

また、上記の実施形態では、カメラの表示装置はタッチパネル液晶で構成されたが、これに限定されず、一般的なＬＣＤや有機ＥＬ等の表示装置であっても良い。この場合、ユーザは不図示のマルチセレクター等の入力装置を利用して、ゴミ影の概略位置等を入力する。

また、上記の実施形態のゴミ検出装置は、コンピュータに実行させるためのプログラムにより実現されても良い。コンピュータに実行させるためのプログラムは、記憶媒体（たとえば、ＤＶＤやメモリースティック、ハードディスク等）に記憶され、記憶媒体から直接に実行されても良いし、記憶媒体からパソコンにインストールされて実行されても良い。

８・・・タッチパネル液晶
９・・・タッチパネル部
１０・・・表示装置
１２，１４，１６・・・ゴミ影
１８，２０，２２，２８・・・カーソル
２４，２６，２８・・・ゴミ検出範囲
１０２・・・位置検出部
１０４・・・検出範囲決定部
１０６・・・ パラメータ決定部
１０８・・・ゴミ検出部
１１０・・・画像補正部
１１２・・・範囲表示部
２００・・・カメラ
２１０・・・カメラ本体部
２１８・・・ボディＣＰＵ、制御装置
２５０・・・レンズ鏡筒部
５００・・・ＰＣ本体
５０４・・・キーボード
５０６・・・マウス

Claims (10)

1. 表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出手段と、
   前記検出手段により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定手段と、
   前記範囲決定手段により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段とを有する画像のゴミ検出装置。
2. 前記検出範囲内に位置する画像データに基づき、前記ゴミ検出処理のパラメータを決定するパラメータ決定手段をさらに有する請求項１に記載のゴミ検出装置。
3. 前記パラメータは、前記検出範囲内に位置する画像データの輝度または輝度勾配の平均化処理のパラメータである請求項２に記載のゴミ検出装置。
4. 前記平均化処理の強弱パラメータは、前記検出範囲内に位置する画像データの輝度の標準偏差または輝度勾配の標準偏差により決定される請求項３に記載のゴミ検出装置。
5. 前記パラメータは、前記検出範囲内に位置する画像データの輝度勾配からゴミを検出する際の閾値である請求項２に記載のゴミ検出装置。
6. 前記ゴミ検出手段で検出されたゴミに対応する画像データを補正する補正手段をさらに有する請求項１〜５のいずれかに記載のゴミ検出装置。
7. 前記範囲決定手段により決定された検出範囲を、前記画像データと共に前記表示手段に表示させる範囲表示手段をさらに有する請求項１〜６のいずれかに記載のゴミ検出装置。
8. 請求項１〜７の何れかに記載のゴミ検出装置を有するカメラ。
9. 表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出工程と、
   前記検出工程により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定工程と、
   前記範囲決定工程により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出工程とを、
   コンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムが記録してある記憶媒体。

Images