JP2013162488A - 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 - Google Patents
画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 Download PDFInfo
- Publication number
- JP2013162488A JP2013162488A JP2012025428A JP2012025428A JP2013162488A JP 2013162488 A JP2013162488 A JP 2013162488A JP 2012025428 A JP2012025428 A JP 2012025428A JP 2012025428 A JP2012025428 A JP 2012025428A JP 2013162488 A JP2013162488 A JP 2013162488A
- Authority
- JP
- Japan
- Prior art keywords
- dust
- detection
- range
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体を提供する。
【解決手段】表示手段(10)に表示される画像データ(50)の内、ユーザが指定している特定の位置または範囲(18,20,22,28)を検出する検出手段(102)と、前記検出手段(102)により検出された特定の位置または範囲(18,20,22,28)に基づき、検出範囲(24,26,28)を決定する範囲決定手段(104)と、前記範囲決定手段(104)により決定された検出範囲(24,26,28)内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段(108)とを有するゴミ検出装置。
【選択図】図2
【解決手段】表示手段(10)に表示される画像データ(50)の内、ユーザが指定している特定の位置または範囲(18,20,22,28)を検出する検出手段(102)と、前記検出手段(102)により検出された特定の位置または範囲(18,20,22,28)に基づき、検出範囲(24,26,28)を決定する範囲決定手段(104)と、前記範囲決定手段(104)により決定された検出範囲(24,26,28)内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段(108)とを有するゴミ検出装置。
【選択図】図2
Description
本発明は、画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体に関する。
近年、デジタルカメラ等の撮像装置にて撮像を行う際に、撮像素子や光学フィルタ等にゴミが付着していると、付着したゴミの影(ゴミ影)が撮影画像に写り込み、画像の品質の劣化を招くことが問題となっている。
この問題を解決するため、例えば特許文献1に示す従来技術では、基準画像を取得するための所定の背景でゴミ影が写り込んだ基準画像を予め撮像しておき、ゴミ位置の座標を算出する。そして、その基準画像のゴミ位置に対応する座標を利用して、補正対象の撮像画像のゴミ影を削除する補正を行なう。また、特許文献1には、補正対象の画像に含まれる各画素の輝度の情報に基づいてゴミ影を抽出する方法が記載されている。
しかし、上記の基準画像を撮影する方法においては、カメラ操作等により、ゴミの位置の座標や向きが変わったときに、高品質の画像を得ることができない。さらに、撮影者は基準画像を予め撮影しておかなければならないので、撮影者に負担が掛かる。
また、輝度の情報に基づいてゴミ影を抽出する方法においては、ゴミの位置が補正対象の画像内のエッジ部分に近いと輝度勾配が重なってしまいゴミの検出が困難である。さらに、輝度の情報に基づいてゴミ影を抽出する方法において、エッジ付近のゴミ影を抽出しようとすると、他の位置での検出精度を低下させてしまう問題や、他の場所での誤検出を招くという問題が新たに発生する。
本発明の目的は、画像のゴミ検出を高精度に行うことができるゴミ検出装置、カメラ、プログラム、記録媒体を提供することである。
上記の目的を達成するために、本発明の画像のゴミ検出装置は、
表示手段(10)に表示される画像データ(50)の内、ユーザが指定している特定の位置または範囲(18,20,22,28)を検出する検出手段(102)と、
前記検出手段(102)により検出された特定の位置または範囲(18,20,22,28)に基づき、検出範囲(24,26,28)を決定する範囲決定手段(104)と、
前記範囲決定手段(104)により決定された検出範囲(24,26,28)内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段(108)とを有する。
表示手段(10)に表示される画像データ(50)の内、ユーザが指定している特定の位置または範囲(18,20,22,28)を検出する検出手段(102)と、
前記検出手段(102)により検出された特定の位置または範囲(18,20,22,28)に基づき、検出範囲(24,26,28)を決定する範囲決定手段(104)と、
前記範囲決定手段(104)により決定された検出範囲(24,26,28)内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段(108)とを有する。
本発明のゴミ検出装置は、前記検出範囲(24,26,28)内に位置する画像データに基づき、前記ゴミ検出処理のパラメータを決定するパラメータ決定手段(106)をさらに有してもよい。
前記パラメータは、前記検出範囲(24,26,28)内に位置する画像データの輝度または輝度勾配の平均化処理のパラメータであってもよい。
前記平均化処理の強弱パラメータは、前記検出範囲(24,26,28)内に位置する画像データの輝度の標準偏差または輝度勾配の標準偏差により決定されてもよい。
前記パラメータは、前記検出範囲内に位置する画像データの輝度勾配からゴミを検出する際の閾値であってもよい。
本発明のゴミ検出装置は、ゴミ検出手段(108)で検出されたゴミに対応する画像データを補正する補正手段(110)をさらに有してもよい。
本発明のゴミ検出装置は、範囲決定手段(104)により決定された検出範囲(24,26,28)を、画像データ(50)と共に表示手段に表示させる範囲表示手段(112)をさらに有してもよい。
本発明のカメラは、上記のゴミ検出装置を有してもよい。
本発明のコンピュータに実行させるためのプログラムは、
表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出工程と、
前記検出工程により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定工程と、
前記範囲決定工程により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出工程とを有する。
表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出工程と、
前記検出工程により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定工程と、
前記範囲決定工程により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出工程とを有する。
本発明の記憶媒体には、上記のプログラムが記録してある。
なお、上述の説明では、本発明をわかりやすく説明するために、実施形態を示す図面の符号に対応付けて説明したが、本発明は、これに限定されるものでない。後述の実施形態の構成を適宜改良してもよく、また、少なくとも一部を他の構成に代替させてもよい。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
第1実施形態
図1に示すカメラ200は、レンズ群252等が備えられるレンズ鏡筒部250と、撮像素子216等が備えられるカメラ本体部210とを含む。以下では、レンズ鏡筒部250がカメラ本体部210に着脱自在に取り付けられるレンズ交換式カメラを例に説明するが、本実施形態はこれに限定されない。例えば、レンズ鏡筒部250とカメラ本体部210が一体であるコンパクトカメラやカメラ付きモバイル機器であっても良い。
図1に示すカメラ200は、レンズ群252等が備えられるレンズ鏡筒部250と、撮像素子216等が備えられるカメラ本体部210とを含む。以下では、レンズ鏡筒部250がカメラ本体部210に着脱自在に取り付けられるレンズ交換式カメラを例に説明するが、本実施形態はこれに限定されない。例えば、レンズ鏡筒部250とカメラ本体部210が一体であるコンパクトカメラやカメラ付きモバイル機器であっても良い。
図1に示すカメラ本体部210には、タッチパネル液晶8,シャッター212,光学フィルタ214,撮像素子216,ボディCPU218,メモリ220等が備えられる。
カメラ本体部210に内蔵してあるボディCPU218は、レンズ接点260を介して、レンズCPU258に接続してある。レンズ接点260は、カメラ本体部210に対してレンズ鏡筒部250を連結することで、ボディCPU218と、レンズCPU258とを電気的に接続するようになっている。ボディCPU218には、電源245が接続してある。電源245は、カメラ本体部210に内蔵してある。
ボディCPU218には、タッチパネル液晶8、レリーズスイッチ231、ストロボ232、ジャイロセンサ233、メモリ220、防振スイッチ234、防塵フィルタ駆動回路240、画像処理コントローラ236、AFセンサ244、防振追随制御IC235などが接続してある。
ボディCPU218は、カメラ200全体の制御を行う。たとえば、ボディCPU218は、ユーザによるレリーズスイッチ231からの全押し信号を受けて、ミラー239,シャッター212および撮像素子216等を制御し、カメラ200の撮影動作を制御する。また、ボディCPU218は、後述のように、タッチパネル液晶8のタッチパネル部9と共に図2に示すゴミ検出装置100を構成し、画像のゴミ検出を行う。
タッチパネル液晶8は、入力部として機能するタッチパネル部9と表示部として機能する液晶ディスプレイ部10とを有する。タッチパネル部9は、ユーザによる操作を検出して、ユーザの操作に対応する信号をボディCPU218に出力する。たとえば、ユーザは、タッチパネル部9にタップ操作を行ってタッチパネル部9上の位置座標を入力したり、ドラッグ操作を行ってタッチパネル部9に表示された画像の中心位置を移動させたり、ピンチ操作を行ってタッチパネル部9に表示された画像を拡大/縮小させることができる。また、液晶ディスプレイ部10は、撮像素子216で撮像した画像やメモリ220に記憶された画像を表示する。
レリーズスイッチ231は、シャッター駆動のタイミングを操作するスイッチであり、ボディCPU218にスイッチの状態を出力する。たとえば、レリーズスイッチ231が半押し時には、AF、AE、防振駆動等が行われる。また、レリーズスイッチ231が全押し時には、ミラーアップ、シャッター駆動等が行われる。
ジャイロセンサ233は、ボディに生じるブレの角速度を検出し、不図示のアンプを介して、その出力をボディCPU218に出力する。ボディCPU218は、ジャイロセンサ233の角速度を積分することによって、振れ角度を求める。
メモリ220は、ハードディスクやフラッシュメモリ等で構成され、画像データや音声データ、カメラ200の設定、ジャイロセンサ233の調整値等のデータを記憶する。
防振スイッチ234は、防振ON、OFFの状態を撮像素子ユニットCPUに出力する。AFセンサ244は、オートフォーカス(AF)を行うためのセンサである。このAFセンサとしては、通常CCDが用いられる。
画像処理コントローラ236には、インターフェース回路237を介して、撮像素子216が接続してあり、撮像素子216にて撮像された画像の画像処理を制御可能になっている。
防塵フィルタ駆動回路240は、光学フィルタ214に取り付けられた不図示の圧電素子に接続してあり、所定条件を満足する場合に、圧電素子を駆動し、光学フィルタ214を振動させ、光学フィルタ214の表面に付着している塵埃などを除去する動作を行う。光学フィルタ214が振動して、塵埃がガラス面から受ける慣性力が塵埃の付着力を上回ると、塵埃がガラス面から離れる。
撮像素子ユニット241は、撮像素子216を備えており、光軸Z方向に対して垂直なX軸およびY軸方向に沿って、カメラ本体部210に対して相対移動自在である。X軸とY軸とは垂直である。コイル247xと永久磁石246xは、X軸方向移動手段としてのボイスコイルモータ(VCM)を構成しており、コイル247yと永久磁石246yは、Y軸方向移動手段としてのボイスコイルモータを構成している。コイル247xおよび247yへの電流制御により、撮像素子ユニット241がX軸方向およびY軸方向に移動制御されるようになっている。なお、X軸方向およびY軸方向の移動手段としては、VCMに限定されず、その他のアクチュエータを用いることができる。
防振追従制御IC235は、防振制御を行うためのICである。ボディCPU218からの撮像素子ユニット241の目標位置に関する情報と、位置検出部238からの撮像素子ユニット241の位置情報から、撮像素子ユニット241の移動量を算出し、防振駆動ドライバ235へ出力する。
防振駆動ドライバ243は、防振駆動部を制御するためのドライバであり、防振追従制御IC235から駆動量の入力を受けて、防振駆動部の駆動方向、駆動量を制御する。すなわち、防振駆動ドライバ243は、防振追従制御IC235からの入力情報に基づき、コイル247x,247yに駆動電流を流し、撮像素子ユニット241を、カメラ本体部210に対してX軸方向およびY軸方向に相対移動させ、像ブレ補正制御を行う。
カメラ本体部210の内部において、撮像素子216の光軸方向(Z軸方向)の前方には、シャッター212が配置してある。シャッター212のZ軸方向の前方には、ミラー239が配置してあり、そのZ軸方向の前方には、レンズ鏡筒部250に内蔵してある絞り部254およびレンズ群252が配置してある。
ミラー239は、構図決定の際にファインダーに像を映し出すためのもので、露光中は光路から退避する。ボディCPU218からレリーズスイッチ231の情報が入力され、全押し時にミラーアップ、露光終了後にミラーダウンを行う。ミラー239は、不図示のミラー駆動部(例えばDCモータ)により駆動される。ミラー239には、サブミラー239aが連結してある。
サブミラー239aは、AFセンサに光を送るためのミラーであり、ミラーを通過した光束を反射してAFセンサに導く。このサブミラー239aは、露光中は光路から退避する。
シャッター212は、ボディCPU218により制御され、レンズ鏡筒部250から撮像素子216へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。図1では、シャッター212は、メカニカルシャッターであるが、本実施形態では、メカニカルシャッター212を含まなくても良い。メカニカルシャッター212を含まない場合は、撮像素子216を電子シャッターとして機能させても良い。
光学フィルタ214は、撮像に際して偽色(色モアレ)等の発生を防止する光学ローパスフィルタ等によって構成される。
撮像素子216は、CCDやCMOS等で構成される。撮像素子216は、ボディCPU218により制御され、撮像素子216に導かれた光を光電変換することによって、画像データを取得する。
レンズ鏡筒部250には、焦点距離エンコーダ256、距離エンコーダ262、絞り部254、絞り部254を制御する駆動モータ264、レンズCPU258、カメラ本体部210とのレンズ接点260、及び、複数のレンズ群252が具備してある。レンズ接点260には、カメラ本体部210からレンズ駆動系電源を供給するための接点と、レンズCPU258を駆動するためのCPU電源の接点とデジタル通信用の接点がある。
駆動系電源およびCPU電源はカメラ本体部210の電源245から供給され、レンズCPU258や駆動系の電源を供給している。デジタル通信用接点では、レンズCPU258から出力された焦点距離、被写体距離、フォーカス位置情報等のデジタル情報をボディCPU218に入力するための通信と、ボディCPU218から出力されたフォーカス位置や絞り量等のデジタル情報をレンズCPU258に入力するための通信を行う。ボディCPU218からのフォーカス位置情報や絞り量情報を受けて、レンズCPU258が、AF、絞り制御等を行う。
焦点距離エンコーダ256は、ズームレンズ群の位置情報より焦点距離を換算する。すなわち、焦点距離エンコーダ256は、焦点距離をエンコードし、レンズCPU258に出力する。
距離エンコーダ262は、フォーカシングレンズ群の位置情報より被写体距離を換算する。すなわち、距離エンコーダ262は、被写体距離をエンコードし、レンズCPU258に出力する。
レンズCPU258は、カメラ本体部210との通信機能、レンズ群252の制御機能を有している。レンズCPU258には、焦点距離、被写体距離等が入力され、レンズ接点を介してボディCPU218に出力する。ボディCPU218からレンズ接点260を介して、レリーズ情報、AF情報が入力される。
図2に示すように、図1に示すボディCPU218は、位置検出部102と検出範囲決定部104とパラメータ決定部106とゴミ検出部108と画像補正部110と範囲表示部112とを有する。
位置検出部102は、位置座標を検出し、検出範囲決定部104に出力する。検出範囲決定部104は、位置検出部102からの位置座標を基に検出範囲を決定し、検出範囲に関する情報をパラメータ決定部106に出力する。パラメータ決定部106は、検出範囲決定部104からの検出範囲に関する情報を基にパラメータを決定し、ゴミ検出部108に出力する。ゴミ検出部108は、パラメータ決定部106からのパラメータを基にゴミを検出し、ゴミに関する情報を画像補正部110に出力する。画像補正部110は、ゴミ検出部108からのゴミに関する情報を基に画像を補正する。範囲表示部112は、検出範囲決定部104からの検出範囲に関する情報をタッチパネル液晶8に表示させる。ゴミ検出装置100は、タッチパネル部9と位置検出部102と検出範囲決定部104とパラメータ決定部106とゴミ検出部108と画像補正部110と範囲表示部112とを有して構成され、画像のゴミ検出を行う。
次に図3に示すフローチャートを用いて、図2に示すゴミ検出装置100の動作を説明する。ステップS102にて、図1に示すカメラ200にて取得した画像データ50を液晶ディスプレイ部10に表示させる。液晶ディスプレイ部10での表示画像の一例を図4に示す。
図1に示すカメラ200では、上記のように、光学フィルタ214を振動させ、光学フィルタ214に付着した埃等のゴミを除去しているが、ゴミを完全に除去できない場合がある。たとえば、図1に示すカメラ200では、撮影光の光路上にあって撮影光を透過する光学フィルタ214に、異物230が付着している。このため、カメラ200にて撮影を行った場合、撮像素子216によって取得される画像データは、異物230の影響を受ける。すなわち、図1に示すカメラ200において、異物230の影響を受けた箇所は、図4に示す画像50において、ゴミ影12,14,16として現れ、画像の品質を低下させる。そこで、ユーザは、図2に示すゴミ検出装置100を利用して、図4に示す画像50のゴミ影12,14,16を検出する。本実施形態では、ゴミ影12を検出する。
ステップS104にて、ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すゴミ影12の概略位置を入力する。たとえば、ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すカーソル18を移動させ、カーソル18をゴミ影12の概略位置に合わせてタッチパネル液晶8をタップ操作する。図1に示すタッチパネル液晶8のタッチパネル部9は、図4に示すカーソル18の位置およびユーザによるタップ操作を検出して、カーソル18の位置に関する情報を図2に示す位置検出部102に出力する。位置検出部102は、図1に示すタッチパネル部9からの図4に示すカーソル18の位置に関する情報を利用して、ゴミ影12の概略位置座標を検出し、図2に示す検出範囲決定部104に出力する。
ステップS106にて、図2に示す検出範囲決定部104は、位置検出部102で検出された図4に示すゴミ影12の概略位置座標を利用して、ゴミ検出範囲24を決定する。図2に示す検出範囲決定部104は、図4に示すゴミ影12の概略位置座標を中心にして、想定するゴミの大きさよりも大きい範囲をゴミ検出範囲24として決定する。たとえば、図2に示す検出範囲決定部104は、図4に示すゴミ影12の概略位置座標を中心にして、想定するゴミの大きさの1.5倍〜5倍の四角形の範囲をゴミ検出範囲24として決定する。検出範囲決定部104が決定するゴミ検出範囲の大きさおよび形状は、これに限定されず、たとえば、想定するゴミの大きさの数倍の直径を有する円であっても良い。ゴミ検出範囲に関する設定は、ユーザにより予め設定されており、図2に示すメモリ220に記憶されている。検出範囲決定部104は、ゴミ検出範囲24の位置座標、大きさ等の情報を対応する画像に関連させて(あるいは関連させずに)メモリ220またはその他のメモリに記憶させる。
ステップS108にて、図2に示すゴミ検出部108は、検出範囲決定部104で決定された図4に示すゴミ検出範囲24の画像データに基づき、図5(a)に示す輝度平面を算出する。図5(a)に示す輝度平面では、白いところほど輝度が大きく、黒いところほど輝度が小さい。
ステップS110およびステップS112にて、図2に示すパラメータ決定部106とゴミ検出部108とは、図5(a)に示す輝度平面の平均化処理(n×nフィルタ等(nは3などの整数))を行う。図5(a)に示す輝度平面からノイズ成分を取り除いて、好適にゴミ検出範囲24のゴミ検出を行うためである。
ステップS110にて、図2に示すパラメータ決定部106は、図5(a)に示す輝度平面から輝度の標準偏差を算出する。図5(a)に示す輝度平面では、輝度の標準偏差が小さい。なぜなら、図5(a)に示す輝度平面は、図4に示すゴミ検出範囲24に基づく輝度平面であり、ゴミ検出範囲24では、ゴミ影12以外の部分で輝度のバラツキが小さい。
図2に示すパラメータ決定部106は、図5(a)に示す輝度平面において輝度の標準偏差が小さいので、輝度平面の平均化を所定値B1より弱くするように平均化パラメータを決定する。輝度平面の平均化を必要以上に強くすると、ゴミ影の形状までもがぼやけてしまいゴミを好適に検出することができないからである。なお、所定値B1は、輝度平面の平均化の度合いを示す所定の基準値であり、平均化処理によりゴミ影の形状がぼやけないように決定される。
図3に示すステップS112にて、図2に示すゴミ検出部108は、パラメータ決定部106が決定した輝度平面の平均化パラメータを利用して、図5(a)に示す輝度平面の平均化処理を行う。
ステップS114にて、図2に示すゴミ検出部108は、ステップS108〜S112で取得された図5(a)に示す輝度平面に基づき、図5(b)に示す輝度勾配平面を算出する。図5(b)に示す輝度勾配平面において、白いところほど輝度勾配が大きく、黒いところほど輝度勾配が小さい。
ステップS116およびステップS118にて、図2に示すパラメータ決定部106とゴミ検出部108とは、図5(b)に示す輝度勾配平面の平均化処理(n×nフィルタ等(nは3などの整数))を行う。図5(b)に示す輝度勾配平面からノイズ成分を取り除いて、ゴミ検出範囲24で好適にゴミ検出を行うためである。
ステップS116にて、図2に示すパラメータ決定部106は、図5(b)に示す輝度勾配平面から輝度勾配の標準偏差を算出する。図5(b)に示す輝度勾配平面では、輝度勾配の標準偏差が小さい。なぜなら、図5(b)に示す輝度勾配平面は、図4に示すゴミ検出範囲24に基づく輝度勾配平面であり、ゴミ検出範囲24では、ゴミ影12以外の部分で輝度のバラツキが小さい。
図2に示すパラメータ決定部106は、図5(b)に示す輝度勾配平面において輝度勾配の標準偏差が小さいので、輝度勾配平面の平均化処理を所定値Bd1より弱くするように平均化パラメータを決定する。輝度勾配平面の平均化を必要以上に強くすると、ゴミ影の形状までもがぼやけてしまいゴミを好適に検出することができないからである。なお、所定値Bd1は、輝度勾配平面の平均化の度合いを示す所定の基準値であり、平均化処理によりゴミ影の形状がぼやけないように決定される。
図3に示すステップS118にて、図2に示すゴミ検出部108は、パラメータ決定部106が決定した輝度勾配の平均化パラメータを利用して、図5(b)に示す輝度勾配平面の平均化処理を行う。
ステップS120にて、図2に示すパラメータ決定部106は、図5(a)に示す輝度平面および図5(b)に示す輝度勾配平面等を解析して、図4に示すゴミ検出範囲24にエッジがあるか否かを判断し、輝度勾配の2値化パラメータを決定する。パラメータ決定部106は、ゴミ検出範囲24にエッジがあるので、輝度勾配の2値化の閾値を所定値T1より大きくするようにパラメータを決定する。ゴミ影とエッジとの分離を好適に行うためである。なお、所定値T1は、輝度勾配の二値化の閾値を示す所定の基準値であり、ゴミ影とエッジとの分離が良好となるように決定される。
ここで、パラメータ決定部106は、輝度勾配の2値化のパラメータを決定する際に、図5(c)に示すゴミ判別画像でのゴミ影の形状を評価しながら、輝度勾配の2値化のパラメータを決定しても良い。たとえば、2値化後のゴミ影の形状を円類似度により評価し、円類似度が低い場合には、円類似度が設定値より高くなるように、2値化時の閾値を上げる。ゴミ影の形状が円形であるときに、このようにして輝度勾配の2値化のパラメータを決定することにより、好適にゴミ影を検出することができる。
ステップS122にて、図2に示すゴミ検出部108は、パラメータ決定部106が決定した輝度勾配の2値化のパラメータを利用して、図5(b)に示す輝度勾配平面を2値化して、図5(c)に示すゴミ検出画像を得る。
ステップS124にて、図2に示すゴミ検出部108は、図5(c)に示すゴミ検出画像に基づき、ゴミ影12の位置座標、大きさ等の情報を算出し、メモリ220に記憶させる。
本実施形態では、上記のように、ユーザにより指定された検出範囲内に位置する画像データを処理してゴミ検出を行うので、その指定された範囲内で、好適に画像処理(輝度/輝度勾配の平均化および輝度勾配の2値化)を行い、ゴミを好適に検出することができる。
なお、従来の方法(画像全体における輝度の情報に基づいてゴミ影を抽出する方法)では、ゴミ影がエッジの近辺にあるときに、図4(d)に示すように、ゴミの輝度勾配とエッジの輝度勾配とが2値化後に連結してしまい、ゴミ影を高精度に検出することができない。
ステップS126にて、図2に示す画像補正部110は、ゴミ検出部108で検出されたゴミ影12の影響を低減する画像補正を行う。たとえば、画像補正部110は、ゴミ影の領域の輝度を、周辺の画素の輝度と同程度になるように増加させることより、ゴミ影の影響を低減することができる。
本実施形態では、上記のように、好適に検出されたゴミに関するデータを利用して、ユーザにより指定された検出範囲内のゴミ影の補正・除去を行うので、高品質の画像データを取得することができる。
ステップS128にて、図2に示す範囲表示部112は、範囲決定手段104により決定され、メモリ220に記憶されたゴミ検出範囲24をゴミ影12の影響を低減した画像データと共にタッチパネル液晶8に表示させる。ユーザは、ゴミ検出範囲24内に表示された補正後の画像を見て、良好に画像補正がなされているか否かを判断し、良好に補正がなされていれば、補正後の画像をメモリ220に記憶させる。
また、良好に画像補正がなされていないと判断した場合には、補正前の画像データを、ゴミ影の位置データなどとともに、メモリ220に記憶させる。ゴミ影の位置データなどと共に保存された画像データは、カメラからパソコンに移されて、パソコンに搭載してあるその他の画像補正アルゴニズムにより処理されて、ゴミ影の補正除去を行うことができる。
なお、本実施形態のカメラ200では、光学フィルタ214に付着したゴミを除去する構成を有していたが、これに限定されず、ゴミを除去する構成を有さないカメラ200であっても良い。また、ゴミ検出部108は、光学フィルタ214以外の撮影光の光路上にあって撮影光を透過する部材に付着したゴミを検出しても良い。
第2実施形態
第2実施形態
本発明の第2実施形態では、図4に示すゴミ影14を検出する。すなわち、前述した第1実施形態では、ゴミ影12を検出したのに対して、本実施形態では、ゴミ影14を検出する。下記の説明において、上記の第1実施形態と重複する部分の説明を省略する。
ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すゴミ影14の概略位置を入力する。たとえば、ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すカーソル20を移動させ、カーソル20をゴミ影14の概略左上位置に合わせて、タッチパネル液晶8をタップ操作する。次に、ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すカーソル22を移動させ、カーソル22をゴミ影14の概略右下位置に合わせて、タッチパネル液晶8をタップ操作する。タッチパネル液晶8のタッチパネル部9は、カーソル20および22の位置座標およびユーザによるタップ操作を検出して、カーソル20および22の位置に関する情報を図2に示す位置検出部102に出力する。位置検出部102は、図1に示すタッチパネル部9からのカーソル20および22の位置に関する情報を利用して、図4に示すゴミ影14の概略位置座標を検出し、図2に示す検出範囲決定部104に出力する。
検出範囲決定部104は、位置検出部102で検出されたゴミ影14の概略位置座標を利用して、図4に示すゴミ検出範囲26を決定する。たとえば、検出範囲決定部104は、図4に示すゴミ影14の概略左上位置の座標(カーソル20の位置座標)とゴミ影14の概略右下位置の座標(カーソル22の位置座標)とを含む四角形の範囲をゴミ検出範囲26として決定する。
図2に示すパラメータ決定部106とゴミ検出部108とは、図4に示すゴミ検出範囲26の画像データから輝度平面を算出し(図3に示すステップS108〜S112)、その輝度平面から輝度勾配平面を算出し(ステップS114〜S118)、その輝度勾配平面を2値化してゴミ影の検出を行う(ステップS120〜S124)。
図4に示すゴミ検出範囲26では、ゴミ影14以外の部分で輝度のバラツキが少ないので、ゴミ検出範囲26では、輝度および輝度勾配の標準偏差が小さい。したがって、図2に示すパラメータ決定部106とゴミ検出部108とは、図3に示すステップS110〜S112にて、輝度平面に所定値B2より弱い平均化処理を行い、ステップS116〜S118にて、輝度勾配平面に所定値Bd2より弱い平均化処理を行う。輝度平面および輝度勾配平面の平均化を必要以上に強くすると、ゴミ影の形状までもがぼやけてしまいゴミを好適に検出することができないからである。なお、この実施形態の所定値B2およびBd2は、第1実施形態の所定値B1およびBd1と同じように決定され、その数値は同じであってもよいが、異なっていてもよい。
また、図4に示すゴミ検出範囲26にはエッジがない。したがって、図2に示すパラメータ決定部106とゴミ検出部108とは、図3に示すステップS120〜S122にて、所定値T2より小さい閾値で輝度勾配の2値化を行う。閾値を必要以上に大きくして輝度勾配の2値化を行うと、ゴミ影の外周部を好適に検出できないからである。なお、所定値T2は、ゴミ影の外周部を好適に検出できるように決定され、第1実施形態の所定値T1と同等以下の値である。
第3実施形態
第3実施形態
本発明の第3実施形態では、図4に示すゴミ影16を検出する。すなわち、前述した第1実施形態では、ゴミ影12を検出したのに対して、本実施形態では、ゴミ影16を検出する。下記の説明において、上記の第1実施形態と重複する部分の説明を省略する。
本実施形態では、図4に示すカーソル28の形状が四角形である。カーソル28の形状および大きさは、あらかじめ決定されてもよいが、ユーザにより設定可能にしてあることが好ましい。ユーザは、検出するゴミ影の形状および大きさに合わせてカーソル28の形状および大きさを変更することができる。
ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すゴミ影16の概略位置を入力する。たとえば、ユーザは、図1に示すタッチパネル液晶8を操作して、図4に示すカーソル28を移動させ、ゴミ影16がカーソル28の枠内に入るようにして、タッチパネル液晶8をタップ操作する。図1に示すタッチパネル液晶8のタッチパネル部9は、図4に示すカーソル28の位置座標およびユーザによるタップ操作を検出して、カーソル28の位置に関する情報を図2に示す位置検出部102に出力する。位置検出部102は、図1に示すタッチパネル部9からの図4に示すカーソル28の位置に関する情報を利用して、ゴミ影16の概略位置座標を検出し、図2に示す検出範囲決定部104に出力する。
検出範囲決定部104は、位置検出部102で検出された図4に示すゴミ影16の概略位置座標(ゴミ検出範囲28)を利用して、ゴミ検出範囲28を決定する。たとえば、図2に示す検出範囲決定部104は、図4に示すゴミ検出範囲28のm倍の範囲をゴミ検出範囲24として決定する。
図2に示すパラメータ決定部106とゴミ検出部108とは、図4に示すゴミ検出範囲28の画像データから輝度平面を算出し(図3に示すステップS108〜S112)、その輝度平面から輝度勾配平面を算出し(ステップS114〜S118)、その輝度勾配平面を2値化してゴミ影の検出を行う(ステップS120〜S124)。
図4に示すゴミ検出範囲28では、ゴミ影16以外の部分で輝度のバラツキが多いので、ゴミ検出範囲28では、輝度および輝度勾配の標準偏差が大きい。したがって、図2に示すパラメータ決定部106とゴミ検出部108とは、図3に示すステップS110〜S112にて、輝度平面に所定値B3より強い平均化処理を行い、ステップS116〜S118にて、輝度勾配平面に所定値Bd3より強い平均化処理を行う。ゴミ検出範囲28のゴミ影16以外の部分における輝度のバラツキを平均化して、ゴミ影16を良好に検出するためである。なお、この実施形態の所定値B3およびBd3は、輝度のばらつきが多い状態でもゴミ影を良好に検出できるように決定され、第1実施形態の所定値B1およびBd1と同等以上となるように決定される。
また、図4に示すゴミ検出範囲28にはエッジがある。したがって、図2に示すパラメータ決定部106とゴミ検出部108とは、図3に示すステップS120〜S122にて、所定値T3より大きい閾値で輝度勾配の2値化を行う。ゴミ影とエッジとの分離を好適に行うためである。なお、所定値T3は、第1実施形態の所定値T1と同じでも異なっていてもよい。
第4実施形態
第4実施形態
本発明の第4実施形態では、図6に示すように、制御装置218がPC本体500に組み込まれる。すなわち、前述した第1実施形態では、図1に示すように、カメラ200にボディCPU218が組み込まれるのに対して、本実施形態では、図6に示すように、PC本体500に制御装置218が組み込まれる。また、前述した第1実施形態では、図1に示すように、表示装置がタッチパネル液晶8のディスプレイ部10であったのに対して、本実施形態では、図6に示すように、表示装置が液晶ディスプレイ10である。以下の説明において、上記の実施形態と重複する部分の説明を省略する。
図5に示すPC本体500は、USBインターフェース502と制御装置218とメモリ220とを有する。PC本体500には、PC本体500により制御されて映像を表示する液晶ディスプレイ10と、ユーザからの指示をPC本体500に入力するキーボード504およびマウス506が接続される。
ユーザは、図1に示すカメラ200を、不図示のUSB接続ケーブルを介して、図5に示すPC本体500に接続して、カメラ200にて取得した画像50を、液晶ディスプレイ部10に表示させる。ユーザは、キーボード504およびマウス506を利用して、図4に示す液晶ディスプレイ10に表示された画像50のゴミ影12,14,16の概略位置を入力する。
なお、本発明は、上記の実施形態に限定されない。
上記の実施形態では、カメラ200により取得された画像のゴミ検出を行ったが、これに限定されず、たとえば、他のカメラで取得された画像のゴミ検出を行っても良い。また、一般的な画像処理装置によりゴミ影が除去された画像について、更にゴミ検出を行っても良い。
また、上記の実施形態では、カメラの表示装置はタッチパネル液晶で構成されたが、これに限定されず、一般的なLCDや有機EL等の表示装置であっても良い。この場合、ユーザは不図示のマルチセレクター等の入力装置を利用して、ゴミ影の概略位置等を入力する。
また、上記の実施形態のゴミ検出装置は、コンピュータに実行させるためのプログラムにより実現されても良い。コンピュータに実行させるためのプログラムは、記憶媒体(たとえば、DVDやメモリースティック、ハードディスク等)に記憶され、記憶媒体から直接に実行されても良いし、記憶媒体からパソコンにインストールされて実行されても良い。
8・・・タッチパネル液晶
9・・・タッチパネル部
10・・・表示装置
12,14,16・・・ゴミ影
18,20,22,28・・・カーソル
24,26,28・・・ゴミ検出範囲
102・・・位置検出部
104・・・検出範囲決定部
106・・・ パラメータ決定部
108・・・ゴミ検出部
110・・・画像補正部
112・・・範囲表示部
200・・・カメラ
210・・・カメラ本体部
218・・・ボディCPU、制御装置
250・・・レンズ鏡筒部
500・・・PC本体
504・・・キーボード
506・・・マウス
9・・・タッチパネル部
10・・・表示装置
12,14,16・・・ゴミ影
18,20,22,28・・・カーソル
24,26,28・・・ゴミ検出範囲
102・・・位置検出部
104・・・検出範囲決定部
106・・・ パラメータ決定部
108・・・ゴミ検出部
110・・・画像補正部
112・・・範囲表示部
200・・・カメラ
210・・・カメラ本体部
218・・・ボディCPU、制御装置
250・・・レンズ鏡筒部
500・・・PC本体
504・・・キーボード
506・・・マウス
Claims (10)
- 表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出手段と、
前記検出手段により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定手段と、
前記範囲決定手段により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出手段とを有する画像のゴミ検出装置。 - 前記検出範囲内に位置する画像データに基づき、前記ゴミ検出処理のパラメータを決定するパラメータ決定手段をさらに有する請求項1に記載のゴミ検出装置。
- 前記パラメータは、前記検出範囲内に位置する画像データの輝度または輝度勾配の平均化処理のパラメータである請求項2に記載のゴミ検出装置。
- 前記平均化処理の強弱パラメータは、前記検出範囲内に位置する画像データの輝度の標準偏差または輝度勾配の標準偏差により決定される請求項3に記載のゴミ検出装置。
- 前記パラメータは、前記検出範囲内に位置する画像データの輝度勾配からゴミを検出する際の閾値である請求項2に記載のゴミ検出装置。
- 前記ゴミ検出手段で検出されたゴミに対応する画像データを補正する補正手段をさらに有する請求項1〜5のいずれかに記載のゴミ検出装置。
- 前記範囲決定手段により決定された検出範囲を、前記画像データと共に前記表示手段に表示させる範囲表示手段をさらに有する請求項1〜6のいずれかに記載のゴミ検出装置。
- 請求項1〜7の何れかに記載のゴミ検出装置を有するカメラ。
- 表示手段に表示される画像データの内、ユーザが指定している特定の位置または範囲を検出する検出工程と、
前記検出工程により検出された特定の位置または範囲に基づき、検出範囲を決定する範囲決定工程と、
前記範囲決定工程により決定された検出範囲内に位置する画像データを処理することでゴミ検出処理を行うゴミ検出工程とを、
コンピュータに実行させるためのプログラム。 - 請求項9に記載のプログラムが記録してある記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025428A JP2013162488A (ja) | 2012-02-08 | 2012-02-08 | 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025428A JP2013162488A (ja) | 2012-02-08 | 2012-02-08 | 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013162488A true JP2013162488A (ja) | 2013-08-19 |
Family
ID=49174370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012025428A Pending JP2013162488A (ja) | 2012-02-08 | 2012-02-08 | 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013162488A (ja) |
-
2012
- 2012-02-08 JP JP2012025428A patent/JP2013162488A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5967432B2 (ja) | 処理装置、処理方法、及び、プログラム | |
US10129479B2 (en) | Photographing apparatus and photographing method with optical low-pass filter effect | |
JP5593990B2 (ja) | 撮像システムおよび画素信号読出し方法 | |
US9912867B2 (en) | Image processing apparatus, image capturing apparatus and storage medium storing image processing apparatus | |
JP6154081B2 (ja) | 撮影装置、撮影装置本体、及びレンズ鏡筒 | |
JP2008289032A (ja) | 撮像装置 | |
US9451149B2 (en) | Processing apparatus, processing method, and program | |
JP2016143022A (ja) | 撮像装置及び撮像方法 | |
US10659692B2 (en) | Image blur correction device, imaging apparatus, control method of imaging apparatus and non-transitory storage medium | |
JP5610106B1 (ja) | 撮像装置の異物情報検出装置および異物情報検出方法 | |
WO2013094551A1 (ja) | 撮像装置、その制御方法およびプログラム | |
JP6350538B2 (ja) | 撮影装置及びその制御方法 | |
US11218637B2 (en) | Image capture apparatus and control method having image stabilization which reduces peripheral light variation | |
JP2006267220A (ja) | オートフォーカスシステム | |
KR20160104236A (ko) | 자동 초점 조절 촬상 장치 및 이를 포함하는 단말기와 그 장치를 이용한 자동 초점 조절 방법 | |
US9264603B2 (en) | Imaging apparatus and imaging method | |
JP5233554B2 (ja) | 撮像装置及びプログラム | |
JP2011002690A (ja) | 撮像装置、合焦方法及びプログラム | |
JP2013162488A (ja) | 画像のゴミ検出を行うゴミ検出装置、カメラ、プログラム、記録媒体 | |
JP2016218106A (ja) | 撮像装置 | |
JP2011242796A (ja) | 撮像装置、合焦方法及びプログラム | |
JP5561392B2 (ja) | 撮像装置、合焦方法及びプログラム | |
JP2016082279A (ja) | 撮影装置、撮影方法及びプログラム | |
KR20110090092A (ko) | 상흐림 판단 장치 및 방법 | |
JP2018005130A (ja) | 交換レンズ |