JP4453734B2 - 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置 - Google Patents

Description

本発明は画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置に関し、特に、画像のぼけ具合に応じた復元フィルタを用いて、入力された画像のぼけを補正する画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置に関する。

撮像装置では、ピントがぼけたり甘かったりする、いわゆるピンぼけ写真が撮影されることがしばしばある。このようなピンぼけ写真は、パーソナルコンピュータなどに搭載される専用のフォトレタッチソフトを使えば、ピンぼけを含むぼけを補正し、良好な画像に変換させることができる。

従来のフォトレタッチソフトを用いた補正作業では、まず、対象の画像をパーソナルコンピュータに読み込ませる。撮像装置がデジタルカメラであれば、そのまま画像データをパーソナルコンピュータに転送することができる。次に、ユーザは、画像補正用の各種パラメータを設定し、設定された各種パラメータで構成される補正用フィルタを対象の画像に適用させる。フォトレタッチソフトは、設定された各種パラメータに基づいて補正用フィルタを生成し、対象の画像に適用して補正画像を生成した後、画像表示装置などに表示させる。ユーザは、画像表示装置に表示された画像を確認しながら、所望の画像が得られるまでトライアンドエラーを繰り返し、パラメータを調整する。なお、対象の画像は、撮像装置で撮影されたもののほか、画像読取装置で読み取った画像や、ネットワーク経由で取得された画像などでもよい。また、パーソナルコンピュータばかりでなく、スキャナなどの画像読取装置や写真用のプリンタなどでも、ぼけ補正機能を有する機種が増えつつある。

さらに、ソフトウェアによる補正処理ばかりでなく、写真処理装置に補正回路を設け、ぼけ補正などの特殊補正をハードウェアにより行うことも提案されている（たとえば、特許文献１参照）。
特開２００１−３６７３７号公報（図２）

しかし、従来のフォトレタッチソフトなどを用いた補正処理は、一般のユーザにとって使い勝手のよいものではないという問題点があった。
デジタルカメラは、一般に、本体に撮影した映像を表示する表示機能を備えており、撮影したその場で画像を確認できる。しかし、フォトレタッチソフトを用いた補正作業は、パーソナルコンピュータなどに画像を取り込んでからでないと実行できないため、作業が煩雑であり、かつ、撮影した画像をその場で補正することはできなかった。特に、撮影などのために外出している場合は、家に戻るまでぼけ補正を行うことができず、不便であった。

また、補正に用いられる各種パラメータは、ユーザ自身が調整しなければならない。しかし、パラメータの調整作業は、一般のユーザにとっては非常に難しく、所望の画像が得られるまでに時間がかかったり、所望の映像が得られないこともあった。

本発明はこのような点に鑑みてなされたものであり、ユーザに特別な負担をかけることなく、簡便に画像のぼけを補正することが可能な画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置を提供することを目的とする。

本発明では上記課題を解決するために、対象画像のぼけ具合を判定するぼけ具合判定手段と、判定結果に基づいて対象画像のぼけを補正するぼけ補正手段と、を有し、画像のぼけ具合に応じた復元フィルタを用いて、入力された画像のぼけを補正する画像処理装置が提供される。

ぼけ具合判定手段は、補正の対象画像を入力し、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタを、ぼけ度パラメータの値を変化させて対象画像に適用する。そして、対象画像の各要素におけるエッジの強さと、ぼけ度パラメータの異なる複数の復元フィルタによって補正された補正後の対象画像の各画素におけるエッジの強さと、に基づいて補正後の対象画像のエッジ量を算出し、算出したエッジ量が最も大きく変化する復元フィルタを検出し、検出した復元フィルタのぼけ度パラメータの値によって、対象画像のぼけ具合を判定する。ぼけ補正手段は、判定された対象画像のぼけ具合に応じたぼけ度パラメータに基づいて対象画像用の復元フィルタを設定する。そして、対象画像用の復元フィルタを用いて対象画像のぼけを補正する。

このような画像処理装置によれば、ぼけ具合判定手段は、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタを、ぼけ度パラメータの値を変化させて対象画像に適用する。そして、補正前の対象画像の各要素におけるエッジの強さと、それぞれの復元フィルタによって補正された対象画像の各要素におけるエッジの強さと、に基づいて補正後の対象画像のエッジ量を算出する。算出したエッジ量が最も大きく変化する復元フィルタを検出し、検出した復元フィルタのぼけ度パラメータの値によって対象画像のぼけ具合を判定する。検出した復元フィルタは、そのぼけ度パラメータが、対象画像のぼけ具合に最も近似していると考えられる。そして、判定結果に基づき、ぼけ補正手段は、このぼけ度パラメータに基づく復元フィルタを設定し、対象画像のぼけ補正を行う。

また、上記課題を解決するために、画像のぼけ具合に応じた復元フィルタを用いて、入力された画像のぼけを補正する画像処理方法において、ぼけ具合判定手段が、補正の対象画像を入力し、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタをぼけ度パラメータの値を変化させて対象画像に適用し、対象画像の各要素におけるエッジの強さと、ぼけ度パラメータの値の異なるそれぞれの復元フィルタによって補正された補正後の対象画像の各画素におけるエッジの強さと、に基づいて補正後の対象画像のエッジ量を算出し、算出したエッジ量が最も大きく変化する復元フィルタを検出し、検出した復元フィルタのぼけ度パラメータの値によって対象画像のぼけ具合を判定する手順と、ぼけ補正手段が、判定された対象画像のぼけ具合に応じたぼけ度パラメータに基づいて対象画像用の復元フィルタを設定し、対象画像用の復元フィルタを用いて対象画像のぼけを補正する手順と、を有することを特徴とする画像処理方法、が提供される。

このような画像処理方法によれば、補正対象の画像に対し、ぼけ具合判定手段は、復元フィルタのぼけ度パラメータの値を変化させて対象画像に適用し、それぞれの補正画像のエッジ量に応じて対象画像のぼけ具合を判定する。そして、ぼけ補正手段が、判定された対象画像のぼけ具合に基づいて復元フィルタを生成し、対象画像のぼけを補正する。

また、上記課題を解決するために、撮像した画像に対し、所定のフィルタを用いた加工処理を行う撮像装置において、補正の対象画像が選択されると、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタをぼけ度パラメータの値を変化させて対象画像に適用し、対象画像の各要素におけるエッジの強さと、ぼけ度パラメータの値の異なるそれぞれの復元フィルタによって補正された補正後の対象画像の各要素におけるエッジの強さと、に基づいて補正後の対象画像のエッジ量を算出し、算出したエッジ量が最も大きく変化する復元フィルタを検出し、検出した復元フィルタのぼけ度パラメータの値によって対象画像のぼけ具合を判定するぼけ具合判定手段と、判定された対象画像のぼけ具合に応じたぼけ度パラメータに基づいて対象画像用の復元フィルタを設定し、対象画像用の復元フィルタを用いて対象画像のぼけを補正するぼけ補正手段と、を有することを特徴とする撮像装置、が提供される。

このような撮像装置によれば、選択された対象画像に対してぼけ度パラメータを変化させて生成された復元フィルタが適用され、その補正画像のエッジ量に応じて対象画像のぼけ具合が判定される。そして、判定結果に基づいて対象画像用の復元フィルタが生成され、これを用いて対象画像のぼけが補正される。

本発明では、補正対象の画像が指定されると、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタが、ぼけ度パラメータを変化させながら対象画像に適用され、最も適したぼけ度パラメータが選択される。そして、選択されたぼけ度パラメータを用いた復元フィルタによって対象画像のぼけを補正する。このように、自動的に対象の画像のぼけ具合が判定され、適切な復元フィルタを用いて補正が行われるので、ユーザは、パラメータの調整などの煩わしい操作の必要がなくなり、対象画像を指定するという簡単な操作でぼけ補正が可能となる。

以下、本発明の実施の形態を図面を参照して説明する。
図１は、実施の形態に適用される発明の概念図である。本発明にかかる画像処理装置１は、補正対象の画像を選択する画像選択手段１ａ、対象画像のぼけ具合を判定するぼけ具合判定手段１ｂ、対象画像のぼけを補正するぼけ補正手段１ｃ、及び補正が施された画像を保存する画像保存手段１ｄを有し、画像を表示する画像表示装置２、及び画像データを記録する画像記録装置３が接続されている。なお、画像処理装置１、画像表示装置２、及び画像記録装置３は、個別の装置である必要はなく、１台の装置を構成する各処理部であってもよい。

画像選択手段１ａは、図示しない操作入力部を介して入力されるユーザの指示入力に基づいて、あるいは、所定の基準を満たす画像を自動で選択するなどして、補正対象の画像を決定する。このとき、必要に応じて、補正対象の画像の画像データを読み出し、画像表示装置２に表示させる。

ぼけ具合判定手段１ｂは、画像選択手段１ａによって補正処理に選択された画像の縮小画像、もしくは一部の領域から、その画像のぼけ具合を判定する。なお、対象画像全体からぼけ具合を判定するとしてもよい。このため、所定の点拡がり関数を用いて、画像のぼけを補正する復元フィルタを生成する。点拡がり関数は、点光源入力に対する画像から画像への変換の出力であり、鮮明な入力をぼけた出力に変換するぼけのモデルとして一般に用いられる。画像のぼけのモデルである点拡がり関数には、ぼけの具合に対応するパラメータが含まれており、以下このパラメータをぼけ度パラメータと呼ぶ。拡がり関数には他に、線拡がり関数や縁拡がり関数などがあり、点拡がり関数と同様に画像のぼけのモデルとして用いることができる。画像のぼけを補正し、ぼけのない画像に近い状態に画像を復元する復元フィルタは、このような点拡がり関数に基づいて生成される。復元フィルタの詳細は後述するが、ぼけをモデル化した点拡がり関数に基づいて生成されるので、パラメータにぼけの具合に対応付けられるぼけ度パラメータが含まれる。また、直接対象画像に適用することが可能な空間フィルタとして生成される。ぼけ具合判定手段１ｂでは、ぼけ度パラメータの値を変化させた復元フィルタを対象画像に適用し、対象画像の復元度を評価する。復元度は、復元フィルタによってぼけた画像がどの程度復元され、シャープな画像となったかを定量的に捉えたものである。各復元フィルタの復元度を比較することにより、対象画像に最適な復元フィルタを選択することができる。そして、高い評価が得られた復元フィルタに設定されるぼけ度パラメータによって対象画像のぼけ具合を判定する。すなわち、評価が高い復元フィルタは、含まれるぼけ度パラメータが、対象画像のぼけ具合に近似していることを示しているので、最適な復元フィルタがわかれば、対象画像のぼけ具合もわかる。ぼけ具合の判定結果は、ぼけ補正手段１ｃへ通知される。なお、通知される判定結果は、選択された復元フィルタに含まれるぼけ度パラメータの値であってもよい。

ぼけ補正手段１ｃは、通知されたぼけ度パラメータの値、あるいは、通知されたぼけ具合に対応するぼけ度パラメータの値を用いて復元フィルタを設定する。復元フィルタは、対象画像全体に適用される空間フィルタとして生成される。復元フィルタが対象画像に適用されると、対象画像と復元フィルタとの畳み込み積分演算が行われ、適切にぼけが補正された補正画像が得られる。

画像保存手段１ｄは、記録の指示が入力されると、ぼけ補正手段１ｃによってぼけ補正が施された補正画像を画像記録装置３に保存する。なお、画像記録装置３への記録は、ぼけ補正後に自動的に行われてもよい。

画像記録装置３は、補正前の画像の画像データ、あるいは、補正手段１ｃが補正を行った補正画像の画像データを記憶する記憶手段である。
このような画像処理装置１の動作及び画像処理方法について説明する。ユーザが操作を行って補正の対象画像を選択するなどして、対象画像の選択指示が画像処理装置１に入力される。選択指示が入力されると、画像選択手段１ａは、必要であれば画像表示装置２に選択された画像を表示し、ぼけ具合判定手段１ｂに対象画像を通知する。ぼけ具合判定手段１ｂは、画像のぼけをモデル化した点拡がり関数に基づいて所定の復元フィルタを生成する。こうして生成された復元フィルタには、ぼけ具合に対応するぼけ度パラメータが含まれている。そこで、復元フィルタに含まれるぼけ度パラメータを変化させ、ぼけ度パラメータの値が異なる複数の復元フィルタを生成し、これを用いて対象画像全体あるいは一部領域、もしくはそれらを縮小した画像に適用して、ぼけの補正を行う。そして、補正された対象画像の復元度を評価し、評価の高い復元フィルタのぼけ度パラメータによって対象画像のぼけ具合を判定する。判定結果は、ぼけ補正手段１ｃに通知される。ぼけ補正手段１ｃは、対象画像に決定されたぼけ度パラメータに基づいて、対象画像全体に適用する復元フィルタを生成する。このとき復元フィルタは、対象画像の画像データと直接演算可能な空間フィルタとして生成される。生成された復元フィルタを対象画像に適用してぼけ補正を行い、補正画像を得る。生成された補正画像は、画像表示装置２に表示させるようにしてもよい。記録指示が入力されると、画像保存手段１ｄは、補正画像を画像記録装置３へ記録する。

以上のように、画像処理装置１では、対象の画像が指示されたときは、ぼけをモデル化した点拡がり関数に基づく復元フィルタのぼけ度パラメータを変化させて対象画像に適用し、その復元度から対象画像のぼけ具合が判定される。そして、判定されたぼけ具合に最も適した復元フィルタが決定され、この復元フィルタを用いて対象画像のぼけが補正される。したがって、ユーザは、煩わしいパラメータの調整を行う必要がなく、補正の対象の画像を指定して補正指示を行うだけでよい。これにより、ユーザの負担を軽減し、利便性を高めることが可能となる。

なお、上記の説明では、ユーザがぼけ補正を行う画像を任意に選択するとしたが、ぼけ補正要否の判断の参照のための情報をユーザに提供することもできる。たとえば、予めぼけ具合判定手段１ｂで撮影された画像のぼけ具合を算出しておき、画像表示装置２に画像が表示されるとき、事前に算出された当該画像のぼけ具合も表示させる。また、算出されたぼけ具合が所定の基準を超える画像を検出し、これをユーザに通知させることもできる。これにより、ユーザは、客観的に画像のぼけ補正の要否を判断することができる。

ここで、復元フィルタについて説明する。ぼけを伴う劣化画像を復元するために適用される復元フィルタとして、ウィーナフィルタ（Wiener filter）、一般逆フィルタ、照射フィルタなどが知られている。ここでは、復元フィルタとしてウィーナフィルタを用いることとする。

対象画像であるぼけを含む観測画像をｇ（ｘ，ｙ）、ぼけの含まれない理想画像をｆ（ｘ，ｙ）、ぼけをモデル化した点拡がり関数をｈ（ｘ，ｙ）、及びノイズをｎ（ｘ，ｙ）とすると、これらの関係は、

と表すことができる。ｘ，ｙは、画像の２次元座標上の位置を表す。式（１）の両辺をフーリエ変換して畳み込み定理を使うと、
Ｇ（ｕ，ｖ）＝ Ｆ（ｕ，ｖ）Ｈ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） ・・・（２）
となる。Ｇ（ｕ，ｖ）は観測画像ｇ（ｘ，ｙ）をフーリエ変換した結果である。同様に、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）、Ｎ（ｕ，ｖ）はｎ（ｘ，ｙ）をフーリエ変換した結果である。ここで、Ｈ（ｕ，ｖ）は、理想画像ｆ（ｘ，ｙ）を劣化した観測画像ｇ（ｘ，ｙ）に変換する伝達関数である。さらに、Ｈ（ｕ，ｖ）で両辺を割ると、

が得られる。ここで、復元画像をｆ＾（ｘ，ｙ）とし、復元画像ｆ＾（ｘ，ｙ）と理想画像ｆ（ｘ，ｙ）の誤差を最小にするような復元フィルタ１／Ｈｗ（ｕ，ｖ）を考えると、

が得られる。ここで、Γは、信号と雑音のエネルギー密度比であり、適当な定数で近似される。なお、上記の復元フィルタについては、たとえば、「長尾 真 監修； ディジタル画像処理、７．３ 最小２乗フィルタ、ｐ．２２２〜、 近代科学社」に詳細が示されている。

このような復元フィルタを用いてぼけ画像を復元する場合には、復元フィルタが式（４）にあるようにフーリエ変換された周波数領域のフィルタであることから、観測画像ｇ（ｘ，ｙ）もフーリエ変換して周波数領域に変換し、式（４）の復元フィルタを適用する。具体的には、以下の手順が行われる。

第１に、観測画像ｇ（ｘ，ｙ）を、フーリエ変換し、Ｇ（ｕ，ｖ）を算出する。
ｇ（ｘ，ｙ） → Ｇ（ｕ，ｖ） ・・・（５）
これは、式（４）に示した復元フィルタを用いた補正演算を容易にするための前処理である。

第２に、点拡がり関数ｈ（ｘ，ｙ）を、フーリエ変換し、Ｈ（ｘ，ｙ）を算出する。さらに、式（４）を用いて、Ｈ（ｕ，ｖ）から復元フィルタ１／Ｈｗ（ｕ，ｖ）を生成する。なお、Γは、画像に合わせて適宜設定される。

ｈ（ｘ，ｙ） → １／Ｈｗ（ｕ，ｖ） ・・・（６）
第３に、フーリエ変換された観測画像Ｇ（ｘ，ｙ）と、復元フィルタ１／Ｈｗ（ｕ，ｖ）とを乗算し、Ｆ＾（ｕ，ｖ）を得る。

Ｆ＾（ｕ，ｖ）＝（１／Ｈｗ（ｕ，ｖ））×Ｇ（ｕ，ｖ） ・・・（７）
これを逆フーリエ変換することにより、復元画像ｆ＾（ｘ，ｙ）を得る。
Ｆ＾（ｕ，ｖ） → ｆ＾（ｘ，ｙ） ・・・（８）
以上の処理手順が実行されることにより、観測画像ｇ（ｘ，ｙ）のぼけを補正し、理想画素との誤差を最小とする復元画像ｆ＾（ｘ，ｙ）が得られる。

しかし、このような処理手順を実行しようとすると、観測画像のフーリエ変換と、逆フーリエ変換に要する時間が多大となるという問題が生じる。デジタルカメラの有効画素数は増加する一方であり、今や画素数が１０メガ画素（３６４８×２７３６）を超えるものもある。さらに、画像は２次元データであるため、観測画像や復元画像についてフーリエ変換／逆フーリエ変換を行うときには、巨大なメモリが必要となる。パーソナルコンピュータ、あるいは据え置き型のスキャナやプリンタなどの画像処理装置であれば、高性能のプロセッサと、十分なメモリとを用意することも可能であろう。しかし、デジタルカメラなどの小型機器に搭載することは難しい。そこで、本願発明者は、データ量の大きい観測画像や復元画像に対し、フーリエ変換及び復元画像逆フーリエ変換を行わずに、実行可能なぼけの補正処理手順を見出した。以下、処理手順を説明する。

ここで、復元フィルタ１／Ｈｗ（ｕ，ｖ）を逆フーリエ変換して空間領域にしたものをｈｗ（ｘ，ｙ）とする。そして、式（７）を逆フーリエ変換すると、

となる。なお、逆フーリエ変換されると虚部はゼロになり、実部のみになる。式（９）は、畳み込み積分の形をしているので、畳み込み積分記号＊を用いて表現すると、
ｆ＾（ｘ，ｙ）＝ ｇ（ｘ，ｙ）＊ ｈｗ（ｘ，ｙ） ・・・（１０）
と表すことができる。これは、通常の空間フィルタとまったく同じ形であり、空間フィルタ処理と同様の手順で復元処理を行うことができることになる。以下、このように空間フィルタ化された復元フィルタを用いたぼけ補正（画像復元）処理について説明する。

図２は、空間フィルタ化された復元フィルタを用いた画像復元処理の手順を示した図である。
［ステップＳ０１］ 画像のぼけのモデルの点拡がり関数ｈ（ｘ，ｙ）をフーリエ変換し、復元フィルタ１／Ｈｗ（ｕ，ｖ）を求める。復元フィルタの生成は、上述のように、点拡がり関数ｈ（ｘ，ｙ）をフーリエ変換したＨ（ｕ，ｖ）を、式（４）に用いて生成する。Γは、適宜設定される。この復元フィルタ１／Ｈｗ（ｕ，ｖ）は、周波数領域の復元フィルタである。

［ステップＳ０２］ ステップＳ０１で生成された復元フィルタ１／Ｈｗ（ｕ，ｖ）を逆フーリエ変換し、空間フィルタ化する。変換された空間領域の復元フィルタをｈｗ（ｘ，ｙ）とする。

［ステップＳ０３］ 観測画像ｇ（ｘ，ｙ）に、空間領域の復元フィルタｈｗ（ｘ，ｙ）を適用して復元画像ｆ＾（ｘ，ｙ）を得る。このときに実行される演算は、式（９）に示したように、単なる畳み込み積分である。したがって、定数係数の積和演算の繰り返しとして演算処理することができる。このため、観測画像のフーリエ変換、及び補正画像の逆フーリエ変換の演算と比べて演算に要する負荷が軽い。

以上の処理手順を実行することにより、点拡がり関数ｈ（ｘ，ｙ）に基づいて空間フィルタ化された復元フィルタｈｗ（ｘ，ｙ）が生成され、観測画像ｇ（ｘ，ｙ）に対してぼけ補正を行った復元画像ｆ＾（ｘ，ｙ）を得ることができる。このとき、観測画像ｇ（ｘ，ｙ）を周波数領域に変換するフーリエ変換、及び周波数領域で補正が施された復元画像を空間領域の復元画像ｆ＾（ｘ，ｙ）に変換する逆フーリエ変換は行われない。すなわち、観測画像ｇ（ｘ，ｙ）のぼけ補正は、空間フィルタ化された復元フィルタを用いて、通常の空間フィルタと同様の処理手順で実行される。

なお、ステップＳ０１の復元フィルタの生成にはフーリエ変換、ステップＳ０２の空間フィルタへの変換では逆フーリエ変換を行うが、復元フィルタは、観測画像のサイズと比較してはるかに小さく設定される。したがって、フーリエ変換及び逆フーリエ変換に要する負担も軽微である。

また、上記の説明では、復元フィルタ生成（ステップＳ０１）と、空間フィルタへの変換（ステップＳ０２）と、を毎回行うとしているが、事前に適当な複数の点拡がり関数ｈ（ｘ，ｙ）に対する空間領域の復元フィルタｈｗ（ｘ，ｙ）を求めておくこともできる。

以下、実施の形態を、上記のぼけ補正処理を撮像装置に適用した場合を例に図面を参照して詳細に説明する。対象の撮像装置は、撮影した画像に対し、所定のフィルタを用いた加工処理を施すことが可能なデジタルカメラなどである。図３は、本発明の実施の形態の撮像装置の構成図である。

撮像装置は、撮像された画像の処理を行う画像処理部１００に、被写体の光学的な像を捉えるレンズ＆イメージャー２０１、画像を表示する画像表示装置２０２、及び画像データとその関連情報を記録する記録メディア２０３とが接続する。

画像処理部１００は、全体を制御する制御用ＣＰＵ（Central Processing Unit）１０１が、データバス１０２を介して、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４、カメラ信号処理エンジン１０５、ぼけ具合判定エンジン１０６、ぼけ補正エンジン１０７、画像表示用エンジン１０８、及び外部メディアコントローラ１０９に接続されている。なお、エンジンは、所定の問題を解決するための専用ツールの総称で、ハードウェアまたはソフトウェア、あるいはその組み合わせで構成される。

ＲＡＭ１０３には、制御用ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０３には、制御用ＣＰＵ１０１による処理に必要な各種データが格納される。ＲＯＭ１０４には、ＯＳやアプリケーションのプログラムが格納される。カメラ信号処理エンジン１０５は、レンズ＆イメージャー２０１が取り込んだカメラ信号を入力し、信号処理を施して画像データを生成する。ぼけ具合判定エンジン１０６は、制御用ＣＰＵ１０１に従って、ぼけ度を変化させて対象画像に合った復元フィルタを選択することによって、補正対象の画像のぼけ具合を判定する。ぼけ補正エンジン１０７は、ぼけ具合判定エンジン１０６が判定した画像のぼけ具合に基づいて復元フィルタを生成し、補正対象の画像を補正する。画像表示用エンジン１０８には、画像表示装置２０２が接続されており、制御用ＣＰＵ１０１からの命令に従って画像を画像表示装置２０２の画面に表示させる。外部メディアコントローラ１０９は、制御用ＣＰＵ１０１などの命令に従って記録メディア２０３からデータを読み出してデータバス１０２を介して送信するとともに、指示されたデータを記録メディア２０３へ書き込む。

レンズ＆イメージャー２０１は、カメラ信号を生成する撮像部で、映像光を撮像装置内に取り込むレンズと、撮像素子から成るイメージャーとを有する。被写体（図示せず）からの映像光は、レンズを介して入力され、イメージャーの撮像面に照射される。イメージャーが捉えたカメラ信号は、カメラ信号処理エンジン１０５へ転送される。画像表示装置２０２は、指示された画像を画面に表示する。記録メディア２０３は、撮影された画像データ及び関連情報を記録する記録媒体である。

このような構成の撮像装置によって実行されるぼけ補正処理について説明する。
まず、以下に説明するぼけ補正処理で用いる点拡がり関数及び復元フィルタについて説明する。実施の形態では、ぼけ現象を表す点拡がり関数を２次元ガウス分布と仮定する。２次元ガウス分布は、正規分布であり、

と表される関数である。ここで、σは、ぼけの強さの分布の広さを表すぼけ度パラメータである。以下、ぼけ度パラメータを、ぼけ度σとする。式（１１）から明らかなように、ぼけの強さは、ぼけ度σのみをパラメータとして表現される。ぼけ度σの値が大きいほど、輪郭がぼやけたぼけの強い画像になる。なお、点拡がり関数としては、他に、円柱状分布（本来１点に撮像されるはずの光が、ある半径ｒの円柱状に均等に広がるモデル）などを用いることができる。

撮像装置で用いる復元フィルタは、式（１１）で表される２次元ガウス関数をフーリエ変換し、式（４）を用いて周波数領域の復元フィルタ（ウィーナフィルタ）を生成し、さらに、逆フーリエ変換を行って空間領域の復元フィルタに変換する。

具体的には、式（１１）によって表される２次元ガウス分布と仮定された点拡がり関数に２次元離散フーリエ変換を実行して、伝達関数Ｈ（ｕ，ｖ）を生成する。

ここで、Ｍ，Ｎは、フィルタの大きさを表す。ここで、式（１２）によって表される伝達関数Ｈ（ｕ，ｖ）を、式（４）に適用し、周波数領域でウィーナフィルタ化する。さらに、２次元離散逆フーリエ変換を行い、空間領域の復元フィルタに変換する。これにより、空間フィルタ化された復元フィルタ、

を得る。一例を挙げて説明する。
図４は、あるぼけ度σで生成された復元フィルタの一例である。（Ａ）は、ぼけ度σ＝０．４のガウス分布の±３σまでを包括したガウシアンフィルタｈ（ｘ，ｙ）を記述したものである。（Ｂ）は、同様に、σ＝０．５のガウシアンフィルタｈ（ｘ，ｙ）を表したものである。

そして、（Ｃ）は、式（１３）によって得られるσ＝０．５の場合の復元フィルタｈｗ（ｘ，ｙ）である。この例では、Ｍ＝Ｎ＝７としている。
このようにして作成された復元フィルタを直接観測画像に適用することにより、ぼけが補正された補正画像が得られる。このとき行われる演算は、定数係数の積和演算の繰り返しであり、撮像装置で一般的に行われる空間フィルタの演算と同様である。

以下、実施の形態の撮像装置が、上記の復元フィルタを用いてぼけ補正処理方法について説明する。
図５は、撮像装置におけるぼけ補正処理の一例の手順を示した図である。

［ステップＳ１１］ ぼけ補正処理が開始されると、輝度成分抽出処理が行われる。輝度成分抽出処理では、補正対象に指定された対象画像の原画像データ（ｎ画素；ｎは任意の整数）を読み出し、その輝度成分を抽出する。以下、輝度成分を抽出した画像をＹ画像と呼ぶ。Ｙ画像は、原画像から輝度成分を抽出しただけのデータであるので、サイズはｎ画素のままである。

［ステップＳ１２］ Ｙ画像に対し、ぼけ度同定用の画像抽出処理が行われる。ぼけ度同定用の画像抽出処理では、Ｙ画像を縮小あるいは一部領域を切り取って、サイズを小さくする。ぼけ度の同定処理では、原画像のぼけを補正することが目的ではないので、全画像領域を必ずしも対象としなくてもよい。そこで、ぼけ度が同定できる程度の画像領域を抽出する。抽出された画像をミニ原画像と呼ぶ。この例では、ミニ原画像のサイズは、３２０×２４０である。これにより、ぼけ度の同定処理に要する時間を短縮することができる。

［ステップＳ１３］ ステップＳ１２で作成されたぼけ度同定用のミニ原画像を用いて、ぼけ度の同定処理が行われる。ぼけ度の同定処理では、式（１３）によって表される空間領域の復元フィルタに含まれるぼけ度σを変化させて、ミニ原画像（３２０×２４０画素）に対応する復元フィルタを生成する。なお、生成する復元フィルタは、ミニ原画像のサイズに合わせて小さくする。そして、生成された復元フィルタをミニ原画像に適用し、得られた補正画像を評価して適切なぼけ度σを決定する。以下、作成される複数の復元フィルタに設定されるぼけ度σを、ぼけ度σ_iとする。ｉは、設定されるそれぞれのパラメータの値に対応付けられる１からすべてのパラメータ数に対応する整数である。また、補正画像の評価によって決定された最適なぼけ度σを、特にぼけ度σ₀とする。

［ステップＳ１４］ 同定されたぼけ度σ₀を用いて、復元フィルタ生成処理が行われる。復元フィルタ生成処理では、原画像（ｎ画素）のぼけ補正に用いる復元フィルタ（以下、復元フィルタσ₀とする）、を生成する。

［ステップＳ１５］ ステップＳ１４で生成された復元フィルタσ₀を用いて、ぼけ補正処理が行われる。ぼけ補正処理では、Ｙ画像（ｎ画素）に対し復元フィルタσ₀を適用し、輝度成分のみのぼけ補正を行い、補正Ｙ画像（ｎ画素）を生成する。これは、人間の目は輝度に敏感であることと、色成分を補正すると本来の色と異なる偽色が生じる可能性があることによる。また、色チャンネルの補正を省くことで、計算量を削減できるという効果もある。

［ステップＳ１６］ 補正Ｙ画像（ｎ画素）を用いて、画像合成処理が行われる。画像合成処理では、復元フィルタσ₀を用いてぼけ補正が施された輝度成分のみの補正Ｙ画像と、原画像の色成分とを合成して補正画像を生成する。

以上の処理手順が実行されることにより、指定された原画像について、自動的にぼけ度が判定され、判定結果に基づいて最適な復元フィルタによるぼけ補正が行われる。
続いて、処理の詳細を、同定用画像生成処理、ぼけ度の同定処理、及びぼけ補正処理の順に説明する。

（ａ）同定用画像生成処理
補正対象に指定された原画像から、ぼけ度の同定処理に用いるミニ原画像を作成するまでの処理を行う。図６は、同定用画像生成処理の手順を示したフローチャートである。

［ステップＳ１１１］ 原画像（ｎ画素）３０１を読み込み、輝度成分を抽出して、Ｙ画像（ｎ画素）３０２を生成する。原画像３０１は、補正の対象の画像であり、ぼけ現象が発生している。この時点では、原画像３０１のぼけ度σは未知である。

［ステップＳ１１２］ ステップＳ１１１で生成されたＹ画像（ｎ画素）３０２をＶＧＡ（Video Graphics Array）サイズ（６４０×４８０）に変換する。生成されたＶＧＡ画像（６４０×４８０）３０３は、原画像（ｎ画素）３０１の縮小画像になる。なお、ＶＧＡ画像への変換は、撮像装置が通常備える機能であり、ここでは詳細について言及しない。

［ステップＳ１１３］ ステップＳ１１２で生成された原画像３０１のＶＧＡ画像（６４０×４８０）３０３の中心部をトリミングしてミニ原画像（３２０×２４０）３０４を生成する。なお、サイズは一例であり、これに限定されない。中心部を抽出するのは、中心部には画像の主要部分が含まれることが多いからである。抽出する領域は、画像や撮影時に生成される付加情報などに基づいて抽出部を調整してもよいし、必要であれば、ミニ原画像の抽出範囲をユーザが設定できるようにしてもよい。このように画像の主要部を抽出することによって、ぼけの同定用の画像サイズをさらに小さくする。

以上の処理手順が実行されることにより、サイズの大きな原画像（たとえば、１０メガ画素）を縮小し、一部領域を抽出してミニ原画像（３２０×２４０）が生成される。縮小または一部領域の抽出の一方のみが実行されるとしてもよい。以降の処理においてミニ原画像を用いて同定処理を行うことによって、対象画像全体で同定処理を行う場合と比較して、同定処理に要する時間を短縮することができる。

（ｂ）ぼけ度の同定処理
ミニ原画像にぼけ度σ_iの異なる復元フィルタσ_iを適用し、補正された画像の復元度を評価して対象画像に適合するぼけ度σ₀を同定する処理を行う。ここでは、画像の復元度の評価方法として、エッジ量を用いる。図７は、ぼけ度の同定処理の手順を示したフローチャートである。

［ステップＳ１３１］ 入力されたミニ原画像３０４のエッジを抽出する。エッジは、画像の１つの領域が終わり他の領域が始まっていることを示すような場所であり、輝度が急激に変化している場所を言う。たとえば、Ｒｏｂｅｒｔｓオペレータによるエッジ抽出フィルタを用いて対象のミニ原画像３０４における各画素のエッジの強さを抽出する。抽出された各画素におけるエッジの強さをＷ（ｘ，ｙ）とする。エッジの強さＷ（ｘ，ｙ）は、一時記憶手段に保存しておく。

［ステップＳ１３２］ 続くステップＳ１３３からステップＳ１３６において、ぼけ度パラメータの値を変化させて繰り返し処理を行わせるため、ぼけ度パラメータを特定するポインタを初期化（ｉ＝１）する。これにより、ぼけ度σ_iは、ぼけ度σ₁に初期化される。

［ステップＳ１３３］ ぼけ度σ_iを用いて同定用復元フィルタを生成する。上記のように、ぼけ度σ_iのガウシアンフィルタを２次元離散フーリエ変換し、周波数領域でウィーナフィルタ化した後、２次元離散逆フーリエ変換を行って、空間領域の同定用復元フィルタに変換する。このとき、同定用復元フィルタのサイズ（Ｍ，Ｎ）は、対象となるミニ原画像の大きさに合わせ、小さくする。たとえば、５×５、あるいは７×７程度の大きさにする。このときに生成された同定用復元フィルタを、含まれるぼけ度σ_iに合わせて同定用復元フィルタσ_iとする。

［ステップＳ１３４］ ステップＳ１３３で生成された同定用復元フィルタσ_iをミニ原画像３０４に適用して、ミニ原画像３０４のぼけを補正する。
［ステップＳ１３５］ 同定用復元フィルタσ_iによって補正された補正ミニ原画像３０５の各画素のエッジの強さを算出する。算出は、ステップＳ１３１と同様の方法で行う。算出されたエッジをＤ_i（ｘ，ｙ）とする。そして、算出された補正画像のエッジＤ_i（ｘ，ｙ）と、ステップＳ１３１で算出された原画像のエッジＷ（ｘ，ｙ）とを用いて、エッジ量を算出する。エッジ量Ｅ（ｉ）は、

によって算出される。エッジ量Ｅ（ｉ）は、エッジの部分がどれほど鋭利であるかを表す量である。一般に、ぼけ画像では、輝度変化の鋭いエッジ部がぼけ現象によってなだらかな輝度変化となっている。このため、ぼけが適切に補正されていれば、原画像のエッジ部がより強いエッジになる。算出されたエッジ量Ｅ（ｉ）は、一時記憶手段に保存しておく。

［ステップＳ１３６］ すべてのぼけ度σ_iの復元フィルタについて処理が終了し、エッジ量が算出されたかどうかを判定する。終了していないときは、ポインタを１進め、ステップＳ１３３に戻って処理を繰り返す。終了したときは、次ステップへ処理を進める。

［ステップＳ１３７］ すべてのぼけ度σ_iについてエッジ量Ｅ（ｉ）が算出されたので、これを評価し、ミニ原画像３０４に適したぼけ度σ₀を同定する。
図８は、ぼけ度σ_iとエッジ量との関係を示した図である。図の横軸は、ぼけ度σ_i、縦軸はエッジ量Ｅ（ｉ）を示している。なお、エッジ量は、原画像のエッジ量を１としている。

エッジ量Ｅ（ｉ）４０１は、エッジ部分がどの程度シャープであるかを表す量であり、ぼけ度σが小さいときは、原画像のエッジ量と変わらないが、大きくなるに従って増大していく。図は一例であるが、どのような画像でも傾向は同様である。このように、エッジ量が少ないときは、その画像はまだまだぼけている。しかし、過度にエッジが鋭いと、リンギングノイズとなり適当でない。最も適切なぼけ度σ₀は、エッジ量が最大に変化している近傍になる。すなわち、エッジ量Ｅ（ｉ）４０１を１次微分したΔＥ（ｉ）４０２が最大となるぼけ度σ_iが最適なぼけ度σ₀になる。

以上の処理が実行されることにより、ミニ原画像を用いて、最適なぼけ度σ₀が同定される。
ここで、エッジ量算出処理の一例を説明する。

ぼけた原画像の座標（ｘ，ｙ）の輝度をｇ（ｘ，ｙ）とするとき、その位置のエッジＷ（ｘ，ｙ）を、

とし、ぼけ度σ_iで補正した画像ｆ＾（ｘ，ｙ）のエッジＤ_i（ｘ，ｙ）を、

とするとき、この補正画像のエッジ量Ｅ（ｉ）は、

により算出される。ここで、式（１７）では、画像の幅をｗｉｄｔｈ、画像の高さをｈｅｉｇｈｔとしている。
なお、画像のエッジを求める式（１５）及び式（１６）は、それぞれ、

を使ってもよい。
（ｃ）ぼけ補正処理
対象画像に適用する復元フィルタの生成から、対象画像にぼけ補正処理を施した補正画像の生成までの処理を行う。図９は、ぼけ補正処理の手順を示したフローチャートである。

［ステップＳ１５１］ 同定されたミニ原画像３０４のぼけ度σ₀を用いて、対象の原画像に適した復元フィルタσ₀を生成する。復元フィルタは、同定用復元フィルタと同様の処理で作成する。このとき、ミニ画像を縮小により抽出した場合はぼけ度σ₀の値をこの縮小比にしたがって変更する。例えば、対象の画像のサイズが３６４８×２７３６画素であり、ミニ画像を抽出する過程でこれをＶＧＡ（６４０×４８０）に縮小している場合はσ₀の値を５．７倍して復元フィルタを生成する。

［ステップＳ１５２］ 対象の原画像の輝度成分を抽出したＹ画像３０２を、ステップＳ１５１で生成した復元フィルタσ₀３０６を用いて補正するぼけ補正処理を行う。演算は、単なるフィルタ処理演算になる。こうして、補正Ｙ画像３０７が生成される。

［ステップＳ１５３］ 原画像３０１の色成分３０１ａと、補正Ｙ画像３０７とを合成し、補正画像３０８を生成して出力する。
以上の処理手順が実行されることにより、同定された最適なぼけ度σ₀を用いて、最適な復元フィルタσ₀が生成され、対象の原画像のぼけ補正が行われる。

以上の説明の撮像装置は、対象の原画像のフーリエ変換や、補正画像のフーリエ逆変換というような処理を行うことなく、簡便な方法で対象の原画像のぼけを自動的に補正することができる。

また、上記の説明では、ぼけ度の同定処理において、同定用復元フィルタを毎回作成するとしたが、予め、複数の点拡がり関数ｈ（ｘ，ｙ）に対する空間領域の復元フィルタｈｗ（ｘ，ｙ）を求めて内部の記憶手段に記憶しておくこともできる。これにより、記憶するための記憶領域の確保は必要になるが、復元フィルタの演算処理を行わなくてもよいため、ぼけ度の同定処理の処理時間を短縮することができる。

実施の形態では、撮像装置に適用した場合について説明したが、上記の画像処理方法がパーソナルコンピュータや、その他の画像処理装置に適用できることは当然である。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

実施の形態に適用される発明の概念図である。 空間フィルタ化された復元フィルタを用いた画像復元処理の手順を示した図である。 本発明の実施の形態の撮像装置の構成図である。 あるぼけ度σで生成された復元フィルタの一例である。 撮像装置におけるぼけ補正処理の一例の手順を示した図である。 同定用画像生成処理の手順を示したフローチャートである。 ぼけ度の同定処理の手順を示したフローチャートである。 ぼけ度σ_iとエッジ量との関係を示した図である。 ぼけ補正処理の手順を示したフローチャートである。

符号の説明

１・・・画像処理装置、 １ａ・・・画像選択手段、 １ｂ・・・ぼけ具合判定手段、 １ｃ・・・ぼけ補正手段、 １ｄ・・・画像保存手段、 ２・・・画像表示装置、 ３・・・画像記録装置

Claims (9)

1. 画像のぼけ具合に応じた復元フィルタを用いて、入力された画像のぼけを補正する画像処理装置において、
   補正の対象画像を入力し、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタを前記ぼけ度パラメータの値を変化させて前記対象画像に適用し、前記対象画像の各要素におけるエッジの強さと、前記ぼけ度パラメータの値の異なるそれぞれの前記復元フィルタによって補正された補正後の対象画像の各画素におけるエッジの強さと、に基づいて前記補正後の対象画像のエッジ量を算出し、算出した前記エッジ量が最も大きく変化する前記復元フィルタを検出し、検出した前記復元フィルタの前記ぼけ度パラメータの値によって前記対象画像のぼけ具合を判定するぼけ具合判定手段と、
   判定された前記対象画像のぼけ具合に応じた前記ぼけ度パラメータに基づいて対象画像用の復元フィルタを設定し、前記対象画像用の復元フィルタを用いて前記対象画像のぼけを補正するぼけ補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記ぼけ具合判定手段は、前記ぼけ度パラメータを含む画像のぼけ具合をモデル化した所定の拡がり関数をフーリエ変換して伝達関数を算出し、前記伝達関数に基づいて周波数領域の復元フィルタを生成し、前記周波数領域の復元フィルタを逆フーリエ変換して空間領域の復元フィルタに変換して前記対象画像に適用することを特徴とする請求項１記載の画像処理装置。
3. 前記ぼけ具合判定手段は、前記拡がり関数として、２次元ガウス分布を用いることを特徴とする請求項２記載の画像処理装置。
4. 前記ぼけ具合判定手段は、前記伝達関数をウィーナフィルタ化して前記周波数領域の復元フィルタを生成することを特徴とする請求項２記載の画像処理装置。
5. 前記ぼけ具合判定手段は、前記対象画像から輝度成分を抽出し、抽出された前記輝度成分のみの対象画像を用いて前記対象画像のぼけ具合を判定し、
   前記ぼけ補正手段は、前記輝度成分のみの対象画像に前記復元フィルタを適用してぼけの補正を行い、補正が施された前記輝度成分のみの対象画像と、前記対象画像の色成分とを合成して前記対象画像の補正画像を生成する、
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記ぼけ具合判定手段は、前記対象画像の縮小、前記対象画像の一部領域の切り取り、または、前記対象画像の縮小と一部領域の切り取りを行って、ミニ画像を生成するとともに、前記ミニ画像の大きさに適したサイズの前記復元フィルタを生成し、前記ミニ画像を対象としてぼけ具合の判定を行う、ことを特徴とする請求項１記載の画像処理装置。
7. 画像のぼけ具合に応じた復元フィルタを用いて、入力された画像のぼけを補正する画像処理方法において、
   ぼけ具合判定手段が、補正の対象画像を入力し、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタを前記ぼけ度パラメータの値を変化させて前記対象画像に適用し、前記対象画像の各要素におけるエッジの強さと、前記ぼけ度パラメータの値の異なるそれぞれの前記復元フィルタによって補正された補正後の対象画像の各画素におけるエッジの強さと、に基づいて前記補正後の対象画像のエッジ量を算出し、算出した前記エッジ量が最も大きく変化する前記復元フィルタを検出し、検出した前記復元フィルタの前記ぼけ度パラメータの値によって前記対象画像のぼけ具合を判定する手順と、
   ぼけ補正手段が、判定された前記対象画像のぼけ具合に応じた前記ぼけ度パラメータに基づいて対象画像用の復元フィルタを設定し、前記対象画像用の復元フィルタを用いて前記対象画像のぼけを補正する手順と、
   を有することを特徴とする画像処理方法。
8. 画像のぼけ具合に応じた復元フィルタを用いて、入力された画像のぼけを補正する処理を行う画像処理プログラムにおいて、
   コンピュータを、
   補正の対象画像を入力し、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタを前記ぼけ度パラメータの値を変化させて前記対象画像に適用し、前記対象画像の各要素におけるエッジの強さと、前記ぼけ度パラメータの値の異なるそれぞれの前記復元フィルタによって補正された補正後の対象画像の各画素におけるエッジの強さと、に基づいて前記補正後の対象画像のエッジ量を算出し、算出した前記エッジ量が最も大きく変化する前記復元フィルタを検出し、検出した前記復元フィルタの前記ぼけ度パラメータの値によって前記対象画像のぼけ具合を判定するぼけ具合判定手段、
   判定された前記対象画像のぼけ具合に応じた前記ぼけ度パラメータに基づいて対象画像用の復元フィルタを設定し、前記対象画像用の復元フィルタを用いて前記対象画像のぼけを補正するぼけ補正手段、
   として機能させることを特徴とする画像処理プログラム。
9. 撮像した画像に対し、所定のフィルタを用いた加工処理を行う撮像装置において、
   補正の対象画像が選択されると、画像のぼけ具合に対応付けられるぼけ度パラメータを含む復元フィルタを前記ぼけ度パラメータの値を変化させて前記対象画像に適用し、前記対象画像の各要素におけるエッジの強さと、前記ぼけ度パラメータの値の異なるそれぞれの前記復元フィルタによって補正された補正後の対象画像の各画素におけるエッジの強さと、に基づいて前記補正後の対象画像のエッジ量を算出し、算出した前記エッジ量が最も大きく変化する前記復元フィルタを検出し、検出した前記復元フィルタの前記ぼけ度パラメータの値によって前記対象画像のぼけ具合を判定するぼけ具合判定手段と、
   判定された前記対象画像のぼけ具合に応じた前記ぼけ度パラメータに基づいて対象画像用の復元フィルタを設定し、前記対象画像用の復元フィルタを用いて前記対象画像のぼけを補正するぼけ補正手段と、
   を有することを特徴とする撮像装置。

Images