JP2011135563A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】撮影画像に対し、ある合焦距離に応じた単一の回復フィルタを用いてボケ回復処理を行うと、被写体における非合焦部分については偽色が発生してしまう。これを回避するために画面内の全領域について被写体距離を測定するとコストアップとなる。
【解決手段】撮像装置は、撮影画像の各画素について周波数成分を算出し（Ｓ３０２）、該周波数成分が閾値以上である画素を回復領域に、それ以外の画素を非回復領域に分割する。回復処理部は、回復領域の画素に対し、撮像部の光学特性によって生じた画質劣化を補正するための回復処理を実行する（Ｓ３０９）。非回復領域の画素に対しては回復処理を行われない（Ｓ３０８）。撮像装置は、回復処理後の回復領域の画素と、非回復領域の画素とを合成して撮影画像を再構成する（Ｓ３１０）。これにより、回復フィルタと合焦距離が合致しない領域における画質劣化を抑制することができる。
【選択図】 図３

Description

本発明は、撮像系の光学特性によって生じた画質劣化を画像回復により改善する撮像装置および画像処理方法に関する。

撮影画像のぼけ成分の劣化を補正する方法として、撮像レンズの光学伝達関数（Optical Transfer Function：ＯＴＦ）の情報を用いた補正方法が知られている。一般にこの方法は「画像回復」や「画像復元」と称されるため、以降、この方法による補正処理を「画像回復」または単に「回復」と記載する。

撮像レンズのＯＴＦは合焦距離によって変化するため、該ＯＴＦに基づいて作成される、画像回復処理に適用される回復フィルタも、やはり撮影レンズの合焦距離によって異なる。したがって、回復フィルタに対しては最適な被写体距離が存在し、被写体距離が回復フィルタにマッチしていない非合焦被写体であるにも関わらず回復処理を行うと、偽色が発生する等の画質劣化が生じる。

ここで、偽色が発生する原理について簡単に説明する。一般に、撮像光学系は、波長ごと、すなわち色成分ごとの焦点位置が光軸方向にずれるという軸上色収差特性を有している。例えば立体被写体のように被写体距離が異なる各部分では、それに応じて撮像素子に対する各色の焦点位置が変化する。したがって、該被写体の撮影画像には、エッジ部において軸上色収差特性に応じた色のにじみが生じ、さらに、合焦距離の前後でこのにじみが変化する。このような画像に対し、ある合焦距離に応じた画像回復フィルタを用いた回復を行うと、色成分ごとの回復度合が想定外の状態となり、色にじみの変化が拡大し、エッジ部において偽色が発生してしまう。

このような偽色の発生を防止するためには、被写体距離が合致しない不適切な回復フィルタを使用しないようにすれば良く、例えば以下のような技術が知られている。まず、回復フィルタと被写体の部分部分の距離とを合致させるために、被写体距離を測定し、該測定した被写体距離に合致する異なるフィルタを適用して、回復を行う技術が開示されている（例えば、特許文献１参照）。また、目的とする被写体のパターンが一定である場合、そのパターンに従って画面内の特定の領域を合焦する被写体領域とみなし、その部分のみを回復する技術が開示されている（例えば、特許文献２参照）。さらに、被写体上の合焦部分を抽出するために、被写体を微分処理してグラディアントを算出し、該グラディアントが大きな部分を回復する技術が開示されている（例えば、特許文献３参照）。

特開2002-112099号公報 特開平10-165365号公報 特開2002-300461号公報

上述した技術においては、被写体距離が合致しない不適切な回復フィルタを使用しないように制御することによって、偽色の発生という画質劣化を防止していた。しかしながらこれらの技術には以下のような問題があった。

まず、被写体距離を測定する技術によれば、画面内の全領域について正確な被写体距離を測定するために、撮影手段の物理的なサイズの増大やコストアップを招いてしまう。また、特定パターンを持つ被写体を前提に合焦領域を判定する技術は、特定パターンに依存するため、一般的な撮影画像に適用することはできない。また、被写体のグラディアント値が高い領域について回復を行う技術によれば、本来、回復したい部分である低コントラストで高い空間周波数成分をもつ領域が、回復対象から除外されてしまう。

本発明は上述した問題を解決するためになされたものであり、簡易な構成で、撮影画像において回復対象として適切な領域のみに回復処理を行うことで、他の領域における画質劣化の発生を抑制する撮像装置および画像処理方法を提供することを目的とする。

上記目的を達成するための一手段として、本発明の撮像装置は以下の構成を備える。

すなわち、被写体を撮影して撮影画像を得る撮像手段と、前記撮影画像の各画素について周波数成分を算出し、該周波数成分が予め定められた閾値以上である画素を回復領域に、それ以外の画素を非回復領域に分割する分割手段と、前記回復領域の画素に対し、前記撮像手段の光学特性によって生じた画質劣化を補正するための回復処理を行う回復手段と、該回復処理が施された前記回復領域の画素と、前記非回復領域の画素とを合成して前記撮影画像を再構成する合成手段とを有することを特徴とする。

上記構成からなる本発明によれば、簡易な構成で、撮影画像において回復対象として適切な領域のみに回復処理を行うことで、他の領域における画質劣化の発生を抑制することが可能となる。

第１実施形態における撮像装置の構成を示す図、 第１実施形態における画像回復部とその関連部分の詳細構成を示す図、 第１実施形態における画像回復処理を示すフローチャート、 第１実施形態における高周波成分算出に用いられるガウシアンフィルタ例を示す図、 第１実施形態の回復処理による効果を説明する図、 第２実施形態における高周波成分判定時の閾値調整ＧＵＩ例を示す図、である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
（装置構成）
図１は、本実施形態における撮像装置の構成を示す図である。同図において、１０１は被写体の光量を検知する撮像部であり、以下の部分から構成される。すなわち、撮像部１０１において１０２は撮像レンズ、１０３は絞り、１０４はシャッター、１０５はＣＭＯＳやＣＣＤ等の撮像センサ、である。本実施形態の撮像センサ１０５においては、ＲＧＢ各色の画素が一般的なベイヤー配列で設けられているとする。

１０６はＡ／Ｄ変換部であり、撮像センサ１０５の各画素に入射した光量に応じて発生するアナログ信号を、デジタル値に変換する。Ａ／Ｄ変換部１０６はさらに、ＲＧＢ各画素の配置がベイヤー配列のままの状態であるＲＡＷ画像を生成する。１０７は本実施形態の特徴的な構成としての画像回復部であり、ＲＡＷ画像に対して、撮像レンズ１０２の撮像時の光学特性によって生じる画像のぼけを回復するための処理を施す。なお、画像回復部１０７における画像回復処理の詳細については後述する。

１０８は信号処理部であり、上記ＲＡＷ画像に対してデモザイク処理、ホワイトバランス処理、ガンマ処理等の各種画像処理を行ってデジタル画像を生成する。１０９はメディアインターフェースであり、ＰＣやその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続し、デジタル画像を該メディアに送出する。

１１０はＣＰＵであり、本実施形態の撮像装置の各構成における処理全てに関わり、ＲＯＭ１１１やＲＡＭ１１２に格納された命令を順次読み込んで解釈し、その結果に従って各処理を実行する。ＲＯＭ１１１とＲＡＭ１１２は、それらの処理に必要なプログラム、データ、作業領域等をＣＰＵ１１０に提供する。１１３は撮像系制御部であり、ＣＰＵ１１０の指示に基いて、フォーカス、シャッター、絞り等の撮像系の制御を行う。１１４は操作部であり、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザ指示を受け取る。

本実施形態における撮像装置は、以上の構成によってＲＧＢ画素によるデジタル画像を獲得するが、デジタル画像の撮像処理に関しては通常のデジタルカメラにおける撮像と何ら変わるところが無いため、ここでは説明を省略する。

本実施形態の撮像装置においては、撮像画像に対して画像回復部１０７で画像回復処理を施すことを特徴とする。ここで図２に、図１に示した構成において、特に画像回復に関連した部分を抜き出し、それらの詳細構成を示す。図２において、図１と同様の構成には同一番号を付し、説明を省略する。

図２において、操作部１１４の一部であるシャッターレリーズボタンが押されると、撮像系制御部１１３はオートフォーカス機構（不図示）により撮像レンズ１０２を駆動して焦点調整を行う。１１５は、撮像系制御部１１３のオートフォーカス機構が焦点調整した距離を取得する合焦距離取得部であり、撮像レンズ１０２の位置に応じて、合焦距離を出力する。１１６は、ＲＯＭ１１１内の回復フィルタ記憶部である。回復フィルタ記憶部１１６には、合焦距離、絞り値、像高、等のパラメータに従って変化する光学伝達関数（ＯＴＦ）に基いた回復フィルタが複数保持されている。回復フィルタ記憶部１１６は、合焦距離取得部１１５から合焦距離を、撮像系制御部１１３から絞り値を、画像回復部１０７から像高を、それぞれ受け取ることによって、それらに合致した回復フィルタを画像回復部１０７に出力する。なお、本実施形態における回復フィルタの詳細については後述する。

回復フィルタの変化に関するパラメータは、撮像レンズ１０２の特性によって決まる。したがって回復フィルタは、上述したように合焦距離、絞り値、像高、等の複数パラメータ（例えば全パラメータ）に従って変化する場合もあれば、逆に、例えば合焦距離のみによって変化する場合もありうる。すなわち、合焦距離に従ったフィルタを用いたり、さらに、全条件に対して単一のフィルタを用いる事も可能である。なお、これらパラメータを、例えばユーザがＧＵＩ等を介してマニュアル設定することも可能である。

一方、以上の合焦判定およびフィルタ出力と並行して撮像された画像情報は、Ａ/Ｄ変換部１０６からＲＡＷ画像として、画像回復部１０７に渡される。画像回復部１０７は大きく２つの構成に分けられる。１１７は、画像中の回復を行うべき領域と行わない領域とを分割する領域分割部である。１１８は、回復を行うべき領域の画像に対して回復フィルタを適用して、画像回復を行う回復処理部である。回復処理部１１８はまた、回復後の画像と、回復を行わない領域の原画像とを合成する。この合成により再びＲＡＷ画像が構成され、信号処理部１０８に出力される。この回復処理部１１８における回復処理の詳細については後述する。

ＲＡＭ１１２には、処理中に必要となる情報が一時的に蓄積される。１１９は回復領域記憶部であり、領域分割部１１７による領域分割結果を保持する。１２０は回復画像記憶部であり、回復処理部１１８から出力される、回復対象領域の回復後の画像を記憶する。１２１は原画像記憶部であり、回復を行わない領域の原画像を記憶する。回復画像記憶部１２０と原画像記憶部１２１は、画像全体に対する処理の終了時に、全ての画像情報を回復処理部１１８に送り返す。

（画像回復処理）
ここで、本実施形態の回復処理部１１８における画像回復処理について説明する。上述したように画像回復処理とは、撮影画像に対し、撮像系の光学特性によって生じた画質劣化を補正する処理である。

まず、劣化した画像をｇ(x,y)、もとの画像をｆ(x,y)、撮像レンズ１０２のＯＴＦのフーリエペアである点像分布関数（ＰＳＦ）をｈ(x,y)とすると、以下の(1)式が成り立つ。(1)式において、＊はコンボリューション（畳み込み積分、積和）を示し、(x,y)は画像上の座標を示す。

ｇ(x,y)＝ｈ(x,y)＊ｆ(x,y) ・・・(1)
次に、(1)式をフーリエ変換して周波数領域での形式に変換すると、以下の(2)式のように、周波数ごとの積の形式で示される。(2)式において、Ｈは(1)式におけるＰＳＦであるｈをフーリエ変換した、すなわちＯＴＦであり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。また、(u,v)は２次元周波数領域での座標、即ち周波数を示す。

Ｇ(u,v)＝Ｈ(u,v)・Ｆ(u,v) ・・・(2)
ここで、撮影された劣化画像からもとの画像を得るためには、以下の(3)式に示すように、(2)式の両辺をＨで除算すればよい。

Ｇ(u,v)／Ｈ(u,v)＝Ｆ(u,v) ・・・(3)
(3)式におけるＦ(u,v)、即ちＧ(u,v)／Ｈ(u,v)を逆フーリエ変換して空間領域に戻すことで、もとの画像ｆ(x,y)が回復像として得られる。ここで、１／Ｈ(u,v)を逆フーリエ変換したものをｒとする。すると(3)式は以下の(4)式に変換され、該(4)式によれば、空間領域での画像に対するコンボリューション処理を行うことで、もとの画像を取得可能であることが示されている。この(4)式におけるｒ(x,y)が、上述した回復フィルタである。

ｇ(x,y)＊ｒ(x,y)＝ｆ(x,y) ・・・(4)
本実施形態では、このような回復フィルタを用いた回復処理、すなわち(4)式の演算を画像の全領域について行うことをせず、回復処理に適切であると判定される領域に対してのみ行うことを特徴とする。以下、本実施形態における領域ごとの画像回復処理について詳細に説明する。

（領域ごとの画像回復処理）
図３は、画像回復部１０７における、領域に応じた回復処理を示すフローチャートである。領域分割部１１７でＳ３０１〜Ｓ３０７の処理を行い、次に回復処理部１１８でＳ３０８〜Ｓ３１０の処理を行う。

領域分割部１１７は、Ｓ３０１でＡ／Ｄ変換部１０６からＲＡＷ画像を取得する。そしてＳ３０２で、画像の端部から周波数成分の算出を開始する。

画素ごとの周波数成分の算出方法としては、例えば注目画素を中心とする所定の周辺領域に対して２次元フーリエ変換を施せば良い。その後、所定の空間周波数以上の成分量を算出する。また他の方法として、畳み込み積分後に原画像との差分算出を行うことによって、高周波成分を算出する方法もある。すなわち、まず図４(a)，(b)に示す３×３や５×５のガウシアンフィルタカーネル等のぼかしフィルタを用いて、原画像に対する畳み込み積分を行う。この際、ＲＡＷ画像においてベイヤー配列をなすＲＧＢの各画素は、色ごとに分離しておく必要がある。この畳み込み処理により、原画像はローパスフィルタ処理され、高周波成分が除去された画像となるため、これと原画像との差分を取ることによって高周波成分が算出される。

ここでＲＡＷ画像において、合焦した領域については高周波成分が大きくなるため、本実施形態ではＳ３０３で、Ｓ３０２で算出された周波数成分を所定の閾値と比較することにより、高周波成分の有無を判定する。すなわち、周波数成分が閾値未満である場合は高周波成分が無い、すなわち合焦していないとしてＳ３０４に進み、閾値以上である場合は高周波成分が有る、すなわち合焦しているとしてＳ３０６に進む。ここでの閾値としては、撮像レンズ１０２の特性に従った適応的な設定が可能である。例えば、被写界深度が深い広角レンズを使用する場合や絞り値が大きい場合には高い値とし、被写界深度が浅い長焦点レンズを使用する場合や絞り値が小さい場合には低い値にすることが有効である。また、レンズのＯＴＦ上、色収差特性に従い、軸上色収差量に対して正比例的に閾値を設定する事も可能である。

Ｓ３０４では、畳み込み積分カーネルの中心画素位置を、非回復領域として回復領域記憶部１１９に記録する。そしてＳ３０５で、全画素の処理が終了したか否かを判定し、終了していればＳ３０８に進み、未完であればＳ３０２に戻る。Ｓ３０８では回復処理部１１８において、非回復領域の原画像の画素値を原画像記憶部１２１に記憶した後、Ｓ３１０へ進む。

Ｓ３０６では、畳み込み積分カーネルの中心画素位置を、回復領域として回復領域記憶部１１９に記録する。そしてＳ３０７で、全画素の処理が終了したか否かを判定し、終了していればＳ３０９に進み、未完であればＳ３０２に戻る。Ｓ３０９では回復処理部１１８において、回復領域の画像に対して上述した画像回復を実行し、その結果を回復画像記憶部１２０に記憶した後、Ｓ３１０へ進む。

そしてＳ３１０では、原画像を原画像記憶部１２１から呼び出し、回復画像を回復画像記憶部１２０から呼び出し、これら２者を合成することによってＲＡＷ画像を再構成する。この再構成されたＲＡＷ画像がすなわち、回復後のＲＡＷ画像であり、合焦した領域、すなわち使用する回復フィルタに最適な距離にある被写体部分のみについて回復処理が施されている。

なお、以上の説明においては、原画像を回復領域と非回復領域に分割する例を示したが、この２領域間の境界には特に遷移領域を設けていないため、回復領域内の回復画像と非回復領域の原画像とが合成後に不連続になってしまう可能性がある。本実施形態ではこのような不連続性の発生を回避するために、以下のような処理を行う。

まず、空間領域における回復処理は上記(4)式に示す通りであり、該(4)式のフーリエ変換によって周波数領域での回復処理が上記(3)式で示される。ここで該(3)式に対してファクタαを追加し、(5)式を得る。

Ｇ(u,v)／{Ｈ(u,v)／α}＝Ｆ(u,v) ・・・(5)
(5)式において、α＝Ｈ(u,v)であれば実質的な回復が行われず、α＝１であれば(4)式と同等の所定の回復が行われることが分かる。このように、αの値によってＨ(u,v)、すなわちＯＴＦを制御して領域間における回復の度合いを滑らかに変化させる事ができるため、本実施形態では該(5)式において、αをＨ(u,v)（１未満）から１の範囲で変化させる。

具体的には、回復領域内の着目画素の境界からの距離に応じて、例えば該距離が０であればα＝Ｈ(u,v)とし、該距離が境界制御を行う所定値まで大きくなるほどαを１に近づけ、該所定値以上になれば常にα＝１となるように制御する。言い換えればすなわち、該距離が所定値よりも小さい場合、該距離が小さいほど回復処理の度合いが小さくなるように制御する。または、算出された周波数成分に応じて、例えば周波数成分がＳ３０３における閾値に等しければα＝Ｈ(u,v)とする。そして、回復領域内の該距離が境界制御を行う所定値になるまでの間、距離に応じたαの制御に加え、該周波数成分が大きくなるほどαを１に近づけ、該所定値以上になれば常にα＝１とするように制御する。言い換えれば、回復領域内の回復量を滑らかに変化させる領域内で、該周波数成分が所定値よりも小さい場合、該周波数成分が小さいほど回復処理の度合いが小さくなるように制御する。

以上とは別の観点で、回復領域内の画素値に着目して、回復度合いを所定の回復量以下に抑制することも可能である。画素値の平均値が小さい、すなわち被写体の低輝度領域では、回復処理によって高周波成分の振幅が拡大した時、振幅の下端が画素値のとりうる下限値よりも小さくなる場合がある。回復処理後の画素演算値が画素値の下限値よりも小さい場合、画素値の最低値にクリップされる。このとき、クリップして黒つぶれとなった部分とクリップしていない部分に明瞭な疑似輪郭が発生する。これを防止するには、画素値の平均が画素値の最低値に近い場合に、回復処理による振幅拡大を抑制しなくてはならない。すなわち、高周波を含む回復処理領域と非回復領域の境界で回復度合いを徐々に変化させるメカニズムを、局部的な画素値の平均にしたがって制御する。

より具体的には、着目画素の周辺の所定画素を含む平均値を算出し、これと最低画素値との差の量に従って、α＝Ｈ(u,v)からα＝１へと変化させる。この間の関係式は線形でもよいし、非線形でもよい。また、α＝１で所定の回復が行われるときの画素平均値の設定は、撮像装置の特性に応じて決定すればよい。

さらに、上記でα＝Ｈ(u,v)として回復を行わなかった領域に対して、α＝Ｈ(u,v) とα＝１の間のファクタを与えることで、回復領域外に対して弱い回復処理を与えることも可能である。

なお、実際の回復処理においては、(5)式で設定したαに応じて(4)式で示す回復フィルタｒ(x,y)を算出し、これを利用する。すなわち、回復フィルタ記憶部１１６に、αに応じて予め算出された複数の回復フィルタが格納されており、回復領域内の着目画素の境界からの距離、または周波数成分をパラメータとして、合致する回復フィルタが選択される。

本実施形態ではこのように(5)式におけるＨ(u,v)、すなわちＯＴＦをαによって制御することにより、回復画像と原画像の境界における不連続性を軽減し、これら２領域を滑らかに繋ぐことができる。また、回復画像と原画像の境界部分においてもディザ法や誤差拡散法等を適用することが可能となる。

ここで図５を用いて、本実施形態における画像回復処理の効果について説明する。図５に示す画像は、人物を近距離かつ大きい絞りで撮像したものであり、人物の目部分に合焦されている。このため、該画像において人物の目と同じ距離である部分以外は非合焦となり、ぼけた状態で撮像されている。このとき、全領域に対して合焦距離に応じた回復フィルタを用いた回復処理を行った場合、以下のような偽色が生じてしまう。まず、合焦距離からわずかに外れるためにごく僅かにぼけている、顔や体の輪郭部分には色収差に起因した偽色Ａが生じる。また、背景の自動車のボディ部分におけるスペキュラー反射部では画素値が飽和しており、回復に必要な正しい画素情報が得られないため、色づき（偽色Ｂ）が生じる。また、被写体距離が合焦距離と大きく異なっている樹木のエッジ部には、合焦距離が異なる回復フィルタを適用した影響により、リンギング状の偽色Ｃが生じる。

そこで同撮影画像に対して本実施形態を適用すれば、高周波成分を含む画像領域のみを回復するため、図５における偽色Ａ〜Ｃの部分については回復が行われず、したがって偽色Ａ〜Ｃの発生は防止される。

以上説明したように本実施形態によれば、被写体距離の実測等を行うことなく、簡易な構成で、被写体の撮影画像において合焦している部分として高周波成分を持つ領域を抽出し、該領域のみに対して回復処理を行う。これにより、回復フィルタと合焦距離が合致しない領域については回復処理を行わないため、該領域に偽色が発生してしまうという弊害を抑制し、画質を向上させることができる。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、回復領域と非回復領域を分割する際の周波数成分の閾値を固定とする、もしくは撮像レンズ１０２の光学特性に応じて設定する例を示した。この閾値の設定により、回復によるシャープネスの向上と偽色の発生量とはトレードオフの関係となるため、該閾値をユーザが選択可能とすることも有益である。

そこで第２実施形態では、Ｓ３０３における判定に用いられる閾値を、ＧＵＩによりユーザが設定する例を示す。

図６は、第２実施形態においてユーザによる閾値調整のＧＵＩ例であり、高周波成分を含む領域の抽出閾値を変化させることによって、色付き低減強度を設定する。図６において、６０２は閾値を設定するスライドバーである。スライドバー６０２を左端に設定すると、色付低減を行わない、すなわち本実施形態における領域ごとの回復処理を行わずに従来通り全領域への回復処理を行うものとして、閾値を周波数成分の最小値である０とする。また、スライドバー６０２を右端に設定すると、本実施形態における回復領域を自動設定した処理を行うものとして、閾値を所定値に設定する。したがってスライドバー６０２はその左端と右端との間において、閾値を０〜所定値の間に任意に設定することができる。なお、スライドバー６０２は右端への設定をデフォルトとする。

また６０３は、画像の特定部分における処理結果を表示する効果確認ウィンドウである。該効果確認ウィンドウ６０３への表示としては、スライドバー６０２が右端に設定された状態、すなわち本実施形態の回復処理を行った結果の表示をデフォルトとする。また、効果確認ウィンドウ６０３への表示対象となる画像の特定部分としては、偽色の発生しやすい箇所が選択されることが望ましいが、例えば画像の一部に限らず、想定される特定のサンプル画像に対する処理結果を表示しても良い。

以上説明したように第２実施形態によれば、ユーザが目的に合致した最適な回復状態を選択することができる。

＜その他の実施形態＞
なお、上述した第１実施形態における周波数成分の算出の際に、バイラテラルフィルタを用いることができる。具体的には、F.Durand, J. Dorsey, "Fast Bilateral Filtering for Display of High-Dynamic-Range Images", SIGGRAPH2002に記載されている。すなわち、フィルタカーネルを着目画素からの距離に応じた成分（単純なガウシアンフィルタと同義）と着目画素との画素値の差に応じた成分の２成分に従って構成することで、エッジを保存するぼかしフィルタとなる。このようなバイラテラルフィルタを用いることにより、画像をエッジに囲まれた小領域に分割し、各領域について第１実施形態と同様に周波数成分を算出することができるため、より正確に画像内の合焦距離部分を得ることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 被写体を撮影して撮影画像を得る撮像手段と、
   前記撮影画像の各画素について周波数成分を算出し、該周波数成分が予め定められた閾値以上である画素を回復領域に、それ以外の画素を非回復領域に分割する分割手段と、
   前記回復領域の画素に対し、前記撮像手段の光学特性によって生じた画質劣化を補正するための回復処理を行う回復手段と、
   該回復処理が施された前記回復領域の画素と、前記非回復領域の画素とを合成して前記撮影画像を再構成する合成手段と、
   を有することを特徴とする撮像装置。
2. 前記分割手段は、前記撮影画像に対して畳み込み積分を行い、該積分後の画像と前記撮影画像との差分をとることによって、各画素についての周波数成分を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記分割手段は、前記撮影画像において着目画素を中心とする領域に対して２次元フーリエ変換を施すことによって、各画素についての周波数成分を算出することを特徴とする請求項１に記載の撮像装置。
4. 前記分割手段は、前記撮影画像にバイラテラルフィルタを適用することによってエッジで囲まれた領域に分割し、該領域ごとに周波数成分を算出することを特徴とする請求項１に記載の撮像装置。
5. 前記回復手段は、前記撮像手段における光学伝達関数を用いた回復処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. さらに、前記撮像手段における合焦距離を取得する取得手段を有し、
   前記回復手段は、前記取得手段により取得された合焦距離に応じた回復フィルタを用いた回復処理を行うことを特徴とする請求項５に記載の撮像装置。
7. さらに、前記回復フィルタを複数保持する保持手段を有し、
   前記回復手段は、前記保持手段に保持された複数の回復フィルタから前記合焦距離に応じた一つを選択し、該選択された回復フィルタを用いた回復処理を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記回復手段は、前記回復領域の各画素に対し、前記非回復領域との距離が予め定められた値よりも小さい場合、該距離が小さいほど回復処理の度合いが小さくなるように制御することを特徴とする請求項５に記載の撮像装置。
9. 前記回復手段は、前記回復領域の各画素に対し、前記周波数成分が予め定められた値よりも小さい場合、該周波数成分が小さいほど回復処理の度合いが小さくなるように制御することを特徴とする請求項５に記載の撮像装置。
10. さらに、前記分割手段における前記閾値をユーザ指示に従って設定する設定手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮像装置における画像処理方法であって、
    撮像手段が、被写体を撮影した撮影画像を得る撮影ステップと、
    算出手段が、前記撮影画像の各画素について周波数成分を算出する算出ステップと、
    分割手段が、前記算出ステップで算出された周波数成分が予め定められた閾値以上である画素を回復領域とし、それ以外の画素を非回復領域として前記撮影画像を分割する分割ステップと、
    回復手段が、前記回復領域の画素に対し、撮像装置における撮像系の光学特性によって生じた画質劣化を補正するための回復処理を行う回復ステップと、
    合成手段が、前記回復処理が施された回復領域の画素と、前記非回復領域の画素とを合成して前記撮影画像を再構成する合成ステップと、
    を有することを特徴とする画像処理方法。
12. 撮像装置が備えるコンピュータに、請求項１１に記載の画像処理方法の各ステップを実行させるためのプログラム。

Images