JP2011091533A - 画像処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】ブレを補正することにより解像度感が低下した画像の解像度感を向上させる。
【解決手段】テクスチャ抽出部１７１は、ブレが発生しているブレ画像のテクスチャ成分を抽出し、合成部１７３に供給する。マスク生成部１７２は、ブレ画像のブレを補正したブレ補正画像のエッジを抽出し、抽出したブレ補正画像のエッジをブレ画像のブレが発生している方向に拡張し、拡張したエッジに含まれる画素を合成範囲から除くためのマスク画像を生成する。合成部１７３は、マスク生成部１７２により生成されたマスク画像を用いて、ブレ補正画像に、テクスチャ抽出部１７１により抽出されたブレ画像のテクスチャ成分を合成する。本発明は、例えば、カメラに適用することが可能である。
【選択図】図５

Description

本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、ブレが発生している画像を補正する場合に用いて好適な画像処理装置および方法、並びに、プログラムに関する。

従来、撮像時の手振れによる画像のブレを補正する補正技術が存在する。

例えば、L.B.LucyとWilliam Hardley Richardsonにより提唱されたRichardson-Lucy法がある。しかし、この手法では、点広がり関数（PSF（Point Spread Function)）の周波数軸上で零点に落ち込むスペクトラムを用いて逆問題を解く際に、零点において、ノイズの増幅やリンギングの発生等が見られる。また、点広がり関数が正確に求まらなかった場合には、零点において、ノイズの増幅やリンギングの発生等が、より大きくなってしまう。

そこで、ゲインマップの導入により、点広がり関数が正確にわかる場合に、リンギングを抑制することが可能なresidual deconvolution技術が存在する（例えば、非特許文献１を参照）。

しかしながら、従来のresidual deconvolution技術では、点広がり関数に誤差が存在する場合には、画像のストラクチャ成分(structure)と残差(residual部分)の復元がうまくいかず、リンギングがより多く発生してしまう。

そこで、Richardson-Lucy法をベースにした静止画手振れ補正アルゴリズムに、画像のストラクチャ成分とテクスチャ成分を分離するStructure/Texture分離フィルタを組み込んだ技術（以下、Structure Deconvolution技術と称する）を適用することが考えられる。

Structure Deconvolution技術では、例えば、Structure/Texture分離フィルタの一種であるトータルバリエーション（Total Variation）フィルタにより、ブレが発生している画像（以下、ブレ画像と称する）のストラクチャ成分とテクスチャ成分を分離し、ストラクチャ成分に対してのみブレを補正することで、ノイズやリンギングの発生を抑制する。

ここで、ストラクチャ成分とは、画像がほとんど変化しない平坦部、画像が緩やかに変化する傾斜部、被写体の輪郭、エッジなど、画像の骨格を構成する成分を表す。また、テクチャ成分とは、被写体の細かな模様など画像のディテールを構成する部分を表す。従って、ストラクチャ成分のほとんどが空間周波数の低い低周波成分に含まれ、テクスチャ成分のほとんどが空間周波数の高い高周波成分に含まれる。

Lu Yuan , Jian Sun , Long Quan , Heung-Yeung Shum, Image deblurring with blurred/noisy image pairs, ACM Transactions on Graphics (TOG), v.26 n.3, July 2007

しかしながら、Structure Deconvolution技術では、テクスチャ成分の情報の一部が欠損し、画像のディテールが失われてしまう場合がある。例えば、図１の手振れによるブレが発生しているブレ画像に対して、Structure Deconvolution技術によりブレの補正を行った場合、図２に示されるように、被写体の細かな模様などのディテールが失われ、塗り絵のような画像になり、画像の解像度感が低下する。

この画像の解像度感の低下は、Structure/Texture分離フィルタのパラメータを調整することにより、ある程度抑制することが可能であるが、ノイズやリンギングの発生の抑制とトレードオフの関係にあり、十分に抑制することは難しい。

本発明は、このような状況を鑑みてなされたものであり、ブレを補正することにより低下した画像の解像度感を向上させることができるようにするものである。

本発明の一側面の画像処理装置は、ブレが発生しているブレ画像のテクスチャ成分を抽出するテクスチャ抽出手段と、前記ブレ画像のブレを補正したブレ補正画像に、前記テクスチャ抽出手段により抽出された前記ブレ画像のテクスチャ成分を合成する合成手段とを含む。

前記ブレ補正画像のエッジを抽出し、抽出した前記ブレ補正画像のエッジを前記ブレ画像のブレが発生している方向に拡張し、拡張したエッジに含まれる画素を前記合成手段による合成範囲から除くための２値のマスク画像を生成するマスク生成手段をさらに設け、前記合成手段には、前記マスク画像を用いて、前記ブレ補正画像に前記ブレ画像のテクスチャ成分を合成させることができる。

前記マスク生成手段には、さらに前記マスク画像の所定の閾値より高い周波数成分を減衰させ、前記合成手段には、高周波成分が減衰された前記マスク画像を用いて、前記ブレ補正画像に前記ブレ画像のテクスチャ成分を合成させることができる。

本発明の一側面の画像処理方法は、画像処理装置が、ブレが発生しているブレ画像のテクスチャ成分を抽出し、前記ブレ画像のブレを補正したブレ補正画像に、抽出された前記ブレ画像のテクスチャ成分を合成するステップを含む。

本発明の一側面のプログラムは、ブレが発生しているブレ画像のテクスチャ成分を抽出し、前記ブレ画像のブレを補正したブレ補正画像に、抽出された前記ブレ画像のテクスチャ成分を合成するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、ブレが発生しているブレ画像のテクスチャ成分が抽出され、前記ブレ画像のブレを補正したブレ補正画像に、抽出された前記ブレ画像のテクスチャ成分が合成される。

本発明の一側面によれば、ブレを補正することにより低下した画像の解像度感を向上させることができる。

ブレ画像の例を示す図である。 Structure Deconvolution技術を適用して図１のブレ画像のブレを補正した画像を示す図である。 本発明を適用した画像処理装置の一実施の形態を示すブロック図である。 ブレ補正部の機能の構成の例を示すブロック図である。 テクスチャ復元部の機能の構成の例を示すブロック図である。 本発明を適用した画像処理装置により実行される画像補正処理を説明するためのフローチャートである。 ブレ画像の例を示す図である。 図７のブレ画像のブレを補正したブレ補正画像を示す図である。 図７のブレ画像の高周波成分を減衰させた画像を示す図である。 図７のブレ画像の高周波成分を抽出した高周波ブレ画像を示す図である。 図８のブレ補正画像のエッジを抽出したエッジ画像を示す図である。 図８のブレ補正画像に対するマスク画像を示す図である。 図８のブレ補正画像のテクスチャ成分を復元した出力画像を示す図である。 図１２のマスク画像を用いずに、図８のブレ補正画像と図１０の高周波ブレ画像とを合成した画像を示している。 図１のブレ画像のブレを補正したブレ補正画像を示す図である。 図１のブレ画像の高周波成分を抽出した高周波ブレ画像を示す図である。 図２のブレ補正画像のテクスチャ成分を復元した出力画像を示す図である。 コンピュータの構成例を示すブロック図である。

以下、本発明を実施するための形態（以下、実施の形態という）について説明する。な
お、説明は以下の順序で行う。
１．第1の実施の形態
２．変形例

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図３は、本発明を適用した画像処理装置の一実施の形態を示すブロック図である。

図３の画像処理装置１０１は、手振れ等によりブレが発生しているブレ画像が入力され、入力されたブレ画像のブレを補正し、補正した画像（以下、出力画像と称する）を出力する処理を行う。画像処理装置１０１は、ブレ補正部１１１およびテクスチャ復元部１１２を含むように構成される。

ブレ補正部１１１は、ブレ画像のブレの方向および大きさを示すPSF（Point Spread Function、点広がり関数）を求め、求めたPSFを用いて、ブレ画像のブレを補正する。ブレ補正部１１１は、ブレを補正した画像（以下、ブレ補正画像と称する）およびブレ画像のPSFを、テクスチャ復元部１１２に供給する。

テクスチャ復元部１１２は、ブレ補正画像、ブレ画像、PSF、および、外部から入力される強調効果調整パラメータを用いて、ブレ補正画像のテクスチャ成分を復元し、解像度感を向上させる。テクスチャ復元部１１２は、テクスチャ成分を復元した画像を出力画像として後段の装置に出力する。

［ブレ補正部の構成例］
図４は、ブレ補正部１１１の機能の構成の例を示すブロック図である。ブレ補正部１１１は、PSF演算部１５１、初期ブレ補正部１５２、畳込み演算部１５３、残差演算部１５４、相関演算部１５５、乗算部１５６、および、トータルバリエーション（Total Variation）フィルタ１５７（以下、TVフィルタ１５７と称する）により構成される。

ブレ補正部１１１に入力されたブレ画像は、PSF演算部１５１、初期ブレ補正部１５２、および、残差演算部１５４に供給される。

PSF演算部１５１は、所定の手法を用いて、ブレ画像のPSFを求め、畳込み演算部１５３、相関演算部１５５、および、テクスチャ復元部１１２に供給する。

初期ブレ補正部１５２は、ブレ画像のPSFに基づいて、所定の手法を用いてブレ画像のブレを補正する。初期ブレ補正部１５２は、ブレを補正した画像（以下、初期ブレ補正画像と称する）を畳込み演算部１５３および乗算部１５６に供給する。

畳込み演算部１５３は、初期ブレ補正画像とブレ画像のPSFとの畳込み演算を行う。また、畳込み演算部１５３は、TVフィルタ１５７から供給されるブレ補正画像と、ブレ画像のPSFとの畳込み演算を行う。すなわち、畳込み演算部１５３は、初期ブレ補正画像またはブレ補正画像と、PSFにより表されるブレ画像のブレ成分との畳込み演算を行うことにより、ブレ画像を再現する。畳込み演算部１５３は、畳込み演算の結果得られた画像（以下、再現ブレ画像と称する）を残差演算部１５４に供給する。

残差演算部１５４は、再現ブレ画像とオリジナルのブレ画像との差分をとり、２つの画像間の残差を求める。残差演算部１５４は、演算結果を相関演算部１５５に供給する。

相関演算部１５５は、ブレ画像のPSFと残差演算部１５４による演算結果との相関演算を行い、再現ブレ画像とブレ画像との間の残差から、ブレ画像のブレ成分を除去する。すなわち、相関演算部１５５は、初期ブレ補正画像またはブレ補正画像と、ブレが発生しなかった場合の画像との間の残差を推定する。相関演算部１５５は、演算結果を乗算部１５６に供給する。

乗算部１５６は、初期ブレ補正部１５２から供給される初期ブレ補正画像、または、TVフィルタ１５７から供給されるブレ補正画像に、相関演算部１５５による演算結果を掛け合わせ、その結果得られる画像をTVフィルタ１５７に供給する。

TVフィルタ１５７は、乗算部１５６により生成された画像のストラクチャ成分とテクスチャ成分とを分離する。そして、TVフィルタ１５７は、分離することにより得られたストラクチャ成分からなる画像をブレ補正画像として、畳込み演算部１５３および乗算部１５６に供給する。また、TVフィルタ１５７は、所定の条件が成立したとき、ブレ補正画像をテクスチャ復元部１１２に供給する。

［テクスチャ復元部の構成例］
図５は、テクスチャ復元部１１２の機能の構成の例を示すブロック図である。テクスチャ復元部１１２は、テクスチャ抽出部１７１、マスク生成部１７２、および、合成部１７３を含むように構成される。

テクスチャ抽出部１７１は、ブレ画像のテクスチャ成分を抽出し、抽出したテクスチャ成分を合成部１７３に供給する。テクスチャ抽出部１７１は、ローパスフィルタ（LPF）１８１、減算部１８２、および、乗算部１８３を含むように構成される。

LPF１８１は、ブレ画像の高周波成分を減衰させ、高周波成分を減衰させたブレ画像を減算部１８２に供給する。

減算部１８２は、オリジナルのブレ画像と、高周波成分が減衰されたブレ画像との差分をとり、ブレ画像の高周波成分を抽出する。減算部１８２は、抽出した高周波成分を表す画像（以下、高周波ブレ画像と称する）を乗算部１８３に供給する。

乗算部１８３は、高周波ブレ画像の各画素値に、外部から入力される強調効果調整パラメータを乗じることにより、高周波ブレ画像の高周波成分を強調する。乗算部１８３は、高周波成分を強調した高周波ブレ画像を合成部１７３に供給する。

マスク生成部１７２は、合成部１７３がブレ補正画像と高周波ブレ画像を合成する際に用いるマスク画像を生成する。マスク生成部１７２は、エッジ抽出部１９１、拡張部１９２、および、ローパスフィルタ（LPF）１９３を含むように構成される。

エッジ抽出部１９１は、ブレ補正画像のエッジを抽出し、抽出したエッジに含まれる画素の画素値を０とし、エッジに含まれない画素の画素値を１とした画像（以下、エッジ画像と称する）を生成し、拡張部１９２に供給する。

拡張部１９２は、ブレ補正部１１１のPSF演算部１５１から供給されるブレ画像のPSFに基づいて、エッジ画像のエッジ領域（画素値が０の領域）を、ブレ画像のブレが発生している方向に拡張する。拡張部１９２は、その結果得られた画像（以下、エッジ拡張画像と称する）をLPF１９３に供給する。

LPF１９３は、エッジ拡張画像の高周波成分を減衰させ、その結果得られた画像をマスク画像として合成部１７３に供給する。

合成部１７３は、マスク生成部１７２より生成されたマスク画像を用いて、ブレ補正部１１１のTVフィルタ１５７から供給されるブレ補正画像に高周波ブレ画像を合成する。合成部１７３は、その結果得られた画像を出力画像として、後段の装置に出力する。

［画像補正処理の例］
次に、図６のフローチャートを参照して、画像処理装置１０１により実行される画像補正処理について説明する。なお、以下、図７に示されるブレ画像について処理する場合を適宜具体例として挙げながら説明する。図７のブレ画像は、撮影時に矢印の方向に手振れが発生し、ブレが発生している画像である。

この処理は、例えば、画像処理装置１０１に、補正の対象となるブレ画像が入力され、図示せぬ操作部を介して、画像補正処理の実行が指令されたとき開始される。また、画像処理装置１０１に入力されたブレ画像は、ブレ補正部１１１のPSF演算部１５１、初期ブレ補正部１５２、および、残差演算部１５４、並びに、テクスチャ復元部１１２のテクスチャ抽出部１７１のLPF１８１および減算部１８２に供給される。

ステップＳ１において、PSF演算部１５１は、所定の手法を用いて、ブレ画像のPSFを求める。例えば、PSF演算部１５１は、ブレ画像を構成する画素の輝度値（Ｙ成分）から、ケプストラム上で特徴点を検出し、PSFの直線推定を行うことにより、ブレ画像のPSFを求める。PSF演算部１５１は、求めたPSFを、畳込み演算部１５３、相関演算部１５５、および、テクスチャ復元部１１２のマスク生成部１７２の拡張部１９２に供給する。

なお、PSF演算部１５１がブレ画像のPSFを求める手法には、任意の手法を採用することが可能である。

ステップＳ２において、ブレ補正部１１１は、ブレ画像のブレを補正する。具体的には、初期ブレ補正部１５２は、PSF演算部１５１により求められたPSFに基づいて、所定の手法を用いてブレ画像のブレを補正し、その結果得られた初期ブレ補正画像を、畳込み演算部１５３および乗算部１５６に供給する。

なお、初期ブレ補正部１５２がブレ画像を補正する手法には、任意の手法を採用することが可能である。

畳込み演算部１５３は、初期ブレ補正画像とブレ画像のPSFとの畳込み演算を行い、再現ブレ画像を生成する。畳込み演算部１５３は、生成した再現ブレ画像を残差演算部１５４に供給する。

残差演算部１５４は、畳込み演算部１５３により生成された再現ブレ画像とオリジナルのブレ画像との間の残差を演算する。残差演算部１５４は、演算結果を相関演算部１５５に供給する。

相関演算部１５５は、ブレ画像のPSFと残差演算部１５４による演算結果との相関演算を行い、再現ブレ画像とブレ画像との間の残差から、ブレ画像のブレ成分を除去する。相関演算部１５５は、演算結果を乗算部１５６に供給する。

乗算部１５６は、初期ブレ補正画像に、相関演算部１５５による演算結果を掛け合わせ、その結果得られる画像をTVフィルタ１５７に供給する。

TVフィルタ１５７は、乗算部１５６により生成された画像のストラクチャ成分とテクスチャ成分を分離し、その結果得られたストラクチャ成分からなる画像をブレ補正画像として、畳込み演算部１５３および乗算部１５６に供給する。

畳込み演算部１５３は、TVフィルタ１５７により生成されたブレ補正画像とブレ画像のPSFとの畳込み演算を行い、再現ブレ画像を生成する。畳込み演算部１５３は、生成した再現ブレ画像を残差演算部１５４に供給する。

残差演算部１５４は、畳込み演算部１５３により生成された再現ブレ画像とオリジナルのブレ画像との間の残差を演算する。残差演算部１５４は、演算結果を相関演算部１５５に供給する。

相関演算部１５５は、ブレ画像のPSFと残差演算部１５４による演算結果との相関演算を行い、再現ブレ画像とブレ画像との間の残差から、ブレ成分を除去する。相関演算部１５５は、演算結果を乗算部１５６に供給する。

乗算部１５６は、TVフィルタ１５７により生成されたブレ補正画像に、相関演算部１５５による演算結果を掛け合わせ、その結果得られる画像をTVフィルタ１５７に供給する。

TVフィルタ１５７は、乗算部１５６により生成された画像のストラクチャ成分とテクスチャ成分を分離し、その結果得られたストラクチャ成分からなる画像をブレ補正画像として、畳込み演算部１５３および乗算部１５６に供給する。

以後、例えば、再現ブレ画像とオリジナルのブレ画像との間の残差が所定の閾値以下になるまで、あるいは、演算回数が所定の回数に達するまで、再現ブレ画像とオリジナルのブレ画像との間の残差に基づいて、その残差が小さくなるようにブレ補正画像を更新する処理が繰り返し実行される。そして、再現ブレ画像とオリジナルのブレ画像との間の残差が所定の閾値以下になったとき、あるいは、演算回数が所定の回数に達したとき、TVフィルタ１５７は、テクスチャ復元部１１２のマスク生成部１７２のエッジ抽出部１９１および合成部１７３に、生成したブレ補正画像を供給する。

なお、ブレ画像のPSFも、再現ブレ画像とオリジナルのブレ画像との間の残差等に基づいて、順次更新していくようにしてもよい。

図８は、ステップＳ１およびＳ２の処理により、図７のブレ画像のブレを補正したブレ補正画像を示している。

ステップＳ３において、テクスチャ復元部１１２のテクスチャ抽出部１７１は、ブレ画像のテクスチャ成分を抽出する。具体的には、テクスチャ抽出部１７１のLPF１８１は、ブレ画像の所定の閾値より高い周波数成分を減衰させて、高周波成分を減衰させたブレ画像を減算部１８２に供給する。

図９は、図７のブレ画像の高周波成分をLPF１８１により減衰させた画像を示している。

減算部１８２は、ブレ画像と、LPF１８１により高周波成分が減衰されたブレ画像との差分をとり、ブレ画像の高周波成分を抽出する。減算部１８２は、抽出した高周波成分を表す高周波ブレ画像を乗算部１８３に供給する。

図１０は、図７のブレ画像と、図９の高周波成分が減衰されたブレ画像との差分をとった高周波ブレ画像を示している。図１０の高周波ブレ画像には、図７のブレ画像のテクスチャ成分とともに、中央の被写体のエッジおよびエッジのブレが表れている。

乗算部１８３は、高周波ブレ画像の各画素値に、ユーザにより設定された強調効果パラメータを乗じることにより、高周波ブレ画像の高周波成分を強調する。乗算部１８３は、高周波成分を強調した高周波ブレ画像を合成部１７３に供給する。

ステップＳ４において、テクスチャ復元部１１２のマスク生成部１７２は、マスク画像を生成する。具体的には、マスク生成部１７２のエッジ抽出部１９１は、ブレ補正画像のエッジを抽出する。エッジ抽出部１９１は、抽出したエッジに含まれる画素の画素値を、合成部１７３による合成範囲から除くことを示す値である０に設定し、エッジに含まれない画素の画素値を１に設定した２値のエッジ画像を生成する。エッジ抽出部１９１は、生成したエッジ画像を拡張部１９２に供給する。

図１１は、図８のブレ補正画像から生成されたエッジ画像を示している。

拡張部１９２は、ブレ画像のPSFに基づいて、エッジ画像のエッジ領域（画素値が０の領域）を、ブレ画像のブレが発生している方向に拡張し、その結果得られたエッジ拡張画像をLPF１９３に供給する。

LPF１９３は、エッジ拡張画像の所定の閾値より高い周波数成分を減衰させ、その結果得られた画像、すなわちマスク画像を合成部１７３に供給する。

図１２は、図１１のエッジ画像に対して、拡張部１９２によりエッジ領域の拡張を行った後、LPF１９３により高周波成分を減衰させることにより生成されたマスク画像を示している。図示はしていないが、LPF１９３により高周波成分を減衰させる前のエッジ拡張画像は、画素値が０か１の２値画像なので、マスクの境界（エッジ部分と非エッジ部分との境界）付近で、画素値が０から１に急激に変化する。一方、LPF１９３により高周波成分を減衰させた後のマスク画像は、画素値が０から１の範囲の小数点以下の値をとるようになり、高調波成分を減衰させる前と比べて、画素値がマスクの境界付近で緩やかに変化するようになる。

ステップＳ５において、合成部１７３は、マスク画像を用いて、ブレ補正画像にブレ画像のテクスチャ成分を合成する。具体的には、合成部１７３は、以下の式（１）により、マスク画像を用いて、ブレ補正画像と高周波ブレ画像を合成し、出力画像を生成する。

Po＝α×Pc＋（1−α）×Ph ・・・（１）

なお、Poは出力画像の画素値を示し、Pcはブレ補正画像の画素値を示し、Phは高周波ブレ画像の画素値を示し、αはマスク画像の画素値を示している。

合成部１７３は、生成した出力画像を後段の装置に出力する。その後、画像補正処理は終了する。

［効果のまとめ］
図１３は、図１２のマスク画像を用いて、図８のブレ補正画像と図１０の高周波ブレ画像とを合成することにより得られた出力画像を示している。図８のブレ補正画像と図１３の出力画像とを比較すると、図１３の出力画像の方が、特に中央の被写体の内部の陰影の変化がより細やかに表現され、解像度感が向上していることが分かる。

なお、図１４は、図１２のマスク画像を用いずに、図８のブレ補正画像と図１０の高周波ブレ画像とを合成した画像を示している。上述したように、図１０の高周波ブレ画像は、ブレ画像のテクスチャ成分だけでなく、中央の被写体のエッジおよびエッジのブレも含んでいる。従って、マスク画像を用いずに、図８のブレ補正画像と図１０の高周波ブレ画像とを合成すると、図１４に示されるように、画像の解像度感は向上するものの、ブレ画像のテクスチャ成分だけでなく、ブレ画像のエッジおよびエッジのブレまでもが重畳されてしまい、Artifactが発生してしまう。

一方、図１３の出力画像では、マスク画像を用いることにより、ブレ画像でエッジおよびエッジのブレが発生している領域において、高周波ブレ画像が減衰または除去されてブレ補正画像に合成される。従って、ブレ画像のエッジおよびエッジのブレによるArtifactは発生していない。

また、エッジ拡張画像の高周波成分を減衰させた画像をマスク画像として用いることにより、マスクの境界付近の画像の変化が不連続となり、不自然に見えてしまうことが抑制される。

図１５乃至図１７は、先に示した図２のブレ補正画像に対して、図６の画像補正処理を行った結果を示す図である。具体的には、図１５は、LPF１８１により図１のブレ画像の高周波成分を減衰させた画像を示している。図１６は、図１のブレ画像と、図１５の高周波成分が減衰されたブレ画像との差分をとった高周波ブレ画像を示している。図１７は、図示せぬマスク画像を用いて、図２のブレ補正画像と図１６の高周波ブレ画像とを合成した出力画像を示している。

図２のブレ補正画像と図１７の出力画像とを比較すると、図１７の出力画像の方が、特に中央の被写体の内部の模様の変化がより細やかに表現されており、解像度感が向上していることが分かる。

以上のようにして、ブレを補正することにより解像度感が低下した画像のテクスチャ成分を簡単かつ適切に復元し、画像の解像度感を向上させることができる。特に、ブレ補正画像においてテクスチャ成分がほとんど失われている場合、アンシャープマスク等を用いてポスト処理を行っても、ほとんど解像度感を向上させることはできないが、本発明では、そのような場合でも、テクスチャ成分を復元し、解像度感を向上させることが可能である。

＜２．変形例＞
なお、本発明では、上述した以外の方法を用いてブレを補正することにより解像度感が低下した画像についても、テクスチャ成分を復元し、解像度感を向上させることが可能である。

また、本発明では、マスク画像を用いなかったり、マスク画像の高周波成分を減衰させずに２値のマスク画像をそのまま用いたりしても、ブレ補正画像の解像度感を向上させることが可能である。ただし、上述したように、高周波成分を減衰させたマスク画像を用いることにより、出力画像の画質をより向上させることができる。

さらに、例えば、ブレ補正部１１１とテクスチャ復元部１１２を異なる装置に設けるようにしてもよい。

また、本発明は、例えば、画像を撮影し、記録するカメラや、撮影した画像を記録する記録装置や、撮影した画像を再生する再生装置などに適用することが可能である。

ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示している。

CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、及びRAM３０３は、バス３０４により相互に接続されている。

CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。

入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。

入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１８に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read OnlyMemory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０１ 画像処理装置， １１１ ブレ補正部， １１２ テクスチャ復元部， １５１ PSF演算部， １５２ 初期ブレ補正部， １５３ 畳込み演算部， １５４ 残差演算部， １５５ 相関演算部， １５６ 乗算部， １５７ トータルバリエーションフィルタ， １７１ テクスチャ抽出部， １７２ マスク生成部， １７３ 合成部， １８１ ローパスフィルタ， １８２ 減算部， １８３ 乗算部， １９１ エッジ抽出部， １９２ 拡張部， １９３ ローパスフィルタ

Claims (5)

1. ブレが発生しているブレ画像のテクスチャ成分を抽出するテクスチャ抽出手段と、
   前記ブレ画像のブレを補正したブレ補正画像に、前記テクスチャ抽出手段により抽出された前記ブレ画像のテクスチャ成分を合成する合成手段と
   を含む画像処理装置。
2. 前記ブレ補正画像のエッジを抽出し、抽出した前記ブレ補正画像のエッジを前記ブレ画像のブレが発生している方向に拡張し、拡張したエッジに含まれる画素を前記合成手段による合成範囲から除くための２値のマスク画像を生成するマスク生成手段を
   さらに含み、
   前記合成手段は、前記マスク画像を用いて、前記ブレ補正画像に前記ブレ画像のテクスチャ成分を合成する
   請求項１に記載の画像処理装置。
3. 前記マスク生成手段は、さらに前記マスク画像の所定の閾値より高い周波数成分を減衰させ、
   前記合成手段は、高周波成分が減衰された前記マスク画像を用いて、前記ブレ補正画像に前記ブレ画像のテクスチャ成分を合成する
   請求項２に記載の画像処理装置。
4. 画像処理装置が、
   ブレが発生しているブレ画像のテクスチャ成分を抽出し、
   前記ブレ画像のブレを補正したブレ補正画像に、抽出された前記ブレ画像のテクスチャ成分を合成する
   ステップを含む画像処理方法。
5. ブレが発生しているブレ画像のテクスチャ成分を抽出し、
   前記ブレ画像のブレを補正したブレ補正画像に、抽出された前記ブレ画像のテクスチャ成分を合成する
   ステップを含む処理をコンピュータに実行させるためのプログラム。

Images