JP2011071930A - 画像処理装置、撮像装置、画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することが可能な画像処理装置、撮像装置、画像処理方法、並びにプログラムを提供する。
【解決手段】撮像装置の信号処理部１４は、ボケた（劣化した）画像を畳み込みフィルタによって復元する機能を有し、信号処理部１４は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部１４１と、取得された画像情報によって逆畳み込みフィルタの係数を設定する係数設定部１４２と、逆畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部１４３と、を有する。そして、フィルタ処理部１４３は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
【選択図】図２

Description

本発明は、ボケ劣化した画像の復元処理機能を有する画像処理装置、撮像装置、画像処理方法、並びにプログラムに関するものである。

従来のボケた画像の復元回路では、ボケの光学特性Ｈ(x,y)の逆フィルタを作成し、入力画像に畳み込むことにより、ボケた画像を復元していた。
しかし逆フィルタの場合は、高周波のデータが増幅されるため、雑音が増幅されてしまう欠点があった。

その対策として、ウィナー（Ｗｉｅｎｅｒ）フィルタ(式１)が一般的に知られている（たとえば非特許文献１参照）

ここで、S_ff（ｕ、ｖ）とS_nn（ｕ，ｖ）は、それぞれ信号と雑音の電力スペクトルをそれぞれ示している。

画像処理論（土井康弘・安藤繁 著 ／ 昭晃堂 ／ 昭和55年6月15日発行）99ページ ウィーナフィルタリング

しかしながら、ウィナー（Wiener）フィルタは、画面全体一律に同じ処理がかけられるため、人間の目には過剰な低域フィルタリングとなり、解像感が低下する傾向がある。

本発明は、復元したいボケ画像のエッジを判別し、エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することが可能な画像処理装置、撮像装置、画像処理方法、並びにプログラムを提供することにある。

本発明の第１の観点は、劣化した画像を畳み込みフィルタによって復元する画像処理装置であって、前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、前記フィルタ処理部は、前記画像の局所的な領域において、該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う。

好適には、前記形状情報とは平坦部かエッジ部や細部に基づいた情報である。

好適には、前記係数設定部は、前記画像の局所的な領域が平坦部と判断された場合、前記畳み込みフィルタがウィナーフィルタの特性を発現するように前記係数を設定する。

好適には、前記画像情報取得部は、雑音情報を取得可能であり、前記係数設定部は、前記形状情報と前記雑音情報とを用いたファジー推論によって前記係数を設定する。

好適には、前記係数設定部は、前記ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば前記画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する。

好適には、前記係数設定部は、前記ファジー推論によって、エッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。

好適には、前記係数設定部は、前記ファジー推論によって、雑音の重畳が無いもしくは少なく且つエッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおけるＰＳＦのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。

本発明の第２の観点の撮像装置は、光学系と、前記光学系を通過した被写体像を撮像し、画像信号を出力する撮像素子と、前記撮像素子の画像信号に画像処理を行い、劣化した画像を畳み込みフィルタによって復元する画像処理装置と、を有し、前記画像処理装置は、前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、前記フィルタ処理部は、前記画像の局所的な領域において、該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う。

本発明の第３の観点は、劣化した画像を畳み込みフィルタによって復元する画像処理方法であって、前記画像から少なくとも形状情報を含む情報を取得する取得ステップと、前記画像情報によって前記畳み込みフィルタの係数を設定する設定ステップと、前記畳み込みフィルタによるフィルタリング処理を行う処理ステップと、を有し、前記処理ステップでは、前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う。

本発明の第４の観点は、劣化した画像を畳み込みフィルタによって復元する画像処理であって、前記画像から少なくとも形状情報を含む情報を取得する取得処理と、前記画像情報によって前記畳み込みフィルタの係数を設定する設定処理と、前記畳み込みフィルタによるフィルタリング処理を行うフィルタリング処理と、を実行し、前記フィルタリング処理では、前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う画像処理をコンピュータに実行させるプログラムである。

本発明によれば、復元したいボケ画像のエッジを判別し、エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。 本実施形態に係る信号処理部の構成例を示す機能ブロック図である。 局所領域の情報取得の例を示す図である。 形状情報のみを用いる場合の信号処理部の処理を説明するためのフローチャートである。 効果確認に使用した理想画像を示す図である。 効果確認に使用したボケ画像（ガウス性雑音加算）を示す図である。 一般の畳み込みフィルタによる復元画像を示す図である。 ウィナー（Wiener）フィルタによる復元画像を示す図である。 本発明の実施形態に係る畳み込みフィルタによる復元画像を示す図である。 雑音情報および形状情報のファジー集合を示す図である。 本実施形態に係るファジーテーブルを示す図である。 ＰＳＦの一例を示す図である。 ＰＳＦ適用し、ガウス性雑音を重畳した画像を用いた結果の一部を示す第１図である。 ＰＳＦ適用し、ガウス性雑音を重畳した画像を用いた結果の一部を示す第２図である。 パラメータｎａのみを変化させたときのＭＳＥ特性を示す図である。 本方法と比較対象の従来のウィナーフィルタの適用結果を示す第１図である。 本方法と比較対象の従来のウィナーフィルタの適用結果を示す第２図である。 本方法と比較対象の従来のウィナーフィルタの適用結果を示す第３図である。 本方法と比較対象の従来のウィナーフィルタの適用結果を示す第４図である。 本方法と比較対象の従来のウィナーフィルタの適用結果を示す第５図である。 本方法と比較対象の従来のウィナーフィルタの適用結果を示す第６図である。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。

撮像装置１０は、図１に示すように、光学系１１、撮像素子１２、アナログ／デジタル（Ａ／Ｄ）変換部１３、および信号処理部（復元処理部）１４を有する。

撮像装置１０は、光学系に収差制御部（収差制御面、または収差制御素子）を適用し、収差を意図的に発生させ、復元処理を行う、焦点深度拡張機能を有する。

光学系１１は、被写体に対向するレンズ１１１および収差制御素子１１２を含み、このレンズ１１１および収差制御素子１１２により被写体ＯＢＪの光学像を集光して、撮像素子１２の撮像面上に被写体の像を結像する。

撮像素子１２で撮像される被写体分散像は、収差制御素子１１２により撮像素子１２の像面上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
撮像素子１２は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子により形成され、光学系１１を通った被写体ＯＢＪの光学像を受けて画像信号に変換し、Ａ／Ｄ変換部１３に出力する。

Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログ信号をデジタル信号に変換し、デジタル画像信号Ｓ１３を信号処理部１４に出力する。

画像処理装置の一部を形成する信号処理部１４は、前段のＡ／Ｄ変換部１３からくる撮像画像のデジタル信号を入力し、エッジ強調等の画像処理を施し、光学系１１の収差により低下したコントラストを向上させボケた画像を復元し、後段の処理部に出力する。

以下、信号処理部１４の具体的な画像復元機能について説明する。
カメラで撮影して得られる画像は、ボケや雑音の重畳などで劣化している。ボケにより劣化した画像を復元する方法として、ボケの原因となるレンズの点広がり関数（ＰＳＦ）を利用したウィナーフィルタがある。
ウィナーフィルタは、理想画像と推定画像との２乗誤差を最小にするフィルタであり、雑音重畳画像にも対応できるフィルタである。
しかしながら、ウィナーフィルタは画像に対して一律の処理、すなわち時不変処理となるため、設定した係数によってはボケの復元効果がなく、さらに雑音の強調をしてしまう場合がある。
本実施形態では、画像から得られる情報によって局所領域毎に適切なフィルタ係数を設定するウィナーフィルタを適用する。
本実施形態に係る方法は、画像から取得した形状情報を用い復元関数を導き出すことにより、エッジ情報を残したまま雑音のない画像を簡易な計算処理で復元することができるように構成されている。
さらに、本実施形態においては、雑音情報と形状情報を用いて、ファジー推論によって係数を決定する。そして、ファジー集合のパラメータを変化させることにより、最適なパラメータを導き出し、復元関数を導き出すことによって、さらに精度よくエッジ情報を残したまま雑音のない画像を復元することを可能に構成されている。

上述したように、本実施形態の信号処理部１４は、ボケて劣化した画像を逆畳み込みフィルタによって復元する機能を有している。

図２は、本実施形態に係る信号処理部１４の構成例を示す機能ブロック図である。
図２は、信号処理部１４は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部１４１と、所得された画像情報によって畳み込みフィルタの係数を設定する係数設定部１４２と、畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部１４３と、を有する。
そして、フィルタ処理部１４３は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
ここで、形状情報とは平坦部かエッジ部や細部に基づいた情報である。

係数設定部１４２は、画像の局所的な領域が平坦部と判断された場合、畳み込みフィルタがウィナーフィルタの特性を発現するように係数を設定する。

また、画像情報取得部１４１は、形状情報に加えて雑音情報を取得可能である。
そして、係数設定部１４２は、形状情報と雑音情報とを用いたファジー推論によって係数を設定する機能を有している。
この場合、係数設定部１４２は、ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する。

また、係数設定１４２部は、ファジー推論によって、エッジ部や細部であると推定されれば画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。

また、係数設定部１４２は、ファジー推論によって、雑音の重畳が無いもしくは少なくかつエッジ部や細部であると推定されれば画像を撮影した撮像レンズにおけるＰＳＦのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する。

以下に、信号処理部１４０の具体的に処理を、形状情報に基づく復元処理と、形状情報および雑音情報に基づく復元処理とに分けて説明する。

［形状情報に基づく復元処理］
まず、形状情報に基づく復元処理について説明する。
信号処理部１４０は、局所領域において、復元すべきボケ画像のエッジを判別する。
平坦部にはウィナーフィルタを、エッジ部には、通常の畳み込みフィルタを掛ける。
本実施形態では、エッジの判定係数Ｋを用い、以下の畳み込みフィルタ（式２）を使用する。

エッジの判定係数Ｋは原信号近傍の平坦部や、エッジ部等の形状に関する情報が得ることができ、次式（式３，式４）で与えられる。

ここで、var（i,j）はフィルタ窓内のデータの局所分散を示し，σ_n ²（i,j）は原信号の推定分散を示している。

情報の取得は、図３に示すように、局所領域ＬＡＲにおいて、この部分の画像は平坦部であるか、エッジ部であるか、細部であるかを判別することによる。
形状情報では、局所領域ＬＡＲ内が平坦部か非平坦部であるかの判別を行う。
平坦であれば、S_nn／S_ffの影響を大きくし、その逆の場合は小さくする。

図４は、形状情報のみを用いる場合の信号処理部の処理を説明するためのフローチャートである。

信号処理部１４０は、注目点周辺の局所領域でのエッジ判定係数Ｋを算出する（ＳＴ１）。
次に、エッジ判定係数Ｋを用いて、注目点における畳み込みフィルタを作成する（ＳＴ２）。
注目点の周辺データと畳み込みフィルタを用いて、畳み込み演算を行う（ＳＴ３）。
以上の処理を全ての画素の計算が終わるまで行う（ＳＴ４）。

図５の理想画像を用いて効果の確認を行った。
図６は、図５の理想画像に対し、Ｈ（x,y）の光学特性を掛け合わせて作成したボケ画像であり、センサ部である撮像素子１２において雑音が加算されることをシミュレーションするため、ガウス性の雑音を加算している。
図７は一般の畳み込みフィルタによる復元画像であるが、人物の肌部分など、雑音が目立っていることがわかる。
また、図８はウィナーフィルタによる復元画像であり、雑音は抑えられているが、全体的に解像感が甘くなっていることがわかる。
これに対し、図９が本実施形態の畳み込みフィルタによる復元画像であるが、肌部分の雑音を抑えつつ目や帽子のエッジ部分の解像感を残していることがわかる。

［形状情報および雑音情報に基づく復元処理］
まず、ウィナーフィルタについて再度考察する。
ウィナーフィルタは、次式においても示すことができる。

ここで、雑音が存在しないときにはS_nnは0となり、（式５）は次のようになる。

すなわち、雑音が無いときにはウィナーフィルタは理想的なインバースフィルタとなることが分かる。
また、雑音がある時には雑音の状況が推定できればＭが推定できることが分かる。
よって、何らかの情報によってS_nn／S_ffが推定できれば画素毎に適切なフィルタ係数が与えられる。
なお、一般的に数値計算用のプログラム等ではこのウィナーフィルタのS_nn／S_ffの係数に対して数値を与えるようになっている。
つまり、雑音の重畳具合も分からず，理想画像も無い状態では人の感覚によって係数を与えており、必ずしもシステマティックに与えているとは言いがたい。
そこで、本実施形態においては、この係数をシステマティックに与える方法を実現している。

本実施形態においては、（式５）に示すウィナーフィルタの式におけるS_nn／S_ffの項に対して処理点とその近傍領域からの情報からウィナーフィルタの相関に関する項の係数を与える。
具体的には、画像の雑音情報および形状情報を参照して雑音の除去、およびボケの復元を行うフィルタを作成する。
つまり、（式５）を（式７）のように書き直す。

ここで(式７)式のＸ()の部分を求めることが本実施形態の特徴的な部分である。
なお、ここで、Ｆ()は出力画像を，Ｈ（）はＰＳＦを，Ｇ()は劣化画像を表す。S_nn()は雑音画像の自己相関関数を、S_ff()は理想画像の自己相関関数を表す。
また、Ｘ()を画像情報と呼び、局所領域の雑音情報と形状情報に応じた値が入る。
この２つの情報は各々、以下のように算出される。

雑音情報は局所領域にどれだけの雑音が重畳しているか、および、上述したように、局所領域が平坦部かエッジや細部かを判断する情報である。
つまり、局所領域内に雑音があり平坦部であれば極力ウィナーフィルタの係数を大きくし、その逆であれば小さくすれば良い。
この２つの情報は、（式８）によって算出される。

ここでｇ(x,y)はフィルタ窓内のデータを、ｇ(x0,y0)はフィルタ窓内の中心画素のデータをεは雑音の閾値を表す。また、得られたＮ(x,y)の平均値ｎ(x,y)を雑音情報として用いる。
また、形状情報は既に示した（式３）、（式４）で算出される。

本実施形態では、ガウス性雑音としてσ_n ²に１００を与える。
一般的にガウス性雑音の場合σ_n ²として１００〜４００程度であるが、本実施形態ではカメラからの取得画像であり、撮像素子１２における暗電流などの影響を考えても大体σ_n ²が１００0程度が妥当であるとしている。
しかしながら、この２つの情報は各々独立している情報であるため、この２つの情報を関連付けることが必要となる。
本実施形態においては、この２つの情報を関連付けるためにファジー推論を用いる。

前述したように，局所領域内に雑音があり、かつ平坦であればウィナーフィルタの係数を大きくし、その逆であれば小さくするというルールを作る。このとき、ファジー推論のルールは以下のように表すことができる。

ここでｋ()とｎ()の｛平坦，非平坦｝、｛雑音無，雑音有｝は各々のファジー集合であり、図１０（Ａ）および（Ｂ）に示すように表される。
図１０（Ａ）が雑音情報のファジー集合を示し、図１０（Ｂ）が形状情報のファジー集合を示している。
このファジー集合はｋａ，ｋｂまたはｎａ，ｎｂによって変化させることができる。
求められたファジー集合の適合度から、非ファジー化手続きを経てウィナーフィルタの係数を得る事ができる（非特許文献２：L.A.Zadeh，“Fuzzy Sets and Applications”，John Wiley＆Sons. Inc.，1987参照）。

図１１は、本実施形態に係るファジーテーブルを示す図である。
図１１は、(式９)式と後件部実数値をまとめたものを示している。

図１１の例では、平坦で雑音無しの場合「０．５」、平坦で雑音が有る場合「２．０」、非平坦（エッジ）で雑音無しの場合「０．０２」、非平坦で雑音が有る場合「１．５」が与えられる。
すなわち、平坦であれば大きく、その逆ならば小さくする。雑音があれば大きく、その逆ならば小さくする。
求められたファジー集合の適合度から，非ファジー化手続きを経て，S_nn() / S_ff() を得る。
以上によって、処理点の近傍領域の情報から適切なウィナーフィルタの係数がシステマティックに求めることができる。

次に、本実施形態に係る形状情報と雑音情報を用いた方法の適用例について説明する。

［ファジー集合のパラメータの決定］
本実施形態のウィナーフィルタの係数を求める方法では、形状情報と雑音情報に対するファジー集合の設定によりその性質が変化する。
ここでは、従来のウィナーフィルタと同等程度の出力を得ることを目標として考える。
このとき、ウィナーフィルタに与えるＰＳＦは図１２に示すようなＰＳＦとする。これはガウス関数を簡略化したものである。ここではこれを用いて種々の画像に対し適用する。

また、劣化画像は理想画像に対し、図１２のＰＳＦを適用し、その後ガウス性雑音を重畳した画像を用いる。
ファジー集合のパラメータは実験的手法によって求める（非特許文献３：木村誠聡，浜田悟史，田口亮，村田裕，“ELSEルールを加えたファジーフィルタ”，電子情報通信学会論文誌(A)，Vol.J79-A,No.2，PP.1649-1651，Sep.，1996）。

図１３および図１４は、ＰＳＦ適用し、ガウス性雑音を重畳した画像を用いた結果の一部を示す図である。

図１３は、雑音情報のファジー集合を固定化し、形状情報のパラメータを動かした結果の一部である。
ｋａ＝０，ｋｂ＝０．１のとき、ｋ()の非平坦の範囲が広く処理点はエッジや細部が多いと判断される。
逆にｋａ＝０．９，ｋｂ＝１の場合はｋ()の平坦の範囲が広く処理点は平坦部と判断される。
図１３より、エッジ部や細部と判断された場合、雑音はあまり平滑化されず、エッジが良く保存されていることが分かる。
また、平坦と判断された場合、雑音は平滑化されているものの、エッジの保存性は良くないことが分かる。
同様にｋａ，ｋｂを全体的に動かしたとき、形状情報は主観的に大体ｋａ＝０．２〜０．４，ｋｂ＝０．６〜０．８程度で良い結果が得られる。

図１４は、形状情報のファジー集合を固定し，雑音情報のファジー集合を変化させたときの結果の一部である。
ｎａ＝０，ｎｂ＝１のときにはｎ()の雑音有の範囲が広く処理点と近傍領域には雑音がかなり重畳していると判断される。
逆にｎａ＝２４，ｎｂ＝２５のときにはｎ()の雑音無の範囲が広く処理点と近傍領域には雑音がほとんど無いと判断される。
図１４より、雑音が重畳されていると判断された場合、雑音は平滑化されるものの、エッジや細部が劣化していることが分かる。
逆に雑音が無いと判断された場合雑音は除去されておらず、エッジや細部が保存されていることが分かる。

以上より雑音情報のｎａ，ｎｂを同様に全体的に動かしたとき、主観的に大体ｎａ＝０〜８，ｎｂ＝１０〜１５程度が適当である考察される。

ファジー推論の特徴として、以上のように広い範囲において適当と考えられるパラメータが存在しているため、入力情報に対してロバストなフィルタであると言える。
このことは、図１５に示すようにｎａのみを変化させたとき、ｎａが大体７〜１３程度で最小のＭＳＥから２％程度しか変化しないことからも明らかである。
以上より、本稿ではファジー集合のパラメータを各範囲の中心程に定めｋａ＝０．３，ｋｂ＝０．７，ｎａ＝４，ｎｂ＝１２と決定する。
以後の適用例ではこのパラメータを用いる。

［種々の雑音が重畳した画像に対する適用例］
上述したＰＳＦを用いた適用例から、本実施形態に係る方法におけるファジー集合のパラメータを適切に設定することで、ウィナーフィルタに対して適当な係数を与えると考察される。
以下ではこのことを示すために種々の雑音重畳画像に対し本方法を適用する。
比較対象の方法として従来の固定値パラメータを与えたウィナーフィルタを用いる。ここで従来法のウィナーフィルタの固定係数を０．１と定める。

図１６から図２１までが本方法と比較対象の従来のウィナーフィルタの適用結果である。
図１６から図２１において、（Ａ）は元画像を、（Ｂ）は劣化画像を、（Ｃ）は従来のウィナーフィルタを適用した場合の画像を、（Ｄ）は本方法を適用した場合の画像を、それぞれ示している。

図１６（Ａ）〜（Ｄ）は、雑音をまったく重畳させない画像に対して、双方の方法を適用したものである。
本方法は従来法に比べＭＳＥ(Mean Square Error)で劣っており、主観的にもエッジ部がやや劣化していることが分かる。
図１７（Ａ）〜（Ｄ）は、σ＝５の場合であるが、図１６の場合と同様である。

しかし、図１８（Ａ）〜（Ｄ）に示すように、σ＝１０程度から従来法と本方法の差が小さくなり、主観的には本方法の方が雑音が平滑化されエッジも保存されていると言える。
これに対して、従来法は、ＭＳＥは良いものの、主観的には雑音が強調され、雑音によって画像が劣化していると言える。
σ＝１５以上の図１９〜図２１の場合、その傾向が強く出ており、本方法がエッジを保存しつつ雑音を除去できている。
また、ＭＳＥの値も本方法の方が優れていることが明らかである。

これにより、本方法は各画素に対して適切なウィナーフィルタの係数を与えており、本方法が従来法に対して優位性がある。
このことは、従来法の係数の決定は人による感覚で毎回決める必要があり、どれが適切なパラメータであるかの決定が困難であるものの、本方法は種々の画像の適用例からもそのファジー集合のパラメータはロバストであり、つまりシステマティックに決定していることからも伺える。

以上説明したように、本実施形態によれば、撮像装置１０の信号処理部１４は、ボケた（劣化した）画像を畳み込みフィルタによって復元する機能を有している。
信号処理部１４０は、画像から少なくとも形状情報を含む情報を取得する画像情報取得部１４１と、取得された画像情報によって畳み込みフィルタの係数を設定する係数設定部１４２と、畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部１４３と、を有する。
そして、フィルタ処理部１４３は、画像の局所的な領域において、この局所的な領域の画像情報に応じた係数によってフィルタリング処理を行う機能を有している。
したがって、本第１の実施形態によれば、以下の効果を得ることができる。

本実施形態によれば、エッジ部の解像感を復元しつつ、平坦部では復元を抑え雑音感を低減することができる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

１０・・・撮像装置、１１・・・光学系、１２・・・撮像素子、１３・・・アナログ／デジタル（Ａ／Ｄ）変換部、１４・・・信号処理部、１４１・・・画像情報取得部、１４２・・・係数設定部、１４３・・・フィルタ処理部。

Claims (16)

1. 劣化した画像を畳み込みフィルタによって復元する画像処理装置であって、
   前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、
   前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、
   前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、
   前記フィルタ処理部は、
   前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
   画像処理装置。
2. 前記形状情報とは平坦部かエッジ部や細部に基づいた情報である
   請求項１に記載の画像処理装置。
3. 前記係数設定部は、
   前記画像の局所的な領域が平坦部と判断された場合、前記畳み込みフィルタがウィナーフィルタの特性を発現するように前記係数を設定する
   請求項２に記載の画像処理装置。
4. 前記画像情報取得部は、
   雑音情報を取得可能であり、
   前記係数設定部は、
   前記形状情報と前記雑音情報とを用いたファジー推論によって前記係数を設定する
   請求項１に記載の画像処理装置。
5. 前記係数設定部は、
   前記ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば前記画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する
   請求項４に記載の画像処理装置。
6. 前記係数設定部は、
   前記ファジー推論によって、エッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
   請求項４に記載の画像処理装置。
7. 前記係数設定部は、
   前記ファジー推論によって、雑音の重畳が無いもしくは少なく且つエッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおけるＰＳＦのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
   請求項５または６に記載の画像処理装置。
8. 光学系と、
   前記光学系を通過した被写体像を撮像し、画像信号を出力する撮像素子と、
   前記撮像素子の画像信号に画像処理を行い、劣化した画像を畳み込みフィルタによって復元する画像処理装置と、を有し、
   前記画像処理装置は、
   前記画像から少なくとも形状情報を含む情報を取得する画像情報取得部と、
   前記画像情報によって前記畳み込みフィルタの係数を設定する係数設定部と、
   前記畳み込みフィルタによるフィルタリング処理を行うフィルタ処理部と、を有し、
   前記フィルタ処理部は、
   前記画像の局所的な領域において、該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
   撮像装置。
9. 劣化した画像を逆畳み込みフィルタによって復元する画像処理方法であって、
   前記画像から少なくとも形状情報を含む情報を取得する取得ステップと、
   前記画像情報によって前記畳み込みフィルタの係数を設定する設定ステップと、
   前記畳み込みフィルタによるフィルタリング処理を行う処理ステップと、を有し、
   前記処理ステップでは、
   前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
   画像処理方法。
10. 前記形状情報とは平坦部かエッジ部や細部かに基づいた情報である
    請求項９に記載の画像処理方法。
11. 前記設定ステップは、
    前記画像の局所的な領域が平坦部と判断された場合、前記畳み込みフィルタがウィナーフィルタの特性を発現するように前記係数を設定する
    請求項１０に記載の画像処理方法。
12. 前記取得ステップは、
    雑音情報を取得可能であり、
    前記設定ステップは、
    前記形状情報と前記雑音情報とを用いたファジー推論によって前記係数を設定する
    請求項９に記載の画像処理方法。
13. 前記設定ステップは、
    前記ファジー推論により、雑音が重畳していないもしくは雑音の重畳が少ないと推定されれば前記画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、雑音が多いと推定されればウィナーフィルタの特性が強くなる係数を設定する
    請求１１に記載の画像処理方法。
14. 前記設定ステップは、
    前記ファジー推論によって、エッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおける点広がり関数（ＰＳＦ）のインバースフィルタに近くなる係数を、平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
    請求項１２に記載の画像処理方法。
15. 前記設定ステップは、
    前記ファジー推論によって、雑音の重畳が無いもしくは少なく且つエッジ部や細部であると推定されれば前記画像を撮影した撮像レンズにおけるＰＳＦのインバースフィルタに近くなる係数を、雑音が多くかつ平坦部と推定されればウィナーフィルタの特性が強くなる係数を設定する
    請求項１３または１４に記載の画像処理方法。
16. 劣化した画像を畳み込みフィルタによって復元する画像処理であって、
    前記画像から少なくとも形状情報を含む情報を取得する取得処理と、
    前記画像情報によって前記畳み込みフィルタの係数を設定する設定処理と、
    前記畳み込みフィルタによるフィルタリング処理を行うフィルタリング処理と、を実行し、
    前記フィルタリング処理では、
    前記画像の局所的な領域において、当該領域の前記画像情報に応じた前記係数によって前記フィルタリング処理を行う
    画像処理をコンピュータに実行させるプログラム。