JP5983373B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

デジタルカメラなどで撮影した画像では、周辺部の分解能が劣化していることが多い。レンズ光学系の収差や開口サイズの画角依存性のため、光軸中心部に対して周辺部の分解能が劣化する傾向がある。劣化の要因のひとつとして開口のけられがある。画角が大きいところでは、半径方向の開口がけられ、楕円の開口となりボケが生じる。このため半径方向の分解能が劣化してしまう。

この分解能の劣化に対し、例えば、入射する光の角度によるＰＳＦ（Point Spread Function）の変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある（例えば特許文献１参照）。

特開２０１２−２３４９８号公報

ここで、分解能は、方向によって異なるという性質を有する。以降では、これを分解能の異方性と呼ぶ。例えば、光軸を中心とした半径方向と、円周方向とでは、分解能が異なる。

しかしながら、従来技術では、画像の位置に応じて異なるフィルタリングを行ってボケを補正するが、この方法では分解能の異方性を改善することはできない。

一方で、デジタルカメラなどのハードウェアにフィルタリングを実装するために、有限の空間フィルタで畳み込んで補正が行われる。これは、フーリエ変換などの周波数領域での演算は処理量が大きいからである。しかし、異方性を有する空間フィルタを有限の要素数に制限することにより、高周波成分の劣化が方向によって異なり、方向によるモアレが発生してしまう。

一方で、有限の空間フィルタで畳み込んで補正が行われる際、処理の低コスト化としてさらなる要素数の削減の要求がある。例えば、ハードウェアに有限の空間フィルタを実装する場合、空間フィルタの大きさを所定の要素数（例えば５×５）以下に削減したいというニーズがある。要素数が２倍になると、計算量は４倍になってしまうため、空間フィルタのサイズは、所定の要素数以下とするのが望ましい。

しかしながら、空間フィルタの要素数が小さくなると、ボケを表すＰＳＦの大きさが空間フィルタの要素数よりも大きくなることがある。この場合、ボケの情報量が欠落してしまい、分解能の異方性や、モアレの発生を防ぐことができなくなる。

そこで、開示の技術では、分解能の異方性を有する空間フィルタを所定の要素数以下に有限化する際、画質が劣化することを防止することができる画像処理装置、情報処理方法及びプログラムを提供することを目的とする。

開示の一態様における画像処理装置は、画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出する算出部と、前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する生成部と、を備える。

開示の技術によれば、分解能の異方性を有する空間フィルタを所定の要素数以下に有限化する際、画質が劣化することを防止することができる。

光学系の一例を示す図。 画像位置に応じた開口の例を示す図。 画像位置に応じたボケの方向を示す図。 楔形チャートを用いる場合の分解能を説明するための図。 楔形チャートで分解能を計測した結果を示す図。 撮影画像位置による劣化を示す図。 撮影画像端部の楔形チャートの一例を示す図。 図７に示す楔形チャートの分解能分析結果を示す図。 撮影画像中央部の楔形チャートの一例を示す図。 図９に示す楔形チャートの分解能分析結果を示す図。 ボケ関数をフーリエ変換したときの特性例を示す図。 Ｋ（ω）の逆数を示す図。 一定値を分母に足した場合の逆フィルタを示す図。 高周波ほどゲインを落とす場合の逆フィルタを示す図。 楕円のＰＳＦの一例を示す図。 楕円のボケ関数をフーリエ変換したときの特性例を示す図。 Ｋ（ω，θ）の逆数を示す図。 一定値を分母に足した場合の逆フィルタを示す図。 高周波ほどゲインを落とす場合の逆フィルタを示す図。 分解能の異方性を改善するための逆フィルタの一例を示す図。 空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図。 回転を説明するための図。 逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図。 逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図。 係数分析部の機能の一例を示すブロック図。 ＰＳＦを算出する手順を説明するための図。 １２個のチャートを撮影した画像の一例を示す図。 空間フィルタテーブルの一例を示す図。 空間フィルタの一例を示す図。 有限の空間フィルタの強度を示す図。 補正画像に発生したモアレの一例を示す図。 有限空間フィルタで補正した画像の分解能分析結果を示す図。 モアレの発生を抑制して補正した画像の分解能分析結果を示す図。 画像のボケを表すＰＳＦの一例を示す図。 ＰＳＦの大きさの一例を示す図。 ＰＳＦが要素数よりも小さいことを想定して生成された画像補正の構成例を示す図。 ＰＳＦの大きさよりも空間フィルタの要素数が小さい場合の、補正後の分解能分析結果の一例を示す図。 実施例１における複数段のフィルタの一例を示す図。 実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。 実施例１におけるフィルタ制御部及びフィルタ処理部の概略構成（その１）の一例を示すブロック図。 注目画素の線形補間を説明するための図。 実施例１におけるフィルタ制御部及びフィルタ処理部の概略構成（その２）の一例を示すブロック図。 空間フィルタＦ９'の各画素での強度（その１）を示す図。 空間フィルタＦ９'の各画素での強度（その２）を示す図。 空間フィルタＦ９の各画素での強度を示す図。 分割方法１による複数段の空間フィルタの求め方を説明する図。 分割方法１に対する考察を説明する図。 分割方法１による補正結果を示す図。 分割方法２を説明する図。 分割方法３を説明する図。 分割方法４を説明する図。 分割方法５の概要を説明する図。 分割方法５による複数段のフィルタの算出例を説明する図。 空間フィルタＦ５の各画素での強度を示す図。 空間フィルタＦ５'の各画素での強度を示す図。 実施例１における補正画像の生成を説明する図。 分割方法５による補正後の画像の分解能分析結果を示す図。 所定の要素数とボケの大きさとの関係（その１）を示す図。 所定の要素数とボケの大きさとの関係（その２）を示す図。 ゲインを乗算する場合の補正画像の生成を説明する図。 実施例１におけるフィルタ処理部の概略構成の別例を示すブロック図。 実施例１におけるフィルタ生成処理の一例を示すフローチャート。 実施例１におけるゲイン決定処理の一例を示すフローチャート。 分解能の補正前後のノイズの一例を示す図。 輝度低下を説明する図。 コアリング処理による振幅劣化を説明する図。 コアリング処理を適用した画像の分解能分析結果を示す図。 実施例２における輝度値の入出力関係の一例を示す図。 実施例２におけるフィルタ処理部の概略構成の一例を示すブロック図。 実施例２における補正画像の生成処理（その１）を説明する図。 実施例２におけるゲインの決定（その１）を説明する図。 実施例２における効果（その１）を説明する図。 実施例２における効果（その２）を説明する図。 実施例２における閾値処理後の画像の分解能分析結果を示す図。 実施例２における補正画像生成処理の一例を示すフローチャート。 実施例２におけるゲイン決定処理（その１）の一例を示すフローチャート。 実施例２におけるゲイン決定処理（その２）の一例を示すフローチャート。 実施例２における補正画像の生成処理（その２）を説明する図。 実施例２における補正画像の生成処理（その３）を説明する図。 実施例２における補正画像の生成処理（その４）を説明する図。 実施例２におけるゲインの決定の別例について説明する図。 実施例３における画像処理装置の概略構成の一例を示すブロック図。 チャート（その１）の例を示す図。 チャート（その２）の例を示す図。 チャート（その３）の例を示す図。

まず、分解能劣化の一つの要因について、図１〜３を用いて説明する。図１は、光学系の一例を示す図である。図２は、画像位置に応じた開口の例を示す図である。図１に示す光学系を用いる場合、図２に示すように、光軸中心での開口は円形であるが、画角が大きい場合の開口はけられが生じる。図２に示すように、画像位置によって開口は楕円となる。

図３は、画像位置に応じたボケの方向を示す図である。図１に示す光学系を用いる場合、図３に示すように、開口が狭くなると分解能が劣化するので、ボケの方向は半径方向に劣化する傾向がある。

次に、発明者らが行った分解能の分析について説明する。放射状にエッジが分布するシーメンスター（以下、チャートとも呼ぶ）の撮影により、分解能の劣化の傾向が詳細に分析できる。

図４は、楔形チャートを用いる場合の分解能を説明するための図である。図４に示す例では、矢印方向に分解能を計測するには、この方向と垂直な方向に複数データを取得する。図４に示す楔形のシーメンスターを用いる場合、端部から中心部に向かうほど、ライン幅が狭くなり、単位ピクセル当りのライン数は多くなる。中心部は、高周波成分を表す。また、端部から中心部に向かうほど、輝度値の振幅（Intensity）は減少する。

図４に示すように、放射状に広がる、例えば楔形形状の被写体を用いることで、方向による分解能（ＭＴＦ：Modulation Transfer Function）を分析することが可能になる。

図５は、楔形チャートで分解能を計測した結果を示す図である。図５は、図４に示す方向で分解能を計測したグラフを示す。図５に示す縦軸は輝度値の振幅を示し、横軸は１ピクセル当りのライン数（ＬＰ：Line Pair）を示す。この分析では、振幅は、中心部へ向かうほど小さくなり、高周波成分（横軸右方向）になるほど劣化していく様子（ＭＴＦ）を分析できる。

図６は、撮影画像位置による劣化を示す図である。図６に示す例では、シーメンスターを複数枚並べて撮影すると、中央部に対し、端部での分解能の劣化を分析できる。図６に示す例では、Ｄｘ方向は円周方向、Ｄｙ方向は半径方向を示す。Ｄｘ方向とＤｙ方向の定義は、以降の図においても同様である。

図６に示す分析の結果、画像端部を含む周辺部では、単に分解能が劣化しているだけでなく、分解能に異方性があることが分かる。シーメンスターの分解能を比較すると、中央部では、角度依存が少ないが、端部では、角度依存がある。

図７は、撮影画像端部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。

図８は、図７に示す楔形チャートの分解能分析結果を示す図である。図８に示すように、半径方向の分解能が円周方向よりも分解能が劣化している。これにより、画像端部では、分解能に異方性があることが分かり、その分解能を定量的に測定することが可能である。

図９は、撮影画像中央部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。

図１０は、図９に示す楔形チャートの分解能分析結果を示す図である。図１０に示すように、半径方向の分解能と、円周方向の分解能とは、それほどの違いはない。よって、画像中央部では、分解能の異方性は見られない。

ここで、上記のような分解能劣化を含むボケを補正するには、点広がり関数（ＰＳＦ）を用いて補正する手法がある。ＰＳＦは、例えばボケを表す関数である。以降では、ボケを表す関数をボケ関数とも呼ぶ。

元画像をｘ，ＰＳＦをｋとすると、ボケ画像ｙは、ｘとｋを畳み込みした画像となり、下記で表される。

実際にはノイズｎが含まれるが、ここでは説明を簡単にするため省略する。

式（１）は、フーリエ変換されると、式（２）になる。

ω：空間周波数
次に、逆フィルタＫ_ｉｎｖは、単純に求めようとすると、Ｋの逆数で求められる。

これより、元画像のフーリエ変換Ｘ（ω）は、式（４）で求められ、これを逆フーリエ変換することにより元画像が算出される。

このようにＰＳＦをフーリエ変換し、逆数による逆フィルタ関数（以下、単に逆フィルタとも呼ぶ）を算出する際に、空間周波数での割り算を行うため、高周波領域で０割が生じてしまう場合がある。０割とは、０又は０に近い値で割り算することである。高周波が０に近いと逆数が大きくなりすぎ、高周波のノイズが強調されてしまう。

図１１は、ボケ関数をフーリエ変換したときの特性例を示す図である。図１１は、Ｋ（ω）を示し、高周波では０に近くなる。

図１２は、Ｋ（ω）の逆数を示す図である。図１２は、式（３）によるＫ_ｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。

逆フィルタは、複素数なので、共役複素数を用いて表す。

図１３は、一定値を分母に足した場合の逆フィルタを示す図である。図１４は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１３や図１４に示すように、周波数成分ごとに重みを加えてノイズを低減する。

ここで、ＰＳＦが楕円の場合について考える。図１５は、楕円のＰＳＦの一例を示す図である。図１５に示す例では、Ｄｘ方向よりもＤｙ方向の方が、分解能が悪いことを示す。つまり、Ｄｙ方向の方が、Ｄｘ方向よりも分解能が劣化している。

楕円のＰＳＦは、ｋ（ｒ，θ）で表される。ｒは半径を表し、θは方向を表す。例えば、楕円のＰＳＦは、半径ｒと方向θの関数として表される。楕円のＰＳＦをフーリエ変換すると、Ｋ（ω，θ）＝ｆｋ（ｒ，θ）となる。ｆは、フーリエ変換を表す。例えば、フーリエ変換後のＫ（ω，θ）は、空間周波数ωと方向θの関数である。

図１６は、楕円のボケ関数をフーリエ変換したときの特性例を示す図である。図１６は、図１５のボケ関数の用いており、方向θによって特性が異なる。図１６に示すように、Ｄｘ方向と、分解能が悪いＤｙ方向とでは、その特性が異なることが分かる。

図１７は、Ｋ（ω，θ）の逆数を示す図である。図１７は、式（７）によるＫ_ｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。式（８）は、高周波のノイズを低減する逆フィルタを表す。

図１８は、一定値を分母に足した場合の逆フィルタを示す図である。図１９は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１８や図１９に示すように、周波数成分ごとに重みを加えてノイズを低減する。

楕円のボケ関数（例えばＰＳＦ）の場合でも、補正した重み（λ）により高周波のノイズを低減することはできる。しかしながら、この重みによる補正では、分解能が悪い方向（例えばＤｙ方向）の補正改善を行うことができない。よって、単に重みを加えるだけでは、分解能の異方性を改善することはできない。そこで、方向に応じて適切な重み関数を調整することで、分解能の異方性を改善することができることを発明者らは見出した。

図２０は、分解能の異方性を改善するための逆フィルタの一例を示す図である。図２０に示す例は、高周波ほどゲインを落とすが、分解能が悪いＤｙ方向について改善をより強調する例である。

次に、分解能の異方性を改善するための空間フィルタの生成について説明する。以下に説明する装置は、図２０に示すように、ゲインを落とす方法を用いて説明するが、これに限られない。例えば、図１３などのように、一定値を足す方法でも分解能の異方性を改善することができる。この場合、Ｄｙ方向をＤｘ方向よりも強調して一定値を足すようにすればよい。

＜空間フィルタを生成する装置＞
まず、分解能の異方性を改善するための空間フィルタ生成について説明する。

＜構成＞
図２１は、空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図である。図１に示す撮像装置は、光学系１、撮像素子２、ＡＦＥ（Analog Front End）３、画像処理部４、後処理部５、駆動制御装置６、制御装置７、画像メモリ８、表示部９及び係数分析部１０を備える。

光学系１は、放射状の模様を有する被写体Ｋからの光を像面に集光する。例えば、光学系１は、レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２を含む。レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２は、被写体Ｋからの光を撮像素子２の撮像面に集光させて被写体の像を結像する。駆動制御装置６は、レンズ１１ａ、１１ｂ、１１ｃの位置や絞り１２の絞り度合い等を制御することができる。なお、光学系１の構成は特定のものに限定されない。

撮像素子２は、光学系１によって集光された被写体Ｋからの光を電子信号（アナログ信号）に変換する。撮像素子２は、例えば、ＣＣＤ／ＣＭＯＳ等の二次元撮像素子を含み、二次元撮像素子は、被写体の像を電子信号（画像信号）に変換してＡＦＥ３へ出力する。

ＡＦＥ３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ３は、例えばＡ／Ｄ（アナログデジタル）コンバータ３１及びタイミングジェネレータ３２を含む。タイミングジェネレータ３２は、制御装置７からの制御信号に基づいて、撮像素子２の駆動に用いられるタイミングパルスを生成し、撮像素子２及びＡ／Ｄコンバータ３１へ出力する。

画像処理部４は、デジタル信号の画像を保存して所定の画像処理を行う。画像処理部４は、例えばＡ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記録するＲＡＷメモリ４１を含む。画像処理部４は、ＲＡＷ画像に対して、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ８に記録される。

後処理部５は、所定の処理を経た画像に対して更に必要な処理を施して表示画像を生成する。後処理部５は、例えば、所定の処理が施された画像を画像メモリ８から読み出して、必要な処理を行って、表示するための画像を生成し、表示部９へ出力する。

画像メモリ８は、所定の処理後の画像を記憶する。表示部９は、例えば、画像を記録するＶＲＡＭ、及びＶＲＡＭの画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えなくてもよく、表示部９の替わりに、表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。

駆動制御装置６は、光学系１を制御する。制御装置７は、ＡＦＥ３、及び後処理部５を制御する。

係数分析部１０は、チャートが撮影された画像から、各画像位置での各方向の分解能を分析し、分解能の異方性を改善するための適切なフィルタデータを決定する。係数分析部１０の詳細は後述する。

フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータの集合とすることができる。デコンボリューションカーネルは、具体的には、ＰＳＦに応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータ（このようなデータをデコンボリューション分布と称する）で表すことができる。

（逆フィルタ）
ここで、実施例で用いる逆フィルタについて説明する。以下では、分解能の異方性を改善する、例えば、分解能の悪い方向の調整を行う逆フィルタの算出手順について説明する。また、逆フィルタは、単にフィルタとも呼ぶ。

式（１）で示すように、元画像ｘとＰＳＦ：ｋ、ボケ画像ｙを考える。この元画像ｘを求めるときに、逆問題として式（９）が最小となれば、元画像に近い画像が得られる。

通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式（１０）から逆問題を解く。

今回の問題では、方向性を必要とするから、画像の横（水平）方向（ｘ方向）および縦（垂直）方向（ｙ方向）の微分項を正則化項と追加する。

ε：重み係数
ｄ_ｍ，ｄ_ｎ：行列方向の微分フィルタ

式（１１）が最小となるには、式（１１）をｘで偏微分した結果を０とすればよく、フーリエ変換して、Ｘ（ω）について解くと以下の式（１２）が得られる。

Ｘ（ω）、Ｙ（ω）、Ｋ（ω）、Ｄ_ｍ（ω）、Ｄ_ｎ（ω）は、それぞれｘ，ｙ，ｋ，ｄ_ｍ，ｄ_ｎのフーリエ変換を表す。

周波数領域での逆フィルタＫ_ｉｎｖ（ω）は、式（１３）を満たす。

よって、逆フィルタＫ_ｉｎｖ（ω）は、次の式（１４）を満たす。

式（１４）は、共役複素数を用いると式（１５）式となる。

実施例では、分解能の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させることが特徴となる。

回転行列を用いることで、方向性を持たせることができる。

図２２は、回転を説明するための図である。図２２に示す例では、Ｄｎ方向をθ回転させてＤｙ方向にし、Ｄｍ方向をθ回転させてＤｘ方向にする。

ここで、楕円ＰＳＦをｋ（ｒ，θ）、フーリエ変換後の楕円ＰＳＦをＫ（ω，θ）＝ｆｋ（ｒ，θ）とする。
式（１５）に、式（１６）（１７）及びＫ（ω，θ）を代入するとともに、方向による重みγを設定すると、式（１８）が成り立つ。

γ：逆フィルタの方向による重み係数
ε：全体の重み係数
この式（１８）により、各実施例で用いる逆フィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部１０は、分解能の悪い方向（Ｄｙ方向）の重みγを調整する。重み係数γを小さくすることで、分解能の悪い方向を改善することができる。

図２３は、逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図である。図２３に示す例では、γ＝１／３００の場合の２次元分布の例である。Ｄｙ方向について、Ｄｘ方向よりも分解能が改善するように重み係数γ、ε（特にγ）が決定される。

図２４は、逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図である。図２４は、Ｄｙ方向の重み係数を小さくすることにより、Ｄｙ方向の改善を強調することができる。また、図２４に示すＤｙ'は、γ＝１の場合の分布を示す。これにより、実施例によれば、逆フィルタのフィルタパラメータに乗算する重み係数にも異方性を持たせることができるようになる。

（係数分析部）
次に、係数分析部１０について説明する。係数分析部１０では、分解能の異方性を改善するための空間フィルタを決定する。

図２５は、係数分析部１０の機能の一例を示すブロック図である。図２５に示す係数分析部１０は、分解能分析部１０１及び決定部１０２を有する。係数分析部１０は、チャート画像が撮影された画像から係数分析を行う。以下に説明する例では、例えば左上の位置に撮影された楔形の画像から係数分析を行う。

分解能分析部１０１は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する。分析の仕方は、図４や図５などに説明した方法を用いる。
分解能分析部１０１は、横軸に１ピクセルあたりのライン数、縦軸に振幅強度をとるとＭＴＦがわかる。１ピクセルあたりのライン数は、実際の被写体距離位置での単位長さあたりのライン数を用いてもよい。実施例では、楔形で放射状なチャートを用いるため、図５に示すように方向によるＭＴＦを分析できる。

図２６は、ＰＳＦを算出する手順を説明するための図である。図２６に示す例では、まず、決定部１０２は、画像の位置に応じた角度と楕円率を算出する。決定部１０２は、所定角度毎に算出されたＭＴＦにおいて、ある一定閾値（最大振幅の半分程度）で等高線を作ると楕円を求めることができる。

決定部１０２は、求めた楕円の長軸と短軸から楕円率を算出できる。決定部１０２は、画像の位置に基づいて、幾何学的に角度θ１を算出する。また、決定部１０２は、分解能の楕円の長軸、短軸から角度θ１を算出することもできる。長軸、短軸から角度θ１を算出した方が、実際のボケ具合に合わせて角度を算出することができる。ここで、図３で説明したように、光軸中心から同心円を描いたときに半径方向のボケが大きい。

決定部１０２は、例えば縦方向と、半径方向との角度を算出すればよい。なお、光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。決定部１０２は、この算出された楕円率と角度からＰＳＦを決定する。このときのＰＳＦの楕円は、ＭＴＦの等高線から得られた楕円とは９０度回転した方向になっている。

図２５に戻り、決定部１０２は、画像のボケ関数（ＰＳＦ）に応じたフィルタ（上記逆フィルタ）により補正された画像に対し、この補正後の画像の分解能分析結果に基づいて、この逆フィルタの異方性を有するフィルタデータを決定する。

また、決定部１０２は、画像の微分方向に対し、重み係数（例えばγ）を変えて決定する。例えば、Ｄｘ方向の重み係数は１にし、Ｄｙ方向の重み係数をγとし、このγを調整する。これにより、分解能の異方性を改善できる。

また、決定部１０２は、微分方向に対して、回転（例えばθ）をすることで重み係数を決定する。これにより、分解能の悪い方向を検出でき、フィルタリングを行うことができるようになる。

具体的には、決定部１０２は、例えば重み係数εとγとを調整して、適切な重み係数εとγを決定する。重み係数γは、分解能が悪い方向のフィルタパラメータの重み係数を表す。分解能が悪い方向のフィルタパラメータは、例えば、式（１８）の重み係数γにかかるＤｙ（ω、θ）とそのＤｙ（ω、θ）の共役複素数である。

重み係数を調整して決定するため、決定部１０２は、調整部１２１、画像補正部１２２、係数決定部１２３及びフィルタ決定部１２４を有する。

調整部１２１は、例えば、方向に依存しない重み係数εと、方向に依存するγを調整する。調整部１２１は、重み係数ε、γの初期値を設定し、その初期値を画像補正部１２２に渡す。

画像補正部１２２は、調整部１２１から取得した重み係数により画像補正を行う。画像補正部１２２は、式（１８）に示す逆フィルタを用いて画像をフィルタリングして補正する。画像補正部１２２は、補正後の画像を分解能分析部１０１に渡し、再度分解能の劣化を分析する。

係数決定部１２３は、補正後の画像に対する分解能分析結果に基づいて、２つの方向の分解能劣化の差が小さくなるように重み係数を決定する。係数決定部１２３は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数εとγを決定する（決定処理１）。

また、係数決定部１２３は、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい（決定処理２）。

なお、閾値１、閾値２は、複数設定してもよく、係数決定部１２３は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部１２３は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前の実験等により設定されればよい。

また、係数決定部１２３は、画像中心部での２方向の分解能の差分二乗和と、画像中心部とは異なる画像周辺部での２方向の分解能の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部１２３は、画像中心部と画像周辺部との差分二乗和が最小となるように重み係数を決定してもよい。

これは、分解能の異方性を低減する際、画像中央部の分解能と画像周辺部の分解能を同様にすることで、画像全体の分解能が同様になり、画質の向上が図れるからである。

係数決定部１２３による最小化の判断は、最小化関数を用いて算出してもよいし、人が判断してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法、共役勾配法などがある。

決定部１０２は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の分解能分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、分解能分析の処理が繰り返される。

フィルタ決定部１２４は、係数決定部１２３により決定された最適な重み係数を用いる逆フィルタＫ_ｉｎｖを算出し、周波数領域の逆フィルタＫ_ｉｎｖから空間領域の逆フィルタｋ_ｉｎｖを求める。以降では、空間領域の逆フィルタを空間フィルタとも呼ぶ。

求められた逆フィルタｋ_ｉｎｖは、処理対象のタップ（要素）数分が抜き出され、有限化される。

なお、係数分析部１０は、以上の処理をチャートが存在する画像内の各位置で行う。係数分析部１０は、画像内の各位置で、分解能の異方性を分析し、その異方性を改善するための空間フィルタを決定する。

以上の処理をすることで、所定の画像位置に対し、ボケを補正しつつ分解能の異方性を改善する空間フィルタを決定することができる。例えば、分解能が他の方向よりも悪い方向を検出し、その悪い方向に対して分解能がより改善するような重み係数を決定することができる。

係数分析部１０は、空間フィルタの算出を、画像の各位置で行う。図２７は、１２個のチャートを撮影した画像の一例を示す図である。図２７に示す例は一例であり、１２個以外でも、画像を分割した複数の領域にそれぞれチャートが存在すればよい。

係数分析部１０は、各チャートが存在する各領域でフィルタデータを決定し、空間フィルタを算出する。係数分析部１０は、画像の位置と、空間フィルタとを対応付けたテーブルを作成する。また、係数分析部１０は、このテーブルに対し、算出された楕円の大きさを関連付けてもよい。

図２８は、空間フィルタテーブルの一例を示す図である。図２８に示す空間フィルタテーブルでは、各領域の左上の画素座標と、その領域のチャートにより算出された空間フィルタとを対応付ける。例えば、位置（ｘ_１，ｙ_１）には、空間フィルタ（ＦＩＬ１）が対応付けられている。

これにより、係数分析部１０を含む画像処理装置は、分解能の異方性が改善された空間フィルタを決定することができる。分解能の異方性が改善された空間フィルタは、上記例に限られず、例えば、特開２０１２−２３４９８号公報に記載された技術で求められる空間フィルタでもよい。この場合、空間フィルタには、分解能の異方性を持たせるようにする。

なお、画像処理部４は、例えば、ＤＳＰ（Digital Signal Processor）により構成することができる。この場合、ＲＡＷメモリ４１は、ＤＳＰ内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部５、画像メモリ８、係数分析部１０、表示のためのＶＲＡＭ等が画像処理部４とともに一体のＤＳＰで構成されてもよい。また、係数分析部１０は、単体又は他の処理部を含む画像処理装置として構成されてもよい。

あるいは、ＤＳＰのような特定処理専用プロセッサでなく、ＣＰＵ等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部４や係数分析部１０の機能を実現することもできる。駆動制御装置６、制御装置７及び後処理部５も同様に、少なくとも１台の、特定処理専用プロセッサまたは汎用プロセッサにより構成することができる。

なお、プロセッサを画像処理部４や係数分析部１０として機能させるプログラムやそれを記録した記録媒体も本発明の実施形態に含まれる。この記録媒体は、一過性でない（non-transitory）ものであり、信号そのもののような一過性の媒体は含まれない。

＜空間フィルタの有限化による問題＞
次に、空間フィルタの有限化による問題について説明する。異方性を有する空間フィルタを有限化すると、抜き出されたタップ（要素）以外のところで情報が失われてしまう。空間フィルタには異方性があるために、方向により失われる情報が異なる。また、要素を足し合わせた合計も等しくない。

失われた情報には高周波の情報が含まれているので、有限の空間フィルタで画像を補正する際、補正の方向により補正度合いが異なってしまう。

図２９は、空間フィルタの一例を示す図である。図２９に示す空間フィルタは、上述した式（２０）に基づく異方性を有する空間フィルタである。図２９では、空間フィルタの要素の値を色で表現している。

図３０は、有限の空間フィルタの強度を示す図である。図３０に示す例では、例えばタップ数９とすると中心から９タップ分（９×９）の要素を抜き出す。図３０に示す例では、有限の空間フィルタの強度を縦軸に表す。空間フィルタから有限個の要素を抜き出すと、ａ１０１の部分では、情報が失われる。また、この空間フィルタは異方性を有するため、方向により失われる高周波情報が異なる。

そのため、有限の空間フィルタを用いると、方向による補正度合いが異なる。図３１に示すような９タップの空間フィルタでチャートを補正すると、モアレが発生する。図３１は、補正画像に発生したモアレの一例を示す図である。図３１に示すように、空間フィルタを有限にすることで、モアレが発生してしまう。

図３２は、有限空間フィルタで補正した画像の分解能分析結果を示す図である。図３２に示すように、方向によって、周波数の劣化の補正度合いが異なる。

図３３は、モアレの発生を抑制して補正した画像の分解能分析結果を示す図である。図３３に示す例では、モアレの発生を防ぐため、高周波の改善を抑えたため、分解能の異方性が残ってしまう。

また、上記空間フィルタを実装する場合、メモリ及び計算量の観点から所定の要素数以下にしたいというニーズがある。現状では、例えば５×５以下の空間フィルタが望まれている。

しかしながら、空間フィルタの要素数を小さくすると、ボケを表すＰＳＦの大きさが要素数よりも大きくなり、情報量が欠落して、画質が劣化する場合がある。

図３４は、画像のボケを表すＰＳＦの一例を示す図である。図３４に示す例では、画素の明るさがＰＳＦの輝度値を表す。

図３５は、ＰＳＦの大きさの一例を示す図である。図３５に示すように、５×５の画素の大きさよりもＰＳＦが大きいとする。なお、フィルタ１つの要素は、画像の１画素に相当している。

図３５に示す例では、ボケの大きさよりも空間フィルタの要素数の方が小さいので、画像補正をするときに、ボケの情報が欠落する。

図３６は、ＰＳＦが要素数よりも小さいことを想定して生成された画像補正の構成例を示す図である。図３６（Ａ）は、構成１の例を示す。図３６（Ａ）は、元画像ｙに対し、算出された空間フィルタＦを畳み込んで、元画像との差分処理が行われて補正画像ｘが生成される（式（２１））。

図３６（Ｂ）は、構成２の例を示す。図３６（Ｂ）は、元画像ｙに対し、算出された空間フィルタＦ'を畳み込むことで、補正画像ｘが生成される（式（２２）〜式（２５））。

図３７は、ＰＳＦの大きさよりも空間フィルタの要素数が小さい場合の、補正後の分解能分析結果の一例を示す図である。図３７に示す例では、要素数を５×５とし、ＰＳＦの大きさよりも、空間フィルタの要素数が小さいため、異方性の補正特性が劣化する。

そこで、以下に示す実施例では、分解能の異方性を有する空間フィルタを所定の要素数以下に有限化する際、実装上の課題を解決して、画質が劣化することを防止する。

［実施例１］
まず、モアレの発生を防ぐ概要について説明する。上述したように、分解能に異方性を有する空間フィルタを有限化することにより、高周波情報の消失が方向によって異なるため、モアレが発生する。つまり、方向によって周波数の劣化の補正度合いが異なるため、モアレが発生する。

そこで、有限のハイパスフィルタを通すことで、急激に輝度が変化する部分を低減し、方向によって異なる高周波情報の補正度合いの違いを低減する。これにより、方向によって異なる周波数情報の劣化を原因とするモアレの発生を防ぐことができる。

なお、有限のハイパスフィルタは、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタであればよい。以下では、有限フィルタとして、有限のハイパスフィルタを用いて説明する。

また、算出された空間フィルタを分割し、所定の要素数以下となる複数段の空間フィルタを生成することで、実装上の課題もクリアできる。

図３８は、実施例１における複数段のフィルタの一例を示す図である。図３８（Ａ）に示す例では、図３６（Ａ）に示す空間フィルタＦが、複数段の空間フィルタ（５×５）に分割されている。図３８（Ｂ）に示す例では、図３６（Ｂ）に示す空間フィルタＦ'が、複数段の空間フィルタ（５×５）に分割されている。

以下に示す実施例では、空間フィルタの要素数よりも大きい異方性のあるボケに対し、異方性のある逆フィルタを複数で構成し、複数の空間フィルタを組み合わせることで異方性を改善する。

次に、実施例１における画像処理装置を含む撮像装置について説明する。実施例１では、分解能の異方性を有する空間フィルタを所定の要素数以下に有限化する際、画質が劣化することを防止する。

＜構成＞
図３９は、実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図３９に示す構成で、図２１に示す構成と同様のものは同じ符号を付す。以降では、実施例１における画像処理部１５を主に説明する。

画像処理部１５は、ＲＡＷメモリ４１、フィルタ制御部１５１、及びフィルタ処理部１５２を備える。フィルタ制御部１５１は、図２８に示す空間フィルタテーブルを保持する。フィルタ制御部１５１は、空間フィルタテーブルの各空間フィルタに対して、ボケより大きい要素数を有する空間フィルタを算出する。

次に、フィルタ制御部１５１は、算出した空間フィルタを、所定の要素数以下になるように複数段の空間フィルタに分割する。フィルタ制御部１５１は、複数段の空間フィルタをフィルタ処理部１５２に出力する。つまり、フィルタ制御部１５１は、処理対象画像の各位置に対応する複数段の空間フィルタをフィルタ処理部１５２に出力する。

フィルタ処理部１５２は、フィルタ制御部１５１から取得した複数段の空間フィルタを用いて、対応する画像位置でフィルタリングを実行する。これにより、画像の各位置で異なる分解能の異方性を改善し、モアレの発生を防止して画質を向上させることができる。

（フィルタ制御部及びフィルタ処理部）
次に、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２について説明する。図４０は、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２の概略構成（その１）の一例を示すブロック図である。まず、フィルタ制御部１５１について説明する。フィルタ制御部１５１は、フィルタ記憶部２０１、フィルタ取得部２０２、フィルタ算出部２０３、及びフィルタ生成部２０４を有する。

フィルタ記憶部２０１は、第１空間フィルタ２１１と、第２空間フィルタ２１２と、複数段の空間フィルタ２１３とを少なくとも記憶する。各フィルタは、それぞれ異なる記憶領域に記憶されればよい。

第１空間フィルタ２１１は、分解能の異方性を有する空間フィルタである。第１空間フィルタ２１１は、例えば、図２８に示す空間フィルタテーブルの各フィルタである。第２空間フィルタ２１２は、フィルタ算出部２０３により算出されたフィルタである。第２空間フィルタは、例えば、第１空間フィルタ２１１にハイパスフィルタが畳み込まれたフィルタである。複数段の空間フィルタ２１３は、フィルタ生成部２０４により生成された空間フィルタ群である。

フィルタ取得部２０２は、画像の分解能に異方性を有する有限の空間フィルタを取得する。フィルタ取得部２０２は、例えば、フィルタ記憶部２０１から第１空間フィルタ２１１を取得する。フィルタ取得部２０２は、取得した第１空間フィルタ２１１をフィルタ算出部２０３に出力する。

フィルタ算出部２０３は、フィルタ取得部２０２から取得した第１空間フィルタ２１１に対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する。

このとき、フィルタ算出部２０３は、ボケの大きさ（ＰＳＦの楕円の大きさ）よりも大きい要素数を有する第２空間フィルタを算出する。フィルタ算出部２０３は、判定部２３１を有し、判定部２３１は、例えばフィルタ記憶部２０１に記憶されたＰＳＦの大きさからボケの大きさを判定する。また、判定部２３１は、特開２０１２−２３４９８号公報に記載されたように、レンズ設計値からシミュレーションでＰＳＦを取得できる場合は、取得したＰＳＦからボケの大きさを判定してもよい。

フィルタ算出部２０３は、例えば、画像のボケよりも大きい要素数を有する第１空間フィルタに有限のハイパスフィルタを畳み込んで第２空間フィルタを算出する。

フィルタ算出部２０３は、有限のハイパスフィルタを予め保持している。有限なハイパスフィルタは、例えば３×３のフィルタとすると、次の式（２６）又は式（２７）を用いればよい。

実施例で扱う異方性は、任意の方向の角度に応じたフィルタであるため、式（２７）に示すように、全ての要素に非０の係数がある方が好ましい。

フィルタ算出部２０３は、ハイパスフィルタを３×３とすると、空間フィルタｋ_ｉｎｖを７×７とすることで、その二つのフィルタを畳み込みして９×９のフィルタを算出する。このように、フィルタ算出部２０３は、ハイパスフィルタと空間フィルタを畳み込みして、所望のタップ数になるように算出する。

ここで、７×７のフィルタをＦ７と表記し、ハイパスフィルタをＬａｐと表記すると、フィルタ算出部２０３で算出された９×９のフィルタＦ９は、以下の式（２８）で表される。

フィルタ算出部２０３は、上述した式（２８）により算出した第２空間フィルタＦ_９をフィルタ記憶部２０１に記憶する。

なお、フィルタ算出部２０３は、別の装置に設けられ、フィルタ制御部１５１では、別の装置で求められた第２空間フィルタ２１２を記憶するようにしてもよい。

フィルタ生成部２０４は、フィルタ記憶部２０１から第２空間フィルタ２１２を取得し、この第２空間フィルタ２１２から、所定の要素数以下となる複数段の空間フィルタを生成する。複数段の空間フィルタの生成については後述する。フィルタ生成部２０４は、生成した複数段の空間フィルタ２１３をフィルタ記憶部２０１に記憶する。

次に、フィルタ処理部１５２について説明する。フィルタ処理部１５２は、畳み込み演算部３０１と、減算部３０２とを有する。畳み込み演算部３０１は、ＲＡＷメモリ４１から画像を取得し、その画像に対して複数段の空間フィルタ２１３で畳み込んでフィルタ処理を行う。

畳み込み演算部３０１は、複数段の空間フィルタ２１３が、１つの畳み込み回路に対して複数回処理を行うことでフィルタ処理を行ってもよいし、複数の畳み込み回路を用意してフィルタ処理を行ってもよい。畳み込み演算部３０１は、フィルタ処理後の画像を減算部３０２に出力する。

減算部３０２は、ＲＡＷメモリ４１から取得した画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。補正画像は、後処理部５や画像メモリ８に出力される。

ここで、フィルタ処理部１５２は、画像の各領域の各画素に対して１つの空間フィルタを用いるのではく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。

図４１は、注目画素の線形補間を説明するための図である。図４１に示すように、フィルタ処理部１５２は、例えば近傍４つの空間フィルタで算出した各領域の中心画素を用いて、各画素の距離に応じた線形補間を行うことで、注目画素の画素値を求めてもよい。図４１の例では、フィルタ処理部１５２は、ＦＩＬ１と、ＦＩＬ２と、ＦＩＬ５と、ＦＩＬ６とでそれぞれ求められた各領域の画素値を線形補間することで、注目画素の画素値を算出する。

また、フィルタ処理部１５２は、注目画素に対して空間フィルタ自体を線形補間で求めてから画素値を算出するようにしてもよい。また、上記例では、近傍４個としたが、これに限られず、他の複数個を用いてもよいし、線形補間として距離を用いたが、その他の手法で補間するようにしてもよい。また、補間は、領域をさらに細分化した小領域毎に行ってもよいし、画素毎に行ってもよい。

次に、別例のフィルタ制御部１５１及びフィルタ処理部１５２について説明する。図４２は、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２の概略構成（その２）の一例を示すブロック図である。まず、フィルタ制御部１５１について説明する。フィルタ制御部１５１は、フィルタ記憶部４０１、フィルタ取得部２０２、フィルタ算出部４０２、及びフィルタ生成部４０３を有する。

図４２に示すフィルタ制御部１５１の構成で、図４０に示す構成と同様のものは同じ符号を付す。

フィルタ記憶部４０１は、フィルタ算出部４０２により算出された第３空間フィルタ４１１と、フィルタ生成部４０３により算出された複数段の空間フィルタ４１２を記憶する。

フィルタ算出部４０２は、前述した画像同士の減算処理を不要にする第３空間フィルタ４１１を算出する。フィルタ算出部４０２は、式（２２）〜式（２５）を用いて式変形を行うことで、減算処理を不要とすることができる。この例では、９×９の第３空間フィルタ（Ｆ９'）が生成されるとする。

これにより、前述した処理と同じ結果が得られて、画像同士の減算処理を不要とする一つの有限空間フィルタ（Ｆ９'）を生成することができる。

フィルタ算出部４０２は、算出した空間フィルタＦ９'をフィルタ記憶部４０１に書き込む。空間フィルタＦ９'は、第３空間フィルタ４１１である。

フィルタ生成部４０３は、フィルタ記憶部４０１から第３空間フィルタ４１１を取得し、この第３空間フィルタ４１１から、所定の要素数以下となる複数段の空間フィルタを生成する。複数段の空間フィルタの生成については後述する。フィルタ生成部４０３は、生成した複数段の空間フィルタ４１２をフィルタ記憶部４０１に記憶する。

フィルタ処理部１５２は、畳み込み演算部５０１を有する。畳み込み演算部５０１は、複数段の空間フィルタ４１２を畳み込む処理を行い、補正後の画像ｘを生成する。

（空間フィルタの例）
図４３は、空間フィルタＦ９'の各画素での強度（その１）を示す図である。図４３に示す例では、各画素での強度を色で表す。

図４４は、空間フィルタＦ９'の各画素での強度（その２）を示す図である。図４４に示す例では、空間フィルタＦ９'の２方向（横方向Ｄｘ、縦方向Ｄｙ）の強度変化を示す。このとき、空間フィルタＦ９'の要素の総和は１となる。

図４５は、空間フィルタＦ９の各画素での強度を示す図である。図４５に示す例では、空間フィルタＦ９の２方向（横方向Ｄｘ、縦方向Ｄｙ）の強度変化を示す。このとき、空間フィルタＦ９の要素の総和は、ハイパス情報を含めて０となる。

＜複数段の空間フィルタの生成＞
次に、複数段の空間フィルタの生成について説明する。以下では、図４２に示すフィルタ生成部４０３が、複数段の空間フィルタを生成する例について説明するが、図４０に示すフィルタ生成部２０４でも同様にして生成することができる。

まず、フィルタ生成部４０３は、ボケよりも大きい要素数の空間フィルタから、所定の要素数以下のフィルタ群に分けるとき、１個のフィルタを仮定して、その仮定したフィルタに基づいて他のフィルタを最適化で求める。

例えば、第３空間フィルタＦ９'に対し、２つの５×５の空間フィルタ（Ｆ５Ａ'とＦ５Ｂ'と定義する）に分けるとする。このとき、フィルタ生成部４０３は、以下の式（２９）を定義することができる。

ｅは、差分エラーである。以下、発明者が行った複数段の空間フィルタへの分割方法について説明する。

（分割方法１）
分割方法１では、空間フィルタＦ５Ａ'を、第３空間フィルタＦ９'の中心部分の５×５の要素数を抽出したフィルタとする。

図４６は、分割方法１による複数段の空間フィルタの求め方を説明する図である。図４６に示す例では、フィルタ生成部４０３は、空間フィルタＦ５Ａ'を決定し、式（３０）で表される評価関数を最小化することで、空間フィルタＦ５Ｂ'を求めることができる。

図４６に、求められた空間フィルタＦ５Ｂ'を示す。

図４７は、分割方法１に対する考察を説明する図である。図４７（Ａ）に示すように、分割方法１では、空間フィルタＦ５Ａ'を、単純に５×５分を空間フィルタＦ９'から抽出する。このとき、図４７（Ｂ）に示すように、元のハイパス情報が失われてしまう。つまり、要素の総和の条件が満たされなくなってしまう。

図４８は、分割方法１による補正結果を示す図である。図４８（Ａ）は、分割方法１による補正画像を示す。ハイパス情報が失われ、方向によって補正効果が異なるため、モアレが生じている。図４８（Ｂ）は、分割方法１による補正後のＭＴＦの結果を示す。図４８（Ｂ）に示す結果からもモアレが生じることが分かる。

（分割方法２）
分割方法２では、１段目の空間フィルタ（Ｆ５Ａ'）を、異方性を有するフィルタとする。例えば、空間フィルタＦ５Ａ'は、異方的なＰＳＦの単純な逆数とする。

図４９は、分割方法２を説明する図である。図４９（Ａ）は、空間フィルタＦ５Ａ'の一例を示すフィルタである。図４９（Ｂ）は、評価関数を最小化することで求められた空間フィルタＦ５Ｂ'である。

図４９（Ｃ）は、分割方法２による補正後のＭＴＦの結果を示す。図４９（Ｃ）に示す結果では、各方向での分解能が異なるため、モアレが生じてしまう。

（分割方法３）
分割方法３では、１段目の空間フィルタ（Ｆ５Ａ'）を、等方性を有するフィルタとする。例えば、空間フィルタＦ５Ａ'は、等方的なＰＳＦの単純な逆数とする。

図５０は、分割方法３を説明する図である。図５０（Ａ）は、空間フィルタＦ５Ａ'の一例を示すフィルタである。図５０（Ｂ）は、評価関数を最小化することで求められた空間フィルタＦ５Ｂ'である。

図５０（Ｃ）は、分割方法３による補正後のＭＴＦの結果を示す。図５０（Ｃ）に示す結果では、モアレが出ない程度の結果であるが、高周波の改善が不十分である。

（分割方法４）
分割方法４では、１段目の空間フィルタ（Ｆ５Ａ'）を、等方性を有するフィルタであり、ＰＳＦの逆数と、ハイパスフィルタを畳み込んだフィルタとする。

図５１は、分割方法４を説明する図である。図５１（Ａ）は、空間フィルタＦ５Ａ'の一例を示すフィルタである。図５１（Ｂ）は、評価関数を最小化することで求められた空間フィルタＦ５Ｂ'である。

図５１（Ｃ）は、分割方法４による補正後のＭＴＦの結果を示す。図５１（Ｃ）に示す結果では、異方性の改善が不十分となる。これは、１段目のフィルタで、モアレが発生しないようハイパスフィルタを畳み込んでいるが、等方的なフィルタであるため、２段目のフィルタで異方性を改善できないからである。

また、１段目の空間フィルタが等方的な場合、異方性の情報が１つのフィルタのみとなってしまうので、要素数が不足してしまう。

以上の分割方法では、望ましい補正結果が得られないものもある。そこで、異方性のある要素数の大きなフィルタ情報を、より適切に複数段に分割するための方法を以下に説明する。

（分割方法５）
図５２は、分割方法５の概要を説明する図である。図５２に示す例では、フィルタ生成部４０３は、異方性を有する空間フィルタＦ３Ａ（第４空間フィルタ）と、ハイパスフィルタＦ３とを畳み込み、Ｉ５_０から減算することで、１段目の空間フィルタＦ５Ａ'（第５空間フィルタ）を算出する。フィルタ生成部４０３は、２段目の空間フィルタＦ５Ｂ'（第６空間フィルタ）を、評価関数の最小化により算出する。

これにより、１段目にハイパスフィルタを構成することでモアレの発生を防ぎ、かつ、異方性の改善構成を複数段に分割することで、要素数よりも大きい異方性のボケ改善に対応することができる。

図５３は、分割方法５による複数段のフィルタの算出例を説明する図である。図５３に示す例では、フィルタ生成部４０３は、第１空間フィルタ２１１から要素数３×３のフィルタを抽出し、３×３のハイパスフィルタ（式（２６）又は式（２７））と畳み込んで、５×５の空間フィルタＦ５Ａを算出する。フィルタ生成部４０３は、空間フィルタＦ５ＡをＩ０から減算することで、空間フィルタＦ５Ａ'算出する。

フィルタ生成部４０３は、第３空間フィルタＦ９'と、空間フィルタＦ５Ａ'とを用いて、評価関数の最小化により２段目の空間フィルタＦ５Ｂ'を算出することができる。

図５４は、空間フィルタＦ５の各画素での強度を示す図である。図５４に示す例では、空間フィルタＦ５の２方向（横方向Ｄｘ、縦方向Ｄｙ）の強度変化を示す。このとき、空間フィルタＦ５の要素の総和は０となる。

図５５は、空間フィルタＦ５'の各画素での強度を示す図である。図５５に示す例では、空間フィルタＦ５'の２方向（横方向Ｄｘ、縦方向Ｄｙ）の強度変化を示す。このとき、空間フィルタＦ５'の要素の総和は１となる。

図５６は、実施例１における補正画像の生成を説明する図である。図５６（Ａ）に示す例では、フィルタ処理部１５２は、次の式（３１）〜式（３２）を用いて補正画像ｘを生成する。

図５６（Ｂ）に示す例では、フィルタ処理部１５２は、次の式（３３）〜式（３６）を用いて補正画像ｘを生成する。

なお、空間フィルタＦ５Ａ'は、異方性を有する空間フィルタとハイパスフィルタとの組み合わせであり、空間フィルタＦ５Ｂ'は、異方性を有する空間フィルタの欠落を補う役割を担う。また、フィルタの畳み込みの順序は逆でもよい。

図５７は、分割方法５による補正後の画像の分解能分析結果を示す図である。図５７に示すように、分割方法５によれば、分解能の異方性を有する空間フィルタを所定の要素数以下に有限化する際、画質が劣化することを防止することができる。つまり、分割方法５では、複数段の空間フィルタに適切に分けることができるので、異方性の改善をしつつ、モアレの発生を防ぐことができる。

（段数について）
フィルタ生成部２０４、４０３は、複数段の空間フィルタに分ける際、何個の空間フィルタに分けるかを第１空間フィルタの大きさと所定の要素数とにより決定する。

図５８は、所定の要素数とボケの大きさとの関係（その１）を示す図である。図５８に示す例では、所定の要素数を５×５とし、ボケの大きさを９×９よりも小さいとする。このとき、フィルタ算出部２０３、４０２は、９×９の第１空間フィルタを算出する。フィルタ生成部２０４、４０３は、９×９の第１空間フィルタに基づいて、５×５の２段の空間フィルタを生成する。

図５９は、所定の要素数とボケの大きさとの関係（その２）を示す図である。図５９に示す例では、所定の要素数を５×５とし、ボケの大きさを１３×１３よりも小さいとする。このとき、フィルタ算出部２０３、４０２は、１３×１３の第１空間フィルタを算出する。フィルタ生成部２０４、４０３は、１３×１３の第１空間フィルタに基づいて、５×５の３段の空間フィルタを生成する。

まず、フィルタ生成部２０４、４０３は、１３×１３の第２空間フィルタ又は第３空間フィルタから、９×９の空間フィルタ、５×５の空間フィルタに分割する。次に、フィルタ生成部２０４、４０３は、９×９の空間フィルタを、同様の処理で５×５の２段の空間フィルタに分割する。

なお、所定の要素数が３×３の場合は、フィルタ生成部２０４、４０３は、さらに複数段に分割すればよい。また、フィルタ算出部２０３により生成された第１空間フィルタの要素数が７×７の場合、フィルタ生成部２０４、４０３は、５×５と、３×３との２段の空間フィルタに分割する。このように、分割するフィルタのサイズが異なってもよい。

ただし、複数段の空間フィルタの要素数が同じになれば、フィルタ処理部１５２は、畳み込み回路を１つにして、同様の処理を少なくとも２回繰り返せばよい。よって、複数段の空間フィルタの要素数が同じであり、空間フィルタのサイズが大きい方が、より効率的である。そのため、フィルタ算出部２０３は、ボケより大きい第１空間フィルタを９×９のサイズに設定しておけば、フィルタ生成部２０４、４０３は、同じ要素数（例えば５×５）の２段の空間フィルタを生成することができる。

＜ゲイン乗算＞
ここで、式（３０）で表される評価関数について、差分エラーｅは、０とはならない。したがって、評価関数の最小化により求めた複数段の空間フィルタに対し、それぞれゲインを設定して乗算することで、精度の向上を図ることができる。

図６０は、ゲインを乗算する場合の補正画像の生成を説明する図である。図６０（Ａ）では、フィルタ処理部１５２は、各空間フィルタで処理された値に対し、所定のゲインを乗算する。つまり、フィルタ処理部１５２は、次の式（３７）、式（３８）を用いて補正画像ｘを生成する。

Ｇａｉｎ１とＧａｉｎ２とは、例えば、図４などに示すチャートを用いて、ゲイン評価関数を最小化することで求められる。ゲイン評価関数は、例えば、２方向のＭＴＦの距離を表す関数であり、この評価関数を最小とするＧａｉｎ１とＧａｉｎ２とが求められる。また、ゲインの評価関数は、例えば、２方向の中央のＭＴＦの距離を表す関数でもよい。ゲインの算出処理は、後処理部５が行ってもよい。

図６０（Ｂ）は、フィルタ処理部１５２は、各空間フィルタにゲインを乗算し、新しい空間フィルタを生成する例を示す。図６０（Ｂ）に示す例では、フィルタ処理部１５２は、次の式（３９）、式（４０）を用いて補正画像ｘを生成する。

図６１は、実施例１におけるフィルタ処理部１５２の概略構成の別例を示すブロック図である。図６１に示すフィルタ処理部１５２は、畳み込み演算部３０１、ゲイン乗算部３０３、及び減算部３０２を有する。図６１に示す構成において、図４０に示す構成と同じものは同じ符号を付す。

ゲイン乗算部３０３は、複数段に分けられた各空間フィルタの処理後の値に対し、所定のゲインを乗算する。ゲイン乗算部３０３は、所定のゲインとして、ゲインを乗算する前後の分解能を分析し、異方性が最も改善できるゲインを後処理部５から取得したりすればよい。

なお、図６１に示す構成は、図６０（Ａ）に基づく構成であるが、ゲイン乗算部３０３を畳み込み演算部３０１に含めてもよい（図６０（Ｂ））。

＜動作＞
次に、実施例１における画像処理部１５の動作について説明する。図６２は、実施例１におけるフィルタ生成処理の一例を示すフローチャートである。図６２に示す処理は、分割方法５によるフィルタ生成処理を示す。

ステップＳ１０１で、フィルタ取得部２０２は、フィルタ記憶部２０１から第１空間フィルタを取得する。

ステップＳ１０２で、判定部２３１は、ＰＳＦのボケの大きさを判定する。判定部２３１は、例えば、分解能の分析で求められたＰＳＦの楕円の長軸、短軸に基づいてＰＳＦのボケの大きさを判定する。また、判定部２３１は、特開２０１２−２３４９８号公報に記載のように、レンズ設計値からシミュレーションが行われた結果のＰＳＦを取得してもよい。

ステップＳ１０３で、フィルタ算出部４０２は、第１空間フィルタから、ボケの大きさよりも大きい要素数の空間フィルタを抽出し、有限ハイパスフィルタを畳み込んで第２空間フィルタ（例えばＦ９）を算出する。

また、フィルタ算出部４０２は、第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算し、第３空間フィルタ（例えばＦ９'）を算出する。

ステップＳ１０４で、フィルタ生成部４０３は、第３空間フィルタを複数の空間フィルタに分割する。例えば、フィルタ生成部４０３は、第１空間フィルタから第４空間フィルタ（例えばＦ３）を抽出する。

また、フィルタ生成部４０３は、第４空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込んだフィルタ（例えばＦ５Ａ）を生成する。フィルタ生成部４０３は、生成したフィルタを、中心要素が１であり、中心要素以外の要素が０であるフィルタから減算して第５空間フィルタ（例えばＦ５Ａ'）を算出する。

また、フィルタ生成部４０３は、第３空間フィルタと、第５空間フィルタとを用いて、評価関数の最小化を行うことで、第６空間フィルタ（例えばＦ５Ｂ'）を算出する。

ステップＳ１０５で、フィルタ生成部４０３は、第５空間フィルタと、第６空間フィルタとが、所定の要素数以下のフィルタであるか否かを判定する。生成された各空間フィルタが所定の要素数以下であれば（ステップＳ１０５−ＹＥＳ）、この第５空間フィルタと、第６空間フィルタとを複数段の空間フィルタとする。また、生成された各空間フィルタのうち少なくとも１つの空間フィルタが所定の要素数より大きければ、ステップＳ１０４に戻る。以上、生成された各空間フィルタが所定の要素数以下となるまで、複数の空間フィルタを生成する処理が繰り返される。

次に、ゲインを決定する処理について説明する。図６３は、実施例１におけるゲイン決定処理の一例を示すフローチャートである。図６３に示すステップＳ２０１で、撮像装置は、チャート画像を撮像する。

ステップＳ２０２で、後処理部５は、補正前の分解能を分析する。ステップＳ２０３で、後処理部５は、初期値のゲインを設定する。

ステップＳ２０４で、画像処理部１５は、前述した複数の空間フィルタに対し、設定されたゲインを乗算して画像の補正を行う。

ステップＳ２０５で、後処理部５は、補正後の分解能を分析する。ステップＳ２０６で、後処理部５は、ゲイン評価関数が最小となるかを判定する。ゲイン評価関数が最小であれば（ステップＳ２０５−ＹＥＳ）ステップＳ２０７に進み、ゲイン評価関数が最小でなければ（ステップＳ２０５−ＮＯ）ステップＳ２０３に戻り、ゲインを変更する。

ステップＳ２０７で、後処理部５は、ゲイン評価関数が最小となるゲインを決定し、決定したゲインをゲイン乗算部３０３に設定する。

以上、実施例１によれば、分解能の異方性を有する空間フィルタを所定の要素数以下に有限化する際、画質が劣化することを防止することができる。

［実施例２］
次に、実施例２における画像処理装置を含む撮像装置について説明する。実施例２では、分解能を改善する目的で行う補正により強調されるノイズを低減する。

まず、撮像した画像の中には平坦な部分もあるが、実際の画像中には撮像素子のノイズ成分を含んでいる。そのため、平らな部分でも、細かな振幅変動を含む画像となってしまう。

ここで、実施例１に示すように、分解能を改善する目的で画像を補正すると、振幅が大きくなる効果があるが、細かな振幅変動のノイズ成分も振幅を大きくしてしまう。そのため、平坦な部分のノイズが強調されてしまう。

図６４は、分解能の補正前後のノイズの一例を示す図である。図６４（Ａ）は、撮像された平坦な部分のノイズの例を示す。図６４（Ｂ）は、分可能を補正した後のノイズの一例を示す。図６４（Ｂ）に示す例では、分解能を補正したことによりノイズが強調されている。

ノイズを低減するには、ローパスフィルタがある。しかし、ローパスフィルタは、画像全体にフィルタがかかるため、平坦部のノイズを低減しようとすると、本来補正したいエッジ部分がなだらかになってしまう。

そこで、平坦部分とエッジ部分とを場合分けして、非線形にノイズを低減することが重要になってくる。公知の非線形なノイズ処理として、コアリング処理がある（例えば特許文献２００８−１９９４４８号公報参照）。

コアリング処理は、例えば入力の大きさが閾値以下であれば出力を０にし、ノイズの強調を防ぐ。また、コアリング処理は、入力の大きさが閾値より大きければ、不連続にならないように振幅を減少して小さくする。

このコアリング処理を単に実施例１の各空間フィルタの後に適用した場合、次の課題が生じる。

図６５は、輝度低下を説明する図である。図６５に示すように、コアリング処理は、輝度が低下する。よって、実施例１における複数段の空間フィルタのうち、任意の空間フィルタにコアリング処理を適用しても、空間フィルタの異方性により、コアリングの振幅劣化のゲインバランスが方向によって異なり、異方性を改善することができない。

図６６は、コアリング処理による振幅劣化を説明する図である。図６６に示すように、コアリング処理が適用されることで、輝度値の振幅が劣化する。

図６７は、コアリング処理を適用した画像の分解能分析結果を示す図である。図６７（Ａ）は、１段目の空間フィルタの処理後の輝度値にコアリング処理を適用した場合の分解能分析結果を示す。図６７（Ｂ）は、２段目の空間フィルタの処理後の輝度値にコアリング処理を適用した場合の分解能分析結果を示す。図６７（Ｃ）は、１段目及び２段目の空間フィルタの処理後の輝度値にコアリング処理を適用した場合の分解能分析結果を示す。

図６７に示すように、異方性を有する複数段のフィルタ処理では、振幅劣化を伴うコアリング処理を適用すると、方向によりゲイン劣化が異なってしまうので、異方性を改善することができない。

そこで、以下に説明する実施例２では、フィルタ処理後の値の絶対値に対し、下限閾値以下はゲインを０とし、上限閾値以上はゲインと一定とし、下限閾値から上限閾値まではゲインが段階的に変化するようにして、所定のゲインを決定する。

図６８は、実施例２における輝度値の入出力関係の一例を示す図である。図６８に示すように、閾値−Ｔｈ０以上閾値Ｔｈ０以下は、入力ｉｎ（ｄｙ）に対し出力ｏｕｔを０にし、閾値Ｔｈ１より大きい場合は、入出力が同じである。また、閾値Ｔｈ０から閾値Ｔｈ１までの間は、入力に対し、出力が段階的に変化するようにする。

＜構成＞
実施例２における撮像装置は、実施例１における撮像装置と同様であるため、同じ符号を用いて説明する。

（フィルタ処理部）
次に、実施例２におけるフィルタ処理部１５２について説明する。図６９は、実施例２におけるフィルタ処理部１５２の概略構成の一例を示すブロック図である。フィルタ処理部１５２について説明する。フィルタ処理部１５２は、畳み込み演算部３０１、ゲイン決定部６０１、ゲイン乗算部６０２、減算部６０３、及びフィルタ分析部６０４を有する。

なお、実施例２におけるフィルタ処理部１５２の構成で、図４０に示す実施例１における構成と同様のものは同じ符号を付す。

ゲイン決定部６０１は、畳み込み演算された輝度値の絶対値に対し、閾値判定を行って、ゲインを決定する。ゲインの決定処理は後述する。

ゲイン乗算部６０２は、ゲイン決定部６０１により決定されたゲインを、フィルタ処理後の輝度値に乗算する。また、ゲイン乗算部６０２は、畳み込み処理が複数段ある場合、少なくとも１回のゲイン乗算を行ってもよいし、複数段の全てで行ってもよい。

減算部６０３は、ゲインが乗算された画像と元画像との差分を算出する。上記の処理が、複数段の数だけ行われる。

フィルタ分析部６０４は、複数段の空間フィルタに対し、フィルタ係数に基づくフィルタ強度を分析し、分析結果に基づいて、ゲインを乗算する空間フィルタを決定する。例えば、フィルタ分析部６０４は、フィルタ強度が最も強い空間フィルタで処理された値に対し、ゲインを乗算するよう決定する。なお、フィルタ分析部６０４は、フィルタ処理部１５２にとって必ずしも必要な構成ではない。また、フィルタ分析部６０４は、最大のフィルタ係数と最小のフィルタ係数との差が大きいほど、フィルタ強度が強いと判定すればよい。

図７０は、実施例２における補正画像の生成処理（その１）を説明する図である。図７０に示す例では、１段目の５×５のフィルタを元画像に畳み込んだ輝度値をｄｙ（ｉｎ）と表記する。ゲイン決定部６０１は、ｄｙの値によって、ゲインを決定する。ゲイン乗算部６０２は、決定されたゲインをｄｙに乗算する。

ゲインが乗算されたｄｙは、元画像から減算される。減算後の元画像は、２段目のフィルタ処理が行われる。補正画像は、減算後の元画像から２段目のフィルタ処理の結果を減算して生成される。

図７１は、実施例２におけるゲインの決定（その１）を説明する図である。図７１に示すように、フィルタが畳み込み処理された値の絶対値（Ｃｔｈ：閾値識別係数とも称す）に対し、２個の閾値が設けられる。Ｃｔｈが下限閾値Ｔｈ０以下では、ゲイン決定部６０１は、ゲインを０とする。Ｃｔｈが上限閾値Ｔｈ１以上であれば、ゲイン決定部６０１は、ゲインを一定（例えばゲイン＝１）にする。また、ゲイン決定部６０１は、Ｃｔｈが下限閾値Ｔｈ０から上限閾値Ｔｈ１までの間は、ゲインが段階的に変化するように設定する。この結果、入力ｄｙと出力ｏｕｔとの関係は、図６８に示すようになる。

＜効果＞
次に、実施例２における効果について説明する。図７２は、実施例２における効果（その１）を説明する図である。図７２に示す「閾値処理なし」とは、実施例１における処理結果を示す。図７２に示す「閾値処理あり」とは、実施例２における処理結果を示す。

図７２（Ａ）に示すように、振幅の大きい部分では、「閾値処理あり」は、「閾値処理なし」と比較して振幅劣化はあまりない。図７２（Ｂ）は、振幅の変化が閾値より小さい部分（平坦な部分）を拡大した図である。図７２（Ｂ）に示すように、平坦な部分では、「閾値処理あり」は、「閾値処理なし」と比べて振幅が強調されていないことが分かる。

図７３は、実施例２における効果（その２）を説明する図である。図７３に示す「補正前」は、元画像を示す。

図７３（Ａ）に示すように、振幅の大きい部分では、「閾値処理あり」は、「補正前」に対して、分解能が向上している。また、図７３（Ｂ）に示すように、平坦な部分では、「閾値処理あり」は、ゲインを０に設定しているので、「補正前」と同じ値であり、ノイズは強調されない。

図７４は、実施例２における閾値処理後の画像の分解能分析結果を示す図である。図７４に示すように、方向による分解能の異方性の改善効果がある。つまり、実施例２では、分解能の異方性を改善し、平坦部分におけるノイズの強調を防止することができる。

＜動作＞
次に、実施例２における画像処理部１５の動作について説明する。図７５は、実施例２における補正画像生成処理の一例を示すフローチャートである。図７５に示すステップＳ３０１で、畳み込み演算部３０１は、１段目のフィルタ処理を元画像に対して行う。

ステップＳ３０２で、ゲイン決定部６０１は、１段目のフィルタ処理後の値ｄｙに基づいてゲインを決定する。ゲインの決定処理については後述する。

ステップＳ３０３で、ゲイン乗算部６０２は、ゲイン決定部６０１で決定されたゲインを値ｄｙに乗算する。

ステップＳ３０４で、減算部６０３は、ゲインが乗算されたｄｙを、元画像から減算する。

ステップＳ３０５で、畳み込み演算部３０１は、減算処理が行われた元画像に対して、２段目のフィルタ処理を行う。

ステップＳ３０６で、減算部６０３は、２段目のフィルタ処理結果を、減算処理が行われた元画像から減算し、補正画像を生成する。

なお、上記処理では、１段目のフィルタ処理後にゲインを乗算したが、後述するように２段目のフィルタ処理後や、各フィルタ処理後にゲインを乗算するようにしてもよい。

図７６は、実施例２におけるゲイン決定処理（その１）の一例を示すフローチャートである。図７６に示すステップＳ４０１で、ゲイン決定部６０１は、畳み込み処理後の値ｄｙの絶対値Ｃｔｈを求める。

ステップＳ４０２で、ゲイン決定部６０１は、絶対値Ｃｔｈが上限閾値Ｔｈ１以上か否かを判定する。Ｃｔｈ≧Ｔｈ１であれば（ステップＳ４０２−ＹＥＳ）、ステップＳ４０３に進み、Ｃｔｈ＜Ｔｈ１であれば（ステップＳ４０２−ＮＯ）、ステップＳ４０４に進む。

ステップＳ４０３で、ゲイン決定部６０１は、出力ゲインＧａｉｎ＿ｔをＧａｉｎに設定する。Ｇａｉｎは予め設定された値であり、例えば１である。

ステップＳ４０４で、ゲイン決定部６０１は、絶対値Ｃｔｈが下限閾値Ｔｈ０以下か否かを判定する。Ｃｔｈ≦Ｔｈ０であれば（ステップＳ４０４−ＹＥＳ）、ステップＳ４０５に進み、Ｔｈ０＜Ｃｔｈ＜Ｔｈ１であれば（ステップＳ４０４−ＮＯ）、ステップＳ４０６に進む。

ステップＳ４０５で、ゲイン決定部６０１は、出力ゲインＧａｉｎ＿ｔｈを次の式（４１）により求める。
Ｇａｉｎ＿ｔｈ＝（Ｃｔｈ−Ｔｈ０）／Ｔｈ１×Ｇａｉｎ ・・・式（４１）
ステップＳ４０６で、ゲイン決定部６０１は、出力ゲインＧａｉｎ＿ｔｈを０に設定する。

図７７は、実施例２におけるゲイン決定処理（その２）の一例を示すフローチャートである。図７７に示すステップＳ５０１で、ゲイン決定部６０１は、畳み込み処理後の値ｄｙの絶対値Ｃｔｈを求める。

ステップＳ５０２で、ゲイン決定部６０１は、絶対値Ｃｔｈが下限閾値Ｔｈ０以下か否かを判定する。Ｃｔｈ≦Ｔｈ０であれば（ステップＳ５０２−ＹＥＳ）、ステップＳ５０３に進み、Ｃｔｈ＞Ｔｈ０であれば（ステップＳ５０２−ＮＯ）、ステップＳ５０４に進む。

ステップＳ５０３で、ゲイン決定部６０１は、出力ゲインＧａｉｎ＿ｔｈを次の式（４２）により求める。
Ｇａｉｎ＿ｔｈ＝（Ｃｔｈ−Ｔｈ０）×Ｋｅｉｓｙａ ・・・式（４２）
ただし、Ｇａｉｎ＿ｔｈは、Ｍａｘ値でクリップされる。
ｋｅｉｓｙａ＝１／（Ｔｈ１−Ｔｈ０）×Ｇａｉｎ
ステップＳ５０４で、ゲイン決定部６０１は、出力ゲインＧａｉｎ＿ｔｈを０に設定する。

以上、実施例２によれば、分解能の異方性を改善し、平坦部分におけるノイズの強調を防止することができる。

（実施例２における変形例）
まず、実施例２におけるゲイン処理の別構成について説明する。図７８は、実施例２における補正画像の生成処理（その２）を説明する図である。図７８に示す例では、２段目の５×５のフィルタを、減算処理が行われた元画像に対して畳み込んだ輝度値をｄｙ（ｉｎ）と表記する。ゲイン決定部６０１は、ｄｙの値によって、ゲインを決定する。ゲイン乗算部６０２は、決定されたゲインをｄｙに乗算する。

１段目のフィルタ処理後の画像は、元画像から減算される。減算後の元画像は、２段目のフィルタ処理が行われる。２段目のフィルタ処理後の輝度値は、ゲインが乗算される。補正画像は、減算後の元画像からゲイン乗算後の画像を減算して生成される。

なお、フィルタ分析部６０４により、フィルタ係数に基づくフィルタ強度が大きい方のフィルタが決定され、ゲイン決定部６０１及びゲイン乗算部６０２は、フィルタ分析部６０４により決定されたフィルタのフィルタ処理後に処理を行うようにしてもよい。

図７９は、実施例２における補正画像の生成処理（その３）を説明する図である。図７９に示す例では、１段目の５×５のフィルタを元画像に対して畳み込んだ輝度値をｄｙ、及び２段目の５×５のフィルタを、減算処理が行われた元画像に対して畳み込んだ輝度値をｄｙ'（ｉｎ）と表記する。ゲイン決定部６０１は、ｄｙ及びｄｙ'の値によって、ゲインを決定する。ゲイン乗算部６０２は、それぞれ決定されたゲインをｄｙ及びｄｙ'に乗算する。

１段目のフィルタ処理後の値ｄｙは、ゲインが乗算された後、元画像から減算される。減算後の元画像は、２段目のフィルタ処理が行われる。２段目のフィルタ処理後の値ｄｙ'は、ゲインが乗算される。補正画像は、減算後の元画像からゲイン乗算後の画像を減算して生成される。なお、図７９に示す例は、１段目と２段目とのフィルタ強度が同じ程度の場合に適用されればよい。

図８０は、実施例２における補正画像の生成処理（その４）を説明する図である。図８０に示す例では、１段目の５×５のフィルタを元画像に畳み込んだ輝度値をｄｙと表記する。ゲイン決定部６０１は、ｄｙの値によって、ゲインを決定する。ゲイン乗算部６０２は、決定されたゲインをｄｙに乗算する。

このとき、補正画像の強調度合いが制御される場合は、ゲインの値が１段目と２段目とで同じになることが望ましい。よって、例えば、１段目だけにゲイン処理が行われる場合は、ゲイン乗算部６０２は、２段目に対し、１段目と同じ最大ゲイン（Ｇａｉｎ）を乗算すればよい。

また、２段目だけにゲイン処理が行われる場合は、ゲイン乗算部６０２は、１段目に対し、２段目と同じ最大ゲイン（Ｇａｉｎ）を乗算すればよい。また、１段目と２段目ともゲイン処理が行われる場合は、ゲイン決定部６０１は、両方の最大ゲイン（Ｇａｉｎ）を同じ値にすればよい。

図８１は、実施例２におけるゲインの決定の別例について説明する図である。図８１（Ａ）は、実施例２におけるゲインの決定（その２）を説明する図である。図８１（Ａ）に示すように、下限閾値Ｔｈ０が０に設定される場合もある。

図８１（Ｂ）は、実施例２におけるゲインの決定（その３）を説明する図である。図８１（Ｂ）に示すように、さらに最上限閾値Ｔｈ２を設け、絶対値Ｃｔｈが最上限閾値Ｔｈ２以上になった場合に、ゲイン決定部６０１は、ゲインを段階的に小さくするように決定してもよい。

［実施例３］
次に、実施例３における画像処理装置について説明する。実施例３では、前述した係数分析部１０と、実施例１又は２の画像処理部１５との各処理をＣＰＵやＤＳＰなどに行わせる。

＜構成＞
図８２は、実施例３における画像処理装置の概略構成の一例を示すブロック図である。図８２に示す画像処理装置は、制御部７０２と、主記憶部７０４と、補助記憶部７０６と、通信部７０８と、記録媒体Ｉ／Ｆ部７１０と、カメラＩ／Ｆ部７１２とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置は、例えば、ＰＣ（Personal Computer）やサーバ、スマートフォン、タブレット端末などの情報処理機能を有する装置である。

制御部７０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）などである。また、制御部７０２は、主記憶部７０４や補助記憶部７０６に記憶されたプログラムを実行する演算装置である。

また、制御部７０２は、例えば補助記憶部７０６に記憶される係数分析処理や画像処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。

主記憶部７０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部７０２が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部７０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部７０６は、記録媒体７１４などから取得された係数分析処理や画像処理を行うためのプログラムを記憶しておいてもよい。

通信部７０８は、有線又は無線で通信を行う。通信部７０８は、例えば、サーバなどから複数の画像を取得し、例えば補助記憶部７０６に複数の画像を記憶する。

記録媒体Ｉ／Ｆ（インターフェース）部７１０は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体７１４（例えば、フラッシュメモリなど）と画像処理装置とのインターフェースである。

また、記録媒体７１４に、実施例１や実施例２で説明した係数分析処理プログラムや画像処理プログラムを格納し、この記録媒体７１４に格納されたプログラムは、記録媒体Ｉ／Ｆ部７１０を介して画像処理装置にインストールされてもよい。これにより、インストールされた係数分析処理プログラムや画像処理プログラムは、画像処理装置により実行可能となる。

カメラＩ／Ｆ部７１２は、カメラ７１６との通信を行うインターフェースである。カメラ７１６から撮像されたチャート画像や、補正対象の通常の画像などは、カメラＩ／Ｆ部７１２がカメラ７１６から取得し、補助記憶部７０６などに保存する。

カメラ７１６は、図６などに示すようなチャート画像や、通常の風景や人物などを撮影する。撮影された画像は、カメラＩ／Ｆ部７１２を介して画像処理装置に取り込まれる。なお、カメラ７１６は、画像処理装置に内蔵されてもよい。

これにより、画像処理装置は、チャート画像を取得して各位置での空間フィルタを算出し、補正対象画像に対して、算出した空間フィルタを用いて補正することができる。

よって、前述した係数分析処理、画像処理を実現するためのプログラムを記録媒体に記録することで、前述した係数分析処理、画像処理をコンピュータに実施させることができる。

例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した係数分析処理、画像処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。

また、チャートの例として、図８３〜８５のチャートを用いてもよい。図８３は、チャート（その１）の例を示す図である。図８３に示すチャートは、少なくとも２方向で分解能が分析できるチャートである。

図８４は、チャート（その２）の例を示す図である。図８４に示すチャートは、放射状にあらゆる方向で分解能が分析できるチャートである。図８４に示すチャートが分解能分析に適している。

図８５は、チャート（その３）の例を示す図である。図８５に示すチャートは、中心部と、外側部で分解能が異なるチャートである。図８４に示すチャートが実施例の分解能分析に適しているが、図８３や図８５に示すチャートでも分解能の異方性を分析することができる。

以上、画像処理装置、撮像装置、情報処理方法及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出する算出部と、
前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する生成部と、
を備える画像処理装置。
（付記２）
前記生成部は、
前記第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算して算出された第３空間フィルタから、前記複数の空間フィルタを生成する付記１記載の画像処理装置。
（付記３）
前記生成部は、
前記第１空間ファイルから抽出された第４空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込んだフィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算して第５空間フィルタを算出し、前記第５空間フィルタと前記第３空間フィルタとを用いて、前記複数の空間フィルタを生成する付記２記載の画像処理装置。
（付記４）
前記生成部は、
前記第３空間フィルタと、前記第５空間フィルタ及び第６空間フィルタの畳み込み後のフィルタとの差が最小となるように前記第６空間フィルタを算出し、前記所定の要素数より大きい前記第５空間フィルタ又は前記第６空間フィルタがあれば、該第５空間フィルタ又は該第６空間フィルタが前記所定の要素数以下となるまで、前記複数の空間フィルタを生成する処理を繰り返す付記３記載の画像処理装置。
（付記５）
前記画像のボケ関数によるボケの大きさを判定する判定部をさらに備え、
前記算出部は、
前記判定部により判定されたボケの大きさよりも大きい要素数を有する前記第２空間フィルタを算出する付記１乃至４いずれか一項に記載の画像処理装置。
（付記６）
入力される画像に対し、前記複数の空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える付記１に記載の画像処理装置。
（付記７）
入力される画像に対し、前記複数の空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える付記２乃至５いずれか一項に記載の画像処理装置。
（付記８）
前記複数の空間フィルタのうち、任意の空間フィルタの処理後の値に対し、所定のゲインを乗算する乗算部をさらに備える付記６記載の画像処理装置。
（付記９）
前記処理後の値の絶対値に対し、下限閾値以下はゲインを０とし、上限閾値以上はゲインを一定とし、前記下限閾値から前記上限閾値まではゲインが段階的に変化するようにして、前記所定のゲインを決定するゲイン決定部をさらに備える付記８記載の画像処理装置。
（付記１０）
前記複数の空間フィルタのうち、フィルタ係数に基づくフィルタ強度を分析した結果によりゲインを乗算する対象の空間フィルタを決定する分析部をさらに備える付記９記載の画像処理装置。
（付記１１）
画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出し、
前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する
処理をコンピュータが実行する情報処理方法。
（付記１２）
画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出し、
前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する
処理をコンピュータに実行させるプログラム。

１０ 係数分析部
１５ 画像処理部
１０１ 分解能分析部
１０２ 決定部
１５１ フィルタ制御部
１５２ フィルタ処理部
２０１、４０１ フィルタ記憶部
２０２ フィルタ取得部
２０３、４０２ フィルタ算出部
２０４、４０３ フィルタ生成部
２３１ 判定部
３０１、５０１ 畳み込み演算部
３０２ 減算部
３０３ ゲイン乗算部
６０１ ゲイン決定部
６０２ ゲイン乗算部
６０３ 減算部
６０４ フィルタ分析部
７０２ 制御部

Claims (12)

1. 画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出する算出部と、
   前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する生成部と、
   を備える画像処理装置。
2. 前記生成部は、
   前記第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算して算出された第３空間フィルタから、前記複数の空間フィルタを生成する請求項１記載の画像処理装置。
3. 前記生成部は、
   前記第１空間ファイルから抽出された第４空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込んだフィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算して第５空間フィルタを算出し、前記第５空間フィルタと前記第３空間フィルタとを用いて、前記複数の空間フィルタを生成する請求項２記載の画像処理装置。
4. 前記生成部は、
   前記第３空間フィルタと、前記第５空間フィルタ及び第６空間フィルタの畳み込み後のフィルタとの差が最小となるように前記第６空間フィルタを算出し、前記所定の要素数より大きい前記第５空間フィルタ又は前記第６空間フィルタがあれば、該第５空間フィルタ又は該第６空間フィルタが前記所定の要素数以下となるまで、前記複数の空間フィルタを生成する処理を繰り返す請求項３記載の画像処理装置。
5. 前記画像のボケ関数によるボケの大きさを判定する判定部をさらに備え、
   前記算出部は、
   前記判定部により判定されたボケの大きさよりも大きい要素数を有する前記第２空間フィルタを算出する請求項１乃至４いずれか一項に記載の画像処理装置。
6. 入力される画像に対し、前記複数の空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える請求項１に記載の画像処理装置。
7. 入力される画像に対し、前記複数の空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える請求項２乃至５いずれか一項に記載の画像処理装置。
8. 前記複数の空間フィルタのうち、任意の空間フィルタの処理後の値に対し、所定のゲインを乗算する乗算部をさらに備える請求項６記載の画像処理装置。
9. 前記処理後の値の絶対値に対し、下限閾値以下はゲインを０とし、上限閾値以上はゲインを一定とし、前記下限閾値から前記上限閾値まではゲインが段階的に変化するようにして、前記所定のゲインを決定するゲイン決定部をさらに備える請求項８記載の画像処理装置。
10. 前記複数の空間フィルタのうち、フィルタ係数に基づくフィルタ強度を分析した結果によりゲインを乗算する対象の空間フィルタを決定する分析部をさらに備える請求項９記載の画像処理装置。
11. 画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出し、
    前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する
    処理をコンピュータが実行する情報処理方法。
12. 画像の分解能に異方性を有する有限の第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込み、画像のボケの大きさよりも大きい要素数を有する第２空間フィルタを算出し、
    前記第２空間フィルタから、所定の要素数以下となる複数の空間フィルタを生成する
    処理をコンピュータに実行させるプログラム。