JP6306811B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。

デジタルカメラなどで撮影した画像では、周辺部の分解能が劣化していることが多い。レンズ光学系の収差や開口サイズの画角依存性のため、光軸中心部に対して周辺部の分解能が劣化する傾向がある。劣化の要因のひとつとして開口のけられがある。画角が大きいところでは、半径方向の開口がけられ、楕円の開口となりボケが生じる。このため半径方向の分解能が劣化してしまう。

この分解能の劣化に対し、例えば、入射する光の角度によるＰＳＦ（Point Spread Function）の変化に対応するため、画像中の処理対象の位置に応じて異なるフィルタデータを用いてフィルタリングし、画像補正を行う技術がある（例えば特許文献１参照）。

特開２０１２−２３４９８号公報

ここで、分解能は、方向によって異なるという性質を有する。以降では、これを分解能の異方性と呼ぶ。例えば、光軸を中心とした半径方向と、円周方向とでは、分解能が異なる。

しかしながら、従来技術では、画像の位置に応じて異なるフィルタリングを行ってボケを補正するが、この方法では分解能の異方性を改善することはできない。

一方で、デジタルカメラなどのハードウェアにフィルタリングを実装するために、有限の空間フィルタで畳み込んで補正が行われる。これは、フーリエ変換などの周波数領域での演算は処理量が大きいからである。しかし、異方性を有する空間フィルタを有限の要素数に制限することにより、高周波成分の劣化が方向によって異なり、方向によるモアレが発生してしまう。

そこで、開示の技術では、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる画像処理装置、情報処理方法及びプログラムを提供することを目的とする。

開示の一態様における画像処理装置は、画像の分解能の異方性を改善するための空間フィルタを有限化し、前記空間フィルタの要素数以下の有限の要素数に制限した第１空間フィルタを取得する取得部と、前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで前記第１空間フィルタの、方向によって異なる分解能を改善し、かつ、方向によって異なる過度な補正によるモアレを低減する第２空間フィルタを算出する算出部と、を備える。

開示の技術によれば、分解能の異方性を有する空間フィルタを有限化する際、モアレの発生を防止することができる。

光学系の一例を示す図。 画像位置に応じた開口の例を示す図。 画像位置に応じたボケの方向を示す図。 楔形チャートを用いる場合の分解能を説明するための図。 楔形チャートで分解能を計測した結果を示す図。 撮影画像位置による劣化を示す図。 撮影画像端部の楔形チャートの一例を示す図。 図７に示す楔形チャートの分解能分析結果を示す図。 撮影画像中央部の楔形チャートの一例を示す図。 図９に示す楔形チャートの分解能分析結果を示す図。 ボケ関数をフーリエ変換したときの特性例を示す図。 Ｋ（ω）の逆数を示す図。 一定値を分母に足した場合の逆フィルタを示す図。 高周波ほどゲインを落とす場合の逆フィルタを示す図。 楕円のＰＳＦの一例を示す図。 楕円のボケ関数をフーリエ変換したときの特性例を示す図。 Ｋ（ω，θ）の逆数を示す図。 一定値を分母に足した場合の逆フィルタを示す図。 高周波ほどゲインを落とす場合の逆フィルタを示す図。 分解能の異方性を改善するための逆フィルタの一例を示す図。 空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図。 回転を説明するための図。 逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図。 逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図。 係数分析部の機能の一例を示すブロック図。 ＰＳＦを算出する手順を説明するための図。 １２個のチャートを撮影した画像の一例を示す図。 空間フィルタテーブルの一例を示す図。 空間フィルタの一例を示す図。 有限の空間フィルタの強度を示す図。 補正画像に発生したモアレの一例を示す図。 有限空間フィルタで補正した画像の分解能分析結果を示す図。 モアレの発生を抑制して補正した画像の分解能分析結果を示す図。 急激な輝度変化を示す図。 ハイパスフィルタを通した後の輝度変化を示す図。 実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図。 実施例１におけるフィルタ制御部及びフィルタ処理部の概略構成の一例を示すブロック図。 有限空間フィルタＦ_９の各画素での強度（その１）を示す図。 有限空間フィルタＦ_９の各画素での強度（その２）を示す図。 実施例１における補正処理のイメージを示す図。 注目画素の線形補間を説明するための図。 画像補正前の分解能の分析結果を示す図。 実施例１による画像補正後の分解能の分析結果を示す図。 実施例１におけるフィルタ算出処理の一例を示すフローチャート。 実施例１におけるフィルタ処理の一例を示すフローチャート。 実施例２におけるフィルタ制御部及びフィルタ処理部の概略構成の一例を示すブロック図。 有限空間フィルタＦ'_９の各画素での強度を示す図。 実施例２における補正処理のイメージを示す図。 実施例２におけるフィルタ算出処理の一例を示すフローチャート。 実施例２におけるフィルタ処理の一例を示すフローチャート。 実施例３における画像処理装置の概略構成の一例を示すブロック図。 チャート（その１）の例を示す図。 チャート（その２）の例を示す図。 チャート（その３）の例を示す図。

まず、分解能劣化の一つの要因について、図１〜３を用いて説明する。図１は、光学系の一例を示す図である。図２は、画像位置に応じた開口の例を示す図である。図１に示す光学系を用いる場合、図２に示すように、光軸中心での開口は円形であるが、画角が大きい場合の開口はけられが生じる。図２に示すように、画像位置によって開口は楕円となる。

図３は、画像位置に応じたボケの方向を示す図である。図１に示す光学系を用いる場合、図３に示すように、開口が狭くなると分解能が劣化するので、ボケの方向は半径方向に劣化する傾向がある。

次に、発明者らが行った分解能の分析について説明する。放射状にエッジが分布するシーメンスター（以下、チャートとも呼ぶ）の撮影により、分解能の劣化の傾向が詳細に分析できる。

図４は、楔形チャートを用いる場合の分解能を説明するための図である。図４に示す例では、矢印方向に分解能を計測するには、この方向と垂直な方向に複数データを取得する。図４に示す楔形のシーメンスターを用いる場合、端部から中心部に向かうほど、ライン幅が狭くなり、単位ピクセル当りのライン数は多くなる。中心部は、高周波成分を表す。また、端部から中心部に向かうほど、輝度値の振幅（Intensity）は減少する。

図４に示すように、放射状に広がる、例えば楔形形状の被写体を用いることで、方向による分解能（ＭＴＦ：Modulation Transfer Function）を分析することが可能になる。

図５は、楔形チャートで分解能を計測した結果を示す図である。図５は、図４に示す方向で分解能を計測したグラフを示す。図５に示す縦軸は輝度値の振幅を示し、横軸は１ピクセル当りのライン数（ＬＰ：Line Pair）を示す。この分析では、振幅は、中心部へ向かうほど小さくなり、高周波成分（横軸右方向）になるほど劣化していく様子（ＭＴＦ）を分析できる。

図６は、撮影画像位置による劣化を示す図である。図６に示す例では、シーメンスターを複数枚並べて撮影すると、中央部に対し、端部での分解能の劣化を分析できる。図６に示す例では、Ｄｘ方向は円周方向、Ｄｙ方向は半径方向を示す。Ｄｘ方向とＤｙ方向の定義は、以降の図においても同様である。

図６に示す分析の結果、画像端部を含む周辺部では、単に分解能が劣化しているだけでなく、分解能に異方性があることが分かる。シーメンスターの分解能を比較すると、中央部では、角度依存が少ないが、端部では、角度依存がある。

図７は、撮影画像端部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。

図８は、図７に示す楔形チャートの分解能分析結果を示す図である。図８に示すように、半径方向の分解能が円周方向よりも分解能が劣化している。これにより、画像端部では、分解能に異方性があることが分かり、その分解能を定量的に測定することが可能である。

図９は、撮影画像中央部の楔形チャートの一例を示す図である。図７に示す楔形チャートについて、Ｄｘ方向の垂直方向（半径方向）、Ｄｙ方向の垂直方向（円周方向）で分解能を分析する。

図１０は、図９に示す楔形チャートの分解能分析結果を示す図である。図１０に示すように、半径方向の分解能と、円周方向の分解能とは、それほどの違いはない。よって、画像中央部では、分解能の異方性は見られない。

ここで、上記のような分解能劣化を含むボケを補正するには、点広がり関数（ＰＳＦ）を用いて補正する手法がある。ＰＳＦは、例えばボケを表す関数である。以降では、ボケを表す関数をボケ関数とも呼ぶ。

元画像をｘ，ＰＳＦをｋとすると、ボケ画像ｙは、ｘとｋを畳み込みした画像となり、下記で表される。

実際にはノイズｎが含まれるが、ここでは説明を簡単にするため省略する。

式（１）は、フーリエ変換されると、式（２）になる。

ω：空間周波数
次に、逆フィルタＫ_ｉｎｖは、単純に求めようとすると、Ｋの逆数で求められる。

これより、元画像のフーリエ変換Ｘ（ω）は、式（４）で求められ、これを逆フーリエ変換することにより元画像が算出される。

このようにＰＳＦをフーリエ変換し、逆数による逆フィルタ関数（以下、単に逆フィルタとも呼ぶ）を算出する際に、空間周波数での割り算を行うため、高周波領域で０割が生じてしまう場合がある。０割とは、０又は０に近い値で割り算することである。高周波が０に近いと逆数が大きくなりすぎ、高周波のノイズが強調されてしまう。

図１１は、ボケ関数をフーリエ変換したときの特性例を示す図である。図１１は、Ｋ（ω）を示し、高周波では０に近くなる。

図１２は、Ｋ（ω）の逆数を示す図である。図１２は、式（３）によるＫ_ｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。

逆フィルタは、複素数なので、共役複素数を用いて表す。

図１３は、一定値を分母に足した場合の逆フィルタを示す図である。図１４は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１３や図１４に示すように、周波数成分ごとに重みを加えてノイズを低減する。

ここで、ＰＳＦが楕円の場合について考える。図１５は、楕円のＰＳＦの一例を示す図である。図１５に示す例では、Ｄｘ方向よりもＤｙ方向の方が、分解能が悪いことを示す。つまり、Ｄｙ方向の方が、Ｄｘ方向よりも分解能が劣化している。

楕円のＰＳＦは、ｋ（ｒ，θ）で表される。ｒは半径を表し、θは方向を表す。例えば、楕円のＰＳＦは、半径ｒと方向θの関数として表される。楕円のＰＳＦをフーリエ変換すると、Ｋ（ω，θ）＝ｆｋ（ｒ，θ）となる。ｆは、フーリエ変換を表す。例えば、フーリエ変換後のＫ（ω，θ）は、空間周波数ωと方向θの関数である。

図１６は、楕円のボケ関数をフーリエ変換したときの特性例を示す図である。図１６は、図１５のボケ関数の用いており、方向θによって特性が異なる。図１６に示すように、Ｄｘ方向と、分解能が悪いＤｙ方向とでは、その特性が異なることが分かる。

図１７は、Ｋ（ω，θ）の逆数を示す図である。図１７は、式（７）によるＫ_ｉｎｖを示し、例えば高周波では分母が０に近いので高周波でのノイズが拡大されてしまう。

そこで、この高周波でのノイズを低減するために、分母に補正項を挿入して高周波での強調を防ぐ。式（８）は、高周波のノイズを低減する逆フィルタを表す。

図１８は、一定値を分母に足した場合の逆フィルタを示す図である。図１９は、高周波ほどゲインを落とす場合の逆フィルタを示す図である。図１８や図１９に示すように、周波数成分ごとに重みを加えてノイズを低減する。

楕円のボケ関数（例えばＰＳＦ）の場合でも、補正した重み（λ）により高周波のノイズを低減することはできる。しかしながら、この重みによる補正では、分解能が悪い方向（例えばＤｙ方向）の補正改善を行うことができない。よって、単に重みを加えるだけでは、分解能の異方性を改善することはできない。そこで、方向に応じて適切な重み関数を調整することで、分解能の異方性を改善することができることを発明者らは見出した。

図２０は、分解能の異方性を改善するための逆フィルタの一例を示す図である。図２０に示す例は、高周波ほどゲインを落とすが、分解能が悪いＤｙ方向について改善をより強調する例である。

次に、分解能の異方性を改善するための空間フィルタの生成について説明する。以下に説明する装置は、図２０に示すように、ゲインを落とす方法を用いて説明するが、これに限られない。例えば、図１３などのように、一定値を足す方法でも分解能の異方性を改善することができる。この場合、Ｄｙ方向をＤｘ方向よりも強調して一定値を足すようにすればよい。

＜空間フィルタを生成する装置＞
まず、分解能の異方性を改善するための空間フィルタ生成について説明する。

＜構成＞
図２１は、空間フィルタを生成する装置を含む撮像装置の概略構成の一例を示すブロック図である。図１に示す撮像装置は、光学系１、撮像素子２、ＡＦＥ（Analog Front End）３、画像処理部４、後処理部５、駆動制御装置６、制御装置７、画像メモリ８、表示部９及び係数分析部１０を備える。

光学系１は、放射状の模様を有する被写体Ｋからの光を像面に集光する。例えば、光学系１は、レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２を含む。レンズ１１ａ、１１ｂ、１１ｃ、及び絞り１２は、被写体Ｋからの光を撮像素子２の撮像面に集光させて被写体の像を結像する。駆動制御装置６は、レンズ１１ａ、１１ｂ、１１ｃの位置や絞り１２の絞り度合い等を制御することができる。なお、光学系１の構成は特定のものに限定されない。

撮像素子２は、光学系１によって集光された被写体Ｋからの光を電子信号（アナログ信号）に変換する。撮像素子２は、例えば、ＣＣＤ／ＣＭＯＳ等の二次元撮像素子を含み、二次元撮像素子は、被写体の像を電子信号（画像信号）に変換してＡＦＥ３へ出力する。

ＡＦＥ３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ３は、例えばＡ／Ｄ（アナログデジタル）コンバータ３１及びタイミングジェネレータ３２を含む。タイミングジェネレータ３２は、制御装置７からの制御信号に基づいて、撮像素子２の駆動に用いられるタイミングパルスを生成し、撮像素子２及びＡ／Ｄコンバータ３１へ出力する。

画像処理部４は、デジタル信号の画像を保存して所定の画像処理を行う。画像処理部４は、例えばＡ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記録するＲＡＷメモリ４１を含む。画像処理部４は、ＲＡＷ画像に対して、所定の処理を施してもよい。所定の処理が施された画像は画像メモリ８に記録される。

後処理部５は、所定の処理を経た画像に対して更に必要な処理を施して表示画像を生成する。後処理部５は、例えば、所定の処理が施された画像を画像メモリ８から読み出して、必要な処理を行って、表示するための画像を生成し、表示部９へ出力する。

画像メモリ８は、所定の処理後の画像を記憶する。表示部９は、例えば、画像を記録するＶＲＡＭ、及びＶＲＡＭの画像を出力するディスプレイを含む。なお、撮像装置は、表示機能を必ずしも備えなくてもよく、表示部９の替わりに、表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。

駆動制御装置６は、光学系１を制御する。制御装置７は、ＡＦＥ３、及び後処理部５を制御する。

係数分析部１０は、チャートが撮影された画像から、各画像位置での各方向の分解能を分析し、分解能の異方性を改善するための適切なフィルタデータを決定する。係数分析部１０の詳細は後述する。

フィルタデータは、例えば、デコンボリューションカーネルのように、画像補正のためのフィルタリングに必要なパラメータの集合とすることができる。デコンボリューションカーネルは、具体的には、ＰＳＦに応じた円形又は楕円形の被写体の像の分布する領域と、領域における各画素の重みを表すデータ（このようなデータをデコンボリューション分布と称する）で表すことができる。

（逆フィルタ）
ここで、実施例で用いる逆フィルタについて説明する。以下では、分解能の異方性を改善する、例えば、分解能の悪い方向の調整を行う逆フィルタの算出手順について説明する。また、逆フィルタは、単にフィルタとも呼ぶ。

式（１）で示すように、元画像ｘとＰＳＦ：ｋ、ボケ画像ｙを考える。この元画像ｘを求めるときに、逆問題として式（９）が最小となれば、元画像に近い画像が得られる。

通常は、逆問題を解くときに何らかの正則化項が施される。よって、正則化項を加算し、式（１０）から逆問題を解く。

今回の問題では、方向性を必要とするから、画像の横（水平）方向（ｘ方向）および縦（垂直）方向（ｙ方向）の微分項を正則化項と追加する。

ε：重み係数
ｄ_ｍ，ｄ_ｎ：行列方向の微分フィルタ

式（１１）が最小となるには、式（１１）をｘで偏微分した結果を０とすればよく、フーリエ変換して、Ｘ（ω）について解くと以下の式（１２）が得られる。

Ｘ（ω）、Ｙ（ω）、Ｋ（ω）、Ｄ_ｍ（ω）、Ｄ_ｎ（ω）は、それぞれｘ，ｙ，ｋ，ｄ_ｍ，ｄ_ｎのフーリエ変換を表す。

周波数領域での逆フィルタＫ_ｉｎｖ（ω）は、式（１３）を満たす。

よって、逆フィルタＫ_ｉｎｖ（ω）は、次の式（１４）を満たす。

式（１４）は、共役複素数を用いると式（１５）式となる。

実施例では、分解能の悪い方向を調整するため、回転行列を用いて角度θ方向に微分係数の軸を回転させることが特徴となる。

回転行列を用いることで、方向性を持たせることができる。

図２２は、回転を説明するための図である。図２２に示す例では、Ｄｎ方向をθ回転させてＤｙ方向にし、Ｄｍ方向をθ回転させてＤｘ方向にする。

ここで、楕円ＰＳＦをｋ（ｒ，θ）、フーリエ変換後の楕円ＰＳＦをＫ（ω，θ）＝ｆｋ（ｒ，θ）とする。
式（１５）に、式（１６）（１７）及びＫ（ω，θ）を代入するとともに、方向による重みγを設定すると、式（１８）が成り立つ。

γ：逆フィルタの方向による重み係数
ε：全体の重み係数

この式（１８）により、各実施例で用いる逆フィルタの方向性の重み調整を施すことが可能となる。例えば、係数分析部１０は、分解能の悪い方向（Ｄｙ方向）の重みγを調整する。重み係数γを小さくすることで、分解能の悪い方向を改善することができる。

図２３は、逆フィルタＫ_ｉｎｖの空間周波数２次元分布の一例を示す図である。図２３に示す例では、γ＝１／３００の場合の２次元分布の例である。Ｄｙ方向について、Ｄｘ方向よりも分解能が改善するように重み係数γ、ε（特にγ）が決定される。

図２４は、逆フィルタＫ_ｉｎｖの空間周波数方向による分布の一例を示す図である。図２４は、Ｄｙ方向の重み係数を小さくすることにより、Ｄｙ方向の改善を強調することができる。また、図２４に示すＤｙ'は、γ＝１の場合の分布を示す。これにより、実施例によれば、逆フィルタのフィルタパラメータに乗算する重み係数にも異方性を持たせることができるようになる。

（係数分析部）
次に、係数分析部１０について説明する。係数分析部１０では、分解能の異方性を改善するための空間フィルタを決定する。

図２５は、係数分析部１０の機能の一例を示すブロック図である。図２５に示す係数分析部１０は、分解能分析部１０１及び決定部１０２を有する。係数分析部１０は、チャート画像が撮影された画像から係数分析を行う。以下に説明する例では、例えば左上の位置に撮影された楔形の画像から係数分析を行う。

分解能分析部１０１は、放射状の模様を有する被写体が撮像された画像の分解能劣化を少なくとも２方向で分析する。分析の仕方は、図４や図５などに説明した方法を用いる。
分解能分析部１０１は、横軸に１ピクセルあたりのライン数、縦軸に振幅強度をとるとＭＴＦがわかる。１ピクセルあたりのライン数は、実際の被写体距離位置での単位長さあたりのライン数を用いてもよい。実施例では、楔形で放射状なチャートを用いるため、図５に示すように方向によるＭＴＦを分析できる。

図２６は、ＰＳＦを算出する手順を説明するための図である。図２６に示す例では、まず、決定部１０２は、画像の位置に応じた角度と楕円率を算出する。決定部１０２は、所定角度毎に算出されたＭＴＦにおいて、ある一定閾値（最大振幅の半分程度）で等高線を作ると楕円を求めることができる。

決定部１０２は、求めた楕円の長軸と短軸から楕円率を算出できる。決定部１０２は、画像の位置に基づいて、幾何学的に角度θ１を算出する。また、決定部１０２は、分解能の楕円の長軸、短軸から角度θ１を算出することもできる。長軸、短軸から角度θ１を算出した方が、実際のボケ具合に合わせて角度を算出することができる。ここで、図３で説明したように、光軸中心から同心円を描いたときに半径方向のボケが大きい。

決定部１０２は、例えば縦方向と、半径方向との角度を算出すればよい。なお、光軸中心は、基本的には画像中心だが、レンズの位置ずれにより中心がずれる場合もある。決定部１０２は、この算出された楕円率と角度からＰＳＦを決定する。このときのＰＳＦの楕円は、ＭＴＦの等高線から得られた楕円とは９０度回転した方向になっている。

図２５に戻り、決定部１０２は、画像のボケ関数（ＰＳＦ）に応じたフィルタ（上記逆フィルタ）により補正された画像に対し、この補正後の画像の分解能分析結果に基づいて、この逆フィルタの異方性を有するフィルタデータを決定する。

また、決定部１０２は、画像の微分方向に対し、重み係数（例えばγ）を変えて決定する。例えば、Ｄｘ方向の重み係数は１にし、Ｄｙ方向の重み係数をγとし、このγを調整する。これにより、分解能の異方性を改善できる。

また、決定部１０２は、微分方向に対して、回転（例えばθ）をすることで重み係数を決定する。これにより、分解能の悪い方向を検出でき、フィルタリングを行うことができるようになる。

具体的には、決定部１０２は、例えば重み係数εとγとを調整して、適切な重み係数εとγを決定する。重み係数γは、分解能が悪い方向のフィルタパラメータの重み係数を表す。分解能が悪い方向のフィルタパラメータは、例えば、式（１８）の重み係数γにかかるＤｙ（ω、θ）とそのＤｙ（ω、θ）の共役複素数である。

重み係数を調整して決定するため、決定部１０２は、調整部１２１、画像補正部１２２、係数決定部１２３及びフィルタ決定部１２４を有する。

調整部１２１は、例えば、方向に依存しない重み係数εと、方向に依存するγを調整する。調整部１２１は、重み係数ε、γの初期値を設定し、その初期値を画像補正部１２２に渡す。

画像補正部１２２は、調整部１２１から取得した重み係数により画像補正を行う。画像補正部１２２は、式（１８）に示す逆フィルタを用いて画像をフィルタリングして補正する。画像補正部１２２は、補正後の画像を分解能分析部１０１に渡し、再度分解能の劣化を分析する。

係数決定部１２３は、補正後の画像に対する分解能分析結果に基づいて、２つの方向の分解能劣化の差が小さくなるように重み係数を決定する。係数決定部１２３は、様々な重み係数により補正された画像の分析結果を保持し、例えば、所定の振幅強度において、空間周波数の値の差分が最小となるように、重み係数εとγを決定する（決定処理１）。

また、係数決定部１２３は、所定の空間周波数において、振幅強度の差が最小となるように、重み係数εとγを決定してもよい（決定処理２）。

なお、閾値１、閾値２は、複数設定してもよく、係数決定部１２３は、各閾値での差分の二乗和が最小となるように重み係数を決定してもよい。なお、係数決定部１２３は、所定の差分が予め設定された閾値以下となるように重み係数を決定してもよい。この閾値は、事前の実験等により設定されればよい。

また、係数決定部１２３は、画像中心部での２方向の分解能の差分二乗和と、画像中心部とは異なる画像周辺部での２方向の分解能の差分二乗和との差が所定値以下となるように重み係数を決定してもよい。また、係数決定部１２３は、画像中心部と画像周辺部との差分二乗和が最小となるように重み係数を決定してもよい。

これは、分解能の異方性を低減する際、画像中央部の分解能と画像周辺部の分解能を同様にすることで、画像全体の分解能が同様になり、画質の向上が図れるからである。

係数決定部１２３による最小化の判断は、最小化関数を用いて算出してもよいし、人が判断してもよい。最小化関数としては、例えば、シンプレックスサーチ法や、最急降下法、共役勾配法などがある。

決定部１０２は、重み係数を変更して調整し、調整後の重み係数で逆フィルタを求め、求めた逆フィルタで画像を補正し、補正後の画像の分解能分析結果に基づいて、最適な重み係数を決定する。最適な重み係数が決定されるまで、重み係数の調整、逆フィルタの算出、フィルタリングによる補正、分解能分析の処理が繰り返される。

フィルタ決定部１０４は、係数決定部１２３により決定された最適な重み係数を用いる逆フィルタＫ_ｉｎｖを算出し、周波数領域の逆フィルタＫ_ｉｎｖから空間領域の逆フィルタｋ_ｉｎｖを求める。以降では、空間領域の逆フィルタを空間フィルタとも呼ぶ。

求められた逆フィルタｋ_ｉｎｖは、処理対象のタップ（要素）数分が抜き出され、有限化される。

なお、係数分析部１０は、以上の処理をチャートが存在する画像内の各位置で行う。係数分析部１０は、画像内の各位置で、分解能の異方性を分析し、その異方性を改善するための空間フィルタを決定する。

以上の処理をすることで、所定の画像位置に対し、ボケを補正しつつ分解能の異方性を改善する空間フィルタを決定することができる。例えば、分解能が他の方向よりも悪い方向を検出し、その悪い方向に対して分解能がより改善するような重み係数を決定することができる。

係数分析部１０は、空間フィルタの算出を、画像の各位置で行う。図２７は、１２個のチャートを撮影した画像の一例を示す図である。図２７に示す例は一例であり、１２個以外でも、画像を分割した複数の領域にそれぞれチャートが存在すればよい。

係数分析部１０は、各チャートが存在する各領域でフィルタデータを決定し、空間フィルタを算出する。係数分析部１０は、画像の位置と、空間フィルタとを対応付けたテーブルを作成する。

図２８は、空間フィルタテーブルの一例を示す図である。図２８に示す空間フィルタテーブルでは、各領域の左上の画素座標と、その領域のチャートにより算出された空間フィルタとを対応付ける。例えば、位置（ｘ_１，ｙ_１）には、空間フィルタ（ＦＩＬ１）が対応付けられている。

これにより、係数分析部１０を含む画像処理装置は、分解能の異方性が改善された空間フィルタを決定することができる。分解能の異方性が改善された空間フィルタは、上記例に限られず、例えば、特開２０１２−２３４９８に記載された技術で求められる空間フィルタでもよい。この場合、空間フィルタには、分解能の異方性を持たせるようにする。

なお、画像処理部４は、例えば、ＤＳＰ（Digital Signal Processor）により構成することができる。この場合、ＲＡＷメモリ４１は、ＤＳＰ内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部５、画像メモリ８、係数分析部１０、表示のためのＶＲＡＭ等が画像処理部４とともに一体のＤＳＰで構成されてもよい。また、係数分析部１０は、単体又は他の処理部を含む画像処理装置として構成されてもよい。

あるいは、ＤＳＰのような特定処理専用プロセッサでなく、ＣＰＵ等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部４や係数分析部１０の機能を実現することもできる。駆動制御装置６、制御装置７及び後処理部５も同様に、少なくとも１台の、特定処理専用プロセッサまたは汎用プロセッサにより構成することができる。

なお、プロセッサを画像処理部４や係数分析部１０として機能させるプログラムやそれを記録した記録媒体も本発明の実施形態に含まれる。この記録媒体は、一過性でない（non-transitory）ものであり、信号そのもののような一過性の媒体は含まれない。

＜空間フィルタの有限化による問題＞
次に、空間フィルタの有限化による問題について説明する。異方性を有する空間フィルタを有限化すると、抜き出されたタップ（要素）以外のところで情報が失われてしまう。空間フィルタには異方性があるために、方向により失われる情報が異なる。また、要素を足し合わせた合計も等しくない。

失われた情報には高周波の情報が含まれているので、有限の空間フィルタで画像を補正する際、補正の方向により補正度合いが異なってしまう。

図２９は、空間フィルタの一例を示す図である。図２９に示す空間フィルタは、上述した式（２０）に基づく異方性を有する空間フィルタである。図２９では、空間フィルタの要素の値を色で表現している。

図３０は、有限の空間フィルタの強度を示す図である。図３０に示す例では、例えばタップ数９とすると中心から９タップ分（９×９）の要素を抜き出す。図３０に示す例では、有限の空間フィルタの強度を縦軸に表す。空間フィルタから有限個の要素を抜き出すと、ａ１０１の部分では、情報が失われる。また、この空間フィルタは異方性を有するため、方向により失われる高周波情報が異なる。

そのため、有限の空間フィルタを用いると、方向による補正度合いが異なる。図３１に示すような９タップの空間フィルタでチャートを補正すると、モアレが発生する。図３１は、補正画像に発生したモアレの一例を示す図である。図３１に示すように、空間フィルタを有限にすることで、モアレが発生してしまう。

図３２は、有限空間フィルタで補正した画像の分解能分析結果を示す図である。図３２に示すように、方向によって、周波数の劣化の補正度合いが異なる。

図３３は、モアレの発生を抑制して補正した画像の分解能分析結果を示す図である。図３３に示す例では、モアレの発生を防ぐため、高周波の改善を抑えたため、分解能の異方性が残ってしまう。

そこで、以下に、空間フィルタを有限化する際に、モアレの発生を防ぐ各実施例について説明する。

［実施例１］
まず、モアレの発生を防ぐ概要について説明する。図３４は、急激な輝度変化を示す図である。図３４に示すような急激な輝度変化を示す部分（例えば矩形）は、様々な高周波成分の集まりである。

上述したように、分解能に異方性を有する空間フィルタを有限化することにより、高周波情報の消失が方向によって異なるため、モアレが発生する。つまり、方向によって周波数の劣化の補正度合いが異なるため、モアレが発生する。

そこで、有限のハイパスフィルタを通すことで、急激に輝度が変化する部分を低減し、方向によって異なる高周波情報の補正度合いの違いを低減する。これにより、方向によって異なる周波数情報の劣化を原因とするモアレの発生を防ぐことができる。

図３５は、ハイパスフィルタを通した後の輝度変化を示す図である。図３５に示す例は、図３４に示す輝度変化を二回微分した形状を示す。

なお、有限のハイパスフィルタは、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタであればよい。以下では、有限フィルタとして、有限のハイパスフィルタを用いて説明する。

次に、実施例１における画像処理装置を含む撮像装置について説明する。実施例１では、分解能の異方性を有する空間フィルタを有限化する際に、有限のハイパスフィルタを畳み込むことでモアレの発生を防ぐ。

＜構成＞
図３６は、実施例１における画像処理装置を含む撮像装置の概略構成の一例を示すブロック図である。図３６に示す構成で、図２１に示す構成と同様のものは同じ符号を付す。以降では、実施例１における画像処理部１５を主に説明する。

画像処理部１５は、ＲＡＷメモリ４１、フィルタ制御部１５１、及びフィルタ処理部１５２を備える。フィルタ制御部１５１は、図２８に示す空間フィルタテーブルを保持する。フィルタ制御部１５１は、空間フィルタテーブルの各空間フィルタに対して、有限のハイパスフィルタを畳み込む。フィルタ制御部１５１は、ハイパスフィルタを畳み込んだ空間フィルタをフィルタ処理部１５２に出力する。つまり、フィルタ制御部１５１は、処理対象画像の各位置に対応する各空間フィルタをフィルタ処理部１５２に出力する。

フィルタ処理部１５２は、フィルタ制御部１５１から取得した有限の空間フィルタを用いて、対応する画像位置でフィルタリングを実行する。これにより、画像の各位置で異なる分解能の異方性を改善し、モアレの発生を防止して画質を向上させることができる。

（フィルタ制御部及びフィルタ処理部）
次に、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２について説明する。図３７は、実施例１におけるフィルタ制御部１５１及びフィルタ処理部１５２の概略構成の一例を示すブロック図である。まず、フィルタ制御部１５１について説明する。フィルタ制御部１５１は、フィルタ記憶部２０１、フィルタ取得部２０２、フィルタ算出部２０３を有する。

フィルタ記憶部２０１は、第１空間フィルタ２１１と、第２空間フィルタ２１２とを記憶する。各フィルタは、それぞれ異なる記憶領域に記憶されればよい。第１空間フィルタ２１１は、分解能の異方性を有する空間フィルタである。第１空間フィルタ２１１は、例えば、図２８に示す空間フィルタテーブルの各フィルタである。第２空間フィルタ２１２は、フィルタ算出部２０３により算出されたフィルタである。第２空間フィルタは、例えば、第１空間フィルタ２１１にハイパスフィルタが畳み込まれたフィルタである。

フィルタ取得部２０２は、画像の分解能に異方性を有する有限の空間フィルタを取得する。フィルタ取得部２０２は、例えば、フィルタ記憶部２０１から第１空間フィルタ２１１を取得する。フィルタ取得部２０２は、取得した第１空間フィルタ２１１をフィルタ算出部２０３に出力する。

フィルタ算出部２０３は、フィルタ取得部２０２から取得した第１空間フィルタ２１１に対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する。フィルタ算出部２０３は、例えば、第１空間フィルタ２１１に有限のハイパスフィルタを畳み込んで第２空間フィルタを算出する。

フィルタ算出部２０３は、有限のハイパスフィルタを予め保持している。有限なハイパスフィルタは、例えば３×３のフィルタとすると、次の式（２１）又は式（２２）を用いればよい。

実施例で扱う異方性は、任意の方向の角度に応じたフィルタであるため、式（２２）に示すように、全ての要素に非０の係数がある方が好ましい。

フィルタ算出部２０３は、ハイパスフィルタを３×３とすると、空間フィルタｋ_ｉｎｖを７×７とすることで、その二つのフィルタを畳み込みして９×９のフィルタを算出する。このように、フィルタ算出部２０３は、ハイパスフィルタと空間フィルタを畳み込みして、所望のタップ数になるように算出する。

ここで、７×７のフィルタをＦ_７と表記し、ハイパスフィルタをＬａｐと表記すると、フィルタ算出部２０３で算出された９×９のフィルタＦ_９は、以下の式（２３）で表される。

図３８は、有限空間フィルタＦ_９の各画素での強度（その１）を示す図である。図３８に示す例では、有限空間フィルタの２方向（横方向Ｄｘ、縦方向Ｄｙ）の強度変化を示す。図３９は、有限空間フィルタＦ_９の各画素での強度（その２）を示す図である。図３９に示す例では、各画素での強度を色で表す。図３８や図３９に示すように、輝度が大きく変化する部分を余分に補正することがないので、安定した補正が可能となる。

フィルタ算出部２０３は、上述した式（２３）により算出した第２空間フィルタＦ_９をフィルタ記憶部２０１に記憶する。

なお、フィルタ算出部２０３は、別の装置に設けられ、フィルタ制御部１５１では、別の装置で求められた第２空間フィルタ２１２を記憶するようにしてもよい。

図３７に戻り、フィルタ処理部１５２について説明する。フィルタ処理部１５２は、畳み込み演算部３０１と、減算部３０２とを有する。畳み込み演算部３０１は、ＲＡＷメモリ４１から画像を取得し、その画像に対して第２空間フィルタＦ_９で畳み込んでフィルタ処理を行う。畳み込み演算部３０１は、フィルタ処理後の画像を減算部３０２に出力する。

減算部３０２は、ＲＡＷメモリ４１から取得した画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。ここで、補正後の画像をｘ、元の画像をｙとするとき、次の式（２４）が成り立つ。

図４０は、実施例１における補正処理のイメージを示す図である。図４０に示すように、フィルタ処理部１５２は、元画像に対してデコンボリューションフィルタ処理を行い、元画像からフィルタ処理後の画像を減算することで、補正後の画像を生成する。元画像は、ＲＡＷメモリ４１から取得された画像であり、デコンボリューションフィルタは、有限の空間フィルタＦ_９である。

ここで、フィルタ処理部１５２は、画像の各領域の各画素に対して１つの空間フィルタを用いるのではなく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。

図４１は、注目画素の線形補間を説明するための図である。図４１に示すように、フィルタ処理部１５２は、例えば近傍４つの空間フィルタで算出した各領域の中心画素を用いて、各画素の距離に応じた線形補間を行うことで、注目画素の画素値を求めてもよい。図４１の例では、フィルタ処理部１５２は、ＦＩＬ１と、ＦＩＬ２と、ＦＩＬ５と、ＦＩＬ６とでそれぞれ求められた各領域の画素値を線形補間することで、注目画素の画素値を算出する。

また、フィルタ処理部１５２は、注目画素に対して空間フィルタ自体を線形補間で求めてから画素値を算出するようにしてもよい。また、上記例では、近傍４個としたが、これに限られず、他の複数個を用いてもよいし、線形補間として距離を用いたが、その他の手法で補間するようにしてもよい。また、補間は、領域をさらに細分化した小領域毎に行ってもよいし、画素毎に行ってもよい。

＜効果＞
次に、上述した空間フィルタＦ_９を用いる効果について説明する。図４２は、画像補正前の分解能の分析結果を示す図である。Ｄｙ方向の方がＤｘ方向よりも落ち込みが大きいため、分解能が劣化していることが分かる。

図４３は、実施例１による画像補正後の分解能の分析結果を示す図である。図４３に示す例では、空間フィルタＦ_９を用いている。図４３に示すように、Ｄｘ、Ｄｙ方向共に分解能が改善し、さらに、各方向の差が小さくなっている。よって、分解能の異方性を改善することができている。また、急激な輝度変化も低減しているため、モアレの発生を防止することもできる。

＜動作＞
次に、実施例１における画像処理部１５の動作について説明する。図４４は、実施例１におけるフィルタ算出処理の一例を示すフローチャートである。

ステップＳ１０１で、フィルタ取得部２０２は、フィルタ記憶部２０１から第１空間フィルタ２１１を取得する。

ステップＳ１０２で、フィルタ算出部２０３は、第１空間フィルタに、有限ハイパスフィルタを畳み込む。

ステップＳ１０３で、フィルタ制御部１５１は、フィルタ記憶部２０１に記憶されている第１空間フィルタ２１１を全て処理したか否かを判定する。全て処理してれば（ステップＳ１０３−ＹＥＳ）フィルタ算出処理を終了し、全て処理していなければ（ステップＳ１０３−ＮＯ）ステップＳ１０１に戻る。

これにより、画像の各位置での第１空間フィルタにハイパスフィルタを畳み込んで、第２空間フィルタを生成することができる。

図４５は、実施例１におけるフィルタ処理の一例を示すフローチャートである。図４５に示すステップＳ２０１で、畳み込み演算部３０１は、処理対象画像の領域の位置に応じて、第２空間フィルタを決定する。

ステップＳ２０２で、畳み込み演算部３０１は、決定したフィルタを用いて処理対象画像の領域の画素を求める。このとき、フィルタ処理部１５２は、領域内の注目位置について、上述した線形補間を行ってフィルタ処理後の画素値を求める。

ステップＳ２０３で、畳み込み演算部３０１は、全画素について補正を行ったか否かを判定する。全画素について処理済みであれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、全画素について処理が済んでいなければ（ステップＳ２０３−ＮＯ）ステップＳ２０１に戻る。

ステップＳ２０４で、減算部３０２は、元画像から、フィルタ処理後の画像を減算し、補正後の画像を生成する。

これにより、分解能の異方性を改善しつつ、モアレの発生を防止した補正後の画像を生成することができる。

［実施例２］
次に、実施例２における画像処理装置を含む撮像装置について説明する。実施例２では、実施例１と同様の効果を得るが、フィルタ処理を簡素化する。

＜構成＞
実施例２における撮像装置は、実施例１における撮像装置と同様であるため、同じ符号を用いて説明する。

（フィルタ制御部及びフィルタ処理部）
次に、実施例２におけるフィルタ制御部１５１及びフィルタ処理部１５２について説明する。図４６は、実施例２におけるフィルタ制御部１５１及びフィルタ処理部１５２の概略構成の一例を示すブロック図である。まず、フィルタ制御部１５１について説明する。フィルタ制御部１５１は、フィルタ記憶部４０１、フィルタ取得部２０２、フィルタ算出部４０２を有する。

実施例２におけるフィルタ制御部１５１の構成で、実施例１における構成と同様のものは同じ符号を付す。

フィルタ記憶部４０１は、フィルタ算出部４０２により算出された第３空間フィルタ４１１を記憶する。

フィルタ算出部４０２は、実施例１における画像同士の減算処理を不要にする第３空間フィルタ４１１を算出する。以下のように式変形を行うことで、減算処理を不要とすることができる。

ここで、中心だけ１のフィルタＩ_０が用いられる。

次に、式（２５）を用いて式（２４）を変形すると式（２６）になる。

次に、Ｆ'_９を式（２７）のように定義する。

式（２７）を用いて式（２６）を変形すると、式（２８）になる。

これにより、実施例１と同じ結果が得られて、画像同士の減算処理を不要とする一つの有限空間フィルタを生成することができる。

フィルタ算出部４０２は、式（２７）のＦ'_９を算出する。フィルタ算出部４０２は、算出した空間フィルタＦ'_９をフィルタ記憶部４０１に書き込む。空間フィルタＦ'_９は、第３空間フィルタ４１１である。

図４７は、有限空間フィルタＦ'_９の各画素での強度を示す図である。図４７に示す例では、各画素での強度を色で表す。

図４６に戻り、実施例２におけるフィルタ処理部１５２について説明する。フィルタ処理部１５２は、畳み込み演算部５０１を有する。畳み込み演算部５０１は、式（２８）に示す処理を行い、補正後の画像ｘを生成する。

図４８は、実施例２における補正処理のイメージを示す図である。図４８に示すように、フィルタ処理部１５２は、元画像に対してデコンボリューションフィルタ処理を行うことで、補正後の画像を生成する。元画像は、ＲＡＷメモリ４１から取得された画像であり、デコンボリューションフィルタは、有限の空間フィルタＦ'_９である。

ここで、フィルタ処理部１５２は、実施例１同様、画像の各領域の各画素に対して１つの空間フィルタを用いるのではなく、近傍の空間フィルタを用いて線形補間を行って注目画素の画素値を求めてもよい。

＜効果＞
実施例２では、画像同士の減算処理を不要にするため、式を変形しただけであるので、実施例１と同様の効果を得る。

＜動作＞
次に、実施例２における画像処理部１５の動作について説明する。図４９は、実施例２におけるフィルタ算出処理の一例を示すフローチャートである。

ステップＳ３０１で、フィルタ取得部２０２は、フィルタ記憶部４０１から第１空間フィルタ２１１を取得する。

ステップＳ３０２で、フィルタ算出部４０２は、第１空間フィルタに、有限ハイパスフィルタを畳み込む。

ステップＳ３０３で、フィルタ算出部４０２は、式（２７）により、第３空間フィルタＦ'９を算出する。

ステップＳ３０４で、フィルタ制御部１５１は、フィルタ記憶部４０１に記憶されている第１空間フィルタ２１１を全て処理したか否かを判定する。全て処理してれば（ステップＳ３０４−ＹＥＳ）フィルタ算出処理を終了し、全て処理していなければ（ステップＳ３０４−ＮＯ）ステップＳ３０１に戻る。

これにより、画像の各位置での第１空間フィルタにハイパスフィルタを畳み込み、このフィルタをフィルタＩ_０から減算することで、第３空間フィルタを生成することができる。

図５０は、実施例２におけるフィルタ処理の一例を示すフローチャートである。図５０に示すステップＳ４０１で、畳み込み演算部５０１は、処理対象画像の領域の位置に応じて、第３空間フィルタを決定する。

ステップＳ４０２で、畳み込み演算部５０１は、決定したフィルタを用いて処理対象画像の領域の画素を求める。このとき、フィルタ処理部１５２は、領域内の注目位置について、上述した線形補間を行ってフィルタ処理後の画素値を求める。

ステップＳ４０３で、畳み込み演算部５０１は、全画素について補正を行ったか否かを判定する。全画素について処理済みであれば（ステップＳ４０３−ＹＥＳ）フィルタ処理を終了し、全画素について処理が済んでいなければ（ステップＳ４０３−ＮＯ）ステップＳ４０１に戻る。

これにより、実施例１同様、分解能の異方性を改善しつつ、モアレの発生を防止した補正後の画像を生成することができる。

［実施例３］
次に、実施例３における画像処理装置について説明する。実施例３では、前述した係数分析部１０と、実施例１又は２の画像処理部１５との各処理をＣＰＵやＤＳＰなどに行わせる。

＜構成＞
図５１は、実施例３における画像処理装置の概略構成の一例を示すブロック図である。図５１に示す画像処理装置は、制御部６０２と、主記憶部６０４と、補助記憶部６０６と、通信部６０８と、記録媒体Ｉ／Ｆ部６１０と、カメラＩ／Ｆ部６１２とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置は、例えば、ＰＣ（Personal Computer）やサーバ、スマートフォン、タブレット端末などの情報処理機能を有する装置である。

制御部６０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）などである。また、制御部６０２は、主記憶部６０４や補助記憶部６０６に記憶されたプログラムを実行する演算装置である。

また、制御部６０２は、例えば補助記憶部６０６に記憶される係数分析処理や画像処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。

主記憶部６０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部６０２が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部６０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部６０６は、記録媒体６１４などから取得された係数分析処理や画像処理を行うためのプログラムを記憶しておいてもよい。

通信部６０８は、有線又は無線で通信を行う。通信部６０８は、例えば、サーバなどから複数の画像を取得し、例えば補助記憶部６０６に複数の画像を記憶する。

記録媒体Ｉ／Ｆ（インターフェース）部６１０は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体６１４（例えば、フラッシュメモリなど）と画像処理装置とのインターフェースである。

また、記録媒体６１４に、所定のプログラムを格納し、この記録媒体６１４に格納されたプログラムは記録媒体Ｉ／Ｆ部６１０を介して画像処理装置にインストールされる。インストールされた所定のプログラムは、画像処理装置により実行可能となる。

カメラＩ／Ｆ部６１２は、カメラ６１６との通信を行うインターフェースである。カメラ６１６から撮像されたチャート画像や、補正対象の通常の画像などは、カメラＩ／Ｆ部６１２がカメラ６１６から取得し、補助記憶部６０６などに保存する。

カメラ６１６は、図６などに示すようなチャート画像や、通常の風景や人物などを撮影する。撮影された画像は、カメラＩ／Ｆ部６１２を介して画像処理装置に取り込まれる。なお、カメラ６１６は、画像処理装置に内蔵されてもよい。

これにより、画像処理装置は、チャート画像を取得して各位置での空間フィルタを算出し、補正対象画像に対して、算出した空間フィルタを用いて補正することができる。

よって、前述した係数分析処理、画像処理を実現するためのプログラムを記録媒体に記録することで、前述した係数分析処理、画像処理をコンピュータに実施させることができる。

例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した係数分析処理、画像処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。

また、チャートの例として、図５２〜５４のチャートを用いてもよい。図５２は、チャート（その１）の例を示す図である。図５２に示すチャートは、少なくとも２方向で分解能が分析できるチャートである。

図５３は、チャート（その２）の例を示す図である。図５３に示すチャートは、放射状にあらゆる方向で分解能が分析できるチャートである。図５３に示すチャートが分解能分析に適している。

図５４は、チャート（その３）の例を示す図である。図５４に示すチャートは、中心部と、外側部で分解能が異なるチャートである。図５３に示すチャートが実施例の分解能分析に適しているが、図５２や図５４に示すチャートでも分解能の異方性を分析することができる。

以上、画像処理装置、撮像装置、情報処理方法及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
画像の分解能に異方性を有する有限の第１空間フィルタを取得する取得部と、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する算出部と、
を備える画像処理装置。
（付記２）
前記有限フィルタは、全要素で非０の係数を有するハイパスフィルタである付記１記載の画像処理装置。
（付記３）
前記算出部は、
前記第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算することで、第３空間フィルタを算出する付記１又は２記載の画像処理装置。
（付記４）
入力される画像に前記第２空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える付記１又は２記載の画像処理装置。
（付記５）
入力される画像に前記第３空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える付記３記載の画像処理装置。
（付記６）
付記１乃至５いずれか一項に記載の画像処理装置と、
撮像部と、
を備える撮像装置。
（付記７）
画像の分解能に異方性を有する有限の第１空間フィルタを取得し、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する
処理をコンピュータに実行させるプログラム。
（付記８）
画像の分解能に異方性を有する有限の第１空間フィルタを取得し、
前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで第２空間フィルタを算出する
処理をコンピュータが実行する情報処理方法。

１０ 係数分析部
１５ 画像処理部
１０１ 分解能分析部
１０２ 決定部
１５１ フィルタ制御部
１５２ フィルタ処理部
２０１、４０１ フィルタ記憶部
２０２ フィルタ取得部
２０３、４０２ フィルタ算出部
３０１、５０１ 畳み込み演算部
３０２ 減算部
６０２ 制御部

Claims (7)

1. 画像の分解能の異方性を改善するための空間フィルタを有限化し、前記空間フィルタの要素数以下の有限の要素数に制限した第１空間フィルタを取得する取得部と、
   前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで前記第１空間フィルタの、方向によって異なる分解能を改善し、かつ、方向によって異なる過度な補正によるモアレを低減する第２空間フィルタを算出する算出部と、
   を備える画像処理装置。
2. 前記有限フィルタは、全要素で非０の係数を有するハイパスフィルタである請求項１記載の画像処理装置。
3. 前記算出部は、
   前記第２空間フィルタを、中心要素が１であり、該中心要素以外の要素が０であるフィルタから減算することで、第３空間フィルタを算出する請求項１又は２記載の画像処理装置。
4. 入力される画像に前記第２空間フィルタを用いてフィルタ処理を行い、前記画像から前記フィルタ処理後の画像を減算して補正後の画像を生成するフィルタ処理部をさらに備える請求項１又は２記載の画像処理装置。
5. 入力される画像に前記第３空間フィルタを用いてフィルタ処理を行い、補正後の画像を生成するフィルタ処理部をさらに備える請求項３記載の画像処理装置。
6. 画像の分解能の異方性を改善するための空間フィルタを有限化し、前記空間フィルタの要素数以下の有限の要素数に制限した第１空間フィルタを取得し、
   前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで前記第１空間フィルタの、方向によって異なる分解能を改善し、かつ、方向によって異なる過度な補正によるモアレを低減する第２空間フィルタを算出する
   処理をコンピュータが実行する情報処理方法。
7. 画像の分解能の異方性を改善するための空間フィルタを有限化し、前記空間フィルタの要素数以下の有限の要素数に制限した第１空間フィルタを取得し、
   前記第１空間フィルタに対し、要素の総和が０であり、かつ少なくとも２つの要素が非０である有限フィルタを畳み込むことで前記第１空間フィルタの、方向によって異なる分解能を改善し、かつ、方向によって異なる過度な補正によるモアレを低減する第２空間フィルタを算出する
   処理をコンピュータに実行させるプログラム。