JP6625144B2 - 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置 - Google Patents

Description

本発明は、画像の鮮鋭化処理を行う画像処理装置に関する。

従来、元画像にアンシャープマスクを適用してぼかした画像と元画像との差分を、元画像に加算あるいは減算することで画像を鮮鋭化するアンシャープマスク処理が知られている。ぼかした画像と入力画像の差分が大きいところほど画像はより鮮鋭化される。特許文献１には、像高方向に配列する画素信号列に対して非対称な一次元のフィルタを適用することで光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の影響を低減する方法が開示されている。

特開２０１０−８１２６３号公報

しかしながら、従来のアンシャープマスク処理は、アンシャープマスクに回転対称なフィルタを利用しており、非対称収差やサジタルハロのような複雑な形状を有するＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。すなわち、収差の大きいアジムス方向における収差を補正しようとすると、収差の小さいアジムス方向ではアンダーシュートが発生する。逆に、アンダーシュートを抑制すると、収差を十分に補正することができない。

また、特許文献１の方法は、像高方向への非対称性しか考慮しておらず、補正フィルタも１次元となっているため、像高方向以外の方向への非対称性を改善することができない。なお像高方向とはメリジオナルのアジムス方向である。また、フィルタに関しても、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のＰＳＦのぼけ方とは異なるため、従来手法では十分に鮮鋭化することができない。

そこで本発明は、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体、および、レンズ装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、光学系を介した撮像により生成された撮影画像を取得する取得部と、前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成する再構成処理部と、再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部とを有し、再構成された前記点像強度分布関数の離散化間隔は、像高に応じて異なる。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、光学系を介した撮像により生成された撮影画像を取得するステップと、前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成するステップと、再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップとを有し、再構成された前記点像強度分布関数の離散化間隔は、像高に応じて異なる。

本発明の他の側面としての画像処理プログラムは、コンピュータに前記画像処理方法を実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
本発明の他の側面としてのレンズ装置は、撮像素子を有する撮像装置に取り外し可能に装着され、前記撮像装置と通信可能なレンズ装置であって、光学系と、前記光学系の点像強度分布関数の近似に使用される係数データおよび前記点像強度分布関数を再構成する際の離散化間隔を像高に応じて異なる間隔に調整するための離散化係数を記憶する記憶部と、を有し、前記撮像装置は、前記レンズ装置から送信された前記係数データおよび前記離散化係数を用いて、離散化された点像強度分布関数を再構成し、再構成された前記点像強度分布関数の情報に基づいて、前記光学系を介した撮像により生成された撮影画像に対するアンシャープマスク処理を行う。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、高精度な鮮鋭化処理を実行することが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法を示すフローチャートである。 各実施例における撮像装置のブロック図である。 各実施例におけるアンシャープマスク処理による鮮鋭化の模式図である。 各実施例におけるｘｙ平面上の撮像光学系のＰＳＦの模式図である。 各実施例における回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 各実施例における回転非対称なアンシャープマスクによる鮮鋭化処理の模式図である。 各実施例におけるアンシャープマスクの模式図および概略断面図である。 各実施例におけるベイヤー配列の模式図である。 各実施例における画像処理部のブロック図である。 近似ＰＳＦの等高線図である。 各実施例における係数の算出方法を示すフローチャートである。 各実施例における近似ＰＳＦと設計値を示す図である。 点像強度分布関数の回転処理の説明図である。 再構成された点像強度分布関数の断面図である。 鮮鋭化処理による振幅成分ＭＴＦの変化の説明図である。 鮮鋭化処理前後の周波数特性の説明図である。 連続関数と離散化間隔との関係の説明図である。 離散化間隔と周波数特性との関係の説明図である。 各実施例における画素ピッチと離散化間隔との関係図である。 鮮鋭化処理後の周波数特性の説明図である。 実施例２における画像処理方法を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

［入力画像］
入力画像は、撮像装置において撮像光学系（光学系）を介して形成された被写体像（光学像）を光電変換した撮像素子からの出力を用いて生成されたデジタル画像（撮影画像）である。デジタル画像は、レンズや光学フィルタ等の光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）により劣化した画像である。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成される。撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、光学系、撮像素子、および、撮像素子の出力を用いてデジタル画像（入力画像）を生成する信号処理回路により、撮像系が構成される。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や出力画像には、入力画像を生成（撮像）した際の撮像装置における光学系の焦点距離、絞り値（Ｆ値）、撮像距離、像高等の撮影条件に関する情報（撮影条件情報）を付帯させることができる。また入力画像や出力画像には、入力画像を補正するための各種の補正情報を付帯させることもできる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、画像処理装置にて画像処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯させることが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。

［画像鮮鋭化処理］
図３は、本実施形態のアンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図である。図３（Ａ）において、実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像をそれぞれ示している。図３（Ｂ）の実線は、補正成分を示している。図３（Ａ）、（Ｂ）のそれぞれにおいて、横軸は座標、縦軸は画素値または輝度値である。図３は、後述する図４の所定の方向（例えば、Ｘ方向）における断面に相当する。

元画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は以下の式（１）で表すことができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） … （１）
式（１）において、ｍは補正の強さを変化させるための調整係数である。調整係数ｍの値を変化させることにより、補正量を調整することができる。なお調整係数ｍは、入力画像の位置（像高）によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また調整係数ｍ（ｘ，ｙ）は、光学系の焦点距離、絞り値（Ｆ値）、または、撮影距離などの撮影条件に応じて異ならせることもできる。

補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、以下の式（２）のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） … （２）
式（２）の右辺を変形することにより、以下の式（３）が得られる。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） … （３）
式（２）、式（３）において、＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。「デルタ関数」とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。式（２）を変形することにより式（３）を表現することができるため、式（２）と式（３）とは互いに等価である。よって、以下、式（２）を用いて補正成分の生成について説明する。

式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像との差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図３（Ａ）の実線で示される撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、撮影画像ｆ（ｘ，ｙ）をぼかした画像は、図３（Ａ）の破線で示されるようになる。補正成分ｈ（ｘ，ｙ）は、式（２）に示されるように、撮影画像ｆ（ｘ，ｙ）とぼかした画像との差分であるため、図３（Ａ）の実線から図３（Ａ）の破線を減算することにより、図３（Ｂ）の実線で表現される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことにより、図３（Ａ）の実線に示される撮影画像ｆ（ｘ，ｙ）を図３（Ａ）の点線のように鮮鋭化することができる。

次に、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮像光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は撮影前の画像（被写体の像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数である点像強度分布関数ＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）のように表すことができる。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） … （４）
ここで、撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。このため、画像の中心部については回転対称なＵＳＭを適用することで、撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は、撮影画像とアンシャープマスクでぼかした撮影画像との差分値となるため、精度良く補正するには、アンシャープマスクとして単純な平滑化フィルタを使用するのではなく、ｐｓｆ（ｘ，ｙ）により近い形状のマスクを使用することが好ましい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。このため、回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦを使用する方が精度良く補正することができる。

本実施形態では、アンシャープマスクＵＳＭ（ｘ，ｙ）にＰＳＦを用いる。図３（Ａ）に示される撮影画像ｆ（ｘ，ｙ）は簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）にかかる劣化関数が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

一方、画像の中心部以外の位置については撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図４は、ｘｙ平面における撮像光学系のＰＳＦの模式図であり、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦをそれぞれ示している。

例えば、元の画像（被写体）が理想点像であるとすると、式（４）から撮影画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすると、入力画像として得られる画像は図４（Ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５および図６は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図５は回転対称なアンシャープマスクを用いた場合、図６は回転非対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。縦軸と横軸はそれぞれ図３と同様である。

図５（Ａ）および図６（Ａ）の実線は、図４（Ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。図５の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図６の回転非対称なアンシャープマスクには撮像装置のＰＳＦを適用している。

図５（Ｂ）および図６（Ｂ）はそれぞれ、各アンシャープマスクでぼかした撮影画像と元の撮影画像との差分値をプロットしたものであり、補正成分を表している。便宜的に、図５（Ａ）および図６（Ａ）においては、撮影画像がＰＳＦによって、よりぼけて裾野が広くなっている方をＹ軸のプラス側とする。

図５（Ａ）では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。このため、図５（Ｂ）の補正成分も中心のピーク位置に対して右側（プラス側）より左側（マイナス側）の方が極値は小さくなっている。図５（Ａ）と図５（Ｂ）の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。

図５（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示したものであり、図５（Ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく凹んでおり、非対称なぼけは補正できていないことがわかる。例えば、アンシャープマスクを変えずに式（４）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になる。一方、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が小さくなっており、この傾向は図５（Ａ）と逆になっている。そのため、図６（Ｂ）の補正成分も中心のピーク位置に対して左側（マイナス側）より右側（プラス側）の方が極値は小さくなっている。図６（Ａ）の実線で表された撮影画像に対して、このような補正成分を適用すると、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。このような非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。図６（Ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図６（Ａ）の実線に対しても鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側とプラス側の凹みのバランスの差が改善している。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。また、より精度良く補正を行うには、補正成分の補正量のバランスはぼけた画像と元の画像との差分となるため、撮像光学系のＰＳＦによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度によく補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。

以上、画像鮮鋭化処理としてＰＳＦを用いたアンシャープマスクの例を示したが、ＰＳＦは、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理に用いてもよい。また、近年研究が進んでいるＤＬ（ディープラーニング）の学習画像の生成に用いることもできる。

［係数データ］
次に、アンシャープマスクＵＳＭの生成に用いる係数について説明する。前述のように、各実施例では撮像光学系のＰＳＦをアンシャープマスクとして用いる。このとき、撮像光学系のＰＳＦは像高、焦点距離、Ｆ値および撮像距離等の撮像条件によって変化するため、鮮鋭化を行う際には撮像条件に応じたアンシャープマスクを生成する必要がある。撮像条件によって変化するＰＳＦに応じてアンシャープマスクを変形させるために、すべての組み合わせを計算しておき、撮像条件に対応するＰＳＦを選択する方法も考えられる。しかし、このような手法はアンシャープマスクを適用する際の処理速度やデータを保持しておくための記録容量の観点からも好ましくない。

このため各実施例では、撮像光学系のＰＳＦを近似するための係数のデータ（係数データ）を保持しておき、アンシャープマスクを作成する際に係数のデータを用いて、（離散化された）ＰＳＦを再構成（近似）する。これにより、保持すべきデータ量を低減しつつ、鮮鋭化の効果を最大限とすることを可能としている。各実施例では、ＰＳＦを近似してアンシャープマスクを作成する方法として、以下に説明するように、連続関数とその係数のデータを用いる。

まず、撮像光学系のＰＳＦの近似に用いる連続関数について説明する。前述のように、天文物理学の分野において測光した天体をフィッティングする際には、Ｍｏｆｆａｔ関数と呼ばれる、以下の式（５）で表される関数Ｐ（ｘ，ｙ）がよく利用される。

ここで、式（５）のα，βは係数であり、特にβ＝１のときをローレンツ関数と呼ぶ。例えば式（５）を用いてＰＳＦをモデル化する場合、計測あるいは計算により算出したＰＳＦの分布に対して式（５）でフィッティングすることで、係数α，βを求める。そして、算出した係数α，βと式（５）を用いることで、ＰＳＦをモデル化することができる。このように、式（５）でも近似的なＰＳＦを作成することはできるが、式（５）は座標ｘ，ｙに対して回転対称な分布のみを表現可能な関数である。このため、式（５）を用いて回転非対称な分布やＮ回回転対称性を有する分布（Ｎは整数）を作成することはできない。

式（５）を変形した関数として、楕円形状（２回回転対称性を有する分布）を表現できるＥｌｌｉｐｔｉｃａｌ Ｍｏｆｆａｔ関数と呼ばれる式（６）（および（６ａ））で表される関数がある。

式（６）中のα，β，γは係数である。式（６ａ）は角度θの回転行列である。式（６）と式（６ａ）とをまとめると、次式（７）のように表現することができる。

式（７）において、ａ，ｂ，ｃ，σ，βは係数である。なお、式（７）を用いる場合において楕円形状を保つためには、係数ａ，ｂ，ｃに関して、ｂ^２−ａｃ＜０の関係を満たす必要がある。

式（７）（または式（６））を用いることにより、式（５）の関数では表現できない楕円形状の分布も再現することができるため、式（５）の関数を用いる場合に比べて補正の精度は向上する。しかし、撮像光学系のＰＳＦにフィッティングに式（７）の関数を用いても、非対称収差やサジタルハロのような複雑な形状を再現することができない。すなわち、式（７）では、回転対称やＮ回回転対称性を有する分布は表現できるものの、回転非対称な分布を表現することができない。

そこで、各実施例では、撮像光学系の非対称収差やサジタルハロのような複雑な形状のＰＳＦを再現可能な関数として、以下の式（８）（（８ａ）〜（８ｃ））で表される関数を用いる。
ｘ≧０かつｙ≧０において、

ｘ≧０かつｙ＜０において、

ｘ＜０において、

式（８）において、ａ，ｂ，ｃ，ｄ，ｅ，σ，βは係数である。なお、式（８）についても、式（７）の場合と同様に、係数ａ，ｂ，ｃに関して、ｂ^２−ａｃ＜０の関係を満たす必要がある。

図１０（Ａ）〜（Ｆ）は、式（８）をベースとした関数で表現できる分布形状の例である。図１０（Ａ）はＸＹ座標において回転対称な分布を示しており、式（５）〜式（８）のいずれの関数でも表現できる。撮像光学系が共軸系であり、像点が光軸上であればＰＳＦも回転対称となるため、式（５）〜式（８）のいずれの関数を用いても図１０（Ａ）の分布形状を表現することができる。

図１０（Ｂ），（Ｃ）は、Ｘ軸とＹ軸に楕円の長軸と短軸が重なる楕円形状の分布（以下、楕円分布という）を示している。これらの楕円分布は、式（５）の関数では表現できず、式（６）〜（８）の関数のいずれかを用いることで近似精度は向上する。図１０（Ｄ）は、Ｘ軸とＹ軸に楕円の長軸と短軸が重ならない場合の楕円分布を示しており、式（５）や式（６）の関数ではこの楕円分布を表現することはできない。この楕円分布は、式（７），（８）の関数いずれか用いることで良好な精度で近似することができる。

図１０（Ｅ），（Ｆ）は、Ｙ軸に関して（つまりはＸ方向において）対称で、Ｘ軸に関して（つまりはＹ方向において）非対称な分布形状を示している。図１０（Ｅ）の分布形状は、図１０（Ｄ）に示す楕円分布のうちＹ軸より＋Ｘ側の部分をＹ軸に関して−Ｘ側に鏡映した分布に相当する。また、図１０（Ｆ）の分布形状は、長軸がＹ軸に重なり、短軸がＸ軸に重ならない楕円分布のうちＸ軸よりも上側の部分をＹ軸に関して鏡映し、かつＸ軸より下側の部分を同心半円形状とした分布に相当する。式（５）〜（７）の関数では図１０（Ｅ），（Ｆ）のように線対称な分布形状を表現することはできない。一方、本実施形態で用いる式（８）の関数は回転非対称な分布も表現可能な関数であり、図１０（Ｅ），（Ｆ）に示す分布形状も精度良く近似することができる。

前述したように、撮像光学系の光軸上の像点におけるＰＳＦは回転対称な分布形状となるが、光軸に直交する平面（像面）内における光軸上以外の像点ではＰＳＦは回転対称な分布形状になるとは限らない。しかし、撮像光学系が共軸光学系である場合、光軸上以外の像点であっても、像面内で像点と光軸とを結ぶ直線が伸びる方向（メリジオナル方向）に対して直交する方向（サジタル方向）においてはその像点上のＰＳＦは対称な分布形状を持つ。このように撮像光学系のＰＳＦは回転対称な分布形状を有するとは限らないが、サジタル方向においては対称性を有する。このため、式（８）のｘ方向（図１０（Ｅ），（Ｆ）中のＸ方向）をサジタル方向とし、ｙ方向（図１０（Ｅ），（Ｆ）中のＹ方向）をメリジオナル方向に一致させることで複雑な非対称収差に対応することができる。

次に、式（８）における各係数について詳細に説明する。式（８）の係数のうち、係数ａ，ｂ，ｃは、図１０（Ｄ）に示すようにＸ軸とＹ軸に長軸と短軸が重ならない楕円分布を生成するための係数である。そして、これらの係数ａ，ｂ，ｃを制御することにより、楕円分布のＸ方向とＹ方向での非対称性を制御することができる。また、図１０（Ｅ），（Ｆ）に示したように、Ｘ軸とＹ軸以外に長軸および短軸のうち少なくとも一方を設定した楕円分布をＹ軸に関してのみ対称化したサジタルハロのような他の関数では表現が困難な収差も表現することができる。

係数ｄは、Ｙ方向（特定方向）において楕円分布を非対称化するための係数であり、この係数ｄを制御することでメリジオナル方向において非対称な形状となる収差に対応することができる。例えばコマ収差はこの係数ｄを制御することで、より近似精度を向上させることができる。

係数ｅ，σ，βは、楕円分布の拡がりを制御するための係数である。近似する楕円分布の拡がりが大きい場合は係数σを大きくし、近似する楕円分布の形状がピーク付近で急激に変化する場合は係数βを大きくすることで、近似精度を向上させることができる。係数ｅは、楕円分布の拡がりを制限するための係数である。係数ｅ＝０の場合は式（８）より楕円分布は周辺側でＰ（ｘ，ｙ）＝０に漸近する。このため、楕円分布の拡がりが小さい場合は係数ｅをｅ＞０とすることで近似精度を向上させることができる。

なお、撮像光学系のＰＳＦを近似するために、楕円分布はＰ（ｘ，ｙ）≧０とする必要がある。このため、ｅ＞０とした場合は、周辺部ではＰ（ｘ，ｙ）＜０となるが、その場合はクリップしてＰ（ｘ，ｙ）＝０とすればよい。

次に、図１１を参照して、係数データの算出方法について説明する。図１１は、係数データの算出方法を示すフローチャートである。各実施例では、撮像光学系１０１の設計値を用いて、アンシャープマスクの生成に用いられる係数（係数データ）を算出する。

まずステップＳ１において、係数を算出するために必要となる情報を取得する。具体的には、係数を算出する対象となる撮像画像を生成するための撮像時の撮像条件および撮像光学系１０１のＰＳＦ（設計ＰＳＦ）と近似ＰＳＦとのずれに対応する目標値（評価値Ｅの閾値）を取得する。

続いてステップＳ２において、ステップＳ１にて取得した撮像条件に対応する撮像光学系１０１の設計値のデータから、設計ＰＳＦを算出する。図１２は、ステップＳ２で算出される設計ＰＳＦと後述するステップＳ４で生成される近似ＰＳＦの断面を示す。図１２に示されるように、ステップＳ２で算出される設計ＰＳＦは分割数（タップ数）がＮ、間隔（離散化間隔）Ｄｏで離散化されている。設計ＰＳＦのサイズ（カーネルサイズ）は、図１２から明らかなように間隔Ｄｏとタップ数Ｎとの積で表すことができる。すなわち、離散化された設計ＰＳＦは、間隔Ｄｏ、タップ数Ｎおよびカーネルサイズのうちいずれか２つが分かれば残りの１つも一意に決まる。例えば、間隔Ｄｏ＝２．０μｍでタップ数Ｎ＝１１とすると、カーネルサイズはＤｏ×（Ｎ−１）＝２０μｍとなる。また、Ｄｏ×Ｎをカーネルサイズと呼んでもよく、この場合は２２μｍとなる。また、間隔Ｄｏはフィッティングする際のピッチとなるため、実在する撮像素子の画素ピッチよりも小さい方がよい。予め小さい画素ピッチでフィッティングしておくことで、様々な画素ピッチの撮像素子に対しても対応することができる。なお、フィッティングに撮像光学系１０１の設計値のデータを用いているが、チャート等を撮像して撮像画像から撮像光学系１０１のＰＳＦを推定したデータを用いてもよい。

続いてステップＳ３において、ＰＳＦを近似する際に用いる係数ａ，ｂ，ｃ，ｄ，ｅ，σ，βの初期値を設定する。各係数はこの後の処理で更新（変換）されるため、ステップＳ３では初期値として仮の値を設定する。

続いてステップＳ４において、係数を式（８）に代入してＰＳＦを近似することで、近似ＰＳＦを作成する。本処理では、設計値に対してフィッティングを行うことで最適な係数を導出するため、近似ＰＳＦを離散化する。離散化における分割数や間隔はステップＳ２で算出した設計ＰＳＦに合わせる。

続いてステップＳ５において、ステップＳ２で算出した設計ＰＳＦとステップＳ４で作成した近似ＰＳＦとのずれを評価する。設計ＰＳＦと近似ＰＳＦのずれを評価する際の指標としては、例えば、設計ＰＳＦと近似ＰＳＦとの差分の二乗平均平方根を計算してこれを評価値Ｅとして用いる。評価値Ｅが小さいほど近似ＰＳＦが設計ＰＳＦに近いことを意味する。

続いてステップＳ６において、ステップＳ５で算出した評価値ＥとステップＳ１で取得した目標値を用いて判定を行う。評価値Ｅは、設計ＰＳＦと近似ＰＳＦとのずれに関する情報だけでなく、近似ＰＳＦの係数に関する情報を含んでもよい。本実施形態では、ＰＳＦを近似するための関数（モデル）として式（８）を用いるが、前述したように係数ａ，ｂ，ｃはｂ^２−ａｃ＜０の関係を満たす必要がある。このため、係数ａ，ｂ，ｃがこの関係を満たさず、ｂ^２−ａｃ≧０となった場合には望ましい結果が得られないため、評価値Ｅが大きくなるよう重みを付けることでより効率的にフィッティングを行うことができる。また、各係数の取り得る範囲の制約がある場合には、同様に評価値Ｅを変化させることで、フィッティングの効率化や精度向上を図ることができる。

ステップＳ６では、このように算出した評価値Ｅと予め設定された目標値とを比較する。評価値Ｅが目標値以下である場合、フィッティング、すなわち近似ＰＳＦの生成を完了し、近似ＰＳＦを得た係数のデータを出力する。一方、評価値Ｅが目標値を超えている場合、まだ十分にフィッティングができていないため、ステップＳ７に進む。

ステップＳ７において、係数（係数データ）を変更（更新）する。このとき、更新する係数は１つのみでもよいし複数であってもよい。係数を更新した後、ステップＳ４に戻り、再度近似ＰＳＦを算出し、さらにステップＳ５で評価値Ｅを算出する。そして、ステップＳ６において評価値Ｅが目標値以下に収束するまでステップＳ４からステップＳ７の処理を繰り返す。なお、係数の更新前の評価値Ｅに対して更新後の評価値Ｅが小さくならなければ更新前の係数に戻ってステップＳ４からの処理をやり直してもよいし、また局所解から抜け出すためにステップＳ３まで戻り、再度初期値を設定してもよい。

以上の係数（係数データ）の算出処理により、種々の撮像光学系（交換可能な場合）１０１に対する、かつ様々な撮像条件に対するＰＳＦを予め係数化し、そのデータ（係数データ）を記憶部１１２に格納しておくことができる。このように事前に近似ＰＳＦの係数を算出しておくことで、鮮鋭化処理の段階では算出された係数データを取得するだけで撮像光学系１０１や撮像条件に応じた近似ＰＳＦを再構成（再現）することができる。

［周波数特性］
次に、アンシャープマスク処理における周波数特性の制御について説明する。前述の式（１）をフーリエ変換して周波数空間での表示形式に変換すると、式（１）は以下の式（９）のように表現することができる。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋ｍ×Ｈ（ｕ，ｖ） … （９）
式（９）において、Ｈ（ｕ，ｖ）は補正成分ｈ（ｘ，ｙ）をフーリエ変換することにより得られる関数であり、Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれ鮮鋭化後の画像ｇ（ｘ，ｙ）、元画像ｆ（ｘ，ｙ）をフーリエ変換して得られた関数である。（ｕ，ｖ）は、２次元周波数面での座標、すなわち周波数である。Ｈ（ｕ，ｖ）は、式（２）より、以下の式（１０）のように表現することができる。

Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）−Ｆ（ｕ，ｖ）×Ｕ（ｕ，ｖ） … （１０）
式（１０）において、Ｕ（ｕ，ｖ）はアンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換により得られた関数である。同様に、式（３）より、Ｈ（ｕ，ｖ）は以下の式（１１）のように表すことができる。

Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×（１−Ｕ（ｕ，ｖ）） … （１１）
Ｇ（ｕ，ｖ）は、式（９）に式（１０）を代入することで、以下の式（１２）のように表される。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋ｍ×｛Ｆ（ｕ，ｖ）−Ｆ（ｕ，ｖ）×Ｕ（ｕ，ｖ）｝ … （１２）
同様に、式（９）に式（１１）を代入することで、Ｇ（ｕ，ｖ）は以下の式（１３）のように表すことができる。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋ｍ×Ｆ（ｕ，ｖ）×｛１−Ｕ（ｕ，ｖ）｝ … （１３）
式（１３）は、以下の式（１４）のように変形することができる。

Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×｛１＋ｍ×（１−Ｕ（ｕ，ｖ））｝ … （１４）
式（１２）から式（１４）は、処理する順序等が異なるものの、式の変形により導出できるため、いずれも等価な関係にある。よって、式（１２）から式（１４）のいずれの方式を利用しても、式（１４）における括弧｛｝の部分がアンシャープマスク処理前後の周波数特性の変化に対応する。すなわち、括弧｛｝の絶対値は、アンシャープマスク処理におけるフィルタのゲイン（鮮鋭化度合い）となり、アンシャープマスク処理の周波数空間における鮮鋭化の効果を表している。

図１５は、鮮鋭化処理による振幅成分ＭＴＦの変化の説明図であり、式（１４）の括弧｛｝の絶対値の一断面を示している。図１５において、横軸は空間周波数、縦軸はゲインＧａを示している。また、図１５の破線はｍ＝０．５、実線はｍ＝１．０のときを示しており、それぞれ高周波側ではゲインＧａ＝１．５、Ｇａ＝２．０に漸近している。ここで、アンシャープマスクＵＳＭの周波数特性Ｕ（ｕ，ｖ）の実部をＲｅ（Ｕ（ｕ，ｖ））、虚部をＩｍ（Ｕ（ｕ，ｖ））とすると、アンシャープマスク処理におけるゲインＧａは、以下の式（１５）のように表される。

仮に、アンシャープマスクＵＳＭが回転対称なガウス分布であった場合、そのフーリエ変換であるＵ（ｕ，ｖ）もガウス分布となり、Ｉｍ（Ｕ（ｕ，ｖ））＝０、０≦Ｒｅ（Ｕ（ｕ，ｖ））≦１となるため、ゲインＧａは１≦Ｇａ（ｕ，ｖ）≦（１＋ｍ）となる。また、ガウス分布は分布の中心から離れるとゼロに漸近する分布となるため、Ｕ（ｕ，ｖ）の実部Ｒｅ（Ｕ（ｕ，ｖ））もゼロに近づく。このため、高周波側になるほどゲインＧａ（ｕ，ｖ）は（１＋ｍ）に漸近し、図１５の実線や破線で示すような曲線となる。

次に、アンシャープマスクＵＳＭに撮像光学系のＰＳＦを利用した場合について説明する。この場合、Ｕ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光学伝達関数ＯＴＦとなる。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。

図１６は、アンシャープマスク処理による鮮鋭化前後のＭＴＦの変化を示している。図１６において、横軸は空間周波数、縦軸はＭＴＦをそれぞれ示している。図１６の一点鎖線は撮像光学系のＭＴＦ（鮮鋭化前のＭＴＦ）を示し、実線と破線はそれぞれ図１５の実線、破線に対応するアンシャープマスク処理を実行した後のＭＴＦを示している。図１６に示されるように、一般に撮像光学系のＭＴＦは低周波側が高く、高周波側が低くなる。また、撮像光学系のＭＴＦがゼロに近づくと、光学伝達関数ＯＴＦの実部虚部ともにゼロに近づき、この撮像光学系で解像可能な限界の周波数を超えると、Ｒｅ（Ｕ（ｕ，ｖ））＝０、Ｉｍ（Ｕ（ｕ，ｖ））＝０となる。このとき、式（１５）より、ゲインＧａ（ｕ，ｖ）＝（１＋ｍ）となるため、アンシャープマスクＵＳＭに撮像光学系のＰＳＦを利用した場合、ゲインＧａは図１５の実線や破線で示されるような高周波側で増加する曲線となる。ただし、撮像光学系のＰＳＦを利用した場合、軸上以外のＰＳＦは回転非対称となるため、ゲインＧａ（ｕ，ｖ）も回転非対称となる。ゲインＧａ（ｕ，ｖ）は、ＰＳＦが回転対称の場合にはいずれの方向（断面）でも一定となるが、回転非対称な場合には方向によって異なる。なお、撮像光学系のＰＳＦをアンシャープマスクＵＳＭに利用した場合、撮像光学系のＯＴＦの実部及び虚部はマイナスを示すことがあるため、ある周波数でゲインがＧａ（ｕ，ｖ）＞（１＋ｍ）となる場合もある。

次に、図１７および図１８を参照して、連続関数の離散化と周波数特性との関係について説明する。図１７は、連続関数と離散化間隔との関係の説明図であり、近似ＰＳＦに対応する連続関数と離散化後のデータの断面図を示している。図１７において、横軸は座標（画素位置）、縦軸は輝度に対応している。また図１７において、実線は連続関数、白丸は間隔Ｄｓで離散化した近似ＰＳＦデータ、×印は間隔２Ｄｓで離散化した近似ＰＳＦデータである。図１８は、離散化間隔と周波数特性との関係の説明図であり、図１７の近似ＰＳＦデータを用いたアンシャープマスク処理におけるフィルタの周波数特性の模擬図である。図１８において、横軸は空間周波数、縦軸はゲインＧａをそれぞれ示している。

図１８において、図１７の白丸の近似ＰＳＦデータに対応したフィルタの周波数特性が実線、×印の近似ＰＳＦデータに対応したフィルタの周波数特性が破線となる。図１８の実線と破線を比較すると、特に低周波側の特性が異なっており、より小さい間隔で離散化してＰＳＦデータを作成したフィルタの方が低周波側のゲインＧａが高い。

ここで、撮像素子１０４の画素ピッチがＤｓであるとすると、図１７の白丸が撮像素子１０４の画素ピッチと同じ間隔で離散化したＰＳＦデータ、×印は画素ピッチの２倍の間隔で離散化したＰＳＦデータとなる。このとき、撮像素子１０４のナイキスト周波数は１／（２Ｄｓ）［本／ｍｍ］となり、図１８の実線は撮像素子１０４のナイキスト周波数までの周波数特性に対応する。一方、撮像素子１０４の画素ピッチの２倍の間隔でサンプリングした場合、図１８の破線のように周波数特性が本来よりも下がる。

逆に、撮像素子１０４の画素ピッチが２Ｄｓであるとすると、図１７の白丸が撮像素子１０４の画素ピッチの半分の間隔で離散化したＰＳＦデータ、×印は画素ピッチと同じ間隔で離散化したＰＳＦデータとなる。このとき、撮像素子１０４のナイキスト周波数は１／（４Ｄｓ）［本／ｍｍ］となり、図１８の破線は撮像素子１０４のナイキスト周波数までの周波数特性に対応する。一方、撮像素子１０４の画素ピッチの半分の間隔でサンプリングした場合、図１８の実線のように周波数特性が本来よりも上がる。すなわち、連続関数を離散化する際の間隔（離散化間隔）を画素ピッチと異なるように設定することにより、周波数特性を変化させることができる。離散化間隔を画素ピッチよりも大きくすると、ゲインＧａが小さくなる。一方、離散化間隔を画素ピッチよりも小さくすると、ゲインＧａが大きくなる。換言すると、離散化間隔が大きくなると、生成される近似ＰＳＦデータの分布の広がりが小さくなり、それによってＲｅ（Ｕ（ｕ，ｖ））が大きくなるため、式（１５）からＧａ（ｕ，ｖ）が小さくなる。逆に、離散化間隔が小さくなると、生成される近似ＰＳＦデータの分布の広がりが大きくなり、それによってＲｅ（Ｕ（ｕ，ｖ））が小さくなるため、式（１５）からＧａ（ｕ，ｖ）が大きくなる。

また、図１８において、実線の１／（４Ｄｓ）［本／ｍｍ］までの周波数特性と破線の１／（２Ｄｓ）［本／ｍｍ］までの周波数特性の形状は、互いに一致する。仮に、画素ピッチがＤｓで図１７の×印のさらに２倍の間隔で離散化した場合、図１８の実線に対して１／（８Ｄｓ）［本／ｍｍ］をナイキスト周波数となるよう横軸のスケールを変える（横軸を４倍する）ことで、フィルタの周波数特性が得られる。

このように、調整係数ｍを変更することによりゲインＧａを縦軸方向にｍ倍することができるのに対して、離散化間隔による調整は横軸方向にスケールを変化させる効果を得ることができる。本実施形態では、アンシャープマスク処理における周波数特性の高精度な制御をＰＳＦの離散化間隔を調整することで実現する。以下、具体的な実施例について説明する。

まず、図２を参照して、本発明の実施例１における撮像装置について説明する。図２は、本実施例における撮像装置１００のブロック図である。撮像装置１００は、カメラ本体（撮像装置本体）１１６と、カメラ本体１１６に着脱可能な交換レンズ（レンズ装置）１０２とを有する。カメラ本体１１６には、入力画像（撮影画像）の鮮鋭化処理（画像処理方法）を行うプログラムがＲＯＭ（メモリ）やハードディスクドライブなどの記憶部１０９にインストールされており、鮮鋭化処理は画像処理部（画像処理装置）１０５により実行される。なお、記憶部１０９に代えて、画像処理部１０５の内部に設けられた記憶部に本実施例の画像処理方法のプログラムをインストールしてもよい。また、プログラムに対応する回路を設計し、その回路を動作させることで鮮鋭化処理を実行させてもよい。

交換レンズ１０２は、撮像光学系１０１、光学系制御部１０７、記憶部１１２、レンズＣＰＵ１１３、および、接点ユニット１１４を備える。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備えて構成されている。本実施例では、交換レンズ１０２はカメラ本体１１６に対して交換可能な構成としているが、これに限定されるものではなく、カメラ本体１１６と一体的に構成される撮像装置にも適用可能である。記憶部１１２は、書き換え可能な不揮発性メモリである。記憶部１１２に記憶されるデータは、主に交換レンズ１０２に特有の光学的な特性を示す情報である。カメラ本体１１６は、この情報を交換レンズ１０２から取得し、取得した情報に基づいて撮影画像を補正する。

記憶部１１２は、撮像光学系１０１の点像強度分布関数ＰＳＦを再構成（近似）するために使用される係数データや調整係数ｍなどのＰＳＦに関する情報を記憶している。これらの情報は、接点ユニット１１４、１１５を介して、交換レンズ１０２からカメラ本体１１６へ通信により送信される。カメラ本体１１６は、交換レンズ１０２から送信されたＰＳＦに関する情報に基づいてフィルタを生成して補正処理を実行し、鮮鋭化画像を生成する。なお、ＰＳＦに関する情報をカメラ本体１１６の記憶部１０９に格納しておいてもよい。交換レンズ１０２がカメラ本体１１６に装着された際、初期通信時に記憶部１１２に格納された係数データ等をレンズＣＰＵ１１３およびカメラＣＰＵ１１１を介して記憶部１０９に転送して格納することもできる。本実施例において、記憶部１１２または記憶部１０９に格納されている係数データや調整係数ｍなどＰＳＦに関する情報は、交換レンズ１０２の撮像光学系１０１に対応する情報である。

レンズＣＰＵ１１３は、交換レンズ１０２とカメラ本体１１６との間で通信を行うための通信回路（通信手段）、リセット例外処理、Ａ／Ｄ、タイマー、入出力ポート、内蔵ＲＯＭ、および、内蔵ＲＡＭなどの機能を有する。通信回路は、交換レンズ１０２とカメラ本体１１６との間で、撮影モード（動画撮影モード、静止画撮影モード）に応じた制御情報を含む通信方式で通信を行う。光学系制御部１０７は、交換レンズ１０２の内部の各構成要素を制御するレンズ制御手段であり、レンズＣＰＵ１１３の指示に基づいて、通信回路を介して得られた制御情報を用いてレンズや絞りなどの光学素子の駆動制御を行う。接点ユニット１１４は、交換レンズ１０２とカメラ本体１１６との間で通信を行うための複数の金属接点を備え、レンズＣＰＵ１１３とカメラＣＰＵ１１１とを電気的に接続する接続手段である。

カメラ本体１１６は、光学ローパスフィルタ１０３、撮像素子１０４、画像処理部１０５、表示部１０６、状態検知部１０８、記憶部１０９、画像記録媒体１１０、カメラＣＰＵ１１１、および、接点ユニット１１５を備える。撮像素子１０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの二次元撮像素子である。撮像素子１０４は、撮像光学系１０１および光学ローパスフィルタ１０３を介して得られた被写体像（光学像、結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子１０４により光電変換が行われてアナログ信号（電気信号）に変換される。アナログ信号は、不図示のＡ／Ｄコンバータによりデジタル信号に変換され、デジタル信号は画像処理部１０５に入力される。

画像処理部１０５は、デジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。なお、本実施例では、カメラ本体１１６の画像処理部１０５が鮮鋭化処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。画像処理部１０５は、状態検知部１０８から撮像装置１００の撮影条件（撮像条件情報）を取得する。撮像条件情報とは、像高、絞り値（Ｆ値）、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０８は、カメラＣＰＵ１１１から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば、撮像光学系１０１に関する撮像条件情報は、光学系制御部１０７からレンズＣＰＵを介して取得することもできる。

画像処理部１０５は、図９に示されるように、取得部１０５１、再構成処理部１０５２、および、鮮鋭化処理部１０５３を有し、入力画像（撮影画像）に対して画像鮮鋭化処理を行う。画像処理部１０５で処理された出力画像は、記憶部１０９に所定のフォーマットで保存される。記憶部１０９は、撮像光学系１０１の撮影条件と撮像光学系のＰＳＦとの関係を記憶する記憶手段としても機能する。アンシャープマスク処理を実行する画像処理装置が画像処理部１０５とは別に設けられている場合、カメラＣＰＵ１１１は撮影画像と対応付けて収差情報を記憶してもよい。

表示部１０６は、鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。表示部１０６には、高速表示のために簡易処理を行って得られた画像を表示してもよい。以上の一連の処理は、カメラＣＰＵ１１１により制御される。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を設けてもよい。ローパスフィルタ等、ＰＳＦに影響を与える光学素子を用いる場合、アンシャープマスクを作成する時点でこの光学素子の影響を考慮すれば、より高精度な鮮鋭化処理が可能である。赤外カットフィルタを設ける場合も、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）のそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響を与えるため、アンシャープマスクを作成する時点でその影響を考慮することが好ましい。

次に、図１を参照して、本実施例の画像処理方法について説明する。図１は、本実施例の画像処理方法を示すフローチャートである。図１のフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化することが可能である。これは他の実施例のフローチャートにおいても同様である。図１の各ステップは、カメラＣＰＵ１１１の指示に基づいて、画像処理部１０５により実行される。

まずステップＳ１１において、画像処理部１０５（取得部１０５１）は、光学系（撮像光学系１０１）を介して生成された撮影画像を入力画像として取得する。入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢの全てのチャンネルの画像データ、またはデモザイキング前の画像データであってもよい。

図８は、離散的な規則配列であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよく、または、特定のチャンネルのみ入力画像として使用してもよい。また、図８に示されるように、ＧチャンネルをＧ１、Ｇ２の２つに分け、４チャンネルとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

続いて、図１のステップＳ１２において、画像処理部１０５（取得部１０５１）は、撮像条件に応じた撮像光学系１０１のＰＳＦの再構成に用いる式（８）の関数（所定の関数）の係数ａ、ｂ、ｃ、ｄ、ｅ、σ、βのデータ（係数データ）を取得する。なお、ある像点に対応する近似ＰＳＦを生成するには、必ずしもこれら全ての係数のデータを取得する必要はない。例えば光軸上のＰＳＦであれば、前述した回転対称な形状となるため、ａ＝ｃ、ｂ＝０、ｄ＝１となる。

係数βはべき乗の項であるため、係数βをＰＳＦに応じて変化できるようにすると処理負荷が増大する。このため、β＝１と固定してもよい。このように係数βを固定すると、係数βを有する場合に比べて表現できる形状が減るが、記憶部１１２または記憶部１０９に保持する係数データ量の削減や処理負荷の低減を図ることができる。また、近似精度を向上させるため、係数を追加してもよい。例えば分布の拡がりが小さく、ピークが高くなるようなＰＳＦに対しては、連続関数で高精度にフィッティングするのは難しいため、ＰＳＦのピークまたはピーク付近の値を直接、係数として設定してもよい。このように、分布が急激に変化する領域を直接、係数として設定することにより、関数で再現する領域をそれ以外の領域とすることができ、近似精度を向上させることが可能となる。また、ステップＳ１２において、画像処理部１０５（取得部１０５１）は、係数データだけでなく、鮮鋭化処理を実行する際に用いる調整係数ｍを取得してもよい。

またステップＳ１２において、画像処理部１０５（取得部１０５１）は、近似ＰＳＦの再構成を実施する際に用いる係数データを取得する。撮像装置１００がレンズ交換式カメラの場合、カメラ本体１１６が変わると撮像素子１０４の画素ピッチも変化するため、画素ピッチの変化に応じた処理が必要になる。

図１９を参照して、レンズ交換式カメラの場合の画素ピッチの変化に対する処理について説明する。図１９は、画素ピッチと離散化間隔との関係図である。図１９において、横軸は画素ピッチｐ、縦軸は調整後の離散化間隔ｓｐ、画素ピッチｐ１、ｐ２はそれぞれ再構成する際の最小画素ピッチと最大画素ピッチを示している。画素ピッチをｐ、調整後の離散化関数（離散化間隔）をｆ（ｐ）とするとき、線形関数で表される場合には以下の式（１６）のように表現することができる。

ｆ（ｐ）＝Ａｐ＋Ｂ … （１６）
式（１６）において、Ａ、Ｂは離散化を実施する際の離散化係数（離散化調整係数）である。式（１６）を用いた場合、離散化係数Ａは、画素ピッチｐに対する傾きであり、画素ピッチｐに対する割合で調整することができる。前述の例のように、離散化間隔ｓｐを画素ピッチｐの２倍とする場合、離散化関数ｆ（ｐ）の離散化係数Ａ、Ｂはそれぞれ、Ａ＝２．０、Ｂ＝０となる。

離散化係数Ｂは、画素ピッチに依存しない係数であり、Ａ＝０として、Ｂだけ値をもつようにすることにより、全画素ピッチを一律に調整することが可能である。なお、式（１６）の離散化関数（離散化間隔）ｆ（ｐ）は、離散化係数Ａ、Ｂを用いた線形関数として表現されているが、必ずしも線形でなくてもよく非線形な冪級数関数や指数関数、対数関数などを用いてもよい。

本実施例では、より高精度な鮮鋭化処理を実現するため、調整係数ｍや離散化調整係数Ａ、Ｂを用いてフィルタの周波数特性を調整する。撮像光学系のＰＳＦは撮影条件に応じて変化するため、ステップＳ１２にて入力画像の撮影条件に対応する離散化調整係数Ａ、Ｂを取得する。また撮像光学系のＰＳＦは、入力画像内の位置（像高）に応じて変化するため、離散化調整係数Ａ、Ｂも位置（像高）に応じて異ならせてもよい。なお、離散化係数Ａ、Ｂはレンズの性能等に応じで適宜決定することが好ましい。このため、離散化係数Ａ、Ｂのような近似ＰＳＦの離散化に関する情報は、交換レンズ１０２内の記憶部１１２に記憶させておくことが好ましい。

次に、図７を参照して、アンシャープマスクＵＳＭについて説明する。図７（Ａ）はアンシャープマスクの模式図、図７（Ｂ）はアンシャープマスクの概略断面図である。アンシャープマスクＵＳＭは、撮像光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（Ａ）に示されるアンシャープマスクＵＳＭは、一例として、１１×１１タップの二次元のマスクである。図７（Ａ）に示されるアンシャープマスクＵＳＭは、フィルタ係数が回転非対称に分布した二次元フィルタとなっている。

図７（Ａ）では、各タップ内の値（フィルタ係数に相当する）を省略しているが、アンシャープマスクＵＳＭの一断面を図７（Ｂ）に示す。図７（Ｂ）において、実線がアンシャープマスクＵＳＭの断面であり、横軸はタップ、縦軸はタップの値である。アンシャープマスクＵＳＭの各タップの値（係数値）の分布は、収差により広がった信号値（撮像光学系のＰＳＦ）の分布が理想的である。

本実施例において、画像処理部１０５は、係数データを用いて近似ＰＳＦを生成し、近似ＰＳＦに対応するアンシャープマスクＵＳＭを生成する。このため、撮像光学系１０１のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま保持すべきデータ量を大幅に削減することができる。例えば、図７に示されるように、１１×１１タップのアンシャープマスクＵＳＭであれば、１２１個のタップ値のデータを持つ必要がある。ＲＧＢに対するデータを別々に保持する場合にはその３倍になるため、３６３個のタップ値のデータを保持しなければならない。一方、係数を保持する場合、式（８）の係数は７個であり、ＲＧＢに対する係数を別々に保持する場合であっても２１個となる。このように、係数のデータを保持することで保持データ量を削減することができる。

続いて、図１のステップＳ１３において、画像処理部１０５（再構成処理部１０５２）は、ステップＳ１２にて取得した係数データを用いてＰＳＦ（離散化されたＰＳＦ）を再構成する（再構成処理）。ＰＳＦは、係数データと係数データを算出する際に利用した関数である式（８）に基づいて再構成され、本実施例は再構成したＰＳＦをアンシャープマスクして利用する。

図１４は、再構成された点像強度分布関数ＰＳＦの断面図である。アンシャープマスクとして図１４中の領域Ａの部分を再現させようとする場合、少し広めの領域Ｂでフィッティングし、係数を生成してもよい。これにより、交換レンズ１０２などにより、後からタップ数やピッチを変更した場合に、領域を増やす方向にも変更することが可能となる。

本実施例において、式（８）のような連続関数を離散化する際には、ステップＳ１２にて取得した離散化調整係数を用いる。離散化間隔は、式（１６）および撮像素子１０４の画素ピッチに基づいて求められる。本実施例では、離散化調整係数Ａ、Ｂおよび調整係数ｍを用いて調整することで、より高周波側のゲインを高める鮮鋭化処理を実施する。

図２０（Ａ）はアンシャープ処理後のＭＴＦ特性である。図２０（Ａ）において、横軸は空間周波数、縦軸はＭＴＦをそれぞれ示している。図２０（Ｂ）は、アンシャープマスク処理におけるフィルタの周波数特性であり、横軸は空間周波数、縦軸はゲインＧａをそれぞれ示している。図２０（Ａ）、（Ｂ）は、撮像素子１０４の画素ピッチｐのナイキスト周波数１／（２ｐ）［本／ｍｍ］までの特性を示している。図２０（Ａ）、（Ｂ）中の破線は、調整係数ｍ＝１．０、離散化調整係数Ａ＝１．０、Ｂ＝０のときの結果であり、このとき式（１６）の調整後の離散化間隔ｆ（ｐ）は画素ピッチｐとなる。図２０（Ａ）、（Ｂ）中の一点鎖線は、破線に対して調整係数ｍのみ変更しており、調整係数ｍ＝１．５となっている。図２０（Ａ）中の破線と一点鎖線とを比較すると、全体的に一点鎖線は破線よりもＭＴＦが高くなっている。このように、調整係数ｍを上げることで高周波側も上げることができる。

しかしながら、図２０（Ａ）の一点鎖線は低周波側において、ＭＴＦが１．０を超えている領域があり、ＭＴＦが１．０超えるとリンギング等の弊害が鮮鋭化後の画像に生じるため、好ましくない。すなわち、弊害を発生させずによりゲインを高めるためには高周波側のみゲインを上げる必要があるが、前述のように調整係数ｍではそのような調整を実施することができない。

一方、図２０（Ａ）、（Ｂ）の実線は、離散化調整係数も変更しており、調整係数ｍ＝４．０、離散化調整係数Ａ＝２．０、Ｂ＝０となっている。このとき、式（１６）の調整後の離散化間隔ｆ（ｐ）は画素ピッチｐの２倍となる。図２０（Ａ）中の実線、破線、一点鎖線を比較すると、実線は低周波側ではＭＴＦが１．０以下に収まっており、高周波側ではＭＴＦが最も高くなっている。また、図２０（Ｂ）中の曲線を比較しても、実線は低周波側ではゲインが低く、高周波側で破線や一点鎖線に比べて高くなっている。このように、離散化調整係数Ａ、Ｂを調整し、離散化する際の間隔を変えることで、より高周波側のゲインを上げる処理が可能となる。

なお、図２０では、離散化する際の調整を離散化調整係数Ａのみ用いて行っているが、同様に離散化調整係数Ｂのみ用いて行ってもよく、または、両方を用いて調整を実施してもよい。また、撮像光学系の性能は画像における位置（像高）に応じて異なるため、画像における位置（像高）ごとにこれらの係数を保持することが好ましい。一般的に、撮像光学系の性能は、画像の中心ほど性能が高く、画像の周辺になると軸上よりも性能が下がることが多い。このため、例えば画像周辺になるほど離散化調整係数Ａまたは離散化調整係数Ｂを大きくし、調整係数ｍも同様に大きくすることで、性能が低くなる周辺側でより高周波側のゲインを高めることができる。

次に、画像処理部１０５（再構成処理部１０５２）は、離散化した近似ＰＳＦに対して、正規化処理を行う。連続関数からある間隔で離散化したデータの合計値は、離散化する間隔やタップ数に応じて異なる。しかしながら、離散化したデータをＰＳＦとして扱う場合、ＰＳＦデータは総和が１となるようにしなければならない。本実施例における正規化処理としては、まず近似ＰＳＦデータのタップの値の総和を算出する。次に、近似ＰＳＦデータの各タップの値に対して算出したタップの値の総和を除算する。この除算により近似ＰＳＦデータは、タップの値の総和が常に１となる。これを正規化後の近似ＰＳＦデータとして利用する。このとき処理としては除算の代わりに総和の逆数を積算してもよい。なお、各タップが保持する値の小数点精度の影響で正規化にタップの値の総和が１に合わない場合もあるが、多少ずれは許容できるため、本実施例ではタップの値の総和約１になるよう調整すればよい。また、ここでは除算による正規化を行っているが、除算以外の方法を利用してもよい。除算以外方法としては、タップの値の総和を算出した後、１と総和の差分をある特定のタップ（最大値のタップや中央のタップ等）に加算することでも実現できる。

図１３（Ａ）は、生成したアンシャープマスクの位置と入力画像との関係を示している。白丸は作成するアンシャープマスクの位置を示し、図１３（Ａ）のように入力画像を分割して８１点分のアンシャープマスクを生成する。そして、これらのアンシャープマスクに対して線形補間などを行うことにより、入力画像における任意の位置のアンシャープマスクを生成することができ、ＰＳＦの像高変化への対応が可能となる。ここで、分割数については、図１３（Ａ）では９×９としているが、軽量化のため減らしてもよいし、より精度を重視して増やしてもよい。また、図１３（Ａ）の白丸の各点について直接ＰＳＦを取得するのではなく、補間により生成してもよい。

図１３（Ｂ）はその一例を示し、各位置におけるアンシャープマスクを補間により生成する場合を表している。図１３（Ｂ）の黒点は、ステップＳ１３にて作成するアンシャープマスクの位置を示している。一般的に撮像光学系のＰＳＦは光軸に対して回転対称となるため、アンシャープマスクも同様に回転対称になる。この特徴を利用して、図１３（Ｂ）の例では、画像の中心から下方向に１０点分のアンシャープマスクを生成しておき、これらを画像の中心に対して回転しながら各白丸に対応する位置のアンシャープマスクを補間により生成する。これにより、入力画像の各位置におけるアンシャープマスクを一つ一つ作成する必要がなくなるため、処理負荷を低減することができる。像高に対する対応については以上となる。

続いて、図１のステップＳ１４において、画像処理部１０５（鮮鋭化処理部１０５３）は、ステップＳ１３にて生成したアンシャープマスクＵＳＭを用いて、撮影画像の鮮鋭化処理を実行する。本実施例では、アンシャープマスクＵＳＭに撮像光学系のＰＳＦを用いているため、入力画像の周辺部に見られるような撮像光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。

鮮鋭化処理後の画像ｇ（ｘ，ｙ）は、式（１）、（３）より、以下の式（１７）、（１８）、（１９）のように表現することができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝ … （１７）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝ … （１８）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝ … （１９）
ここで、便宜的に式（１９）の中括弧｛｝の部分を鮮鋭化フィルタと呼ぶ。鮮鋭化フィルタは、アンシャープマスクＵＳＭおよび調整係数ｍを用いて生成することができる。調整係数ｍは、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して値を決定される。ステップＳ１４において、鮮鋭化処理部１０５３は、ステップＳ１３にて生成したアンシャープマスクＵＳＭを用いて、式（１９）に基づき入力画像に対して鮮鋭化処理を実行する。

本実施例において、アンシャープマスクＵＳＭは、入力画像に関して図１３（Ａ）に示されるように離散的に保持されている。このため、図１３（Ａ）の白丸以外の位置で鮮鋭化処理を行うには、対応するアンシャープマスクＵＳＭまたは鮮鋭化フィルタが必要になる。本実施例では、離散的に生成したアンシャープＵＳＭを線形補間することにより、任意の位置で鮮鋭化処理を行うことが可能である。具体的には、ある位置に対応したアンシャープマスクＵＳＭをその位置近傍の４点の白丸に対応したアンシャープマスクを線形補間することで生成し、式（１９）に基づいて鮮鋭化処理を実施する。これにより、画像内の任意の位置での鮮鋭化処理が可能となり、画像内の鮮鋭化効果も連続的に変化するため、より自然な鮮鋭化画像が生成することができる。また、線形補間はアンシャープマスクＵＳＭではなく、鮮鋭化フィルタで行ってもよい。

なお本実施例では、式（１９）に基づく鮮鋭化処理について説明したが、式（１７）または式（１８）を用いて鮮鋭化処理を実行してもよく、いずれの場合も同様の効果を得ることができる。式（１７）または式（１８）は、入力画像に補正成分を加算する形で表現されているが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は減算になる。このように、調整係数ｍの符号の違いによるもので本質的には同じことを意味するため、調整係数ｍの符号によって変えれば演算はどちらであっても構わない。

本実施例では、撮像光学系のＰＳＦに対応する式（８）およびその係数から生成した近似ＰＳＦをアンシャープマスクＵＳＭとして用いる。このため、入力画像の周辺部にみられるような撮像光学系の非対称なＰＳＦによる劣化に対しても精度良く鮮鋭化することができる。また本実施例では、近似ＰＳＦの再構成を実施する際に離散化調整係数を用いており、離散化調整係数による離散化間隔の調整、および、調整係数ｍによるフィルタのゲイン調整により、補正精度の高い鮮鋭化処理を実現している。なお本実施例において、調整係数ｍによるフィルタのゲイン調整は必須ではなく、離散化調整係数による離散化間隔の調整のみを行ってもよい。

以上、本実施例の画像処理方法を用いることにより、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能となる。

次に、本発明の実施例２における撮像装置について説明する。本実施例の撮像装置は、実施例１の撮像装置と同様の構成を有するため、その詳細な説明は省略する。

図２１を参照して、本実施例における画像処理方法について説明する。図２１は、本実施例における画像処理方法を示すフローチャートである。本実施例の画像処理方法は、ステップＳ２３のみ実施例１の画像処理方法と異なる。ステップＳ２１、Ｓ２２、Ｓ２４、Ｓ２５はそれぞれ、図１のステップＳ１１〜Ｓ１４と同様であるため、それらの説明を省略する。

ステップＳ２３において、画像処理部１０５（再構成処理部１０５２）は、ステップＳ２２にて取得した係数データを更新（変換）する。ここで、次のステップＳ２４における再構成処理によって離散化された後の座標を（ｉ，ｊ）とすると、式（８）の（ｘ，ｙ）と離散化後の座標（ｉ，ｊ）との関係は、以下の式（２０ａ）、（２０ｂ）で表現することができる。

式（２０ａ）、（２０ｂ）において、Δは離散化間隔、Δ_ｆはフィッティング時の間隔、フィッティング時のタップ数を（２Ｎ_ｆ＋１）、離散化後のＰＳＦのタップ数を（２ｎ＋１）とする（Ｎ_ｆ、ｎは整数）。離散化後のＰＳＦは、式（８）、（２０ａ）、（２０ｂ）を用いて表現することができ、ｉ、ｊについて−ｎからｎまでの整数値を順次代入することにより、各タップの値を算出することができる。

また、式（８）、（２０ａ）、（２０ｂ）より、離散化されたＰＳＦデータは、以下の式（２１）（式（２１ａ）〜（２１ｃ））のように変形することができる。

ｉ≧０かつｊ≧０において、

ｉ≧０かつｊ＜０において、

ｉ＜０において、

式（２１）において、γ＝Δ／Δ_ｆＮ_ｆであり、離散化間隔Δは式（１６）のｆ（ｐ）に対応する。すなわち、Δ_ｆ、Ｎ_ｆはＰＳＦを関数化する際に決定される係数データであるため、γは撮像素子１０４の画素ピッチにより決定される。また、式（２１）において、係数ａ、ｂ、ｃに対してγの二乗がかかっており、画素ピッチの変化によりこれらの係数が変化すると考えることもできる。したがって、ステップＳ２３では、ステップＳ２２にて取得した係数データのうち、係数ａ、ｂ、ｃに対して画素ピッチおよび離散化調整係数に応じて決定されるγの二乗をかけることにより、係数データを更新（変換）する（更新後の係数データを生成する）。係数ａ、ｂ、ｃ以外の係数については、画素ピッチの変化による影響はないため、本実施例では更新前の係数をそのまま更新後の係数データとして用いる。

なお、撮像素子１０４がベイヤー配列で色ごとにＰＳＦデータを生成する場合、同じ色が一画素おきに配置されるため離散化間隔Δを倍にする必要がある。このため、その場合にはγを二倍にすれば同様に対応することができる。実施例１では、再構成する際に画素ピッチに応じた間隔で離散化処理を実施したが、本実施例では先に画素ピッチに応じて係数データを更新し、再構成時には画素ピッチに依存しない処理となる。再構成したＰＳＦデータや鮮鋭化結果は、実施例１の手法も実施例２の手法も同様になるが、本実施例のように係数データを更新する工程を挿入することにより、後段の再構成処理をより単純化することができる。

ステップＳ２４以降は、ステップＳ２３にて生成した更新後の係数データを用いて、実施例１のステップＳ１３の再構成処理、および、ステップＳ１４の鮮鋭化処理を行うことにより、高精度な鮮鋭化処理を実行することが可能となる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、高精度な鮮鋭化処理を実行することが可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 画像処理部（画像処理装置）
１０５１ 取得部
１０５２ 再構成処理部
１０５３ 鮮鋭化処理部

Claims (16)

1. 光学系を介した撮像により生成された撮影画像を取得する取得部と、
   前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成する再構成処理部と、
   再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行う鮮鋭化処理部と、を有し、
   再構成された前記点像強度分布関数の離散化間隔は、像高に応じて異なることを特徴とする画像処理装置。
2. 前記鮮鋭化処理部は、再構成された前記点像強度分布関数の情報に基づいて生成されたフィルタを用いて、前記撮影画像に対する前記アンシャープマスク処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタは、フィルタ係数が回転非対称に分布している二次元フィルタであることを特徴とする請求項２に記載の画像処理装置。
4. 前記係数データは、前記フィルタのゲインを調整するための調整係数を含むことを特徴とする請求項請求項２または３に記載の画像処理装置。
5. 前記調整係数は、前記像高に応じて異なることを特徴とする請求項４に記載の画像処理装置。
6. 前記再構成処理部は、前記点像強度分布関数の離散化を調整する離散化係数を用いて前記点像強度分布関数を再構成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記離散化係数は、撮像素子の画素ピッチに関する線形関数の係数であることを特徴とする請求項６に記載の画像処理装置。
8. 前記離散化係数は前記像高に応じて異なることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記再構成処理部は、
   前記離散化係数および撮像素子の画素ピッチを用いて前記係数データを更新し、
   更新した係数データを用いて前記点像強度分布関数を再構成することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記点像強度分布関数は前記撮影画像の撮影条件に対応した点像強度分布関数であり、
    前記撮影条件は、前記像高、焦点距離、Ｆ値、および、撮影距離のうち少なくとも一つを含むことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 光学系を介して形成された光学像を光電変換する撮像素子と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
12. 前記撮像装置は、前記撮像装置と通信可能であって前記光学系を有するレンズ装置が取り外し可能に装着されるように構成されており、
    前記画像処理装置は、前記点像強度分布関数の離散化を調整する離散化係数を用いて前記点像強度分布関数を再構成し、
    前記レンズ装置は、前記光学系に関する前記係数データおよび前記離散化係数を記憶する記憶部を備え、
    前記撮像装置は前記レンズ装置と通信を行うことにより前記記憶部に記憶された前記係数データと前記離散化係数を取得することを特徴とする請求項１１に記載の撮像装置。
13. 光学系を介した撮像により生成された撮影画像を取得するステップと、
    前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成するステップと、
    再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップと、を有し、
    再構成された前記点像強度分布関数の離散化間隔は、像高に応じて異なることを特徴とする画像処理方法。
14. コンピュータに、
    光学系を介した撮像により生成された撮影画像を取得するステップと、
    前記光学系の点像強度分布関数の近似に使用される係数データを用いて、離散化された前記点像強度分布関数を再構成するステップと、
    再構成された前記点像強度分布関数の情報に基づいて、前記撮影画像に対するアンシャープマスク処理を行うステップと、を実行させる画像処理プログラムであって、
    再構成された前記点像強度分布関数の離散化間隔は、像高に応じて異なることを特徴とする画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
16. 撮像素子を有する撮像装置に取り外し可能に装着され、前記撮像装置と通信可能なレンズ装置であって、
    光学系と、
    前記光学系の点像強度分布関数の近似に使用される係数データおよび前記点像強度分布関数を再構成する際の離散化間隔を像高に応じて異なる間隔に調整するための離散化係数を記憶する記憶部と、
    を有し、
    前記撮像装置は、
    前記レンズ装置から送信された前記係数データおよび前記離散化係数を用いて、離散化された点像強度分布関数を再構成し、
    再構成された前記点像強度分布関数の情報に基づいて、前記光学系を介した撮像により生成された撮影画像に対するアンシャープマスク処理を行うことを特徴とするレンズ装置。