JP7207893B2 - 撮像装置、レンズ装置 - Google Patents

Description

本発明は、撮影画像の画質を向上させることのできる撮像装置に関する。

光学系を用いた撮像において、被写体の１点から発生した光は光学系で生じる回折や収差等の影響を受けて、微小な広がりを持って像面に到達する。したがって撮影画像には光学系の回折や収差によるぼけが生じる。

このような画像のぼけは、点像強度分布関数（ＰＳＦ，Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）や光学伝達関数（ＯＴＦ，Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等を用いた画像処理によって鮮鋭化できることが知られている。しかしながら、画像の鮮鋭化処理を行なおうとすると、画像のノイズが増幅されてしまうという問題があった。

特許文献１には、画像を鮮鋭化する際のノイズの増幅を低減させるために、ノイズ特性に関する情報（ＩＳＯ感度）を用いて補正効果を調節することが記載されている。

特開２０１７－４１７６３号公報

特許文献１の方法では、２次元の画像回復フィルタのゲイン値を周波数空間において制御することで画像の補正効果を調節している。このため、画像処理に際して２次元の逆フーリエ変換を行う必要がある。したがって特許文献１の方法には、画像処理に要する負荷が増大してしまうという課題があった。

本発明は、処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を低減させることのできる撮像装置を提供することを目的とする。

本発明の撮像装置は、光学系を有するレンズ装置が取り外し可能に装着され、前記レンズ装置と通信可能な撮像装置であって、前記撮像装置は、前記光学系によって形成された像を光電変換する撮像素子と、前記光学系を用いた撮像により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、前記鮮鋭化フィルタの成分の二乗和に基づいて前記鮮鋭化フィルタのゲインに関するゲイン情報を取得する第３の取得手段と、を有し、前記レンズ装置は、前記鮮鋭化フィルタに関する情報を記憶する記憶部を備え、前記第２の取得手段は、前記レンズ装置から前記鮮鋭化フィルタに関する情報を取得し、前記鮮鋭化フィルタに関する情報に基づいて前記鮮鋭化フィルタを取得し、前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて、前記鮮鋭化フィルタを用いた鮮鋭化処理を行うことを特徴とする。

また、本発明の他の撮像装置は、光学系を有するレンズ装置が取り外し可能に装着され、前記レンズ装置と通信可能な撮像装置であって、前記撮像装置は、前記光学系によって形成された像を光電変換する撮像素子と、前記光学系を用いた撮像により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、前記鮮鋭化フィルタの成分に基づいて、特定の周波数における前記鮮鋭化フィルタのゲインに関するゲイン情報を取得する第３の取得手段と、を有し、前記レンズ装置は、前記鮮鋭化フィルタに関する情報を記憶する記憶部を備え、前記第２の取得手段は、前記レンズ装置から前記鮮鋭化フィルタに関する情報を取得し、前記鮮鋭化フィルタに関する情報に基づいて前記鮮鋭化フィルタを取得し、前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて、前記鮮鋭化フィルタを用いた鮮鋭化処理を行うことを特徴とする。

本発明によれば、処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を低減させることのできる撮像装置を実現できる。

アンシャープマスク処理による鮮鋭化を説明する図である。 光学系のＰＳＦを示す模式図である。 回転対称なアンシャープマスクを用いた鮮鋭化処理を説明する図である。 回転非対称なアンシャープマスクを用いた鮮鋭化処理を説明する図である。 鮮鋭化フィルタのゲインを示す模式図である。 鮮鋭化処理の前後におけるＭＴＦの模式図である。 撮像装置のブロック図である。 実施例１における画像処理のフローチャートである。 ゲイン情報と加重加算率の関係を示す図である。 実施例２における鮮鋭化フィルタの生成を説明する図である。 実施例２における画像処理のフローチャートである。 カメラシステムの概略図である。

以下、画像処理装置としての画像処理部を有する本発明の撮像装置の実施形態について、添付の図面に基づいて説明する。

本実施形態の画像処理部は、光学系を用いた撮影により生成された入力画像に対して、光学系の光学特性に基づいた鮮鋭化フィルタを用いた鮮鋭化処理としてアンシャープマスク処理を行う。まず、本実施形態の撮像装置の構成に関する説明に先立ち、本実施形態の鮮鋭化処理について述べる。

図１は、アンシャープマスク処理による鮮鋭化の模式図である。図１（ａ）の実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像を表している。また、図１（ｂ）の実線は補正成分を表している。図１の各図の横軸は座標であり、縦軸は画素値または輝度値である。図１は、後述する図２の所定の方向（例えば、ｘ方向）における断面に相当する。

入力画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は次式で表すことができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） （１）

式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより、補正量を調整することができる。なお、ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また、調整係数ｍ（ｘ，ｙ）は光学系の焦点距離や絞り値や被写体距離（撮影距離）といった撮影条件に応じて異ならせることもできる。

アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、補正成分ｈ（ｘ，ｙ）は次式のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）－ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） （２）

式（２）の右辺を変形して次式で表すことができる。
ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ）） （３）

ここで、「＊」はコンボリューション（畳み込み積分、積和）、「δ（ｘ，ｙ）」はデルタ関数である。デルタ関数とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。

式（２）を変形することで式（３）を表現できるため、式（２）と式（３）は等価である。よって、以下では式（２）を用いて補正成分の生成について説明する。

式（２）では、入力画像ｆ（ｘ，ｙ）と入力画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像の差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタ等の平滑化フィルタが使用される。

例えば、図１（ａ）の実線で示す入力画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、入力画像ｆ（ｘ，ｙ）をぼかした画像は図１（ａ）の破線で示すようになる。補正成分ｈ（ｘ，ｙ）は図１（ａ）の実線から図１（ａ）の破線を減算すること得られる図１（ｂ）の実線で示される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことによって、図１（ａ）の実線に示す入力画像ｆ（ｘ，ｙ）を図１（ａ）の点線のように鮮鋭化することができる。

次に、光学系で生じた回折や収差等の影響により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。光学系を用いた撮影により生成された入力画像ｆ（ｘ，ｙ）は、光学系による劣化が生じなかった場合の画像（以下、元の画像と称する）をＩ（ｘ，ｙ）、光学系のＰＳＦをｐｓｆ（ｘ，ｙ）とすると、次式のように、表すことができる。
ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） （４）

まず、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転対称にぼけている場合について述べる。光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なアンシャープマスクを適用することで入力画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正成分は入力画像をアンシャープマスクでぼかした画像と入力画像の差分値となるため、精度良く補正するためには、アンシャープマスクとして単純な平滑化フィルタではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のものを使用することが好ましい。

例えば、球面収差の影響で入力画像が劣化している場合を考える。球面収差であれば画面の中心に対して回転対称に影響を及ぼすものの、ガウシアンフィルタのような平滑化フィルタは球面収差の影響を反映したＰＳＦとは分布の形状が異なる。そのため、アンシャープマスクに光学系のＰＳＦを使用することで入力画像を精度良く補正（鮮鋭化）することができる。

このため、本実施形態ではアンシャープマスクＵＳＭ（ｘ，ｙ）として光学系のＰＳＦを用いている。図１（ａ）に示す入力画像ｆ（ｘ，ｙ）は簡略化のために線対称な形状となっているが、画像は対称軸を有していなくとも良い。元の画像Ｉ（ｘ，ｙ）の形状が非対称であっても、元の画像Ｉ（ｘ，ｙ）に畳み込まれる劣化関数（ｐｓｆ（ｘ，ｙ）に相当する）が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

次に、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転非対称にぼけている場合について述べる。光学系が回転対称な共軸光学系であっても、画像の中心部以外の位置におけるＰＳＦは通常非対称な形状となる。図２は、ｘｙ平面における光学系のＰＳＦの模式図であり、図２（ａ）は軸上のＰＳＦ、図２（ｂ）は軸外のＰＳＦを表している。

例えば、元の画像が理想点像の集合によって構成されているとすると、式（４）から、入力画像ｆ（ｘ，ｙ）は光学系のＰＳＦになる。図２（ｂ）に対応する画角に理想点像があり、光学系のＰＳＦの影響を受けて元の画像が劣化したとすれば、入力画像は図２（ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図３、図４は非対称にぼけた画像に対してアンシャープマスク処理を行った場合について説明する図である。図３は回転対称なアンシャープマスクを用いて処理を行った場合、図４は回転非対称なアンシャープマスクを用いて処理を行った場合を示している。図３、図４の各図の縦軸は画素値または輝度値である。また、図３、図４の各図の横軸は、図２（ｂ）のｙ方向に相当する。

図３（ａ）、図４（ａ）の実線は図２（ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした入力画像を表している。図３の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図４の回転非対称なアンシャープマスクには光学系のＰＳＦを適用している。

図３（ｂ）、図４（ｂ）は、それぞれ各アンシャープマスクでぼかされた入力画像と入力画像の差分値をプロットしたものであり、補正成分を表している。図３（ａ）、図４（ａ）において、入力画像の裾野が広くなっている方をＹ軸のプラス側とする。

図３（ａ）では、実線のピーク位置に対してプラス側において入力画像と元の画像の差分値が小さく、マイナス側において入力画像と元の画像の差分値が大きくなっている。そのため、図３（ｂ）の補正成分の中心のピーク位置に対してプラス側の極値よりもマイナス側の極値の方が小さくなっている。

図３（ａ）と図３（ｂ）の曲線を比較すればわかるように、プラス側の補正量が小さく、マイナス側の補正量は大きくなっている。このため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。図３（ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図３（ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく沈んでおり、非対称なぼけは補正できていないことがわかる。

ここで、アンシャープマスクを変えずに式（４）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になり、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。

このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称に劣化した入力画像を鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図４（ａ）では、実線のピーク位置に対してプラス側において入力画像と元の画像の差分値が大きく、マイナス側において入力画像と元の画像の差分値が小さくなっている。すなわち、図３（ａ）と反対の傾向が現れている。そのため、図４（ｂ）の補正成分も中心のピーク位置に対してマイナス側よりプラス側の方が極値は小さくなっている。

図４（ａ）の実線で表された入力画像に対して、図４（ｂ）に示す補正成分を適用することで、ピーク位置に対してプラス側（ぼけが大きい方に）は補正量を大きく、マイナス側（ぼけが小さい方）は補正量を小さくすることができる。

こうした非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。図４（ｃ）はｍ＝１のときの鮮鋭化後の結果を示したものであり、図４（ａ）の実線に対して鮮鋭化できており、尚且つ図３（ｃ）で生じていたマイナス側の沈みが改善されている。

さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。

また、より補正精度を向上させるためには、光学系のＰＳＦによってより大きくぼける部分が、アンシャープマスクによっても大きくぼかされる必要がある。それゆえ、入力画像ｆ（ｘ，ｙ）が元の画像Ｉ（ｘ，ｙ）に対して回転非対称にぼけている場合についても、アンシャープマスクとして光学系のＰＳＦを利用することが好ましい。この場合、鮮鋭化フィルタは、成分が回転非対称に分布した２次元フィルタとなる。なお、鮮鋭化フィルタとは鮮鋭化処理において入力画像に対して畳み込み演算される係数行列であり、鮮鋭化フィルタの成分とは係数行列の成分（タップ値）である。

なお、光学系のＰＳＦは、光学系の焦点距離、光学系のＦ値、および被写体距離（撮影距離）を含む撮影条件ごとに異なる。また、ＰＳＦは入力画像内での位置に依っても異なる。それゆえ、鮮鋭化フィルタは、入力画像における各位置に対して撮影条件ごとに変化させることが好ましい。

次に、入力画像に含まれるノイズ成分の増幅について述べる。

通常、光学系を用いた撮像により生成された画像には、光学系のＰＳＦによって劣化した成分の他に、ノイズによって劣化した成分が含まれる。

鮮鋭化処理は光学系の光学伝達関数の振幅成分であるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を１に近づけるような処理であるため、入力画像にノイズ成分が含まれる場合には、ノイズ成分も増幅されてしまうおそれがある。すなわち、入力画像に対して上述したような鮮鋭化処理を行うと、入力画像が鮮鋭化されるとともに入力画像に含まれるノイズ成分が目立ちやすくなってしまう。

このことは、式（１）、（３）を用いて次のように説明できる。

式（１）、（３）より、鮮鋭化処理後の画像ｇ（ｘ，ｙ）は次式のように表現することができる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ）｝ （５）

式（５）の右辺を入力画像ｆ（ｘ，ｙ）についてまとめると式（６）のようになる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ））｝ （６）

式（６）において、右辺の中括弧内の項が鮮鋭化フィルタに相当する。式（６）をフーリエ変換すると、以下の式（７）を得ることができる。
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）×｛１＋ｍ×（１－Ｕ（ｕ，ｖ））｝ （７）

式（７）におけるＧ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｕ（ｕ，ｖ）はＵＳＭ（ｘ，ｙ）のフーリエ変換である。

図５に、式（７）の括弧｛｝内の絶対値を示す。図５の横軸が空間周波数、縦軸がゲインである。アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）の実部をＲｅ（Ｕ（ｕ，ｖ））、虚部をＩｍ（Ｕ（ｕ，ｖ））とすると、アンシャープマスク処理におけるゲインＧａは以下の式（８）で表される。

仮に、アンシャープマスクＵＳＭ（ｘ，ｙ）が回転対称なガウス分布である場合、関数Ｕ（ｕ，ｖ）もガウス分布となる。そのため、虚部Ｉｍ（Ｕ（ｕ，ｖ））は０、実部Ｒｅ（Ｕ（ｕ，ｖ））は０≦Ｒｅ（Ｕ（ｕ，ｖ））≦１となり、ゲインＧａは１≦Ｇａ≦（１＋ｍ）となる。また、ガウス分布は分布の中心から離れるとゼロに漸近するため、実部Ｒｅ（Ｕ（ｕ，ｖ））もゼロに近づく。そのため、高周波側になるほどゲインＧａは（１＋ｍ）に漸近し、図５に示されるような曲線となる。なお、図５では、調整係数ｍが１である場合を表しており、高周波側ではゲインＧａが２に漸近している。

アンシャープマスクＵＳＭ（ｘ，ｙ）として光学系のＰＳＦを利用する場合、アンシャープマスクＵＳＭ（ｘ，ｙ）のフーリエ変換Ｕ（ｕ，ｖ）は、ＰＳＦのフーリエ変換である光学伝達関数（ＯＴＦ）となる。ＯＴＦの絶対値は振幅成分ＭＴＦである。

図６は、アンシャープマスク処理による鮮鋭化前後の振幅成分ＭＴＦの変化を示す図である。図６の実線は鮮鋭化処理前の振幅成分ＭＴＦ、破線は鮮鋭化後の振幅成分ＭＴＦを表す。

図６は、収差等による画像劣化の振幅成分の周波数特性を示している。図６に示されるように、低周波側が高く、高周波側が低くなる。振幅成分ＭＴＦがゼロに近づくと、ＯＴＦの実部および虚部はゼロに近づき、光学系で解像できる周波数を超えるとＯＴＦの実部および虚部はゼロとなる。このとき、ゲインＧａ（ｕ，ｖ）は式（８）より（１＋ｍ）となるため、アンシャープマスクＵＳＭ（ｘ，ｙ）として光学系のＰＳＦを利用した場合でもゲインＧａは図５の点線や破線で示される高周波側で増加する曲線となる。ゲインＧａはＰＳＦが回転対称の場合はどの方向（断面）でも一定となるが、ＰＳＦが回転非対称な場合は方向によって異なる。したがって、ＰＳＦが回転非対称となる軸外では、ゲインＧａも回転非対称となる。また、ＯＴＦの実部および虚部はマイナスとなることもあるため、所定の周波数でゲインＧａはＧａ＞（１＋ｍ）となる場合もある。

以上説明したように、アンシャープマスクＵＳＭ（ｘ，ｙ）としてガウス分布のような回転対称なフィルタを利用する場合であっても、光学系のＰＳＦを利用する場合であっても、ゲインＧａは低周波側から高周波側にかけて増加する曲線となる。

鮮鋭化処理前後の振幅成分ＭＴＦを比較すると、周波数ｆｒにおいて差が最大となる。これは、図６の実線で示される鮮鋭化処理前の振幅成分ＭＴＦに、図５に示されるゲインＧａが掛け合わされて鮮鋭化処理後の振幅成分ＭＴＦとなるためである。鮮鋭化処理前の振幅成分ＭＴＦが低い場合、ゲインＧａが大きくても鮮鋭化による振幅成分ＭＴＦの変化は小さくなる。

ここで、入力画像にノイズ成分が含まれる場合を考える。入力画像に含まれるノイズ成分をｎ（ｘ、ｙ）とすると、式（６）は以下の式（９）のように表すことができる。
ｇ（ｘ，ｙ）＝（ｆ（ｘ，ｙ）＋ｎ（ｘ，ｙ））＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）－ＵＳＭ（ｘ，ｙ））｝ （９）

同様に、ｎ（ｘ，ｙ）のフーリエ変換をＮ（ｕ，ｖ）とすると、式（７）は以下の式（１０）のように表すことができる。
Ｇ（ｕ，ｖ）＝（Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ））×｛１＋ｍ×（１－Ｕ（ｕ，ｖ））｝ （１０）

式（１０）よりノイズ成分を含む入力画像に対してアンシャークマスク処理を行うと、入力画像のうちノイズ以外の成分であるｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）と、ノイズ成分Ｎ（ｕ，ｖ）の両方に括弧｛｝の部分がかかる。また、Ｆ（ｕ，ｖ）は、式（４）をフーリエ変換することで取得されるため、元の画像Ｉ（ｘ，ｙ）のフーリエ変換と光学系のＯＴＦの積である。振幅成分ＭＴＦがゼロに近づく高周波側では、前述したようにＯＴＦの実部および虚部はゼロに近づくため、入力画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）も図６の実線で示すように同様にゼロに近づく。一方、ノイズ成分Ｎ（ｕ，ｖ）としてホワイトノイズのようなノイズ成分を考えると、周波数に依存することなく一様な分布となる。したがって、高周波側では、Ｆ（ｕ，ｖ）に対するＮ（ｕ，ｖ）の割合が大きくなるため、ノイズ成分を含む入力画像に対して、高周波側に大きなゲインをかけると鮮鋭化効果よりノイズ成分が増幅してしまう。

このため、入力画像を良好に補正するためには、鮮鋭化処理におけるゲインを見積もり、ゲインおよび入力画像のノイズ特性に基づいて鮮鋭化処理による鮮鋭化の度合いを調節する必要がある。

鮮鋭化フィルタのゲインは、式（８）を用いて得ることができるが、実空間の鮮鋭化フィルタを２次元フーリエ変換する必要が生じる。このため、式（８）を用いてゲインを算出する場合、計算量が多くなり、鮮鋭化処理に要する処理負荷が増大してしまう。

一方、予め算出されたゲインを記憶しておく場合、ゲインを得るために必要な計算量は軽減されるものの、ゲインを記憶するために記憶容量を割く必要がある。入力画像を良好に補正するためには撮影条件ごとに鮮鋭化フィルタを変化させる必要があるが、撮影条件ごとに異なる各鮮鋭化フィルタに対してゲインを記憶しようとすると、膨大な記憶容量をゲインの記憶のために割く必要が生じてしまう。

そこで、本実施形態では、後述のように、実空間の鮮鋭化フィルタからゲインを見積もり、ゲインおよび入力画像のノイズ特性に基づいて鮮鋭化処理による鮮鋭化の度合いを調節する。これによって、鮮鋭化処理に要する処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を抑制することができる。

以上、本実施形態の画像処理部において行われる鮮鋭化処理に関して説明した。

次に本実施形態の撮像装置の構成について述べる。

図７を参照して、本実施形態の撮像装置１００について説明する。図７は、撮像装置１００の構成を示すブロック図である。撮像装置１００には、本実施形態の鮮鋭化処理を行うための画像処理プログラムがインストールされており、この鮮鋭化処理は撮像装置１００の内部の画像処理部（画像処理装置）１０４により実行される。なお、図７の撮像装置１００は、本発明の撮像装置の一形態を例示するものである。本発明の撮像装置は、後に述べる図１２に示すような形態であっても良い。

撮像装置１００は、光学系１０１および撮像装置本体（カメラ本体）を備える。

光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備える。光学系１０１は例えば交換レンズ内に設けられた光学系であり、カメラ本体に対して着脱可能に装着される。また、光学系１０１はレンズなどの屈折面を有する光学素子の他、回折面を有する光学素子、反射面を有する光学素子を含んで構成されていても良い。

撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサで構成され、光学系１０１によって得られた被写体像（光学系１０１によって形成された光学像）を光電変換して撮影画像を生成する。すなわち、被写体像は、撮像素子１０２による光電変換でアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換される。このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して所定の処理を行うとともに、本実施形態の鮮鋭化処理を行う。画像処理部１０４は、図７に示されるように、撮影条件取得部（第１の取得手段）１０４ａ、鮮鋭化フィルタ取得部（第２の取得手段）１０４ｂ、ゲイン情報取得部（第３の取得手段）１０４ｃおよび処理部（処理手段）１０４ｄを備える。撮影条件取得部１０４ａは、状態検出部１０７から撮像装置１００の撮影条件を取得する。撮影条件とは、光学系１０１の絞り値、撮影距離、焦点距離を含む。状態検出部１０７は、システムコントローラ１１０から直接撮影条件を取得してもよいし光学系制御部１０６から取得してもよい。

ＰＳＦ、またはＰＳＦの生成に必要なデータは、記憶部（記憶手段）１０８に保持されている。後に述べるように、このデータは交換レンズから通信によって取得されて記憶されたものである。記憶部１０８は、例えばＲＯＭで構成される。画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。液晶モニタや有機ＥＬディスプレイで構成された表示部１０５には、鮮鋭化処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし、表示部１０５に表示する画像はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部１０５に表示するようにしてもよい。

システムコントローラ１１０は撮像装置１００の制御を行う。光学系１０１の機械的な駆動はシステムコントローラ１１０の指示に基づいて光学系制御部１０６により行われる。光学系制御部１０６は、所定のＦナンバーとなるように絞り１０１ａの開口径を制御する。また、光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの位置を制御する。なお、絞り１０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置１００の仕様に応じて実行しなくてもよい。

なお、画像処理部１０４はＡＳＩＣで構成され、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０はそれぞれＣＰＵまたはＭＰＵによって構成されている。また、画像処理部１０４、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０のうちの１つ以上を、同じＣＰＵあるいはＭＰＵで兼用するように構成してもよい。

次に、画像処理部１０４において行われる鮮鋭化処理の実施例について説明する。

［実施例１］
図８は、実施例１の鮮鋭化処理のフローチャートである。図８のフローチャートは、画像処理部１０４の指示に基づいて実行される。図８において、「Ｓ」はステップを表す。また、図８のフローチャートは、コンピュータに各ステップを実行させて画像処理部１０４と同様の機能を発揮させるためのプログラムとしても具現化可能である。これらは図１１に示すフローチャートでも同様である。

Ｓ１０１では、画像処理部１０４は、撮像装置１００によって撮影された画像を入力画像として取得する。入力画像は、記憶部１０８に保存される。また、入力画像として、画像記録媒体１０９に保存されている画像を取得してもよい。

Ｓ１０２では、撮影条件取得部１０４ａが入力画像の撮影時の撮影条件を取得する。撮影条件とは、光学系１０１の焦点距離、絞り値、撮影距離等である。光学系１０１がカメラ本体に交換可能に装着される撮像装置の場合、撮影条件はさらにレンズＩＤやカメラＩＤを含む。撮影条件は、撮像装置から直接取得してもよいし、入力画像に付帯された情報（例えばＥＸＩＦ情報）から取得してもよい。

また、Ｓ１０２において撮影条件取得部１０４ａは入力画像のノイズ特性に関するノイズ情報も取得する。ノイズ情報とは、入力画像に含まれるノイズの大きさと対応づけられる情報であれば良い。ノイズ情報としては、例えば、撮像素子１０２の感度、温度がある。また、鮮鋭化処理よりも前に入力画像に対して画像処理が行われていた場合、入力画像のノイズ特性に影響を与え得る。したがって、ノイズ情報は、鮮鋭化処理よりも前に入力画像に対して行われた画像処理に関する情報を含んでいても良い。なお、一般的な撮像装置においては上述した撮影条件と共に撮像素子の感度としてＩＳＯ感度が撮影画像と共に記録されるため、ノイズ情報としてＩＳＯ感度を用いることが好ましい。以下では、ノイズ情報としてＩＳＯ感度を用いる例について述べる。

Ｓ１０３では、鮮鋭化フィルタ取得部１０４ｂが記憶部１０８から光学系１０１の光学特性を取得する。ここでは光学特性としてＰＳＦを取得する。ただし、光学特性としてＯＴＦのようにＰＳＦに相当するものや、ＰＳＦやＯＴＦを近似的に表した関数の係数データなどを取得してもよい。

Ｓ１０４では、鮮鋭化フィルタ取得部１０４ｂが、Ｓ１０２で取得した撮影条件に応じた鮮鋭化フィルタを、Ｓ１０３で取得した光学特性に基づいて取得する。本実施例では、式（６）中の鮮鋭化フィルタにおいて、ＵＳＭ（ｘ、ｙ）にＳ１０３で取得したＰＳＦを用いた鮮鋭化フィルタ取得する。

なお、Ｓ１０３で取得した撮影条件に対応したＰＳＦが保存されていない場合には、記憶部１０８に記憶されているＰＳＦの内、Ｓ１０３で取得した撮影条件に最も近い撮影条件に対応するＰＳＦに基づく鮮鋭化フィルタを取得しても良い。また、Ｓ１０３で取得した撮影条件に近い撮影条件のＰＳＦを補間して得たＰＳＦに基づく鮮鋭化フィルタを取得したり、Ｓ１０３で取得した撮影条件に近い撮影条件のＰＳＦに基づく鮮鋭化フィルタを補間して得た鮮鋭化フィルタを取得したりしても良い。

また、本実施例では光学特性に基づいて鮮鋭化フィルタを取得したが、本発明はこれに限定されない。記憶部１０８に光学系１０１の光学特性に基づいて生成された鮮鋭化フィルタを予め記憶させておき、鮮鋭化フィルタ取得部１０４ｂが記憶部１０８から鮮鋭化フィルタを直接取得しても良い。この場合、Ｓ１０３はスキップされる。

なお、Ｓ１０４において、鮮鋭化フィルタ取得部１０４ｂは入力画像の複数の位置のそれぞれに対して、適用される複数の鮮鋭化フィルタを取得する。入力画像の各位置における光学特性（ＰＳＦ）はそれぞれ異なるため、入力画像の各位置に対して適用される各鮮鋭化フィルタはそれぞれ異なる。

また、Ｓ１０４で取得される鮮鋭化フィルタは、周波数空間ではなく実空間におけるフィルタである。鮮鋭化フィルタとして周波数空間におけるフィルタを取得する場合には入力画像の鮮鋭化に際して逆フーリエ変換を行う必要が生じるが、実空間におけるフィルタを取得していれば画像に直接適用することが可能となる。このため鮮鋭化処理に要する処理負荷を低減させることができる。これによって鮮鋭化処理の演算スピードを向上させることができる。また、鮮鋭化処理に要する処理負荷が軽減されるため、比較的安価なチップで鮮鋭化処理を実現できる。これによって、製品コストの低減が図れる。

Ｓ１０５では、Ｓ１０４で取得した鮮鋭化フィルタのゲイン情報を、ゲイン情報取得部１０４ｃが取得する。ゲイン情報とは、鮮鋭化フィルタのゲインまたはゲインと同等に扱うことのできるデータに関する情報である。ゲイン情報としては、鮮鋭化フィルタの特定の周波数におけるゲインに関する情報であっても良いし、鮮鋭化フィルタのゲインを周波数に対して平均した値に関する情報であっても良い。

前述のように、本実施例では実空間における鮮鋭化フィルタの成分からゲイン情報を取得する。実空間の鮮鋭化フィルタからゲイン情報を取得するための方法として、パーセバルの等式を用いる方法がある。

実空間における鮮鋭化フィルタをｋ（ｘ，ｙ）、ｋ（ｘ，ｙ）のフーリエ変換をＫ（ｆｘ，ｆｙ）、ｋ（ｘ，ｙ）のｘ方向のタップ数をＮｘ、ｙ方向のタップ数をＮｙとすると、以下のパーセバルの等式が成立する。

すなわち、実空間における鮮鋭化フィルタの成分の二乗和を計算することで、フーリエ変換せずにゲインの周波数成分に対する二乗和の平均が算出できる。つまり、鮮鋭化フィルタのゲインの周波数に対する平均値が算出できる。

また、実空間における鮮鋭化フィルタの成分からゲイン情報を取得するための他の方法としては、以下の式（１２）に示すように、実空間の鮮鋭化フィルタの成分と特定の周波数成分の積の和をとる方法がある。この場合、鮮鋭化フィルタの特定の周波数におけるゲインの値のみを算出することができる。

式（１２）で取得できるゲインは、図６に示したゲイン特性における特定の周波数に対するゲインである。特定の周波数に対するゲインのみを算出することで２次元フーリエ変換をするよりも処理負荷を抑えてゲイン情報を取得できる。特定の周波数成分に相当する式（１２）内の「ｅｘｐ」の部分の値は予め記憶部１０８に記憶させておけば良い。

こうすることで、２次元のフーリエ変換を行うことなく周波数空間上のゲインに関する情報を取得できる。なお、式（１１）や式（１２）と同等の結果が得られる他の式を用いた計算によってゲインを取得しても良い。

なお、入力画像の撮影条件におけるゲイン情報として、入力画像の撮影条件とは異なる撮影条件における値を用いたり、入力画像の撮影条件とは異なる撮影条件における値から補間したりすると、十分な精度のゲイン情報が得られない場合がある。一方、本実施例では鮮鋭化フィルタから直接ゲイン情報を取得しているため、ゲイン情報を撮影条件に関して補間する必要がない。したがって、高精度にゲイン情報を取得することができる。

本実施例において、ゲイン情報取得部１０４ｃはＳ１０４で取得した各鮮鋭化フィルタのゲイン情報を、各鮮鋭化フィルタの成分に基づいて取得するが、本発明はこれに限定されない。すなわち、入力画像の各画面位置に対して適用される全ての鮮鋭化フィルタについて、各鮮鋭化フィルタの成分からゲイン情報を取得する必要はない。例えば、特定の位置（第１の位置）に対する鮮鋭化フィルタ（第１の鮮鋭化フィルタ）の成分を用いて取得されたゲイン情報（第１のゲイン情報）を用いて、他の位置（第２の位置）に対する鮮鋭化処理を行っても良い。

具体的には、入力画像の一部の画面位置に適用される鮮鋭化フィルタについてのみ鮮鋭化フィルタの成分に基づいてゲイン情報を取得し、その他の画面位置におけるゲイン情報は、周辺の画面位置におけるゲイン情報から補間することによって取得してもよい。これによりゲイン情報を取得する際の処理負荷を軽減できる。この場合、入力画像内の画面位置に対しての補間は行われるものの撮影条件に対しての補間は行われないため、処理負荷を軽減しつつ十分精度のよいゲイン情報を取得することができる。

Ｓ１０６では、Ｓ１０２で取得したノイズ情報と、Ｓ１０５で取得したゲイン情報から鮮鋭化処理における加重加算率（出力画像における入力画像の割合）を決定する。図９を用いて、加重加算率の決定方法の一例について説明する。

図９は所定のＩＳＯ感度におけるゲイン情報に対する加重加算率を示す図である。図９において、ゲイン情報がａより小さい場合には加重加算率を０％としている。すなわち、ゲイン情報がａより小さい場合、鮮鋭化フィルタを用いた補正後の画像（式（６）におけるｇ（ｘ、ｙ））がそのまま出力画像となる。

また、図９において、ゲイン情報がｂより大きい場合には加重加算率を８０％としている。すなわち、入力画像が８割、補正後の画像が２割の割合で加重平均された画像が出力画像となる。これは補正後の画像と補正前の画像との差分のうち２割を補正前の画像に加えることと等価であり、そのように演算してもよい。すなわち、式（６）における調整係数ｍの値を調節しても良い。

このようにゲイン情報およびノイズ情報に基づいて加重加算率を決定して鮮鋭化処理を行うことで、ゲインが大きくなるような場合には補正前の入力画像の信号を多くすることができる。換言すると、ゲイン情報およびノイズ情報に基づいて、ノイズ増幅の影響が大きくなると考えられる場合には鮮鋭化処理による鮮鋭化度合いを弱めることができる。結果として、鮮鋭化処理によるノイズの増幅を、簡易な処理によって軽減することができる。

なお、図９に示すようなゲイン情報と加重加算率の関係は、ノイズ情報と紐づけて記憶部１０８に記憶させていれば良い。例えば、ノイズ情報がＩＳＯ感度である場合、ＩＳＯ感度として取りうる値毎にゲイン情報と加重加算率の関係をテーブルデータとして記憶させれば良い。また、代表的なＩＳＯ感度の値におけるａの値とａ－ｂ間の傾きを記憶させておき、記憶されていないＩＳＯ感度におけるゲイン情報と加重加算率の関係は記憶された関係から算出するようにしても良い。

Ｓ１０７では、画像処理部１０４が、ステップ１０４で取得された鮮鋭化フィルタを用いて入力画像の鮮鋭化処理を実行する。すなわち、入力画像に鮮鋭化フィルタを畳み込むことで入力画像を鮮鋭化する。

なお、本実施例では、ゲイン情報およびノイズ情報に基づいて加重加算率（または調整係数ｍ）を決定して出力画像を出力しているが、本発明はこれに限定されない。Ｓ１０６、Ｓ１０７における処理は、鮮鋭化処理によるノイズの増幅をゲイン情報およびノイズ情報に基づいて軽減するような処理であれば良い。

［実施例２］
次に、実施例２の鮮鋭化処理について説明する。

実施例１では、取得した鮮鋭化フィルタのゲイン情報を取得して、同じ鮮鋭化フィルタを用いて鮮鋭化処理を実行した。これにより、鮮鋭化処理を行うフィルタに対して正確にゲイン情報を取得できる。一方、本実施例では、特定の位置（第１の位置）に対する鮮鋭化フィルタ（第１の鮮鋭化フィルタ）の成分を用いて取得されたゲイン情報（第１のゲイン情報）を用いて、他の位置（第２の位置）に対する鮮鋭化フィルタ（第２の鮮鋭化フィルタ）を取得する。そして、第２の鮮鋭化フィルタを用いて第２の位置に対する鮮鋭化処理を行う。これによって、より簡易にゲイン情報を見積もることができ、鮮鋭化処理の処理負荷をさらに低減することができる。

本実施例におけるゲイン情報の取得方法の説明に先立ち、本実施例における鮮鋭化フィルタの取得について、図１０を用いて説明する。

図１０（ａ）に、鮮鋭化フィルタが生成される入力画像上の位置を示す。図１０（ａ）における白丸は、鮮鋭化フィルタが生成される入力画像上の位置を表している。本実施例では、入力画像上の離散的な８１か所の位置に対して光学系１０１の光学特性に基づいて鮮鋭化フィルタを生成する。これらの生成された鮮鋭化フィルタに対して線形補間等を行うことにより、入力画像上の任意の位置の鮮鋭化フィルタを生成することができる。これにより、鮮鋭化フィルタを生成する処理負荷を低減させつつ、入力画像上の任意の位置に対して適切な鮮鋭化フィルタを適用することが可能となる。

なお、図１０（ａ）では鮮鋭化フィルタを生成する位置を９×９＝８１か所としているが、処理負荷をより軽減するためにさらに位置を減らしてもよいし、より補正精度を高めるために位置を増やしてもよい。

また、図１０（ａ）の白丸の各点について直接光学特性を取得し、鮮鋭化フィルタを生成することもできるが、これらの光学特性や鮮鋭化フィルタも補間により生成してもよい。図１０（ｂ）にはその例を示しており、各位置における光学特性を補間により生成する場合を示している。

まず、図１０（ｂ）の黒丸の位置における光学特性を取得する。一般に光学系のＰＳＦは光軸に対して回転対称となるため、光学特性も同様に光軸に対して回転対称となる。この特徴を利用して、図１０（ｂ）では像高（入力画像の中心からの距離）が異なる複数の位置（黒丸で示した１０か所）における光学特性を取得し、これらを入力画像の中心に対して回転させながら各白丸に対応する位置の光学特性を補間により生成する。そして各位置での光学特性に基づいて各位置での鮮鋭化フィルタを取得する。これにより、白丸で示す各位置に対して光学特性を取得する必要がなくなるため処理負荷やデータ量を低減することができる。

なお、ここでは１０か所分の光学特性から８１点分の光学特性を補間により取得したが、１０点分の光学特性から先に鮮鋭化フィルタを取得して鮮鋭化フィルタを補間することで８１点分の鮮鋭化フィルタを取得してもよい。

次に、本実施例におけるゲイン情報の取得方法について説明する。図１０（ｂ）において、各位置に対して正確にゲイン情報を取得するには、各位置での鮮鋭化フィルタに基づいてゲイン情報を算出する必要がある。これに対して、図１０（ｂ）の黒丸における光学特性に対応する鮮鋭化フィルタを取得し、その鮮鋭化フィルタからゲイン情報を算出すれば、各像高におけるゲイン情報を取得することができる。すなわち、像高に対するゲイン情報の変化を取得することができる。

このように算出した各情報のゲイン情報を用いることで、図１０（ｂ）における各白丸に対応する位置において生成される鮮鋭化フィルタのゲイン情報を見積もることができる。本実施例では、各像高のゲイン情報を用いて、図１０（ｂ）における各白丸に対応する位置において生成される各鮮鋭化フィルタのゲインを調節することで、入力画像の各位置において適切な度合いで鮮鋭化処理が行われるようにしている。これによって、処理負荷を低減させつつ鮮鋭化に伴うノイズの増幅を抑制させている。

すなわち、実施例１では生成された各鮮鋭化フィルタに対してゲイン情報を算出していたが、本実施例では各像高に対するゲイン情報を取得し、各像高のゲイン情報を用いて入力画像の各位置に対する鮮鋭化フィルタを取得している点で実施例１と異なる。

図１０（ｂ）の各白丸に対応する位置において生成された各鮮鋭化フィルタに対してゲイン情報を取得する場合には、８１か所分のゲイン情報を式（１１）や式（１２）等に基づいて算出する必要がある。一方、本実施例によれば図１０（ｂ）の黒丸で示した１０か所のみに対して式（１１）や式（１２）等に基づいてゲイン情報を算出すれば良いので、ゲイン情報を算出するための処理負荷をさらに低減させることができる。

図１１は、実施例２における鮮鋭化処理のフローチャートである。図１１のフローチャートは、画像処理部１０４の指令に基づいて実行される。

Ｓ２０１～Ｓ２０３はＳ１０１～Ｓ１０３と同様のため説明を省略する。

Ｓ２０４では、鮮鋭化フィルタ取得部１０４ｂが、図１０（ｂ）に黒丸で示した位置における光学特性（ＰＳＦ）に基づいて、各黒丸の位置における鮮鋭化フィルタ（第１の鮮鋭化フィルタ）を取得する。

Ｓ２０５では、実施例１と同様にして、各第１の鮮鋭化フィルタからゲイン情報を取得することで各像高のゲイン情報を取得する。

Ｓ２０６では、鮮鋭化フィルタ取得部１０４ｂが、各像高のゲイン情報、図１０（ａ）に黒丸で示した位置におけるＰＳＦ、ノイズ情報に基づいて、各白丸の位置における鮮鋭化フィルタ（第２の鮮鋭化フィルタ）を取得する。このとき、鮮鋭化フィルタ取得部１０４ｂは、各像高のゲイン情報およびノイズ情報に基づいて、第２の鮮鋭化フィルタのゲインが所望の値になるように第２の鮮鋭化フィルタを生成する。具体的には、式（６）における調整係数ｍを調節することで各第２の鮮鋭化フィルタのゲインを調節する。

なお、Ｓ２０６で取得される第２の鮮鋭化フィルタは、各像高におけるゲイン情報およびノイズ情報に基づいてゲインが調節されていれば良い。このため、第２の鮮鋭化フィルタは種々の方法で取得することができる。例えば、黒丸で示した位置におけるＰＳＦから白丸におけるＰＳＦを取得し、白丸で示した位置におけるＰＳＦと、各像高に対するゲイン情報およびノイズ情報に基づいて第２の鮮鋭化フィルタを生成しても良い。この場合、調整係数ｍは、各白丸の位置に対して生成される第２の鮮鋭化フィルタのそれぞれに対して決定される。

また、黒丸で示した位置におけるＰＳＦと、各像高に対するゲイン情報およびノイズ情報に基づいて、黒丸で示した各位置に対して調整係数ｍを決定し、黒丸で示した各位置に対してゲインが調節された鮮鋭化フィルタを生成する。このゲインが調節された鮮鋭化フィルタを入力画像の中心に対して回転させ、補間することで各白丸の位置における第２の鮮鋭化フィルタを生成しても良い。この場合、各黒丸の位置に対して調整係数ｍを決定するのみで良い。

また、黒丸で示した位置におけるＰＳＦと、各像高におけるゲイン情報およびノイズ情報に基づいて、黒丸で示した各位置に対して調整係数ｍを決定する。このようにして決定された各像高のｍおよび黒丸で示した各位置におけるＰＳＦを用いて、各黒丸で示した位置におけるｍとＰＳＦ（式（６）のＵＳＭ（ｘ，ｙ）に相当する）の積を取得する。各黒丸で示した位置におけるｍとＰＳＦの積を入力画像の中心に対して回転させ、補間することで各白丸の位置におけるｍとＰＳＦを取得する。このように取得されたｍとＰＳＦの積を用いて第２の鮮鋭化フィルタを生成しても良い。この場合も、調整係数ｍは各黒丸の位置に対して決定するのみで良い。

Ｓ２０７では、処理部１０４ｄが鮮鋭化処理を実行する。Ｓ２０７における鮮鋭化処理は、Ｓ２０６で取得された第２のフィルタを入力画像に対して畳み込むことで行われる。

以上により、実施例１と比較してより簡易な処理によって、十分精度の良いゲイン情報を取得することができる。これによって、処理負荷をより低減させつつ鮮鋭化に伴うノイズの増幅を抑制させることができる。

なお、以上の各実施例では、鮮鋭化処理としてＰＳＦを用いたアンシャープマスク処理を行うことについて述べたが、本発明はこれに限定されない。本実施形態における鮮鋭化処理は、光学系１０１の光学特性に基づいた鮮鋭化フィルタを用いた処理であれば良い。例えばＰＳＦを用いないアンシャープマスク処理やエッジ強調処理であってもよい。また、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理であっても良い。

なお、実施例１，２における鮮鋭化処理における各処理は単一の画像処理装置で行われる必要はない。例えば、各実施例における処理の一部または全部を実現するためのプログラムを、ネットワークまたは記録媒体を介して１または複数の装置からなるシステムに供給し、そのシステムあるいは装置にプログラムを実行させても良い。

次に、上述した実施例１，２に述べた画像処理方法を、図１２に示すレンズ交換式のカメラシステム２００において実施した場合について述べる。

カメラシステム２００は、カメラ本体（撮像装置本体）２１６と、カメラ本体２１６に着脱可能な交換レンズ（レンズ装置）２０２を有する。記憶部２０９はＲＯＭ（メモリ）やハードディスクドライブなどで構成される。記憶部２０９には、実施例１，２に述べた画像処理方法を実行するためのプログラムがインストールされている。実施例１，２に述べた画像処理方法を実行するためのプログラムはカメラ本体２１６の画像処理部（画像処理装置）２０５により実行される。画像処理部２０５の構成は、図７の画像処理部１０４と同様であり、実施例１または２の画像処理を実行することができる。なお、記憶部２０９に代えて、画像処理部２０５の内部に設けられた記憶部（不図示）に実施例１，２の画像処理方法のプログラムをインストールしてもよい。また、プログラムに対応する回路を設計し、その回路を動作させることで画像処理を実行させてもよい。

画像処理部２０５は、デジタル信号に対して所定の処理を行うとともに実施例１または２に述べた鮮鋭化処理を行う。画像処理部２０５は、状態検知部２０８から撮影条件（撮像条件情報）を取得する。撮像条件情報とは、像高、絞り値（Ｆ値）、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部２０８は、カメラＣＰＵ２１１から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば、交換レンズ２０２の撮像光学系２０１に関する撮像条件情報は、光学系制御部２０７からレンズＣＰＵ２１３を介して取得することもできる。

画像処理部２０５で処理された出力画像は、記憶部２０９に所定のフォーマットで保存される。

表示部２０６は、鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。表示部２０６には、高速表示のために簡易処理を行って得られた画像を表示してもよい。

また、カメラ本体２１６は、光学ローパスフィルタ２０３、撮像素子２０４、画像記録媒体２１０を備える。撮像素子２０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの二次元撮像素子である。撮像素子２０４は、撮像光学系２０１および光学ローパスフィルタ２０３を介して得られた被写体像（光学像、結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子２０４により光電変換が行われてアナログ信号（電気信号）に変換される。アナログ信号は、不図示のＡ／Ｄコンバータによりデジタル信号に変換され、デジタル信号は画像処理部２０５に入力される。

ローパスフィルタや赤外線カットフィルタ等の結像性能に影響を与える光学素子を用いる場合、鮮鋭化フィルタを作成する時点でこの光学素子の影響を考慮することにより高精度な鮮鋭化処理が可能となる。

交換レンズ２０２は、撮像光学系２０１、光学系制御部２０７、記憶部２１２、レンズＣＰＵ２１３、および、接点ユニット２１４を備える。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備えて構成されている。レンズＣＰＵ２１３は、交換レンズ２０２とカメラ本体２１６との間で通信を行うための通信回路（通信手段）、リセット例外処理、Ａ／Ｄ、タイマー、入出力ポート、内蔵ＲＯＭ、および、内蔵ＲＡＭなどの機能を有する。通信回路は、交換レンズ２０２とカメラ本体２１６との間で、撮影モード（動画撮影モード、静止画撮影モード）に応じた制御情報を含む通信方式で通信を行う。光学系制御部２０７は、交換レンズ２０２の内部の各構成要素を制御するレンズ制御手段であり、レンズＣＰＵ２１３の指示に基づいて、通信回路を介して得られた制御情報を用いてレンズや絞りなどの光学素子の駆動制御を行う。接点ユニット２１４は、交換レンズ２０２とカメラ本体２１６との間で通信を行うための複数の金属接点を備え、レンズＣＰＵ２１３とカメラＣＰＵ２１１とを電気的に接続する接続手段である。

記憶部２１２は書き換え可能な不揮発性メモリである。記憶部２１２に記憶されるデータは、交換レンズ２０２に固有の光学的な特性を示す情報を含む。

記憶部２１２に記憶されている情報について具体的に述べる。記憶部２１２には、撮像光学系２０１のＰＳＦを再構成（近似）するために使用される関数の係数データや調整係数ｍなどのＰＳＦに関する情報を記憶している。これらの情報は、所定のタイミングで接点ユニット２１４、２１５を介して交換レンズ１０２からカメラ本体２１６へ送信される。所定のタイミングとは、交換レンズ２０２がカメラ本体２１６に装着された際や交換レンズ２０２を装着後にカメラ本体２１６を起動した際の初期通信時や、画像処理部２０５で撮影画像に対して鮮鋭化処理を行う時であり得る。

カメラ本体２１６は、交換レンズ２０２から送信されたＰＳＦに関する情報に基づいて実施例１または２に述べた画像処理を行う。すなわち、画像処理部２０５の鮮鋭化フィルタ取得部は、交換レンズ２０２から送信されたＰＳＦに関する情報に基づいて鮮鋭化フィルタを生成する。ゲイン情報取得部および処理部は、生成された鮮鋭化フィルタに基づいて前述した処理を行う。なお、カメラ本体２１６は交換レンズ２０２から送信されたＰＳＦに関する情報を記憶部２０９に記憶しておき、必要なタイミングで実施例１または２に述べた画像処理を行えばよい。必要なタイミングとは、画像が撮影された時や、ユーザの操作によって指示された時であり得る。 このように、記憶部２１２に格納されているＰＳＦに関する情報は、鮮鋭化フィルタを生成するために用いられる情報であり、鮮鋭化フィルタに関する情報（鮮鋭化フィルタを生成するための情報）であるとも言える。

以上述べたように、レンズ交換式のカメラシステムの場合には、鮮鋭化フィルタに関する情報を交換レンズ側に記憶させておき、カメラ本体は交換レンズから鮮鋭化フィルタに関する情報を取得して鮮鋭化処理を実行することが好ましい。レンズ交換式のカメラシステムの場合、１つのカメラ本体に複数の交換レンズが装着され得る。このように鮮鋭化フィルタに関する情報をカメラ本体が交換レンズから取得するように構成すればカメラ本体側の記憶部の容量を削減することが可能となる。カメラ本体に複数種類の交換レンズにおける鮮鋭化フィルタに関する情報を記憶させておく必要がなくなるためである。

以上、本発明の好ましい実施形態及び実施例について説明したが、本発明はこれらの実施形態及び実施例に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。

１０４ 画像処理部（画像処理装置）
１０４ａ 撮影条件取得部（第１の取得手段）
１０４ｂ 鮮鋭化フィルタ取得部（第２の取得手段）
１０４ｃ ゲイン情報取得部（第３の取得手段）
２０２ レンズ装置
２１２ 記憶部
２１６ 撮像装置

Claims (15)

1. 光学系を有するレンズ装置が取り外し可能に装着され、前記レンズ装置と通信可能な撮像装置であって、
   前記撮像装置は、
   前記光学系によって形成された像を光電変換する撮像素子と、
   前記光学系を用いた撮像により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、
   前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、
   前記鮮鋭化フィルタの成分の二乗和に基づいて前記鮮鋭化フィルタのゲインに関するゲイン情報を取得する第３の取得手段と、を有し、
   前記レンズ装置は、前記鮮鋭化フィルタに関する情報を記憶する記憶部を備え、
   前記第２の取得手段は、前記レンズ装置から前記鮮鋭化フィルタに関する情報を取得し、前記鮮鋭化フィルタに関する情報に基づいて前記鮮鋭化フィルタを取得し、
   前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて、前記鮮鋭化フィルタを用いた鮮鋭化処理を行うことを特徴とする撮像装置。
2. 光学系を有するレンズ装置が取り外し可能に装着され、前記レンズ装置と通信可能な撮像装置であって、
   前記撮像装置は、
   前記光学系によって形成された像を光電変換する撮像素子と、
   前記光学系を用いた撮像により生成された入力画像におけるノイズ特性に関するノイズ情報を取得する第１の取得手段と、
   前記光学系の光学特性に基づいた実空間における鮮鋭化フィルタを取得する第２の取得手段と、
   前記鮮鋭化フィルタの成分に基づいて、特定の周波数における前記鮮鋭化フィルタのゲインに関するゲイン情報を取得する第３の取得手段と、を有し、
   前記レンズ装置は、前記鮮鋭化フィルタに関する情報を記憶する記憶部を備え、
   前記第２の取得手段は、前記レンズ装置から前記鮮鋭化フィルタに関する情報を取得し、前記鮮鋭化フィルタに関する情報に基づいて前記鮮鋭化フィルタを取得し、
   前記入力画像に対して、前記ノイズ情報と、前記ゲイン情報に基づいて、前記鮮鋭化フィルタを用いた鮮鋭化処理を行うことを特徴とする撮像装置。
3. 前記光学特性は、前記入力画像の撮像時の撮像条件における光学特性であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記光学特性は前記光学系の点像強度分布であることを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記ノイズ情報は、ＩＳＯ感度であることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記鮮鋭化処理はアンシャープマスク処理であることを特徴とすることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記鮮鋭化フィルタは２次元フィルタであり、
   前記鮮鋭化フィルタの成分は回転非対称に分布していることを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
8. 前記第２の取得手段は、前記入力画像における複数の位置のそれぞれに対して、それぞれ異なる鮮鋭化フィルタを取得することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
9. 前記第３の取得手段は、前記第２の取得手段によって取得された各鮮鋭化フィルタのそれぞれに対して、それぞれの鮮鋭化フィルタの成分に基づいてゲイン情報を取得することを特徴とする請求項８に記載の撮像装置。
10. 前記鮮鋭化処理は、前記入力画像と、前記鮮鋭化フィルタを用いて前記入力画像を補正した画像を、前記ノイズ情報と前記ゲイン情報に基づいて定められる割合で足し合わせることによって行われることを特徴とする請求項９に記載の撮像装置。
11. 前記第３の取得手段は、前記入力画像における第１の位置に対する鮮鋭化フィルタの成分を用いて第１のゲイン情報を取得し、
    前記第１のゲイン情報および前記ノイズ情報を用いて、前記第１の位置とは異なる第２の位置に対する鮮鋭化処理を行うことを特徴とする請求項８に記載の撮像装置。
12. 前記第２の取得手段は、前記第１のゲイン情報および前記ノイズ特性に基づいて前記第２の位置に対する鮮鋭化フィルタを取得し、
    前記第２の位置に対する鮮鋭化処理は、前記第２の位置に対する鮮鋭化フィルタを用いて行われることを特徴とする請求項１１に記載の撮像装置。
13. 前記第３の取得手段は、前記入力画像内の像高の異なる複数の位置のそれぞれに対する第１の鮮鋭化フィルタの成分を用いて、前記入力画像の各像高におけるゲイン情報を取得し、
    前記入力画像に対して、前記各像高におけるゲイン情報および前記ノイズ情報を用いて鮮鋭化処理を行うことを特徴とする請求項８に記載の撮像装置。
14. 前記第２の取得手段は、前記各像高におけるゲイン情報および前記ノイズ特性に基づいて前記入力画像における複数の位置のそれぞれに対する第２の鮮鋭化フィルタを取得し、
    前記鮮鋭化処理は、前記第２の鮮鋭化フィルタを用いて行われることを特徴とする請求項１３に記載の撮像装置。
15. 請求項１乃至１４に記載の撮像装置に取り外し可能に装着され、前記撮像装置と通信可能なレンズ装置であって、
    光学系と、
    前記光学系の前記鮮鋭化フィルタに関する情報を記憶する記憶部と、
    前記撮像装置に前記鮮鋭化フィルタに関する情報を前記撮像装置に送信する通信手段と、
    を有することを特徴とするレンズ装置。

Images