JP4942216B2 - 画像処理方法、画像処理装置、撮像装置及びプログラム - Google Patents

Description

本発明は、画像に含まれるぼけ成分と歪曲成分を低減する画像処理技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。

画像のぼけ成分を補正する方法として、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像のぼけ成分を補正（低減）する処理を画像回復処理と称する。

画像回復処理の概要は以下の通りである。ぼけ成分を含む劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化は、例えば、上記のぼけ成分の補正により画像の色成分ごとのぼけ量が均一になれば補正されたことになる。

ここで、光学伝達関数（ＯＴＦ）は、光学系の焦点距離（ズーム状態）や絞り径等の光学系の状態に応じて変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。

また、画像には、歪曲成分が含まれる場合もある。歪曲とは、一般的には、画像が周辺部ほど大きく伸張又は収縮するという幾何学的な歪みであり、光学系の歪曲収差が原因である。

特許文献１には、歪曲収差による画像の幾何学的歪みを補正する方法として、撮像時のズーム状態や撮像距離等の撮像状態の情報を取得し、予め用意してある撮像状態に応じた歪曲収差データを参照して幾何学的歪みを補正する技術が開示されている。歪曲収差データは、像高に依存する関数である。歪曲成分の補正では、光学系の歪曲収差量が大きい場合には幾何変換量が大きくなり、特に画像の周辺部では拡大縮小と変形の幾何変換を行う。
特開２００６−２７０９１８号公報

光学系の諸収差により劣化した画像を良好に補正して高画質な画像を得るためには、上述したぼけ成分と歪曲成分を低減する処理を行う必要がある。

また、ぼけ成分の補正に用いる画像回復フィルタデータや歪曲成分の補正に用いる幾何変換条件データは、撮像状態に応じて変更する必要がある。撮像状態は、ズーム位置、絞り径、被写体距離等を含み、これらの多数の組み合わせに応じて画像回復フィルタデータ及び幾何変換条件データを用意すると、データ量が非常に大きくなる。特に、画像回復フィルタは２次元フィルタであるため、ぼけ成分量が大きいほど該フィルタのカーネルサイズが増大することになる。

ここで、発明者は、ぼけ成分の補正とともに歪曲成分の補正を行う際の画像回復フィルタのカーネルサイズに関して以下の問題点を発見した。劣化画像に対して歪曲成分の補正を行うと、画像が像高に応じて幾何的に拡大縮小及び変形する。一方、画像回復フィルタを設計するための光学伝達関数（ＯＴＦ）は、光学系の設計値又は測定値から導出することができるが、いずれにしても歪曲収差を含んだ状態の光学系から導出される。

このため、歪曲補正処理がなされた画像に対して画像回復処理を行うためには、画像回復フィルタを歪曲補正処理で用いた幾何変換条件に応じて拡大縮小及び変形する必要が生じる。光学系が負の歪曲収差を有する場合は、歪曲補正処理で画像を拡大変形及び画素補間するため、画像回復フィルタもこれに応じて拡大変形及びセル補間をすることになる。これにより、画像回復フィルタのカーネルサイズが増大してしまい、画像回復フィルタのデータ量が肥大化してしまう。さらに、フィルタリングの計算量も増大してしまうため、処理速度を著しく低下させてしまう。

特許文献１にて開示された歪曲成分の補正方法では、撮像状態に応じた収差情報を用いて幾何変換補正を行う。しかしながら、この方法では、歪曲成分以外のぼけ成分を補正することができないので、高画質な画像を得ることができない。

本発明は、画像回復フィルタのデータ量の肥大化による処理速度の低下を回避しつつ、ぼけ成分と歪曲成分を良好に補正できるようにした画像処理方法、画像処理装置及び撮像装置を提供する。

本発明の一側面としての画像処理方法は、光学系を用いた撮像により得られた画像を処理する画像処理方法であって、該画像を取得するステップと、画像回復フィルタを用いて該画像のぼけ成分を低減する画像回復処理を行う画像回復ステップと、該画像回復処理を受けた画像の歪曲成分を低減する幾何変換処理を行う歪曲補正ステップとを有し、画像回復処理は、画像のうち幾何変換処理によって除去される領域の画像情報を用いて行われ、画像回復ステップにおいて、画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用い、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により得られた画像を処理する画像処理装置であって、画像回復フィルタを用いて該画像のぼけ成分を低減する画像回復処理を行う画像回復手段と、画像回復処理を受けた画像の歪曲成分を低減する幾何変換処理を行う歪曲補正手段とを有し、画像回復手段において、画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用い、複数の画像回復フィルタは、フィルタ値の絶対値が最大であるセルの位置と画像回復フィルタの中心セルの位置とのずれ量が光学系の倍率色収差量に応じて互いに異なり、画像のぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。

なお、光学系により形成された被写体像を光電変換して画像を取得する撮像系と、該画像を処理する上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
さらに、本発明の他の一側面としてのプログラムは、コンピュータ上で動作し、光学系を用いた撮像により得られた画像を処理するプログラムであって、前記画像を取得するステップと、画像回復フィルタを用いて前記画像のぼけ成分を低減する画像回復処理を行う画像回復ステップと、前記画像回復処理を受けた前記画像の歪曲成分を低減する幾何変換処理を行う歪曲補正ステップとを有し、前記画像回復処理は、前記画像のうち前記幾何変換処理によって除去される領域の画像情報を用いて行われ、前記画像回復ステップにおいて、前記画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用い、前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像の前記ぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする。

本発明では、幾何変換処理によって歪曲成分が低減される前の画像に対してぼけ成分を低減するための画像回復処理を行うので、画像回復フィルタのカーネルサイズが増大することを抑制できる。言い換えれば、画像回復フィルタのカーネルサイズをぼけ成分に応じた小さなサイズとすることができる。また、画像回復処理後の画像に対して幾何変換処理を行う際には、歪曲収差の性質から、幾何変換条件が画像回復処理の影響を受けることなく歪曲成分を補正することができる。したがって、本発明によれば、画像回復フィルタのデータ量の肥大化による処理速度の低下を回避しつつ、ぼけ成分と歪曲成分を良好に補正することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置を備えた（画像処理方法を使用する）デジタルカメラやビデオカメラ等の撮像装置の構成を示している。本実施例では、後述する画像回復処理により画像のぼけ成分と色にじみ成分を低減（補正）し、歪曲補正処理としての幾何変換処理により歪曲成分と色ずれ成分を低減（補正）する撮像装置の実施例を説明する。色ずれ成分は、Ｒ，Ｇ，Ｂの色成分ごとの撮像倍率の相違である光学系の倍率色収差が原因で発生する。

ここで言うぼけ成分は、前述のように、球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分のことであり、画像回復処理（画像回復手段）は、これらの収差に起因する画像劣化をある程度低減していればよい。例えば、画像回復手段は、球面収差、コマ収差、像面湾曲、非点収差等のうち、少なくとも一つの収差に基づく画像劣化成分を低減するようにしてもよい。

図１において、不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。

撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０４ａを有する。また、画像処理部１０４は、この入力画像に対して画像回復処理と幾何変換処理（歪曲補正処理）を行う画像回復／歪曲補正部（画像回復手段及び歪曲補正手段）１０４ｂを有する。撮像素子１０２から画像生成部１０４ａまでが撮像系に相当する。

画像回復／歪曲補正部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラ１１０から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。

そして、画像回復／歪曲補正部１０４ｂは、撮像状態に応じた画像回復フィルタを記憶部（記憶手段）１０８から選択し、入力画像に対して画像回復処理を行う。また、画像回復／歪曲補正部１０４ｂは、撮像状態に応じた幾何変換条件を記憶部１０８から選択し、画像回復処理を受けた画像に対して幾何変換処理を行う。状態検知部１０７、画像回復／歪曲補正部１０４ｂ及び記憶部１０８により、撮像装置内で画像処理装置が構成される。

図２には、画像回復／歪曲補正部１０４ｂ（以下の説明では、画像処理部１０４という）で行われる画像回復及び幾何変換に関する処理（画像処理方法）のフローチャートを示している。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部１０４は、撮像素子１０２からの出力信号に基づいて生成された画像（以下、入力画像という）を画像回復処理の対象として取得する。次に、ステップＳ２では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。ここでは、撮像状態を、ズーム位置、絞り開口径、及び被写体距離の３つとする。

次に、ステップＳ３では、画像処理部１０４は、記憶部１０８に記憶された画像回復フィルタの中から、ステップＳ２で取得した撮像状態に対応する画像回復フィルタを選択する。

ここで、記憶部１０８には、画像回復フィルタの数（データ数）を低減するために、離散的に選択された撮像状態に対する画像回復フィルタのみが記憶（格納）されている。このため、ステップＳ２で取得した撮像状態に対応する又は該撮像状態にきわめて近い撮像状態に対応する画像回復フィルタが記憶部１０８に格納されていない場合は、その撮像状態にできるだけ近い画像回復フィルタを選択する。そして、その画像回復フィルタを、以下のステップＳ４〜Ｓ６で、ステップＳ２で取得した撮像状態に最適化するように補正することで、実際に使用する画像回復フィルタを作成する。

図３には、記憶部１０８に記憶された、離散的に選択された撮像状態に対する画像回復フィルタを模式的に示す。記憶部１０８に記憶された画像回復フィルタは、前述したように、ズーム位置（状態Ａ）、絞り開口径（状態Ｂ）及び被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。

なお、図３では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、ズーム位置、絞り開口径及び被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。

このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを作成する方法については後述する。

ここで、画像回復フィルタの例を図４に示す。画像回復フィルタでは、撮像光学系１０１の収差量に応じてセル（タップ）数、すなわちカーネルサイズが決められる。図４に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。

画像回復フィルタを、１００以上のセルに分割した２次元フィルタとすることで、撮像光学系１０１による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好な画像回復結果を得ることができる。また、このような実空間での画像回復フィルタを、入力画像に対してコンボリューション処理することで、フーリエ変換を行うことなく画像を回復することができる。

また、各セルは、撮像光学系１０１の球面収差、コマ収差、軸上色収差、軸外色フレア等の収差情報に応じて、図５に示すような値を有するように設定される。図５には、画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。画像回復フィルタは、フィルタ値が２次元分布を持つように作成されている。また、図５の例では、画像の中心から外れた位置での、コマ収差のような非対称性をもった収差を回復するフィルタとなっている。

画像回復フィルタは、撮像光学系１０１等の光学伝達関数（ＯＴＦ）を計算若しくは計測し、その逆関数を逆フーリエ変換することで作成される。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。

また、ここにいう光学伝達関数は、撮像光学系１０１のみならず、撮像素子１０２の出力信号から画像処理部１０４にて入力画像が生成されるまでの、光学伝達関数を劣化させる要因を含めることが望ましい。すなわち、画像回復フィルタを、光が撮像光学系１０１に入射してから撮像素子１０２による撮像によって入力画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成するようにするとよい。

撮像光学系１０１以外で光学伝達関数を劣化させる要因としては以下のようなものがある。例えば、撮像素子１０２の前面に配置されるローパスフィルタ（図示せず）は、光学伝達関数の周波数特性に対して高周波成分を抑制する。また、同様に撮像素子１０２の前面に配置される赤外線カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。さらに、撮像素子１０２の画素開口の形状や開口率も周波数特性に影響する。他にも、被写体を照らす光源の分光特性や、各種波長フィルタの分光特性も光学伝達関数を劣化させる要因として挙げられる。したがって、これらを考慮した広義の光学伝達関数に基づいて画像回復フィルタを作成することが望ましい。

なお、撮像光学系１０１は、撮像装置の一部として設けられてもよいし、撮像装置に対して着脱可能な交換式のものであってもよい。

また、入力画像がＲＧＢ形式のカラー画像である場合は、Ｒ，Ｇ，Ｂの複数の色成分に対応した複数（ここでは３つ）の画像回復フィルタを作成するとよい。撮像光学系１０１には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとに最適な画像回復フィルタを得るためには、その特性を色収差に基づいて異ならせるべきだからである。つまり、図５に示したセル値の２次元分布が、色成分ごとに異なる３つの画像回復フィルタを作成するとよい。

なお、図４には、１１×１１セルを有する画像回復フィルタを示したが、画像回復フィルタのセル数は、収差量に応じて任意に設定すればよい。また、画像回復フィルタの縦横のセル数（セル配列）に関しては、図４に示すような正方配列である必要はなく、コンボリューション処理時にセル配列を考慮するようにすれば、任意に変更することができる。

画像回復フィルタの具体的な選択及び作成（補正）方法について説明する。図３において、大きな白丸で示した撮像状態が、ステップＳ２で取得した実際の撮像状態であるとする。実際の撮像状態又はそのきわめて近くに、記憶部１０８に記憶（格納）された画像回復フィルタ（以下、格納フィルタという）が存在する場合には、その格納フィルタを選択して画像回復処理に用いる。実際の撮像状態又はそのきわめて近くに、格納フィルタが存在しない場合には、以下の方法により画像回復フィルタを選択又は作成（補正）する。

まず、前述したステップＳ３において、画像処理部１０４は、実際の撮像状態と複数の格納フィルタに対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する格納フィルタを選択する。

このような格納フィルタを選択することで、実際の撮像状態と該格納フィルタに対応する撮像状態との相違量（以下、状態相違量という）が最も小さくなる。このため、該格納フィルタに対する補正量を少なくすることができ、実際の撮像状態に対応する画像回復フィルタにより近い画像回復フィルタを作成することができる。

図３において、小さな白丸で示した撮像状態に対応する格納フィルタが選択されたものとする。なお、図３には、撮像状態空間を概念的に示しているが、実際の各格納フィルタのデータには、座標値の情報が必要である。このため、格納フィルタ自体に座標値情報を持たせたり、予めアドレス（座標）が決まった多次元の配列空間に各格納フィルタのデータを配置したりすればよい。

次に、ステップＳ４では、画像処理部１０４は、ステップＳ３で選択した格納フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。そして、ステップＳ５では、これらの状態相違量ΔＡ，ΔＢ，ΔＣに基づいて、状態補正係数を算出する。さらに、画像処理部１０４は、ステップＳ６において、該状態補正係数を用いて、ステップＳ３で選択した格納フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを作成することができる。

一方、幾何変換処理（歪曲補正処理）のための幾何変換条件に対しても、上述した画像回復フィルタの選択、状態相違量の算出、状態補正係数の算出及び選択したフィルタの補正を経て、実際の撮像状態に対応した幾何変換条件を選択又は作成することができる。ただし、幾何変換条件については、撮像状態空間の軸となる撮像状態の種類を画像回復フィルタとは異ならせてもよい。例えば、歪曲収差は、絞り径には依存しないので、これを軸にとる必要はない。

次に、ステップＳ７では、画像処理部１０４は、選択又は作成された画像回復フィルタを用いて、ステップＳ１で取得した入力画像に対して画像回復処理を行う。すなわち、上記画像回復フィルタを用いて入力画像に対するコンボリューション処理を行うことで、撮像光学系１０１の収差に起因する画像のぼけ成分及び色にじみ成分を低減（又は除去）することができる。

次に、ステップＳ８では、画像処理部１０４は、選択又は作成（補正）された幾何変換条件を用いて、ステップＳ７での画像回復処理を受けた結果得られた画像に対して、歪曲補正処理である幾何変換処理を行う。これにより、光学系の収差により発生した画像の歪曲成分を低減（又は除去）することができる。

また、このステップでは、画像処理部１０４は、画像回復処理を受けた結果得られた画像をＲＧＢの３つの色成分に分解する。そして、Ｇ画像を基準とし、Ｒ及びＢ画像を幾何変換（拡大縮小）してＧ画像に揃えることで倍率色収差成分である色ずれ成分を低減（又は除去）する。このとき、歪曲補正処理用の幾何変換条件を色成分ごとに調整することで、歪曲補正処理により、歪曲成分とともに色ずれ成分を低減（又は除去）することができる。

なお、ステップＳ３〜ステップＳ８での処理は、撮像装置とは別の装置（パーソナルコンピュータ等）で行ってもよい。この場合、該別の装置で得られた画像回復フィルタを、撮像装置の記憶部１０８に格納（インストール）する処理を行えばよい。

図１において、画像処理部１０４で画像回復処理及び歪曲補正処理が行われた出力画像は、半導体メモリや光ディスク等の画像記録媒体１０９に所定のフォーマットで保存される。この出力画像は、画像回復処理によって鮮鋭化され、かつ歪曲成分が低減された高画質の画像である。

また、出力画像は、表示部１０５に表示されたり、撮像装置の外部（プリンタやデータベース）に出力されたりする。

上述した撮像素子１０２での光電変換、画像処理部１０４での画像処理、画像記録媒体１０９への記録、及び表示部１０５への画像表示といった一連の動作の制御は、システムコントローラ１１０によって行われる。また、撮像光学系１０１のズーム駆動やフォーカス駆動は、システムコントローラ１１０の指示により撮像光学系制御部１０６が制御する。

なお、撮像光学系１０１の中心像高の横倍率が最大像高の横倍率よりも１．２５倍以上大きくなるように撮像光学系１０１を設計するとよい。これにより、撮像光学系１０１のうち最も被写体側に位置する前玉レンズの径を小さくしたり、像面湾曲の補正を行ったりすることができる。本実施例では、図６に示すように、最大像高で−２０％の歪曲収差を発生させている。

本実施例によれば、画像処理部１０４において、撮像装置の撮像状態を検知して、その撮像状態に応じた画像回復処理及び歪曲補正処理を行うことにより、高画質の出力画像を得ることができる。このとき、画像回復処理及び歪曲補正処理で用いる画像回復フィルタ及び幾何変換条件は、記憶部１０８に予め格納されたものを選択するほか、該格納された画像回復フィルタ及び幾何変換条件を実際の撮像状態に対応するよう補正して用いることができる。このため、撮像状態に対して連続的に対応することができる。

さらに、画像処理部１０４は、画像回復処理を受けた画像に対して歪曲補正処理を行うため、ぼけ成分及び歪曲成分が良好に補正された画像を得ることができる。また、歪曲補正処理を画像回復処理よりも後段で行うことで、画像回復フィルタの肥大化と幾何変換による画像の劣化を発生させない効果と、画像の周辺部まで画像回復フィルタを適用して良好な出力画像を得ることができるという効果を併せ持つ。これについて、以下詳しく説明する。

画像回復フィルタは、上述したように、光が撮像光学系１０１に入射してから撮像素子１０２により入力画像が取得されるまでの光学伝達関数（ＯＴＦ）に基づいて作成される。この光学伝達関数（ＯＴＦ）は、設計されたレンズデータに対する光線追跡による計算又は実際の撮像光学系に光を入射させてその結像光を計測することで得られる。計測により求める場合には、直接計測される点像分布関数（ＰＳＦ）又は線像分布関数（ＬＳＦ）をフーリエ変換して求めることができる。どちらの方法においても、得られる光学伝達関数（ＯＴＦ）は、撮像光学系の歪曲収差による像面の周辺部の圧縮や伸張の影響が含まれたものである。

歪曲収差が負の場合には、樽型の歪曲形状となり、画像の周辺部においては縁部に近づくにつれて像が空間的に圧縮される。また、歪曲収差が正の場合には、糸巻型の歪曲形状となり、縁部に近づくにつれて像が空間的に伸張される。したがって、光学伝達関数（ＯＴＦ）に基づいて作成された画像回復フィルタもまた、この歪曲収差の影響を含んでいる。

画像回復フィルタの各セルは、前述したように補正対象である入力画像の１画素に対応しており、画像回復フィルタを入力画像に対してコンボリューション処理することで、画像が回復（ぼけ成分が低減）される。歪曲補正処理が行われていない画像に対して画像回復フィルタのコンボリューション処理を行うことで、画像回復フィルタの各セルが画像の各画素に適切に対応することになり、この結果、良好な回復画像を得ることができる。

これに対し、既に歪曲補正処理を受けた画像に対して加増回復フィルタのコンボリューション処理を行うと、該画像は既に幾何変換されているため、画像回復フィルタの各セルと画像の各画素とが全く対応がとれておらず、良好な回復画像を得ることはできない。これは、歪曲収差量が大きい場合、すなわち歪曲補正処理による幾何変換量が大きい場合に顕著になる。

図６に示す縦横比が４：３で画素数が１０００万画素である画像において、負の歪曲収差量に対する画像の周辺部での移動画素数を表１に示す。図６において、歪んだ実線の格子が歪曲補正処理前の画像（歪曲画像）の形状を示し、破線の直交した格子が歪曲補正処理後の画像（歪曲補正画像）の形状を示している。表１の移動画素数は、図６における対角方向（特定方向）での移動画素数を示している。表１から分かるように、歪曲収差量が−５％でも移動画素数が１００画素を超える幾何変換が行われることになる。したがって、歪曲収差を持っている撮像光学系を通した撮像により取得された画像に対して、画像回復フィルタの各セルと画像の各画素との対応をとることは実質上不可能である。

歪曲補正処理を受けた画像に対して画像回復処理を行う場合に画像回復フィルタの各セルと画像の各画素との対応をとる方法として、画像回復フィルタを歪曲補正処理の幾何変換条件に応じて幾何変換して用いる方法が考えられる。

図７の左側には幾何変換前の元の画像回復フィルタを、右側には幾何変換後の画像回復フィルタをそれぞれ模式的に示している。ここでは、元の画像回復フィルタを１１×１１セルを有するフィルタとしている。各セル内には不図示の値が存在している。

図７に示す幾何変換後の画像回復フィルタは、歪曲収差量が−２０％の場合の画像の周辺部の幾何変換条件に基づいて補正したものである。歪曲収差量が−２０％の条件では、画像回復フィルタを縦横にそれぞれ約２倍に拡大し、その間を画素（セル）補間する必要がある。また、画像回復フィルタの変形変換も同時に行う必要がある。

図７の右側に示す太線が、元の画像回復フィルタを幾何変換した後の画像回復フィルタの外形を示している。これをセル格子で再分割したものが、実際の画像回復処理で画像回復フィルタとして用いられる。

図７からも明らかなように、この方法では、画像回復フィルタのカーネルサイズが歪曲収差量に応じて増大し、これを撮像装置の記憶部１０８に格納するためには、記憶部１０８の記憶容量を大幅に増加させる必要が生ずる。さらに、画像回復フィルタのカーネルサイズが大きいことによりコンボリューション処理の演算数も増加する。このため、処理速度が大幅に低くなる。しかも、画像回復フィルタの変形変換による再サンプリングを要するので、精度の低下も生じるおそれがある。

また、別の問題について図８を用いて説明する。歪曲補正処理前の画像に対して画像回復フィルタのコンボリューション処理を行う場合には、図中の太線で示す歪曲画像を含む領域で画像回復フィルタをコンボリューションすればよい。画像の外周付近に対して画像回復フィルタのコンボリューションを行う際には、該フィルタのサイズに応じてそれよりも外側のデータが必要となる。太線の外側の領域は、後の歪曲補正処理によって最終的には画像として残らない不要領域であるが、歪曲補正処理前には画像部分として存在しているので、この不要領域を用いて画像回復処理を画像の周辺部まで行うことができる。

一方、歪曲補正処理が行われた画像に対してコンボリューション処理を行おうとすると、上述したように画像回復フィルタが肥大化している上に、画像の周辺部付近では画像回復フィルタが参照するデータが存在しない回復不能領域が発生する。例えば、図８の場合、幾何変換後の画像回復フィルタは第二象限しか参照できないことになる。この参照データが不足した領域を例えば０という値が存在しているように仮定して処理をしても良好な回復画像は得られないため、事実上、最終画像としては、周辺部の画像部分を切り取ったものとなってしまう。

本実施例では、画像のうち、画像回復処理後の歪曲補正処理により除去される領域（周辺部）の画像情報を用いて画像回復処理を行うので、画像回復フィルタのコンボリューション処理において十分な画像情報を用いることができる。

画像回復フィルタと幾何変換条件とは、以下の関係（条件）を満足することが好ましい。これにより、後段の歪曲補正処理後に残すべき有効画像領域を損なうことなく、画像回復フィルタのコンボリューション処理を行うことができる。

０＜Ｆ／Ｄ＜２
ただし、Ｄは画像回復処理を受けた画像における有効画像領域の端部の画素が幾何変換処理（歪曲補正処理）によって特定方向に移動する画素数であり、Ｆは該端部の画素に適用する画像回復フィルタの特定方向でのセル数である。

Ｆ／Ｄが上記関係式の上限値を超えると、画像回復処理において有効画像領域内にコンボリューション処理を行えない領域が発生するおそれがある。また、下限値を下回ると、画像回復フィルタのカーネルサイズを小さくしなければならず、十分な画像回復処理が行えなくなるおそれがある。

本実施例では、画像の対角方向（特定方向）の端部において、画像回復フィルタの垂直方向のセル数はＦ＝１１であり、歪曲収差量が−２０％であることから、対角方向の移動画素数はＤ＝２７４である。このため、Ｆ／Ｄ＝０．０４となる。また、画像の水平方向の中心における垂直方向（特定方向）の端部においては、画像回復フィルタの垂直方向のセル数はＦ＝１１であり、歪曲収差量が−２０％であることから、該垂直方向の移動画素数はＤ＝１１２である。このため、Ｆ／Ｄ＝０．１となる。

なお、上記条件式の下限値を、０．０２とするとより好ましい。

また、撮像光学系１０１のズーム位置によって、画像回復処理と歪曲補正処理とを選択して行うこともできる。例えば、望遠端において歪曲収差がほとんど無い場合では、画像回復処理のみを行えば良く、さらに処理速度を速くすることができる。

前述した光学伝達関数（ＯＴＦ）は、同じ撮像状態であっても画角（像高）に応じて変化する。このため、画像回復処理は、画像における像高に応じて分割された領域ごとに画像回復フィルタを変更して行うことが望ましい。画像回復フィルタを画像上で走査しながらコンボリューション処理を行い、分割領域ごとに画像回復フィルタを順次変更すればよい。

また、画像回復処理の対象とする入力画像における画素の信号値に応じて画像回復フィルタを補正することで、入力画像の暗い領域で顕著となるノイズの増加を抑制することができる。入力画像の暗い領域では、明るい領域に比べて、画像信号に対してノイズ成分が相対的に大きいため、画像回復処理によってノイズを強調してしまうおそれがある。このため、暗い領域に対しては、画像回復フィルタの各セルの値を補正して画像回復効果を低下させることで、ノイズの増大を抑制することができる。信号値がある閾値以下の画素又は領域については画像回復処理を行わないようにしてもよい。

また、画像回復処理後の回復画像に補正誤差がある場合には、この補正誤差を補正するための別の画像処理を行ってもよい。これにより、実際の撮像状態と画像回復処理に用いた画像回復フィルタに対応する撮像状態との誤差に起因する回復画像における残留収差成分をさらに低減することができる。

また、入力画像内に飽和輝度領域が存在する場合に、その周辺部では収差成分が顕著に現れる。しかし、画像回復処理を行う際に、輝度値が飽和している画素については本来の輝度値が分からず、良好な補正が行えないおそれがある。この場合には、画像回復処理後の回復画像から残留している収差成分を検出して適応的に補正処理を行うことで、さらなる高画質化が達成できる。この適応的な補正処理は、本実施例での画像回復処理によってぼけ成分及び歪曲成分が低減された画像に最終的に残留した収差を補正するので、歪曲補正処理よりも後の段階で行うことが望ましい。

このように、本実施例によれば、画像回復処理により補正された画像を歪曲補正処理により補正することで、画像回復フィルタのカーネルサイズの肥大化や精度の低下、画像の周辺部の回復不能領域の発生を起こすことなく、良好な出力画像を得ることができる。

本実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

次に、本発明の実施例２について説明する。本実施例の画像処理方法も、図１に示した撮像装置と同様の撮像装置にて実施される。このため、本実施例において、実施例１と共通する又は同様の機能を有する構成要素には、実施例１と同符号を付す。なお、本実施例の処理を、パーソナルコンピュータ（画像処理装置）で行ってもよい。

本実施例では、画像回復処理によって画像のぼけ成分と色にじみ成分だけでなく、倍率色収差成分である色ずれ成分も低減（補正）する。このため、画像回復処理において、ぼけ成分と色にじみ成分と色ずれ成分を補正できる画像回復フィルタを使用する。なお、本実施例では、歪曲補正処理によって歪曲成分を低減（補正）する。

本実施例では、Ｒ，Ｇ，Ｂの色成分ごとの画像回復フィルタを、撮像状態に応じて選択したり選択した画像回復フィルタを補正して作成したりする。

色成分ごとの画像回復フィルタの例を図９に示す。図９において（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。これらの画像回復フィルタは、実施例１で説明したように、ぼけ成分と色にじみ成分を補正するフィルタであるが、倍率色収差に対応する色ずれ成分の補正機能は有していない。

また、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタも、それぞれＲ，Ｇ，Ｂ用の画像回復フィルタである。ただし、これらの画像回復フィルタは、ぼけ成分と色にじみ成分の補正機能に加えて、色ずれ成分の補正を行う機能も有する。具体的には、該３つの画像回復フィルタのうち少なくとも１つ（ここでは（Ｒ′）と（Ｂ′））において、セル値（フィルタ値）の絶対値が最大であるセル（以下、最大値セルという）の位置が、その画像回復フィルタの中心セルの位置からずれている。

各画像回復フィルタ内で黒いセルが最大値セルであり、×を付したセルが中心セルである。

（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタは、色成分ごとに光学伝達関数（ＯＴＦ）が異なることからフィルタ特性は異なるが、最大値セルの位置は互いに同じ（中心セルの位置）である。

一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタは、フィルタ特性が異なっているのに加えて、最大値セルの位置の中心セルに対するずれ量が互いに異なっている。これら画像回復フィルタ間での最大値セルの位置の相対ずれ量は、撮像光学系１０１の倍率色収差量に応じた量である。図１０には、（Ｒ′）で示す画像回復フィルタの１つの断面でのセル値（フィルタ値）を示している。

（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、フィルタ内のセル値の分布を色成分ごとに異ならせることで色ごとのぼけ成分及び色にじみ成分を補正できる。さらに、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタにおいて、上記分布の位置をずらす（最大値セルの位置と中心セルの位置とのずれ量を異ならせる。ただし、本実施例では（Ｇ′）でのずれ量は０）ことで色ずれ成分も補正できる。

なお、画像回復フィルタ内のセル値の分布を移動させたときに、元のセル領域から分布がはみ出してしまう場合には、画像回復フィルタのセル数を増加させることで対応すればよい。

次に、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタの効果を、図１１を用いて説明する。図１１において、（ａ）は撮像光学系１０１の収差の影響がなければ矩形のプロファイルを持つはずの被写体像が撮像光学系１０１の収差によってぼけ像として劣化している入力画像を示している。

実線、破線及び一点鎖線はそれぞれ、Ｇ成分、Ｒ成分及びＢ成分を表しており、（ａ）では、Ｇ成分、Ｒ成分及びＢ成分でぼけの広がりが互いに異なる上に、ピーク位置が互いにずれている。各色成分でのプロファイルの劣化がぼけ成分であり、色成分間でのぼけ量の違いによる色づきが色にじみ成分であり、ピーク位置のずれが色ずれ成分である。

（ｂ）は、図９に（Ｒ），（Ｇ），（Ｂ）で示す画像回復フィルタを用いて、（ａ）に示す入力画像に対する画像回復処理を行った場合の回復画像を示している。この回復画像において、Ｒ，Ｇ，Ｂの被写体像が本来の矩形プロファイルを持つようにぼけ成分（色にじみ成分を含む）は補正されたが、色ずれ成分は補正されていない。さらに、色成分ごとに画像の倍率を拡大縮小して色ずれを補正する方法や、実施例１で説明した歪曲補正処理において色ずれ成分を補正する方法により、（ｃ）に示すような画像を得ることは可能である。

一方、（Ｒ′），（Ｇ′），（Ｂ′）で示す画像回復フィルタを用いて（ａ）に示す入力画像に対して画像回復処理を行うと、（ｃ′）に示すように、色成分ごとのぼけ成分（色にじみ成分を含む）が補正されるとともに、色ずれ成分も同時に補正される。

このように、本実施例によれば、従来では互いに別の処理として行う必要があったぼけ成分の補正処理（画像回復処理）と色ずれ成分の補正処理とを、１つ（一度）の画像回復処理の中で行うことができる。したがって、ぼけ成分と色ずれ成分（倍率色収差成分）とを高速な処理によって低減することができ、次に歪曲補正処理によって歪曲成分を補正するだけで、良好な出力画像を得ることができる。ここでは、特に、撮影した画像データを画像処理する際に、歪曲成分以外のぼけ成分や色ずれ成分等を低減（補正）した上で、最後に歪曲成分を補正することが望ましい。

なお、本実施例では、画像がＲＧＢ形式の場合について説明したが、ＹＣＣ形式等、他の色形式の画像にも本発明を適用することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置で行われる処理を示すフローチャート。 実施例１において記憶部に格納される画像回復フィルタが配置される撮像状態空間の模式図。 実施例１の撮像装置で用いられる画像回復フィルタの説明図。 上記画像回復フィルタにおけるセル値の分布を示す図。 実施例１における歪曲補正処理の説明図。 実施例１の効果を説明するための画像回復フィルタの説明図。 実施例１の効果を説明するための回復不能領域の説明図。 本発明の実施例２において用いられる色成分ごとの画像回復フィルタの説明図。 実施例２の画像回復フィルタにおけるセル値の分布を示す図。 実施例２における画像回復処理の効果の説明図。

符号の説明

１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ

Claims (8)

1. 光学系を用いた撮像により得られた画像を処理する画像処理方法であって、
   前記画像を取得するステップと、
   画像回復フィルタを用いて前記画像のぼけ成分を低減する画像回復処理を行う画像回復ステップと、
   前記画像回復処理を受けた前記画像の歪曲成分を低減する幾何変換処理を行う歪曲補正ステップとを有し、
   前記画像回復処理は、前記画像のうち前記幾何変換処理によって除去される領域の画像情報を用いて行われ、
   前記画像回復ステップにおいて、前記画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
   前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と前記画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像の前記ぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理方法。
2. 前記画像回復フィルタは、光が前記光学系に入射してから前記撮像により前記画像が取得されるまでの光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換することにより作成されることを特徴とする請求項１に記載の画像処理方法。
3. 前記画像回復ステップにおいて、前記撮像に際しての撮像状態を示す情報を取得し、該撮像状態情報に応じて選択又は作成した前記画像回復フィルタを用いて前記画像回復処理を行うことを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記歪曲補正ステップにおいて、前記撮像に際しての撮像状態を示す情報を取得し、該撮像状態情報に応じて選択又は作成した幾何変換条件を用いて前記幾何変換処理を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理方法。
5. 以下の関係を満足することを特徴とする請求項１から４のいずれか１つに記載の画像処理方法。
   ０＜Ｆ／Ｄ＜２
   ただし、Ｄは前記画像回復処理を受けた前記画像における有効画像領域の端部の画素が前記幾何変換処理によって特定方向に移動する画素数であり、Ｆは前記端部の画素に適用する前記画像回復フィルタの前記特定方向でのセル数である。
6. 光学系を用いた撮像により得られた画像を処理する画像処理装置であって、
   画像回復フィルタを用いて前記画像のぼけ成分を低減する画像回復処理を行う画像回復手段と、
   前記画像回復処理を受けた前記画像の歪曲成分を低減する幾何変換処理を行う歪曲補正手段とを有し、
   前記画像回復手段は、前記画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用いて画像回復処理を行い、
   前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と前記画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像の前記ぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とする画像処理装置。
7. 光学系により形成された被写体像を光電変換して画像を取得する撮像系と、
   該画像を処理する請求項６に記載の画像処理装置とを有することを特徴とする撮像装置。
8. コンピュータ上で動作し、
   光学系を用いた撮像により得られた画像を処理するプログラムであって、
   前記画像を取得するステップと、
   画像回復フィルタを用いて前記画像のぼけ成分を低減する画像回復処理を行う画像回復ステップと、
   前記画像回復処理を受けた前記画像の歪曲成分を低減する幾何変換処理を行う歪曲補正ステップとを有し、
   前記画像回復処理は、前記画像のうち前記幾何変換処理によって除去される領域の画像情報を用いて行われ、
   前記画像回復ステップにおいて、前記画像回復フィルタとして、色ごとに異なるフィルタ値の２次元分布を有する複数の画像回復フィルタを用い、
   前記複数の画像回復フィルタは、前記フィルタ値の絶対値が最大であるセルの位置と該画像回復フィルタの中心セルの位置とのずれ量が前記光学系の倍率色収差量に応じて互いに異なり、前記画像の前記ぼけ成分とともに倍率色収差成分を低減するフィルタであることを特徴とするプログラム。