JP5054248B2 - 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 - Google Patents

Description

本発明は画像処理を行う画像処理装置に関する発明であり、特に画像回復（復元）を行う画像処理装置に関する。

デジタルカメラ等の撮像装置により得られた画像はぼけによって、画質が劣化している。画像のぼけが起こる要因は、撮像系の球面収差、コマ収差、像面湾曲および非点収差等である。

これら画像のぼけを補正する方法として、撮像系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれている。以降、この撮像系の光学伝達関数の情報を用いて画像の劣化を補正する処理を画像回復処理と記す。

画像回復処理に用いられる画像回復フィルタ（フィルタ）として、画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御するウィナーフィルタが知られている。

また、特許文献１は上記ウィナーフィルタを応用してフィルタの調整パラメータαを調整することにより、入力画像をそのまま出力するフィルタから最大に画像回復を行うフィルタまでの範囲で画像の回復度合いを変更可能な画像回復フィルタを開示している。

特開２００７−１８３８４２号公報

しかしながら、従来のウィナーフィルタや特許文献１に記載の画像回復フィルタを用いて画像全体を一律に処理した場合、画素値が平均値より小さい画素では過剰な回復となり、ノイズが増大してしまう。逆に、画素値が平均値より大きい画素では回復不足となってしまうので、良質な画像を得ることが出来ない。

そこで本発明は、良質な画像を得ることが可能な画像処理装置を提供することを課題とする。

上記課題を解決するために本発明の画像処理装置は、
入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段と、
前記入力画像の特徴量を取得する特徴量取得手段を有し、
前記特徴量が画素の輝度値であり、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定する手段を有することを特徴とする。
本発明の他の一側面としての画像処理プログラムは、
入力画像に対して回復処理を行い、回復画像を生成する画像回復処理工程と、
前記回復画像と前記入力画像との差分情報を演算する差分情報生成工程と、
前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定工程と、
前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成工程と、
前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成工程と、
前記入力画像の特徴量を取得する特徴量取得工程と、
前記特徴量は画素の輝度値であり、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定する工程を情報処理装置に実行させることを特徴とする。
本発明の他の一側面としての画像処理方法は、
入力画像に対して回復処理を行い、回復画像を生成する工程と、
前記回復画像と前記入力画像との差分情報を演算する工程と、
前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な工程と、
前記調整係数と前記差分情報に基づいて、補正差分情報を生成する工程と、
前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する工程を有し、
前記入力画像の画素の輝度値を取得し、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定することを特徴とする。
本発明の他の一側面としての撮像装置は、
撮像系を介して結像された被写体の像を入力画像として取得する撮像素子と、
前記入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段と、
前記入力画像の特徴量を取得する特徴量取得手段を有し、
前記特徴量が画素の輝度値であり、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定する手段を有することを特徴とする。

本発明の効果は、良質な画像を得ることが可能となった点にある。

画像処理装置の機能構成を示すブロック図 本発明の実施例である画像処理方法の説明図 調整係数の線形性の第１説明図 調整係数の線形性の第２説明図 実施例の画像処理方法を示すフローチャート 画像回復フィルタと画素ごとの調整係数設定についての説明図 画像の特徴量についての説明図 画素の特徴量に基づいた画像処理手順の一例を示すフローチャート 画素の特徴量に基づいた画像処理手順の一例を示すフローチャート 撮像装置の基本構成を示すブロック図 画像回復フィルタ選択および補正の説明図 実施例１における画像処理手順を示すフローチャート 本発明の実施例２における画像処理システムの説明図 補正情報の説明図

本発明の実施例を、図面を参照しながら説明する。まず、具体的な実施例を説明に先立って、各実施例に用いられる画像処理技術について説明する。

本発明に関する画像処理の主な機能について図１の機能ブロック図を用いて説明する。画像回復処理手段１１は、取得された入力画像（劣化画像）を回復（復元）処理し、回復画像を生成する。差分情報取得手段１２は、入力画像と該回復画像の差分を演算して、差分情報を取得（生成）する。画素特徴量取得手段１３は入力画像あるいは前記回復画像の画素の特徴量を取得する。調整係数設定手段１４は画像の回復度合いを調整する調整係数を記憶手段１８取得する。補正差分情報生成手段１５は前記調整係数と前記差分情報に基づいて補正差分情報を生成する。合成手段１６は、その補正差分情報を入力画像に対して合成する。以上説明した一連の処理により回復調整画像（出力画像、補正画像）が得られる。各処理における画像等のデータのやり取りは、バス等の接続手段１０を介する。その他、必要に応じて図１に示した入力手段１７、記憶手段１８、各機能を制御する制御手段１９、出力手段２０等を有している。記憶手段１８には、入力画像、画像回復フィルタ、回復画像、差分情報、画素特徴量あるいはそれに関するデータ、調整係数、補正差分情報等が記憶される。

上述した画像処理方法について図２を用いて説明する。図２の符号ｇ、ｆ、ｆｄ、Ｓ、Ｓｄは、各処理工程における画像を表したものであり、記号ｍは画像の色成分を表している。例えば画像内のある画素Ａに関して、その画像情報がＲ、Ｇ、Ｂ（赤、青、緑）の色成分から成る場合、Ａ_ｍ、即ち（Ａ_Ｒ、Ａ_Ｇ、Ａ_Ｂ）はそれぞれ（ＡのＲ成分、ＡのＧ成分、ＡのＢ成分）を表している。以下の説明は、複数の色、特にＲ、Ｇ、Ｂ色を有する画像に関して説明を行うが、入力画像は単色の画像であってもよい。

（入力画像ｇ_ｍ）
入力画像ｇ_ｍは、撮像系（撮像光学系、撮像レンズ）を介して撮像素子で受光することで得られたデジタル画像であり、レンズと各種の光学フィルタ等を含む撮像系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。

ただし、本発明の実施例としての画像処理方法は、例えば撮像光学系を含まない撮像系により生成された入力画像にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置といった撮像装置は、レンズのような撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数（狭義の光学伝達関数）によるものではないが、撮像系のシステム伝達関数によるものであり、このシステム伝達関数は光学伝達関数（ＯＴＦ）に相当するものと言える。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系を含まない撮像系のシステム伝達関数をも含む広義の光学伝達関数である。

撮像系を介して得られた入力画像ｇ_ｍは、１つの画素に１つの色成分の信号値を有するモザイク画像（ＲＡＷ画像）でも良いし、１つの画素に複数の色成分の信号値を有するデモザイク画像であってもよい。このデモザイク画像はモザイク画像を色補間処理（デモザイキング処理）したものでも良い。上記モザイク画像やデモザイク画像は色成分の有し方は異なるが、両者とも１つの画素に複数の色成分を持たせることが可能である。

複数の色成分を有する入力画像ｇ_ｍを取得する方法の例を挙げる。単板の撮像素子で複数の色成分の情報を得る場合には、撮像素子の各画素に分光透過率の異なるカラーフィルタを配置して、１つの画素に１つの色成分の信号値を有するモザイク画像を取得する。これに対して多板、例えば３板の撮像素子を用いて入力画像ｇ_ｍを得る場合には、各撮像素子に分光透過率の異なるカラーフィルタそれぞれ配置することにより、撮像素子ごとに異なる色成分の信号値を得ることができる。この場合、特に色補間処理を行わなくとも、１つの画素に対して複数の色成分の信号値を有する入力画像ｇ_ｍを取得することができる。

その他に、入力画像ｇ_ｍはレンズ（撮像系）のズーム位置（焦点距離）、絞り値、被写体距離（合焦距離）等の撮像状態や画素の特徴量等の情報（補正情報）をもつことができる。この補正情報の詳細は後述する。

（画像回復処理）
次に、図２の破線で囲った画像回復処理（回復処理）２０１について説明する。回復処理Ｒ、回復処理Ｇ、回復処理Ｂはほぼ同じなのであり、これら回復処理は入力画像ｇ_ｍの各画素に対して画像回復フィルタをコンボリューション（畳み込み積分、積和）を行う処理である。この画像回復フィルタは撮像系の伝達関数の逆関数に基づいて生成された関数を、逆フーリエ変換することにより得ることができる。

回復処理は、要求されている回復の精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。しかし、入力画像ｇ_ｍに対して非線形処理が行われていない方が、より高精度に画像回復を行うことができるので、モザイク画像に対して回復処理を行うのがより好ましい。

回復処理を行うことにより、画像の鮮鋭度が向上した回復画像ｆｄ_ｍが生成される。この回復画像ｆｄ_ｍが所望の画質であれば、この回復画像ｆｄ_ｍを出力画像ｆ_ｍとしても良い。しかし、色付き（偽色）が回復画像ｆｄ_ｍに発生してしまった場合や、回復画像ｆｄ_ｍの鮮鋭度（回復度合い）を変更させたい等、所望の画質を満足していない場合、以下に説明する補正処理を行う。

ここで、色付き（偽色）について補足する。色付きとは回復処理により発生し得るアーティファクトのことであり、画像の回復度合いを回復処理により高めていくことで、鮮鋭度が向上する代わりに、色付き（偽色）が顕著に表れてしまう。これは予め想定された劣化特性とは異なる劣化特性を有する画像に対して、予め想定された劣化特性を補正するような画像回復フィルタを用いることにより起こり得る。画像のエッジ部等で生じることが多い。

（補正処理、色合成比調整係数）
補正処理では、まず各色成分の画素ごとに回復画像ｆｄ_ｍから入力画像ｇ_ｍを式１のように減算し、回復成分情報Ｓ_ｍ（差分情報）を生成する。

生成された回復成分情報Ｓ_ｍに対して行列で表現される色合成比調整係数ωを乗算することにより色合成回復成分情報Ｓｄ_ｍ（補正差分情報）を生成する（式２）。入力画像の色成分がＲ、Ｇ、Ｂの３色である場合には、色合成比調整係数ωは３×３の係数要素を有する行列である。

式２のω_ｍｎは、第１色成分ｍの色合成回復成分情報Ｓｄ_ｍを生成するために、第２色成分ｎに乗算される係数を表している。ｎに関するΣはＲ，Ｇ，Ｂについてω_ｍｎＳ_ｎの和をとることを表している。例えば、Ｒ用の色合成回復成分情報Ｓｄ_Ｒは、Ｒ，Ｇ，Ｂの回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの各画素の信号値に、色合成比調整係数ω_ＲＲ，ω_ＲＧ，ω_ＲＢをそれぞれ掛け合わせたω_ＲＲＳ_Ｒ、ω_ＲＧＳ_Ｇ、ω_ＲＢＳ_Ｂを合成することで生成される。式２を色成分ｍ，ｎについて展開したものを式３に示す。

次に、式４の９つの色合成比調整係数ωの設定（選択）方法について具体例を挙げて説明する。

第１の例は、補正画像ｆ_ｍとして回復画像ｆｄ_ｍと同じ画像を得るための色合成比調整係数ωであり、式３の色合成比調整係数ωの対角成分を１として残りの成分を０と置く（単位行列）。これにより色合成回復成分情報Ｓｄ_ｍは自分自身の色成分ｍの回復成分情報Ｓ_ｍと等しくなり、補正画像ｆ_ｍとして鮮鋭度の高い（回復度合いの強い）画像を得ることができる。

第２の例は、色付きを発生させないための色合成比調整係数ωであり、式３の色合成比調整係数ωの全要素を１／３と置く。これにより色合成回復成分情報Ｓｄ_ｍは全ての色成分の回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂを平均化したものになり、Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂが異なっていた場合でも、色合成回復成分情報Ｓｄ_Ｒ、Ｓｄ_Ｇ、Ｓｄ_Ｂともに同じ値になる。色合成回復成分情報Ｓｄ_ｍがすべての色成分で等しいということは、この後の工程で入力画像ｇ_ｍに色合成回復成分情報Ｓｄ_ｍを合成する際に、色成分に関する付加情報の相違が無いので、画像の色付きを無くす、あるいは抑えることができる。さらに、回復成分情報Ｓ_ｍを平均化しても、各色成分の回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの間には少なからず正の相関（類似性）があるので、補正画像ｆ_ｍの鮮鋭度も向上させることができる。

つまり、色合成比調整係数ωを調整することで、色付きと回復度合い（鮮鋭度）のバランスを調整することができ、所望の画質を有する画像を得ることができる。

そして、式２、式３で得られた色合成回復成分情報Ｓｄ_ｍと元の入力画像ｇ_ｍとを色成分ごとに合成することで、補正画像ｆ_ｍ（出力画像ｆ_ｍ）が生成される。

以上説明した画像処理により、鮮鋭度を向上させつつ、画像回復により発生してしまう色付きを抑えた画像を得ることが可能となる。特に、実際の撮影状態での光学伝達関数（ＯＴＦ）と画像回復フィルタの作成時に想定している光学伝達関数（ＯＴＦ）とに相違がある場合に、有用である。

その他の効果として、入力画像と回復画像の差分情報と色合成比調整係数ω（調整係数）を用いることにより、画像回復フィルタを再計算せずに回復度合いを変えることができるので、画像処理の負担を軽減しつつ、良質な画像を得ることができる。

ここまでに、９つの設定自由度を有する色合成比調整係数ω（式３）について説明したが、設定の自由度が高い為、各係数要素値の設定が煩雑になる場合がある。そこで、色合成比調整係数ωをより簡単に設定する方法の一例を以下に示す。

まず、色合成比調整係数ωに２つの制約条件を付加する。１つ目の条件は、式５のように式３の行列ωの行ごとの和をそれぞれ１とするものである。

この制約条件は、例えば、Ｒの色成分の色合成回復成分情報Ｓｄ_Ｒを生成するための回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄ_ｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できる。

２つ目の条件は、式６のように式３に示した行列ωの列ごとの和を１とするものである。

この制約条件は、各色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂを生成する際に、回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを各色成分に分配してそれぞれ使い果たすことを意味している。

上記の２つの制約条件を満たす色合成比調整係数ωは式７として表現することができる。

さらに、回復度合いの強さが低減するのを抑えつつ、色付きを抑制するためには、各色合成回復成分情報Ｓｄ_ｍは色成分間での相違が小さい方が好ましい。つまり、式７の各列の分散を小さくすれば良く、各列の分散を最小にすると、式７の係数は式８として記すことができる。

以上の制約条件により、設定パラメータを１つにすることができ、回復度合いと色付き（偽色）発生リスクのバランスの調整を容易に制御することが可能となる。式８においてω＝１とすると、行列ωは単位行列となり、回復度合いが最大になる。また、ω＝１／３とすると、行列ωはすべての要素が１／３となり、偽色発生リスクが低減される。

その他の効果として、撮像装置や画像処理装置を提供する側としても、好適な調整パラメータを少ない自由度で制御できることは、装置開発工程や生産工程での作業効率を向上することができる。

その他の効果として、例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄ_ｍがすべての色成分で０（ゼロ）になるので、補正画像ｆ_ｍは入力画像ｇ_ｍそのものとなる。補正画像ｆ_ｍを入力画像ｇ_ｍと同じものにできる。これは、何らかの原因により良質な回復画像が得られないときに、少なくとも元の撮影画像が再現できるので、システムの安定性という観点から重要である。

また、１／３≦ω≦１に限られず、０≦ω≦１の範囲で色合成比調整係数ωを調整しても良い。これにより、入力画像ｇ_ｍから回復度合いを最大にした画像までを１つのパラメータ調整により、取得することができる。また、式５の右辺の値を１よりも大きく設定することで、さらに鮮鋭度を強調させることも可能である。また、行列ωの各要素の設定自由度は１つに限定せず、９つの自由度や別の制約条件に基づいて低減された自由度で調整することもできる。例えば、式７に基づいて設定すれば自由度を６にすることができる。

その他の効果として、差分情報を色合成比調整係数ωに応じて入力画像に演算することにより、回復度合いを変更させたい場合に、再度画像回復フィルタを生成し直す必要が無いので、画像処理の負担を軽減することができる。

その他の効果として、一般的には良質な回復画像を得ようとすると、多くの画像回復フィルタを保持する必要があるが、本発明によりデータの容量増加を抑えつつ、良質な画像を生成することができる。

（補正画像処理、回復強度調整係数）
次に、回復強度調整係数μ（調整係数）を用いる処理について説明する。回復強度調整係数μは入力画像ｇ_ｍに対する差分情報Ｓｄ_ｍの演算量（加算量あるいは減算量）を決める係数である。補正画像ｆ_ｍは式３で得られることを記載したが、ここでは式９に表現した処理を行う。式９では式８によって決定された行列ωに回復強度調整係数μを乗算して、補正画像ｆ_ｍを得る。

μ＝０とすると、式９の右辺の第２項は０（ゼロ）になるので、補正画像ｆ_ｍとして、入力画像ｇ_ｍそのものを得ることができる。また、μ＝１とすると、式９は式３と等しくなり、式８の色合成比調整係数ωにより決められた回復度合いの補正画像ｆ_ｍを得ることができる。回復強度調整係数μの基本範囲は０≦μ≦１であるが、μ＞１とすることで鮮鋭度を強調した補正画像ｆ_ｍを得ることもできる。

回復強度調整係数μも色合成比調整係数ωと同様に、画素ごとの回復度合いの調整を容易に行うことが可能となり、良質な画像を得ることが可能となる。

式１０は回復強度調整係数μを色成分ごとに変更する場合の式である。

式１０のように、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合い（差分情報の演算量）を調整することができる。これは、被写体の照明光源の分光変動や撮像系の製造誤差等の要因で色成分ごとに光学伝達関数（ＯＴＦ）が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整する場合等に有効である。より具体的に説明すれば、照明光源の分光特性が変化するとは、波長ごとの強度比が変化することと等価であるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した補正画像ｆ_ｍを得ることができる。

回復強度調整係数μを用いるその他の効果として、様々な回復の要求に対応した画像処理を行うことができる点にある。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。ここで、μ＝１としたときを最大回復した状態とすれば、回復強度調整係数μを１よりも小さい値に設定することで、ノイズやリンギングを抑制することが可能である。一方、監視カメラ等の映像から、車のナンバープレートの数字を読み取りたい場合にはノイズやリンギングは大きくなるが、回復強度調整係数μを１よりも大きい値に設定することで、数字を特定しやすくなる。

また、回復強度調整係数μ＝０とすれば、色合成比調整係数ωと同様に、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として少なくとも撮影画像（入力画像）そのものを出力できるので、システムの安定性が高いと言える。

また、一般の写真撮影においても、収差が残っていることでフレアがかった柔らか味のある画像から収差を除去した鮮鋭な画像まで、出力画像ｆ_ｍとして要求される画質はユーザや被写体によって様々である。このような様々な要求に対しても対しても回復強度調整係数μを調整することで対応を行うことができる。

その他の効果として、色合成比調整係数ωと回復強度調整係数μを分離することで、回復度合いと偽色発生リスクとのバランス調整を色合成比調整係数ωで行い、ある色合成比調整係数ωにおける回復度合いの調整を回復強度調整係数μで行うことができる。これにより、色付きを低減させたい、鮮鋭度を向上させたい、等の要望に適したパラメータによる画像処理を容易に行える。

尚、色合成比調整係数ωや回復強度調整係数μの調整係数の設定値は、他にもＩＳＯ感度の設定等ＳＮ比の変化に関する設定情報に応じて変更することもできる。また、画素値やその差異（画素の特徴量）、およびズーム位置（焦点距離）、被写体距離（合焦距離）、絞り値等の撮像状態や、上記の製造誤差対応との組み合わせに応じて複合的に適宜変更して用いることができる。

ここで、色合成比調整係数ωおよび回復強度調整係数μの変化に対する補正画像ｆ_ｍの回復度合いの線形性について図３を用いて説明する。式８における色合成比調整係数ωおよび回復強度調整係数μをともに１とした最大回復度合いの補正画像ｆ_ｍを基準とする。そして、回復画像ｆｄ_ｍと補正画像ｆ_ｍとの画像の類似性を式１１の評価関数Ｊ_ｍとして定義する。

右辺の記号の２のついた二重縦線は２次元ノルムを示しており、分母のＸ，Ｙは画像の水平方向および垂直方向の画素数を示している。補正画像ｆ_ｍとして式９、色合成比調整係数ωとして式８をそれぞれ代入すると、評価関数Ｊ_ｍは色合成比調整係数ωおよび回復強度調整係数μに対して１次式となり、直線的な回復度合いの調整が可能であることが分かる。このような回復度合い調整の直線性により、調整係数（調整パラメータ）の数の低減ができる。その他に、ユーザが可変に調整する場合に設定値とレスポンス（回復画像）の対応が取り易いという利点がある。

図４（Ａ）の試験画像を用いて、回復度合い調整の線形性を評価した実験結果を図４（Ｂ）に示す。この結果から図３に示した線形性が正しく再現されていることが分かる。

尚、図２においては、色合成比調整係数ωと回復度調整係数μの両方を用いる処理について説明したが、図３に示した関係から、どちらか一方の調整係数のみを用いた場合であっても色付き低減、鮮鋭度向上という効果を得ることができる。

次に、色合成比調整係数ωあるいは回復強度調整係数μ（以下、調整係数）を用いた場合の処理負荷の低減について、図５の調整係数の設定に関するフローチャートを用いて説明する。まず、ステップＳ５０１において画像回復処理手段は、生成した画像回復フィルタか、記憶手段等に予め記憶された画像回復フィルタを用いて入力画像（撮影画像）に対して画像回復処理を行う。不図示のステップにおいて、差分情報取得手段が入力画像から回復画像を減算し、差分情報を演算する。

次にステップＳ５０２において、この回復画像に対して予め記憶された調整係数か、ユーザにより選択された調整係数か、あるいは入力画像に補正情報として設定された調整係数に基づいて調整係数設定手段が調整係数を設定する。そして、補正差分情報生成手段が、差分情報と入力画像に基づいて補正差分情報を生成し、合成手段が入力画像に補正差分情報を合成する画像合成処理を行い、回復画像を生成する。

ステップＳ５０３において、この回復画像を評価して、そのまま補正画像（出力画像）とするか、回復度合いを変更するかを判定する。回復度合いを変更する場合には、ステップＳ５０４へ移り、調整係数設定手段が調整係数を変更（設定）し、再び画像合成処理（合成処理）を行われる（Ｓ５０２）。尚、ステップＳ５０３の判定は、ユーザが主観的な評価に基づいて、入力手段等により入力された判定結果を取得して判定を行っても良いし、予め記憶手段に記憶された画像の評価関数に基づいて判定しても良い。ステップＳ５０３において回復度合いを変更しないと判定された場合、前工程で生成された回復画像を出力画像として出力する。

ステップＳ５０３で説明したように、ステップＳ５０１において生成された画像回復フィルタを用いた回復画像の回復度合いを変更する場合、ステップＳ５０１に戻る必要がない。つまり、処理負荷の大きい画像回復フィルタの再計算やコンボリューション処理を繰り返す必要がないので処理負荷を軽減することができる。

その他の効果として調整係数を用いることにより、画素ごとの回復度合いの調整を容易に行えるため、より高画質な回復画像を取得することができる。

この効果に関して、図６を用いて説明する。図６（Ａ）は、複数の画素からなる所定領域（画像の領域）に対して画像回復フィルタを用いてコンボリューション処理の模式図である。図６（Ａ）では７×７画素の画像回復フィルタｆ１、および画像回復フィルタｆ２を、各フィルタの中央の黒塗りした画素α、βとコンボリューションすることにより、それぞれの中央の画素α、βの回復（復元）処理を行っている。この画像回復フィルタf1とf2は、画像の位置（所定領域）ごとの収差に応じて変更することもできるが、図６（Ａ）の画像回復フィルタf1およびf2は同じ画像回復フィルタである。図６（Ａ）で示したコンボリューション処理により、画素α、画素βは適当な値に補正される。しかしながら、画素の特徴量を考慮せずに同一の画像回復フィルタｆ１、ｆ２で回復処理を実行した場合、画像の回復度合いは図６（Ｂ）に示したように一律になる。画素α、βが画像のエッジ部に相当していたとしても、画像回復フィルタを画素ごとに適宜変更しなければ、図６（Ｂ）に示したような回復画像となってしまう。画素α、βの特徴量に合わせて画像回復フィルタを変更しようとすると、先に述べたように処理に大きな負担をかけることになる。

一方、本発明を適用すれば、図６（Ｃ）に示したように画素ごとの回復度合いを容易に調整可能なので、画像回復処理の負担を軽減することができる。その他に、画素の特徴量に応じて調整係数を変更することで、各画素の収差に適した回復処理が行えるので良質な画像を得ることができる。

上記説明したように、処理負担の大きい画像回復フィルタによる回復処理は、ある一定以上の画素数を有する領域に対して行う。そして該領域内であって、該画素数よりも少ない画素数（最小１画素）を有する領域に関しては、画素の特徴量に応じた調整係数による回復度合いの変更を行えば、画像処理の負担を軽減しつつ、良質な画像を得ることができる。

以下、図２に示した特徴量検出処理２０２により検出された特徴量に応じた調整係数の設定について具体例を用いて説明する。

（特徴量検出処理）
特徴量検出処理２０２では入力画像ｇ_ｍ対して画像の特徴量を検出する。そして、検出された特徴量に応じて回復強度調整係数μ、色合成比調整係数ω等の調整係数を設定する。ここで、特徴量とは、例えば画素値、輝度値、画素値（輝度値）の差異、信号値、画像の種類等である。画素値とは各色成分の各画素の値であり、輝度値とは複数の色成分をある割合で混合した値である。

以下の説明は調整係数として回復強度調整係数μを例に説明するが、色合成比調整係数ωとの線形性から、色合成比調整係数ωに置き換えることも可能である。

画像の特徴量を検出する具体例として画像のエッジ部での処理について図７を用いて説明する。図７（Ａ）は画像の一部を示しており、水平方向に白塗り部から斜線部、黒塗り部へ画素値が変化している。この水平断面を図７（Ｂ）に示す。また、図７（Ｂ）の断面の微分値を図７（Ｃ）に示す。図７（Ｃ）はエッジ検出フィルタでエッジ抽出をしたものである。図７（Ｃ）から、図７（Ａ）の白塗り領域および黒塗り領域は画素値の変化の無い平坦部であり、斜線部は画素値の変化のあるエッジ部であることが分かる。このような平坦部とエッジ部が特徴量の一例である。また、エッジ部として検出された斜線部においても画素値の変化によって微分値が変化していることが分かる。これも特徴量である。

エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、このエッジ部については回復度合いが高くなるように回復強度調整係数μを設定する。一方、エッジ部でない比較的濃淡の少ない部分、言い換えれば平坦部は回復度合いを高くしても画像全体の鮮鋭度には影響は少なく、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合いが低くなるように回復強度調整係数μを設定する。

例えば、画素値の差異が予め設定した閾値以下の場合には、回復度合い調整係数を０（ゼロ）として回復を行わず、閾値以上の場合にはその他の条件（色合成調整係数ω等）により決定された調整係数で回復を行うことができる。この処理フローについては後述する。この閾値の決定方法としては、例えば、ある画素値のノイズの標準偏差のＮ倍とすることができる。

ただしＮは目的の画質に応じて変更可能である。これは、画素値の差異がノイズに埋もれる確率が高い領域では、そもそも被写体画像とノイズの区別がなく、これを回復する意味が無いため回復を行わないという考え方である。

このように、特徴量に応じて調整係数を用いた回復を行っても効果が期待できない画像の領域に対しては回復を行わなければ、特徴量に応じずに回復を行った場合に比べて処理負荷をより低減することができる。

また、閾値により回復を行うか否かを、ＯＮ／ＯＦＦの２段階にするのではなく、画素値の差異に応じて多変量で回復度合いを制御しても良い。つまり特徴量を隣接画素との画素値の差異として、その画素値の差異に応じて調整係数の値を設定する。さらに限定すれば、第１の画素値の差異が第２の画素値の差異よりも小さい場合、前記第１の差異に対応する画素の調整係数は、前記第２の差異に対応する画素の調整係数よりも小さい値に設定される。

これにより、処理負荷を低減しつつ、ノイズが抑えられた良質な画像を得ることができる。ここでいう隣接画素は特定の画素の斜めに位置する画素も含む。

その他の特徴量として輝度値がある。特徴量を輝度値とした場合、輝度値が低い部分は本来の画像信号とノイズ信号のＳＮ比が小さいため、回復度合いを高くするとノイズが目立ち易いので、回復度合いが低くなるように回復強度調整係数μを設定する。逆に、輝度値が高い部分はＳＮ比が大きいので、回復度合いが強くなるように回復強度調整係数μを設定する。つまり、輝度値が高いほど、調整係数の値を大きく設定する。これにより、回復画像に生じてしまうノイズを低減し、良質な画像を得ることができる。尚、ここでのＳＮ比は入力画像の画素値をノイズの標準偏差で除算した値である。

またその他の例として、輝度値が飽和している部分は、本来の画像信号が撮像素子のレンジの上限で制限（クリップ）されており、収差の状態も想定している状態とは大きく異なるので、偽色が発生し易い。特徴量検出手段により、輝度値が飽和している画素が検出された場合、該画素に対しては、回復度合いが低くなるように調整係数を設定する。必要に応じて係数値を０（ゼロ）として、飽和部は回復しない設定にすることもできる。逆に輝度値が飽和していない画素に対しては、調整係数設定手段により設定された調整係数に応じて回復画像を生成すればよい。つまり、輝度値が飽和した画素に対しては、飽和直前の画素値の画素に設定された調整係数の値よりも小さい値を再設定する。尚、この再設定は、調整係数が初期値として各画素に設定されておらず、輝度値が飽和しているか否かの判定を行った後で特定の画素に関して調整係数が設定される場合も含む。

これにより、回復画像の偽色の発生を抑えることができ、良質な画像を得ることができる。ここでいう、飽和直前の輝度値とは、例えば８ビット画像において画素値２５５を最大値とした場合に撮像素子のレンジ上限の２５４である。

その他の特徴量として、画像の対称性が挙げられる。撮像系（撮像光学系）に製造誤差がある場合、画像の左右対称な位置で劣化度合いが異なる場合があり、画像上でのぼけやその相対的な色付きの差異として現れることがある。色合成比調整係数ωや回復強度調整係数μの調整係数を、画像の位置のぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。

その他の特徴量として、被写体の種類が挙げられ、被写体を認識して被写体の種類に応じた回復度合いの調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されているものがある。画像回復により人物の顔に偽色等のアーティファクトが発生すると非常に不自然な画像になってしまうため、回復度合いを適度に調整することが好ましい。このような画像認識により得られる情報も特徴量の一部である。

以上の説明のとおり、回復画像と入力画像との差分情報と、該差分情報を調整する調整係数を特徴量に応じて設定することにより、良質な画像を得ることが可能となる。さらに限定すれば、特徴量に応じて調整係数を設定することで、画像処理の負担を軽減しつつ、良質な画像を得ることができる。

尚、図２においてはＲ、Ｇ、Ｂそれぞれの色成分ごとに特徴量を検出しているが、Ｇの色成分についてのみ特徴量検出を行っても良い。また、特徴量を検出する対象画像は入力画像であっても良いし、回復画像であってもよい。

図９には、本発明の実施例１である画像処理装置を搭載した撮像装置の基本構成を示している。

撮像光学系（撮像系）１０１は不図示の被写体像を撮像素子１０２に結像させる。撮像素子１０２で結像された光が電気信号に変換されＡ／Ｄコンバータ１０３でデジタル信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル画像データ（入力画像）に対して、各種の画像処理と、画像回復処理等を行う。画像処理部１０４は、画像回復処理手段、差分情報生成手段、画素特徴量取得手段、調整係数設定手段、補正差分情報生成手段、合成手段として機能する。

まず、画像処理部１０４は、状態検知部１０７から撮像光学系１０１の状態（例えば、ズーム位置（焦点距離）、絞り値（絞り径）、被写体距離（合焦距離）等）を示す情報である撮像状態の情報を得る。状態検知部１０７はシステムコントローラ１１０から直接、撮像状態情報を得ても良いし、撮像光学系１０１の動作を制御する撮像光学系制御部１０６から得ても良い。

次に画像処理部１０４は、撮像状態情報から得られる撮像光学系１０１の状態に応じた画像回復フィルタを記憶部１０８から選択する。そして、選択した画像回復フィルタまたは該選択した画像回復フィルタを撮像状態情報に応じて補正することで、新たに生成した画像回復フィルタを用いて、入力画像に対して画像回復処理および調整パラメータ（調整係数）に応じた回復度合いの調整を行う。

図１０を用いて、画像回復フィルタの選択と補正について説明する。図１０には、撮像状態情報と該撮像状態情報に基づいて記憶部１０８に格納された複数の画像回復フィルタ（黒丸）を模式的に示す。記憶部１０８に格納された画像回復フィルタは、焦点位置（状態Ａ）、絞り値（状態Ｂ）および被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。尚、図１０では、画像回復フィルタを各各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成して、その中に画像回復フィルタを離散的に配置してもよい。

図１０において、大きな白丸で示した撮像状態が、状態検知部１０７により検知された実際の撮像状態であるとする。実際の撮像状態位置に対応する位置、またはその近傍に予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の１つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（撮像状態の相違量）を算出する。そして、最も距離の短い位置の画像回復フィルタを選択する方法である。この方法により、図１０に小さな白丸で示した位置の画像回復フィルタが選択される。

また、他の方法として、画像回復フィルタ選択に撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向の積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する方法である。

次に、選択された画像回復フィルタを補正することで、新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離（状態相違量）を算出し、最も距離の短い（状態相違量が最も小さい）位置の画像回復フィルタを選択する。状態相違量が最も小さい画像回復フィルタを選択することで、画像回復フィルタの補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。

図１０では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と、実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。

また、他の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタと実際の撮像状態との状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等等を用いて補間すれば良い。

また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態における光学伝達関数（ＯＴＦ）を、計測して求めることもできる。

そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は、画像回復処理により偽色の発生度合いと回復度合いのバランスがとれた鮮鋭化された画像である。また、表示部１０５には、補正処理後を表示するための所定の補正処理を行った画像を表示してもよいし、高速表示のために補正処理を行わない、または簡易的な補正処理を行った画像を表示してもよい。

以上の画像処理部１０４での一連の処理は、システムコントローラ１１０によって制御される。また、撮像光学系１０１の駆動は、システムコントローラ１１０の指示を受けた撮像光学系制御部１０６が制御する。

絞り１０１ａにより開口径（絞り径）が制御されることで、フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。撮像光学系１０１内に、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよいが、該光学素子が撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える場合には、該光学素子を考慮して画像回復フィルタを作成する必要がある。例えば、赤外カットフィルタを挿入する場合には、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点で考慮が必要になる。

撮像光学系１０１は、撮像装置本体に対して一体に設けられたものでもよいし、交換可能に設けられたものであってもよい。

また、光学伝達関数（ＯＴＦ）は、同じ撮像状態においても撮像光学系１０１の像高（画像上での位置）に応じて変化するので、画像回復処理を像高に応じて変更して行うことが望ましい。具体的には、画像の画素ごとに画像回復フィルタをコンボリューション処理させながら走査し、所定の領域ごとに画像回復フィルタを変更すればよい。

本実施例の画像回復処理（画像処理方法）は、図１に示した画像処理部１０４で実行される。

図１１に、画像処理部１０４で実行される本実施例の画像回復処理（画像処理方法）の具体的なフローチャートを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。

画像処理部１０４は、画像取得工程（画像取得ステップ）で入力画像を取得する。次に状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程（画像回復処理ステップ）で、画像処理部１０４は画像回復フィルタを用いて入力画像に対して回復処理を行い、回復画像を生成する。また、画像処理部１０４は入力画像から特徴量を取得する。この特徴量を取得する工程は、図１１に示したように撮像状態情報の取得と並行して行ってもよいし、撮像状態情報を取得する前に特徴量を取得する工程を挿入してもよい。

そして差分情報生成工程（回復成分情報生成工程）では、画像処理部１０４は入力画像と回復画像の差分から回復成分情報を生成する。該差分情報は画素ごとに求められる。そして、画像処理部１０４は色合成比調整係数ωや回復強度調整係数μとしての調整係数を設定する。調整係数は、取得された特徴量に応じて設定される。

次に、補正差分情報生成工程で、画像処理部１０４は、調整係数に応じて入力画像に差分情報を演算して、補正差分情報を生成する。具体的には、差分情報の各画素値に回復強度係数μを乗じた画素値を画素ごとに入力画像に加えることで補正差分情報を得る。

そして、合成工程では、画像処理部１０４は入力画像に対して補正差分情報を合成して回復調整画像を生成する。

次に、画像処理部１０４は、画像形成に必要なその他の処理を行い、回復された画像（補正画像）を出力画像する。ここでの「その他の処理」としては、補正画像がモザイク画像の状態であれば、色補間処理（デモザイキング処理）を行う。その他、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファ）とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み（記憶）および読み出しを行う。一時記憶部として、記憶部１０８を用いてもよい。

ここで、画像の特徴量に応じた処理のより具体的な例として、画像のエッジ部をエッジ検出フィルタで検出し、エッジ部とエッジ部ではない部分で調整係数を変更する処理のフローチャートを図８（Ａ）に示す。

ステップＳ８０１において入力画像が取得される。ステップＳ８０２においてＳ８０１で取得された入力画像に対してメモリに書き込まれた（記憶された）画像回復フィルタＤ８０１を用いて回復処理を行い、回復画像Ｄ８０２を生成してメモリに書き込む。次にステップＳ８０３において、この回復画像と入力画像の差分から回復成分情報Ｄ８０３を生成しメモリに書き込む。そしてステップＳ８０４において入力画像の位置（ｘ、ｙ）の回復度合いの調整を開始する。そしてステップＳ８０５において入力画像の位置ごとに、その位置がエッジ部であるか否かを判定する。その位置がエッジ部である場合にはステップＳ８０６へ進み、回復強度調整係数をμ＝１．０とする。ステップＳ８０５においてエッジ部でないと判定された場合にはステップＳ８０７へ進み、回復強度調整係数をμ＝０．１としてメモリに書き込む。そして、ステップＳ８０９においてその位置に対して、回復度調整係数μ（Ｄ８０４）をメモリから読み込み、入力画像とμ倍した回復成分情報を合成する。ステップＳ８１０では画像全域に対して特徴量に応じた回復度調整係数の変更が行われたか否か判定する。画像全域に対して調整が行われた場合には、回復調整画像Ｄ８０５をメモリに書き込んで終了となる。画像全域に対して行われていない場合には、ステップＳ８０４に戻る。この例では回復画像、回復成分情報、回復強度調整係数、回復調整画像を随時メモリに保持したが、メモリは内部メモリ、外部メモリ等変更することが可能である。また、回復強度調整係数をエッジ部であるか否かに応じて２段階に分けたが、エッジの強さに応じて多段階に分けることも可能である。

図８（Ｂ）には、画素値や輝度に応じて調整係数を変更するフローチャートを示す。処理が開始され、ステップＳ８１において入力画像が取得される。ステップＳ８２において、入力画像に対してメモリに記憶された画像回復フィルタＤ８１を用いて回復処理を行われ、回復画像Ｄ８２を生成してメモリに書き込む。ステップＳ８４では、この回復画像と入力画像の差分から回復成分情報Ｄ８３を生成しメモリに書き込む。ステップＳ８５では、入力画像の位置（ｘ，ｙ）の画素値をｍ（ｘ，ｙ）として、回復強度調整係数μを関数ｆによって算出する。関数ｆは、例えば、画像が８ビットで０〜２５５階調の場合、画素値が２５５で輝度飽和している場合にはμ＝０とする。画素値が２５０の場合にはμ＝１とし、画素値が０の場合にはμ＝０とするような関数である。また、関数ｆの代わりに画素値と回復強度調整係数の変換テーブルを用いても良い。そしてステップＳ８７においてステップＳ８５で入力画像にμ倍した回復成分情報を加算する補正処理を行う。そしてステップＳ８８において画像全域を調整したか否か判定する。画像全域で特徴量に応じた調整が行われたと判定された場合には、回復調整画像Ｄ８５をメモリに書き込み処理を終了する。画像全域で調整が行われていないと判定された場合にはステップＳ８６に移り、画素の位置を変更し、再びステップＳ８４へ進み、ステップＳ８５からの処理を繰り返す。

上記説明した「その他の処理」において、歪曲収差補正や倍率色収差補正を行った場合、画像の倍率変更が行われるので、画素補間処理が必要となる。画素補間処理を行うと、その補正量に応じた周期的な鮮鋭度の劣化が発生する。この劣化の周期と劣化量は歪曲収差補正や倍率色収差補正等の補正の特性から予め知ることができる。よって、調整係数の値を、この補正の特性に応じて設定することで画素補間処理に伴って生じる鮮鋭度のムラを補正することができる。具体的には、画像処理部１０４が、画像の画素ごと、あるいは、特定の領域ごとに補正の特性に応じて回復強度調整係数μを設定する。この画素補間処理を行う処理（歪曲収差補正、倍率色収差補正等）の補正の特性も特徴量の１つである。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて処理工程の順序や各処理工程の有無を変更しても構わない。

図１２（Ａ）には、本発明の実施例３である画像処理システムの構成図を示した。画像処理装置１２１は、情報処理装置により構成され、実施例１にて説明した画像処理方法を該情報処理装置に実行させるための画像処理ソフトウェア（画像処理プログラム）１２２を搭載している。

撮像装置（撮像機器）１２３は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体１２４は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、等撮像により生成された画像（撮影画像データ）を記憶する。

画像処理装置１２１は、撮像装置１２３または記憶媒体１２４から画像データを取得して、所定の画像処理を行った出力画像（補正画像）データを出力機器１２６、撮像装置１２３および記憶媒体１２４の少なくとも１つに出力する。また、出力先を画像処理装置１２１に内蔵された記憶部にし、該記憶部に出力画像データを保存しておくこともできる。出力機器１２６としては、プリンタ等が挙げられる。画像処理装置１２１には、モニタである表示機器１２５が接続されており、ユーザはこの表示機器１２５を通して画像処理作業を行うとともに、回復調整画像（出力画像）を評価することができる。画像処理ソフトウェア１２２は、画像回復処理機能および回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

また、図１２（Ｂ）には、別の画像処理システムの構成を示している。実施例１のように、撮像装置（撮像機器）１２８単体で実施例１、２の画像処理を行う場合は、撮像装置１２８から直接、出力機器１２９に回復調整画像を出力することができる。

また、出力機器１２９に、実施例１、２の画像処理方法を実行する画像処理装置を搭載することで、出力機器１２９で画像の特徴量に応じて調整係数を設定し、回復度合いの調整を行うことも可能である。さらに、出力機器１２９の出力画像の劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができる。

ここで、画像回復処理および回復度合いの調整を含む画像処理を行うための補正データの内容と補正データの受渡しについて説明する。図１３に補正データの内容を示す。補正情報セットは、以下の補正に関する情報を有している。

「補正制御情報」
補正制御情報は、撮像装置１２３、画像処理装置１２１および出力機器１２６のどれでで回復処理および回復度合い調整処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置１２３で回復処理のみ行い、画像処理装置１２１で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置１２１に伝送する必要は無いが、少なくとも撮影画像と回復画像あるいは回復成分情報（差分情報）を伝送する必要がある。

「撮像装置（撮像機器）情報」
撮像装置情報は、製品名称に相当する撮像装置１２３の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。

「撮像状態情報」
撮像状態情報は、撮影時の撮像装置１２３の状態に関する情報である。例えば、焦点距離、絞り値、被写体距離、ＩＳＯ感度、ホワイトバランス設定等等である。

「撮像装置（撮像機器）個別情報」
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。

「画像回復フィルタ群」
画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合、別の装置（機器）から画像回復フィルタを伝送する必要がある。

「特徴量情報」
特徴量情報は、エッジ部であるか否か、エッジの強さ、輝度が飽和しているか否か、画素値、輝度値、色成分ごとの画素値、色相、彩度等の画像の位置に応じた情報である。これらの特徴量情報を装置間で伝送することで、画像の特徴量検出と該特徴量に応じた回復度合いの調整を別の装置（機器）で行うことも可能である。

「回復成分情報（差分情報）」
既に画像回復処理が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を（機器）装置間で伝送することで、別の装置（機器）で回復度合いを調整することができる。

「調整パラメータ群」
調整パラメータ群は色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。

「ユーザ設定情報」
ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から、最も好む鮮鋭度を学習機能により更新することが好ましい。

さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した装置または機器は画像回復処理および回復度合いの調整を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の装置で回復度合いの調整処理を行う場合に、補正情報セットに回復画像と回復成分情報（差分情報）が含まれていれば画像回復フィルタ群は基本的には必要ない。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

１１ 画像回復処理手段
１２ 差分情報取得手段
１４ 調整係数設定手段
１５ 補正差分情報生成手段
１６ 合成手段

Claims (8)

1. 入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
   前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
   前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
   前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
   前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段と、
   前記入力画像の特徴量を取得する特徴量取得手段を有し、
   前記特徴量が画素の輝度値であり、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定する手段を有することを特徴とする画像処理装置。
2. 前記調整係数は前記入力画像に対する前記差分情報の演算量を決める係数であることを特徴とする請求項１に記載の画像処理装置。
3. 第１の画素の特徴量が第２の画素の特徴量よりも大きい場合、前記第１の画素の前記調整係数は前記第２の画素の前記調整係数よりも大きい値が設定されることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記入力画像が第１色成分と第２色成分を有する場合、前記調整係数は、前記第１色成分の前記差分情報と前記第２色成分の前記差分情報の混合比を決める係数であり、該係数に応じて前記第１色成分の前記補正差分情報が生成されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記係数に応じて前記第２色成分の前記補正差分情報が生成されることを特徴とする請求項４に記載の画像処理装置。
6. 撮像系を介して結像された被写体の像を入力画像として取得する撮像素子と、
   前記入力画像に対して回復処理を行い、回復画像を生成する画像回復処理手段と、
   前記回復画像と前記入力画像との差分情報を演算する差分情報生成手段と、
   前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定手段と、
   前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成手段と、
   前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成手段と、
   前記入力画像の特徴量を取得する特徴量取得手段を有し、
   前記特徴量が画素の輝度値であり、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定する手段を有することを特徴とする撮像装置。
7. 入力画像に対して回復処理を行い、回復画像を生成する画像回復処理工程と、
   前記回復画像と前記入力画像との差分情報を演算する差分情報生成工程と、
   前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な調整係数設定工程と、
   前記調整係数と前記差分情報に基づいて、補正差分情報を生成する補正差分情報生成工程と、
   前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する合成工程と、
   前記入力画像の特徴量を取得する特徴量取得工程と、
   前記特徴量は画素の輝度値であり、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定する工程を情報処理装置に実行させることを特徴とする画像処理プログラム。
8. 入力画像に対して回復処理を行い、回復画像を生成する工程と、
   前記回復画像と前記入力画像との差分情報を演算する工程と、
   前記入力画像に対して互いに異なる複数の調整係数を設定することが可能な工程と、
   前記調整係数と前記差分情報に基づいて、補正差分情報を生成する工程と、
   前記入力画像に前記補正差分情報を合成し、回復調整画像を生成する工程を有し、
   前記入力画像の画素の輝度値を取得し、特定の画素の輝度値が飽和している場合は、該特定の画素の前記調整係数として、該特定の画素に設定された調整係数の値よりも小さい値を再設定することを特徴とする画像処理方法。