JP5147994B2 - 画像処理装置およびそれを用いた撮像装置 - Google Patents

Description

本発明は、撮影画像に画像処理をする方法、特に画像回復処理を用いて劣化画像の補正を行うものである。

情報のデジタル化に伴い、入力画像にデジタル信号処理を行うことにより所望の画像を得る技術が提案されている。撮像装置で被写体を撮像するとき、得られた画像は撮像光学系の収差によって少なからず劣化している。画像の劣化を補正する方法として、撮像光学系の光学伝達関数（以下、ＯＴＦ）の情報を用いて補正するものが知られている。

特許文献１は、撮像光学系による画像の劣化を表す点像分布関数をフーリエ変換することにより得られる光学伝達関数（ＯＴＦ）を、画像回復フィルタとして用いている。そして、この画像回復フィルタのパラメータを調整可能とすることにより、撮影画像の画像回復の度合いを連続的に調整可能とする画像回復フィルタを開示している。

特開２００７−１８３８４２号公報

しかし、特許文献１の画像回復フィルタを用いて画像回復を行っても、撮像光学系により発生した各色成分ごとの収差が想定していた収差特性とは異なっていた場合には、撮影画像に思わぬ色づきが発生し、画質が低下しまう。

この色づきは、撮像光学系の製造誤差によるばらつき、撮影環境での分光変動、立体物の撮影、輝度飽和などにより起こりうる。以下に色づきが発生する場合の一例として、立体被写体の撮像を挙げて説明する。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の１つの面に焦点を合わせて撮像するが、被写体が立体物である場合には画角によって被写体距離が異なる。このとき、合焦物体は比較的鮮鋭に撮像されるが、非合焦物体はその距離に応じたぼけ量が存在する。このようなぼけ量が存在する撮影画像に対して、従来の画像回復処理を行った場合、合焦物体のエッジ部に関しては画像回復フィルタが最適なため所望の鮮鋭度を得ることができる。しかし、非合焦物体のエッジ部に関しては色づきが発生してしまったり、色づきが不自然に増大してしまったりする。出力画像の画質を向上させるための画像回復処理において、このような色づきの発生は大幅に画質を劣化させる。

そこで本発明は、従来の画像回復処理において生じ得る不自然な色づきの発生を抑え、良質な画質を得ることができる画像処理装置を提供することを課題とする。

上記課題を解決するために本発明は、複数の色成分を有する入力画像に対して画像回復処理を行い、１次回復画像を生成する１次回復画像生成手段と、
前記入力画像と前記１次回復画像との差分を演算し、前記複数の色成分ごとの差分情報を生成する回復成分情報生成手段と、
前記差分情報を用いて２次回復画像を生成する２次回復画像生成手段とを有する画像処理装置であって、
前記２次回復画像生成手段は、前記入力画像のひとつの色成分に前記複数の色成分の差分情報に基づく色合成回復成分情報を合成することを特徴とする画像処理装置。

本発明は、色成分間のぼけ量の差に基づいた画像処理を行うので、画像回復処理を行う際に起こり得る不自然な色づきを抑えることができ、良質な画質を得ることができる。

実施例１の撮像装置の構成図 実施例１の画像処理のアルゴリズムを示した図 画像回復フィルタ例と実施例１の画像回復フィルタ選択の説明図 実施例１の撮像装置の動作フローを示した図 色にじみに関する従来例との比較図 処理フローに関する従来例との比較図 実施例２の画像処理のアルゴリズムを示した図 色合成比調整係数ωと回復強度調整係数μの関係図 色合成比調整係数ωと回復強度調整係数μの線形性を示す実験結果 実施例３の処理フローを示した図 色合成比調整係数ωを用いた処理フローを示した図 色合成比調整係数ωと回復強度調整係数μを用いた処理フローを示した図 実施例４の画像処理システムの構成図 実施例４のシステム間でやり取りされるデータを示した図 色補間処理を行う場合の処理フローを示した図 ホワイトバランス補正処理を行う場合の処理フローを示した図 歪曲補正処理を行う場合の処理フローを示した図 倍率色収差補正処理を行う場合の処理フローを示した図 倍率色収差補正（ω＝１／２、μ＝１）の説明図 倍率色収差補正（ω＝１／２、μ＝１／２）の説明図

以下、図面を用いて、本発明を実施するための形態について説明する。本明細書では、画像のぼけという言葉を用いるが、画像のぼけとは、１点に結像（集光）すべき光線群の像面上における広がり（分布）のことであり、一般的に点像分布関数（ＰＳＦ）とも言われる。このぼけは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。画像のぼけというと例えばピントがずれた画像もぼけていることになるが、ここでは特にピントが合っていても光学系の収差の影響でぼけてしまうものを指すものとする。

実施例１では、撮像装置により撮像された画像に想定外の収差により色づきが発生している場合の画像処理として、色合成比調整係数なるパラメータを用いて、ある色に対する各色成分の色合成比を変化させることにより良質な画像を得る例について説明する。

図１に実施例１の撮像装置の構成図を示す。図中の矢印は主な情報の伝達経路を表している。１０１ａは絞り、１０１ｂはフォーカスレンズである。撮像光学系１０１は１０１ａと１０１ｂを有する。１０２は光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等で構成される撮像素子である。１０３は撮像素子１０２から出力されたアナログ信号の画像データをデジタル信号の画像データに変換するＡ／Ｄ（アナログデジタル）コンバータである。１０４は画像の色づきを補正する処理や、ぼけを低減する処理などの画像処理（信号処理）を行う画像処理部である。１０５は液晶ディスプレイや有機ＥＬディスプレイなどの表示部であり、画像処理部１０４で処理された画像データや、記憶部１０８、画像記録媒体１０９に記録された画像データを表示する。１０６は撮像光学系の絞り１０１aやフォーカスレンズ１０１ｂを制御する撮像光学系制御部であり、被写体距離に応じてピント調整を行うためのオートフォーカス機構や手動のマニュアルフォーカス機構などが挙げられる。１０７は撮影状態（絞り径、ズーム位置、被写体距離など）を検知する状態検知部である。１１０はこの撮像装置のシステム全体を制御するシステムコントローラであり、画像処理部１０４に対しての画像処理の制御を行う他、記憶部１０８に書き込まれた画像データをファイル化し、画像記録媒体１０９に記録する。１１１は操作部であり、システムコントローラ１１０に各種の動作の指示を入力する。操作部の一例として、撮像を指示するレリーズボタン、カーソルやメニューを操作するための方向指示ボタン、タッチパネルなどがある。

尚、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。また、ここでは簡単のために、撮像光学系の１０１の主な構成要素である絞り１０１ａとフォーカスレンズ１０１ｂのみを図示したが、撮像光学系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。また、画像処理部１０４は少なくとも演算部と一時的記憶部（バッファー）を有し、以下に説明する各処理ごとに必要に応じて一時的記憶部に対して適宜画像の書き込みおよび読み出しを行う。例えば、後述する２次回復画像を生成する処理では、入力画像と１次回復画像の各色成分ごとの差分情報の合成を行うために、初めに取得した入力画像を一時的記憶部（バッファー）に記憶しておくなどである。一時的に記憶するための記憶部は一時的記憶部（バッファー）に限定せず、記憶部１０８でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。一時的記憶部を有する画像処理部１０４または記憶部１０８には画像処理を行うのに必要なデータが記憶される。その一例として、画像の画素の輝度値、撮像光学系１０１の収差情報、後述する画像回復フィルタ、差分情報、色合成比調整係数、回復強度調整係数などが挙げられる。

図２は画像処理部１０４が行う処理のアルゴリズムを図解したものである。画像処理のアルゴリズムについて、図２を用いて詳しく説明していく。以下の説明において、Ａは図２のｇ、ｆ、ｆｄ、Ｓ、Ｓｄなどに相当する画像情報であり、より詳しく言えば、画素の信号値（輝度値）を表している。付帯記号ｍは、画像の色成分が例えばＲ（赤）、Ｇ（緑）、Ｂ（青）から成る場合、即ちＲ、Ｇ、Ｂの色成分を表している。つまり、Ａ_ｍは（Ａ_Ｒ、Ａ_Ｇ、Ａ_Ｂ）であり、（ＡのＲ成分、ＡのＧ成分、ＡのＢ成分）を表している。

（入力画像ｇ_ｍ）
まず入力画像ｇ_ｍについて説明する。入力画像ｇ_ｍは、各画素に複数の色成分（例えば、Ｒ、Ｇ、Ｂ）を有していてもよいし、ＬＣＨで表現される明度、色相、彩度などであってもよい。各画素にひとつの色成分の信号値を有するモザイク画像を用いても良い。また、このモザイク画像を色補間処理（デモザイキング処理）して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。モザイク画像は、色補間処理（デモザイキング処理）やガンマ変換と呼ばれる信号値変換やＪＰＥＧで知られる画像圧縮などの諸々の画像処理を行う前の画像として、ＲＡＷ画像と呼ぶこともできる。

例えば、単板の撮像素子で複数の色成分を有する入力画像ｇ_ｍを得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して、各画素にひとつの色成分の信号値を有するモザイク画像を取得することになる。この場合、上記の色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を生成することができる。

多板、例えば３板の撮像素子を用いる場合には、各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の信号値を有する画像を得ることができる。この場合、各撮像素子間の対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。以上説明した各画素に複数の色成分を有する画像を入力画像ｇ_ｍとして、以下の１次画像回復処理を行う。

（１次画像回復処理）
次に、入力画像ｇ_ｍに対して１次画像回復処理を行い、１次回復画像ｆｄ_ｍを得るまでの処理について説明する。以下の処理の主体は画像処理部１０４である。

入力画像ｇ_ｍは、撮像光学系１０１を介して撮像素子１０２で受光することで得られたデジタル画像である。そのデジタル画像ｇ_ｍは、レンズと各種の光学フィルタ類を含む撮像光学系１０１の収差による光学伝達関数（ＯＴＦ）により画質が劣化している。この画質が劣化した複数（Ｒ、Ｇ、Ｂ）の色成分を有する入力画像ｇ_ｍに対して、各色成分ごとにＯＴＦに基づいた画像回復フィルタを用いて回復処理を行い、１次回復画像ｆｄ_ｍを得る。

ここで、画像回復フィルタを説明するための模式図を図３（Ａ）に示す。画像回復フィルタは撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができる。図３（Ａ）では例として１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の各画素に対応して画像回復処理（１次画像回復処理）でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、画像のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして画像と画像回復フィルタの対応画素ごとに信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理を行う。図３（Ａ）では各タップ内の値を省略しているが、この画像回復フィルタの一断面を図３（Ｂ）に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。この画像回復フィルタは、撮像光学系のＯＴＦを計算もしくは計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるため、ウィナーフィルタや関連する種々の画像回復フィルタの作成方法を選択して用いる。その他には、撮像光学系のみならず、撮像の過程で画質を劣化させる要因を含めて作成することができる。その要因とは、例えば、複屈折を有する光学ローパスフィルタや撮像素子の画素開口の形状や開口率等である。複屈折を有する光学ローパスフィルタを撮像光学系に用いた場合は、ＯＴＦの周波数特性の高周波成分が抑制されるので、画質が劣化する。また、撮像素子の画素開口の形状や開口率もＯＴＦの周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が画質を劣化させる要因として挙げられる。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すれば良い。実施例１では、ウィナーフィルタの作成法をもとに画像回復フィルタを作成した。

実施例１の撮像装置は、上記の方法で作成されたフィルタを、記憶部１０８に複数記憶させておき、撮像状態に合わせて適切な画像回復フィルタを選択、あるいは補正する。図３（Ｃ）は画像回復フィルタの選択および補正に関する説明図であり、記憶部１０８に格納された画像回復フィルタ群の模式図である。記憶部１０８に格納された画像回復フィルタは、ズーム位置、絞り径、被写体距離の３つの状態を軸とした撮像状態空間中に離散的に配置されている。図３（Ｃ）に示した座標によって表される空間を、撮影状態空間と呼ぶ。撮像状態空間中の各点（黒丸）の座標が、あらかじめ格納された画像回復フィルタに対応した撮像状態の位置である。図３（Ｃ）では、説明のためにフィルタの位置を各状態に対して直交した格子点上に配置しているが、各フィルタの位置は格子点から外れても構わない。また、撮像状態を図示するために３つの状態（ズーム位置、絞り径、被写体距離）を軸とする３次元図としたが、４つ以上の状態を対象とした４次元以上の撮像状態空間であっても良い。例えば、シャッタースピードやＩＳＯ感度、ホワイトバランス、撮影モード等を軸として用いることができる。

次に、図３（Ｃ）で示された画像回復フィルタの具体的な選択方法について説明する。図３（Ｃ）に大きな白丸で示した状態が検知された実際の撮像状態であるとする。実際の撮像状態の位置、またはその極近傍にフィルタが存在する場合には、そのフィルタを選択して画像回復処理（１次画像回復処理）に用いる。撮像状態の位置、またはその極近傍にフィルタが存在しなかった場合は、実際の撮像状態と、格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短い位置にあるフィルタを選択する。図３（Ｃ）の撮影状態においては、大きな白丸に対応したフィルタは存在しないので、小さな白丸で示した位置のフィルタが選択される。尚、別の選択方法として、フィルタの選択に撮像状態空間中の方向による重み付けをして、撮像状態空間中の距離と方向による重みの積を評価関数として用いて、フィルタを選択する方法もある。

次に、画像回復フィルタを選択した後、そのフィルタをより好適なフィルタにするために選択されたフィルタを補正する処理について説明する。まず、フィルタを選択する処理において、実際の撮像状態と格納された撮像状態の撮像状態空間中の距離を算出し、最も距離の短いものを選択する。こうすることで、状態相違量が最も小さくなるためこの後の補正量も少なくできる。図３（Ｃ）では小さな白丸で示した位置のフィルタが選択される。この選択された画像回復フィルタの位置の撮像状態と実際の撮像状態の状態相違量ΔＡ、ΔＢ、ΔＣを算出する。この状態相違量に基づいて、選択された画像回復フィルタを補正することで、実際の撮像状態に対応した画像回復フィルタを生成することができる（画像回復フィルタ生成手段）。尚、別の補正処理として実際の撮像状態近傍に存在する複数の画像回復フィルタを選択し、状態相違量に応じてそれら複数のフィルタを補間処理することで撮像状態に適した画像回復フィルタを生成することもできる。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間、スプライン補間などを用いて補間すれば良い。

また、光学伝達関数（ＯＴＦ）はある撮影状態においても、像高（画像の位置）に応じて変化するので、上記したコンボリューション処理において、像高に応じて分割された画像の領域ごとに画像回復フィルタを変更して行うことが望ましい。分割された画像の領域とは、１画素ごとが最も好ましいが、この領域は適宜変更が可能である。つまり、画像回復フィルタを画像上をコンボリューション処理をしながら走査させ、所定の領域ごとにフィルタを順次変更すれば良い。画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても良好に回復することができる。また、コマ収差、軸外色フレア、サジタルフレア、像面湾曲、非点収差等の非対称収差についても精度良く回復することができる。

以上の方法で、選択あるいは補正（生成）された画像回復フィルタと入力画像ｇ_ｍをコンボリューションすることで１次回復画像ｆｄ_ｍが生成される。実空間での画像回復フィルタを入力画像ｇ_ｍに対してコンボリューション処理することで、画像回復処理の工程で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができるので、高速な処理が可能となる。

（回復成分情報生成処理）
再び図２を用いて、１次回復画像ｆｄ_ｍと入力画像ｇ_ｍから回復成分情報Ｓ_ｍを生成する処理について説明する。

式１に示したように、上記の１次画像回復処理で得られた１次回復画像ｆｄ_ｍから元の入力画像ｇ_ｍを対応する画素ごとに信号値を減算する。この処理により色成分ごとの信号値の差である回復成分情報Ｓ_ｍ（差分情報）を生成する。

そして、この回復成分情報Ｓ_ｍに色合成比調整係数ωを演算し、色合成回復成分情報Ｓｄ_ｍを得る。色合成回復成分情報Ｓｄ_ｍの生成は式２として表現できる。式２のｎに関するΣはＲ、Ｇ、Ｂについて和をとることを表している。

色合成比調整係数ωは、色合成回復成分情報Ｓｄ_ｍを生成するための係数であり、すべての色成分（Ｒ、Ｇ、Ｂ）の回復成分情報Ｓ_ｍをこの色合成比調整係数ωに応じて色合成することにより、ある色成分の色合成回復成分情報Ｓｄ_ｍを得る。つまり、色合成比調整係数ωは色成分の混合比である。図２のωの付帯記号は、ω_ＡＢのとき、色成分Ａ用の色合成回復成分情報Ｓｄ_Ａを生成するための色成分Ｂの色合成比調整係数を表している。したがって、回復成分情報Ｓ_ｍから色合成回復成分情報Ｓｄ_ｍを生成する処理は、式２および、これを色成分ｍ、ｎについて展開して記した、式３として表現することができる。

画像を構成する色成分がＲ、Ｇ、Ｂであった場合、色合成比調整係数ωを３×３の係数要素を有するベクトルとして表現できる。この色合成比調整係数ωに応じて回復成分情報Ｓ_ｍを合成することにより、色合成回復成分情報Ｓｄ_ｍを生成する。例として、Ｒ成分の色合成回復成分情報Ｓｄ_Ｒの生成について説明する。Ｒ用の色合成回復成分情報Ｓｄ_Ｒは、Ｒ、Ｇ、Ｂの各回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂの各画素の信号値に、色合成比調整係数ω_ＲＲ、ω_ＲＧ、ω_ＲＢをそれぞれ掛け合わせて、色成分間で合成することで生成される。合成とは、複数の画像の対応する画素ごとの信号値を演算してひとつの画像を生成することである。他の色成分についても同様である。以上の処理によって、色合成回復成分情報Ｓｄ_ｍが生成される。

このように、ある色成分の画素の信号値を得る際に、その色成分を含む複数の色成分の信号値を用いることにより、従来の画像回復処理では得ることが出来ない、色合成回復成分情報Ｓｄｍを生成することができる。

（２次回復画像生成処理）
次に、上記した回復成分情報生成処理で生成された色合成回復成分情報Ｓｄ_ｍから、２次回復画像ｆ_ｍを生成する処理について説明する。色合成回復成分情報Ｓｄ_ｍと入力画像ｇ_ｍとを色成分ごとに加算することで、２次回復画像ｆ_ｍを得る。２次回復画像ｆ_ｍの生成は式４として表現でき、この２次回復画像ｆ_ｍが出力画像となる。

上記の処理の流れをまとめると、複数の色成分を有する入力画像（ｇ_ｍ）に対して画像回復処理を行い、１次回復画像（ｆｄ_ｍ）を生成する。１次回復画像（ｆｄ_ｍ）と入力画像（ｇ_ｍ）の差分を演算し、複数の色成分ごとの差分情報（Ｓ_ｍ）を生成する。そして、差分情報（Ｓ_ｍ）を用いて２次回復画像（ｆ_ｍ）を生成する。２次画像回復処理において、Ｒの色成分について着目すれば、入力画像のひとつの色成分（ｇ_Ｒ）に前記複数の色成分の差分情報に基づく色合成回復成分情報（ω_ＲＲＳ_Ｒ＋ω_ＲＧＳ_Ｒ＋ω_ＲＢＳ_Ｒ）を合成する。つまり、Ｒ色の画像回復を行う際に、Ｒ色だけでなく、Ｇ、Ｂ色それぞれの差分情報を用いることでＲ色の差分情報のみで回復を行った場合に比べ、Ｒ色の色づきを抑えることができる。言い換えれば、色成分間のぼけ量の差に基づいた画像処理を行っている。

これにより、１次画像回復処理の鮮鋭化と１次画像回復処理により生じ得る色づきの度合いのバランスを取ることができ、不自然な色づきを抑えた画像ｆ_ｍを生成することができる。

ここで、式３で示した色合成比調整係数ωについて詳しく説明する。はじめに色合成比調整係数ωの２つの具体例について説明する。

１つ目は、２次回復画像ｆ_ｍとして１次回復画像ｆｄ_ｍと同じ画像を得るための色合成比調整係数ωである。式３の色合成比調整係数ωの対角成分を１として残りの成分を０と置く（単位行列）と、色合成回復成分情報Ｓｄ_ｍは自分自身の色成分の回復成分情報Ｓ_ｍと等しくなる。これは、２次回復画像ｆ_ｍを１次回復画像ｆｄ_ｍと同じ画像して出力する場合の係数設定である。この場合、２次回復画像ｆ_ｍとしては収差成分を最大限に補正しているので、予期せぬ収差が発生していた場合は色づきがより目立つように回復処理されることになるので、画質が劣化する。しかし、予期せぬ収差が発生していない限り良好な画像を得ることができる。

２つ目は、色づきを発生させないための色合成比調整係数ωである。式３の色合成比調整係数ωの全要素を１／３と置くと、色合成回復成分情報Ｓｄ_ｍは全ての色成分の回復成分情報Ｓ_ｍを平均化したものになる。つまり、入力画像のひとつの色成分に前記複数の色成分の差分情報を平均化したものを色合成回復成分情報としている。したがって、色合成回復成分情報Ｓｄ_Ｒ、Ｓｄ_Ｇ、Ｓｄ_Ｂともに同じものになる。色合成回復成分情報Ｓｄ_ｍが全ての色成分で等しいということは、この後の処理で入力画像ｇ_ｍに色合成回復成分情報Ｓｄ_ｍを合成する際に、色成分に関する付加情報の相違が無いことになるので、色づきが発生しない。ただし、各色成分の収差情報を平均化しているので、上記の１つ目の１次回復画像ｆｄ_ｍを出力画像とする場合に比べて回復度合い、即ち鮮鋭度は低下することになる。しかし、回復成分情報Ｓ_ｍを平均化しても、各色成分の回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂの間には少なからず正の相関（類似性）があるので、入力画像ｇ_ｍに対して２次回復画像ｆ_ｍの鮮鋭度は向上している。したがって、色合成比調整係数ωの全要素を１／３とすることで、色づきは発生しない。

以上説明したように、色合成比調整係数ωを設定することで、所望の画質を有する画像を得ることができる。これは、ある色成分の回復画像を得るために、ある色成分を含む複数の色成分を用いることで、色成分間での回復度合いを調整することが可能となるのからである。尚、ひとつの色成分についてのみ色合成回復成分情報を用いて合成しても良いし、入力画像の各色成分に複数の色成分の差分情報に基づく色合成回復成分情報を合成しても良い。具体例を述べれば、Ｇ成分はＲ、Ｂ成分に比べて色収差が出にくい。この性質を利用して、Ｒ、Ｂの色に関しては差分情報に基づく色合成回復成分情報を用いて、Ｇ色に関してはＧ光の差分情報を用いて画像回復処理を行えばよい。

次に以上の画像処理を行う撮像装置全体の動作を図４（Ａ）を用いて説明する。まず、ステップＳ４１において、被写体からの光は撮像光学系１０１を介して撮像素子１０２へ至る。撮像素子１０２が受光した光はアナログの電気信号へと変換され、Ａ／Ｄコンバータ１０３で、アナログからデジタルの信号へと変換される。そして、システムコントローラ１１０は、撮像素子１０２が生成した画像データを表示部１０５にスルー表示を行う。スルー表示とは、連続的に撮像素子１０２で画像データが生成され、表示部１０５に被写体の様子が動画としてリアルタイムで表示されることである。

次にステップＳ４２において、システムコントローラ１１０はシャッタースイッチ信号（以下、ＳＷ信号）がＯＮしているか否かを判定する。ＳＷ信号がＯＮの場合は、ＡＦ（オートフォーカス）処理を行って撮像光学系１０１の焦点を合わせるとともに、ＡＥ（自動露光）処理を行って絞り値およびシャッター時間（シャッタースピード）を決定し、記憶部１０８に記憶し、ステップＳ４３に進む。ＳＷ信号がＯＦＦの場は、処理ステップはＳ４１に戻る。

ステップＳ４３においてシステムコントローラ１１０は、ＳＷ信号を検知したタイミングに応じて、それまでに得られた画像データから求められた露光量に応じて撮像素子１０２への露光処理を開始する。露光処理により生成された画像データに対して現像処理を施す撮影処理を実行し、その結果を記憶部１０８に記憶し、ステップＳ４４に進む。

ステップＳ４４において、記憶部１０８に記憶された画像を入力画像として、前述した画像処理部１０４による画像処理が実行され、処理結果が得られた段階でステップＳ４５に進む。このステップＳ４４の画像処理部１０４による処理のフローについては後述する。

そして、ステップＳ４５において、システムコントローラ１１０は、画像処理あるいは撮影処理で得られた画像データを画像ファイルとして画像記録媒体１０９に対して書き込む記録処理を実行する。

尚、図４（Ａ）の処理においては、ステップＳ４２においてＳＷを１段階だけの場合について示したが、ＳＷを２段階設けてもよい。最初のＳＷ信号のＯＮが検知された場合に、ＡＦ処理やＡＥ処理を行い、最初のＳＷ信号がＯＮの状態で、２段階目のＳＷ信号が検出された場合にのみ撮影処理に移行するようにしてもよい。

次に、図４（Ａ）のステップＳ４４の画像処理の流れを図４（Ｂ）を用いて説明する。この画像処理のアルゴリズムは既に述べたとおりであり、図中の黒丸印は処理の過程で取得される、あるいは、生成される画素データであることを表している。

まず、画像処理部１０４は入力画像を取得する。入力画像は画素ごとにひとつの色成分情報をもったモザイク画像であるとする。ステップＳ４４１において、状態検知部１０７あるいは記憶部１０８からレンズ位置や絞り値などの撮像状態情報を取得する。次にステップＳ４４２において記憶部１０８からステップＳ４４１において取得した撮像状態に応じた画像回復フィルタの選択や補正を行う。この画像回復フィルタの選択または補正の詳細については既に述べたとおりである。ステップＳ４４２で選択あるいは補正された画像回復フィルタを用いて、ステップＳ４４３で入力画像に対して回復処理（１次画像回復処理）を行い、１次回復画像を生成する。

次にステップＳ４４４において、入力画像と１次回復画像の各画素の信号値の差分から回復成分情報を生成する。入力画像は画素ごとにひとつの色成分情報を有するモザイク画像であるので、ここで、この後に色成分間での画像合成を行うために入力画像と回復成分情報の色補間処理（デモザイキング処理）を行う。

そして、ステップＳ４４５において色合成比調整係数ωや回復強度調整係数μの調整パラメータの設定値を取得する。この回復強度調整係数μについては後述する。そして、ステップＳ４４６において、色成分ごとの回復成分情報に対して調整パラメータを用いて式３で説明した演算を行い、色合成回復成分情報を生成する。

尚、調整パラメータとしての色合成比調整係数ωや回復強度調整係数μは必要に応じてどちらか一方のみとすることもできる。また、本実施例では、撮像条件や像高に応じて、あらかじめ用意してある設定値から自動的に調整パラメータを選択して用いる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定してもよい。画素の特徴量とは、その画素の画素値や隣接画素との画素値の差などである。

次に、ステップＳ４４７では、ステップＳ４４６で得られた色合成回復成分情報を入力画像に合成して２次回復画像を生成する（式４）。この処理は、色補間処理された画像に対して行うこともできるし、色合成回復成分情報に色成分ごとのマスクをしてモザイク画像のときの色成分情報配列に戻し、モザイク状態の入力画像と合成することもできる。

次にステップＳ４４８の付加処理では、その他の必要な処理を行った後、画像を出力する。ここでのその他の必要な処理の例としては、２次回復画像がモザイク画像の状態であれば、色補間処理（デモザイキング処理）が挙げられる。他にも、シェーディング補正、歪曲収差補正、倍率色収差補正などがある。また、ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後中間に必要に応じて挿入することもできるので、その例については後述する。

以上の処理を行った場合の効果について図５（Ａ）から（Ｆ）を用いて説明する。図５（Ａ）から（Ｆ）は被写体やそれを撮像した画像のエッジ部を表した図であり、横軸は画像上の位置（画素）を表し、縦軸は画素値である。図５（Ａ）は被写体のエッジ部を表した図である。図５（Ｂ）は図５（Ａ）のエッジ部が合焦距離にある場合の回復前の撮影画像である。図５（Ｂ）に対して、従来の画像回復処理を行った場合の回復画像が図５（Ｃ）である。図５（Ｄ）は図５（Ａ）のエッジ部が非合焦距離にあった場合の回復前の撮像画像である。図５（Ｅ）は図５（Ｄ）に対して、従来の画像回復処理を行った場合の回復画像である。図５（Ｆ）は図５（Ｄ）に対して、本発明の画像回復処理を行った場合の回復画像である。

図５（Ｂ）のエッジ部は、奥行き方向の色収差により、色成分１と色成分２の収差の広がりが異なっている。例えば、実線の色成分１がＧチャンネル、破線の色成分２がＲチャンネルとすると、エッジ部は赤く滲んでいることになる。エッジが合焦距離にあれば、図５（Ｃ）のように、従来の画像回復処理で色づきを発生させることなく画像を回復できる。しかし、合焦距離とずれた位置に被写体が存在する場合、図５（Ｄ）のように、エッジ部は緑に滲んでしまう。これを合焦距離に適した回復フィルタ、つまり、図５（Ｂ）の状態を想定した回復フィルタを用いて回復処理してしまうと、色成分２をより強く補正するので色成分１と２の差異がより広がってしまう。つまり、図５（Ｅ）のように色づきが発生し、エッジ部の緑の色づきがより強調されてしまう。しかし、本発明の画像処理を行えば、図５（Ｄ）のように非合焦距離においても色収差の状態が強調されてしまうような色づきを抑制することができ、図５（Ｆ）のような色づきを抑えた回復画像を得ることができる。

その他の効果について、図６（Ａ）、（Ｂ）を用いて説明する。図６（Ａ）は従来の画像回復処理のフローである。図６（Ｂ）は実施例１で説明した画像処理のフローである。従来の画像処理は、ステップＳ６１aにおいて入力画像を取得し、ステップＳ６２aにおいて、回復度合いを変更する度に画像回復フィルタを計算し、生成する。次にステップＳ６３aで、ステップＳ６２aで生成された回復フィルタを用いて画像回復処理を行い回復画像を出力する。次にステップＳ６４aで、この回復画像を評価して、そのまま出力画像とするか回復度合いを変更するか否かを判定する。ここで、そのまま出力画像とする場合にはステップＳ６５ａへ進み、Ｓ６３ａにおいて生成された回復画像を出力する。しかし、回復度合いを変更すると判定された場合には、ステップＳ６２ａの戻り、再び画像回復フィルタを再計算しなければならない。

一方、図６（Ｂ）は実施例１の画像回復処理のフローである。ステップＳ６１ｂで撮影画像を入力画像とし取得する。次にステップＳ６２ｂで、初期値としてのパラメータ（ズーム位置、絞り径、被写体距離など）を用いて画像回復フィルタを計算し、生成する。尚、このステップ経ずに初期値としてあらかじめ用意された画像回復フィルタを用いても良い。そして、そのフィルタを用いてステップＳ６３ｂで入力画像に対して画像回復処理（１次画像回復処理）を行い、１次回復画像を出力する。ステップＳ６４ｂで、この１次回復画像に対してあらかじめ用意された調整パラメータを用いて画像補正処理（２次画像回復処理）を行い、２次回復画像を生成する。ステップＳ６５ｂにおいて、この２次回復画像を評価してそのまま出力画像とするか、再度回復度合いを変更するかを判定する。回復度合を変更する場合には、調整パラメータを変更し、画像補正処理を行う。この調整パラメータが色合成比調整係数ωや後述する回復強度調整係数μである。尚、ここでは、図２で説明した１次画像回復処理以外の回復成分情報生成処理、２次回復画像生成処理をまとめて画像補正処理としている。尚、Ｓ６４ｂの画像補正処理において用いる調整パラメータは、あらかじめ用意されたパラメータを用いても良いし、ユーザーが設定した調整パラメータ、あるいは画像情報から自動的に決定された調整パラメータを用いて画像補正処理を行っても良い。

図６に示したように、従来の方法では回復度合いを変更する場合、画像回復フィルタの再計算が必要であるが、本発明はフィルタの再計算を行う必要がないので画像処理の負担を低減し、より高速な処理が可能となる。

実施例１の式３に示したように、色合成比調整係数ωは９つの設定自由度を有しているため、各要素値の設定が煩雑になってしまう場合がある。例えば、撮像装置や画像処理システム上で一般ユーザーが、操作部１１１のボタンを用いて、色合成比調整係数ωの値をひとつ、ひとつ設定して、この色合成比調整係数ωを変更する場合がその例である。

実施例２では、色合成比調整係数ωの各要素間に従属関係を持たせることにより、９つのパラメータを１つのパラメータのみで設定可能とする例について説明する。色合成比調整係数の値の設定方法以外は実施例１と同じなので説明は割愛する。

色合成比調整係数ωの各要素間の従属関係は、回復度合いと色づき発生の度合いとのバランスを調整できる関係である必要がある。そこで、色合成比調整係数ωの決定方法の一例として、はじめに２つの制約条件を付加する。１つ目の条件は、式５のように式３の行列ωの行ごとの和をそれぞれ１とするものである。

これは、例えばＲ成分の色合成回復成分情報Ｓｄ_Ｒを生成するための回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄ_ｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。

２つ目の条件は、式６のように式３の行列ωの列ごとの和を１とするものである。これは、各色合成回復成分情報Ｓｄ_Ｒ、Ｓｄ_Ｇ、Ｓｄ_Ｂを生成する際に、回復成分情報Ｓ_Ｒ、Ｓ_Ｇ、Ｓ_Ｂを各色成分に分配してそれぞれ使い果たすことを意味している。

上記の２つの制約条件を課すと、色合成比調整係数ωは式７として表現することができる。

さらに、回復度合いを確保しながら色づきの発生度合いを抑制するためには、各色合成回復成分情報Ｓｄ_ｍは色成分間での類似性が高い、即ちＳｄ_ｍの相違が小さい方が好ましいことになる。実施例１でω＝１／３とした場合は、各色合成回復成分情報Ｓｄ_ｍの色成分間での相違が無いために色づきの度合いが最小、即ち色づきの発生が無い状態であった。したがって、ある色成分の回復成分情報Ｓ_ｍを各色成分の色合成回復成分情報Ｓｄ_ｍにできるだけ均等に配分すれば良いことになるので、式７の各列の分散が小さい方が色づきの発生度合いを低減できることが分かる。これに基づいて、式７の各列の分散を最小化すると、色合成比調整係数ωは式８として表すことができる。

式８は、設定パラメータがω１つになっているので、回復度合いとの色づきの発生の度合いのバランスの調整を容易に制御することができる。式８において、ω＝１とすると、行列ωは単位行列となり、回復度合いと色づきの発生度合いがともに最大になる。また、ω＝１／３とすると、行列ωは全ての要素が１／３となり、回復度合いが低下するとともに色づきが発生しなくなる。したがって、１／３≦ω≦１の範囲で色合成比調整係数ωを低下させていくと、色づきを低減する調整が可能となる。

以上のように色合成比調整係数ωを設定することで、ユーザーが所望の画質を容易に取得することが可能となる。また、撮像装置や画像処理システムを提供する側としても、調整パラメータを少ない自由度で制御できることは、装置開発工程や生産工程での作業効率を向上させることができる。

尚、実施例１および実施例２において、色合成比調整係数ωの決定方法についていくつか例を示したが、決定方法に関してはこれに限るものではない。式８は、回復度合いと色づきの発生度合いを１つの設定パラメータωで容易に決定するための一例にすぎない。例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄ_ｍが全ての色成分で０（ゼロ）になるので、２次回復画像ｆ_ｍは入力画像ｇ_ｍそのものとなる。このように、０≦ω≦１の範囲で色合成比調整係数ωを調整することで、入力画像から最大回復度合いの画像までの範囲で出力画像を調整して得ることができる。また、式５を１よりも大きく設定することで、さらに回復を強調させることも可能である。

また、行列ωの各要素の設定自由度を１つに限定せず、異なる自由度や別の制約条件に基づいて調整することもできる。例えば、式７に基づいて設定すれば自由度は６にすることも可能である。

以上、色合成比調整係数ωを適宜設定し、回復成分情報Ｓ_ｍを色成分間で合成し、色合成回復成分情報Ｓｄ_ｍの色成分間の類似性を制御することで、良質な画像を得ることが可能となる。言い換えれば、ばらつきの存在する実際の撮影時の収差の状態に対応した画像回復フィルタを設計することは困難である。したがって、上記のように回復度合いと色づきの発生の度合いとを調整することで、さまざまな撮影条件に柔軟に対応できる画像処理が可能となる。

実施例１および実施例２では色合成比調整係数ωを用いた形態について説明したが、実施例３ではさらにユーザビリティを向上するために、色づきの発生度合いを調整するパラメータである回復調整係数μを用いた実施例について説明する。

説明の重複を避けるため、実施例１と異なる部分についてのみ説明する。具体的には、実施例１で示した画像処理のうち、１次画像回復処理、回復情報成分生成処理については同じなので説明は割愛する。処理の異なる２次回復画像生成処理についてのみ説明する。

式３に示した色合成比調整係数ωの各行の和をそれぞれ１とする式５の制約条件を解除することで、入力画像ｇ_ｍや強調補正した２次回復画像ｆ_ｍが得られることについては既に述べた。しかし、制約条件を解除すると、色合成比調整係数ωの決定するための自由度が多いため、式８のように１つのパラメータで決定することが困難になる。そこで実施例３では、式８の色合成比調整係数ωの決定方法を用いつつ、さらに２次回復画像ｆ_ｍとして、入力画像ｇ_ｍや強調補正した画像が得られる方法を説明する。

２次回復画像ｆ_ｍは式４で得られるが、ここでは式９に表現した方法を用いる。

式９は式８によって決定された行列ωに回復強度調整係数μをかけたものである。μ＝０とすると、式９の右辺第２項は０（ゼロ）になるので、２次回復画像ｆ_ｍとして、入力画像ｇ_ｍそのものを得ることになる。また、μ＝１とすると、式９は式４と等しくなり、式８により決定した色合成比調整係数ωにおける２次回復画像ｆ_ｍを得ることができる。回復強度調整係数μの基本範囲は０≦μ≦１であるが、μ＞１とすることで強調補正した画像を得ることができる。つまり、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合いを調整することができる。この回復強度調整係数μを導入した場合のアルゴリズムを図解したものを図７に示す。

回復強度調整係数μを用いることは、被写体の照明光源の分光変動や撮像光学系の製造誤差などの要因で色成分ごとに光学伝達関数（ＯＴＦ）が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整するのに有効である。照明光源の分光特性が変化することは、波長ごとの強度比が変化することであるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した２次回復画像ｆ_ｍを得ることができる。また、撮像光学系に製造誤差がある場合の影響のひとつに、画像の左右対称な位置で劣化度合いが異なるものがあり、それは画像上でのぼけや各色成分の相対的な色にじみの差異として現れることがある。ぼけについては、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。色にじみについては、画像の位置による色にじみ量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。

ここで、色合成比調整係数ωおよび回復強度調整係数μの変化に対する２次回復画像ｆ_ｍの回復度合いの線形性について説明する。色合成比調整係数ωおよび回復強度調整係数μをともに１とした最大回復度合いの２次回復画像ｆ_ｍと等しい１次回復画像ｆｄ_ｍを基準とする。そして、１次回復画像ｆｄ_ｍと２次回復画像ｆ_ｍとの画像の類似性を式１０の評価関数Ｊ_ｍとして定義する。

右辺の付帯記号２のついた二重縦線は２次元ノルムを示しており、分母のＸ、Ｙは画像の水平方向および垂直方向の画素数を示している。２次回復画像ｆ_ｍとして式９、色合成比調整係数ωとして式８をそれぞれ代入すると、評価関数Ｊ_ｍは色合成比調整係数ωおよび回復強度調整係数μに対して１次式となることから、直線的な回復度合いの調整が可能であることが分かる。

回復強度調整係数μを用いることで、色合成比調整係数ωの決定を式８のように容易にしながらも回復度合いを調整することができる。色合成比調整係数ωと回復強度調整係数μを分離することで、回復度合いと色づきの発生度合いとのバランス調整を色合成比調整係数ωで行い、ダイナミックな画像の回復度合いの調整を回復強度調整係数μで行うことができる。この調整による回復度合いの変化の模式図を図８に示す。色合成比調整係数ωを変化させることにより色づき発生を調整でき、さらに回復強度調整係数μを変化させることにより、設定した色合成比調整係数ωと入力画像の間で回復度合いを調整することができる。つまり、色合成比調整係数ωは色成分間の合成比を調整するのに対し、回復強度調整係数μはＲ、Ｇ、Ｂすべての色成分について回復度を変更できる。色合成比調整係数ωと回復強度係数μ両方を用いて画像回復（２次画像回復）を行ってもよいし、色合成比調整係数ωはあらかじめ設定値を有し、回復強度係数μのみを変更して、回復度合いを調整してもよい。

図９（Ａ）の試験画像を用いて、回復度合い調整の線形性を評価した実験結果を図９（Ｂ）に示す。この結果から図８に示した線形性が正しく再現されていることが分かる。

このような回復度合い調整の線形性は、調整パラメータ数の低減と同様に、ユーザーが変更する場合に設定値と回復結果の対応が取り易いという利点がある。例えば、表示部１０５に回復度合い調整係数μに対応したスクロールバーを表示する。そのスクロールバーをユーザーが操作部１１１を操作、あるいは、直接画面のスクロールバーを操作することにより、簡単にユーザーが所望する画像の回復度合いを設定することができる。

回復強度調整係数μを用いて回復度合いを調整することは、ノイズやリンギングの抑制になる。出力画像としての画質の評価は目的に応じて異なる。また、一般の写真撮影においても、収差の残っていることでフレアがかった柔らか味のある画像から、収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや色づき等の弊害が画像に大きく現れた場合、出力画像として少なくとも撮影画像（入力画像）そのものを出力できることは出力画像の保障として重要である。これら様々な要求に対して、回復強度調整係数μを調整することで対応できる。

また、回復強度調整係数μを用いた場合も実施例１と同様に、回復度合いを変更したい場合、調整パラメータであるμを再設定すれば良く、フィルタの再計算は必要ないので、より少ない計算量で所望の画像を得ることが可能となる。

以上、撮像装置における画像処理の実施例について説明したが、撮像装置はその要旨の範囲内で種々の変形及び変更が可能である。

また、以上説明した画像処理は、撮像光学系を持たない画像生成装置にも応用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置はレンズのような撮像光学系を持たないが、撮像素子による画像サンプリングなどにより出力画像は少なからず劣化する。この劣化特性は撮像光学系によるものではないが、撮像システム伝達関数ではあるので、上記の光学伝達関数（ＯＴＦ）に相当するものである。したがって、撮像光学系を持たずとも、伝達関数に基づいて画像回復フィルタを生成すれば、実施例で説明した２次回復画像を生成することができる。

実施例１から３においては、撮像装置内の画像処理部１０４の処理について説明したが、この処理をプログラムで実行する例について説明する。図１０はプログラムの処理フローであり、処理の主体はプログラムを実行するＣＰＵである。

まず、ステップＳ１０１において、入力画像に対してＯＴＦまたはシステムの伝達関数を用いた１次回復画像生成処理を行い、１次回復画像を生成する。次にステップＳ１０２において、入力画像と１次回復画像の差分から回復成分情報を得る。次に、ステップＳ１０３において、各色成分ごとの回復成分情報を調整パラメータ（色合成調整比係数ω、回復強度調整係数μ）に基づいて入力画像に演算することで２次回復画像を得る。以上の処理を行うことにより、色づきが調整された良質な画像を得ることが可能となる。

上記Ｓ１０２からＳ１０３の各ステップについて図１１（Ａ）から（Ｃ）のフローチャートを用いて詳しく説明する。

まず図１０のステップＳ１０１の１次回復画像生成処理において、図１１（Ａ）に示したようにステップＳ１１１において入力画像を取得する。次にステップＳ１１２においてＳ１１１で入力された画像にＯＴＦあるいはシステムの伝達関数に基づいて生成された画像回復フィルタを、入力画像にコンボリューションして１次回復画像を生成する。次に、図１１（Ｂ）に示した図１０のステップＳ１０２の回復成分情報生成処理ステップでは、ステップＳ１１３において、入力画像から１次回復画像を差分することにより回復成分情報を生成し、２次回復画像生成処理に移る。図１１（Ｃ）に示した図１０のステップS１０３の２次回復画像生成処理のステップＳ１１４において、実施例１で説明した色合成比調整係数を取得する。次にステップＳ１１５においてステップＳ１１３で得られた回復成分情報に色合成比調整係数を演算し、色合成回復成分情報を生成する。次にステップＳ１１６で、入力画像に色合成回復成分情報を演算することにより、２次回復画像を生成する。そしてステップＳ１１７において、２次回復画像を出力する。

この一連の処理を行うことで、各色成分間の合成比を調整することができるので良質な画像を得ることができる。

その他の効果として、２次回復画像の回復度合いを変更する場合に画像回復フィルタを再計算する必要がないので、より画像処理の負担を軽減し高速な処理を行うことが可能となる。

次に、図１２を用いて、色合成比調整係数ωと回復強度調整係数μを両方を用いた画像回復処理をプログラムで実行する処理フローについて説明する。１次画像回復処理、および回復成分情報取得処理については図１１（Ａ）、（Ｂ）の処理フローと同じであるので説明は割愛し、２次回復画像生成処理についてのみ説明する。

ステップＳ１２１において色合成比調整係数を取得し、ステップＳ１２２において回復成分情報生成ステップ（図１１（Ｂ））で生成された回復成分情報に、色合成比調整係数を演算することによって色合成回復成分情報が生成する。次にステップＳ１２３において回復強度調整係数を取得し、ステップＳ１２４において色合成回復成分情報に回復強度調整係数を乗算することにより２次回復画像を生成する。次にステップＳ１２５において２次回復画像を出力する。尚、本実施例においては色合成比取得係数を取得後、回復強度調整係数を取得したが、これに限られず、あらかじめ取得しておいてもよいし、実施例２で述べたようにユーザーが変更した値を、適宜取得するようにしても良い。また、図１２では色合成比調整係数ωと回復強度調整係数μを両方用いるフ場合のローについて説明したが、回復強度調整係数μのみを用いて処理を行ってもよい。

実施例５では、実施例１から４で説明した画像処理をシステムに適用した例について説明する。図１３（Ａ）は、本発明の画像処理を画像処理システムに適用した場合の基本構成の一例を示している。図１３（Ａ）の画像処理装置１３１は、画像処理ソフトウェア１３２を搭載したコンピュータ機器である。画像処理装置１３１は以下に説明する機器と接続可能である。撮像機器１３３は、カメラ、顕微鏡、内視鏡、スキャナなどの撮像機器である。記憶媒体１３４は、半導体メモリ、ハードディスク、ネットワーク上のサーバなど撮影画像が記憶可能な機器である。画像処理装置１３１は、撮像機器１３３または記憶媒体１３４から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器１３５、撮像機器１３３、記憶媒体１３４のいずれかまたは複数に出力する。また、出力先を画像処理装置１３１に内蔵された記憶部として保存しておくこともできる。出力機器１３５の例としてはプリンタが挙げられる。画像処理装置１３１にはモニタである表示機器１３６が接続されており、ユーザーはこの表示機器１３６を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア１３２は、画像の回復度合いの調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。以下、回復度合いとは実施例１から４で説明した色づき度合いの調整を含む。

また、別の画像処理システムの例を図１３（Ｂ）を用いて説明する。実施例１のように、撮像機器１３７単体で本発明の一連の画像処理を行う場合は、撮像機器１３７から直接、出力機器１３８に２次回復画像を出力することができる。また、出力機器１３８に画像処理装置を搭載することで、出力機器１３８で、画像の回復度合いの調整を行うことも可能である。出力機器１３８の出力時の画像劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができるという利点がある。

ここで、画像回復処理を含む画像処理を行うための機器間で伝送される補正データの内容と補正データの受け渡しについて説明する。図１４に補正データの内容を示し、補正情報セットは、以下の補正に関する情報を有している。

・補正制御情報
補正制御情報は、撮像機器１３３、画像処理装置１３１、出力機器１３５のどの機器で１次画像回復処理および回復度合い調整処理を行うかに関する設定情報と、これに伴い他の機器に伝送するデータの選択情報である。例えば、撮像機器１３３で１次画像回復処理のみ行い、画像処理装置１３１で回復度合いの調整を行う場合、画像回復フィルタを伝送する必要は無いが、少なくとも撮影画像と回復成分情報を伝送する必要がある。
・撮像機器情報
撮像機器情報は、製品名称に相当する撮像機器１３３の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
・撮像状態情報
撮像状態情報は、撮影時の撮像機器の状態に関する情報である。例えば、焦点距離、絞り値、撮影距離、ＩＳＯ感度、ホワイトバランス、撮影モードなどである。
・撮像機器個別情報
撮像機器個別情報は、上記の撮像機器情報に対して、個々の撮像機器の識別情報である。製造誤差のばらつきにより撮像機器の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像機器個別情報は個々に適当な調整パラメータを設定するために有効な情報である。また、撮像機器個別情報は、調整パラメータを個別に変更するための補正値でも良い。
・画像回復フィルタ群
画像回復フィルタ群は、１次回復画像生成処理で用いる画像回復フィルタのセットである。１次回復画像生成処理を行う機器が画像回復フィルタを有していない場合、別の機器から画像回復フィルタを伝送する必要がある。
・回復成分情報
既に画像回復処理（１次画像回復処理、回復成分情報生成処理）が行われ、回復成分情報が生成されている場合、撮影画像と回復成分情報を別の機器に伝送すれば、別の機器で回復度合い調整処理を行うことができる。
・調整パラメータ群
調整パラメータ群は色合成比調整係数ω、回復強度調整係数μのセットである。色合成比調整係数ω、回復強度調整係数μは前記のとおり、画像の位置に応じて変更可能であるし、撮影状態に応じても変更可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでも良いし、調整係数を決定するための関数でも良い。
・ユーザー設定情報
ユーザー設定情報は、ユーザーの好みに応じた回復度合いの調整を行うための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。さらに、撮像機器の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した機器であれば回復度合い調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の機器で回復度合い調整処理を行う場合に、補正情報セットに回復成分情報が含まれていれば画像回復フィルタ群は基本的には必要ない。

尚、入力画像には、レンズの焦点距離、絞り、撮影距離などの撮影条件やこの画像を補正するための各種の補正情報を付帯することができる。撮像から出力までの一連の処理をひとつの閉じた撮像装置で行う場合には、画像に撮影条件情報や補正情報を付帯しなくとも装置内で取得することができる。しかし、撮像装置からＲＡＷ画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮影条件情報や補正情報を付帯することが好ましい。ただし、画像処理装置側にあらかじめ補正情報が記憶されており、撮像条件情報から補正係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。ここでの補正情報とは、例えば色合成比調整係数ωである。この補正情報は初期値としてあらかじめ設定された値を得ることができるが、ユーザーがこの値を変更することもできる。撮像装置に装備されたモニタや、画像処理装置が別の機器である場合には画像処理システムの一部として装備されたモニタを用いてユーザーが出力画像を評価しながら補正情報を変更し、好みの出力画像を得ることができる。

以上、本発明の画像処理装置あるいは画像処理プログラムあるいは画像処理方法を用いた画像処理システムに関する実施例を示したが、本発明の画像処理システムは、その要旨の範囲内で種々の変形及び変更が可能である。

（変形例１）
変形例１においては、色補間処理（デモザイキング処理）を行う場合の変形例について説明する。図２で説明したととり、色成分間の回復成分情報Ｓ_ｍを色合成する際には、各画素に複数の色成分情報をもっていることが必要になる。したがって、２次回復画像生成処理を各画素に１つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理（デモザイキング処理）を行う必要がある。そのために、各色成分の回復成分情報Ｓ_ｍに対して色補間処理を行うか、または、入力画像ｇ_ｍと１次回復画像ｆｄ_ｍに対してそれぞれ色補間処理を行うことで各画素に複数の色成分情報をもった回復成分情報Ｓ_ｍを生成すれば良い。

図１５（Ａ）に、色補間処理（デモザイキング処理）を行った画像から回復成分情報を生成する場合の処理フローを示した。図１５の各工程で既出のものについては説明を割愛する。また、モザイクデータ、デモザイクデータとは、そのデータが１画素ごとにＲＧＢ成分を有している（デモザイクデータ）か否（モザイクデータ）かを表している。モザイクデータ処理、デモザイクデータ処理とは、その処理の対象となるデータの状態を表している。図１５（Ａ）のフローでは、色成分間の色合成のために色合成回復成分情報生成の前に色補間処理を行い、色合成後にモザイクデータの色配列に対応したマスク処理を行い、色合成回復成分情報をモザイクデータに戻している。そして、入力画像との合成により２次回復画像を生成し、再び色補間処理を行っている。このように、非線形処理を含まないＲＡＷ画像（モザイク画像）に対して画像回復処理を行うことで、高精度な回復処理を行うことができる。また、色合成回復成分情報をモザイクデータに戻して、２次回復画像に対して色補間処理行うことで、画像の信号値の状態に応じた非線形な色補間処理を行うことができる。

図１５（Ａ）のように最終画像に近い段階で色補間処理を行う方が非線形な処理を行う上では好ましい。しかし、色補間処理（デモザイキング処理）は図１５（Ａ）の処理フローに限られず、入力画像に対して初めに色補間処理を行い、以降の処理にデモザイク画像を用いてもよい。また、図１５（Ｂ）のフローに示したように、色合成回復成分情報をモザイクデータに戻さない代わりに、入力画像を色補間処理してデモザイクデータとした上で２次回復画像を生成してもよい。

（変形例２）
次にホワイトバランスと回復度合いの調整の関係について図１６（Ａ）、（Ｂ）を用いて説明する。ホワイトバランスはデジタルカメラにおける色調の調整方法で適切な色、もしくは撮影者によって意図された色味を出すために使用される。また、白色を生成するためのＲＡＷ画像のＲＧＢ信号の混合比をホワイトバランス係数とする。

上記のとおり、色合成回復成分情報を生成するためには、回復成分情報を色成分間で色合成比調整係数ωに応じて色合成することである。このとき、ホワイトバランスを考慮しないと、ωの設定により意図した混合比にならない。例えば、ω＝１／３はＲ、Ｇ、Ｂの各回復成分を均等に平均化するので、得られる色合成回復成分情報は色味の無い状態である。しかし、ホワイトバランス係数が１：１：１でない限り、１／３ずつ混合した色合成回復成分情報は色味をもつことになる。即ち、色づきの発生度合いを０（ゼロ）にできていないことになってしまう。そこで、図１６（Ａ）のように、入力画像に対してホワイトバランス処理を行う。このホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を除算に相当する処理を行い、信号値のレベルを正規化する処理である。正規化することで、色合成比調整係数ωに応じた混合比で色合成回復成分情報を生成することができる。そして、２次回復画像を生成する前に逆ホワイトバランス処理を行うことで画像のホワイトバランスを元の状態に戻している。この逆ホワイトバランス処理は、ホワイトバランス係数で各色成分の信号値を乗算に相当する処理を行い、正規化された信号値のレベルを元に戻す処理である。このホワイトバランス処理の別の方法としては、図１６（Ｂ）のように画像でホワイトバランスの考慮を行うのではなく、回復度合いの調整パラメータをホワイトバランス係数に応じて補正している。調整パラメータとは、色合成比調整係数ωや回復強度調整係数μである。

以上説明したように、画像回復処理（１次画像回復処理、２次画像回復処理）を行うにあたってホワイトバランスを考慮することにより、不自然な色づきを抑えた画像回復処理を行うことが可能となる。

（変形例３）
次に歪曲補正と回復度合いの調整の関係について図１７を用いて説明する。この方法は、モザイク画像に対して画像回復処理を行う場合である。こうすることにより、色づきの発生と歪みが補正された、より良質な画像を得ることが可能となる。歪曲補正処理を行う別の処理フローとしては、２次回復画像をデモザイクしたデモザイク画像に対して歪曲補正処理を行ってもよい。図１７の処理フローでは、歪曲収差補正を画像回復処理（１次画像回復処理）よりも後の工程で処理している。

画像回復処理（１次画像回復処理）よりも前の工程で歪曲補正を行うことも可能であるが、その場合、画像回復処理において画像は伸縮、変形し、画素補間される。このとき、画像回復フィルタも画像に合わせて伸縮、変形し、タップ補間しなければならない。例えば樽型の歪曲収差の補正を行う場合、画像の周辺部ほど引伸ばすので画像回復フィルタが肥大化してしまう。さらに、補間を伴うので回復精度が低下する。したがって、歪曲補正は画像回復処理よりも後の工程で行うことが好ましい。

（変形例４）
変形例４では、倍率色収差処理を行った場合の処理フローについて説明する。

倍率色収差補正処理を含めたフローを図１８（Ａ）、（Ｂ）に示す。図１８（Ａ）の方法は、初めに入力画像に対して倍率色収差補正処理を行い、画像回復処理では上記の倍率色補正成分を持たない画像回復フィルタを用いている。また、この他の処理フローを図１８（Ｂ）に示した。図１８（Ｂ）の処理フローは、回復成分情報に対して倍率色収差補正処理を行っている。ただし、この場合、２次回復画像を生成するために入力画像に対して倍率色収差補正処理を行う必要があるため、図１８（Ａ）の方法がより好ましい。

また、上記の歪曲収差補正や倍率色収差補正は画像の倍率変更に伴い画素補間処理が必要となる。画素補間処理を行うと、それぞれの補正量に応じた周期的な鮮鋭度の劣化が発生する。この鮮鋭度劣化の周期と劣化量は補正特性からあらかじめ知ることができるので、画像の回復度合いをこの鮮鋭度劣化特性に応じて調整することで鮮鋭度劣化を補正することができる。具体的には、回復強度調整係数μを画像の位置に応じた劣化量に応じて変化させて、出力画像の鮮鋭度のムラを低減する。

以下に、倍率色収差補正を一連の画像処理とともに行う場合の好ましい例について説明する。

倍率色収差補正に関して、図１８（Ａ）、（Ｂ）で示した処理フローでは、共に倍率色補正成分を持たない画像回復フィルタを用いたが、画像回復フィルタに倍率色収差の補正成分を含めることができる。しかしながら、倍率色収差補正は画像回復処理とは別の工程として処理した方が好ましい。この理由について図１９、図２０を用いて説明する。

図１９に色合成比調整係数ω＝１／２、回復強度調整係数μ＝１の場合について示す。これまで色成分をＲ、Ｇ、Ｂの３成分として説明してきたが、ここでは簡易的に２成分において説明する。ω＝１／２の条件は、２つの色成分の場合に色づきの発生度合いが０（ゼロ）になる条件である。ｇ_ｍは劣化している入力画像のある断面を模式的に示している。太実線は第一の色成分であり、点線は第二の色成分を示している。図１９（Ａ）は倍率色収差補正成分を含めた画像回復フィルタを用い、さらに後段で２次回復画像ｆ_ｍに対して倍率色収差補正を行う場合である。図１９（Ｂ）は入力画像ｇ_ｍに対して倍率色収差補正を行った後、倍率色収差補正成分を含まない画像回復フィルタを用いる場合である。図１９（Ｃ）は倍率色収差補正成分を含まない画像回復フィルタを用い２次回復画像ｆ_ｍを生成したのち、その２次回復画像に対して倍率色収差補正を行う場合である。ｇ_ｍ｜ｓｈｉｆｔは図１９（Ｂ）についてのみ倍率色補正を行った画像である。ｆｄ_ｍはｇ_ｍ、ｇ_ｍ｜ｓｈｉｆｔそれぞれに対して画像回復処理を行った１次回復画像であり、図１９（Ａ）、（Ｂ）、（Ｃ）とも画像のぼけ（鮮鋭度が低下している部分）が補正されていることが分かる。次に、回復成分情報Ｓ_ｍは、図１９（Ａ）、（Ｃ）に対してはｆｄ_ｍからｇ_ｍを減算して生成する。図１９（Ｂ）に対してはｆｄ_ｍからｇ_ｍ｜ｓｈｉｆｔを減算して生成する。Ｓｄ_ｍは、第一の色成分及び第二の色成分の回復成分情報Ｓ_ｍを平均化した色合成回復成分情報である。ｆ_ｍは、この色合成回復成分情報Ｓｄ_ｍと入力画像ｇ_ｍとを合成した２次回復画像である。ｆ_ｍ｜ｓｈｉｆｔは、２次回復画像ｆ_ｍに対して倍率色収差補正を行った画像である。２次回復画像が生成された後、倍率色収差成分の補正を行っていない図１９（Ｃ）と、画像回復フィルタに倍率色収差補正成分を含めたにも関わらず、色ずれのある図１９（Ａ）に対して、倍率色収差を補正している。そして、Ｏ_ｍはこれらの画像処理を経た出力画像である。出力画像Ｏ_ｍから、色合成回復成分情報Ｓｄ_ｍを生成する工程で、回復成分情報Ｓ_ｍに倍率色収差が残留している場合、色合成回復成分情報Ｓｄ_ｍが倍率色収差を含めた広がりを持ってしまうため個々の色成分の補正精度が低下する。したがって、図１９（Ｂ）のように色合成回復成分情報Ｓｄ_ｍを生成するよりも、前段の工程で倍率色収差補正を行う場合が最も鮮鋭な出力画像Ｏ_ｍが得られることが分かる。

次に、１つの色成分について、回復強度調整係数μ＝１／２とした場合の画像回復処理を図２０に示す。ここでは、色成分が１つであるため、上記の色合成回復成分情報を生成するときの問題は除外されているが、図２０（Ａ）の画像回復フィルタに倍率色収差補正成分を含めた場合は良好な出力画像が得られないことが分かる。これは、回復成分情報に倍率色収差成分が含まれているために、回復度合い（回復強度調整係数μ）を下げると倍率色収差の補正度合も応じて低下してしまうためである。

倍率色収差補正は、座標の幾何変換処理で行えるが、画像回復処理のようなアーティファクト（リンギングなど）は発生しにくい。そのため、回復度合いの調整において、ぼけ補正（鮮鋭度を向上させる補正）と色ずれ補正（倍率色収差補正）を分離して、色ずれ成分は倍率色収差補正によって除去し、ぼけ度合を回復度合いとして調整することが好ましい。よって、画像回復フィルタには倍率色収差補正成分を含めず、且つ画像回復処理よりも前の工程で倍率色収差補正を行うことがより好ましい。

以上の変形例１から４では、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて決定しても構わない。良質な画像を得る目的を達成可能な範囲では当然ながら処理工程の順序を変更しても構わない。

１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０３ Ａ／Ｄコンバータ
１０４ 画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１０９ 画像記録媒体
１１０ システムコントローラ
１１１ 操作部

Claims (15)

1. 複数の色成分を有する入力画像に対して画像回復処理を行い、１次回復画像を生成する１次回復画像生成手段と、
   前記入力画像と前記１次回復画像との差分を演算し、前記複数の色成分ごとの差分情報を生成する回復成分情報生成手段と、
   前記差分情報を用いて２次回復画像を生成する２次回復画像生成手段とを有する画像処理装置であって、
   前記２次回復画像生成手段は、前記入力画像のひとつの色成分に前記複数の色成分の差分情報に基づく色合成回復成分情報を合成することを特徴とする画像処理装置。
2. 前記２次回復画像生成手段は、前記差分情報を色成分ごとの合成比を決める複数の色合成比調整係数に応じて合成することにより、２次回復画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記色合成比調整係数を設定する設定手段を有し、
   前記設定手段による設定値は変更可能であることを特徴とする請求項２に記載の画像処理装置。
4. 前記色合成比調整係数の複数の値を、ひとつの設定値によって設定することを特徴とする請求項２または３いずれか１項に記載の画像処理装置。
5. 前記２次回復画像生成手段は、前記差分情報を回復の強さを決める回復強度調整係数に応じて前記入力画像に合成することにより、前記２次回復画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記回復強度調整係数を設定する設定手段を有し、
   前記設定手段による設定値は変更可能であることを特徴とする請求項５に記載の画像処理装置。
7. 前記２次回復画像生成手段により生成された２次回復画像は、入力画像であることを特徴とする請求項１乃至６いずれか１項に記載の画像処理装置。
8. 前記１次回復画像生成手段は、前記入力画像の各画素に対して撮像光学系の光学伝達関数の逆関数を用いて生成された関数を逆フーリエ変換して得られる２次元の画像回復フィルタを、前記入力画像に畳み込み積分することにより前記１次回復画像を得ることを特徴とする請求項１乃至７いずれか１項に記載の画像処理装置。
9. 各画素に複数の色成分情報を持たせるための色補間処理を行うことを特徴とする請求項１乃至８いずれか１項に記載の画像処理装置。
10. 被写体を撮像する撮像素子と、
    前記撮像素子に被写体からの光を導く撮像光学系と、
    前記撮像素子により撮像された画像を入力画像として画像処理を行う画像処理手段と、
    前記画像処理に用いる画像回復フィルタを記憶する記憶手段とを有し、
    前記画像処理手段は、前記入力画像に対して画像回復処理を行い１次回復画像を得る１次回復画像生成手段と、
    前記入力画像と前記１次回復画像との差分を演算し、複数の色成分ごとの差分情報を取得する回復成分情報生成手段と、
    前記差分情報を用いて２次回復画像を生成する２次回復画像生成手段とを有する撮像装置において、
    前記２次回復画像生成手段は、前記複数の色成分ごとの差分情報に基づく色合成回復成分情報を前記入力画像のひとつの色成分に合成することを特徴とする撮像装置。
11. 前記画像回復フィルタを選択する選択手段とを有することを特徴とする請求項１０に記載の撮像装置。
12. 前記画像回復フィルタを生成する画像回復フィルタ生成手段を有することを特徴とする請求項１０または１１に記載の撮像装置。
13. 複数の色成分を有する入力画像を色成分ごとに回復処理し、１次回復画像を生成する１次回復画像生成工程と、
    前記１次回復画像と前記入力画像の差分情報を色成分ごとに得る回復成分情報生成工程と、
    前記回復成分情報生成工程により生成された前記複数の色成分の差分情報に基づく色合成回復成分情報を、前記入力画像のひとつの色成分に合成することにより２次回復画像を生成する２次回復画像生成工程と
    を有することを特徴とする画像処理方法。
14. 入力画像に対して画像処理を情報処理装置に実行させるプログラムにおいて、
    前記入力画像に対して伝達関数を用いた回復処理を行い、１次回復画像を得る１次画像回復処理ステップと、
    前記１次回復画像と前記入力画像との差分情報を生成する回復成分情報生成ステップと、
    前記回復成分情報生成ステップにより生成された各色成分の差分情報に基づく色合成回復成分情報を、前記入力画像のひとつの色成分に合成することにより２次回復画像を生成する２次回復画像生成ステップと
    を有することを特徴とするプログラム。
15. 請求項１乃至９いずれか１項に記載の画像処理装置と、
    前記画像処理装置に接続可能な撮像機器、出力機器、表示機器、記憶媒体のうち、少なくともいずれかひとつを有することを特徴とする画像処理システム。

Images