JP2023119413A - 画像処理装置及び方法、撮像装置、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 ＲＡＷ画像における画像回復処理で発生する色付きを抑制すること。【解決手段】 各画素が１つの色の画素値を有するＲＡＷ画像データを取得し、ＲＡＷ画像データに対して画像回復処理を行う。画像回復処理後のＲＡＷ画像データに基づいて、所定色の各画素について、隣接する所定色の画素との相関関係を求め、求めた相関関係に基づいて、画像回復処理前後それぞれのＲＡＷ画像データの各画素が、所定色の画素値を有するように補間する。画像回復処理前後それぞれのＲＡＷ画像データの前記所定色を除く色の各画素について、当該各画素の画素値と、補間した所定色の画素値とから、特徴量を求める。そして、画像回復処理後のＲＡＷ画像データの所定色を除く色の各画素について、画像回復処理前後それぞれのＲＡＷ画像データの特徴量が予め決められた条件を満たすかどうかを判定し、満たす場合に、当該画素の画素値を補正する。【選択図】 図２

Description

本発明は、画像処理装置及び方法、撮像装置、プログラム及び記憶媒体に関し、特に画像回復処理を用いた劣化画像の画像回復処理に関するものである。

情報のデジタル化に伴い、画像を信号値として扱うことで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。

画像のぼけの原因として、光学系の球面収差、コマ収差、像面湾曲、非点収差等がある。これらの収差による画像のぼけは、無収差で回折の影響も無い場合に、本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結ぶ現象により起こる。光学的には点像分布関数（ＰＳＦ：Point Spread Function）と呼ぶものであるが、ここでは画像のぼけ成分と呼ぶ。なお、一般的に画像の「ぼけ」は、例えばピントがずれた状態も指すが、ここでは特にピントが合っていても、上記の光学系の収差の影響でぼけてしまうものも指すものとする。また、カラー画像で生じる色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎の相違により生じるぼけである。また、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれにより生じるぼけである。

ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、即ち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。よって、ＭＴＦ、ＰＴＦは、それぞれ収差による画像劣化の振幅成分及び位相成分の周波数特性を示す。ここでは、位相成分を位相角として、以下の式（１）で表す。なお、Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。

ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） …（１）
このように、撮像光学系のＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、即ち位相ずれによる像の広がりが発生する。よって、正確には倍率色収差は単なる平行シフトの色ずれではないが、特に説明が無い限り色ずれを倍率色収差と同意義として記載する。

振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系のＯＴＦの情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降、この撮像光学系のＯＴＦの情報を用いて画像の劣化を補正する処理を画像回復処理と記す。

ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換したものであるＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（２）が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …（２）

また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）に示すように、周波数毎の積の形式になる。ＨはＰＳＦをフーリエ変換したものであるのでＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） …（３）

撮影された劣化画像から元の画像を得るためには、以下の式（４）に示すように、両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） …（４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）が回復像として得られる。

ここで、上式（４）の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）に示すように、実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） …（５）
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。しかしながら、実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般的には良好な画像は得られない。この点については、例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。

ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じてＯＴＦが変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。

例えば、特許文献１には、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じたＰＳＦを用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにＦナンバーの小さい対物光学系が必要であるため、焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理をして合焦像を得ようとしている。

上記の通り、撮像した入力画像に対して画像回復処理を施すことにより、諸収差を補正することで画質を向上することができる。

特許第３５３２３６８号公報 特許第５８６８０７６号公報

しかしながら、実際の撮像では、入力画像の撮像状態に対して、入力画像を回復するための画像回復フィルタの状態が最適なものではない場合がある。一例として、立体的な被写体の撮像が挙げられる。撮像装置は、オートフォーカス機能やマニュアルフォーカスにより被写体空間の１つの面に焦点を合わせて撮像するが、被写体が立体的である場合には被写体の部分によって被写体距離が異なる。被写体距離が被写界深度に含まれる合焦部分は比較的先鋭に撮像されるが、被写界深度に含まれない非合焦部分はその距離に応じたぼけ量をもって撮像される。被写体距離に関する情報がこの合焦部分のもののみの場合、画像回復フィルタは、この合照部分の被写体距離に対して最適なものが選択若しくは生成されて使用されることになる。画像回復処理後の画像は、合焦部分は回復フィルタが最適なため所望の先鋭度を得ることができるが、非合焦部分は回復フィルタが最適ではないために、多少の回復効果はあるものの、依然ぼけたままとなる。

一方、従来より、被写体の立体感表現や注視物体の抽出表現として、被写体距離に応じたぼけの効果を利用することが行われている。例えば、被写界深度の浅い望遠レンズを用いて主となる被写体にピントを合わせ、背景を意図的にぼかす写真表現がこの一例である。この場合、画像回復処理後の画像においても、合焦した被写体（以下、「合焦部」と及ぶ。）はより先鋭化され、合焦していない部分（以下、「非合焦部」と呼ぶ。）はぼけが残存していることが望ましく、上述した画像回復方法でこれを達成していることになる。

しかしながら、本来、合焦部の被写体距離に対応して選択若しくは作成された、非合焦部の被写体距離には対応していない画像回復フィルタを用いて、非合焦部に対して画像回復処理を行った際に、「色付き」が発生する場合がある。ここで言う「色付き」とは、例えば非合焦部のエッジ部において、画像の各色成分のぼけ方の関係が画像回復処理を行う前と後で異なることによって、実際の被写体には無い色が画像回復処理後の画像に発生する現象である。さらに、このような色付きは、上述した立体的な被写体の撮像に限らず発生する場合がある。この場合、合焦部か否かに関わらず、例えば撮像光学系の製造ばらつきや撮影時の光源分光の変動等に起因し、実際の撮像状態での収差の状態と、その入力画像に画像回復処理する際の画像回復フィルタが対象としている収差の状態が異なるときに発生する。

このような色付きを抑制する方法として、特許文献２に、画像回復処理を行う前の画像の色情報に基づいて、画像回復処理を行った後の画像の色を補正する方法が開示されている。これは画像の各画素において画像回復処理による色の変化を判定し、画像回復処理による色付きを抑制させるという方法である。

撮像素子が、一般的なベイヤー配列の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタを備えたものである場合、撮像素子から取得された画像は、各画素が１色の色成分の情報を持つＲＡＷ画像である。このようなベイヤー配列のカラーフィルタを備えた撮像素子から得られる画像に対する画像回復処理には、２通りの方法が考えられる。１つはＲＡＷ画像における各色成分を画素補間することで、各画素にＲＧＢの各色成分が揃った各色プレーンに画像回復処理を適用する方法である。２つ目は画素補間をせず、ＲＡＷ画像にそのまま画像回復処理を適用する方法である。前者の各色プレーンに画像回復処理を適用する方法は、後者のＲＡＷ画像に画像回復処理を適用する方法に比べて、画像回復処理を適用する画素数と回復フィルタのタップ数が多くなるために画像回復処理の処理負荷が著しく増大する。そのため低処理負荷が求められる装置では、後者のＲＡＷ画像に画像回復処理を適用する方法が有効と考えられる。

ところが、ＲＡＷ画像に画像回復処理を適用する場合も、ＲＡＷ画像を現像処理した出力画像には、実際の撮像状態での収差の状態と画像回復フィルタが対象としている収差の状態が異なるときに、色付きが発生する場合がある。しかし、ＲＡＷ画像は各画素が１色の色成分の情報しか持たないので、各画素は、ＲＧＢの３つの色成分で表される色に関する色情報を持たない。そのため、画像回復処理で発生した色付きを抑制させるために画像回復処理を行う前の画像の色情報に基づいて、画像回復処理を行った後の画像の色を補正する前述の方法をそのまま用いることが不可能である。

出力画像の画質を向上させるためのＲＡＷ画像に対する画像回復処理において、このような色付きを適切に抑制できないことは大幅に画質を劣化させてしまう弊害としての新たな課題である。しかしながら、特許文献１に開示された従来技術では、ＲＡＷ画像における画像回復処理で発生する色付きを適切に抑制する技術は開示されていない。

本発明は上記問題点を鑑みてなされたものであり、ＲＡＷ画像における画像回復処理で発生する色付きを抑制することを目的とする。

それぞれが複数色のカラーフィルタのいずれかにより覆われた複数の画素を有する撮像素子により撮像して得られた第１の画像データを取得する取得手段と、前記第１の画像データに対して、撮像光学系の収差による画像の劣化を補正する画像回復処理を行って、第２の画像データを生成する画像回復手段と、前記第２の画像データに基づいて、前記複数色のうち、予め決められた所定色の各画素について、隣接する前記所定色の画素との相関関係を求める演算手段と、前記相関関係に基づいて、前記第１の画像データの各画素が、前記所定色の画素値を有するように補間する第１の補間手段と、前記第１の画像データのうち、前記所定色を除く色の各画素について、当該画素の画素値と、前記第１の補間手段により補間された前記所定色の画素値とに基づいて、第１の特徴量を取得する第１の特徴量取得手段と、前記相関関係に基づいて、前記第２の画像データの各画素が、前記所定色の画素値を有するように補間する第２の補間手段と、前記第２の画像データのうち、前記所定色を除く色の各画素について、当該画素の画素値と、前記第２の補間手段により補間された前記所定色の画素値とに基づいて、第２の特徴量を取得する第２の特徴量取得手段と、前記第２の画像データのうち、前記所定色を除く色の各画素について、前記第１の特徴量と前記第２の特徴量とが予め決められた条件を満たすかどうかを判定し、満たす場合に、当該画素の画素値を補正して、第３の画像データを生成する補正手段と、を有することを特徴とする画像処理装置。

本発明によればＲＡＷ画像における画像回復処理で発生する色付きを抑制することができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図。 第１の実施形態に係る画像回復処理部の基本構成を示すブロック図。 第１の実施形態に係る画像回復処理のフローチャート。 第１の実施形態に係るベイヤー配列と各色成分の説明図。 第１の実施形態に係る画像回復フィルタを説明するための模式図。 第１の実施形態に係るＲＡＷ画像に適用する画像回復フィルタを説明するための模式図。 第１の実施形態に係る画素補間の説明図。 第１の実施形態に係る画素補間に用いる相関係数の説明図。 第１の実施形態に係る画像の一例を示す図。 第１の実施形態に係る収差補正の説明図。 第１の実施形態に係るＭＴＦと回復ゲインの説明図。 第２の実施形態に係る点像の画像回復処理前後のＰＳＦを示す図。 第２の実施形態に係る点像の画像回復処理前後のＭＴＦ及びＰＳＦを示す図。 第２の実施形態に係る倍率色収差を説明する図。 第２の実施形態に係る倍率色収差をＰＴＦにより説明する図。 第２の実施形態に係る像高と色ずれ率の関係を示す図。 第２の実施形態に係る画像回復処理のフローチャート。 第２の実施形態に係る収差補正の説明図。 第２の実施形態に係る収差補正の説明図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１の実施形態＞
図１は、本発明の実施形態に係る画像処理装置の一例として、撮像装置の概略構成を示すブロック図である。

不図示の被写体からの光は、絞り１０１ａ及びフォーカスレンズ１０１ｂを含む撮像光学系１０１を介して撮像素子１０２に入射する。本実施形態では、撮像素子１０２は、一般的なベイヤー配列の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタに覆われているものとする。なお、カラーフィルタはこれに限られるものではなく、複数色のカラーフィルタが配列されたものであればよく、例えば、補色系のカラーフィルタであっても良い。撮像素子１０２で入射光が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて、画像処理部１０４に入力される。画像処理部１０４は、画像回復処理部１１１と、所定の処理を行うその他画像処理部１１２から構成される。

画像処理部１０４は、まず、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７は、システムコントローラ１１０から直接状態情報を得ても良いし、例えば撮像光学系１０１に関する撮像状態の情報は撮像光学系制御部１０６から得ることもできる。次に、撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像回復処理部１１１は、画像処理部１０４に入力された画像に対して画像回復フィルタ適用処理を行う。なお、画像回復処理部１１１の詳細については後述する。また、記憶部１０８で保持するデータは画像回復フィルタそのものではなく、画像回復フィルタを生成するために必要な光学伝達関数（ＯＴＦ）に関する情報でもよい。この場合、画像回復処理部１１１は、撮像状態に応じたＯＴＦに関する情報を記憶部１０８から選択し、撮像状態に応じた画像回復フィルタを生成した後、画像処理部１０４に入力された画像に対して画像回復処理を行う。また、その他画像処理部１１２では、ガンマ補正、カラーバランス調整等、所定の画像処理を行い、ＪＰＥＧ等の所定のフォーマットの画像ファイルを生成する。

そして、画像処理部１０４で生成された画像ファイルを、画像記録媒体１０９に保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示しても良いし、画像回復処理を行わない、または簡易的な画像回復処理を行った画像を表示しても良い。

一連の制御はシステムコントローラ１１０で行われ、撮像光学系１０１の機械的な駆動は、システムコントローラ１１０の指示に基づいて撮像光学系制御部１０６が行う。

絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じて焦点調整を行うために、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系１０１にローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ただし、ローパスフィルタ等のＯＴＦの特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でその光学素子によるＯＴＦの変化を考慮することが必要な場合がある。例えば、赤外カットフィルタは、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響する。そのため、画像回復フィルタを作成する時点で、赤外カットフィルタによるＰＳＦの変化を考慮することが必要な場合がある。

また、撮像光学系１０１は撮像装置の一部として構成されているものとして説明したが、一眼レフカメラで用いられるような交換式のものであっても良い。

次に、画像回復処理部１１１における画像回復処理について、画像回復処理部１１１の基本構成を示す図２と、画像回復処理部１１１における画像回復処理の流れを示す図３のフローチャートに沿って説明する。なお、画像回復処理部１１１への入力は、図４（ａ）に示すように各画素に１色の色成分を持つＲＡＷ画像におけるＲＧＢの各色成分であり、各色成分は図４（ｂ）～（ｄ）に示すような所謂歯抜け状態となっている。

まず、図３のＳ１０１において、記憶部１０８から撮像状態に適した画像回復フィルタを選択する。このとき、選択した画像回復フィルタを必要に応じて補正しても構わない。例えば、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておき、実際に画像回復処理を実行する際に画像回復フィルタを補正してもよい。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報を記憶部１０８に記憶しておき、撮像状態に適したＯＴＦに関する情報を選択して、画像回復フィルタを生成してもよい。

次にＳ１０２では、Ｓ１０１で選択された画像回復フィルタを用いて、撮像して得られた入力画像の各色成分の各画素に対して、Ｇ色成分（所定色）用の回復部（Ｇ）１００４、Ｒ色成分用の回復部（Ｒ）１００５、Ｂ色成分用の回復部（Ｂ）１００６でコンボリューション処理を行う。これにより撮像光学系で発生した収差の非対称性の補正や画像のぼけ成分を除去若しくは低減することができる。

ここで、画像回復フィルタを説明するための模式図を図５に示す。図５に示す画像回復フィルタは、各画素にＲＧＢの各色成分の情報が揃った画像の各色プレーンに適用する画像回復フィルタの例である。画像回復フィルタは、撮像光学系の収差量に応じてタップ数を決めることができ、この例では１１×１１タップの２次元フィルタとしている。フィルタの各タップが画像の１画素に対応してコンボリューション処理が行われる。

図５（ａ）に示すように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。

図５（ａ）では各タップ内の値を省略しているが、このフィルタのある行におけるタップの値を図５（ｂ）に示す。この画像回復フィルタの作成法については上記のように撮像光学系のＯＴＦを計算若しくは計測し、その逆数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるため、ウィーナーフィルタや関連する回復フィルタの作成方法を選択して用いることができる。さらに、ＯＴＦは撮像光学系のみならず、画像処理部１０４に入力される画像に対して、ＯＴＦを劣化させる要因を含めることができる。例えば、ローパスフィルタはＯＴＦの周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義のＯＴＦに基づいて、画像回復フィルタを作成することが望ましい。

なお、画像回復処理を施す画像がＲＧＢ形式のカラー画像であるため、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成する。撮像光学系には色収差があり、色成分毎にぼけ方が異なるため、色成分毎の画像回復フィルタは特性が色収差に基づいて互いに若干異なる。即ち、図５（ａ）の各行のタップの値が色成分毎に異なることに対応する。画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。

図５に示す各画素にＲＧＢの各色成分が揃った画像の各色プレーンに適用する画像回復フィルタに対し、本実施形態のように各画素が１つの色成分の情報を持つＲＡＷ画像に適用する画像回復フィルタの例を図６に示す。図６に示す画像回復フィルタは、対象の色成分が存在する画素に対し係数を保持する歯抜け状の画像回復フィルタであり、係数を保持している箇所を図中の白で表し、それ以外の０を保持する箇所を網掛けで表している。Ｒ、Ｇ、Ｂ、の３つの色成分に対して画像回復を行う場合、Ｇ成分に適用する画像回復フィルタは図６（ａ）のようになり、Ｒ、Ｂ成分に適用する画像回復フィルタは図６（ｂ）のようになる。つまり、回復部（Ｇ）１００４では、図４（ｂ）に示したＧ成分と、図６（ａ）で示した画像回復フィルタのコンボリューション処理を行う。また、回復部（Ｒ）１００５と回復部（Ｂ）１００６では、それぞれ、図４（ｃ）及び（ｄ）に示したＲ成分及びＢ成分と、図６（ｂ）で示した画像回復フィルタのコンボリューション処理を行う。

次にＳ１０３では、画像回復フィルタが適用された画像回復後の画像に対し、エッジ方向推定部１０１３でエッジの方向を推定する。エッジ方向推定部１０１３は、ＲＡＷ画像の着目画素及びその周辺画素の信号を基に着目画素のエッジの方向を推定し、着目画素における補間方向判別信号ＭａｔＳｗ（相関度合い）を出力する。ここでは、図７に示す、画像の局所領域を例に、エッジ方向の推定処理について説明する。図７（ａ）は、画像の局所領域を示しており、図７（ｂ）は、各画素Ｐ_００からＰ_４４におけるＲ、Ｇ、Ｂの配置を示している。着目画素Ｐ_２２と、垂直方向の隣接画素Ｐ_０２、Ｐ_１２、Ｐ_３２、Ｐ_４２を用い、式（６）に示す演算によって、垂直相関値Ｖｄｉｆｆを生成する。また、着目画素Ｐ_２２と、水平方向の隣接画素Ｐ_２０、Ｐ_２１、Ｐ_２３、Ｐ_２４を用い、式（７）に示す演算により、水平相関値Ｈｄｉｆｆを算出する。

Ｖｄｉｆｆ＝｜２×Ｐ_２２ーＰ_０２ーＰ_４２｜＋｜Ｐ_１２－Ｐ_３２｜ …（６）
Ｈｄｉｆｆ＝｜２×Ｐ_２２ーＰ_２０ーＰ_２４｜＋｜Ｐ_２１ーＰ_２３｜ …（７）
そしてＨｄｉｆｆとＶｄｉｆｆの差をとったものを補間方向判別信号ＭａｔＳｗ（＝Ｈｄｉｆｆ－Ｖｄｉｆｆ）とする。このようなＭａｔＳｗを各画素に対して算出して、図７（ｃ）に示すようにＭａｔＳｗの二次元データを生成する。

次にＳ１０４では、ＭａｔＳｗデータに対し、ローパスフィルタ適用部１０１４はローパスフィルタを適用する。図７（ｃ）に示したＭａｔＳｗに対し、例えば水平［１ ２ １］、垂直［１ ２ １］のＬＰＦを畳み込み、ＭａｔＳｗにおける高周波成分を減衰させる。

次にＳ１０５では、入力した画像回復処理前のＧ信号に対し、第１の画素補間部１００１で画素補間を行う。画素補間を行うために、まずＳ１０４の出力のＭａｔＳｗに対して、所定の閾値ｔｈ１,ｔｈ２,－ｔｈ１,－ｔｈ２（ただし、｜ｔｈ２｜＞｜ｔｈ１｜とする。）を用いて、以下の通り判定を行い、着目画素におけるエッジ方向の推定結果を示すパラメータとして、相関係数Ｔ（相関関係）を生成する。

ＭａｔＳｗがｔｈ２以上である場合には、相関係数Ｔに１．０を設定する。ＭａｔＳｗ が－ｔｈ２よりも小さい場合には、相関係数Ｔに－１．０を設定する。

ＭａｔＳｗがｔｈ１以上かつ、ｔｈ２よりも小さい場合には、相関係数ＴにＴ＝（Ｈｄｉｆｆ－Ｖｄｉｆｆ－ｔｈ１）/（ｔｈ２－ｔｈ１）を設定する。ＭａｔＳｗが－ｔｈ２以上かつ、－ｔｈ１よりも小さい場合には、相関係数ＴにＴ＝（Ｈｄｉｆｆ－Ｖｄｉｆｆ＋ｔｈ１）/（ｔｈ１－ｔｈ２）を設定する。これらの条件を満たさない場合には、相関係数ＴにＴ＝０．０を設定する。

このようにして求めた、相関係数ＴとＭａｔＳｗとの関係をグラフとして図示すると、図８のようになる。

この相関係数Ｔが－１．０であれば水平方向の相関が強いことになり、水平方向の画素信号から補間する。すなわち、図７（ａ）において、例えばＰ_２１の画素のＧ信号を生成する場合、画素Ｐ_２０とＧと画素Ｐ_２２のＧとの平均値を画素Ｐ_２１のＧとする。また、相関係数Ｔが１．０であれば垂直方向の相関が強いことになり、垂直方向の画素信号から補間する。すなわち、画素Ｐ_１１のＧと画素Ｐ_３１のＧとの平均値を画素Ｐ_２１のＧとする。相関係数Ｔが－１．０より大きく０より小さい場合は、水平方向の画素信号から補間したＧと、垂直方向の画素信号から補間したＧの加重平均を行うことで補間後のＧとする。この際、相関係数Ｔが小さいほど水平方向から補間したＧの重みを大きくする。また、相関係数Ｔが０より大きく１．０より小さい場合も、水平方向の画素信号から補間したＧと、垂直方向の画素信号から補間したＧの加重平均を行うことで補間後のＧとする。この際、相関係数Ｔが大きいほど垂直方向から補間したＧの重みを大きくする。相関係数Ｔが０の場合は、水平方向の画素信号から補間したＧと、垂直方向の画素信号から補間したＧの平均値を補間後のＧとする。すなわち画素Ｐ_１１、Ｐ_２０、Ｐ_２２、Ｐ_３１の平均を画素Ｐ_２１のＧとする。

このように推定したエッジの方向情報を用いて適応的にＧ信号を補間することで、補間処理による先鋭度の低下を低減させることが可能である。なお、本発明はここで説明した画素補間方法に限定されるものではなく、画像回復後の画像データから推定したエッジ方向の情報に基づいてＧ信号の画素補間を行えばよい。また、エッジ方向の情報に基づいた先述の画素補間方法は一例であり、エッジの方向情報からＧ信号を生成する手法は従来から研究がなされ、様々な画素補間技術が開示されており、いずれの方法を用いても構わない。

これにより、Ｇ成分に関して、画素補間処理により図４（ｂ）に示した歯抜け状態から図４（ｅ）に示すように各画素がＧ成分を持った状態になる。

次のＳ１０６では、第１の画素補間部１００１で作成したＧ成分と、歯抜け状態のＲ成分・Ｂ成分とから、回復前色差算出部（Ｒ）１００２と回復前色差算出部（Ｂ）１００３（第１の特徴量取得手段）において、色差情報（特徴量）を取得する。ここでは色差を基準色Ｇに対する信号値の差分と定義する。従って、色差は以下の式により計算される。次式において（ｘ，ｙ）は画像上の座標値であり、Ｃ１ｒ、Ｃ１ｂは、次式（８）及び（９）で定義されるＲ成分、Ｂ成分のＧ成分に対する色差である。

Ｃ１ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）－Ｇ（ｘ，ｙ） …（８）
Ｃ１ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）－Ｇ（ｘ，ｙ） …（９）
なお、色差を計算する画素は画像内の全画素ではなく、対象の色成分を有する画素のみである。つまり、Ｃ１ｒ（ｘ，ｙ）の場合は、図４（ｃ）で示したＲ成分を有する画素だけであり、Ｃ１ｂ（ｘ，ｙ）の場合は図４（ｄ）で示したＢ成分を有する画素だけである。

このように第１の画素補間部１００１でＧ成分にのみ画素補間を行うことで、色付き抑制処理に必要となる画像回復フィルタ適用前の色差情報を取得することができる。

次のＳ１０７では、画像回復フィルタが適用されたＧ成分に対し、第２の画素補間部１００７で画素補間を行う。これはＳ１０５で行った第１の画素補間部１００１による処理と同様であり、この処理により図４（ｂ）に示した歯抜け状態から図４（ｅ）に示すように各画素にＧ成分を持った状態になる。ここで用いるＭａｔＳｗも第１の画素補間部１００１で用いるものと同じものを用いる。すなわち、各画素における相関係数Ｔも第１の画素補間部１００１と同じ値を用いる。

次のＳ１０８では、第２の画素補間部１００７で作成したＧ成分と歯抜け状態のＲ成分・Ｂ成分から回復後色差算出部（Ｒ）１００８と回復後色差算出部（Ｂ）１００９（第２の特徴量取得手段）において色差情報（特徴量）を取得する。ここでの色差計算は前段で行う回復前色差算出部（Ｒ）１００２と回復前色差算出部（Ｂ）１００３と同様であり、以下の式（１０）及び（１１）により計算される。Ｃ２ｒ、Ｃ２ｂは、次式で定義されるＲ成分、Ｂ成分のＧ成分に対する色差である。

Ｃ２ｒ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）－Ｇ（ｘ，ｙ） …（１０）
Ｃ２ｂ（ｘ，ｙ）＝Ｂ（ｘ，ｙ）－Ｇ（ｘ，ｙ） …（１１）
このように第２の画素補間部１００７でＧ成分にのみ画素補間を行うことで、色付き抑制処理に必要となる画像回復フィルタ適用後の色差情報を取得することができる。

次にＳ１０９において、画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、取得した色差情報Ｃ１ｒ、Ｃ１ｂ、Ｃ２ｒ、Ｃ２ｂの判定を行い、色付き抑制のための画素値調整が必要か否かを決定する。判定は、以下に示すように色差が増大もしくは符号が反転しているかどうかに基づいて行う。ＲとＢに対し、それぞれ下記の判定を行い、いずれかを満たす場合はその色成分の画素に対し、色付き抑制のための画素値調整を行う。

・Ｒに対する判定
判定条件１：Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が同符号、
且つ｜Ｃ１ｒ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｒ（ｘ，ｙ）｜
判定条件２：Ｃ１ｒ（ｘ，ｙ）とＣ２ｒ（ｘ，ｙ）が異符号
・Ｂに対する判定
判定条件１：Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が同符号、
且つ｜Ｃ１ｂ（ｘ，ｙ）｜ ＜ ｜Ｃ２ｂ（ｘ，ｙ）｜
判定条件２：Ｃ１ｂ（ｘ，ｙ）とＣ２ｂ（ｘ，ｙ）が異符号

上記判定結果に応じて、Ｓ１１０において画素値調整部（Ｒ）１０１０及び画素値調整部（Ｂ）１０１１は、Ｓ１０２で画像回復フィルタを適用した各画素について、色付き抑制のための画素値調整を行う。画素値調整は下記に示すように、色差が増大した場合は画像回復前の色差を使用し、色差の符号が反転した場合は色差を０とすることで行う。

・Ｒに対する画素値調整
判定条件１を満たす場合（色差増大）；
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃ１ｒ（ｘ，ｙ） …（１２）
判定条件２を満たす場合（色差反転）：
Ｒ（ｘ，ｙ）＝Ｇ（ｘ，ｙ） …（１３）
・Ｂに対する画素値調整
判定条件１を満たす場合（色差増大）：
Ｂ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）＋Ｃ１ｒ（ｘ，ｙ） …（１４）
判定条件２を満たす場合（色差反転）：
Ｂ（ｘ，ｙ）＝Ｇ（ｘ，ｙ） …（１５）
なお、上記式（１２）～（１５）で用いられるＧ（ｘ，ｙ）は、第２の画素補間部１００７で補間されたＧ（ｘ，ｙ）である。

また、判定条件１及び２を共に満たさない場合、画素値を調整する必要が無い。従って、画素値調整部（Ｒ）１０１０は、回復部（Ｒ）１００５からのＲ（ｘ，ｙ）をそのまま出力し、画素値調整部（Ｂ）１０１１は、回復部（Ｂ）１００６からのＢ（ｘ，ｙ）をそのまま出力する。

次にＳ１１１では、ここまでに画像回復フィルタが適用され、色付き抑制のための画素値調整が行われたＲＧＢの各色成分に対し、第３の画素補間部１０１２で画素補間処理を行う。

以上のとおり、図３のフローチャートに示す画像回復処理を行うことで、画像処理部１０４における画像回復処理は終了となる。なお、ＯＴＦは、１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、本実施形態の画像回復処理を像高に応じた、画像の分割された領域毎に変えて行うことが望ましい。その場合、画像回復フィルタを画像上にコンボリューション処理をしながら走査させ、領域毎にフィルタを順次変更すれば良い。すなわちＳ１０２は各画像回復成分の各対象画素に対して実行する。

本実施形態では、画像回復フィルタの適用を画像回復処理として扱ったが、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の別の処理を本実施形態の画像回復フィルタによる処理の前後や途中に組み合わせ、画像回復処理として扱うことも可能である。

また、本発明は、画像回復処理は画像回復フィルタのコンボリューション処理に限定されず、例えば、機械学習モデルを用いて画像回復処理を行ってもよい。その場合は、機械学習モデルのウエイトを予め学習し、回復部（Ｇ）１００４、回復部（Ｒ）１００５、回復部（Ｂ）１００６において、学習済みのウエイトを用いた機械学習モデルで画像回復処理を行えばよい。

なお、上述した説明では、図２において、回復部１００４、１００５、１００６と、その他の画素補間部や色差算出、画素値調整部を明示的に分けて記載しているが、同様の処理を行うのであれば、各処理部に分ける必要はない。例えば、第２の画素補間部１００７と回復後色差算出部１００８，１００９、画素値調整部１０１０，１０１１と同等の処理と、回復部１００４，１００５，１００６で行う処理を、合わせて行う１つの画像回復処理ブロックとしても良い。

次に、図１０を用いて、本実施形態における色付き抑制効果について説明する。
図１０は、図９に示す画面の周辺部に点光源がある画像における点光源のＡーＡ’部分の画素位置と画素値との関係を示す模式図である。図１０（ａ）及び（ｂ）は、いずれも上段に点光源のＡーＡ’部分におけるＲ成分とＧ成分を示しており、横軸は画素位置、縦軸は画素値を示している。また、下段は、上段で示したＲ成分とＧ成分の差分、つまり色差を表している。

まず、図１０（ａ）は、合焦時の画素位置と画素値との関係を示しており、左側の図は、画像回復処理を行わず、画像に各収差が残存している状態である。Ｇ成分、Ｒ成分ともにぼけており、さらにＧ成分とＲ成分のぼけ方が異なっているため、色にじみが発生している。このため、この場合の色差は左右のエッジ部分で正の値を持っている。一方、右側の図は、ＲＡＷ画像に画像回復処理を適用した例であり、収差が補正され、ぼけ成分が除去されている。ここで示した合焦時は画像回復処理による色付きが発生しない例である。そのため、本実施形態において、色付き抑制処理は不要と判定される。

図１０（ｂ）は、非合焦時の画素位置と画素値との関係を示しており、左側の図は、画像回復処理を行わず、画像に各収差が残存している状態である。Ｇ成分、Ｒ成分ともにぼけているが、Ｇ成分とＲ成分のぼけ方が一致している。このため、色差は全領域で０となっている。一方、中央の図は、ＲＡＷ画像に画像回復処理を適用した場合の出力画像を示しており、収差が補正され、ぼけ成分が低減されている。しかし、Ｇ成分とＲ成分のぼけ方が異なっているため、色にじみが発生している。この場合の色差は、左右のエッジ部分で負の値を持っている。この色にじみが本実施形態において抑制の対象となる色付きである。右側の図は、本実施形態を適用した場合の結果であり、色付き抑制処理によって、画像回復処理による色付きが適切に抑制され、色差は全領域で０となっている。

このように本実施形態を使用することで、ＲＡＷ画像に対し画像回復処理を行う場合でも色付きを適切に抑制することができる。

画像回復処理による色付きを抑制するための色差情報は、画素補間後のＧを用いて算出しているが、Ｇを補間する方向が異なると色差情報も変化する。そのため画像回復前のＧを補間する第１の画素補間部１００１による補間の方向と、画像回復後のＧを補間する第２の画素補間部１００７による補間の方向が異なると、その後算出する色差情報に補間方向の違いによる影響も含まれてしまうため、色付き抑制の精度が低下する場合がある。これにより、本来Ｒ，Ｂの信号を調整する必要がない画素も調整されてしまうことになる。

画像回復前の画像には撮像光学系の収差による画質劣化が発生しており、またコマ収差のように非対称なボケにより被写体の形状が変化した状態である。画像回復後の画像ではそれらが軽減されているため、画像回復前の画像からエッジ方向を推定した場合と、画像回復後の画像からエッジ方向を推定した場合とで方向が異なる場合がある。そのため、第１の画素補間部１００１と第２の画素補間部１００７で補間する方向を合わせることで、画像回復による色付きを適切に抑制することが可能となる。

また、画像回復後は、撮像光学系の収差による影響が軽減され、被写体本来の形状が復元されている状態である。従って、画像回復後の画像から推定したエッジ方向情報に基づいて、画像回復前のＧの補間の方向を決定することで、画素補間の精度を向上させることが可能となる。

また、第３の画素補間部１０１２におけるＧの補間方向と、第１の画素補間部１００１、第２の画素補間部１００７で補間する方向が異なると、第３の画素補間部１０１２の出力画像における色付きが問題になる場合がある。これは画像回復による色付き抑制に用いた補間後のＧ信号と、その後の現像処理における補間処理で生成された補間後のＧ信号の違いによるものである。第３の画素補間部１０１２に入力される画像データは画像回復後の画像であるため、第１の画素補間部１００１、第２の画素補間部１００７では画像回復後の画像から推定したエッジ方向情報を用いることでその影響を軽減することが可能である。

なお、本実施形態において、第３の画素補間部１０１２で行われる画素補間方法と、第１の画素補間部１００１及び第２の画素補間部１００７で補間する方法は同一である必要はない。例えば、第３の画素補間部１０１２で行われる画素補間方法は、第１の画素補間部１００１及び第２の画素補間部１００７で用いる画素補間方法よりも演算負荷が大きく、高精度な処理を用いることも可能である。

第３の画素補間部１０１２によるＧの補間結果と、第２の画素補間部１００７によるＧの補間結果が大きく異なると、最終画像の色付きが適切に抑制できない場合があるが、画素補間方法の違いより、補間方向の差が出易いのは画像の高周波成分の大きい領域である。そのためエッジ方向推定部１０１３により推定した補間方向判別信号に対してローパスフィルタ適用部１０１４で高周波成分を減衰させることで、第３の画素補間部１０１２による画素補間処理との違いによる影響を軽減させることが可能となる。なお、ローパスフィルタ適用部１０１４で適用するローパスフィルタの係数は、本実施形態で説明したフィルタ係数に限定する必要はなく、第３の画素補間部１０１２で行われる画素補間方法と、第１の画素補間部１００１及び第２の画素補間部１００７の画素補間方法の結果に基づいて決定すればよい。

次に、図１０（ａ）で示した合焦時と、図１０（ｂ）で示した非合焦時のそれぞれで、画像回復フィルタ適用前後のＧ成分とＲ成分のぼけ方が違う理由について、図１１を用いて説明する。図１１（ａ）～（ｄ）は、撮像光学系のＭＴＦと画像回復フィルタ適用後のＭＴＦの空間周波数特性を示した模式図である。また、図１１（ｅ）は、画像回復フィルタによるＭＴＦの増減率（回復ゲイン）を示した模式図である。

図１１（ａ）は、合焦時の撮像光学系のＭＴＦであり、Ｒ成分はＧ成分よりも劣化した状態になっている。従って、図１０（ａ）の左側の図ではＧ成分とＲ成分のぼけ方が異なり、点光源の断面においてはＲ成分の方がＧ成分よりも広がった状態になっている。

図１１（ｂ）は、合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが適切に補正され、Ｇ成分とＲ成分は一致している。これは図１１（ａ）のＭＴＦに図１１（ｅ）の回復ゲインが乗算された結果である。画像回復フィルタは合焦部分に最適な画像回復処理が行えるように設計されているため、合焦時は適切な画像回復処理がされる。従って図１０（ａ）の右側の図に示す画像回復処理を実施した例では、Ｇ成分とＲ成分のぼけが適切に除去され、色にじみも除去されている。

一方、図１１（ｃ）は、非合焦時の撮像光学系のＭＴＦであり、図１１（ａ）の合焦時と比較するとＧ成分もＲ成分も劣化した状態で一致している。従って図１０（ｂ）の左側の図に示すように、Ｇ成分とＲ成分のぼけ方が一致しているが、図１０（ａ）の左側の図で示した合焦時より、ぼけが大きくなっている状態である。

図１１（ｄ）は、非合焦時の画像回復フィルタ適用後のＭＴＦであり、Ｇ成分とＲ成分ともにＭＴＦが補正されているが、Ｇ成分はＲ成分よりも劣化した状態になっている。これは図１１（ｃ）のＭＴＦに図１１（ｅ）の回復ゲインが乗算された結果である。画像回復フィルタは、合焦部分に最適な画像回復処理が行えるように設計されているため、非合焦時は狙い通りの画像回復結果にならない場合がある。従って図１０（ｂ）の中央の図の画像回復処理を実施した例では、Ｇ成分とＲ成分のぼけは低減しているが、Ｇ成分の方がＲ成分よりも広がった状態になっている。

＜第２の実施形態＞
次に、本発明の第２の実施形態における画像回復処理について説明する。
まず、本実施形態で用いる倍率色収差補正成分を含まない画像回復フィルタと、倍率色収差の補正について説明する。

・倍率色収差補正成分を含まない画像回復フィルタ
画像回復処理の空間領域と周波数領域での特性を図１２、図１３を用いて説明する。図１２（ａ）は画像回復処理前のＰＳＦ、図１２（ｂ）は画像回復処理後のＰＳＦを示している。また、図１３（ａ）のグラフ１３０１は画像回復処理前のＭＴＦ、グラフ１３０２は画像回復処理後のＭＴＦを示し、図１３（ｂ）のグラフ１３１１は画像回復処理前のＰＴＦ、グラフ１３１２は画像回復処理後のＰＴＦを示している。画像回復処理前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは零ではない値を持っている。画像回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、画像回復処理後のＰＳＦは対称で先鋭になる。

この画像回復フィルタは、撮像光学系のＯＴＦの逆数に基づいて設計した関数を逆フーリエ変換することで得ることができる。本実施形態で用いる画像回復フィルタは、適宜変更可能であり、例えば、ウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（１６）を逆フーリエ変換することで実際に画像に畳み込む画像回復フィルタを作成することができる。

ここで、倍率色収差について説明する。図１４のグラフ１４０２は、グラフ１４０１の結像位置を基準として平行移動した位置に同形状のＰＳＦとして結像した２つの色成分を表している。このときのＰＴＦを図１５に示す。図１５のグラフ１５０１、１５０２は図１４のグラフ１４０１、１４０２にそれぞれ対応しており、グラフ１５０１は、位相が傾きをもった直線となっている。画像回復フィルタは、このような直線的なＰＴＦも図１３（ｂ）の１３１１のような非直線のＰＴＦも、元となるＯＴＦに含まれているため、図１５のグラフ１５０２のように補正することができる。

また、予めＰＴＦから直線成分を除去したＯＴＦを基に画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。一方、空間領域で倍率色収差成分を除去する場合、図１４のグラフ１４０２をグラフ１４０１の位置に平行移動したＰＳＦを生成し、これをフーリエ変換することで、同様に倍率色収差の成分を除去したＯＴＦを生成することができる。実際にはグラフ１４０１とグラフ１４０２のＰＳＦの形状は異なるため、位置合わせに関しては、例えば重心を一致させる方法や、グラフ１４０１とグラフ１４０２の差分の二乗平均を最小化する方法がある。このＯＴＦをもとに画像回復フィルタを生成することで、平行移動としての倍率色収差の成分を補正しない画像回復フィルタを生成することができる。

このように、画像回復フィルタに倍率色収差補正の成分を含ませないことで、画像回復フィルタの適用により倍率色収差は補正されない。このようにすることで、色成分ごとの非対称収差の補正及び先鋭化と、倍率色収差の平行移動の成分である色ずれの補正とを、分離して処理することが可能になる。

・倍率色収差の補正
倍率色収差の補正量は、上述のようにＰＴＦの直線成分やＰＳＦの形状等、撮像光学系の設計値から算出することが可能である。また、倍率色収差はＧに対するＲのズレ量、Ｇに対するＢのズレ量として扱うことができる。以下、本実施形態における倍率色収差の補正方法について説明する。

倍率色収差による色ずれ量は、一般的に撮像に用いた光学形の光軸中心からの距離を示す像高によって変動する。ここで、ある像高Ｌにおける色ずれ量Ｄから、像高Ｌに対する色ずれ率Ｍを次式（１７）のように定義する。

Ｍ＝Ｄ／Ｌ …（１７）
ある光学系の像高と色ずれ率の例を図１６に示す。この図から分かるように、像高と色ずれ率の関係は高次の多項式によって近似することができる。そのため、像高ｌと色ずれ率ｍの関係を表す高次の多項近似式Ｆ（ｌ）を算出し、これを補正値とする。ここでは次式（１８）に示すように三次の多項式とする。なお式（１８）において、ａ、ｂ、ｃは係数を示している。

ｍ＝Ｆ（ｌ）＝ａｌ３＋ｂｌ２＋ｃｌ …（１８）
補正は画素位置をシフトすることで行うが、具体的な方法を以下に示す。

まず、補正したいプレーン（Ｒプレーン、Ｂプレーン）の画素(Ｘ，Ｙ)において、画素（Ｘ，Ｙ）の像高Ｌから色ずれ率Ｍを求める。なお、光学中心が（０，０）の座標系とする。

Ｍ＝Ｆ(Ｌ) …（１９）
次に、色ずれ補正により生成する画素の座標（Ｘ１，Ｙ１）を求める。

Ｘ１＝Ｍ×Ｘ …（２０）
Ｙ１＝Ｍ×Ｙ …（２１）
補正したいプレーンにおいて、上記座標（Ｘ１，Ｙ１）に相当する画素値を、一般的な補間処理により生成し、画素（Ｘ，Ｙ）の画素値とする。これらを全画素について行うことで、色ずれ補正を行う。
以上が、画像から倍率色収差補正の処理概要である。

次に、図１７のフローチャートを参照して、第２の実施形態における画像回復処理の詳細について説明する。図１７において、まずＳ２０１では画像回復処理を行うＲＡＷ画像データを読み込む。このＲＡＷ画像データは、図４（ａ）に示すような、各画素に１色の色成分を有する。

次に、Ｓ２０２では、ＲＡＷ画像に対してホワイトバランス処理を適用する。これは後に行われる処理で、画像回復処理による色付きの抑制処理を精度良く行うためのものである。ホワイトバランス処理で用いるＲ，Ｂへのゲイン値は、ＲＡＷ画像からホワイトバランスのゲイン値を推測して適用してもよいし、ＲＡＷ画像データがメモリ等に画像ファイルとして予め記録されたものであれば、画像ファイルに記録された値を使ってもよい。

次にＳ２０３では、Ｒ成分とＢ成分に対し、倍率色収差を補正する。上述したように、ここでの入力はＲＡＷ画像であり、Ｒ成分とＢ成分は限られた画素にのみ値を持つ歯抜けの状態であるが、対象の色成分の値を持つ画素のみを使用した補間処理による画素位置のシフトを行うことで、歯抜け状態のＲＡＷ画像のまま倍率色収差補正を行う。

次のＳ２０４では、撮影条件に適した画像回復フィルタを選択する。ただし、本実施形態の画像回復フィルタは、倍率色収差補正成分を含まないフィルタとなっている。換言すると、この画像回復フィルタは、収差の非対称性及び広がりを補正して画像の先鋭化を行うが、倍率色収差の平行移動成分に関しては補正しないフィルタとなっている。

このとき、選択した画像回復フィルタを必要に応じて補正しても構わない。例えば、予め記憶部１０８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておき、実際に画像回復処理を実行する際に画像回復フィルタを補正してもよい。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報を記憶部１０８に記憶しておき、撮像状態に適したＯＴＦに関する情報を選択して、画像回復フィルタを生成してもよい。

次のＳ２０５からＳ２１３までの処理は、Ｓ２０３で倍率色収差が補正されたＲＡＷ画像に対して、Ｓ２０４で選択した倍率色収差補正成分を含まない画像回復フィルタを用いることを除いて、第１の実施形態の図３のＳ１０２～Ｓ１１０における処理と同様であるため、詳細な説明は割愛する。

Ｓ２１４では、画像回復処理済みのＲＡＷデータに対し、逆ホワイトバランス処理を適用する。これはＳ２０２で適用したＲ，Ｂへのホワイトバランスゲイン値で除算する処理である。この処理によりＲＡＷデータおけるＲ，Ｇ，Ｂの比は撮影時の状態に近付き、本実施形態により保存されたＲＡＷ画像ファイルをその後、現像処理を行う場合に再度ホワイトバランスを適用することや、ユーザーによるホワイトバランスゲイン値の調整が可能になる。

次のＳ２１５では、ＲＡＷ画像データをＲＡＷ画像ファイルとして保存し、本実施形態における画像処理を終了する。

このように保存されたＲＡＷ画像は画像回復処理が適用されているため、撮影時の撮像光学系の収差による画質劣化が軽減されたＲＡＷ画像ファイルである。このファイルを現像する処理には、既存の現像処理を適用可能であり、従来の現像処理装置や現像処理方法を使用することが可能である。本実施形態で示したように画像回復処理における色付き対策時に画像回復処理後の画像から補間方向判別信号を生成し、補間方向判別信号にローパスフィルタを適用することで、保存したＲＡＷ画像ファイルを現像する際の画素補間処理との違いによる影響を軽減することが可能である。

以上、本実施形態にかかわる画像回復処理について説明した。ここで、本実施形態においてＳ２０３で倍率色収差補正を行い、Ｓ２０５で倍率色収差補正成分を含まない画像回復フィルタを適用する効果について説明する。

図１８及び図１９は、図９に示す画面の周辺部に点光源がある画像における点光源のＡ－Ａ’部分の画素位置と画素値との関係を示す模式図である。図１８及び図１９は、いずれも上段に点光源のＡ－Ａ’部分におけるＲ成分とＧ成分を示しており、横軸は画素位置、縦軸は画素値を示している。また、下段は、上段で示したＲ成分とＧ成分の差分、つまり色差を表している。

まず、図１８は、非合焦時の画素位置と画素値との関係を示しており、図１８（ａ）は、倍率色収差補正及び画像回復処理を行う前の各収差が残存している状態である。Ｇ成分、Ｒ成分ともにぼけており、さらに倍率色収差により色ずれが発生しているため、左右のエッジで色差が発生している。ただし、Ｇ成分とＲ成分のぼけ方は一致している状態である。

これに対し、倍率色収差補正のみを実施したものが図１８（ｂ）である。Ｇ成分、Ｒ成分ともにぼけているが、倍率色収差補正により色ずれが消滅しており、もともとＧ成分とＲ成分のぼけ方は一致していたため、色差は全領域で０となっている。図１８（ｃ）は、さらに倍率色収差補正成分を含まない画像回復フィルタによる画像回復処理を適用した状態を示している。これは非合焦時の例であるため、ぼけは低減しているが、実際の撮像状態での収差の状態と、画像回復フィルタの対象としている収差の状態が異なるために色にじみが発生している。この色にじみが本実施形態において抑制の対象となる色付きである。本実施形態を使用した場合、色付き抑制処理は倍率色収差が補正された状態に相当する図１８（ｂ）の色差と、画像回復フィルタを適用した状態に相当する図１８（ｃ）の色差の変化を判定することで行われる。この場合、図１８（ｂ）の状態では、色差は全領域で０であるため、画像回復フィルタの適用により色差が増大したと判定され、色付き抑制処理が実行される。図１８（ｄ）は色付き抑制処理が実行された場合を示しており、画像回復処理による色付きが適切に抑制され、色差は図１８（ｂ）と同様に全領域で０となっている。

一方、図１９は、図１８と同様に非合焦時の画素位置と画素値との関係を示しており、倍率色収差補正成分を含めた画像回復フィルタを使用した場合の例を示す。図１９（ａ）は、画像回復処理を行う前の画像に各収差が残存している状態であり、図１８（ａ）と同じである。

これに対し、倍率色収差補正成分を含めた画像回復フィルタを適用したものが図１９（ｂ）である。色ずれが消滅し、ぼけは低減されているが、画像回復フィルタの適用により色付きが発生している状態であり、図１８（ｃ）と同じである。

図１９（ｃ）は、色付き抑制処理が実行された場合を示しており、左のエッジは色付きが抑制されているが、右のエッジは色付きが抑制されずそのまま残っている状態である。倍率色収差補正成分を含めた画像回復フィルタを使用した場合、色付き抑制処理は、画像回復フィルタを適用する前の状態に相当する図１９（ａ）の色差と、画像回復フィルタを適用した状態に相当する図１９（ｂ）の色差の変化を判定することで行われる。この場合、左のエッジは色差が一部反転しているために色付き抑制処理が行われるが、右のエッジは色差が増大も反転もしていないため、色付き抑制処理は行われない。

上記の通り第２の実施形態によれば、前段で倍率色収差補正を行い、その後、倍率色収差補正成分を含まない画像回復フィルタを適用することで、ＲＡＷ画像における画像回復処理において、より高精度な色付き抑制が可能となる。

なお、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、撮像装置は、カメラ機能を備える電子機器であればよく、例えば、デジタルカメラ及びデジタルビデオカメラ等のカメラであってもよいし、カメラ付き携帯電話及びカメラ付きコンピュータ、ゲーム機等であってもよい。また、本発明の画像処理装置はカメラ機能を備えていなくても良く、外部から画像データを取得して処理する機能を有する装置であればよい。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：撮像光学系、１０１ａ：絞り、１０１ｂ：フォーカスレンズ、、１０２：撮像素子、１０３：Ａ／Ｄコンバータ、１０４：画像処理部、１０５：表示部、１０６：撮像光学系制御部、１０７：状態検知部、１０８：記憶部、１０９：画像記録媒体、１１０：システムコントローラ、１１１：画像回復処理部、１１２：その他画像処理部

Claims (14)

1. それぞれが複数色のカラーフィルタのいずれかにより覆われた複数の画素を有する撮像素子により撮像して得られた第１の画像データを取得する取得手段と、
   前記第１の画像データに対して、撮像光学系の収差による画像の劣化を補正する画像回復処理を行って、第２の画像データを生成する画像回復手段と、
   前記第２の画像データに基づいて、前記複数色のうち、予め決められた所定色の各画素について、隣接する前記所定色の画素との相関関係を求める演算手段と、
   前記相関関係に基づいて、前記第１の画像データの各画素が、前記所定色の画素値を有するように補間する第１の補間手段と、
   前記第１の画像データのうち、前記所定色を除く色の各画素について、当該画素の画素値と、前記第１の補間手段により補間された前記所定色の画素値とに基づいて、第１の特徴量を取得する第１の特徴量取得手段と、
   前記相関関係に基づいて、前記第２の画像データの各画素が、前記所定色の画素値を有するように補間する第２の補間手段と、
   前記第２の画像データのうち、前記所定色を除く色の各画素について、当該画素の画素値と、前記第２の補間手段により補間された前記所定色の画素値とに基づいて、第２の特徴量を取得する第２の特徴量取得手段と、
   前記第２の画像データのうち、前記所定色を除く色の各画素について、前記第１の特徴量と前記第２の特徴量とが予め決められた条件を満たすかどうかを判定し、満たす場合に、当該画素の画素値を補正して、第３の画像データを生成する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記演算手段は、前記第２の画像データにおける前記所定色の各画素について、水平方向の相関値と垂直方向の相関値とから相関の度合いを求め、当該相関の度合いにローパスフィルタを適用して得られた値に基づいて、前記相関関係を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の特徴量は、前記第１の画像データにおける前記所定色を除く色の各画素の画素値と、前記第１の補間手段により補間された前記所定色の画素値との差であり、
   前記第２の特徴量は、前記第２の画像データにおける前記所定色を除く色の各画素の画素値と、前記第２の補間手段により補間された前記所定色の画素値との差である
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記第２の画像データの前記所定色を除く色の各画素について、前記第１の特徴量の絶対値よりも前記第２の特徴量の絶対値の方が大きく、且つ、前記第１の特徴量の符号と前記第２の特徴量の符号が同じ場合に、前記第１の特徴量に基づいて補正し、前記第１の特徴量の符号と前記第２の特徴量の符号が異なる場合に、前記所定色の画素値に置き換えることを特徴とする請求項３に記載の画像処理装置。
5. 前記複数色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）であって、前記所定色は緑（Ｇ）、前記所定色を除く色は、赤（Ｒ）および青（Ｂ）であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の画像データに対して、倍率色収差を補正する倍率色収差補正手段を更に有し、
   前記画像回復手段、前記第１の補間手段、前記第１の特徴量取得手段は、前記倍率色収差が補正された第１の画像データを用いることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像回復手段は、前記倍率色収差の補正を除く画像回復処理を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記相関関係に基づいて、前記第３の画像データの各画素が、前記複数色それぞれの画像データを有するように補間する第３の補間手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第３の画像データを記憶媒体に記憶する記憶手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. それぞれが複数色のカラーフィルタのいずれかにより覆われた複数の画素を有する撮像素子により撮像して得られた第１の画像データを取得する取得手段と、
    撮像光学系の収差による画像の劣化を補正する画像回復フィルタを生成し、前記第１の画像データに対して前記画像回復フィルタを適用して第２の画像データを取得する画像回復手段と、を有し、
    前記画像回復フィルタは、前記撮像光学系の収差による画像の劣化を補正する画像回復処理と、前記画像回復処理により生じる色付きを補正する処理と、を含む処理に対応し、前記色付きを補正する処理は、第１の画像データの前記複数色のうち、予め決められた所定色の各画素について、隣接する前記所定色の画素との相関関係を求め、当該相関関係に基づいて補間した前記画像回復処理前と前記画像回復処理後の各画素の画素値の特徴に基づいて、前記所定色を除く色の各画素について色付きを判定して補正する処理であることを特徴とする画像処理装置。
11. それぞれが複数色のカラーフィルタのいずれかにより覆われた複数の画素を有する撮像素子と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
12. それぞれが複数色のカラーフィルタのいずれかにより覆われた複数の画素を有する撮像素子により撮像して得られた第１の画像データを取得する取得工程と、
    前記第１の画像データに対して、撮像光学系の収差による画像の劣化を補正する画像回復処理を行って、第２の画像データを生成する画像回復工程と、
    前記第２の画像データに基づいて、前記複数色のうち、予め決められた所定色の各画素について、隣接する前記所定色の画素との相関関係を求める演算工程と、
    前記相関関係に基づいて、前記第１の画像データの各画素が、前記所定色の画素値を有するように補間する第１の補間工程と、
    前記第１の画像データのうち、前記所定色を除く色の各画素について、当該画素の画素値と、前記第１の補間工程で補間された前記所定色の画素値とに基づいて、第１の特徴量を取得する第１の特徴量取得工程と、
    前記相関関係に基づいて、前記第２の画像データの各画素が、前記所定色の画素値を有するように補間する第２の補間工程と、
    前記第２の画像データのうち、前記所定色を除く色の各画素について、当該画素の画素値と、前記第２の補間工程で補間された前記所定色の画素値とに基づいて、第２の特徴量を取得する第２の特徴量取得工程と、
    前記第２の画像データのうち、前記所定色を除く色の各画素について、前記第１の特徴量と前記第２の特徴量とが予め決められた条件を満たすかどうかを判定し、満たす場合に、当該画素の画素値を補正して、第３の画像データを生成する補正工程と、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images