JP6907040B2 - 画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、倍率色収差（色ズレ）を補正する画像処理装置に関する。

デジタルカメラなどの撮像装置において、被写体像を結像するために用いられる撮像レンズが有する種々の収差は、被写体像の画質を低下させる要因となる。例えば倍率色収差は、結像した被写体像に色ズレを発生させる要因となる。

撮像装置に用いられる撮像素子の画素数は年々増加しており、単位画素サイズが縮小傾向にあるため、従来では殆ど問題とならなかった程度の倍率色収差でも画質を低下させる主要因となってきている。また倍率色収差に関しては、撮像レンズの製造誤差による個体ばらつきの影響で、撮像レンズの設計データにより算出される色ズレと異なる色ズレが発生する場合がある。これは、撮像レンズを構成するレンズ群の組み立て位置の誤差や、各レンズの材料のばらつきによる影響によるものである。

このような色ズレを画像処理により補正する技術として、撮影画像から補正すべき色ズレ量（補正量）を取得する技術が提案されている。画像から色ズレ量を取得する技術として、画像のエッジ部分における各色成分間の相関を利用する方法が知られている。

例えば特許文献１には、画像の中心から同心円状に色ズレを生じる同心円状収差と画像全体において色ズレの方向および量が均一に発生する均一収差とを算出することにより、レンズの個体ばらつきに応じた倍率色収差を補正する画像処理装置が開示されている。

特許第５５０５１３５号

特許文献１の画像処理装置は、製造誤差がある場合における倍率色収差の補正精度を向上させるため、画面内に同じ向きで同じ量だけ発生する均一収差の補正と、同心円状の収差補正とを行う。しかし特許文献１の画像処理装置では、レンズ取り付け時の偏芯（シフト）や倒れ（チルト）が発生した場合などの製造誤差により、画面内で一様でなく、かつ像高に関して一意でない誤差成分が生じた場合、倍率色収差（色ズレ）を高精度に補正することができない。

そこで本発明は、製造誤差による色ズレを高精度に補正することが可能な画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理装置は、画像の中心から放射方向の色ズレ量を検出する検出手段と、前記検出手段により検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出手段と、前記検出手段により検出された前記色ズレ量と、前記算出手段により算出された前記画像中心の前記色ズレ量とに基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としてのレンズ装置は、撮像光学系と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、画像の中心から放射方向の色ズレ量を検出する色ズレ量検出ステップと、前記色ズレ量検出ステップにより検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出ステップと、前記色ズレ量検出ステップにより検出された前記色ズレ量と、前記色ズレ量算出ステップにより算出された前記画像中心の前記色ズレ量と、に基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出ステップとを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、製造誤差による色ズレを高精度に補正することが可能な画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

（ａ）第１の実施形態における色ズレ補正処理を示すフローチャート、（ｂ）第１の実施形態における画像処理装置のブロック図である。 倍率色収差による色ズレ量の説明図である。 各実施形態における色ズレ補正値の算出に用いられるチャートの例である。 第１の実施形態における色ズレ量の説明図である。 第１の実施形態における色ズレ補正値の説明図である。 第１の実施形態における色ズレ補正方法の説明図である。 第１の実施形態における色ズレ補正値の説明図である。 第２の実施形態における撮像装置のブロック図である。 第２の実施形態における色ズレ補正処理を示すフローチャートである。 第２の実施形態における色ズレ取得領域の説明図である。 第２の実施形態における色ズレ検出方向の説明図である。 第２の実施形態における色ズレ量の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図２を参照して、倍率色収差による色ズレについて説明する。仮にレンズの製造誤差（固体ばらつき）がない場合、倍率色収差による色ズレは、レンズの設計データから知ることができる。この場合、一般的に倍率色収差は、光軸中心からの距離である像高に応じて一意の色ズレ量を示す。ただし実際には、レンズの製造誤差により、レンズの設計データのとおりにはならない場合が多い。

図２は、倍率色収差による色ズレの説明図であり、縦軸は色ズレ量、横軸は像高をそれぞれ示している。図２（ａ）は、ＲＧＢの画素を備えた撮像素子の面に結像するＧ成分に対するＲ成分の色ズレ量（設計値による色ズレ）を示す図であり、撮影画像の中心を通る水平方向の領域に関して示している。図２（ａ）において、色ズレ量のズレの方向として、撮影画像において右方向のズレを正、左方向のズレを負としている。すなわち、図２（ａ）に示されるように、像高が高くなるほどＧ成分に対しＲ成分は、より高像高側にずれている。一般的に、撮像装置（カメラ）およびレンズ装置（レンズ）は、光軸中心が画像中心と一致するように設計されるため、製造誤差がない状態では、図２（ａ）に示されるように画像中心に対して左右対称な色ズレが発生する。

図２（ｂ）は、レンズの製造誤差として、光軸に沿うようにレンズの取り付け位置誤差や、材料による屈折率誤差が発生した場合の色ズレの一例である。図２（ｂ）において、実線は実際の色ズレ（製造誤差の影響を反映した色ズレ）を示し、破線は設計値（設計データ）による色ズレを示している。図２（ｂ）に示されるように、製造誤差の影響を反映した色ズレは、設計データによる色ズレ量とは乖離しているが、画像の左右で対象な形状をしており、像高に応じた一意の色ズレとなっている。

図２（ｃ）は、レンズの製造誤差として、更に、レンズ取り付け時の偏芯（シフト）や倒れ（チルト）が発生した場合の色ズレの一例である。図２（ｃ）に示されるように、レンズの偏芯や倒れにより、画像中心においても色ズレが発生する場合がある。また、レンズの倒れにより、結像位置が画面上の位置に応じて異なり、その結果、画像の左右で色ズレ量が互いに異なっている。これは、例えば画面の右側の高像高に向かって撮像素子よりも前（レンズに近い側）で結像し、画面の左の高像高に向かって撮像素子の後ろ側（レンズから遠い側）で結像しているような状態である。また、レンズの光軸が画面中心とは異なる場合もある。

このように、レンズの製造誤差による光軸ズレや結像位置による影響で、色ズレは画面内の位置に応じて異なり、像高に応じて一意には決定せず、また、レンズの設計データによる倍率色収差からの乖離も像高に応じて一意に決定しない場合がある。

この状態の色ズレが発生している画像に対し、レンズの設計データに基づいて画像処理による色ズレ補正を行っても、図２（ｄ）に示されるように補正残りが発生し、その残り量は像高に応じて異なる。理想的は補正を行った場合、図２（ｅ）に示されるように、画像上の全ての領域において色ズレが発生していない状態となる。以下の各実施形態は、このような課題を解決するものである。

＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。本実施形態では、レンズの製造誤差による影響を反映させた倍率色収差（色ズレ量）に関する補正データ（倍率色収差補正値、色ズレ補正値）を、レンズ装置の製造工程において算出する方法について説明する。算出した補正データは、撮像装置がレンズ一体型デジタルカメラの場合にはデジタルカメラ本体に記憶されて用いられる。また補正値は、撮像装置が一眼レフカメラのようなレンズ交換式カメラの場合にはレンズ装置の本体に記憶されて用いられる。ただし本実施形態は、これらに限定されるものではない。

補正データは、レンズ装置の製造工程において、チャートを撮影することにより算出される。倍率色収差による色ズレは、画像のエッジ部に顕著に現れる。このため、図３に示されるように、補正値の算出に用いられるチャートとして、画像の中心から放射方向に８つの方向（Ｎ、ＮＷ、Ｗ、ＳＷ、Ｓ、ＳＥ、Ｅ、ＮＥ方向）にエッジが存在するようなチャートが用いられる。なお本実施形態において、画像の中心からの放射方向に色ズレを検出することができればよく、チャートの構成は図３に示される例に限定されるものではない。

次に、図１を参照して、レンズ装置で発生する倍率色収差による色ズレ量の算出方法について説明する。図１（ａ）は、倍率色収差による色ズレ量の算出方法（色ズレ補正処理）を示すフローチャートである。図１（ｂ）は、画像処理装置のブロック図である。図１（ａ）の各ステップは、レンズ装置の製造工程において、画像処理装置１０により行われる。

図１（ｂ）に示されるように、画像処理装置１０は、検出手段１１、色ズレ量算出手段１２、および、補正データ算出手段１３を有する。検出手段１１は、画像から放射方向の色ズレ量を検出する。色ズレ量算出手段１２は、検出手段１１により検出された色ズレ量に基づいて、画像中心の色ズレ量を算出する。補正データ算出手段１３は、検出手段１１により検出された色ズレ量と、色ズレ量算出手段１２により算出された画像中心の色ズレ量とに基づいて、画像の色ズレ量に関する補正データを算出する。

まず、ステップＳ１０１において、検出手段１１は、倍率色収差による色ズレ検出を行うレンズが装着された撮像装置を用いて、例えば図３に示されるチャートの撮影を行い、撮影画像を取得する。撮像装置で取得される画像データは、ＲＧＢの成分から構成される画像であり、各画素にＲＧＢの情報を保持するように予め処理を施しておく。また、取得した撮影画像を用いて後述の色ズレ量を取得するため、ここでは、デジタルカメラが一般的に行うガンマ補正、先鋭化処理、および、色再現処理などの各処理を実施していない状態の画像を取得する。

続いてステップＳ１０２において、検出手段１１は、チャート上のエッジ近傍の色ズレを検出する（色ズレ量検出ステップ）。対象とするエッジは、画像の中心からの動径方向において画素値が変化するエッジである。このエッジは、画像から検出することができ、または、エッジが存在するチャート上の位置から画像上の領域を予め特定しておいてもよい。画像からエッジを検出する場合、画像の中心からの動径方向において画素値が大きく変化するエッジを検出すればよい。

色ズレ量の取得は、Ｇプレーン（Ｇ成分）に対するＲプレーン（Ｒ成分）（または、Ｂプレーン（Ｂ成分））の相関が最も大きくなる位置を探すことにより行われる。エッジ検出方向は、画像の中心からの放射方向に行われる。例えば図３中の矢印で示されるように、エッジ検出方向は、エッジが存在する位置に応じて、左／右（Ｗ／Ｅ）方向、上／下（Ｎ／Ｓ）方向、右斜め上／左斜め下（ＮＥ／ＳＷ）方向、左斜め上／右斜め下（ＮＷ／ＳＥ）方向のいずれかに設定される。

図４は、図３に示されるチャートを用いて画像の中心を通る水平方向（図３中のＥ方向とＷ方向）に存在するエッジで演算したＲ成分のＧ成分に対する色ズレ量の例である。図４において、色ズレ量は、撮影画像の右方向へのズレを正、左方向のズレを負としている。

続いて、図１のステップＳ１０３において、色ズレ量算出手段１２は、ステップＳ１０２にて検出された色ズレ量に基づいて、画像中心部で発生する色ズレ量を算出する（色ズレ量算出ステップ）。これは、検出した色ズレ量のうち、画像中心付近であって、かつ画像中心に対して対称な位置における検出結果を用いて行われる。具体的には、図４に示される色ズレ検出結果の中で、画像中心に対して対称な位置ｈ１、ｈ１′における検出結果を用いる。位置ｈ１の色ズレ量をｄ１、位置ｈ１′の色ズレ量をｄ１′とすると、２つの色ズレ量ｄ１、ｄ１′の平均値Ｃｅは以下の式（１）のように求められる。

Ｃｅ＝（ｄ１＋ｄ１′）／２ … （１）
同様に、画像中心を通って垂直方向（図３中のＮ方向とＳ方向）に存在するエッジを用いて演算した色ズレ量に対しても、画像中心付近であって、かつ画像中心に対して対称な位置における検出結果を用いて平均値Ｃｎを算出する。

このように算出した平均値Ｃｅは画像中心部で発生する色ズレ量の水平成分であり、平均値Ｃｎは画像中心部で発生する色ズレ量の垂直成分である。なお、８つの方向に存在するエッジのうち、斜め方向（図３中のＮＥ方向とＳＷ方向、ＮＷ方向とＳＥ方向）に存在するエッジを用いた色ズレ量の検出結果を用いて、もう１組の色ズレ量（色ズレ成分）の平均値Ｃｎｅ、Ｃｎｗをそれぞれ検出することができる。そして、平均値Ｃｎｅ、Ｃｎｗと先に演算した平均値Ｃｅ、Ｃｎとを平均することにより、画像中心部の色ズレベクトルを一意に決定することが可能である。

色ズレ量ｄ１、ｄ１′は、完全に画像中心に位置するエッジから取得された色ズレ量ではなく、画像中心からある程度の距離がある位置のエッジから取得された色ズレ量である。このため、像高に応じた倍率色収差が発生していると考えられる。ただし、このように画像中心に対し対称の位置で取得した色ズレ量から平均値を求めることにより、像高に応じた倍率色収差の影響を低減または除去し、画像中心部で発生している色ズレを高精度に推測することができる。また、像高の高い部分ではレンズの製造誤差による影響が大きく、また画面内で一様ではないズレ成分の影響が大きい場合があるため、画像中心付近の色ズレ量の検出結果を利用する。これにより、放射方向に検出された色ズレから画像中心の色ズレ量を算出することが可能である。

続いて、図１のステップＳ１０４において、補正データ算出手段１３は、ステップＳ１０２にて検出した各エッジの放射方向の色ズレ量と、ステップＳ１０３にて演算した画像中心部の色ズレ量とに基づいて、各放射方向に関して像高ごとの色ズレ量を算出する。すなわち補正データ算出手段１３は、画像中心からの方向ごとに（図３中に示される８つの方向のそれぞれに関して）、像高に応じた補正データ（倍率色収差に関する補正値、色ズレ補正値）を算出する。ステップＳ１０４（補正データ算出ステップ）にて算出された色ズレ量は、補正データに相当する。

図５は、補正データの説明図であり、画像中心を通る水平方向（Ｅ方向とＷ方向）に関する色ズレ量と像高との関係を示している。画像中心部の色ズレ量に相当する平均値Ｃｅは、ステップＳ１０３にて演算した画像中心部の色ズレ量の水平成分である。画像の右側において取得した像高ｈ１〜ｈ７のそれぞれの色ズレ量に基づいて、平均値Ｃｅを通る図５中の近似曲線１を三次関数などの多項近似式として算出し、算出した近似曲線１をＥ方向の倍率色収差に関する補正データ（色ズレ補正値）とする。また、画像の左側において取得した像高ｈ１′〜ｈ７′のそれぞれの色ズレ量に基づいて、平均値Ｃｅを通る図５中の近似曲線２を算出し、算出した近似曲線２をＷ方向の倍率色収差に関する補正値（色ズレ補正値）とする。同様に、Ｎ方向、ＮＷ方向、ＳＷ方向、Ｓ方向、ＳＥ方向、および、ＮＥ方向の倍率色収差に関する補正データ（色ズレ補正値）を算出する。このように本実施形態において、好ましくは、補正データ算出手段１３は、補正データとして、画像中心の色ズレ量（平均値Ｃｅ）を通る近似曲線を算出する。

続いて、図１のステップＳ１０５において、画像処理装置１０は、算出した各方向の補正データ（色ズレ補正値）を、撮像装置（カメラ）またはレンズ装置（レンズ本体）のメモリなどの記憶手段（例えば、図８中の記憶部１０８）に保存する。倍率色収差による色ズレ量や製造誤差の影響は、レンズの焦点距離、物体距離、および、絞りなどの光学条件（撮影条件）に応じて変化する。このため、光学条件ごとに補正値を算出することができる。または、複数の代表的な光学条件のそれぞれに関して補正値を算出し、その他の光学条件に関しては、後述の色ズレ量の補正時に、算出済みの補正値に基づいて撮影したときの光学条件に対応した補正値を算出してもよい。撮像装置を用いて撮影した際に、撮影時の光学条件に応じた８方向の補正値をメモリから取得、またはメモリに記憶されている代表的な光学条件の補正値から撮影時の光学条件に応じた補正値を補間などにより算出し、画像の倍率色収差（色ズレ量）を補正する。

図６は、色ズレ補正方法の説明図であり、画像におけるある補正対象画素と画像中心（中心画素）との位置関係を示している。図６を参照して、補正対象画素としての画素Ｐを補正する場合を説明する。図７は、色ズレ補正値の説明図である。図７（ａ）〜（ｃ）は、それぞれ、図６中に示されるＮ方向、ＮＥ方向、および、Ｅ方向に関する補正値の例を示している。

各方向の補正値は、像高ｌに対する補正曲線Ｆｎ（ｌ）、Ｆｎｅ（ｌ）、Ｆｅ（ｌ）として、撮像装置またはレンズ装置のメモリに保持される。画素Ｐは、ＮＥ方向とＥ方向に挟まれて位置している。このため、まず、画素Ｐの像高ｌｐに対応する図６中の位置Ｐ１、Ｐ２の色ズレ率Ｋ１、Ｋ２を、それぞれの方向の補正値に基づいて以下の式（２）、（３）のように算出する。

Ｋ１＝（Ｆｅ（ｌｐ）−Ｃｅ）／ｌｐ … （２）
Ｋ２＝（Ｆｎｅ（ｌｐ）−Ｃｎｅ）／ｌｐ … （３）
算出した色ズレ率Ｋ１、Ｋ２をＥ方向、ＮＥ方向のそれぞれに対する角度θ、θ′に応じて線形補間し、画素Ｐの色ズレ率Ｋｐを算出する。画素Ｐの座標を（ｘ，ｙ）すると、色ズレによってＲ成分が結像している位置（ｘ′，ｙ′）は、以下の式（４）、（５）のように算出される。

ｘ′＝ｘ×Ｒｐ＋Ｃｅ … （４）
ｙ′＝ｙ×Ｒｐ＋Ｃｎｅ … （５）
このように算出した位置（ｘ′，ｙ′）におけるＲ成分を画素ＰにおけるＲ成分に置き換えることにより、Ｇ成分に対するＲ成分の色ズレを補正することができる。同様に、このような補正を画像内の各画素に関して行い、またＢ成分についても補正することにより、画像の倍率色収差による色ズレを補正することができる。

図２（ｃ）に示される色ズレが発生している画像に対して前述の補正処理を行った結果は、図２（ｅ）に示される例のように画像内の各領域において色ズレが精度よく補正された状態である。本実施形態によれば、図２（ｃ）、（ｄ）に示されるようにレンズの設計データと実際の色ズレ量との乖離が画像において一様ではなく、かつ画像中心からの方向に応じてその量が異なる場合でも、適切に対応することが可能である。このように、放射方向に検出した色ズレ量を用いて、製造誤差によるばらつきを含む倍率色収差の色ズレ補正値を算出することにより、倍率色収差による色ズレを高精度に補正することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態では、撮影の際に画像から倍率色収差を検出して補正する撮像装置について説明する。

まず、図８を参照して、本実施形態における撮像装置の基本構成について説明する。図８は、撮像装置１００のブロック図である。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを有し、不図示の被写体を撮像素子１０２に結像する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサであり、撮像光学系１０１を介して形成された光学像（被写体像）を光電変換する。本実施形態において、撮像素子１０２は、複数の光電変換素子（複数の画素）が２次元状に配列され、一般的な原色カラーフィルタを備えた単板カラー撮像素子である。原色カラーフィルタは、６５０ｎｍ、５５０ｎｍ、４５０ｎｍの波長近傍に透過主波長帯を有する３種類の単位フィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、光電変換素子ごとに対応し２次元状に配列されている。これにより、各光電変換素子は、３種類の単位フィルタのいずれか一つの単位フィルタを透過した光を受光し、その強度を表す電気信号を出力する。従って、単板カラー撮像素子の各光電変換素子は、Ｒプレーン、Ｇプレーン、Ｂプレーンのうち１つの強度を出力する。このため、撮像素子１０２から出力される撮像画像は、色モザイク画像である。

Ａ／Ｄ変換部１０３は、撮像素子１０２からアナログ電圧として出力される色モザイク画像（アナログ画像）を、後段の画像処理に適するデジタルデータ（デジタル画像）へ変換し、画像処理部１０４に出力する。画像処理部１０４は、色分離部１１１、色ズレ検出部１１２、中心部色ズレ算出部１１３、像高別色ズレ算出部１１４、色ズレ補正部１１５、および、処理部１１６を有する。色ズレ検出部１１２、中心部色ズレ算出部１１３、および、像高別色ズレ算出部１１４は、第１の実施形態における検出手段１１、色ズレ量算出手段１２、および、補正データ算出手段１３にそれぞれ相当する。

色分離部１１１は、色モザイク画像を補間することにより、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。なお本実施形態における色モザイク画像の補間手法としては、隣接する異なる色プレーンの画素の値に基づく単純な線形補間や、「Ｅ．Ｃｈａｎｇ， Ｓ．Ｃｈｅｕｎｇ， ａｎｄ Ｄ．Ｐａｎ，“Ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ ｒｅｃｏｖｅｒｙ ｕｓｉｎｇ ａ ｔｈｒｅｓｈｏｌｄ−ｂａｓｅｄ ｖａｒｉａｂｌｅ ｎｕｍｂｅｒ ｏｆ ｇｒａｄｉｅｎｔｓ，”Ｐｒｏｃ． ＳＰＩＥ， ｖｏｌ． ３６５０， ｐｐ． ３６−４３， Ｊａｎ．１９９９」に記載されるような複雑な手法を用いることができるが、これらに限定されるものではない。

色分離部１１１により補間されたＲＧＢの各プレーンに対しては、色ズレ検出部１１２、中心部色ズレ算出部１１３、像高別色ズレ算出部１１４、および、色ズレ補正部１１５により色ズレ補正値の検出および補正が行われる。なお、これらの詳細については後述する。処理部１１６は、色ズレ補正後の画像データに対して、輝度系処理や色系処理などの所定の画像処理を行う。画像記録媒体１０９は、画像処理部１０４により処理されて出力された画像を所定のフォーマットで保存する。表示部１０５は、画像処理後の画像を表示することが可能である。

本実施形態の一連の制御は、システムコントローラ１１０により行われる。撮像光学系制御部１０６は、システムコントローラ１１０の指示に基づいて、撮像光学系１０１を機械的に駆動する。また撮像光学系制御部１０６は、Ｆナンバーの撮影状態設定として、絞り１０１ａの開口径を制御する。また撮像光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの光軸方向における位置を制御する。

画像処理部１０４は、状態検知部１０７から撮像装置１００の撮影状態に関する情報（撮影条件情報）を取得し、画像処理に利用することが可能である。状態検知部１０７は、システムコントローラ１１０から直接、撮影状態に関する情報を取得することができ、または、例えば撮像光学系１０１に関する撮像状態に関する情報を撮像光学系制御部１０６から取得してもよい。記憶部１０８は、画像処理部１０４により利用される各種のパラメータを格納するメモリ（記憶手段）である。画像処理部１０４は、記憶部１０８から、必要なパラメータを選択して利用する。また記憶部１０８は、本実施形態における補正データ（色ズレ補正値）を記憶する。

なお本実施形態において、撮像光学系１０１は撮像装置１００と一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、一眼レフカメラのように、撮像装置本体と撮像装置本体に着脱可能な撮像光学系（交換レンズ、レンズ装置）とを備えて構成される撮像システムにも適用可能である。この場合、本実施形態における画像処理部１０４の各部の機能の少なくとも一部、または、記憶部１０８の機能の少なくとも一部（補正データを記憶する記憶手段）を、交換レンズに設けてもよい。

次に、図９を参照して、色ズレ補正処理について説明する。図９は、色ズレ補正処理を示すフローチャートである。図９の各ステップは、システムコントローラ１１０の指令に基づいて、画像処理部１０４（色ズレ検出部１１２、中心部色ズレ算出部１１３、像高別色ズレ算出部１１４、または、色ズレ補正部１１５）により実行される。

まずステップＳ２０１において、色ズレ検出部１１２は、色分離部１１１により生成されたカラー画像から、エッジ（エッジ部分）を検出する。これは、撮像光学系１０１の倍率色収差による色ズレは、画像のエッジ部分に顕著に現れるためである。画像のエッジ検出には、Ｙ（輝度）プレーンが用いられる。Ｙプレーンは、ＲＧＢプレーンから公知の式を用いて算出することができる。または、Ｇプレーンの値をＹプレーンとして用いてもよい。なお、ステップＳ２０１にて検出されるエッジは、光学中心からの動径方向に画素値が大きく変化するエッジに限定されることにより、精度の高い色ズレ量の取得が可能になる。また、Ｙプレーンに関して、倍率色収差による色ズレは、にじみとなって現れる。このため色ズレ検出部１１２は、例えば画素値の単調増加または単調減少が所定数連続するような、ある程度幅のあるエッジを検出することが好ましい。

続いてステップＳ２０２において、色ズレ検出部１１２は、ステップＳ２０１にて検出された各エッジに関して、色ズレ量を取得する。色ズレ量の取得は、Ｇプレーンに対するＲプレーン（またはＢプレーン）の相関が最も大きくなる位置を探すことにより行われる。なお、光学中心からの方向に関する領域に応じて、色ズレ検出方向を１つに定める。図１１は、色ズレ検出方向の説明図である。図１１（ａ）〜（ｄ）の斜線で示される各領域の画素に関して、それぞれ、矢印で示される方向にＧプレーンに対するＲプレーン（またはＢプレーン）の相関が最も大きくなる位置を探す。色ズレ検出部１１２は、取得した色ズレ量を、対象エッジの画面内の位置に応じて集計する。

図１０は、色ズレ取得領域の説明図であり、画像を複数の領域に分けた状態を示している。画像中心からの方向に応じて、画像を８つの領域（Ｎ、ＮＷ、Ｗ、ＳＷ、Ｓ、ＳＥ、Ｅ、ＮＥ）に分け、それぞれの領域に対し、画像中心からの距離である像高に応じてさらに８つの領域に分けている。このように分けた６４個の領域のそれぞれに関して、色ズレ量を集計する。各領域に複数のエッジが存在し複数の色ズレ量を取得した場合、その平均値を算出するなどし、各領域で１つの色ズレ量を算出する。

続いて、図９のステップＳ２０３において、色ズレ検出部１１２は、各領域で取得した色ズレ量の分散値から算出した色ズレ量の信頼性を判定する。これは、取得した色ズレ量が領域内で大きくばらつく場合、実写画像における被写体の色やエッジの角度などの影響により取得した色ズレ量の信頼性が低いと考えられるためである。色ズレ量の信頼性が低い場合、取得した色ズレ量を使用（採用）しない。色ズレ検出部１１２は、領域ごとに色ズレ量から算出した分散値と所定の閾値とを比較する。そして色ズレ検出部１１２は、算出した分散値が所定の閾値よりも大きい場合、その領域で取得した色ズレ量を無効にする。

図１２は、色ズレ量の説明図であり、図１１（ａ）に示される領域内の色ズレ検出結果の例を示している。画像の右側におけるＥ領域の検出結果を位置（像高）ｈ１〜ｈ７、画像の左側におけるＷ領域の検出結果を位置（像高）ｈ１′〜ｈ７′として示している。図１２において、色ズレ量の方向は、撮影画像において右方向へのズレを正、左方向のズレを負としている。この例では、画像のＥ領域における位置ｈ５およびＷ領域における位置ｈ４′では、対象のエッジが検出されないか、または、ステップＳ２０３での分散によるばらつき判定により色ズレ量の無効と判断された領域である。

続いて、図９のステップＳ２０４において、このように色ズレ量を算出できなかった位置（領域）に関して、周囲の色ズレ量算出結果から補間により色ズレ量を算出する。図１２（ｂ）は、位置ｈ５の色ズレ量を位置ｈ４、ｈ６の色ズレ量の平均値とし、位置ｈ４′の色ズレ量を位置ｈ３′、ｈ５′の色ズレ量の平均値としてそれぞれ算出した結果を示している。位置ｈ５、ｈ４′では本来の色ズレ量を算出することができないが、画像にはエッジが存在しないか、または被写体色によって色ズレが目立たない領域であると考えられるため、補正精度の影響が画質として現れ難いと領域といえる。

また、取得した領域の色ズレ量を、レンズの設計データによる倍率色収差量と比較してもよい。ここで、これらの乖離が大きい場合、その領域で取得した色ズレ量を無効にするか、またはレンズ設計データによる倍率色収差量から所定の範囲に収まるように値を修正することも有効である。製造誤差による色ズレのばらつき範囲が予め推測される場合、そのばらつき範囲とレンズ設計データによる倍率色収差量とを考慮し、画像から取得した色ズレ量の信頼性をさらに高めることが可能となる。

続いて、図９のステップＳ２０５において、中心部色ズレ算出部１１３は、ステップＳ２０２、Ｓ２０４にて算出した色ズレ量に基づいて、画像中心部で発生する色ズレ量を算出する。これは、検出した色ズレ量のうち、画像中心付近であって、かつ画像中心に対して対称な位置における検出結果を用いて行われる。具体的には、図４に示される色ズレ検出結果の中で、位置ｈ１の色ズレ量をｄ１、位置ｈ１′の色ズレ量をｄ１′とすると、２つの色ズレ量ｄ１、ｄ１′の平均値Ｃｅ１は以下の式（６）のように求められる。

Ｃｅ１＝（ｄ１＋ｄ１′）／２ … （６）
また、位置ｈ２の色ズレ量をｄ２、位置ｈ２′の色ズレ量をｄ２′とすると、２つの色ズレ量ｄ２、ｄ２′の平均値Ｃｅ２は以下の式（７）のように求められる。

Ｃｅ２＝（ｄ２＋ｄ２′）／２ … （７）
また、位置ｈ３の色ズレ量をｄ３、位置ｈ３′の色ズレ量をｄ３′とすると、２つの色ズレ量ｄ３、ｄ３′の平均値Ｃｅ３配下の式（８）のように求められる。

Ｃｅ３＝（ｄ３＋ｄ３′）／２ … （８）
そして中心部色ズレ算出部１１３は、平均値Ｃｅ１、Ｃｅ２、Ｃｅ３の平均を算出することにより、画像中心部で発生する色ズレ成分Ｃｅを求める。

Ｃｅ＝（Ｃｅ１＋Ｃｅ２＋Ｃｅ３）／３ … （９）
同様に、図１１（ｂ）に示される領域で取得した色ズレ量に対しても、画像中心付近であって、かつ画像中心に対して対称な位置における検出結果を用いて平均値Ｃｎを算出する。このように算出した平均値Ｃｅは画像中心部で発生する色ズレ量の水平成分であり、平均値Ｃｎは画像中心部で発生する色ズレ量の垂直成分である。なお、８つの方向に存在するエッジのうち、斜め方向（図１１中のＮＥ方向とＳＷ方向、ＮＷ方向とＳＥ方向）に存在するエッジを用いた色ズレ量の検出結果を用いて、もう１組の色ズレ量（色ズレ成分）の平均値Ｃｎｅ、Ｃｎｗをそれぞれ検出することができる。そして、平均値Ｃｎｅ、Ｃｎｗと先に演算した平均値Ｃｅ、Ｃｎとを平均することにより、画像中心部の色ズレベクトルを一意に決定することが可能である。

本実施形態において、色ズレ量ｄ１、ｄ１′、ｄ２、ｄ２′、ｄ３、ｄ３′は、完全に画像中心に位置するエッジから取得した色ズレ結果ではなく、画像中心から少なからず距離がある位置のエッジから取得した色ズレ量である。このため、像高に応じた倍率色収差が発生していると考えられる。ただし、このように画像中心に対して対称な位置で取得した色ズレからそれぞれ平均値を求めることにより、像高に応じた倍率色収差の影響を低減または除去し、画像中心部で発生している色ズレを高精度に推測することができる。また、像高の高い部分ではレンズの製造誤差による影響が大きく、また画面内で一様ではないズレ成分の影響が大きい場合があるため、画像中心付近の色ズレ量の検出結果を利用する。これにより、放射方向に検出された色ズレから画像中心の色ズレ量を算出することが可能である。

続いて、図９のステップＳ２０６において、像高別色ズレ算出部１１４は、画像中心からの方向ごとに（図１０中に示される８つの方向のそれぞれに関して）、像高に応じた補正データ（倍率色収差に関する補正値、色ズレ補正値）を算出する。続いてステップＳ２０７において、色ズレ補正部（補正手段）１１５は、ステップＳ２０６にて算出した補正データに基づいて、倍率色収差による色ズレを補正する。すなわち色ズレ補正部１１５は、撮像光学系１０１の倍率色収差による画像（撮影画像）の色ズレ量を低減するように、補正データを用いて画像を補正する。なお、これらの処理は第１の実施形態の処理と同一であるため、その説明を省略する。このように、放射方向に検出した色ズレ量を用いて、製造誤差によるばらつきを含む倍率色収差の色ズレ補正値を算出し、高精度に補正する撮像装置が可能となる。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

各実施形態によれば、製造誤差による色ズレを高精度に補正することが可能な画像処理装置、撮像装置、レンズ装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上述の実施形態の一部を適宜組み合わせてもよい。

１０４ 画像処理部（画像処理装置）
１１２ 色ズレ検出部（検出手段）
１１３ 中心部色ズレ算出部（色ズレ量算出手段）
１１４ 像高別色ズレ算出部（補正データ算出手段）

Claims (13)

1. 画像の中心から放射方向の色ズレ量を検出する検出手段と、
   前記検出手段により検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出手段と、
   前記検出手段により検出された前記色ズレ量と、前記色ズレ量算出手段により算出された前記画像中心の前記色ズレ量と、に基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出手段と、を有することを特徴とする画像処理装置。
2. 前記補正データ算出手段は、前記補正データとして、前記画像の複数の放射方向のそれぞれに関して、像高に応じた色ズレ量に関する補正データを算出すること特徴とする請求項１に記載の画像処理装置。
3. 前記補正データ算出手段は、前記補正データとして、前記画像中心の前記色ズレ量を通る近似曲線を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記色ズレ量算出手段は、前記画像中心の色ズレ量として、互いに異なる放射方向における所定の像高に関して前記検出手段により検出された前記色ズレ量の平均値を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補正データ算出手段により算出された前記補正データを記憶する記憶手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 撮像光学系の倍率色収差による前記画像の前記色ズレ量を低減するように、前記補正データを用いて前記画像を補正する補正手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、前記画像に含まれるエッジ部分において、前記放射方向の前記色ズレ量を検出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記検出手段は、
   前記画像から検出された前記放射方向の色ズレ量のばらつきに基づいて検出結果の信頼性を判定し、
   前記検出結果の前記信頼性が低いと判定した場合、該検出結果を採用しないことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
   前記撮像素子により取得された画像の中心から放射方向の色ズレ量を検出する検出手段と、
   前記検出手段により検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出手段と、
   前記検出手段により検出された前記色ズレ量と、前記算出手段により算出された前記画像中心の前記色ズレ量と、に基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出手段と、を有することを特徴とする撮像装置。
10. 撮像光学系と、
    前記撮像光学系を介して形成された画像の中心から放射方向の色ズレ量を検出する検出手段と、
    前記検出手段により検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出手段と、
    前記検出手段により検出された前記色ズレ量と、前記算出手段により算出された前記画像中心の前記色ズレ量と、に基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出手段と、を有することを特徴とするレンズ装置。
11. 画像の中心から放射方向の色ズレ量を検出する色ズレ量検出ステップと、
    前記色ズレ量検出ステップにより検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出ステップと、
    前記色ズレ量検出ステップにより検出された前記色ズレ量と、前記色ズレ量算出ステップにより算出された前記画像中心の前記色ズレ量と、に基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出ステップと、を有することを特徴とする画像処理方法。
12. 画像の中心から放射方向の色ズレ量を検出する色ズレ量検出ステップと、
    前記色ズレ量検出ステップにより検出された前記色ズレ量に基づいて、画像中心の色ズレ量を算出する色ズレ量算出ステップと、
    前記色ズレ量検出ステップにより検出された前記色ズレ量と、前記色ズレ量算出ステップにより算出された前記画像中心の前記色ズレ量と、に基づいて、前記画像の色ズレ量に関する補正データを算出する補正データ算出ステップと、をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images