JP2017224906A - 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム - Google Patents

Abstract

【課題】光学情報を利用し色にじみ判定を行うことで、画像ぶれを補正したときに生ずる色にじみを低減しつつ、良好な色にじみ補正処理を提供する。【解決手段】入力画像を取得する画像取得工程Ｓ１と、取得した画像の撮影情報を取得する撮影情報取得工程と、撮影時の防振群の位置情報を取得する位置情報取得工程と、撮影光学系の収差による色にじみ発生方向に関する光学情報を取得する光学情報取得工程と、撮影画像における各色画素値が単調増加或いは単調減少している領域を検出する単調増減領域検出工程Ｓ２と、単調増減領域検出工程Ｓ２により検出された領域の単調増減方向と光学情報の色にじみ発生方向から色にじみ領域を判定する色にじみ判定工程Ｓ４と、撮影画像の色にじみを補正する色にじみ補正工程Ｓ５を備える。色にじみ判定工程Ｓ４において撮影時の露光時間中の防振群の位置の変動に基づく光学情報を色にじみ判定に利用することを特徴とする。【選択図】図１

Description

本発明は、カラー画像に対して色にじみを軽減する画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラムに関する。

従来、カラー撮像が可能な撮像装置では、撮像素子に被写体の光学像を結像させる撮影光学系の色収差により、画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。

撮像装置による可視光カラー撮像では、撮影光学系の中心波長である緑から離れた部分で色にじみが起きやすく、青や赤或いは双方が混じった紫色のアーチファクトがにじみ状に生じ、色にじみやパープルフリンジなどと呼ばれる。撮像装置の撮影光学系の色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。

しかし、近年、撮像装置（デジタルカメラ）の小型化が進み、撮像素子に用いる撮像センサの高解像度化と共に撮影光学系の小型化に対する要求も高まり、色収差を撮影光学系のみで十分に抑えることは困難となってきている。

そこで、画像処理による上記アーチファクトの抑制が求められている。

色収差は横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は図１６に示すように結像位置が波長により像面に沿う方向にずれる現象である。また、縦色収差は図１７に示すように結像位置が波長により光軸に沿う方向にずれる現象である。横色収差に対しては、原色系のデジタル撮像系であれば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対し異なる歪曲を加える幾何変換により補正することができる（特許文献１）。

一方、縦色収差は、例えば可視光域の中心波長を担うＧ（緑）プレーンで合焦した画像においては、可視光域端部となるＲ（赤）プレーンやＢ（青）プレーンでは被写体に焦点が合わず不鮮明な画像（ピンボケ画像）となる。これは横色収差のような幾何変換では補正できない。色にじみは主に白とび（予め設定した信号の飽和領域）周辺に生じる特性を利用して、Ｇ（緑）プレーンの飽和している領域を探索し、その周辺の領域の画素を積分して補正量を算出し補正する方法が提案されている（特許文献２）。

一方、撮像装置で撮像した画像の色にじみは白とび周辺で大きく発生するが、白とびしていない領域にも観察者にとって違和感のある色にじみは生じる。撮影したカラー画像における色プレーンの信号レベルが単調増加或いは単調減少している領域を色にじみ発生領域と判定し、色にじみを除去する方法が提案されている（特許文献３）。

米国特許第ＵＳＰ６７２４７０２Ｂ１明細書 特開２００７−１３３５９２号公報 特開２００９−２６８０３３号公報

特許文献２に記載されているような白とび領域を探索しその周辺の領域の色にじみを補正する処理方法では、白とびしていない領域にも観察者にとって違和感のある色にじみは生じるため、色にじみの補正効果は不十分である。

特許文献３に記載されているような撮影したカラー画像における色プレーンの信号レベルが単調増加或いは単調減少している領域を色にじみ発生領域と判定し、色にじみを除去する処理方法は、白とびしていない領域の色にじみも補正が可能となる。これにより、高品質な撮影画像を得ることができる。

しかしながら、被写体の色が、撮影光学系の色収差と同系色の場合、単調増減判定のみで色にじみを判定すると、被写体の色を色にじみとして誤判定してしまう場合がある。色にじみは撮影光学系の収差により発生するため、コマ収差といった非対称な収差を持つ撮影光学系では、被写体に対して色にじみが発生する方向や発生しない方向が存在する。被写体の色が色にじみと同系色の場合、本来は色にじみが発生しない方向でも被写体の色を色にじみとして誤判定し、被写体本来の色を除去してしまうという問題が発生する。

また、従来より画像ぶれを補正する技術として、撮像装置の振動を検知し防振レンズ群や撮像素子を光軸に対して垂直方向に移動させることで、手ぶれ等による影響を緩和する防振システムが存在する。こうした光学防振システムあるいは撮像素子防振システムは、画像のぶれを低減できる一方で、防振を行わない状態と比べて防振レンズ群や撮像素子の偏芯に伴う偏芯収差等の影響によって結像性能が劣化してしまうという課題がある。

こうした光学防振システムあるいは撮像素子防振システムは、画像のぶれを低減できる一方で、防振を行わない状態と比べて防振レンズ群や撮像素子の偏芯による結像性能の低下、特にカラー画像の場合は像の色にじみが増大するという課題がある。

本発明は、画像ぶれを補正したときに生ずる色にじみを低減しつつ、良好な色にじみ補正処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することを目的とする。

上記の目的を達成するために、本発明に係る画像処理方法は、
カラーの撮影画像から撮影光学系の色収差を補正する画像処理方法であって、
入力画像を取得する画像取得工程と、
前記画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
撮影時の防振群の位置情報を取得する位置情報取得工程と、
撮影光学系の収差による色にじみ発生方向に関する光学情報を取得する光学情報取得工程と、
前記撮影画像における各色画素値が単調増加或いは単調減少している領域を検出する単調増減領域検出工程と、
前記単調増減領域検出工程により検出された領域の単調増減方向と前記光学情報の色にじみ発生方向から色にじみ領域を判定する色にじみ判定工程と、
前記撮影画像の色にじみを補正する色にじみ補正工程を備え、
前記色にじみ判定工程において撮影時の露光時間中の防振群の位置の変動に基づく光学情報を色にじみ判定に利用することを特徴とする。

本発明によれば、カラー画像の色にじみ補正処理の際、各色信号レベルの単調増加或いは単調減少判定に加えて結像光学系の色にじみ発生方向の情報を用いることで判定精度を向上させることができる。本発明の手法を用いることにより単調増減判定と色にじみ発生方向の情報を利用した判定の２つの判定結果から補正量を決めることで、本来色にじみが発生する方向のみ補正するため、被写体本来の色を除去してしまうという課題を解決することができる。さらに、本発明は防振レンズ群あるいは撮像素子の位置に基づいた色にじみ発生方向に関する光学情報を利用し色にじみ判定を行うことで、画像ぶれを補正したときに生ずる色にじみを低減しつつ、良好な色にじみ補正処理を実現する画像処理方法を提供することができる。

画像処理による色にじみ補正処理を示すフローチャート 画像処理による単調増減判定処理を示すフローチャート 単調増減判定対象の画素区間が単調増減特性を持つ例を示す図 単調増減判定対象の画素区間が単調増減特性を持たない例を示す図 （ａ）〜（ｄ）は注目画素を中心とした単調増減判定用の画素区間を示す図 （ａ）〜（ｈ）は注目画素を端の点とした単調増減判定用の画素区間を示す図 画像内の３×３画素の領域を示す図 画像内の３×３画素の領域の各画素に対してローパスフィルタ処理を施した結果を示す図 各画素に対してローパスフィルタ処理を施したときの入力信号の変化の例を示す図 対称な収差を持つ撮影光学系の単調増減検出の例を示す図 非対称な収差を持つ撮影光学系の単調増減検出の例を示す図 光学情報の説明図 光学情報と単調増減検出結果より色にじみ領域を判定する例を示す図 ２次元の光学情報の説明図 光学情報を用いた色にじみ判定処理を示す図 横色収差の発生原理を示す図 縦色収差の発生原理を示す図 青色にじみの典型的な画素値変化を示す図 Ｂプレーンの画素値に対する非線形変換の特性を示す図 色度座標ａｂ面を示す図 単調増減判定結果によるＢプレーン内の３×３画素の領域を示す図 実施例１における撮像装置の構成図 実施例３における画像処理システムの構成図 光学情報の算出方法を示す図 防振レンズ群の位置と光学情報の対応図 補間処理により生成した光学情報を示す図 光学情報の算出方法を示す図 実施例２における撮像装置の構成図

以下、本発明の実施の形態を図面に基づいて説明する。

まず、図１を参照して、本発明の画像処理方法について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。

図１は本実施例における画像処理方法（画像処理プログラム）のフローチャートである。

図１のフローチャートは、後述の画像処理装置や画像処理システムの指令に基づいて実行される。

まずステップＳ１において、撮影画像を入力画像として取得する。入力画像は、撮影光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮影光学系の収差により劣化している。撮影光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

撮影画像は、撮像装置と画像処理装置を有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。

次に単調増減検出工程（ステップＳ２）は、カラー画像を構成する複数の色プレーンのうち何れかの色プレーンの画素値が単調増加或いは単調減少している領域を検出し、色にじみ発生領域と仮判定する。単調増減領域検出工程で色にじみの領域を判定する方法としてはいくつかの方法が考えられるが、ここでは一定の画素区間の色にじみの画素値の変化特性に基づいて判定を行う。

色にじみは結像位置が波長により光軸に沿う方向にずれることで発生するため、例えば青色のにじみの場合は青色プレーン（以下Ｂプレーン）の焦点が合わない（ピンボケしている）ことになる。ピンボケによる色にじみは一定の画素区間に渡って存在し、その際の色にじみの画素値変化は画像のハイライト部からシャドウ部にかけて緩やかに減少していく特性を有する。従って、一定の画素区間の色にじみの画素値変化が単調増加或いは単調減少の特性を有する場合では、色にじみが発生している可能性があるため色にじみの発生領域として仮判定する。

実際には、撮影光学系がコマ収差といった非対称な収差を有する場合、撮影光学系によって発生する色にじみは被写体に対して発生する方向と発生しない方向が存在する。よって、単調増減のみから色にじみを判定すると、被写体が色にじみと同系色の場合、被写体の色を色にじみと誤判定する場合が発生するため、単調増減検出のみでは色にじみが発生している領域を正しく判定できない。

単調増加或いは単調減少の検出する領域は、カラー画像の注目画素を中心とした水平方向或いは垂直方向或いは斜め方向の画素区間、注目画素を端の点とした水平方向或いは垂直方向或いは斜め方向の画素区間、の何れかを含む。

単調増減検出は、まず、色プレーンの画素値傾斜を計算する。入力画像が、例えば、Ｇプレーン、Ｂプレーン、Ｒプレーンの３色の色プレーンで構成されているとき、Ｂプレーンを色にじみ除去対象とし、基準プレーンとしてＧプレーンを用いる。Ｂプレーン、Ｇプレーンに対するそれぞれの輝度傾斜Ｂｌｅａ、Ｇｌｅａを、下式で示すように計算する。

ここで、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、Ｇプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、Ｇプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、Ｇプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、Ｇプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。ここでは、３色の色プレーンで説明を行うが、画像を構成する色プレーン数により、任意の色プレーンで処理を行うことができる。

次に、単調増減検出工程の色にじみ発生領域の判定方法について図２のフローチャート、図３、図４を用いて説明する。

図２において、まず、後述の画像処理装置は、ＩＳＯ感度が高いかどうかを判定する（ステップＳ１５２０）。ＩＳＯ感度が高い場合は後述のステップＳ１５２１に移行し、ＩＳＯ感度が高くない場合はステップＳ１５２２に移行する。

入力画像の注目画素を中心とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する（ステップＳ１５２２）。

更に、上記の画素区間の入力信号の画素値変化が単調増減の特性を持つかどうかを判定する（ステップＳ１５２３）。

判定の結果、上記の画素区間の入力信号の画素値変化が単調増減の特性を有さない場合は、注目画素を端の点とした時の縦・横・斜めの画素区間に対して入力信号の画素値変化を解析する（ステップＳ１５２４）。
更に、上記の画素区間の入力信号の画素値変化が単調増減の特性を持つかどうかを判定する（ステップＳ１５２５）。

図３に、単調増減判定対象の画素区間が単調増減特性を持つ例を示す。図４に、単調増減判定対象の画素区間が単調増減特性を持たない例を示す。図３、図４に示すような画素値変化を持つ入力信号に対して単調増減判定を行う。図３、図４にそれぞれ示す白い四角が注目画素である。

図３のように入力信号の画素値変化が単調増減の特性を持つ画像に対しては、単調増減判定を行う画素区間内も単調増減の特性を持つため、ステップＳ１５２２の解析の結果、単調増減の特性を有すると判定する（ステップＳ１５２３）。

他方、図４のような入力信号の画素値変化の特性を持つ画像に対しては、単調増減の特性は有さないと判定する（ステップＳ１５２３）。

以上の判定を経て、上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性或いは単調減少の特性）を有していれば、単調増減フラグを立てる（ステップＳ１５２７）。

他方、上記の画素区間の入力信号の画素値変化が単調増減の特性（単調増加の特性或いは単調減少の特性）を有していなければ、単調増減フラグを立てない（ステップＳ１５２６）。

上述した単調増減判定をＢプレーンの各画素に対して適用する。その結果、各画素において単調増減フラグが立っていれば「１」、単調増減フラグが立っていなければ「０」をそれぞれ対応させ、単調増減判定結果プレーンとして生成して保持し、後述の色にじみ判定ステップＳ４、ステップＳ８で利用する。単調増減判定結果プレーンの利用方法の詳細については後述する。

次に、注目画素に対する単調増減判定を行う画素区間の設定方法を図５、図６を用いて説明する。

図５（ａ）〜（ｄ）は注目画素を中心とした単調増減判定用の画素区間を示す。図６（ａ）〜（ｈ）は注目画素を端の点とした単調増減判定用の画素区間を示す。

注目画素を中心とした画素区間の設定方法と注目画素を端の点とした画素区間の設定方法のうち、注目画素を中心とした画素区間の設定方法としては、図５（ａ）、（ｂ）に示すように注目画素を中心として水平／垂直方向に設定する方法が考えられる。

また、注目画素を中心とした画素区間の設定方法としては、図５（ｃ）、（ｄ）に示すように注目画素を中心として斜め方向に設定する方法が考えられる。即ち、斜め方向についても水平／垂直方向と同程度の距離の画素区間を設定すれば等方性を持たせることができる。この場合、斜め方向の角度は図示のように４５°の設定に限定されるものではなく、任意の角度を設定してもよい。その際の画素区間の距離ｄは以下の式で算出する。

ここで、ｘは水平方向を示し、θは水平からの角度を示す。

一方、画像におけるハイライト部周辺の色にじみやシャドウ部周辺の色にじみは、各々、飽和やノイズの影響を受けることで、色にじみが存在するにも関わらず、判定対象の画素区間内では単調増減の特性を持たず正しく判定できない場合がある。その場合は、図６に示すように注目画素を端の点として画素区間を設定する方法が効果的である。

以上のような方法で単調増減判定を行い、図５、図６に示す画素区間のいずれか１つでも単調増減の特性を持つ画素区間が存在すれば、注目画素は単調増減の特性を持つ画素として判定する。

本実施の形態では、単調増減判定を行う対象として入力信号の画素値を利用しているが、輝度傾斜を利用しても構わない。その場合は、一定の画素区間において輝度傾斜の変化が１回だけ反転する特性を持つ場合が色にじみであると判定することとなる。画素区間の画素数の適正値は、撮像装置のある撮影条件にて発生する色にじみのうち、最小の色にじみのにじみ幅に合わせるのが効果的である。

色にじみのにじみ幅は、撮像装置の撮影条件（絞り値、焦点距離、フォーカシング精度、画像面内におけるフォーカス位置、撮像素子上の座標等）により様々である。そのため、画素区間の画素数の適正値を、各種の撮影条件により発生する様々な色にじみの最小幅の色にじみに合わせることで、最小幅の色にじみを検出することが可能となる。最大幅の色にじみに関しては、最小幅の色にじみ用に合わせた画素区間を利用しても検出は可能である。

以上のように単調増減判定を行うことで、検出したい色にじみを抽出することが可能となる。しかし、高いＩＳＯ感度などの撮影条件によっては入力信号にノイズが乗りＳ／Ｎ比が低下し、その結果、色にじみが単調増減の特性を持たなくなることが考えられる。その際は、入力信号に対してデジタルフィルタによるフィルタリング処理を施す（以下「かける」）ことが有効である（ステップＳ１５２１）。本実施の形態ではデジタルフィルタをローパスフィルタとした場合を例にとる。

入力信号にローパスフィルタをかける方法としては幾つかの方法が考えられるが、例えば、注目画素の重み係数を隣接する画素の２倍の係数とする［１ ２ １］のローパスフィルタをかける例を示す。図７に示すような画像内の３×３画素のある領域においてｐを注目画素としたとき、まず、［１ ２ １］のローパスフィルタを水平方向にかけると、注目画素は下式で表される。

隣接する画素も同様に計算すると図８に示すようになる。次に、［１ ２ １］のローパスフィルタを垂直方向にかけると、注目画素は下式で表される。

ローパスフィルタをかけたときの入力信号の変化の一例を図９に示す。図９において横軸は画像上の断面（注目画素からの画素区間）であり、縦軸はプレーンの画素値である。

図示の実線はローパスフィルタをかけない場合、細かい破線は［１ ２ １］のローパスフィルタをかけた場合、粗い破線は［１ ４ ６ ４ １］ のローパスフィルタをかけた場合を示す。ここで、 ［１ ４ ６ ４ １］は、注目画素と隣接する画素と更にもう１画素分離れた画素にも重み係数をかけてローパスフィルタをかけることを意味する。

このようにして、ローパスフィルタをかけて入力信号を滑らかにすることで、色にじみが本来持つ単調増減の特性を際立たせることが可能となる。尚、本実施の形態ではローパスフィルタを水平→垂直の順番でかけたが、これに限定されるものではない。ローパスフィルタを垂直→水平の逆の順番でかけても構わない。また、２次元のローパスフィルタ係数を算出してローパスフィルタを水平・垂直同時にかけても構わない。

図１に戻り、ステップＳ３において防振システムが有効であるか無効であるかを判別する。ここで、防振システムが無効であった場合、つまり、防振レンズ群を移動させない場合は防振を考慮した色にじみ補正処理を行う必要がなく、以下に説明するステップＳ４からステップＳ６の処理を実施し、色にじみを低減した画像を出力する。一方、防振システムが有効であった場合は防振レンズ群を移動に伴う色にじみの補正処理を実行する必要がある。この場合は図１に示すように、ステップＳ７で防振レンズ群の位置情報を取得し、取得した位置情報に応じた光学情報を用いてステップＳ８で色にじみ判定を実行しステップＳ５の色にじみ補正処理へと移行する。

防振システムが有効である場合と無効である場合の処理の違いは撮影時の露光時間中の防振レンズ群の位置変化を考慮するかどうかという部分であり、有効である場合は位置の変化を考慮した光学情報を用いてステップＳ８で色にじみの判定を行う。逆に無効である場合は光学系内において露光時間中、防振レンズ群の位置の変化がなく光学性能も変化しないため、撮影時における色にじみに関する光学情報を用いて色にじみ判定を実行する。まずは防振システムが無効である場合における一連の処理について説明する。

ステップＳ４の色にじみ判定工程では、単調増減検出手段で色にじみ発生領域と仮判定された領域に対し、入力画像を撮影した撮影光学系の色にじみ発生方向の光学情報を用いて、色にじみ発生領域であるのかを判定する。単調増減検出のみから、色にじみ領域を判定した場合の弊害について図１０、図１１を用いて説明する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。さらに、横方向の色ずれも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＯＴＦ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

図１０は被写体の各点が球面収差のような対称にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１０（ａ）は被写体の画素値断面、（ｂ）は撮光学系のＰＳＦ断面、（ｃ）は撮影光学系で撮影された被写体の画素値断面を表している。

図１０（ｂ）に示すように、撮影光学系が対称な収差特性を持ちＰＳＦが対称である場合、被写体の両側のエッジ断面は、両方とも劣化した画像として図１０（ｃ）の実線のように撮影される。比較のため被写体の輝度断面図１０（ａ）を点線で表示している。図１０（ｃ）の白い四角を注目画素として、単調増減判定を行うとすると、両エッジとも単調増減領域として判定される。また、色のにじみも実際に発生するため、色にじみ発生領域の判定としては正しく判定される。

図１１は被写体の各点がコマ収差のような非対称にぼける光学特性の状態で撮影された画像に対し、単調増減検出を行う場合を説明した図である。図１１（ａ）は被写体の画素値断面、（ｂ）は結像光学系のＰＳＦ断面、（ｃ）は撮影光学で撮影された被写体の画素断面を表している。

図１１（ｂ）に示すように、撮影光学系が非対称な収差特性を持ちＰＳＦが非対称である場合、特に片側のエッジのみ大きく劣化する光学特性では、被写体のエッジ断面は、片側のみ大きく劣化した画像として図１１（ｃ）の実線のように撮影される。このような撮影画像に対し単調増減検出を行うと、両エッジとも単調増減領域として判定されるが、実際に撮影光学系により発生する色にじみは片側のみであるため、被写体本来の色を色にじみとして判定してしまう弊害が発生する。単調増減のみで色にじみ補正を行うと被写体本来の色を除去することになり、不自然な画像となり問題となる。

そこで、本件では、図１０（ｂ）や図１１（ｂ）のような撮影光学系の色にじみ発生方向に関する光学情報を有しておき、単調増減検出の単調増減方向と色にじみ発生方向が一致した場合に、色にじみ発生領域と判定を行っている。

光学情報について図１２で説明する。図には、撮影光学系のＰＳＦ断面と光学情報を示している。図１２（ａ）は図１０（ｂ）に示す撮影光学系のＰＳＦが対称な場合の光学情報である。また、図１２（ｂ）は図１１（ｂ）に示す撮影光学系のＰＳＦは非対称な場合の光学情報である。例えば、撮影光学系の収差により色にじみが発生する方向には１を持ち、発生しない場合は０を持つ。図１２（ａ）は色にじみが対称に両側で発生するため光学情報は両側とも１の値を持つ。図１２（ｂ）は色にじみが非対称に発生しており、左側エッジでは色にじみが発生しないため０、右側エッジでは色にじみが発生するため１の値を持つ。

図１３（ａ）に示すように、単調増減検出により、例えば、単調減少が検出された場合、その単調減少方向の光学情報を参照し、１を有していれば色にじみ補正領域と判定する。また、図１３（ｂ）で示すように単調減少方向の光学情報を参照し、０を有していれば被写体の色であると判定する。このように、撮影光学系の収差として色収差が発生する方向と、発生しない方向の情報を有することで、被写体の色と色にじみを正しく判定することができるため、色にじみ補正の精度を向上させることが可能となる。なお、色にじみの発生方向を１、発生しない方向を０としたが、発生の方向がわかればよく、０と１である必要性はない。撮影光学系の収差は、像高により変化するため、複数の像高での光学情報を有しておくことで、精度良く補正を行うことが可能となる。補正値を持たない像高では、近傍の補正値より補間生成しても良い。また、撮影光学系の収差は、撮影条件（焦点距離、物体距離、Ｆｎｏ）でも変化するため、撮影条件ごとに光学補正情報を持つことで、精度良く補正を行うことが可能となる。

また、図１０、図１１では光学情報を１次元の情報として説明を行ったが、撮影画像が、２次元配列のデータの場合は、光学情報も２次元のデータとして保持しても良い。

図１４は光学情報が２次元の場合を説明した図である。

図１４では、光学情報を画面上下左右、斜め４５度、１３５度の８方向のデータとして保持する場合の例を示す。図１４では、撮影光学系の色のコマ収差が画面上方向に発生しており、その発生方向に１の光学情報を保持する。色にじみの発生しない方向には０を保持する。単調増減検出を前記８方向で行い、単調減少が検出された方向に光学情報の１が保持されていた場合に色にじみと判定される。単調減少が検出されても、検出された方向に光学情報の１が保持されていなければ被写体の色と判定を行う。

以上のように、撮影光学系の色にじみが発生する方向に関する光学情報を保持しておき、単調増減検出時に、検出方向と光学情報を参照することにより精度良く色にじみ領域を判定することが可能となる。

なお、単調増減判定を単調減少方向で説明したが、単調増加方向を使用して、色にじみ判定を行っても良い。また、単調増減判定と光学情報の補正値を８方向で説明したが、８方向に限ったものではない。精度向上のため、検出方向を増加して良い。または、光学情報に関するデータ量の削減のため、検出方向を減少させても良い。

さらには、光学情報に、色にじみ発生方向に加え、色にじみの強度情報を保持することでさらに精度よく補正を行うことが可能となる。図１４（ｂ）に示すように、一般に撮影光学系の収差による色にじみの発生量は方向により異なる。そこで、図１４（ｄ）に示すように、色にじみの発生する方向に色にじみの発生量に関する色にじみ強度の情報を追加して良い。

図１５を用いて、色にじみ強度情報を用いた場合の色にじみ判定について説明する。

図１５（ａ）は光学情報に色にじみ発生方向のみを持つ場合の例である。

図の四角で囲まれた注目画素１について色にじみ発生領域の判定を行う場合、まず、注目画素を中心に上下左右、斜め４５度、斜め１３５度の８方向について単調減少判定を行う。図１５（ａ）の場合、高輝度被写体が注目画素の下側に位置するため、注目画素１の単調減少が検出される方向は、上と右上、左上の３箇所が判定される。その３方向の光学情報は色にじみ発生方向を示す「１」であるため、この注目画素１は色にじみ発生領域と判定される。また、同様に注目画素２についても検出を行うと、単調減少方向は上、右上、右、右下が判定される。

しかしながら、光学情報の色にじみ発生方向は、右下に発生しない方向を表す「０」を保持しているため、単調減少と光学情報より、最終的な注目画素２の色にじみ検出方向は、上、右上、右の３方向となる。注目画素１、注目画素２共に色にじみ発生が素と判定されるが図１４（ｂ）に示すように撮影光学系の色にじみ発生量は方向により異なるため、注目画素１と注目画素２では、色にじみの発生量が異なっている。光学情報に強度情報を持たない場合には、色にじみ量を判定できないため、このあとの色にじみ補正工程において補正の強さを変えて補正を行うことができない。よって、注目画素１にあわせて色にじみ補正を強くすると注目画素２では過補正となり、注目画素２にあわせて色にじみ補正を弱くすると注目画素１では、補正不足となってしまう。

そこで、図１４（ｄ）のように、光学情報に色にじみの発生方向と、その方向の色にじみ強度情報を追加すると良い。

図１５（ａ）、（ｂ）は光学情報に色にじみ強度情報も付加した場合の色にじみ領域の判定方法を示したものである。

図１５（ｂ）の注目画素３では、単調減少判定にて上、左上、右上の３方向が判定されるが、光学情報の色にじみ強度もそれぞれ２、３、２と強い色にじみ強度と検出することができる。図１５（ｃ）の注目画素４においては、上、右上、左下の３方向が判定されるが、その方向の光学情報の色にじみ強度はそれぞれ３、２、１と注目画素３に対して弱い色にじみ強度が検出される。よって、例えば、検出された方向の色にじみ強度の平均値により、この後の色にじみ補正処理の補正の強さを変えるといった処理を行うことで、色にじみの発生量が方向で異なる場合でもより正確に補正が可能となる。注目画素３では色にじみ強度の平均値が約２．３であり、また、注目画素４では色にじみ強度の平均値が２．０となり、この値を使って補正の強さを変えることが可能となる。色にじみ強度の平均値を使用する説明を行ったが、これに限ったものではなく、例えば色にじみ方向と検出された複数の方向の重心方向の色にじみ強度値を使用して色にじみ補正係数を変えても良い。注目画素３では重心方向が上となるため色にじみ強度は３、注目画素４では重心方向が右上となるため色にじみ強度は２となり、この値を使って補正の強さを変えることが可能となる。重心方向を採用する場合、例えば上、右上、右、右下といった４方向の重心を計算すると、重心方向に最も近い方向は右上、右の２方向となる場合がある。この場合は、２方向の平均値、２方向のうち大きい方の色にじみ強度、または、２方向のうち小さいほうの色にじみ強度を用いるなどが考えられる。平均値、重心方向で説明したが、光学情報の色にじみ強度情報を任意に演算して色にじみ補正時の補正の強さを変えてよい。

図２７を用いて、光学情報の算出方法について説明する。

図２７は光学情報として保持する任意の方向での、撮影光学系のＧプレーンのＰＳＦ断面（実線）とＢプレーンのＰＳＦ断面（点線）を示している。

Ｇプレーンを基準プレーンとし、Ｂプレーンの色にじみに関して光学情報を算出する方法を説明する。

撮影光学系の色収差により、Ｇプレーン、Ｂプレーンはそれぞれの波長帯での収差により、異なったＰＳＦ形状となる。また、倍率色収差により、Ｇプレーン、Ｂプレーンはそれぞれ、ずれた位置に結像するため、それぞれのＰＳＦのピーク位置も図２７（ａ）に示すように、ずれた位置で算出される。倍率色収差による各色プレーンのずれは、従来から行われている、各色プレーンに対し異なる歪曲を加える幾何学変換により補正することができる。そのため、図２７（ｂ）に示すように、Ｇプレーン、ＢプレーンのそれぞれのＰＳＦのピーク位置を一致させて、図の斜線部にあたる基準であるＧプレーンとＢプレーンのＰＳＦ面積差を色にじみ強度として採用する方法が考えられる。図２７（ｂ）では、ピークよりも左側エッジの面積差よりも右側エッジの面積差が大きいため、右側エッジで大きく色にじみが発生することがわかる。この面積が小さければ色にじみは目立たないので、面積が小さい場合を色にじみが発生しない方向とすることができる。また、面積比より、色にじみ強度を決定することが可能となる。以上により、光学情報の色にじみが発生する方向や色にじみ強度を算出できるが、算出方法としてＰＳＦの面積差を使用する方法に限ったものではない。例えば、図２７（ｂ）において、ＧプレーンとＢプレーンのエッジの傾き差を使用する方法が考えられる。色にじみが発生する場合、エッジの傾きは緩くなる傾向にあるため、傾き差等を使うことで、光学情報を決定するなどしても良い。

このように、光学情報の色にじみ発生方向と、色にじみ強度情報を算出することができる。

尚、光学情報を算出する際には、撮像光学系の設計値を元に生成してもよいし、実際に製造したレンズを計測することでＰＳＦ等を求め光学情報を生成してもよい。

図１に戻り、色にじみ補正工程（ステップＳ５）で、ステップ４にて色にじみ領域と判定された領域に対して色にじみを補正する処理を実行し、ステップＳ６で色にじみが補正された画像を出力する。

図１８に、青色にじみの典型的な画素値変化を示す。

図１８において横軸は画像上の断面であり、縦軸はＢプレーン及びＧプレーンの画素値である。図１８では左端に飽和輝度を超える高輝度被写体が存在するとする。そして、本来明るくない光源周囲も、収差やフレアにより光源からにじんだ光により、画素値変化の裾が指数関数的に拡がる。

基準プレーンであるＧプレーンであってもにじみは無いわけではなく、ある程度の拡がりが存在するが、それは色にじみ除去対象のＢプレーンに比べると小さい。また、撮像素子は一定の飽和レベル以上の画素値を測定することはできない。このような画素値変化において、色にじみ除去対象のＢプレーンの強度が基準プレーンであるＧプレーンの強度を上回ると青色にじみとなる。

本実施の形態では、色にじみ除去対象のＢプレーンの画素値変化の傾きによりＢプレーンのにじみ量を推定する。そこで、Ｂプレーンの輝度傾斜Ｂｌｅａの絶対値に係数ｋ１を乗じて第１の推定にじみ量Ｅ１とする。

Ｅ１＝ｋ１｜Ｒｌｅａ｜
ここで、ｋ１は正値である。ただし、Ｂプレーンが飽和している領域Ａ１では画素値傾斜は０になってしまい飽和前の輝度傾斜が得られない。

そこで、Ｂプレーンが飽和している領域Ａ１に対する推定にじみ量Ｅ２をＧプレーンの画素値変化の輝度傾斜Ｇｌｅａにより推定する。

Ｅ２＝ｋ２｜Ｇｌｅａ｜
ここで、ｋ２は正値である。

次に、Ｂプレーンの画素値に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＢプレーンが飽和しているかどうかを示すものであり、Ｂプレーンの強度が飽和している領域では飽和度Ｓが１となり、Ｂプレーンの強度が小さい領域では飽和度Ｓは０となる。飽和度Ｓは０、１の２値でもよいが、図１９に示すように飽和度Ｓは０〜１にかけて連続的に変化する値としてもよい。

そして、上記の生成した飽和度Ｓにより、上記のように算出した推定にじみ量Ｅ１または推定にじみ量Ｅ２を選択する。即ち、飽和度Ｓが０、１の２値であれば新たな推定にじみ量Ｅを、
Ｅ＝Ｅ１ （Ｓ＝０の場合）
Ｅ＝Ｅ２ （Ｓ＝１の場合）
とする。また、飽和度Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定にじみ量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。

次に、上記の推定にじみ量Ｅを修正し、実際に除去する量Ｅ’を決める。推定にじみ量（除去量）は一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。

例えば同じＢプレーンに検出される光であっても波長４５０ｎｍの光と波長４００ｎｍの光ではにじみ方が変化するが、推定ステップＳ１５３ではこれを考慮していない。推定にじみ量（除去量）が過小である場合は、青色にじみの除去後も若干の青みが残る。一方、推定にじみ量（除去量）が過大である場合は、灰色の背景に対してＢプレーンを減らし過ぎ、黄緑色になる場合がある。

特に後者（黄緑色になる場合）は不自然で観察者に大きな違和感を与える。そこで、過除去抑制ステップＳ１５４では、一定の色相範囲内でのみ、にじみ除去が作用するよう制限する。このため、まず、色にじみ除去部１４０は、画素の色度を計算する。Ｒ、Ｇ、Ｂの各プレーンの強度に対し、

とする。

上記のａを横軸としｂを縦軸とする色度座標ａｂ面を図２０に示す。図示のように青色は色度座標ａｂ面の斜線で示す第４象限にある（尚、赤、黄、紫は第１象限、緑、白は第２象限、青緑は第３象限にある）。Ｂプレーンの強度から推定にじみ量Ｅを除去すると、Ｂ＝Ｂ−Ｅとなり、色度座標ａｂ面上では点線矢印のように左上方向へ移動する。矢印の始点が推定にじみ量Ｅの除去前の色度であり、終点が推定にじみ量Ｅの除去後の色度である。このことから、作用する色相範囲をａ＞０かつｂ＜０に制限すると、
Ｂ＞０．２２Ｒ＋０．６８Ｇ かつ Ｂ＞−１．８４Ｒ＋３．３０Ｇ
となる。

このため、上記式の条件を満たさない画素に対し、実際に除去する除去量Ｅ’＝０とし、色にじみ除去対象から外す。これにより、上記式の条件を満たさない画素は、画素値が影響を受けることがない。図２０では斜線で示す第４象限の領域のみが除去対象となる。

更に、上記式の条件を満たす画素に対しても、除去量Ｅ’を、
Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０．２２Ｒ＋０．６８Ｇ），Ｂ−（−１．８４Ｒ＋３．３０Ｇ））
とする。除去量Ｅ’の除去による色度変化は図２０に実線矢印で示すように、第４象限内に留まるようになる。

尚、本実施の形態では色度座標ａｂ面の第４象限で制限したが、任意の角度で制限しても構わない。その際には、
Ｂ＞ｒ１・Ｇ＋ｒ２・Ｒ かつ Ｂ＞ｒ３・Ｇ＋ｒ４・Ｒ
が条件となる。

ここで、ｒ１〜ｒ４は制限角θを用いて下記の式で算出される。色相制限は色度座標ａｂ面の原点を通る２本の直線で定義され、θ１、θ２はその２本の直線を表す角度である

これにより、色相制限範囲を超えてＢプレーンが減少するのを防ぐことができる。以上のようにして算出した、色にじみの除去対象とする色プレーンの除去量Ｅ’を除去量プレーンとして保持し、色にじみ補正処理を行う。除去量プレーンに対しては上記のローパスフィルタ処理を行う。尚、本実施の形態では、色相制限に簡易的なａ＊ｂ＊平面を用いたが、３×３のＲＧＢ→ＹＵＶマトリクスを用いてｕｖ平面にて色相制限処理を行っても構わない。

上記の除去量Ｅ’をＢプレーンの強度から差し引くことで新たなＢプレーンを作成する。色にじみ除去対象としては、色にじみ判定ステップＳ４にて色にじみ領域と判定された画素のみとする
従って、新たなＢプレーンの強度は、単調増減判定フラグが「１」ならば、
Ｂ＝Ｂ−Ｅ’
単調増減判定フラグが「０」ならば、
Ｂ＝Ｂ
となる。このように、Ｂプレーンを修正したカラー画像を出力画像として出力する（ステップＳ５）。

さて、図７に示した画像内の３×３画素のある領域における単調増減判定結果が、図２１に示すように隣接する画素で単調増減判定フラグの値が切り替わる場合を考える。このような場合、画素の境界部では除去量がばたつき（隣接する画素で除去される場合と除去されない場合が混在すること）、画素値の変化が急峻になり、不自然で観察者に違和感を与える場合がある。そこで、このような場合には、生成した除去量プレーンに対してローパスフィルタをかける方法が有効である。

また、下記に示す式により単調増減判定結果プレーンを用いて色プレーンの各画素のゲインを算出し、除去量に乗算することで、境界部（単調増減判定結果プレーン）に対するスムージング処理を行ってもよい。

図２１に示す例では、画素ｐの除去量Ｅ’’は

となる。

このような方法で、色にじみのみを違和感無く除去することが可能となる。以上が本実施例における防振システムを無効にした場合の色にじみ補正の流れとなる。

次に、防振システムが有効の場合、つまりステップＳ３においてＹＥＳが選択された場合の色にじみ補正処理について説明する。

防振システムが有効の場合は、まずステップＳ７において防振レンズ群の位置情報を取得する。図２４は横軸を時間、縦軸を防振レンズ群の撮像面と平行な方向における位置を示している。尚、縦軸のスケールは説明の便宜上与えられており、移動範囲の最大最小の絶対値を１．０に正規化している。本実施例では図２４に示すように、露光時間中において時間Ｔごとに防振レンズ群の位置情報を取得する。時間Ｔは防振レンズ群の可動範囲や光学系の性能に合わせて設定され、防振レンズ群の可動域が広く防振レンズ群の位置が大きく変化する場合や防振レンズ群の変化に対して結像性能の変動が大きい光学系ついてはより細かい間隔で取得する必要がある。また、図２４のように等間隔で取得するのではなく、防振群の変化に合わせて、変化がある場合のみ取得することで取得データ量削減の図ってもよい。

次に、ステップＳ８において、前ステップＳ７で取得した防振レンズ群の位置情報を用いて色にじみ判定を行う。本ステップはステップＳ３で色にじみ発生領域と仮判定された領域に対し、撮影光学系の色にじみ発生方向の光学情報を用いて再度色にじみ判定を行うという点は既出のステップＳ４における色にじみ判定と同じであるが、用いる光学情報が異なる。よって、ここでは本ステップにおける色にじみ発生方向の光学情報について詳しく説明する。

図２４は撮影光学系の色にじみが発生する方向及び強度に関する光学情報の一例を示したものであり、（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は防振レンズ群の位置がそれぞれー１．０、―０．５、０．０、０．５、１．０にある場合を表している。図２４のように、防振レンズ群の位置により光学性能は変化するため、それに応じて撮影画像の色のにじみ方も変化する。図２４（ｃ）は防振レンズ群がちょうど中央にある状態を示しており、防振システムが無効である場合は防振レンズを偏芯させずに光軸上で固定となるため、図２４の例では（ｃ）を利用すればよいということになる。一方、防振システムが有効である場合、基本的には露光時間中に防振レンズ群の位置が変化することになるので、位置の変動を考慮した光学情報で色にじみの判定を行う必要がある。位置の変動を考慮した光学情報の作成方法としてはいくつか手法が存在するが、ここではまず露光時間中の防振群の平均位置を算出し、その位置に対応する光学情報を利用する場合について説明する。

まず、前ステップＳ７で時間Ｔの間隔で取得した位置情報を加算し、取得したデータ数で除算すること平均位置を算出する。図２４の黒点のように防振レンズ群が変動する場合、点線で示した値が露光時間中における防振群の平均位置でとなり約０．３５となる。この平均位置に対応した光学情報を利用することで、防振を考慮しない場合、つまり図２４（ｃ）の光学情報で色にじみ判定をするよりも高精度な判定を行うことができるが、必ずしもその平均位置の光学情報を保持しているとは限らない。もっとも単純な方法は色にじみに関する光学情報を防振レンズ群の位置に対してより細かく刻んで記録部にあらかじめ保持しておき、算出した防振レンズ群の平均値と記録部にある光学情報を照合して最も近い光学情報を取得するという方法がある。図２４で示した５つのデータを保持している場合は、平均値に最も近い光学情報は（ｄ）となるので、本ステップでは光学情報（ｄ）を記録部より取得する。図２４では説明の都合で防振レンズ群の位置に対する光学情報として５つのパターンとしているが、平均値に最も近い光学情報を取得するという方式を採用する場合は、より多くの光学情報を保持しておく方が好ましい。

このように算出した平均値に最も近い光学情報を選択する以外の手法としては、複数の光学情報を取得しそれらの光学情報から算出した平均の位置に対応する光学情報を生成するという方法もある。次に、２つ光学情報から算出した平均の位置に対応する光学情報を生成する手法について、図２３、図２４を用いて説明する。前述のように防振レンズ群が図２３に示すような軌道を描く場合、平均値は約０．３５となり、この平均値に対応する光学情報は図２４の（ｃ）、（ｄ）の間に存在する。よって、本ステップにおいてまず光これらの光学情報は図２４の（ｃ）、（ｄ）を取得する。次に、これら２つの光学情報を補間することで平均の位置に対応する光学情報を生成する。図２６に図２４の（ｃ）、（ｄ）から新たに生成した光学情報を示す。図２６の光学情報は図２４（ｃ）、（ｄ）の防振レンズ群の位置をＰｃ、Ｐｄ、防振レンズ群の平均位置をＰａｖｅ、新たに生成した光学情報のある方位の強度をＶ、対応する図２４（ｃ）、（ｄ）の各強度をＶｃ，Ｖｄとしたとき、以下の式を用いている。

図２６に示すような光学情報を記録部から取得してきた光学情報と防振レンズ群の位置情報より新たに生成することで、記録部から取得してきた光学情報をそのまま用いるよりもより精度良く色にじみの判定を行うことができる。あるいはあらかじめ記録しておく光学情報の量を減らす必要がある場合は、こうした補間処理を行って適用する光学情報を新たに生成する手法は非常に有効であるといえる。また、このような補間処理を行ったあとに、整数値にするため数値を丸めてもよく、たとえば図２６上側を四捨五入して２．０とするような処理を実施してもよい。

ここでは、記録している２つの光学情報の間に相当する光学情報を生成しているが、保持している光学情報よりもより外側に位置するような光学情報を生成してもよい。たとえば、図２４（ｃ）、（ｄ）の（ｄ）側、つまり（ｄ）、（ｅ）の間あるいは（ｅ）のさらにプラス側を（ｃ）、（ｄ）から生成する場合、

と変形することで対応する光学情報を生成することができる。逆に、（ｃ）、（ｄ）よりもマイナス側の位置に対応する光学情報を生成する場合は、ＰｃとＰｄ、ＶｃとＶｄを入れ替えればよい。以上、記録部から取得してきた複数の光学情報から補間処理を行い、新たに光学情報を生成する手法を述べたが、上記の例のように２つの光学情報から生成するだけでなく、３つ以上のデータから補間処理を行って光学情報を生成してもよい。

また、本ステップにおいて、防振を考慮した光学情報を求める際に露光時間中の防振レンズ群の位置の平均値から導出したが、必ずしも平均の位置を算出しなくてもよい。例えば露光時間が短い場合は、防振レンズ群の位置がほとんど変化していないという場合も起こりうる。その場合はある時間における防振レンズ群の位置に対応する光学情報を選択、あるいは導出することで、平均の位置を計算する手間を省くことができる。

また、光学情報を新たに生成する方法として、実施例では複数の光学情報を使用し補間処理等を行う方法を述べたが、補間処理だけでなく別の処理を加えて防振を考慮した光学情報を導出してもよい。その場合はベースのなる光学情報を記録部に保持しておき、露光時間中の防振レンズ群の変動に応じて、記録部から取得してきた光学情報に対して変動を加える。例えば、図２５（ｃ）をベースの光学情報とし、（ｅ）の光学情報を生成する方法としては以下のような処理が考えられる。

まず図２５（ｃ）の上段（左上、上、右上）を１つずつ下にシフトし、新たに生成する光学情報の中段（左、右）とする。新たな光学情報の上段はもとの上段の倍とすることし、前述の中段と組み合わせることで、（ｃ）から（ｅ）を生成することができる。このようにベースの光学情報を変化させて防振レンズ群の光学情報を生成してもよく、前述の補間処理と組み合わせても良い。

以上が、防振レンズの移動を考慮した光学情報の生成方法に関する説明であり、こうした方法で生成した光学情報を用いることで防振しない状態の光学情報をそのまま色にじみ判定に利用するよりも、色にじみ判定の精度をより向上させることができる。

次に、このようにして得られた光学情報を用いて色にじみ判定処理を行う。色にじみ判定については、判定に使用する光学情報が防振を考慮しているということ以外は、ステップＳ４で説明してきた内容と同様になるため詳細説明は割愛する。

ステップＳ８の色にじみ判定を実施後はステップＳ５において、ステップＳ４にて色にじみ領域と判定された領域に対して色にじみ補正を実行し、ステップＳ６で色にじみが補正された画像を出力する。

このような方法により、露光時間中の防振レンズ群の位置から適切な色にじみ判定に利用する光学情報を取得するため、防振時であっても色にじみのみを違和感無く除去することが可能となる。以上が本実施例における防振システムを有効にした場合の色にじみ補正の流れとなる。

次に、図２２を参照して、本実施例１における撮像装置について説明する。

図２２は本実施例における撮像装置１００の構成図である。

撮像装置１００には、撮影画像の色にじみ補正処理（上述の画像処理方法）を行う画像処理プログラムがインストールされており、この色にじみ補正処理は撮像装置１００の内部の画像処理部１０４（画像処理装置）により実行される。

撮像装置１００は、撮像光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子１０２は、撮像光学系１０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子１０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換され、このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに、上述の色にじみ補正処理を行う。まず画像処理部１０４（撮影条件取得手段）は、状態検知部１０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部１０７は、システムコントローラ１１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系１０１に関する撮像条件情報は、撮像光学系制御部１０６から取得することもできる。本実施例の色にじみ補正処理の処理フロー（画像処理方法）は、図１を参照して説明したとおりである。

撮影光学系の色にじみ発生方向に関する光学情報は、記憶部１０８に保持されている。画像処理部１０４は上記撮影条件に該当する光学情報を記憶部１０８より取得し、色にじみ補正処理を行い、その出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。表示部１０５には、本実施例の色にじみ補正処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部１０５に表示するように構成してもよい。

本実施例における一連の制御はシステムコントローラ１１０により行われ、撮像光学系１０１の機械的な駆動はシステムコントローラ１１０の指示に基づいて撮像光学系制御部１０６により行われる。撮像光学系制御部１０６は、Ｆナンバーの撮影状態設定として、絞り１０１ａの開口径を制御する。また撮像光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの位置を制御する。なお、絞り１０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置１００の仕様に応じて実行しなくてもよい。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れ
てもよい。

次に、本実施例におけるぶれ補正処理に関して説明する。ぶれ補正が有効であるときには以下の処理が行われる。撮像光学系制御部１０６には撮像装置のぶれ（振動）を検知する角速度センサ（振動検知手段）１１２から情報と防振レンズ群１０１ｃの位置を検出する位置検出部（位置検出手段）１１１からの情報が入力される。

撮像光学系制御部１０６は、これらの情報に基づいて計算された駆動量だけ、防振レンズ群１０１ｃを移動させる。撮像素子１０２で撮像され、Ａ／Ｄコンバータ１０３を介して画像処理部１０４に入力される撮影画像は画像のぶれが補正された画像となる。

次に、図２８を参照して、本実施例２における撮像装置について説明する。

図２８において、位置検出部１１１は撮像素子１０２の光軸方向の位置を検出する位置検出部であって、他の構成は図２２と同じである。実施例２では、撮像素子１０２を光軸に対して垂直方向の成分を持つ方向に移動させることによって画像のぶれを補正している撮像素子防振システムであるという点において、実施例１と相違している。本実施例では、実施例１の防振レンズ群の代わりに撮像素子の位置の変化に基づいた光学情報を生成する。このようにして生成した光学情報を色にじみ判定に利用することで防振時においても、より精度の高い色にじみ補正処理を実施することができる。

本実施例における画像処理方法についても、実施例１で説明した図１の流れと防振レンズ群が撮像素子となる部分以外は同様であるため詳細説明は割愛する。

次に、図２３を参照して、本発明の実施例３における画像処理装置および画像処理システムについて説明する。

図２３は本実施例における画像処理システム３００の構成図である。なお、本実施例の色にじみ補正処理の処理フロー（画像処理方法）は、図１を参照して説明した実施例１と同様であるため、その説明は省略する。

図２３において、画像処理装置３０１は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウェア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。

画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。

画像処理装置３０１にはモニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア３０６は、本実施例の色にじみ補正処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。

なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報（補正情報）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。

上記各実施例によれば、撮影光学系の色にじみ発生方向に関する光学情報を保持しておき、単調増減検出手段の結果と光学情報より色にじみ補正領域を決定することにより、被写体の色を除去する弊害を低減することができ、高品質名画像を得ることが可能となる。さらに、防振システムが機能している状態であれば、防振群（レンズ群、撮像素子）の露光時間中の位置情報に基づいた光学情報を選定、あるいは生成する。こうすることで、防振群を移動させたことにより変化する色にじみ量に合わせて色にじみ判定を実施できるため、色にじみ補正処理の補正精度を向上させることができる。

従って、各実施例によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置、１０１ 撮影光学系、１０１ａ 絞り、
１０１ｂ フォーカスレンズ、１０１ｃ 防振レンズ群、１０２ 撮像素子、
１０３ Ａ／Ｄコンバータ、１０４ 画像処理部、１０５ 画像表示部、
１０６ 撮影光学系制御部、１０７ 状態検知部、１０８ 記憶部、
１０９ 画像記録体、１１０ システムコントローラ、３００ 画像処理システム、
３０１ 画像処理装置、３０２ 撮像機器、３０３ 記憶媒体、３０４ 表示機器、
３０５ 出力機器、３０６ 画像処理ソフトウェア

Claims (16)

1. カラーの撮影画像から撮影光学系の色収差を補正する画像処理方法であって、
   入力画像を取得する画像取得工程と、
   前記画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
   撮影時の防振群の位置情報を取得する位置情報取得工程と、
   撮影光学系の収差による色にじみ発生方向に関する光学情報を取得する光学情報取得工程と、
   前記撮影画像における各色画素値が単調増加或いは単調減少している領域を検出する単調増減領域検出工程と、
   前記単調増減領域検出工程により検出された領域の単調増減方向と前記光学情報の色にじみ発生方向から色にじみ領域を判定する色にじみ判定工程と、
   前記撮影画像の色にじみを補正する色にじみ補正工程を備え、
   前記色にじみ判定工程において撮影時の露光時間中の防振群の位置の変動に基づく光学情報を色にじみ判定に利用することを特徴とする画像処理方法。
2. 前記色にじみ判定工程において、露光時間中に変化する防振群の位置に応じた複数の光学情報を平均的な光学情報を生成し、該光学情報を用いて色にじみ判定を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記色にじみ判定工程において露光時間中の防振群の平均的な位置に対応した光学情報を利用することを特徴とする請求項１に記載の画像処理方法。
4. 前記色にじみ判定工程において防振群が露光時間中に通過した代表的な位置に対応した光学情報を利用することを特徴とする請求項１に記載の画像処理方法。
5. 前記単調増減検出工程において、単調増加或いは単調減少と判定された注目画素はその位置における前記光学情報の色にじみ発生方向と単調増加或いは単調減少の方向が一致した場合に色にじみ発生領域と判定することを特徴とする請求項１に記載の画像処理方法。
6. 前記光学情報は色にじみの発生の強さに関する情報（色にじみ強度情報）を有することを特徴とする請求項１に記載の画像処理方法。
7. 前記色にじみ補正工程において、前記色にじみ強度情報に基づき補正の強さを変えることを特徴とする請求項６に記載の画像処理方法。
8. 単調増加或いは単調減少と判定された方向と、光学情報の色にじみ発生方向が一致する方向が複数の場合、一致した複数の方向の色にじみ強度情報を演算して色にじみ補正処理を行うことを特徴とする請求項７に記載の画像処理方法。
9. 単調増加或いは単調減少と判定された方向と、光学情報の色にじみ発生方向が一致する方向が複数の場合、一致した複数の方向の重心方向の色にじみ強度情報を用いて色にじみ補正処理を行うことを特徴とする請求項７に記載の画像処理方法。
10. 前記光学情報は、撮影条件ごとに保持することを特徴とする請求項１に記載の画像処理方法。
11. 前記光学情報は撮影光学系の焦点距離、被写体距離、Ｆｎｏのいずれか、または複数の状態において保持することを特徴とする請求項１に記載の画像処理方法。
12. カラーの撮影画像から撮影光学系の色収差を補正する画像処理装置であって、
    入力画像を取得する画像取得手段と、
    前記画像取得手段により取得された画像の撮影情報を取得する撮影情報取得手段と、
    撮影時の防振群の位置情報を取得する位置情報取得手段と、
    撮影光学系の収差による色にじみ発生方向に関する光学情報を取得する光学情報取得手段と、
    前記撮影画像における各色画素値が単調増加或いは単調減少している領域を検出する単調増減領域検出手段と、
    前記単調増減領域検出手段により検出された領域の単調増減方向と前記光学情報の色にじみ発生方向から色にじみ領域を判定する色にじみ判定手段と、
    前記撮影画像の色にじみを補正する色にじみ補正手段を備え、
    前記色にじみ判定手段により撮影時の露光時間中の防振群の位置の変動に基づく光学情報を色にじみ判定に利用することを特徴とする画像処理装置。
13. カラーの撮影画像から撮影光学系の色収差を補正する撮像装置であって、
    前記撮像装置は、撮影光学系、撮像素子部、画像処理部、記憶部を有し、
    該記憶部に前記撮影光学系の収差による色にじみ発生方向に関する光学情報を有し、
    前記撮影画像における各色画素値が単調増加或いは単調減少している領域を検出する単調増減領域検出手段と、
    前記単調増減領域検出工程により検出された領域の単調増減方向と前記光学情報の色にじみ発生方向から色にじみ領域を判定する色にじみ判定手段と、
    前記撮影画像の色にじみを補正する色にじみ補正手段を備え、
    前記色にじみ判定手段が撮影時の露光時間中の防振群の位置の変動に基づく光学情報を色にじみ判定に利用することを特徴とする撮像装置。
14. 前記防振群はレンズ群であることを特徴とする請求項１３に記載の撮像装置。
15. 前記防振群は撮像素子であることを特徴とする請求項１３に記載の撮像装置。
16. コンピュータにカラーの撮影画像から撮影光学系の色収差を補正する処理を実行させる画像処理プログラムであって、
    入力画像を取得する画像取得工程と、
    前記画像取得工程において取得した画像の撮影情報を取得する撮影情報取得工程と、
    撮影時の防振群の位置情報を取得する位置情報取得工程と、
    前記撮影光学系の収差による色にじみ発生方向に関する光学情報を取得する光学情報取得工程と、
    前記撮影画像における各色画素値が単調増加或いは単調減少している領域を検出する単調増減領域検出工程と、
    前記単調増減領域検出工程により検出された領域の単調増減方向と前記光学情報の色にじみ発生方向から色にじみ領域を判定する色にじみ判定工程と、
    前記撮影画像の色にじみを補正する色にじみ補正工程を備え、
    前記色にじみ判定工程において撮影時の露光時間中の防振群の位置の変動に基づく光学情報を色にじみ判定に利用することを特徴とする画像処理プログラム。