JP5942755B2 - 画像処理回路、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、画像処理回路、画像処理方法及び撮像装置に関するものである。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを搭載した撮像装置では、イメージセンサから読み出した信号に対して所定の信号処理が施されて出力用の画像データが生成される（例えば、特許文献１，２参照）。この撮像装置における信号処理としては、例えばホワイトバランス調整、ゲイン調整、欠陥信号の補正や手振れ補正処理などが実行される。このような各種の信号処理によって画質の優れた画像データを得ることが可能になっている。

特開２００１−１８６５３３号公報 特開２０００−００３４３７号公報

ところで、上記撮像装置では、イメージセンサを用いて、当該撮像装置に入射されるＲ（赤色）、Ｇ（緑色）、Ｂ（青色）それぞれの光の強さを検出し、その光の強さから被写体の色を判断している。そして、そのイメージセンサから読み出した信号に対して上述した各種の信号処理が施されて出力用の画像データが生成される。しかしながら、ホワイトバランス調整等の信号処理やノイズ等に起因して、上記画像データの色データと、実際に撮像装置に入射された光の色との間に誤差が生じる。このため、ホワイトバランス調整等の信号処理を施した後の画像データの色データは、被写体の実際の色と異なってしまう。すると、例えば上記撮像装置を医療現場などで利用した場合には、病巣診断などに悪影響を及ぼす可能性があった。

本発明の一観点によれば、撮像素子から出力されるデータに対して所定の信号処理が施されて生成された画像データから色収差を抽出する色収差抽出回路と、前記色収差に基づいて、前記撮像素子に結像するレンズに入射される入射光の色に対応する色データを算出する色データ算出回路と、前記色データと、前記画像データの前記色収差を抽出した位置における色データとの差分値を算出する差分回路と、前記差分値に応じて前記画像データを補正する補正回路と、を有する。

本発明の一観点によれば、画像データの色をレンズに入射された入射光の色に近づけることができるという効果を奏する。

一実施形態の撮像装置を示すブロック図。 （ａ）〜（ｃ）は、色収差を示す説明図。 一実施形態の算出テーブルを示す説明図。 イメージセンサ上の位置を示す説明図。 画像補正方法を示すフローチャート。 （ａ）、（ｂ）は、色収差の検出しやすい条件を示す説明図。 変形例の算出テーブルを示す説明図。

（第１実施形態）
以下、第１実施形態を図１〜図６に従って説明する。
図１に示す撮像装置１は、例えばデジタルスチルカメラである。この撮像装置１は、撮像部１０と、アナログフロントエンド（Analog Front End：ＡＦＥ）２０と、画像処理部３０と、メモリ５０とを有している。

撮像部１０は、撮像光学系（光学系）１１と、イメージセンサ１４とを有している。光学系１１は、被写体からの光を集光するレンズ１２と、絞り１３とを有している。レンズ１２は、例えば焦点距離の変更（変倍）が可能なズームレンズである。例えば、レンズ１２はズームレンズ群とフォーカスレンズとを有する。このレンズ１２は、被写体を撮影するための被写体像をイメージセンサ１４の受光面に結像する。また、レンズ１２では、例えば画像処理部３０内のオートフォーカス（ＡＦ）制御部３２の制御によってズームレンズ群が光軸方向に沿って移動される。これにより、レンズ１２のズーム倍率（倍率）が調整される。また、レンズ１２では、例えば上記ＡＦ制御部３２の制御によってフォーカスレンズが光軸方向に沿って移動される。これにより、イメージセンサ１４の受光面における被写体像のフォーカス（焦点）が調整される。

絞り１３は、レンズ１２を透過した光の量を被写体照度に応じて調整する。イメージセンサ１４は、例えばベイヤ配列されたカラーフィルタと、光電変換部を含む複数の画素を備えた撮像素子とを有する。撮像素子としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどが用いられる。イメージセンサ１４は、被写体像を光電変換して撮像信号（アナログ信号）を生成する。

ＡＦＥ２０は、例えばプリアンプやアナログ−デジタル変換回路（ＡＤＣ）などを含む。ＡＦＥ２０は、イメージセンサ１４から出力される撮像信号をデジタル信号に変換し、そのデジタル信号を画像データ（ベイヤデータ）として画像処理部３０に出力する。

画像処理部３０は、信号処理部３１と、ＡＦ制御部３２と、画像補正部４０とを有している。信号処理部３１は、ＡＦＥ２０から入力されるＲＧＢ形式の画像データ（入力画像データ）に対して各種画像処理を施し、その処理後の画像データＰＤを画像補正部４０に出力する。各種の画像処理は、例えばホワイトバランス調整やゲイン調整や欠陥信号の補正などの前処理、連続して撮影した画素間のずれを補正する手振れ補正処理などである。ここで、上記手振れ補正は、画像処理によって手振れを補正する技術であって、例えば短い露光時間で連続的に撮影した複数の画像についてずれ量を算出し、そのずれを補正するように複数の画像を位置合わせして合成することで手振れを補正する技術である。そして、信号処理部３１は、上記手振れ補正で得られた手振れ量（上記画素間のずれ量）を示す手振れデータＤ１を画像補正部４０に出力する。

また、信号処理部３１は、上記入力画像データに基づいて、フォーカス状態を示すＡＦ評価値を算出し、そのＡＦ評価値をＡＦ制御部３２に出力する。詳述すると、信号処理部３１は、入力画像データから輝度信号を抽出した後に、その輝度信号の画面内における高周波成分を積算することで、入力画像データのコントラスト強度を示すＡＦ評価値を算出し、そのＡＦ評価値をＡＦ制御部３２に出力する。ここで、ＡＦ制御部３２は、上記ＡＦ評価値に基づいて被写体にピントを合致させるＡＦ制御を実行する。すなわち、ＡＦ制御部３２は、ＡＦ評価値に基づいて合焦位置（ＡＦ位置）を検出し、その合焦位置に上記レンズ１２のフォーカスレンズを移動するように制御する。なお、上記ＡＦ制御としては、例えば公知の山登り方式のＡＦ制御を用いることができる。

さらに、信号処理部３１は、上記入力画像データ等に基づいて、その入力画像データにおけるＡＦ位置（合焦位置）を検出し、そのＡＦ位置の位置情報を含むＡＦデータＤ２を画像補正部４０に出力する。

画像補正部４０には、画像データＰＤが信号処理部３１から入力されるとともに、その画像データＰＤを撮影した際の撮影条件（具体的には、光学系１１の条件）がＡＦ制御部３２等から入力される。画像補正部４０は、上記入力画像データに対して各種の信号処理が施された画像データＰＤの色データを、色収差を利用して補正する。具体的には、画像補正部４０は、色収差を利用して、画像データＰＤの色データをレンズ１２に入射された入射光の色に近づけるように補正する。そして、画像補正部４０は、補正後の補正画像データＰＤ１をメモリ５０に格納する。

ここで、画像補正部４０における画像補正方法（画像処理方法）について簡単に説明する。まず、信号処理部３１でホワイトバランス調整等の信号処理が施された画像データＰＤの色データは、上記信号処理等に起因してレンズ１２に入射された入射光Ｌ１（図２（ａ）参照）の色との間に誤差が生じるため、被写体の実際の色と異なることは上述した。一方、レンズ１２を利用した撮像装置１では、色収差と呼ばれる結像誤差が発生する。この色収差とは、図２（ａ）に示すように、レンズ１２に入射光Ｌ１が入射されたときに、その入射光Ｌ１の光波ＬＲ，ＬＧ，ＬＢの色の波長によりレンズ１２を通過した場合の屈折率が異なることに起因して生じる収差である。このような色収差によって、例えば赤色（Ｒ）の波長成分を有する光波ＬＲがイメージセンサ１４の受光面に結像する結像位置（エッジ）、緑色（Ｇ）の波長成分を有する光波ＬＧの結像位置、及び青色（Ｂ）の波長成分を有する光波ＬＢの結像位置が互いに異なったものとなる。換言すると、ＲＧＢ各色の波長成分を有する光波ＬＲ，ＬＧ，ＬＢが結像する結像位置（エッジ）の差分が色収差となる。本明細書では、図２（ｂ）及び図２（ｃ）に示すように、緑色の光波ＬＧの結像位置と赤色の光波ＬＲの結像位置との差分（画素数）を「緑赤間の色収差」と称し、青色の光波ＬＢの結像位置と緑色の光波ＬＧの結像位置との差分（画素数）を「青緑間の色収差」と称する。このような色収差は、被写体６０（ここでは、木）の色と光学系１１の特性データ（レンズ１２の屈折率及び倍率や絞り等）により一義的に決まる値である。例えば被写体６０の任意の点６１における色が薄い緑色の場合（図２（ｂ）参照）と濃い緑色の場合（図２（ｃ）参照）とについて説明する。なお、説明の簡便化のため、被写体６０の点６１における赤色と青色の成分は同一で緑色のみ異なる場合について説明する。まず、薄い緑色よりも濃い緑色の方が光の周波数が高いため、屈折率が高くなる。このため、被写体６０が濃い緑色の場合（図２（ｃ）参照）には、イメージセンサ１４において、緑色の光波ＬＧの結像位置が、被写体６０が薄い緑色の場合（図２（ｂ）参照）よりも青色の光波ＬＢの結像位置に近い位置で検出される。すなわち、被写体６０が濃い緑色の場合には、薄い緑色の場合と比べて、青緑間の色収差が小さくなる一方で、緑赤間の色収差が大きくなる。このように、被写体６０の色の違いによって、ＲＧＢ各色の光波ＬＲ，ＬＧ，ＬＢのイメージセンサ１４における結像位置が異なり、青緑間及び緑赤間の色収差が異なる。このため、このような色収差（具体的には、青緑間及び緑赤間の色収差）を検出することによって、レンズ１２に入射された入射光Ｌ１の色を判断することができ、ひいては被写体６０の色を判断することができる、とも言える。そこで、上記画像補正部４０では、色収差を検出し、その色収差を利用して画像データＰＤの色データをレンズ１２に入射された入射光Ｌ１の色（被写体６０の色）に近づけるように補正する。

次に、画像補正部４０の内部構成例を説明する。
図１に示すように、画像補正部４０は、色収差抽出回路４１と、色データ算出回路４２と、差分回路４３と、重み付け回路４４と、乗算回路４５と、補正回路４６とを有している。

色収差抽出回路４１には、信号処理部３１から画像データＰＤ及びＡＦデータＤ２が入力される。色収差抽出回路４１は、画像データＰＤ及びＡＦデータＤ２に基づいて、画像データＰＤの所定の位置（色収差抽出位置）における色収差を抽出する。そして、色収差抽出回路４１は、抽出した色収差とその色収差のイメージセンサ１４上の検出位置を示す位置情報とを色データ算出回路４２に出力するとともに、上記色収差抽出位置を示す位置データＤ３を重み付け回路４４に出力する。

色データ算出回路４２は、上記抽出された色収差と、その色収差のイメージセンサ１４上の検出位置と、上記画像データＰＤを撮影した際の撮影条件（光学系１１の条件）とに基づいて、ＲＧＢ各色の色情報（光の強さ）を含む色データＤ４を算出する。詳述すると、色データ算出回路４２は、上記抽出された色収差から、レンズ１２に入射された入射光Ｌ１の色に対応する色データＤ４を算出するための算出テーブル４２Ａを有している。この算出テーブル４２Ａは、図３に示すように、レンズ１２のズーム倍率（倍率）や絞り等の光学系１１の特性データ、色収差を抽出したイメージセンサ１４上の位置、青緑間の色収差及び緑赤間の色収差と、ＲＧＢ各色の色情報を含む色データＤ４との関係を示すテーブルである。具体的には、算出テーブル４２Ａでは、レンズ１２の倍率（１倍〜ｈ倍）、絞り（１．０〜ｊ）、イメージセンサ１４上の検出位置（１〜ｋ：図４参照）、青緑間の色収差（１画素〜ｍ画素）及び緑赤間の色収差（１画素〜ｎ画素）の数値の全ての組み合わせに対してそれぞれ１つの色データＤ４が対応付けられている。すなわち、レンズ１２の倍率や絞りの光学系１１の撮影条件と、イメージセンサ１４上の検出位置と、色収差（青緑間及び緑赤間の色収差）とを含む入力パラメータが決まると、算出テーブル４２Ａに基づいて一意的にＲＧＢ各色の色情報が決定され色データＤ４が算出される。

ここで、上述したように、色収差は、被写体の色（入射光Ｌ１の色）と光学系１１の特性データ（レンズ１２の屈折率及び倍率や絞り等）により一義的に決まる値である。換言すると、色収差と光学系１１の特性データによって被写体の色（入射光Ｌ１の色）を一義的に判断することができる。そこで、色データ算出回路４２では、光学系１１（レンズ１２及び絞り１３）の性能評価時等に取得される光学系１１の特性データに基づいて、その光学系１１（レンズ１２）に対応した算出テーブル４２Ａを予め準備し、その算出テーブル４２Ａを用いて色収差から入射光Ｌ１の色を示す色データＤ４を算出するようにした。上記屈折率はレンズ１２固有の特性値であって固定値であるため上記入力パラメータには含まれていないが、その屈折率に応じて色データＤ４（入射光Ｌ１の色）と色収差との関係が変わるため、上記算出テーブル４２Ａにはレンズ１２の屈折率が反映されている。換言すると、算出テーブル４２Ａでは、レンズ１２の屈折率に基づいて、撮影条件となる光学系１１の特性データ及び上記色収差と色データＤ４とが対応付けられている。すなわち、算出テーブル４２Ａは、レンズ１２固有の屈折率に基づき決定される「レンズ１２固有の色収差」及び撮影条件となる「光学系１１の特性データ」と、レンズ１２に入射された入射光Ｌ１の色を示す「色データＤ４」との関係を示すように生成されている。

なお、入力パラメータ内のイメージセンサ１４上の検出位置は、イメージセンサ１４（撮像素子）の各画素に付与された番号で表わされている。本例では、図４に示すように、例えばイメージセンサ１４の左上の画素、つまり１行１列目の画素に対して「１」が付与され、さらに１行目の画素に対して左から順番に番号（ここでは、「２」〜「１５」）が付与されている。続いて、イメージセンサ１４の２行１列目の画素に対して次番号（ここでは、「１６」）が付与され、さらに２行目の画素に対して左から順番に番号が付与されている。以下同様に、イメージセンサ１４の全画素に番号が付与され、イメージセンサ１４の右下の画素の番号が「ｋ」となる。また、図３では、図面の簡略化のために、色データＤ４におけるＲＧＢ各色の色情報を「ＸＸＸ」と示しているが、実際には、ＲＧＢ各色の色情報は１０進数で表わすと、例えば「０」〜「２５５」の値で表わされる。

差分回路４３には、色データ算出回路４２で算出された色データＤ４と、信号処理部３１から出力された画像データＰＤとが入力される。差分回路４３は、色収差の検出位置において、画像データＰＤの色データと上記色データＤ４との差分値Ｄ５を算出し、その差分値を乗算回路４５に出力する。

重み付け回路４４には、信号処理部３１からの手振れデータＤ１及びＡＦデータＤ２と、上記色収差抽出回路４１からの位置データＤ３とが入力される。この重み付け回路４４は、手振れデータＤ１と、ＡＦデータＤ２と、位置データＤ３とに基づいて、上記色収差抽出回路４１で抽出された色収差の正確性（信頼性）を示す重み値Ｄ６を算出する。そして、重み付け回路４４は、算出した重み値Ｄ６を乗算回路４５に出力する。

乗算回路４５は、差分回路４３からの差分値Ｄ５と、重み付け回路４４からの重み値Ｄ６との乗算値を算出し、その乗算値を補正値Ｄ７として補正回路４６に出力する。
補正回路４６は、乗算回路４５からの補正値Ｄ７に基づいて、画像データＰＤ全体の色データを補正した補正画像データＰＤ１を生成する。そして、補正回路４６は、補正画像データＰＤ１及び補正値Ｄ７をメモリ５０に出力する。

なお、本実施形態において、重み付け回路４４及び乗算回路４５は補正値生成回路の一例である。
次に、画像補正部４０の動作（画像補正方法）について詳述する。

図５に示すステップＳ１及びステップＳ２において、色収差抽出回路４１は、信号処理部３１から入力される画像データＰＤから色収差を抽出する色収差検出位置として、色収差を検出（抽出）しやすい位置を選択する。ここで、色収差を検出しやすい条件について説明する。詳述すると、図６（ａ）に示すように、画像データＰＤ（イメージセンサ１３）の中心から離れるほど、つまり画像の外縁に近づくほど、色収差は顕著になる。このため、画像の中心から離れるほど色収差を検出しやすい。また、図６（ｂ）に示すように、ピントが合っている合焦位置（ＡＦ位置）では、画像のエッジ（境界）が強いため、ＡＦ位置に近づくほど色収差を検出しやすい。さらに、手振れが少ない方が画像のエッジが検出しやすいため、手振れが少ないほど色収差を検出しやすい。なお、図６（ｂ）において、実線枠がＡＦ位置（合焦位置）であり、破線枠がＡＦ位置の候補である。

そこで、図５に示したステップＳ１では、まず、ＡＦ位置に近い色収差抽出位置の候補が複数選択される。すなわち、ＡＦ位置又はＡＦ位置に近い位置が色収差抽出位置の候補として複数選択される。続いて、ステップＳ２では、上記選択された複数の候補の中から、画像中心から遠い位置の候補が色収差抽出位置として選択される。具体的には、上記選択された複数の色収差抽出位置の候補の中から、画像データＰＤ（イメージセンサ１３）の中心から最も離れた位置の候補が色収差抽出位置として選択される。これにより、色収差を検出しやすい位置（具体的には、ＡＦ位置に近く、且つ画像の中心から離れた位置）が色収差抽出位置として選択される。

次いで、ステップＳ３において、色収差抽出回路４１は、上記選択した色収差抽出位置における色収差を抽出する。具体的には、色収差抽出回路４１は、上記色収差抽出位置においてＲＧＢ各色の光波ＬＲ，ＬＧ，ＬＢ（図２参照）の結像位置（エッジ）を検出し、それらエッジの差分値から色収差を抽出（算出）する。より具体的には、色収差抽出回路４１は、青色の光波ＬＢのエッジと緑色の光波ＬＧのエッジとの差分値から青緑間の色収差を算出するとともに、緑色の光波ＬＧのエッジと赤色の光波ＬＲのエッジとの差分値から緑赤間の色収差を算出する。

次に、ステップＳ４において、色データ算出回路４２は、算出テーブル４２Ａに基づいて、上記色収差抽出位置で抽出された色収差から、レンズ１２に入射された入射光Ｌ１の色に対応する色データＤ４を算出する。具体的には、上記抽出された色収差と、その色収差のイメージセンサ１４上の検出位置と、上記画像データＰＤを撮影した際の光学系１１の条件（具体的には、レンズ１２の倍率及び絞り）とを入力パラメータとして算出テーブル４２Ａから色データＤ４を算出する。これにより、レンズ１２固有の色収差及び光学系１１の条件から、レンズ１２に入射された入射光Ｌ１の色に対応する色データＤ４を算出することができる。

続いて、ステップＳ５において、差分回路４３は、上記色収差抽出位置における画像データＰＤの色データと、先のステップＳ４で算出された色データＤ４との差分値Ｄ５を算出する。この差分値Ｄ５により、画像データＰＤの色と入射光Ｌ１の色との誤差を判断することができる。

次いで、ステップＳ６において、重み付け回路４４は、先のステップＳ３で算出された色収差が正確な値であるか否かを示す重み値Ｄ６を生成する。具体的には、重み付け回路４４は、先のステップＳ３で抽出された色収差が、検出しやすい条件で検出された信頼性の高い色収差であるか否かに応じて、上記差分値Ｄ５を重み付けする重み値Ｄ６を生成する。詳述すると、重み付け回路４４は、色収差抽出回路４１からの位置データＤ３に基づいて、先のステップＳ２で選択された色収差抽出位置と画像データＰＤの中心位置との間の距離を算出し、その距離に応じて第１の値Ａ１を生成する。この第１の値Ａ１は、例えば、「０」〜「１」の値であって、上記色収差抽出位置が画像データＰＤの中心位置から離れているほど「１」に近づく値である。また、重み付け回路４４は、信号処理部３１からのＡＦデータＤ２と上記位置データＤ３とに基づいて、上記色収差抽出位置とＡＦ位置（合焦位置）との間の距離を算出し、その距離に応じて第２の値Ａ２を生成する。この第２の値Ａ２は、例えば、「０」〜「１」の値であって、上記色収差抽出位置がＡＦ位置（合焦位置）に近づくほど「１」に近づく値である。さらに、重み付け回路４４は、信号処理部３１からの手振れデータＤ１に基づいて、第３の値Ａ３を生成する。この第３の値Ａ３は、例えば、「０」〜「１」の値であって、手振れ量が少ないほど「１」に近づく値である。そして、重み付け回路４４は、第１の値Ａ１と、第２の値Ａ２と、第３の値Ａ３とを乗算した値を重み値Ｄ６（＝Ａ１×Ａ２×Ａ３）として算出する。この重み値Ｄ６は、先のステップＳ３において色収差を検出したときの条件が色収差を検出しやすい条件（色収差抽出位置が画像中心から遠く離れて且つＡＦ位置に近く、手振れが少ないという条件）であるほど「１」に近づく。

次に、ステップＳ７において、乗算回路４５は、差分値Ｄ５と重み値Ｄ６とを乗算して補正値Ｄ７を算出する。すなわち、乗算回路４５は、差分値Ｄ５を重み値Ｄ６で重み付け（補正）した補正値Ｄ７を生成する。ここで、重み値Ｄ６で差分値Ｄ５を重み付けする理由を説明する。上記ステップＳ３で色収差を正確に抽出できた場合には、その色収差と光学系１１の条件とによって一義的に入射光Ｌ１の色を判断することができる。しかしながら、色収差は、常に正確に検出できるわけではなく、その検出条件によって正確性（信頼性）が低くなる。そこで、色収差を検出しやすい条件で色収差を検出した場合ほど、つまりステップＳ３で検出された色収差の正確性（信頼性）が高いほど「１」に近づく重み値Ｄ６を生成し、その重み値Ｄ６で差分値Ｄ５を重み付けするようにした。これにより、検出された色収差の正確性が高いほど、補正値Ｄ７は差分値Ｄ５に近い値になる。反対に、検出された色収差の正確性が低いほど、補正値Ｄ７は「０」に近い値になる。

続いて、ステップＳ８において、補正回路４６は、補正値Ｄ７を用いて、画像データＰＤ全体の色データを補正して補正画像データＰＤ１を生成する。具体的には、補正回路４６は、画像データＰＤの各画素の色データに上記補正値Ｄ７を加算することで、画像データＰＤ全体の色データを補正して補正画像データＰＤ１を生成する。ここで、上記補正値Ｄ７は、ステップＳ３で検出された色収差の正確性が高いほど差分値Ｄ５に近い値になる。このため、検出しやすい条件で色収差が検出された場合には、その色収差から算出された色データＤ４と画像データＰＤの色データとの差分値Ｄ５に近い補正値Ｄ７によって画像データＰＤ全体の色データが補正される。これにより、補正後の補正画像データＰＤ１の色を入射光Ｌ１の色に近づけることができ、ひいては補正画像データＰＤ１の色を被写体の色に近づけることができる。なお、上記補正処理に使用した補正値Ｄ７（及び差分値Ｄ５）は、１点の色収差抽出位置から抽出された色収差に基づいて生成されたものである。但し、画像データＰＤの色データと入射光Ｌ１の色との誤差は画像データＰＤ全体で略同じになる。このため、上記補正値Ｄ７を用いて画像データＰＤ全体の色データを補正することにより、補正画像データＰＤ１全体の色を被写体の色に近づけることができる。

そして、補正画像データＰＤ１がメモリ５０に格納されるとともに、補正値Ｄ７がメモリ５０に格納される。このように補正値Ｄ７をメモリ５０に格納しておくことで、次の画像データＰＤが生成されたときに、新たに補正値Ｄ７を生成することなく、メモリ５０から読み出した上記補正値Ｄ７によって次の画像データＰＤを補正することができる。なお、補正値Ｄ７は、例えば撮像装置１による撮影時（画像データＰＤの生成時）に毎回算出するようにしてもよいし、撮像装置１を起動した後の最初の撮影時のみに行うようにしてもよい。

以上説明した本実施形態によれば、以下の効果を奏することができる。
（１）画像データＰＤから色収差を抽出し、その色収差から入射光Ｌ１の色に対応する色データＤ４を算出し、その色データＤ４と画像データＰＤの色データとの差分値Ｄ５に応じて画像データＰＤを補正するようにした。これにより、撮像装置１が有するレンズ１２固有の色収差に基づいて入射光Ｌ１の色を判断することができ、その入射光Ｌ１の色に近づくように画像データＰＤを補正することができる。

（２）抽出された色収差の正確性（信頼性）が高いほど差分値Ｄ５に近い値になる補正値Ｄ７を生成し、その補正値Ｄ７で画像データＰＤを補正するようにした。これにより、色収差の正確性に応じて、つまり検出しやすい条件で色収差が抽出されたか否かに応じて差分値Ｄ５が補正されるため、画像データＰＤに対する補正精度を向上させることができる。すなわち、補正値Ｄ７で画像データＰＤを補正することにより、その補正後の補正画像データＰＤ１の色を入射光Ｌ１の色により近づけることができる。

（３）色収差抽出位置と画像データＰＤの中心位置との間の距離と、色収差抽出位置と合焦位置（ＡＦ位置）との間の距離と、画像データＰＤにおける手振れ量とに基づいて、色収差の正確性を示す重み値Ｄ６を生成し、その重み値Ｄ６で差分値Ｄ５を補正して補正値Ｄ７を生成するようにした。これにより、複数のパラメータ（２つの距離情報と手振れ量）で色収差の正確性を判断することができるため、その判断精度を向上させることができる。

（４）色データ算出回路４２では、レンズ１２の屈折率に基づいて、撮影条件となる光学系１１の特性データ（レンズ１２の倍率や絞り等）及び色収差と、入射光Ｌ１の色に対応する色データＤ４とが対応付けられた算出テーブル４２Ａを用意するようにした。これにより、色収差及び光学系１１の撮影条件さえ決まれば、一意的に色データＤ４が決定されるため、色収差から色データＤ４を容易に算出することができる。

（他の実施形態）
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記実施形態では、色データＤ４を算出する際に入力パラメータとなる複数のパラメータ（レンズ１２の倍率、絞り、イメージセンサ１４上の検出位置、青緑間の色収差、緑赤間の色収差）の全てを変数とした。これに限らず、例えば上記複数のパラメータのうち、レンズ１２の倍率、絞り、及びイメージセンサ１４上の検出位置を固定した状態で被写体を撮影し、そのときに生成された画像データＰＤから補正値Ｄ７を生成するようにしてもよい。このようなキャリブレーション（校正）を行うことにより、図７に示すように、色収差から色データＤ４を算出するための算出テーブル４２Ａのデータ量を減らすことができる。図７に示した算出テーブル４２Ａでは、図３に示した算出テーブル４２Ａとの違いを明確にするために、レンズ１２の倍率、絞り、及びイメージセンサ１４上の検出位置についても図示しているが、実際にはこれらの情報は算出テーブル４２Ａから省略することができる。すなわち、この場合の算出テーブル４２Ａでは、レンズ１２の屈折率に基づいて、色収差と色データＤ４とが対応付けられている。そして、色データ算出回路４２では、図７に示した算出テーブル４２Ａに基づいて、色収差抽出回路４１で抽出された色収差のみを入力パラメータとして上記色データＤ４が算出される。なお、このように光学系１１の撮影条件を固定した撮影時に生成された補正値Ｄ７は、その後の通常の撮影によって得られた画像データＰＤに対する補正に利用することができる。

・あるいは、上記キャリブレーション時に、予め設定された「基準となる色」の被写体を撮影し、そのときに生成された画像データＰＤから補正値Ｄ７を生成するようにしてもよい。これによれば、レンズ１２に入射される入射光Ｌ１の色が限定されるため、その入射光Ｌ１の色に対応する色データＤ４も限定されることになる。このため、色収差から色データＤ４を算出するための算出テーブル４２Ａのデータ量を更に減らすことができる。

・上記実施形態の重み付け回路４４では、電子式の手振れ補正（画像処理による手振れ補正）から得られた手振れ量を利用して重み値Ｄ６を算出するようにした。これに限らず、例えば光学式の手振れ補正や撮像素子シフト式の手振れ補正等から得られた手振れ量を利用して重み値Ｄ６を算出するようにしてもよい。

・上記実施形態における手振れデータＤ１及び第３の値Ａ３を省略するようにしてもよい。この場合には、第１の値Ａ１及び第２の値Ａ２のみから重み値Ｄ６が生成される。
・上記実施形態では、色収差抽出位置とＡＦ位置との間の距離に応じて第２の値Ａ２を生成するようにした。これに限らず、例えばユーザがマニュアルで被写体にピントを合致させた合焦位置と色収差抽出位置との間の距離に応じて第２の値Ａ２を生成するようにしてもよい。すなわち、ＡＦ位置に限らず合焦位置であれば、その合焦位置と色収差抽出位置との間の距離に応じて第２の値Ａ２を生成するようにしてもよい。

・上記実施形態における重み値Ｄ６を省略してもよい、すなわち差分値Ｄ５の重み値Ｄ６による重み付け（補正）を省略してもよい。この場合には、差分回路４３で算出された差分値Ｄ５で画像データＰＤを補正する。

・上記実施形態では、色収差抽出位置を１箇所選択し、その選択した色収差抽出位置で抽出された色収差に基づいて色データＤ４を算出し、その色データＤ４に基づく差分値Ｄ５と重み値Ｄ６とから補正値Ｄ７を生成するようにした。これに限らず、例えば色収差抽出位置を複数箇所選択し、それら選択した複数の色収差抽出位置でそれぞれ抽出された色収差に基づいて色データＤ４を算出し、それら複数の色データＤ４にそれぞれ基づく差分値Ｄ５を算出する。そして、上記抽出された複数の色収差のそれぞれの正確性を示す複数の重み値Ｄ６を算出し、上記差分値Ｄ５を対応する重み値Ｄ６で重み付けすることにより複数の補正値Ｄ７を生成するようにしてもよい。この場合には、例えば複数の補正値Ｄ７の平均値で画像データＰＤを補正するようにしてもよい。

・上記実施形態の撮像装置１を、静止画撮影機能を有するデジタルビデオカメラ等に具体化してもよい。
・上記実施形態では、画像補正処理を実行する処理を区分してブロックとして図１に示した。すなわち、画像補正処理は、図１に示すように、色収差抽出回路４１と、色データ算出回路４２と、差分回路４３と、重み付け回路４４と、乗算回路４５と、補正回路４６とによって実行される。なお、これら図１に示す各部は、画像補正部４０において実行される処理を説明するために区分して示すものであり、これら各処理を実行するハードウェアが存在する必要はなく、これら処理をプログラムに従って実行可能な構成であればよい。

１ 撮像装置
１１ 光学系
１２ レンズ
１３ 絞り
１４ イメージセンサ（撮像素子）
３０ 画像処理部（画像処理回路）
３１ 信号処理部
４０ 画像補正部
４１ 色収差抽出回路
４２ 色データ算出回路
４２Ａ 算出テーブル
４３ 差分回路
４４ 重み付け回路
４５ 乗算回路
４６ 補正回路
６０ 被写体
ＰＤ 画像データ
Ｄ５ 差分値
Ｄ６ 重み値
Ｄ７ 補正値
Ｌ１ 入射光

Claims (8)

1. 撮像素子から出力されるデータに対して所定の信号処理が施されて生成された画像データから色収差を抽出する色収差抽出回路と、
   前記色収差に基づいて、前記撮像素子に結像するレンズに入射される入射光の色に対応する色データを算出する色データ算出回路と、
   前記色データと、前記画像データの前記色収差を抽出した位置における色データとの差分値を算出する差分回路と、
   前記差分値に応じて前記画像データを補正する補正回路と、
   を有する画像処理回路。
2. 前記差分値から補正値を生成する補正値生成回路を有し、
   前記補正値生成回路は、前記色収差の信頼性が高いほど前記差分値に近い値になる前記補正値を生成し、
   前記補正回路は、前記補正値に基づいて前記画像データを補正することを特徴とする請求項１に記載の画像処理回路。
3. 前記補正値生成回路は、前記色収差を抽出した抽出位置と前記画像データの中心位置との間の距離と、前記抽出位置と合焦位置との間の距離とに応じて前記差分値を補正して前記補正値を生成することを特徴とする請求項２に記載の画像処理回路。
4. 前記補正値生成回路は、前記画像データにおける手振れ量に応じて前記差分値を補正して前記補正値を生成することを特徴とする請求項３に記載の画像処理回路。
5. 前記色データ算出回路は、
   前記レンズの屈折率に基づいて、前記色収差と前記色データとが対応付けられた算出テーブルを有し、
   前記算出テーブルに基づいて、前記色収差から前記色データを算出することを特徴とする請求項１〜４のいずれか１つに記載の画像処理回路。
6. 前記色データ算出回路は、
   前記レンズの屈折率に基づいて、前記レンズを含む光学系の撮影条件となる特性データ及び前記色収差と前記色データとが対応付けられた算出テーブルを有し、
   前記算出テーブルに基づいて、前記色収差及び前記光学系の撮影条件から前記色データを算出することを特徴とする請求項１〜４のいずれか１つに記載の画像処理回路。
7. 撮像素子から出力されるデータに対して所定の信号処理が施されて生成された画像データから色収差を抽出し、
   前記色収差に基づいて、前記撮像素子に結像するレンズに入射される入射光の色に対応する色データを算出し、
   前記色データと、前記画像データの前記色収差を抽出した位置における色データとの差分値を算出し、
   前記差分値に応じて前記画像データを補正する、
   ことを特徴とする画像処理方法。
8. 撮像素子と、
   被写体を前記撮像素子に結像するレンズを含む光学系と、
   前記撮像素子から出力されるデータに対して所定の信号処理を施して画像データを生成する信号処理部と、
   前記画像データから色収差を抽出する色収差抽出回路と、
   前記色収差に基づいて、前記レンズに入射される入射光の色に対応する色データを算出する色データ算出回路と、
   前記色データと、前記画像データの前記色収差を抽出した位置における色データとの差分値を算出する差分回路と、
   前記差分値に応じて前記画像データを補正する補正回路と、
   を有することを特徴とする撮像装置。