JP6561479B2 - 色シェーディング補正が可能な撮像装置 - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳ等の撮像素子を用いて撮影画像データを取得し、取得された撮影画像データを画像処理により色シェーディング補正をすることが可能な撮像装置に関し、より具体的には、デジタルカメラ、ビデオカメラ、監視カメラ等に関する。

従来、撮像素子を用いて撮影画像データを取得する撮像装置においては、撮影画像データの周辺部に色ムラが生じる問題が発生していた。この撮影画像データの周辺部の色ムラは、周辺部の画像信号の感度が中心部と異なることにより生じる。

一般的に撮影画像データを構成する各画素の画像信号（画素値）は、Ｒ値（赤）、Ｇ値（緑）及びＢ値（青）から構成されている（ＲＧＢ値）。撮影画像データの色ムラは、撮影画像データの特定の部分においてＲＧＢ値が本来得られるべきＲＧＢ値と比べてバランスが崩れることにより生ずる現象である。

特に、撮影画像データの周辺部では、撮像装置を構成するＩＲカットフィルタや撮像素子を構成するマイクロレンズの光学特性により、中心部と比べて画像信号の感度が異なるためＲＧＢ値のバランスが崩れやすく色ムラが生じやすい。以下、このような撮影画像データに色ムラが生じる現象を、撮影画像データの色シェーディングということがある。

撮影画像データの色ムラは、主に撮像装置の撮像素子や撮像素子の物体側にこれと平行に配置されたＩＲカットフィルタの平面に対する撮影レンズからの光束の入射角の大きさに依存して生じる。そのため、撮影画像データにおいて、撮影レンズからの光束の入射角が比較的大きくなりやすい周辺部において色ムラがより生じやすい。

撮影レンズからの光束は、撮影画像データの周辺部においてテレセントリック性を確保することが難しく、撮影レンズからの光束のＩＲカットフィルタや撮像素子の平面に対する入射角は特に撮像装置の小型化に際して大きくなる傾向がある。また、撮影レンズからの光束の入射角の大きさは、撮像装置の焦点距離、絞り、合焦する物体へまでの撮影距離等の撮影条件により変化するため、常に一定とはならない。

撮影レンズからの光束の入射角の大きさが撮影画像データの色ムラを生じさせる主な原因としてより具体的には、ＩＲカットフィルタへの入射角依存性によるものと撮像素子への入射角依存性によるものがある。

ＩＲカットフィルタへの入射角依存性は、ＩＲカットフィルタに入射する光束の入射角が大きいほど、その光束についてカットされる長波長側の波長が短波長側にシフトするという性質である。

すなわち、ＩＲカットフィルタの入射角依存性により、ＩＲカットフィルタの平面に対して大きな入射角で入射した光束は本来のＩＲカットフィルタの目的以上に長波長側の波長の光束がカットされてしまう。この結果としてＩＲカットフィルタの平面に対して大きな入射角で入射した光束により撮像素子で取得できる画像信号は本来取得されるべき画像信号に比べてＲ値（光束の長波長側の波長成分により取得される画素値）に対応する感度が低くなってしまう。

このような現象は撮影レンズからの光束の入射角の大きさが大きくなる撮影画像データの周辺部で顕著となる。したがって、撮影画像データの周辺部においてＲ値に対応する感度が低くなることによりＲＧＢ値のバランスが崩れて色ムラが生じ、撮影画像データの色シェーディングが生じてしまう。

また、撮像素子への入射角依存性は、撮像素子に入射する光束について長波長側の波長成分であるほど撮像素子の受光面に配置されたマイクロレンズによる屈折がされにくくなるという性質である。

撮像素子の受光面に対して比較的小さい入射角で入射する光束については撮像素子への入射角依存性による影響は少ないが、大きな入射角で入射する光束についてはその影響は大きくなる。

撮像素子の受光面に対して大きな入射角で入射する光束について、長波長側の波長成分はマイクロレンズによる屈折がされにくくなるため集光が不十分となり、マイクロレンズの下に配置されたフォトダイオードまで十分な光量が届かなくなってしまう。したがって、撮影レンズからの光束の入射角が大きくなる撮影画像データの周辺部ではＲ値が不足してＲＧＢ値のバランスが崩れて色ムラが発生し、撮影画像データの色シェーディングが生じてしまう。

以上の説明のとおり、撮影レンズからの光束の入射角の大きさに依存して生じる撮影画像データの色ムラは光束の長波長側の波長成分に対する感度が不足することを原因として生じるため、特に低色温度の光源環境で取得された撮影画像データでは色シェーディングによる影響が大きい。

従来、色シェーディングを適切に補正して色ムラのない撮影画像データを得ることを目的とした発明が開示されている。次に挙げる特許文献には、撮影画像データの光源環境を正確に判別することにより、判別された光源環境に基づいて色シェーディングを適切に補正することができる発明が記載されている。

特許文献１には、撮影画像データのＲＧＢ値から得られた色成分情報により撮影条件における光源環境を推定し、その光源環境に対応した適切な色シェーディング補正を行う発明が記載されている。さらに、複数の光源環境が混合した撮影条件である場合には、各光源環境の基準となる色成分情報と撮影画像データの色成分情報との距離に応じて各光源環境の基準となる色シェーディング補正ゲインに重み付けを行い、複数の光源環境が混合した撮影条件であっても適切な色シェーディング補正を行うことが記載されている。

特許文献２には、フリッカ検出手段を別に設け、フリッカが検出される場合には蛍光灯光源であると判別し、フリッカが検出されない場合であっても輝度情報と色温度情報から蛍光灯光源であるか否かをさらに判別し、蛍光灯光源の撮影画像データに対しては正確な色シェーディング補正を行うことが記載されている。さらに、特許文献２には、フリッカが検出されない場合に輝度情報を取得して、これがしきい値となる所定輝度より低い場合には依然として蛍光灯光源である可能性があると判別することが記載されている。
特開２００８−２７７９２６号公報 特開２００８−１５３８４８号公報

しかしながら、従来技術では、適切な色シェーディング補正を行うために撮影画像データの光源環境を正確に判別することが要求されているが、実際には撮影画像データから光源環境を常に正確に判別して色シェーディング補正することは困難である。

従来技術では、撮影画像データの光源環境の判別を誤ることにより、光源環境に基づいて算出される色シェーディング補正のためのゲインの算出も誤ることとなり、その結果、撮影画像データに対して適切な色シェーディング補正を行うことができず、色ムラが残ったままとなったりもしくはさらに色ムラを悪化させてしまったりするおそれがあった。

特許文献１，２等に記載された色シェーディング補正の方法は、色成分情報による光源環境の判別自体をより正確に行い、これにより適切な色シェーディング補正を行う方法であるが、様々な撮影条件で取得された撮影画像データに対してこれを適用させようとすると、撮影画像データに分布する色の特徴によっては光源環境の判別自体を誤ることがあり適切な色シェーディング補正を行えないおそれが残っていた。さらに、特許文献２では、蛍光灯光源の判別に輝度情報を用いているが、所定輝度をしきい値としてこれより低いか高いかで蛍光灯光源であるか否かが極端に判別されてしまうため、光源環境の判別自体を誤るおそれが残っている。

本発明は、撮影画像データの色シェーディング補正に際して、撮影画像データの色成分情報による光源環境の判別に基づいて算出された色シェーディング補正ゲインをさらに修正することにより、適切な色シェーディング補正を行うことができる撮像装置を提供することを目的とする。

上記課題を解決するため、請求項１に係る発明は、取得された撮影画像データを構成する画素値にゲインをかけることにより色シェーディング補正を行う撮像装置において、取得された撮影画像データの光源環境を判別し、判別された前記光源環境に基づいて色シェーディング補正ゲインを算出し、算出された前記色シェーディング補正ゲインを撮影画像データの露出情報に基づいて修正することにより修正色シェーディング補正ゲインを算出し、前記修正色シェーディング補正ゲインを用いて前記撮影画像データの色シェーディング補正を行い、前記修正色シェーディング補正ゲインの算出は、撮影画像データの露出情報に対応して予め撮像装置に記憶されたブレンド比を用いて、屋外の色シェーディング補正ゲインと判別された光源環境に基づいて算出された色シェーディング補正ゲインとの重み付け加算を行うことによるものであることを特徴とする撮像装置とした。

請求項２に係る発明は、取得された撮影画像データの光源環境の判別は撮影画像データを構成する画素値を用いて算出される色成分情報に基づいて行われることを特徴とする請求項１に記載の撮像装置とした。

本発明によれば、撮影画像データの色シェーディング補正に際して、撮影画像データの色成分情報による光源環境の判別に基づいて算出された色シェーディング補正ゲインをさらに修正することにより、適切な色シェーディング補正を行うことができる撮像装置を提供することができる。

以下、本発明の撮像装置の実施例であるデジタルカメラについて、図面を用いて詳細に説明する。

図１は、本実施例のデジタルカメラの主な構成要素を示すブロック図である。

図１において、１０１は撮影レンズ、１０２はＩＲカットフィルタ、１０３は撮像素子、１０４はアナログ回路、１０５はＡ／Ｄ変換回路を示している。また、１０６はＲＡＭ、１０７は画像処理部、１０８は制御部を示している。

本実施例のデジタルカメラにおいて、被写体から撮影レンズ１０１へ入射した光束は撮影レンズ１０１により撮像素子１０３の受光面に結像される。撮影レンズ１０１と撮像素子１０３の間にはＩＲカットフィルタ１０２が配置されており、これにより撮影レンズ１０１からの光束は撮像素子１０３の受光面に結像する前に赤外光の波長成分が除去される。

撮像素子１０３により受光された光は、光電変換により撮像素子１０３の各画素においてアナログ信号に変換され、アナログ回路１０４において増幅処理やフィルタ処理等がされた後、Ａ／Ｄ変換回路１０５において画像信号（デジタル信号）に変換される。

各画素の画像信号（画素値）の行列は全体として撮影画像データを構成し、ＲＡＭ１０６に一時保存され、画像処理部１０７により様々な画像処理が行われる。画像処理が完了した最終的な撮影画像データは不図示の外部メモリに保存されたり、不図示の表示装置に表示されたりする。

また、制御部１０８は、撮影画像データの取得の制御のみならず、絞り制御、オートフォーカス制御、シャッタ制御等を制御する。したがって、制御部１０８はシャッタ速度と絞り値から露出情報を取得することが可能である。

さらに、図１において、１０９は色シェーディング補正部、１１０は記憶部を示し、１０９ａは色成分情報算出部、１０９ｂは光源環境判別部、１０９ｃは色シェーディング補正ゲイン算出部、１０９ｄは色シェーディング補正ゲイン修正部を示し、１１０ａは光源環境判別基準、１１０ｂは色シェーディング補正ゲイン、１１０ｃはブレンド比αを示している。

色シェーディング補正部１０９は予め記憶部１１０に記憶された値に基づいて撮影画像データの色シェーディング補正を行う。色成分情報算出部１０９ａは取得された撮影画像データの画像信号から光源環境の判別のための色成分情報を算出する。光源環境判別部１０９ｂは算出された色成分情報に基づいて光源環境判別基準１１０ａを参照して撮影画像データの光源環境を判別する。色シェーディング補正ゲイン算出部１０９ｃは判別された光源環境に基づいて色シェーディング補正ゲイン１１０ｂを参照して光源環境に対応する色シェーディング補正ゲインを算出する。色シェーディング補正ゲイン算出部１０９ｄは算出された色シェーディング補正ゲインをさらに露出情報に基づいてブレンド比α１１０ｃを参照して修正する。本実施例の撮影画像データの色シェーディング補正については以下で詳しく説明する。

特に撮像素子を用いて撮影画像データを取得する撮像装置においては、一般的に被写体からの光束が撮影レンズ１０１により撮像素子１０３の受光面へ結像される途中において、ＩＲカットフィルタ１０２が配置されている。ＩＲカットフィルタ１０２は、撮像素子１０３に到達する光から赤外光に当たる波長成分を除去する役割を有している。

撮像素子は可視光線のみならず不可視光線である赤外光にも受光感度を有しているが、撮像素子が赤外光をも受光するような撮像装置のままでは不自然な撮影画像データが取得されてしまうことになる。そのため、撮像素子を用いて撮影画像データを取得する撮像装置では、撮像素子の受光面側に赤外光の波長成分を除去するためのＩＲカットフィルタが配置されているのが一般的である。

本実施例のような撮像素子の受光面側にＩＲカットフィルタが配置されている撮像装置では、撮影レンズからの光束の入射角に依存してＩＲカットフィルタや撮像素子により撮影画像データの色シェーディングが生じやすい。

ＩＲカットフィルタの平面に対して大きな入射角で入射する光束については、ＩＲカットフィルタの光の波長に対する透過率特性が変化してカットされる長波長側の波長が短波長側へシフトすることにより、ＩＲカットフィルタの本来の目的以上に長波長側の波長の光がカットされてしまうという問題がある。

そのため、撮影レンズからの光束がＩＲカットフィルタの平面に対して大きな入射角で入射する傾向のある撮影画像データの周辺部においては、長波長側の波長の光から得られる画像信号が不足することにより、撮影画像データの色シェーディングが生じてしまう。

また、撮像素子の受光面に対して大きな入射角で入射する光束についても、撮像素子を構成するマイクロレンズの光の波長に対する屈折の変化により、長波長側の波長の光がマイクロレンズによりフォトダイオードに集光されにくくなってしまうという問題がある。これはマイクロレンズに入射する光の波長成分のうち、長波長側の波長成分ほど屈折されにくくフォトダイオードへ到達しにくくなるためである。

そのため、撮影レンズからの光束が撮像素子の受光面に対して大きな入射角で入射するような撮影画像データの周辺部においては長波長側の波長成分から得られる画像信号が不足するため、撮影画像データの色シェーディングが生じてしまう。

本発明は、これらの撮像装置の特性により生じる撮影画像データの色シェーディングを適切に補正して色ムラのない撮影画像データを得ることを目的とする。

次に、図２を用いて本実施例における撮影画像データの色シェーディング補正の処理フローについて説明する。

図２に示すように、本実施例における色シェーディング補正の処理フローの大まかな手順は以下のとおりである。
（手順＃１）撮像装置により撮影画像データを取得する。
（手順＃２）取得した撮影画像データの画像信号から色成分情報を算出する。また、撮像装置の撮影条件から露出情報を取得する。
（手順＃３）色成分情報に基づいて光源環境を判別することにより色シェーディング補正ゲインを算出する。
（手順＃４）算出した色シェーディング補正ゲインを露出情報に基づいて修正する。
（手順＃５）最終的に修正された色シェーディング補正ゲインを用いて撮影画像データの色シェーディング補正を行う。

本実施例の色シェーディング補正の処理フローにより、様々な光源環境で取得された撮影画像データに対して適切な色シェーディング補正を行うことができる。図２のそれぞれの手順について以下に詳しく説明する。

まず、撮像装置により撮影画像データを取得する（手順＃１）。

撮影画像データの取得については一般的な撮像装置の従来技術と同様である。本実施例の撮像装置において、撮影レンズ１０１からの光束を撮像素子１０３の受光面へ結像させ、撮像素子１０３において撮影レンズ１０１からの光を光電効果により各画素においてアナログ信号へ変換し、アナログ回路１０４においてアナログ信号を信号処理した後、Ａ／Ｄ変換回路１０５においてＡ／Ｄ変換によりデジタル信号（画像信号）に変換し、各画素に対応する画像信号（画素値）の行列の全体を撮影画像データとして取得する。取得された撮影画像データはさらに画像処理等されるためＲＡＭ１０６に一時記憶される。

次に、手順＃１で取得された撮影画像データから色成分情報を算出する。また、撮像装置から撮影画像データの露出情報を取得する（手順＃２）。色成分情報は色シェーディング補正部１０９の色成分情報算出部１０９ａで算出される。

ここで色成分情報について説明する。色成分情報は、撮影画像データを構成する画像信号から算出され、撮影画像データ全体の色の分布にどのような特徴があるのかを表す情報である。

色成分情報は撮影画像データを構成する画像信号から算出されるものであり、画像信号は撮影画像データの取得の際の光源環境により影響されるものであるから、色成分情報を分析することにより撮影画像データがどのような光源環境で取得されたものであるかを推測することができる。

特に、本実施例の色成分情報は、撮影画像データにおける白色の被写体に対応する画像信号に限定したものに基づいて算出されるものとし、撮影画像データのうち白色の被写体に影響する光源環境を推測するための情報であることとした。

また、露出情報は、色成分情報の算出とともに撮像装置から取得され、撮影画像データの取得の際の明るさを示す基準となる情報である。本実施例の露出情報は、撮影画像データの取得の際の撮影条件におけるシャッタ速度と絞り値から算出されるＥＶ値とする。本発明の露出情報は撮影条件における明るさを示す基準となるものであればこれに限られない。

次に、本実施例における色成分情報の算出方法について詳しく説明する。

撮影画像データを構成する画像信号に基づいて色成分情報を算出するには、まず図３に示すように撮影画像データを分割数Ｎのエリアごとに分割する。

撮影画像データ全体を分割数Ｎのエリアごとに分割すると、撮影画像データの全画素数がＭである場合、それぞれのエリアの画素数はｍ（ｍ＝Ｍ／Ｎ）で構成されることとなる。

次に、画素数ｍからなるＮ分割されたそれぞれのエリアにおいて、Ｒ値・Ｇ値・Ｂ値のそれぞれについて平均値Ｒａｖｅ・Ｇａｖｅ・Ｂａｖｅを算出する。撮影画像データの画素値は一組のＲ値・Ｇ値・Ｂ値からなるＲＧＢ値で構成されている。

ｎ番目のエリアにおけるＲ値・Ｇ値・Ｂ値の各画素値の平均値をＲａｖｅ（ｎ）・Ｇａｖｅ（ｎ）・Ｂａｖｅ（ｎ）と表し、ｎ番目のエリアにおけるｉ番目の画素の画素値をそれぞれＲ（ｎ，ｉ）・Ｇ（ｎ，ｉ）・Ｂ（ｎ，ｉ）と表すと、Ｒａｖｅ（ｎ）・Ｇａｖｅ（ｎ）・Ｂａｖｅ（ｎ）はそれぞれ次のように計算される。

さらに、分割されたそれぞれのエリアにおいて、算出したＲａｖｅ（ｎ）・Ｇａｖｅ（ｎ）・Ｂａｖｅ（ｎ）（ｎ＝１〜Ｎ）を用いてＲ／Ｇの値とＢ／Ｇの値をそれぞれ算出する。

本実施例において、ｎ番目のエリアにおけるＲ／Ｇの値とＢ／Ｇの値をＲ／Ｇ（ｎ）とＢ／Ｇ（ｎ）で表すと、それぞれ次のように計算される。

本実施例において撮影画像データの分割されたエリアはＮあるから、それぞれのエリアについてＲ／Ｇの値とＢ／Ｇの値を算出すると（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））がＮだけ算出される。これらの撮影画像データのすべてのエリアでそれぞれ算出された（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））について、横軸をＲ／Ｇの値、縦軸をＢ／Ｇの値としてプロットすると図５のようになる。以下、図５のように（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））をプロットした分布図をＲ／Ｇ＿Ｂ／Ｇ分布図と呼ぶ。

最終的に、Ｒ／Ｇ＿Ｂ／Ｇ分布図にプロットされた（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））を用いて本実施例における撮影画像データの色成分情報を算出する。ただし、本実施例の色成分情報を算出する際には、撮影画像データについてＲ／Ｇ＿Ｂ／Ｇ分布図にプロットされた（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））のすべてを常に用いることはしない。

上述のとおり、本実施例の色成分情報は、撮影画像データのうち白色の被写体に影響する光源環境を推測するため情報である。そのため、色成分情報は撮影画像データの白色の被写体に対応する画像信号に限定したものに基づいて算出されることとしているので、分割されたエリアの（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））のうち白色の被写体に対応するエリアの（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））のみを図５のＲ／Ｇ＿Ｂ／Ｇ分布図から抽出する。

白色の被写体に対応するエリアの（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））を抽出する方法は、図５のＲ／Ｇ＿Ｂ／Ｇ分布図において予め白色の画像信号に基づいて算出されたと推定される（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））の分布範囲を撮影装置ごとに設定しておき、この分布範囲に属する（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））のみを抽出することにより行われる。以下、本実施例において特にこの分布範囲をホワイトマップと呼ぶ。

本実施例のＲ／Ｇ＿Ｂ／Ｇ分布図におけるホワイトマップは図６のように示される。Ｒ／Ｇ＿Ｂ／Ｇ分布図にプロットされた（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））のうちホワイトマップの範囲にプロットされたものを（Ｒ／ＧＷ（ｌ），Ｂ／ＧＷ（ｌ））として抽出し、これらのみを用いて本実施例の色成分情報を算出する。ホワイトマップにより抽出される（Ｒ／ＧＷ（ｌ），Ｂ／ＧＷ（ｌ））の数をＬとするとＬ≦Ｎとなる。

本実施例の色成分情報は、Ｒ／Ｇ＿Ｂ／Ｇ分布図からホワイトマップにより抽出された（Ｒ／ＧＷ（ｌ），Ｂ／ＧＷ（ｌ））のみにより算出されることにより、撮影画像データにおける白色の被写体に対応する画像信号に撮影条件における光源環境がどのように影響しているかについて分析することができ、撮影条件における光源環境を推測するための情報とすることができる。

Ｒ／Ｇ＿Ｂ／Ｇ分布図において予め設定されるホワイトマップは、撮像装置によりそれぞれ設定されるものであって、特に撮像装置に備えられた撮像素子の感度特性や撮像装置の画像処理等により異なり、撮像装置によるテスト撮影により予め設定されるものである。

本実施例の色成分情報は最終的に（Ｒ／Ｇ，Ｂ／Ｇ）として算出され、Ｒ／Ｇの値とＢ／Ｇの値はそれぞれ（Ｒ／ＧＷ（ｌ），Ｂ／ＧＷ（ｌ））の平均値として次のように計算される。

本実施例では、色成分情報を、ＲＧＧ分布図のホワイトマップにより抽出された（Ｒ／ＧＷ（ｌ），Ｂ／ＧＷ（ｌ））の平均値として算出したが、さらに（Ｒ／ＧＷ（ｌ），Ｂ／ＧＷ（ｌ））に対してホワイトマップ内におけるプロット位置によりそれぞれ重み付けをして加重平均を行うことにより色成分情報を算出してもかまわない。

以上により撮影画像データの画像信号から算出された色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）は、前述の分割されたエリアごとに算出された（Ｒ／Ｇ（ｎ），Ｂ／Ｇ（ｎ））と同様にＲ／Ｇ＿Ｂ／Ｇ分布図にプロットされ、後述する撮影画像データの光源環境の判別に用いられる。

次に、撮影画像データから算出された色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を用いて撮影画像データの撮影条件における光源環境を判別し、判別された光源環境に基づいて色シェーディング補正ゲインを算出する（手順＃３）。光源環境は算出された色成分情報に基づいて光源環境判別基準１１０ａを参照して光源環境判別部１０９ｂで判別され、色シェーディング補正ゲインは判別された光源環境に基づいて色シェーディング補正ゲイン１１０ｂを参照して色シェーディング補正ゲイン算出部１０９ｃで算出される。色シェーディング補正ゲインについては後述する。

本実施例では、色シェーディング補正ゲインを算出するために、まず撮影画像データから算出された色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）に基づいて光源環境判別基準を参照し、撮影画像データの撮影条件における光源環境の判別を行う。

本実施例の光源環境判別基準は、サンプル画像データ群についてＲ／Ｇ＿Ｂ／Ｇ分布図における光源環境ごとの色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）の分布の傾向を分析しておくことにより予め設定される。

ここで、サンプル画像データ群は、本実施例の撮像装置によるテスト撮影により取得される複数のサンプル画像データから構成される群を指す。本発明では、予めサンプル画像データ群について、サンプル画像データそれぞれの色成分情報を算出し、Ｒ／Ｇ＿Ｂ／Ｇ分布図上で光源環境によってサンプル画像データの色成分情報がどのように分布する傾向があるのかを分析することにより、光源環境判別基準を設定する。光源環境判別基準を予め設定する際には、様々な光源環境においてできるだけ多くのサンプル画像データについて分析しておくことが好ましい。

本実施例の撮像装置によるテスト撮影により取得されたサンプル画像データ群について、サンプル画像データそれぞれの色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出し、これらを屋外・蛍光灯・白熱灯の光源環境ごとにＲ／Ｇ＿Ｂ／Ｇ分布図へプロットすると図７のような分布が得られる。

本実施例の光源環境判別基準は、サンプル画像データそれぞれの色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出し、これらを屋外・蛍光灯・白熱灯の光源環境ごとにＲ／Ｇ＿Ｂ／Ｇ分布図へプロットした図７のＲ／Ｇ＿Ｂ／Ｇ分布図を分析することにより予め設定される。

図７のＲ／Ｇ＿Ｂ／Ｇ分布図では、サンプル画像データそれぞれの色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）と光源環境の情報が一体となってプロットされているので、サンプル画像データから算出された色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）が光源環境ごとにＲ／Ｇ＿Ｂ／Ｇ分布図上でどのような範囲に分布する傾向があるのかを予め分析しておくことができる。そして、光源環境判別基準はサンプル画像データ群のＲ／Ｇ＿Ｂ／Ｇ分布図を分析することにより撮像装置ごとに予め設定される。

そして、本実施例では、撮像装置で取得された撮影画像データから算出される色成分情報に基づいて光源環境判別基準を参照することで、撮影画像データの光源環境の判別を行うことができる。

本実施例では図７のサンプル画像データ群のＲ／Ｇ＿Ｂ／Ｇ分布図を分析することにより、光源環境の判別を行うための光源環境判別基準を次の（１）〜（４）のように予め設定することとした。

（１）色成分情報のＲ／Ｇの値がＸ１以下の場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出してＲ／Ｇの値がＸ１以下の場合は、屋外の光源環境で取得されたものであると判別することとした。

（２）色成分情報のＲ／Ｇの値がＸ３より大きい場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出してＲ／Ｇの値がＸ３より大きい場合は、白熱灯の光源環境で取得されたものであると判別することとした。

（３）色成分情報のＲ／Ｇの値がＸ１より大きくＸ２以下の場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出してＲ／Ｇの値がＸ１より大きくＸ２以下の場合は、屋外と蛍光灯が混合した光源環境で取得されたものであると判別することとした。

（４）色成分情報のＲ／Ｇの値がＸ２より大きくＸ３以下の場合
本実施例の撮像装置により実際に取得された撮影画像データについて、色成分情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出してＲ／Ｇの値がＸ２より大きくＸ３以下の場合は、蛍光灯と白熱灯が混合した光源環境で取得されたものであると判別することとした。

次に、本実施例では上記のように判別された光源環境に基づいて色シェーディング補正ゲインを算出する。

ここで、本実施例の色シェーディング補正ゲインとは、撮影画像データの色シェーディングを補正するためのゲインを指す。本実施例の色シェーディング補正ゲインは撮像装置の特性に対応して予め設定されている。

例えば、本実施例のＲ値に対する色シェーディング補正ゲインは、図８に示すように屋外・蛍光灯・白熱灯の光源環境ごとに撮影画像データにおける像高ｒに対応して設定される。以下、本実施例の説明では特に撮影画像データの画像信号のＲ値に対する色シェーディング補正処理及び色シェーディング補正ゲインについてのみ説明するが、他の色の画像信号に対しても処理の方法やゲインの役割はＲ値に対するものと同様であり、撮像装置の特性によっては、例えばＲ値・Ｇ値・Ｂ値の一部又は全部に対して色シェーディング補正処理及び色シェーディング補正ゲインを考慮することも想定される。また、本実施例において、撮影画像データの像高ｒにおけるＲ値に対する色シェーディング補正ゲインをＣＲ（ｒ）と示す。

図８に示すように、色シェーディング補正ゲインは、撮影画像データの中心（ｒ＝０）から周辺部（ｒ＞０）にかけて大きさが変化する傾向があり、さらに光源環境ごとにその特性は異なる。これは撮影画像データの像高ｒにより、撮影レンズからの光束のＩＲカットフィルタの平面や撮像素子の受光面への入射角が変化し、ＩＲカットフィルタへの入射角依存性や撮像素子への入射角依存性の影響を受けるためである。

また、図８に示すように、本実施例の撮像装置では、Ｒ値に対する色シェーディング補正ゲインＣＲ（ｒ）は、撮影画像データの像高ｒにおいて光源環境が蛍光灯、屋外、白熱灯と変化するに従い大きくなるという特徴がある。これは光源環境により被写体からの光束を構成する波長成分が変化することによるものであり、それぞれの光源環境に対応する色シェーディング補正ゲインは、それぞれの光源環境においてサンプル画像データをテスト撮影し、サンプル画像データの色シェーディングを分析することで予め設定しておくことができる。

また、図８に示すような色シェーディング補正ゲインは撮像装置ごとによっても異なる。色シェーディング補正ゲインが補正の対象としている撮影画像データの色シェーディングの性質が、撮像装置のＩＲカットフィルタへの入射角依存性と撮像素子への入射角依存性によるものであるからである。したがって、撮像装置の特性に従って色シェーディング補正ゲインを予め設定しておくことで、撮像装置に適切な色シェーディング補正を行うことができる。

本実施例において、色シェーディング補正ゲインは判別された光源環境に基づいて次の（１）〜（４）のように算出されることとした。

（１）判別された光源環境が屋外である場合
判別された光源環境が屋外である場合は、色シェーディング補正ゲインを、図８のＲ値に対する色シェーディング補正ゲインＣＲ（ｒ）を参照して屋外の色シェーディング補正ゲインとして算出する。

（２）判別された光源環境が白熱灯である場合
判別された光源環境が白熱灯である場合は、色シェーディング補正ゲインを、図８のＲ値に対する色シェーディング補正ゲインＣＲ（ｒ）を参照して白熱灯の色シェーディング補正ゲインとして算出する。

（３）判別された光源環境が屋外と蛍光灯との混合である場合
判別された光源環境が屋外と蛍光灯との混合である場合は、色シェーディング補正ゲインを、図８のＲ値に対する色シェーディング補正ゲインＣＲ（ｒ）を参照して屋外と蛍光灯それぞれの色シェーディング補正ゲインの重み付けにより算出する。

屋外と蛍光灯それぞれの色シェーディング補正ゲインの重み付けは、より具体的には取得された撮影画像データの色成分情報のＲ／Ｇの値と、光源環境が屋外と蛍光灯との混合であると判別されるしきい値であるＲ／Ｇの値の上限と下限それぞれとの差分に応じて行う。

すなわち本実施例では、取得された撮影画像データの色成分情報のＲ／Ｇの値と上限との差分が小さいほど蛍光灯の色シェーディング補正ゲインに重み付けを行い、下限との差分が小さいほど屋外の色シェーディング補正ゲインに重み付けを行って、本実施例の色シェーディング補正ゲインを算出する。

ここで、特に、ＣＲ屋外（ｒ）・ＣＲ蛍光灯（ｒ）は、それぞれ撮影画像データの像高ｒにおけるＲ値に対する屋外・蛍光灯の色シェーディング補正ゲインを示し、本実施例において、光源環境が屋外と蛍光灯との混合であると判別されるしきい値である色成分情報のＲ／Ｇの値の上限はＸ２、下限はＸ１であることとする。そうすると色成分情報に基づいて判別された光源環境が屋外と蛍光灯の混合である場合の色シェーディング補正ゲインＣＲ（ｒ）は次のように計算される。なお、しきい値である色成分情報のＲ／Ｇの値の上限と下限は図７のサンプル画像データ群のＲ／Ｇ＿Ｂ／Ｇ分布図を分析することにより予め撮像装置ごとに設定されている。

例えば、取得された撮影画像データの色成分情報のＲ／Ｇの値がＸＳであり、光源環境が屋外と蛍光灯の混合であると判別される場合、Ｒ値に対する色シェーディング補正ゲインＣＲ（ｒ）は次の式のように算出される。

（４）判別された光源環境が白熱灯と蛍光灯との混合である場合
判別された光源環境が白熱灯と蛍光灯との混合である場合は、色シェーディング補正ゲインを、図８のＲ値に対する色シェーディング補正ゲインＣＲ（ｒ）を参照して白熱灯と蛍光灯それぞれの色シェーディング補正ゲインの重み付けにより算出する。

白熱灯と蛍光灯それぞれの色シェーディング補正ゲインの重み付けは、より具体的には取得された撮影画像データの色成分情報のＲ／Ｇの値と、光源環境が白熱灯と蛍光灯との混合であると判別されるしきい値であるＲ／Ｇの値の上限と下限それぞれとの差分に応じて行う。

すなわち本実施例では、取得された撮影画像データの色成分情報のＲ／Ｇの値と下限との差分が小さいほど蛍光灯の色シェーディング補正ゲインに重み付けを行い、上限との差分が小さいほど白熱灯の色シェーディング補正ゲインに重み付けを行って、本実施例の色シェーディング補正ゲインを算出する。

ここで、特に、ＣＲ白熱灯（ｒ）・ＣＲ蛍光灯（ｒ）は、それぞれ撮影画像データの像高ｒにおけるＲ値に対する白熱灯・蛍光灯の色シェーディング補正ゲインを示し、本実施例において、光源環境が白熱灯と蛍光灯との混合であると判別されるしきい値である色成分情報のＲ／Ｇの値の上限はＸ３、下限はＸ２であることとする。そうすると色成分情報に基づいて判別された光源環境が白熱灯と蛍光灯の混合である場合の色シェーディング補正ゲインＣＲ（ｒ）は次のように計算される。なお、しきい値である色成分情報のＲ／Ｇの値の上限と下限は図７のサンプル画像データ群のＲ／Ｇ＿Ｂ／Ｇ分布図を分析することにより予め撮像装置ごとに設定されている。

例えば、取得された撮影画像データの色成分情報のＲ／Ｇの値がＸＴであり、光源環境が白熱灯と蛍光灯の混合であると判別される場合、Ｒ値に対する色シェーディング補正ゲインＣＲ（ｒ）は次の式のように算出される。

本実施例では以上により、撮影画像データから算出された色成分情報に基づいて光源環境を判別し、判別された光源環境に基づいて色シェーディング補正ゲインを算出する。

次に、判別された光源環境に基づいて算出された色シェーディング補正ゲインを露出情報に基づいて修正する（手順＃４）。色シェーディング補正ゲインは撮影装置で取得された露出情報に基づいてブレンド比α１１０ｃを参照して色シェーディング補正ゲイン修正部１０９ｄで修正される。

色シェーディング補正ゲインは、正確に判別された光源環境に基づいて算出されていなければ撮影画像データの色シェーディング補正を適切に行うことができない。ところが、実際に光源環境を色成分情報から常に正確に判別することは困難であり、撮影画像データの被写体の色の分布により光源環境の判別を誤った場合には色シェーディング補正ゲインを適切に算出することができず色シェーディング補正に失敗するおそれがある。

例えば、実際には屋外で取得された撮影画像データであっても蛍光灯や白熱灯の色に近づくような被写体が多く含まれている場合には、この撮影画像データから算出される色成分情報に基づいて光源環境の判別を行うと、光源環境が蛍光灯や白熱灯であると誤って判別されてしまうおそれがある。さらに、撮影画像データの光源環境が実際には屋外であるにもかかわらず、蛍光灯や白熱灯の光源環境に基づいて算出された色シェーディング補正ゲインにより撮影画像データの色シェーディング補正が行われると、撮影画像データの色シェーディング補正が不足したり過剰となったりして適切にこれを行うことができなくなってしまう。

撮影画像データの光源環境の判別を誤るおそれのある場合の具体例として、例えば、撮影画像データにおいて植物の葉の緑色が大きな割合を占めている場合が想定される。この場合に撮影画像データから色成分情報を算出して光源環境を判別すると、撮影画像データを構成する画像信号においてＧ値（緑）の割合が大きいがために蛍光灯の光源環境であると判別されてしまうおそれがある。しかしながら、Ｇ値（緑）の画像信号の割合が大きい撮影画像データであっても、実際には蛍光灯の光源環境の下で撮影されたものとは限らず屋外の光源環境で撮影されたものである場合もある。従来技術では光源環境の判別を誤った場合に、色シェーディング補正ゲインの算出も誤ることとなり、適切な色シェーディング補正が行われない問題があった。

そこで、本発明では、判別された光源環境に基づいて算出された色シェーディング補正ゲインに対して、さらに撮像装置から取得された露出情報に基づいて修正を行うことでより適切な色シェーディング補正ゲインを算出することとした。この色シェーディング補正ゲインを用いることにより撮影画像データの適切な色シェーディング補正を行うことができる。以下、露出情報に基づいて修正された色シェーディング補正ゲインを修正色シェーディング補正ゲインと呼ぶことがある。

本実施例では、判別された光源環境に基づいて算出された色シェーディング補正ゲインと屋外の光源環境に対応する色シェーディング補正ゲインとを、露出情報に対応して予め設定されているブレンド比によりブレンドすることで修正色シェーディング補正ゲインを算出し、この修正色シェーディング補正ゲインを撮影画像データの色シェーディング補正に用いることとした。

本実施例の修正色シェーディング補正ゲインを算出するためのブレンド比は、予め撮像装置に設定されている。本実施例のブレンド比は、撮像装置により取得されたサンプル画像データ群について、露出情報に対応する屋外の光源環境で取得されたサンプル画像データの占める割合の分析により設定される。

本実施例のブレンド比を予め設定する方法について以下に詳しく説明する。

まず、撮像装置により様々な撮影環境においてサンプル画像データ群を取得する。そして、サンプル画像データそれぞれを撮像装置から取得された露出情報に基づいてグループ分けする。本実施例では露出情報に基づいてグループ分けされたサンプル画像データにおいて屋外の光源環境において取得されたサンプル画像データの占める割合を分析し、これを修正色シェーディング補正ゲインを算出するためのブレンド比αとして設定した。

本実施例のブレンド比αについて、露出情報を横軸、ブレンド比αを縦軸とするとしてグラフに表すと図９のように表される。ブレンド比αは、本実施例の撮像装置で取得されるサンプル画像データ群について、露出情報ごとに屋外のサンプル画像データが現れる確率を実験的に求めたものである。

従来技術では所定の露出情報の値をしきい値として光源環境を判別し、その光源環境に基づき色シェーディング補正ゲインを決定して色シェーディング補正を行っていたが、取得された撮影画像データの露出情報の値が光源環境の判別のためのしきい値の近傍である場合には、露出情報の微小な変化によって急激に色シェーディング補正ゲインが変化してしまうことにより撮影画像データの色シェーディング補正を誤るおそれがあった。これに対し、本実施例では、露出情報に対応してブレンド比αを適切かつ連続的に設定することにより、露出情報により色シェーディング補正ゲインが急激に変化してしまうことを防止し、適切に撮影画像データの色シェーディング補正を行うことができるようにした。

図９に示すように、本実施例のブレンド比αは、露出情報の値が大きくなるに従って大きくなる傾向がある。すなわち、撮像装置により取得された撮影画像データは、その露出情報の値が大きいほど、屋外の光源環境で取得されたものである可能性が高い。

したがって、色成分情報により光源環境が蛍光灯や白熱灯であると判別された撮影画像データであっても、露出情報が比較的大きい場合には実際には屋外の光源環境の下で撮影されたものである可能性も十分に考えられるため、この場合には判別された光源環境に基づいて算出された色シェーディング補正ゲインを修正する必要がある。

そこで、本実施例では、撮像装置から取得された露出情報に基づいてブレンド比αを参照し、このブレンド比αを用いて判別された光源環境に基づいて算出された色シェーディング補正ゲインを修正することにより撮影画像データの色シェーディング補正の適切さを補完することができるようにした。

本実施例のブレンド比αを用いた色シェーディング補正ゲインの修正は、屋外の色シェーディング補正ゲインＣＲ屋外（ｒ）に対してαの重み付けをしたものと、判別された光源環境に基づいて算出された色シェーディング補正ゲインＣＲ（ｒ）に対して（１−α）の重み付けをしたものとを足し合わせることにより算出される。

修正色シェーディング補正ゲインは次の式のように算出される。ここで撮影画像データの像高ｒにおけるＲ値に対する修正色シェーディング補正ゲインをＣＲ修正（ｒ）と示す。

次に、修正色シェーディング補正ゲインＣＲ修正（ｒ）を用いて撮影画像データのＲ値について色シェーディング補正を行う（手順＃５）。より具体的には、撮影画像データの像高ｒにおける各画素のＲ値に対して修正色シェーディング補正ゲインＣＲ修正（ｒ）をそれぞれかけることにより、色シェーディングにより不足した画像信号（Ｒ値）を補完する。

撮影画像データの色ムラは、撮像装置を構成するＩＲカットフィルタや撮像素子の特性により特に撮影レンズからの光束の入射角が大きくなる撮影画像データの周辺部で生じやすい。色シェーディングが生じた撮影画像データの周辺部ではＲＧＢ値のバランスが崩れ、特定の色の画素値が本来取得される画素値よりも不足する。そのため、色シェーディング補正を行うには各画素の画素値に対して不足している特定の色の画素値に適切なゲインをかけて画像信号を補完し本来取得される画素値に補正する必要がある。

本実施例において、撮影画像データの色シェーディング補正に際し、撮影画像データ全体のＲ値に対して修正色シェーディング補正ゲインＣＲ（ｒ）かける計算は以下のように行われる。

まず、ゲインをかける各画素の撮影画像データにおける像高ｒを算出する。図１０は撮影画像データにおける各画素の像高ｒの算出方法を示した図である。図１０に示すように、撮影画像データの中心にある画素の位置を原点（０，０）とする平面座標において、中心にある画素から横方向にｘ番目、縦方向にｙ番目に当たる画素の座標位置を（ｘ，ｙ）とする。また、（ｘ，ｙ）にある画素のＲ値をＲ（ｘ，ｙ）とする。また、撮影画像データの中心から（ｘ，ｙ）にある画素までの横方向・縦方向の距離をそれぞれｒｘ・ｒｙとする。

図１０から（ｘ，ｙ）にある画素の像高ｒをｒ（ｘ，ｙ）とすると、像高ｒは次のように算出される。

そして、像高ｒに対応する修正色シェーディング補正ゲインＣＲ（ｒ）を撮影画像データ全体の各画素のＲ値にかけることで撮影画像データの色シェーディング補正を行う。撮影画像データにおいて（ｘ，ｙ）にある画素の補正後のＲ値をＲ'（ｘ，ｙ）とすると、撮影画像データ全体のＲ値の補正は次のように算出される。
ただし、
Ｒ（ｘ，ｙ）：（ｘ，ｙ）にある画素で取得されるＲ値
Ｒ'（ｘ，ｙ）：本実施例における色シェーディング補正後のＲ値
ＣＲ修正（ｒ）：像高ｒに対応するＲ値の修正色シェーディング補正ゲイン
ｒ：撮影画像データにおいて（ｘ，ｙ）にある画素の像高

以上の本実施例における色シェーディング補正の処理フローにより、修正色シェーディング補正ゲインを用いた撮影画像データの適切な色シェーディング補正を行うことができる。

なお、本実施例では撮影画像データの各画素のＲ値に対する色シェーディング補正について説明したが、その他のＧ値やＢ値等が撮影画像データに生じる色シェーディングの原因となる場合には、これらに対してもＲ値に対して行った本実施例と同様の色シェーディング補正を行うことも容易に想到できる。

なお、本実施例では本発明の光源環境の判別にについて、撮影画像データを構成するＲＧＢ値から算出された色成分情報を用いた方法を説明したが、本発明の光源環境の判別はこの方法に限定されず、例えば撮像装置に別途設けられた光源環境を判別するためのセンサーを用いた方法等も当てはまる。

本発明によれば、撮影画像データに生じた色シェーディング補正を行うに際し、単に撮影画像データの光源環境の判別に基づく色シェーディング補正ゲインを用いるだけでなく、これを撮像装置から取得される露出情報に基づいてさらに修正した修正色シェーディング補正ゲインを用いることにより、様々な撮影条件において適切な色シェーディング補正を行うことができる。

デジタルカメラの主な構成要素を示すブロック図である。 色シェーディング補正の処理フローを示す図である。 撮影画像データをＮ分割した様子を示す図である。 撮影画像データをＮ分割して分割したエリアごとにＲ／Ｇの値とＢ／Ｇの値を算出する様子を示す図である。 撮影画像データをＮ分割して分割したエリアごとに算出したＲ／Ｇの値とＢ／Ｇの値をＲ／Ｇ＿Ｂ／Ｇ分布図にプロットした様子を示す図である。 Ｒ／Ｇ＿Ｂ／Ｇ分布図におけるホワイトマップを示す図である。 サンプル画像データ群について光源環境ごとに色成分情報をプロットしたＲ／Ｇ＿Ｂ／Ｇ分布図を示す図である。 撮影画像データの像高ｒに位置する各画素のＲ値に対する光源環境ごとの色シェーディング補正ゲインを示す図である。 露出情報に対応するブレンド比を示す図である。 撮影画像データの像高ｒの算出方法を示す図である。

１０１ 撮影レンズ
１０２ ＩＲカットフィルタ
１０３ 撮像素子
１０４ アナログ回路
１０５ Ａ／Ｄ変換回路
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 制御部
１０９ 色シェーディング補正部
１１０ 記憶部

Claims (2)

1. 取得された撮影画像データを構成する画素値にゲインをかけることにより色シェーディング補正を行う撮像装置において、
   取得された撮影画像データの光源環境を判別する光源環境判別手段と、
   判別された前記光源環境に基づいて色シェーディング補正ゲインを算出する色シェーディング補正ゲイン算出手段と、
   算出された前記色シェーディング補正ゲインを撮影画像データの露出情報に基づいて修正することにより修正色シェーディング補正ゲインを算出する色シェーディング補正ゲイン修正手段とを有し、
   前記修正色シェーディング補正ゲインを用いて前記撮影画像データの色シェーディング補正を行い、
   前記修正色シェーディング補正ゲインの算出は、撮影画像データの露出情報に対応して予め撮像装置に記憶されたブレンド比を用いて、屋外の色シェーディング補正ゲインと判別された光源環境に基づいて算出された色シェーディング補正ゲインとの重み付け加算を行うことによるものであることを特徴とする撮像装置。
2. 取得された撮影画像データの光源環境の判別は撮影画像データを構成する画素値を用いて算出される色成分情報に基づいて行われることを特徴とする請求項１に記載の撮像装置。