JP5899894B2 - 撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Description

本発明は、撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法に関する。

従来、可視光による画像を撮影するデジタルカメラなどの撮像装置では、赤外カットフィルタを設けて赤外光をカットし、可視光のみによる画像の撮影を行う。一方、赤外光を照射して撮影を行うアクティブセンサを有する撮影装置では、赤外カットフィルタを設けずに可視光および赤外光による画像の撮影を行う。可視光および赤外光による画像の撮影を行う撮影装置は、監視カメラ、視線検出装置などに用いられる。この可視光および赤外光による画像は、赤外光分を含む影響により、可視光のみによる画像と比べて色合いが変化する。

ところで、可視光による画像の撮影と赤外光による画像の撮影とを１台で兼用する場合、撮影装置に赤外カットフィルタを着脱する着脱機構を設ける構成が考えられる。しかし、着脱機構を設けた場合、撮影装置が大型化し、製造コストも増大する。特に、携帯電話やスマートフォンなどカメラを有する携帯端末では、装置の大型化は問題である。

そこで、赤外カットフィルタを除去し、行列演算を用いた信号処理によって、可視光および赤外光による画像に対して色補正を行う技術が提案されている。ところで、赤外カットフィルタを除去した撮影装置により撮影された画像は、撮影時に照明条件によって色合いが大きく異なる結果となる。そこで、撮影画像の色補正を行う次のような技術が提案されている。例えば、撮影画像の各画素の色を示すＲ（Red）、Ｇ（Green）、Ｂ（Blue）の画素値を色毎に積算し、Ｒの積算値とＧの積算値との比（ΣＲ／ΣＧ）又はＢの積算値とＧの積算値との比（ΣＢ／ΣＧ）から色温度を推定し、色温度に応じて色変換を行う技術がある。また、撮影装置に可視光センサに加えて、紫外、赤外の専用のセンサを設けて、紫外、赤外の専用のセンサにより可視光に対する紫外、赤外の相対強度を測定して光源を推定する技術がある。

特開２００６−０９４１１２号公報 特開２００８−２７５５８２号公報

ところで、例えば、白熱電球は、可視領域に対して赤外領域の強度が強い。一方、蛍光ランプは、可視に対して赤外領域の強度が弱い。このため、撮影時の照明として白熱電球を用いた場合の方が蛍光ランプの場合よりも赤外光の撮像装置への混入が大きく、撮影画像の無彩色の度合いが大きくなる。このため、撮影時の照明として白熱電球を用いた場合の方が蛍光ランプの場合よりも、撮影画像に対する色補正量を大きくしなければならない。しかし、白熱電球および蛍光ランプは、何れも色温度が３０００Ｋ程度となる場合もあり得る。

このように、照明環境が異なっても同一の色温度となる場合がある。このため、撮影画像に対して適切な色補正を行うには、撮影時の照明を推定する必要がある。しかし、先行技術のように、撮影画像のＲの積算値とＧの積算値との比（ΣＲ／ΣＧ）、又はＢの積算値とＧの積算値との比（ΣＢ／ΣＧ）の関係から色温度を推定しても、照明環境を推定できない。すなわち、先行技術は、推定した色温度に応じて色変換を行うこととなるため、適切な色変換が行われず、色再現性が不十分な画像になる。

なお、撮影装置に紫外、赤外の専用のセンサを設けた場合、装置が大型化してしまい、コストが上昇してしまうことが考えられる。

開示の技術は、上記の事実に鑑みてなされたものであって、撮影画像から撮影時の照明環境を精度良く推定できる撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

本願の開示する撮像装置は、一つの態様において、可視光および赤外光に対して感度を有し、画像を撮影する撮影部を有する。また、撮像装置は、前記撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出する導出部を有する。また、撮像装置は、前記導出部により導出された特徴量に基づいて、撮影時の照明環境を推定する推定部を有する。

本願の開示する撮像装置の一つの態様によれば、撮影画像から撮影時の照明環境を精度良く推定できる。

図１は、撮影装置の構成の一例を示す図である。 図２は、赤外カットフィルタを設けた撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。 図３は、赤外カットフィルタを設けていない撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。 図４は、カラーチェッカーターゲットの各色見本領域による反射光の分光特性を示す図である。 図５は、一般的な撮像素子の分光感度特性の一例を示す図である。 図６Ａは、赤外カットフィルタ有りの撮影装置の分光感度特性の一例を示す図である。 図６Ｂは、赤外カットフィルタ無しの撮影装置の分光感度特性の一例を示す図である。 図７は、反射物のサンプルの分光特性の一例を示す図である。 図８は、赤外カットフィルタ無しの撮影装置および赤外カットフィルタ有りの撮影装置により、反射物のサンプルを撮影した場合の画像のＲＧＢの値の一例を示す図である。 図９Ａは、白熱電球の照明環境で樹木の風景の画像を撮影した画像の一例を示す図である。 図９Ｂは、太陽光の照明環境で樹木の風景の画像を撮影した画像の一例を示す図である。 図９Ｃは、蛍光ランプの照明環境で樹木の風景の画像を撮影した画像の一例を示す図である。 図１０Ａは、図９Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１０Ｂは、図９Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１０Ｃは、図９Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１１Ａは、白熱電球の照明環境で河川敷の風景の画像を撮影した画像の一例を示す図である。 図１１Ｂは、太陽光の照明環境で河川敷の風景の画像を撮影した画像の一例を示す図である。 図１１Ｃは、蛍光ランプの照明環境で河川敷の風景の画像を撮影した画像の一例を示す図である。 図１２Ａは、図１１Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１２Ｂは、図１１Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１２Ｃは、図１１Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１３Ａは、白熱電球の照明環境で川を見下す風景の画像を撮影した画像の一例を示す図である。 図１３Ｂは、太陽光の照明環境で川を見下す風景の画像を撮影した画像の一例を示す図である。 図１３Ｃは、蛍光ランプの照明環境で川を見下す風景の画像を撮影した画像の一例を示す図である。 図１４Ａは、図１３Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１４Ｂは、図１３Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１４Ｃは、図１３Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１５Ａは、白熱電球の照明環境で室内の展示会の風景の画像を撮影した画像の一例を示す図である。 図１５Ｂは、太陽光の照明環境で室内の展示会の風景の画像を撮影した画像の一例を示す図である。 図１５Ｃは、蛍光ランプの照明環境で室内の展示会の風景の画像を撮影した画像の一例を示す図である。 図１６Ａは、図１５Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１６Ｂは、図１５Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１６Ｃは、図１５Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１７Ａは、白熱電球の照明環境で皿に盛った料理の画像を撮影した画像の一例を示す図である。 図１７Ｂは、太陽光の照明環境で皿に盛った料理の画像を撮影した画像の一例を示す図である。 図１７Ｃは、蛍光ランプの照明環境で皿に盛った料理の画像を撮影した画像の一例を示す図である。 図１８Ａは、図１７Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１８Ｂは、図１７Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１８Ｃは、図１７Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。 図１９Ａは、色度分布のｘ方向の最大値を光源の種類毎に分けてヒストグラム化した結果を示す図である。 図１９Ｂは、色度分布のｙ方向の最大値を光源の種類毎に分けてヒストグラム化した結果を示す図である。 図２０Ａは、図９Ａの画像を白熱電球に対応した補正係数により補正した結果の一例を示す図である。 図２０Ｂは、図９Ｂの画像を太陽光に対応した補正係数により補正した結果の一例を示す図である。 図２１は、撮像処理の手順を示すフローチャートである。 図２２は、画像処理プログラムを実行するコンピュータを示す図である。

以下に、本発明にかかる撮像装置、画像処理装置、画像処理プログラムおよび画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。以下では、撮影システムに本発明を適用した場合について説明する。

実施例１に係る撮影システムについて説明する。図１は、撮影装置の構成の一例を示す図である。撮像装置１０は、静止画や動画の撮影を行う機器であり、例えば、デジタルカメラやビデオカメラ、監視カメラなどである。なお、撮像装置１０は、カメラを有する携帯端末であってもよい。撮像装置１０は、撮影部１１と、導出部１２と、推定部１３と、記憶部１４と、生成部１５と、補正部１６と、ガンマ補正部１７と、画質調整部１８と、出力部１９と、メモリカード２０とを有する。

撮影部１１は、画像の撮像を行う。例えば、撮影部１１は、レンズなどの光学系部品、および光学系部品の光軸上に配置された、ＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有する。撮影部１１は、光学系部品に赤外カットフィルタが含まれておらず、可視光および赤外光に対して感度を有する。撮影部１１は、光学系部品を介して可視光および赤外光が撮像素子に入射する。撮像素子は、各画素に対応してＲＧＢが所定パターンで配列したカラーフィルタが受光面に設けられており、各画素で受光した光量に応じたアナログ信号を出力する。

撮影部１１は、撮像素子から出力されたアナログ信号に対して相関２重サンプリングなどのノイズ除去処理や、増幅処理など各種のアナログ信号処理を行う。そして、撮影部１１は、アナログ信号処理されたアナログ信号をデジタルデータに変換し、デモザイク処理など各種のデジタル信号処理を行い、撮像された画像を示す画像情報を出力する。この画像情報の各画素は、ＲＧＢの色空間で所定階調により色を示す値が定められている。この撮影部１１により撮影された画像は、赤外光分を含む影響により、可視光のみによる画像と比べて色合いが変化する。

ここで、ｘ−ｒｉｔｅ社製のカラーチェッカーターゲットを撮影した画像を用いて色合いが変化の一例を説明する。図２は、赤外カットフィルタを設けた撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。図３は、赤外カットフィルタを設けていない撮影装置によりカラーチェッカーターゲットを撮影した画像の一例を示す図である。図２および図３に示すように、カラーチェッカーターゲット２００は、グレートーンを含む（Ａ）〜（Ｘ）の２４色の矩形の色見本領域２０１を有する。図２は、図３に比べて色合いが変化している。

各色見本領域２０１による反射光には、可視光と共に赤外光が含まれる。図４は、カラーチェッカーターゲットの各色見本領域による反射光の分光特性を示す図である。図４の例では、各色見本領域２０１に付された（Ａ）〜（Ｘ）に対応付けて各色見本領域２０１による反射光の分光特性を示している。また、図４の例では、（Ａ）〜（Ｘ）に対応させて各色見本領域２０１の各色の名称を示している。例えば、（Ａ）が付された色見本領域２０１の色は、ｄａｒｋ ｓｋｉｎである。

撮像素子は、可視光および赤外光に対して感度を有する。図５は、一般的な撮像素子の分光感度特性の一例を示す図である。図５に示すように撮像素子は、各画素がそれぞれＲＧＢの波長域と共に、波長が７００ｎｍ以上の赤外光の波長域に対しても感度を有する。このため、撮像素子は、ＲＧＢの各色の受光部に可視光に加えて赤外光も入射した場合、赤外光を受光した分の電荷が発生する。この赤外光を受光した分の電荷の影響により撮影される画像の色合いが変化する。

一例として図５に示した分光感度特性を簡略化したモデルを用いて、赤外カットフィルタを外すことよって、画像の色合いが変化する理由を具体的に説明する。図６Ａは、赤外カットフィルタ有りの撮影装置の分光感度特性の一例を示す図である。図６Ａに示すように、カットフィルタ有りの撮影装置は、ＲＧＢの光に対する感度を「１０」とし、赤外光に対する感度を「０」とする。図６Ｂは、赤外カットフィルタ無しの撮影装置の分光感度特性の一例を示す図である。図６Ｂに示すように、カットフィルタ無しの撮影装置は、ＲＧＢの光、および赤外光に対する感度を「１０」とする。このような赤外カットフィルタ無しの撮影装置および赤外カットフィルタ有りの撮影装置により、例えば青系の色の反射物のサンプルを撮影するものとする。図７は、反射物のサンプルの分光特性の一例を示す図である。図７の例では、Ｒおよび赤外の波長域の分光特性が「８」、ＧＢの波長域の分光特性が「４」であるものとする。図８は、赤外カットフィルタ無しの撮影装置および赤外カットフィルタ有りの撮影装置により、反射物のサンプルを撮影した場合の画像のＲＧＢの値の一例を示す図である。なお、図８の例では、ＲＧＢ値を規格化して示している。

赤外カットフィルタ有りの撮影装置により撮影される画像のＲＧＢの値は、図６Ａに示すＲＧＢの光に対する感度と図７に示す青色系サンプルをそれぞれ色成分ごとに掛けて積分することによって得られる。例えば、赤外カットフィルタ無しの撮影装置により撮影される画像のＲＧＢの値は、以下のように求まる。
Ｒの値＝１０×８＝８０
Ｇの値＝１０×４＝４０
Ｂの値＝１０×４＝４０

なお、図８の例では、赤外カットフィルタ有りの撮影装置のＲＧＢ値を、Ｒ：Ｇ：Ｂ＝８０：４０：４０＝１：０．５：０．５と規格化し、比率で示している。

また、赤外カットフィルタ無しの撮影装置により撮影される画像のＲＧＢの値は、図６Ｂに示すＲＧＢの光および赤外光に対する感度と図７に示す青色系サンプルをそれぞれ色成分ごとに掛けて積分することによって得られる。例えば、赤外カットフィルタ無しの撮影装置により撮影される画像のＲＧＢの値は、以下のように求まる。
Ｒの値＝１０×８＋１０×８＝１６０
Ｇの値＝１０×４＋１０×８＝１２０
Ｂの値＝１０×４＋１０×８＝１２０

なお、図８の例では、赤外カットフィルタ無しの撮影装置のＲＧＢ値を、Ｒ：Ｇ：Ｂ＝１６０：１２０：１２０＝１：０．７５：０．７５と規格化し、比率で示している。

図８に示すように、ＲＧＢの値は、赤外カットフィルタ有りの撮影装置よりも、赤外カットフィルタ無しの撮影装置の方が値の差が少なくなっている。すなわち、赤外カットフィルタ無しの撮影装置の方が赤外カットフィルタ有りの撮影装置よりも撮影された画像の色合いが変化し、無彩色に近づいている。撮影装置の赤外の感度がさらに高くなると、撮影された画像は、さらに無彩色に近づくことになる。

ところで、一般的な照明は、可視に対する赤外光の大きさを大まかに大中小の３段階に大別することができる。例えば、白熱電球は赤外光が多く含まれる。また、太陽光は赤外光が白熱電球よりも少なく、蛍光ランプよりも多い中程度含まれる。蛍光ランプは赤外光が含まれる量が少ない。

撮影時の照明を白熱電球、太陽光、蛍光ランプにそれぞれ変えて、被写体を撮影した画像を例にして色合いの変化を示す。図９Ａは、白熱電球の照明環境で樹木の風景の画像を撮影した画像の一例を示す図である。図９Ｂは、太陽光の照明環境で樹木の風景の画像を撮影した画像の一例を示す図である。図９Ｃは、蛍光ランプの照明環境で樹木の風景の画像を撮影した画像の一例を示す図である。白熱電球、太陽光、蛍光ランプでは、白熱電球は赤外光の混入量が最も多く、蛍光灯は赤外光の混入量が最も少ない。このため、図９Ａに示すように、白熱電球で撮影された画像は、無彩色に近い画像となる。また、図９Ｃに示すように、蛍光ランプで撮影された画像は、赤外カットフィルタが有る撮影装置で撮影された画像に近い画像となる。

図９Ａ〜図９Ｃに示した画像の色合いの違いを明確にするため、図９Ａ〜図９Ｃに示した画像のＸＹＺ表色系のｘｙ色度座標での色度分布を用いて比較する。図１０Ａは、図９Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１０Ｂは、図９Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１０Ｃは、図９Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１０Ａ〜図１０Ｃの横軸のｘ成分は、ＲＧＢ色空間のＲ成分の割合を表す。また、図１０Ａ〜図１０Ｃの縦軸のｙ成分は、ＲＧＢ色空間のＧ成分の割合を表す。図１０Ａ〜図１０Ｃを比較した場合、図１０Ｃ、図１０Ｂ、図１０Ａの順に色度分布の拡がり度合が小さくなっている。この理由は、赤外光成分が多い撮影環境で撮影された画像は、無彩色に近い画像となりＲＧＢの値の差が少なくなるためである。

以下、他の様々な被写体を撮影した画像を例にして色合いの変化をさらに示す。図１１Ａは、白熱電球の照明環境で河川敷の風景の画像を撮影した画像の一例を示す図である。図１１Ｂは、太陽光の照明環境で河川敷の風景の画像を撮影した画像の一例を示す図である。図１１Ｃは、蛍光ランプの照明環境で河川敷の風景の画像を撮影した画像の一例を示す図である。この場合も、図１１Ａに示すように、白熱電球で撮影された画像は、無彩色に近い画像となる。また、図１１Ｃに示すように、蛍光ランプで撮影された画像は、赤外カットフィルタが有る撮影装置で撮影された画像に近い画像となる。

図１１Ａ〜図１１Ｃに示した画像の色合いの違いを明確にするため、図１１Ａ〜図１１Ｃに示した画像のＸＹＺ表色系のｘｙ色度座標での色度分布を用いて比較する。図１２Ａは、図１１Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１２Ｂは、図１１Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１２Ｃは、図１１Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１２Ａ〜図１２Ｃを比較した場合も、図１２Ｃ、図１２Ｂ、図１２Ａの順に色度分布の拡がり度合が小さくなっている。

図１３Ａは、白熱電球の照明環境で川を見下す風景の画像を撮影した画像の一例を示す図である。図１３Ｂは、太陽光の照明環境で川を見下す風景の画像を撮影した画像の一例を示す図である。図１３Ｃは、蛍光ランプの照明環境で川を見下す風景の画像を撮影した画像の一例を示す図である。この場合も、図１３Ａに示すように、白熱電球で撮影された画像は、無彩色に近い画像となる。また、図１３Ｃに示すように、蛍光ランプで撮影された画像は、赤外カットフィルタが有る撮影装置で撮影された画像に近い画像となる。

図１３Ａ〜図１３Ｃに示した画像の色合いの違いを明確にするため、図１３Ａ〜図１３Ｃに示した画像のＸＹＺ表色系のｘｙ色度座標での色度分布を用いて比較する。図１４Ａは、図１３Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１４Ｂは、図１３Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１４Ｃは、図１３Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１４Ａ〜図１４Ｃを比較した場合も、図１４Ｃ、図１４Ｂ、図１４Ａの順に色度分布の拡がり度合が小さくなっている。

図１５Ａは、白熱電球の照明環境で室内の展示会の風景の画像を撮影した画像の一例を示す図である。図１５Ｂは、太陽光の照明環境で室内の展示会の風景の画像を撮影した画像の一例を示す図である。図１５Ｃは、蛍光ランプの照明環境で室内の展示会の風景の画像を撮影した画像の一例を示す図である。この場合も、図１５Ａに示すように、白熱電球で撮影された画像は、無彩色に近い画像となる。また、図１５Ｃに示すように、蛍光ランプで撮影された画像は、赤外カットフィルタが有る撮影装置で撮影された画像に近い画像となる。

図１５Ａ〜図１５Ｃに示した画像の色合いの違いを明確にするため、図１５Ａ〜図１５Ｃに示した画像のＸＹＺ表色系のｘｙ色度座標での色度分布を用いて比較する。図１６Ａは、図１５Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１６Ｂは、図１５Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１６Ｃは、図１５Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１６Ａ〜図１６Ｃを比較した場合も、図１６Ｃ、図１６Ｂ、図１６Ａの順に色度分布の拡がり度合が小さくなっている。

図１７Ａは、白熱電球の照明環境で皿に盛った料理の画像を撮影した画像の一例を示す図である。図１７Ｂは、太陽光の照明環境で皿に盛った料理の画像を撮影した画像の一例を示す図である。図１７Ｃは、蛍光ランプの照明環境で皿に盛った料理の画像を撮影した画像の一例を示す図である。この場合も、図１７Ａに示すように、白熱電球で撮影された画像は、無彩色に近い画像となる。また、図１７Ｃに示すように、蛍光ランプで撮影された画像は、赤外カットフィルタが有る撮影装置で撮影された画像に近い画像となる。

図１７Ａ〜図１７Ｃに示した画像の色合いの違いを明確にするため、図１７Ａ〜図１７Ｃに示した画像のＸＹＺ表色系のｘｙ色度座標での色度分布を用いて比較する。図１８Ａは、図１７Ａの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１８Ｂは、図１７Ｂの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１８Ｃは、図１７Ｃの画像のＸＹＺ表色系のｘｙ色度座標での色度分布を示すグラフである。図１８Ａ〜図１８Ｃを比較した場合も、図１８Ｃ、図１８Ｂ、図１８Ａの順に色度分布の拡がり度合が小さくなっている。

このように、撮影された画像は、撮影時の照明環境の違い、すなわち近赤外の混入量の違いによって色度分布の広がり方に十分有意差がある。白熱電球により撮影された画像は、無彩色に近く、色味が少なくなるため最も色度分布が狭くなる。蛍光ランプにより撮影された画像は、有彩色に最も近く、色味が多くなるため色度分布が最も広くなる。太陽光により撮影された画像は、色度分布がそれらの間に位置する。よって、撮影された画像の各画素の色の色度分布の拡がり度合い示す特徴量を導出できれば、特徴量から撮影時の照明を推定できる。この特徴量としては、例えば、色度分布の最大値、最小値、標準偏差が挙げられる。

図１９Ａは、色度分布のｘ方向の最大値を光源の種類毎に分けてヒストグラム化した結果を示す図である。図１９Ａの例は、図１０Ａ〜１０Ｃ、図１２Ａ〜１２Ｃ、図１４Ａ〜１４Ｃ、図１６Ａ〜１６Ｃ、図１８Ａ〜１８Ｃおよび図示しないその他の画像についての色度分布のｘ方向の最大値を光源の種類毎に分けてヒストグラム化した結果である。図１９Ｂは、色度分布のｙ方向の最大値を光源の種類毎に分けてヒストグラム化した結果を示す図である。図１９Ｂの例は、図１０Ａ〜１０Ｃ、図１２Ａ〜１２Ｃ、図１４Ａ〜１４Ｃ、図１６Ａ〜１６Ｃ、図１８Ａ〜１８Ｃおよび図示しないその他の画像についての色度分布のｙ方向の最大値を光源の種類毎に分けてヒストグラム化した結果である。図１９Ａ、１９Ｂに示すように、光源の種類毎にヒストグラムの最大値の分布が異なる。本実施例では、色度分布のｘ方向の最大値を用いて撮影時の照明を推定する。

図１に戻り、導出部１２は、各種の導出を行う。例えば、導出部１２は、撮影部１１により撮影された画像の各画素の色の色度分布を求めた場合の当該色度分布の拡がり度合いを示す色度分布のｘ方向の最大値を導出する。

推定部１３は、撮影時の照明環境の推定を行う。例えば、推定部１３は、導出部１２により導出された色度分布のｘ方向の最大値に基づいて、撮影時の照明環境を推定する。

ここで、図１９Ａに示したように、色度分布のｘ方向の最大値は、光源の種類毎にヒストグラムの分布が異なる。よって、閾値を適切に定めることにより、色度分布のｘ方向の最大値から光源の種類を判別できる。本実施例では、２つの閾値Ｔ１、Ｔ２を用いて撮影時の照明環境を推定する。閾値Ｔ１は、例えば、白熱電球でのヒストグラムと太陽光でのヒストグラムの境界と見なせる値に定める。また、閾値Ｔ２は、例えば、太陽光のヒストグラムと蛍光ランプのヒストグラムの境界と見なせる値に定める。

推定部１３は、導出部１２により導出された色度分布のｘ方向の最大値が閾値Ｔ１未満の場合、撮影時の照明を白熱電球と推定する。また、推定部１３は、色度分布のｘ方向の最大値が閾値Ｔ１以上かつ閾値Ｔ２未満の場合、撮影時の照明を太陽光と推定する。また、推定部１３は、色度分布のｘ方向の最大値が閾値Ｔ２以上の場合、撮影時の照明を蛍光ランプと推定する。

記憶部１４は、各種情報を記憶する。例えば、記憶部１４は、照明環境毎に、色の補正情報１４ａを記憶する。記憶部１４のデバイスの一例としては、フラッシュメモリやＮＶＳＲＡＭ(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリが挙げられる。

ここで、補正情報１４ａについて説明する。各画素のＲＧＢの色を示す値を３行１列の行列で表す。そして、照明毎に、補正情報１４ａとして、各画素の補正前の色Ｓを赤外カットフィルタを設けて撮影した色Ｔに近い色に補正する補正係数Ａを以下の（１）式に示すような３×３の行列と定める。

補正後の色Ｔは、以下の（２）式に示すように、補正前の色Ｓに対する補正係数Ａの演算で表される。
Ｔ＝Ａ・Ｓ （２）

白熱電球で撮影された画像は、蛍光ランプで撮影された画像よりも無彩色に近い画像であるため、蛍光ランプで撮影された画像よりも色合いを大きく変化させる必要がある。このため、白熱電球用の補正係数Ａは、蛍光ランプ用の補正係数Ａに比べて、要素の値が大きくなっている。また、例えば、赤外量が大きい白熱電球と赤外量が少ない蛍光ランプが同じ明るさで混合した光源は、赤外光量が中程度となり、太陽光の色度分布にある程度近くなる。

本実施例では、記憶部１４に、照明環境毎の補正情報１４ａとして、白熱電球に対応した補正係数Ａと、蛍光ランプに対応した補正係数Ａを記憶させる。

生成部１５は、推定部１３により推定された照明環境に対応する補正係数Ａを記憶部１４から読み出し、補正部１６へ出力する。例えば、生成部１５は、照明環境が白熱電球であると推定された場合、記憶部１４から白熱電球に対応した補正係数Ａを読み出して補正部１６へ出力する。一方、蛍光ランプで撮影された画像は、ほとんど色味に変化が見られず、赤外カットフィルタが有る撮影装置で撮影された画像に近い画像となる。このため、本実施例では、照明環境が蛍光ランプであると推定された場合、色補正を行わないこととする。生成部１５は、照明環境が蛍光ランプであると推定された場合、補正部１６へ補正係数を特に出力しないこととする。なお、照明環境が蛍光ランプである際にも色補正を行うものとしてもよい。この場合、生成部１５は、記憶部１４から蛍光ランプに対応した補正係数Ａを読み出して補正部１６へ出力する。

また、生成部１５は、推定部１３による推定された照明環境に対応する補正情報１４ａが記憶部１４に無い場合、記憶部１４に記憶された照明環境毎の補正情報１４ａから補間により当該推定された照明環境の補正情報１４ａを生成する。例えば、生成部１５は、照明環境が太陽光であると推定された場合、記憶部１４から白熱電球に対応した補正係数Ａと蛍光ランプに対応した補正係数Ａを読み出す。そして、生成部１５は、白熱電球に対応した補正係数Ａと蛍光ランプに対応した補正係数Ａの対応する要素毎に線形補間を行って太陽光に対応した補正係数Ａを生成し、生成した補正係数Ａを補正部１６へ出力する。

補正部１６は、生成部１５から補正係数Ａが入力した場合、入力した補正係数Ａを用いて、撮影部１１により撮影された画像の色を補正する。そして、補正部１６は、画像情報をガンマ補正部１７へ出力する。例えば、補正部１６は、撮影部１１により撮影された画像の各画素毎に、画素のＲＧＢの画素値をＳとして上記（２）式に示す演算を行って補正後のＲＧＢの画素値Ｔを算出する。

ここで、補正部１６により画像を補正した結果の一例を示す。図２０Ａは、図９Ａの画像を白熱電球に対応した補正係数により補正した結果の一例を示す図である。図２０Ｂは、図９Ｂの画像を太陽光に対応した補正係数により補正した結果の一例を示す図である。図２０Ａ、２０Ｂに示すように、補正を行うことにより、それぞれの照明環境で撮影された画像は、図９Ｃに示す蛍光ランプで撮影された画像に近い画像に補正される。

ガンマ補正部１７は、補正部１６から入力した画像情報に対して撮影部１１の感度特性を補正する非線形のガンマ補正を行い、撮影部１１により撮影された画像の明るさの変化と画素値の変化が比例するように補正を行う。

画質調整部１８は、画像の画質を調整する各種の画像処理を行う。例えば、画質調整部１８は、ガンマ補正部１７によりガンマ補正された画像情報により示される画像の鮮やかさやコントラストなどが所定の画質となるように、当該画像情報に対して所定の画像処理を行う。

出力部１９は、各種の情報を出力する。例えば、出力部１９は、画質調整部１８により画質が調整された画像を表示する。出力部１９のデバイスの一例としては、ＬＣＤ（Liquid Crystal Display）の表示デバイスなどが挙げられる。なお、出力部１９は、画質調整部１８により画質が調整された画像情報を外部へ出力するものとしてもよい。

メモリカード２０は、各種の情報を記憶する。例えば、画質調整部１８により画質が調整された画像情報を記憶する。

次に、本実施例に係る撮像装置１０により画像を撮像する際の処理の流れを説明する。図２１は、撮像処理の手順を示すフローチャートである。この撮像処理は、例えば、撮像装置１０に対して撮像を指示する所定操作が行われたタイミングで実行される。

図２１に示すように、撮影部１１は、撮像素子の各画素からアナログ信号を読み出して各種のアナログ信号処理、デジタル信号処理を行い、撮像された画像を示す画像情報を出力する（ステップＳ１０）。導出部１２は、撮影部１１により撮影された画像の色度分布のｘ方向の最大値を導出する（ステップＳ１１）。推定部１３は、導出された色度分布のｘ方向の最大値が閾値Ｔ１未満であるか判定する（ステップＳ１２）。最大値が閾値Ｔ１未満である場合（ステップＳ１２肯定）、生成部１５は、記憶部１４から白熱電球に対応した補正係数Ａを読み出して補正部１６へ出力する（ステップＳ１３）。一方、最大値が閾値Ｔ１未満でない場合（ステップＳ１２否定）、推定部１３は、最大値が閾値Ｔ２以上であるか判定する（ステップＳ１４）。最大値が閾値Ｔ２以上の場合（ステップＳ１４肯定）、後述するステップＳ１７へ移行する。一方、最大値が閾値Ｔ２以上でない場合（ステップＳ１４否定）、生成部１５は、白熱電球に対応した補正係数Ａと蛍光ランプに対応した補正係数Ａから補間により太陽光に対応した補正係数Ａを生成して補正部１６へ出力する（ステップＳ１５）。

補正部１６は、生成部１５から入力した補正係数Ａを用いて、撮影部１１により撮影された画像の色の補正する（ステップＳ１６）。ガンマ補正部１７は、画像情報に対してガンマ補正を行う（ステップＳ１７）。画質調整部１８は、ガンマ補正された画像情報に対して画質を調整する所定の画像処理を行う（ステップＳ１８）。画質調整部１８は、画質が調整された画像を出力部１９へ出力して表示させる（ステップＳ１９）。また、画質調整部１８は、画質が調整された画像情報をメモリカード２０に記憶させ（ステップＳ２０）、処理を終了する。

このように、撮像装置１０は、可視光および赤外光に対して感度を有する撮影部１１により、画像を撮影する。また、撮像装置１０は、撮影された画像の色度分布のｘ方向の最大値を導出する。そして、撮像装置１０は、色度分布のｘ方向の最大値に基づいて、撮影時の照明環境を推定する。これにより、撮像装置１０によれば、撮影画像から撮影時の照明環境を精度良く推定できる。

また、撮像装置１０は、照明環境毎に、色の補正情報１４ａを記憶する。そして、撮像装置１０は、記憶された照明環境毎の補正情報１４ａのうち、推定された照明環境に応じた補正情報１４ａを用いて撮影された画像を補正する。これにより、撮像装置１０によれば、照明環境が異なっても撮影画像を色再現性が十分な適切な画像に補正できる。

また、撮像装置１０は、推定された照明環境に対応する補正情報１４ａが無い場合、他の照明環境毎の補正情報１４ａから補間により推定された照明環境の補正情報を生成する。そして、撮像装置１０は、生成された補正情報を用いて撮影された画像を補正する。これにより、撮像装置１０によれば、照明環境毎の補正情報を全て記憶していなくても、撮影画像を適切な画像に補正できる。

さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

例えば、上記の実施例１では、色度分布の拡がり度合い示す特徴量として色度分布のｘ方向の最大値を用いた場合について説明したが、開示の装置はこれに限定されない。例えば、特徴量をｙ方向の最大値としてもよい。また、特徴量を色度分布のｘ方向またはｙ方向の最小値や標準偏差など他の値を用いてもよい。

また、例えば、照明環境として白熱電球と太陽光が混合するなど複数の光源が混合場合がある。そこて、例えば、それぞれの照明環境で色度分布が最も大きくなる特徴量をピーク値として記憶しておく。そして、撮影された画像の色度分布の特徴量を求め、ピーク値に近いものほど、割合を大きくして照明環境毎の補正情報１４ａから補間により補正情報を生成してもよい。これにより、複数の照明環境が混合した場合でも、撮影画像を適切な画像に補正できる。

また、上記の実施例では、補正情報１４ａとして、白熱電球に対応した補正係数Ａと、蛍光ランプに対応した補正係数Ａを記憶部１４に記憶させ、太陽光の補正係数を補間により生成する場合について説明したが、これに限定されない。例えば、太陽光の補正係数Ａも記憶部１４に記憶させ、記憶部１４に記憶された太陽光の補正係数Ａを用いて太陽光で撮影された画像を補正してもよい。

また、上記の実施例では、補正係数Ａを補正情報１４ａとして記憶させる場合について説明したが、これに限定されない。例えば、照明環境毎に、ルックアップテーブルを補正情報１４ａとして記憶させてもよい。なお、ルックアップテーブルは、全ての色について生成して色変換を行うものとしてもよい。また、ルックアップテーブルは、特定の色についてのみ生成し、特定の色以外の色は特定の色からの補間により色変換を行うものとしてもよい。

また、上記の実施例では、撮像装置１０で照明環境に応じた色の補正を行う場合について説明したが、これに限定されない。例えば、撮像装置１０で撮影された画像の画像情報をコンピュータなどの画像処理装置に記憶させ、画像処理装置において画像から照明環境を推定し、推定した照明環境に応じた色の補正を行ってもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、撮像装置１０の導出部１２と、推定部１３と、生成部１５と、補正部１６と、ガンマ補正部１７と、画質調整部１８の各処理部が適宜統合されてもよい。また、各処理部の処理が適宜複数の処理部の処理に分離されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図２２は、画像処理プログラムを実行するコンピュータを示す図である。

図２２に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。

ＨＤＤ３２０には上記の撮像装置１０の導出部１２、推定部１３、生成部１５、および補正部１６と同様の機能を発揮する画像処理プログラム３２０ａが予め記憶される。なお、画像処理プログラム３２０ａについては、適宜分離しても良い。

また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、図１に示した補正情報１４ａに対応する補正情報３２０ｂを記憶する。

そして、ＣＰＵ３１０が、画像処理プログラム３２０ａをＨＤＤ３２０から読み出してＲＡＭ３４０に展開し、ＨＤＤ３２０に記憶された補正情報３２０ｂを用いて各処理を実行する。すなわち、画像処理プログラム３２０ａは、導出部１２、推定部１３、生成部１５、および補正部１６と同様の動作を実行する。

なお、上記した画像処理プログラム３２０ａについては、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。

例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。

（付記１）可視光および赤外光に対して感度を有し、画像を撮影する撮影部と、
前記撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出する導出部と、
前記導出部により導出された特徴量に基づいて、撮影時の照明環境を推定する推定部と、
を有することを特徴とする撮像装置。

（付記２）前記導出部は、前記特徴量として、前記色分布の最大値、最小値、標準偏差の少なくとも１つを導出する
ことを特徴とする付記１に記載の撮像装置。

（付記３）前記導出部は、前記撮影された画像の各画素の色のＸＹＺ表色系のｘｙ色度座標での色度分布の拡がり度合いを示す前記特徴量を導出する
ことを特徴とする付記１または２に記載の撮像装置。

（付記４）照明環境毎に、色の補正情報を記憶する記憶部と、
前記記憶部に記憶された照明環境毎の補正情報のうち、前記推定部による推定された照明環境に応じた補正情報を用いて前記撮影部により撮影された画像を補正する補正部と、
をさらに有することを特徴とする付記１〜３の何れか１つに記載の撮像装置。

（付記５）前記推定部により推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記記憶部に記憶された照明環境毎の補正情報から補間により当該推定された照明環境の補正情報を生成する生成部をさらに有し、
前記補正部は、前記推定部による推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記生成部により生成された補正情報を用いて前記撮影部により撮影された画像を補正する
ことを特徴とする付記４に記載の撮像装置。

（付記６）可視光および赤外光に対して感度を有する撮影装置により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出する導出部と、
前記導出部により導出された特徴量に基づいて、撮影時の照明環境を推定する推定部と、
を有することを特徴とする画像処理装置。

（付記７）前記導出部は、前記特徴量として、前記色分布の最大値、最小値、標準偏差の少なくとも１つを導出する
ことを特徴とする付記６に記載の画像処理装置。

（付記８）前記導出部は、前記撮影された画像の各画素の色のＸＹＺ表色系のｘｙ色度座標での色度分布の拡がり度合いを示す前記特徴量を導出する
ことを特徴とする付記６または７に記載の画像処理装置。

（付記９）照明環境毎に、色の補正情報を記憶する記憶部と、
前記記憶部に記憶された照明環境毎の補正情報のうち、前記推定部による推定された照明環境に応じた補正情報を用いて前記撮影装置により撮影された画像を補正する補正部と、
をさらに有することを特徴とする付記６〜８の何れか１つに記載の画像処理装置。

（付記１０）前記推定部により推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記記憶部に記憶された照明環境毎の補正情報から補間により当該推定された照明環境の補正情報を生成する生成部をさらに有し、
前記補正部は、前記推定部による推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記生成部により生成された補正情報を用いて前記撮影装置により撮影された画像を補正する
ことを特徴とする付記９に記載の画像処理装置。

（付記１１）コンピュータに、
可視光および赤外光に対して感度を有する撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出し、
導出された特徴量に基づいて、撮影時の照明環境を推定する
処理を実行させることを特徴とする画像処理プログラム。

（付記１２）前記特徴量を導出する処理は、前記特徴量として、前記色分布の最大値、最小値、標準偏差の少なくとも１つを導出する
ことを特徴とする付記１１に記載の画像処理プログラム。

（付記１３）前記特徴量を導出する処理は、前記撮影された画像の各画素の色のＸＹＺ表色系のｘｙ色度座標での色度分布の拡がり度合いを示す前記特徴量を導出する
ことを特徴とする付記１１または１２に記載の画像処理プログラム。

（付記１４）照明環境毎に色の補正情報を記憶する記憶部に記憶された照明環境毎の補正情報のうち、推定された照明環境に応じた補正情報を用いて前記撮影部により撮影された画像を補正する
処理をさらに実行させることを特徴とする付記１１〜１３の何れか１つに記載の画像処理プログラム。

（付記１５）推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記記憶部に記憶された照明環境毎の補正情報から補間により当該推定された照明環境の補正情報を生成する処理をさらに実行させ、
前記画像を補正する処理は、推定された照明環境に対応する補正情報が前記記憶部に無い場合、生成された補正情報を用いて前記撮影部により撮影された画像を補正する
ことを特徴とする付記１４に記載の画像処理プログラム。

（付記１６）コンピュータが、
可視光および赤外光に対して感度を有する撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出し、
導出された特徴量に基づいて、撮影時の照明環境を推定する
処理を実行することを特徴とする画像処理方法。

（付記１７）前記特徴量を導出する処理は、前記特徴量として、前記色分布の最大値、最小値、標準偏差の少なくとも１つを導出する
ことを特徴とする付記１６に記載の画像処理方法。

（付記１８）前記特徴量を導出する処理は、前記撮影された画像の各画素の色のＸＹＺ表色系のｘｙ色度座標での色度分布の拡がり度合いを示す前記特徴量を導出する
ことを特徴とする付記１６または１７に記載の画像処理方法。

（付記１９）照明環境毎に色の補正情報を記憶する記憶部に記憶された照明環境毎の補正情報のうち、推定された照明環境に応じた補正情報を用いて前記撮影部により撮影された画像を補正する
処理をさらに実行することを特徴とする付記１６〜１８の何れか１つに記載の画像処理方法。

（付記２０）推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記記憶部に記憶された照明環境毎の補正情報から補間により当該推定された照明環境の補正情報を生成する処理をさらに実行し、
前記画像を補正する処理は、推定された照明環境に対応する補正情報が前記記憶部に無い場合、生成された補正情報を用いて前記撮影部により撮影された画像を補正する
ことを特徴とする付記１９に記載の画像処理方法。

１０ 撮像装置
１１ 撮影部
１２ 導出部
１３ 推定部
１４ 記憶部
１４ａ 補正情報
１５ 生成部
１６ 補正部

Claims (8)

1. 可視光および赤外光に対して感度を有し、画像を撮影する撮影部と、
   前記撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出する導出部と、
   前記導出部により導出された特徴量に基づいて、可視光と赤外光の発生割合が異なる複数の照明環境のなかから、撮影時の照明環境を推定する推定部と、
   を有することを特徴とする撮像装置。
2. 前記導出部は、前記特徴量として、前記色分布の最大値、最小値、標準偏差の少なくとも１つを導出する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記導出部は、前記撮影された画像の各画素の色のＸＹＺ表色系のｘｙ色度座標での色度分布の拡がり度合いを示す前記特徴量を導出する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 照明環境毎に、色の補正情報を記憶する記憶部と、
   前記記憶部に記憶された照明環境毎の補正情報のうち、前記推定部により推定された照明環境に応じた補正情報を用いて前記撮影部により撮影された画像を補正する補正部と、
   をさらに有することを特徴とする請求項１〜３の何れか１つに記載の撮像装置。
5. 前記推定部により推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記記憶部に記憶された照明環境毎の補正情報から補間により当該推定された照明環境の補正情報を生成する生成部をさらに有し、
   前記補正部は、前記推定部による推定された照明環境に対応する補正情報が前記記憶部に無い場合、前記生成部により生成された補正情報を用いて前記撮影部により撮影された画像を補正する
   ことを特徴とする請求項４に記載の撮像装置。
6. 可視光および赤外光に対して感度を有する撮影装置により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出する導出部と、
   前記導出部により導出された特徴量に基づいて、可視光と赤外光の発生割合が異なる複数の照明環境のなかから、撮影時の照明環境を推定する推定部と、
   を有することを特徴とする画像処理装置。
7. コンピュータに、
   可視光および赤外光に対して感度を有する撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出し、
   導出された特徴量に基づいて、可視光と赤外光の発生割合が異なる複数の照明環境のなかから、撮影時の照明環境を推定する
   処理を実行させることを特徴とする画像処理プログラム。
8. コンピュータが、
   可視光および赤外光に対して感度を有する撮影部により撮影された画像の各画素の色の色分布を求めた場合の当該色分布の拡がり度合いを示す所定の特徴量を導出し、
   導出された特徴量に基づいて、可視光と赤外光の発生割合が異なる複数の照明環境のなかから、撮影時の照明環境を推定する
   処理を実行することを特徴とする画像処理方法。