JP3052592B2 - 光源推定装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどにお
いて正しい色調を再現するためのホワイトバランス調整
装置の制御などを行なう、光源推定装置に関するもので
ある。

【０００２】

【従来の技術】近年、ビデオカメラの普及にともなっ
て、美しい色を得るために撮影条件に追従する手段がま
すます重要になってきている。特に、撮影時の光源を的
確に推定することは、色再現を正確にするために非常に
重要である。

【０００３】従来、撮影時の光源を推定するための手段
として、異なるスペクトル特性を持った複数の光感応素
子を用いて推定を行なう手段と、画像処理を通して推定
を行なう手段とが知られている。光源推定装置は、一般
にデザイン・コストなどの制約により、光感応素子を用
いた手段から、画像信号を処理して推定する手段（以
下、ＡＷＢと呼ぶ）へと移行してきている。

【０００４】画像処理によって光源を推定する手法の根
拠は、画面中の被写体の色を混合平均すると無彩色にな
るという仮定（Ｇｒａｙ Ｗｏｒｌｄ Ａｓｓｕｍｐｔ
ｉｏｎ：ＧＷＡ）である。画面中に十分多くの色が含ま
れていれば、この仮定が成立するため、画像信号から得
られる色情報を混合平均すれば、それは撮影時の光源の
色を表わすはずである。この仮定に基づいて色調整を行
なう手法としては、特開昭５６−３６２９１号公報に記
載されたものが知られている。

【０００５】しかしながら、ＧＷＡに基づく従来の手法
では、特定の色が画面の広い範囲を占める場合に光源推
定を誤るという欠点があった。

【０００６】この欠点を解決するものとして、次のよう
な２つの手法が考えられる。まず第１には、画面の色分
布の分散を計算する分散計算部と、分散計算部からの出
力が設定値より大きいか否かによって閾値処理を行なう
閾値処理部とからなる構成によってＧＷＡの成立不成立
を画像ごとに判定し、光源推定結果の採用不採用を制御
するというものである。

【０００７】また第２に、すべての画像に対して光源推
定を実行する必要がある電源投入時をも考慮すると、Ｇ
ＷＡに基づく光源推定の代わりに、全ての画像に対して
画面上で支配的な色を取り出すような動作をして光源推
定を行う手法が考えられる。

【０００８】これらの手法を用いると、高彩度の色から
の影響を小さくすることができ、光源推定精度を向上さ
せることができる。

【０００９】

【発明が解決しようとする課題】しかしながら、枯草が
広い範囲を占める被写体を屋外で撮影した場合のよう
に、画面上の支配的な色（枯草の色）が屋外の光源の色
でも屋内の光源でもない場合には、電源ＯＮ時にしばし
ば光源推定を間違えるという課題があった。また、画面
上にあまり鮮やかではない複数の色が存在する場合など
のように、画像全体の色分布をみると光源推定に適した
画像であるようにみえても、支配的な色が存在しない場
合には、しばしば光源推定を間違えるという課題があっ
た。

【００１０】

【００１１】

【００１２】本発明は上記従来の問題点を解決するもの
で、画面上に支配的な色が存在しない場合や屋外光源で
も屋内光源でもない色の占める面積が大きい場合などに
おいても、光源色度を精度よく推定する光源推定装置を
提供することを目的とする。

【００１３】

【００１４】

【００１５】

【課題を解決するための手段】この目的を達成するため
に、光源推定装置は、画像信号を適当なサンプリング規
則に従って変換するサンプリング回路と、サンプリング
回路でサンプリングされた画像信号を色度信号に変換す
る色度変換部と、色度信号を処理して光源色度の候補を
推定する光源色度候補計算部と、光源色度候補を中心と
した限定領域にある色度信号の数を調べて支配色が存在
するかどうかを判定する支配色存在判定部と、光源色度
候補計算部からの光源色度候補と支配色判定部からの光
源推定制御信号を用いて推定光源色度を判定する光源色
度判定部と、色度平面上を分割し各領域に光源を割り振
り、推定された光源色度がどの領域に属するかで光源を
推定する光源推定部とを備えている。

【００１６】

【００１７】

【００１８】

【００１９】

【作用】この構成によって、限定領域の色度信号が多い
場合に、画面上に支配的な色が存在すると判定すること
で、画面上に支配的な色が存在するかどうか判定するこ
とができる。そして、上記判定結果を処理することで光
源推定に適した画像を判定することができる。そして、
画面上に支配的な色が存在しない場合などにおいても光
源推定の誤りを抑制することができる光源推定装置が実
現される。さらに、支配的な色が光源の色であるかどう
か判定し、これが成り立たない場合には別の方法で推定
した光源色度候補を用いて光源を推定することで、屋外
光源でも屋内光源でもない色の占める面積が大きい場合
などにおいても光源推定を有効に行なうことができる光
源推定装置が実現される。

【００２０】

【００２１】

【００２２】

【００２３】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。

【００２４】まず、第１の本発明の原理について述べ
る。従来のＡＷＢは、さきに述べたＧＷＡを前提として
いた。しかしながら、赤い服を着た人のズームアップな
どのシーンなどのように、特定の色、特に彩度の高い色
が画面の広い範囲を占める場合には、画面中の色の平均
はその特定の色に近いものとなり、無彩色とはならな
い。このように、ＧＷＡは必ずしもすべてのシーンにつ
いて成立するとは限らない。従って、より色再現のよい
ＡＷＢを実現するためには、画像ごとにＧＷＡが成立し
ているかどうかを判定し、ＧＷＡの成立しない画像を光
源推定の対象から外すことが必要である。

【００２５】広く一般に用いられている照明光源の多く
は、黒体輻射光に近い色を持つ。このことに基づき、黒
体の温度をパラメータとして、黒体輻射光の色を色度平
面上にプロットした軌跡を「黒体輻射曲線」と呼ぶこと
にする。さらに、実際の機器に搭載する際の簡便性を考
え、色度平面上に「黒体輻射曲線」を一次近似する直線
を設定し、これを「光源ライン」と呼ぶことにする。こ
れらを図４に示す。

【００２６】画像の色度データを「光源ライン」に垂直
な方向に射影したものの統計的分散を「垂直分散」と呼
ぶことにする。本発明者は、ＧＷＡの成立を判定するた
めのパラメータとして、「垂直分散」を設定した。いっ
ぽう、画像の色度データを「光源ライン」に平行な方向
に射影したものの統計的分散を「平行分散」と呼ぶこと
にする。

【００２７】本発明者は、多数の画像データを収集し、
これらを、ＧＷＡが成立せず光源推定を誤りやすい画像
と、ＧＷＡが成立し光源推定を正しく行える画像とに分
類して分析を行なった。その結果、前者（ＧＷＡが成立
しない画像）は後者に比べて、「垂直分散」が大きいと
いう傾向を持つことが明らかとなった。いっぽう、「平
行分散」について同様の分析を行なった結果、このよう
な傾向はみられなかった。従って、「垂直分散」はＧＷ
Ａを判定するパラメータとして有効である。

【００２８】そこで、「垂直分散」が大きいときにはＧ
ＷＡが成立していないと判定して光源推定動作を停止
し、その時点での光源推定結果を保持することで、誤り
を低減した光源推定装置の実現が可能である。

【００２９】ところが、このような光源推定装置には、
カラーチャート撮影時に光源推定動作を停止するという
問題がある。カラーチャートはビデオカメラの商品テス
トなどで頻繁に用いられるので、カラーチャートに対し
て光源推定が停止することは好ましくない。従って、被
写体がカラーチャートであるかどうかを認識する装置が
必要となる。

【００３０】カラーチャートを撮影した画像の特徴は、
次の２点にまとめられる。 １。高彩度の色が多く分布していること。 ２。すべての色相にわたって、ほぼ彩度の等しい色が、
ほぼ等量ずつ分布していること。

【００３１】以上２点の特徴のうち、１は「垂直分散」
が大きいことが有効な指標となる。また、２は色度平面
上の色分布が円形に近いことが有効な指標となる。従っ
て、「垂直分散が大きく、色分布が円形に近い」画像を
検出すれば、これはカラーチャートの画像であると判断
でき、カラーチャートを認識する装置が実現できる。

【００３２】本発明者は、２次元のデータの分布が円形
に近いことを検出するためのパラメータとして、次のよ
うに定義するパラメータＲを設定した。

【００３３】２次元データを（ｘ_i，ｙ_i）とするとき、 Ｒ＝Ｃ（Ｘ，Ｙ） ただし、 Ｃ（Ｘ，Ｙ）：２次元データ（Ｘ_i，Ｙ_i）の相関係数 （Ｘ_i，Ｙ_i）：（ｘ_i，ｙ_i）から次のように生成される
２次元データ Ｘ_i ＝ Ａ₁₁ｘ_i ＋ Ａ₁₂ｙ_i Ｙ_i ＝ Ａ₂₁ｘ_i ＋ Ａ₂₂ｙ_i Ａ₁₁、Ａ₁₂、Ａ₂₁、Ａ₂₂：「分布の軸」が４５゜方向に
なるように座標軸を回転する２×２行列Ａの成分 Ａ₁₁ ＝ Ａ₂₂ ＝ (1＋ａ)／[2(1＋ａ²)]^1/2 −Ａ₁₂ ＝ Ａ₂₁ ＝ (1−ａ)／[2(1＋ａ²)]^1/2 ａ：以下に述べる「分布の軸」の傾き 「分布の軸」：２次元データの各点からの距離の平方和
が最小となる直線 「分布の軸」の傾きａは次の方程式で与えられる。

【００３４】 Cov(ｘ,ｙ)ａ²＋(V(ｘ)−V(ｙ))ａ−Cov(ｘ,ｙ)＝０ ２Cov(ｘ,ｙ)＋V(ｘ)−V(ｙ)＞０ ただし、 Cov(ｘ,ｙ)：２次元データ（ｘ_i，ｙ_i）の共分散 V(ｘ)： １次元データｘ_iの分散 V(ｙ)： １次元データｙ_iの分散 以上が、パラメータＲの定義である。ここで定義された
パラメータＲを、以下「回転相関係数」と呼ぶことにす
る。なお、ここで定義されている「分布の軸」は一般に
「主成分軸」として知られているものと同一である。

【００３５】「回転相関係数」の計算には、まず２次元
データの「分布の軸」を抽出する。「分布の軸」は上記
の通り「２次元データの各点からの距離の平方和が最小
となる直線」と定義される直線で、これは、与えられた
２次元データがどの方向に「細長く」分布しているかを
表わす。次にこの直線が傾き１（４５゜の方向）となる
ように座標軸を回転する。このようにしてできた新しい
座標系で、改めて２次元データの相関係数を計算する。
これが「回転相関係数」である。

【００３６】「回転相関係数」の絶対値が小さいほど、
２次元データの分布は円形に近いと判断できる。以下、
「回転相関係数」が「偏平度」を表わす理由を説明す
る。

【００３７】相関係数は色度ＢＹ、ＲＹの相関の強さを
表わすが、かならずしも「偏平度」を表わさない。例え
ば、ＢＹ軸に沿って色度が分布している場合、「偏平
度」は大きいが、ＢＹ、ＲＹの相関は低くなるため相関
係数は小さくなる。従って、相関係数は「偏平度」を表
わすパラメータとしては不十分である。

【００３８】これは、色度座標が２つの量からなる座標
値ではなく、色という本来２次元の量を表わすデータで
あることによる。ＢＹとＲＹとは、もともと相関が存在
するような関係にはない。従って、２次元データの分布
の形状を取り出す統計量が必要となる。

【００３９】いま、「分布の軸」がうまく定義されれ
ば、２次元データの分布の形状だけを取り出すことが可
能である。相関係数では、分布の形状が同じでも、「分
布の軸」の方向によって相関の強さの評価が変わってし
まうため、形状だけの比較は難しかった。「分布の軸」
を揃えて比較すれば、相関係数でも分布の形状を評価す
ることができる。

【００４０】従って、１．「分布の軸」を抽出し、２．
これを４５゜方向（ＢＹ、ＲＹの相関が最も強くなる方
向）に揃えたうえで、３。改めて相関係数を計算すれ
ば、分布の「偏平度」を評価できるわけである。以上
が、「回転相関係数」が「偏平度」を表わす理由であ
る。

【００４１】本発明者は、「垂直分散」が大きい多数の
画像について「回転相関係数」を調べ、カラーチャート
を撮影した画像では、日常の風物を撮影した画像よりも
「回転相関係数」の絶対値が著しく小さいという結果を
得た。従って、色度データの「垂直分散」と「回転相関
係数」とを総合的に判断すれば、きわめて高い精度でカ
ラーチャートを認識することができる。しかも、日常の
風物の画像とカラーチャートの画像とでは、図７に示す
ように「回転相関係数」の分布する範囲に著しい差があ
るため、カラーチャートを認識するための「回転相関係
数」のしきい値の設定が非常に簡便にできる。

【００４２】なお、「回転相関係数」の絶対値を用いな
くても同様の処理は可能であるが、絶対値を用いた方が
処理は簡単である。以下、説明を簡単にするために、
「回転相関係数」の絶対値を単に「回転相関係数」と呼
んで説明を行なう。また、「回転相関係数」ではなく、
色度座標ＢＹ、ＲＹの単なる相関係数を用いてもカラー
チャートの認識は可能であるが、本発明者の分析によれ
ば、その認識精度は「回転相関係数」を用いる方法より
も低くなることがわかっている。

【００４３】また、「分布の軸」の傾きを計算する際
に、上記のように厳密な方程式を立てて解を求めずに、
例えば ａ＝V(ｙ)／V(ｘ)×（適当な符号） のように、およその値を求めて代用することもできる。
以上が第１の本発明の原理である。

【００４４】次に、第２の本発明の原理について述べ
る。本発明の光源色度推定部の動作の考え方は、ＧＷＡ
に基づく光源推定に悪影響を及ぼす高彩度の色を除外す
ることにより、光源色度推定精度を向上させることにあ
る。高彩度の色を除外して光源を推定するためには、色
度平面上で被写体の無彩色の周囲にある色だけから光源
を推定すればよい。問題は、被写体の無彩色の位置が定
められないことにある。

【００４５】本発明者のデータ分析によれば、ＧＷＡが
壊れるような画像であっても、ほとんどの場合、主たる
色は無彩色である。したがって、全平均は高彩度色より
も無彩色に近い色度平面上の位置をとる。それゆえ、全
平均のまわりの限定された領域においてのみ、データの
平均をとるとその平均（２重平均）は、高彩度色の影響
が小さくなり、より無彩色へと近づく。さらに、２重平
均のまわりの限定された領域で平均（３重平均）をとる
と、その効果はさらに大きくなる。こうした手続きを繰
り返すことにより、多重平均はほとんど無彩色のみの平
均となり、光源色度推定精度が向上する。

【００４６】多重平均値を分析した結果によれば、多重
平均値は、画面上で支配的な色の色度に近くなる。した
がって、無彩色が多い画面では、多重平均値はほとんど
無彩色のみの平均となるし、枯草の色が多い画面では、
多重平均値はほとんど枯草の色のみの平均となる。一
方、画面上に支配的な色が存在しない場合には、多重平
均値は画像の全平均色度のまわりにある色のなかで多く
存在するものの近くになり、どのような色の近くになる
かは一概にはいえない。支配的な色が存在しない画像の
例としては、背景が枯草で、赤い服を着た人をズームア
ップして服の色が画面の半分を占めたような画像が考え
られる。このとき、画像の色分布は枯草の色と服の赤い
色が分布したものになり、支配的な唯一の色は存在しな
い。したがって、支配的な色度に近い値になる特性をも
つ多重平均値は、どこになるかわからない。

【００４７】これらのことから、多重平均値は、画面上
に支配的な色が存在するときに有効であるといえる。し
たがって、画面上に支配的な色が存在する場合に多重平
均値を用いて光源色度の推定を実行し、そうでない場合
にはＧＷＡに基づいて画像データの全平均を用いて光源
色度の推定を実行することで、光源色度推定精度が向上
する。

【００４８】多重平均値による光源色度推定が有効な画
像の例としては、ビルのように無彩色に近い色の背景が
あって、木の緑が小さな面積を占めるようなものがあげ
られる。この場合、画像データの全平均の色度は、無彩
色に比べて低色温度側になり、多重平均値は無彩色に近
くなる。そして、無彩色は光源の色を反映するので、多
重平均値を用いれば正しい光源推定ができるが、全平均
を用いると誤った光源推定をすることになる。

【００４９】第１の本発明の原理のところで、「垂直分
散が大きいときにはＧＷＡが成立していないと判定して
光源推定動作を停止し、その時点での光源推定結果を保
持することで、誤りを低減した光源推定装置の実現が可
能である」ことを述べた。そのときには、画像と垂直分
散の関係については述べなかった。そこで、彩度の高い
服を着た人のバストショットのような被写体を例にとっ
て、画像と垂直分散の関係を分析しながら、この装置の
有効性について述べる。このような被写体では、画面か
らサンプリングした色のいくつかの彩度が比較的高くな
り、サンプリングデータの色度平面上での広がりが大き
くなって、垂直分散が大きくなる。したがって、上記装
置の内部では、被写体がＧＷＡ適用限界の外にあると判
定する。一方、上記被写体に対してＧＷＡに基づく光源
推定を実行すると、画面全体の平均の色が服などの色に
強く引かれた色になるために、光源推定を誤りやすい。
以上のことから、上記装置が有効であることを確認でき
る。

【００５０】さらに、多重平均値とＧＷＡ適用限界の関
係について考える。多重平均値の特徴は、画像データの
全平均が無彩色の近いときに高彩度の色を除外すること
にあった。したがって、高彩度の色が画面上にあってＧ
ＷＡが成り立たない場合にも、支配的な色が無彩色なら
ば、全平均が無彩色に近くなるので、多重平均値を用い
て光源推定を実行できる。このことから、画像がＧＷＡ
適用限界の外にあっても、多重平均値を用いて光源が推
定できる場合があるといえる。そのため、多重平均値を
用いれば、支配的な色が存在する画像に対してＧＷＡ判
定の条件を緩めることができる。したがって、支配的な
色が存在すると判定された画像に対して、ＧＷＡ適用限
界内にあるかどうかの判定を行うための垂直分散のしき
い値を大きくすることで、画像データ判定精度を向上さ
せることができる。さらに、支配的な色が存在する画像
に対して多重平均値を用いて光源を推定することで、光
源推定精度を向上させることができる。

【００５１】一方、データ分析によれば、支配的な無彩
色が存在しない画像は、支配的な無彩色が存在する画像
に比べてＧＷＡ適用限界の範囲が小さい。そのため、支
配的な色が存在する画像と支配的な色が存在しない画像
とを同一のしきい値を用いてＧＷＡ適用限界内にあるか
どうか判定すると、支配的な色が存在しない画像に対し
て判定誤りを生じる場合がある。この問題は、支配的な
色が存在する画像とそうでない画像を区別して、支配的
な色が存在する画像に対してはＧＷＡ適用限界を広げ、
そうでない画像に対してはＧＷＡ適用限界を狭くするこ
とで解決できる。

【００５２】なお、以上の説明から、画像がＧＷＡ適用
限界の外にあっても、画像データの全平均が無彩色の近
くにあるときに、多重平均値を用いた光源推定方法が有
効な場合があることが明らかになった。したがって、多
重平均値を用いた光源推定方法が有効であるための必要
条件として、画像データの全平均が無彩色に近いという
ことがあるといえる。これは、ＧＷＡがほぼ成り立つこ
とであり、拡張ＧＷＡと呼んだ方が適当であるが、以下
では説明を簡単にするために、これを単にＧＷＡと呼ぶ
ことにする。このとき、全平均値や多重平均値を用いた
光源推定を前提に考えると、ＧＷＡ適用限界内にある画
像が光源推定に適した画像であるといえる。

【００５３】ここで、画面上に支配的な色が存在するか
どうかの判定方法について考える。画面上に２つ以上の
大きな面積をしめる色が存在する場合には、支配的な色
が存在するとはいえない。このような場合には、色度平
面上で全平均色度やその付近の色度のまわりにある画像
データは少なくなる。一方、画面上に大きな面積を占め
る色が１つしか存在しない場合には、色度平面上で全平
均色度やその付近の色度のまわりにある画像データは多
くなる。したがって、画面上に支配的な色が存在するか
どうかは、色度平面上で、全平均色度やその付近を基準
色度とし、基準色度のまわりにある画像データの数を調
べることで判定できる。

【００５４】なお、多重平均色度のまわりにある画像デ
ータ数が十分少ない場合には、画面からサンプリングし
た画像データが色度平面上で広がっていることを表すの
で、ＧＷＡ適用限界の外にあると判定することができ
る。多重平均色度は、画面上で支配的な色の近くになる
性質があるので、多重平均色度のまわりにある画像デー
タ数が少ない場合には支配的な色が存在しないといえ
る。このことから、支配的な色が存在する画像がＧＷＡ
適用限界内にあり、そうでない画像はＧＷＡ適用限界の
外にあると考えられる。したがって、支配的な色が存在
する画像を調べ、その条件を満たす画像がＧＷＡ適用限
界内にあると判定することができ、さらに、光源推定に
適した画像であると判定することができる。

【００５５】ところで、支配色が無彩色ではない場合に
は、支配色に近くなる多重平均値は光源の色度を表さな
い。電源ＯＮ時でなければ、支配色が無彩色ではない可
能性が大きい場合には光源推定結果を保持すればよい。
しかし、電源ＯＮ時には、必ず光源推定をしなければな
らない。そこで、支配色が無彩色ではない場合に、サン
プリングされた画像データの分布の重心を表す全平均を
用いると光源を正しく推定することができることがあ
る。この例としては、屋外で、空と大きい面積を占める
枯草とを同時に撮影したシーンがある。このとき、全平
均色度は枯草と空の色度の中間になるが、多重平均値は
枯草の色に近くなって低色温度側によってしまう。そし
て、多重平均値を用いると光源推定を誤ってしまうが、
全平均色度を用いると正しい光源推定ができる。

【００５６】なお、多重平均色度が無彩色であるかどう
か判定する方法としては、図４に示した光源ラインの近
くに特定領域を設定し、その特定領域に入るかどうかに
よって判定する方法が考えられる。以上が第２の本発明
の原理である。

【００５７】さらに、第３の本発明の原理について述べ
る。屋外光源下の白色板の色温度は高い。一方、蛍光灯
下の白色板の色温度は低い。本発明者の分析によれば、
屋外撮影時に画面中に空が入ると、空の色は高色温度
で、輝度が高いことが明らかになっている。しかし、高
色温度で輝度が高い色を含む画像が、必ずしも屋外で撮
影されているとは限らない。これは、蛍光灯下で撮影し
た明るい青色のものも、高色温度で輝度が高くなるから
である。

【００５８】ところで、蛍光灯下で撮影した青色も屋外
で撮影した空も高輝度となるが、両者の絶対的な明るさ
は異なる。絶対的な明るさが違うのに、両者とも輝度が
高くなる理由は、撮影時の絞り調整の状態が異なること
にある。一般に、光源を直接映さない限り、蛍光灯下で
は、絞り状態を表すＦ値が一定値以上にはならない。ま
た、蛍光灯を直接映した場合には、Ｆ値は大きくなる
が、高輝度部分は低色温度の色となる。したがって、Ｆ
値が一定値以上で、高輝度かつ高色温度の色が含まれて
いれば、そのときの撮影環境は屋外であると判定でき
る。なお、本発明者の分析によれば、屋外で撮影した画
像中で高輝度かつ高色温度となる色は、空の色だけでは
なく、白い洋服の色などもある。

【００５９】以上のことから、高輝度かつ高色温度の色
を含み、Ｆ値が大きい状態は、屋外で空などを撮影した
ときにのみ特徴的に現れるといえる。本発明の屋外光源
検出部は、このような画像を検出する部分である。検出
には、絞り調整機構制御部からの制御信号をしきい値処
理した信号と、画像データから得られる輝度データと色
度データとを用いる。以上が第３の本発明の原理であ
る。

【００６０】（実施例１）次に、本発明の第一の実施例
の構成について、図面を参照しながら説明する。図１
は、本発明の光源推定装置の構成を示すブロック結線図
である。

【００６１】図１において、１はＣＣＤ等からの画像信
号ＩＳを適当なサンプリング規則に従って変換するサン
プリング回路であり、２はサンプリング回路１からサン
プリングされた画像信号ＩＳを輝度信号と２つの色度信
号に変換する輝度色度変換部であり、１４は被写体がカ
ラーチャートであるかどうか判定するカラーチャート認
識部である。カラーチャート認識部の詳細を示した図２
において、３は一方の色度信号の分散を計算する分散計
算手段であり、４は他方の色度信号の分散を計算する分
散計算手段であり、５は２つの色度信号の共分散を計算
する共分散計算手段であり、６は原理の説明で述べた光
源ラインに垂直な方向に色度信号を射影してその成分の
大きさ（すなわち光源ラインからの垂直方向変位）に変
換する射影手段であり、７は射影手段６から垂直方向変
位を受けてその分散を計算する分散計算手段であり、８
は分散計算手段３と分散計算手段４と共分散計算手段５
とのそれぞれの出力を受けてそれらの値から構成される
係数を持つ２次方程式を解いて適当な解を出力する２次
方程式求解手段であり、９は色度変換部２で計算された
色度座標値に対して２次方程式求解手段８の出力に応じ
た適当な座標変換を施す座標変換手段であり、１０は座
標変換手段９の出力からその相関係数を計算する相関係
数計算手段であり、１１と１２とは内部に蓄えられたし
きい値と入力信号とを比較して判定信号を出力するしき
い値処理手段であり、１３は通常のＡＮＤ回路であり、
１４はカラーチャート認識部であり、１５は統計量計算
部であり、１６は画像分散計算部である。

【００６２】図１において、１７は輝度色度変換部２か
らの色度座標値を受けてその平均値を計算する平均計算
手段であり、１８は平均計算手段１７からなるカラーチ
ャート用光源色度推定部である。１９は輝度色度変換部
２で変換された輝度信号と色度信号をそれぞれ輝度デー
タ、色度データとして記憶する輝度色度データ記憶部、
２０は画像判定が終了するまで輝度色度データ記憶部へ
の記憶を禁止する記憶制御部である。５０は一般画像用
光源色度推定部で次のものから構成されており、２１は
光源色度の候補を推定する光源色度候補計算部であり、
光源色度候補計算部の詳細を示した図３（ａ）におい
て、２２は色度データの全平均を計算する平均計算手段
であり、２３、２４は、入力された基準色度と輝度色度
データ記憶部から読みだされた色度データとから基準色
度のまわりの限定された領域に属するデータを選択して
出力する限定領域データ出力部であり、２５、２６は、
限定領域データ出力部から出力された限定領域データの
平均を計算する領域限定平均計算部であり、２７は、平
均計算手段からの全平均色度と領域限定平均計算部から
の多重平均色度とを記憶する光源色度候補記憶部であ
る。

【００６３】図１において、２８は光源色度候補計算部
からの多重平均色度を受けて記憶する限定領域中心計算
部である。２９は限定領域にある色度データの数を調べ
て支配色が存在するかどうかを判定する支配色存在判定
部であり、入力された基準色度と色度データ記憶部から
読みだされた色度データとから基準色度のまわりの限定
された領域に属するデータを選択して出力する限定領域
データ出力部３０と、限定領域データ出力部から出力さ
れるデータの数をカウントするカウンター３１と、カウ
ンターからの出力が設定値よりも大きい場合に支配色存
在とし、その他の場合には支配色不在とする支配色存在
判定しきい値処理部３２とを備えている。３３は光源色
度候補が光源ラインに近いかどうかを判定する特定色判
定部である。３４は光源色度候補から光源色度を推定す
る光源色度判定部であり、支配色存在判定しきい値処理
部３２からの光源推定制御信号が支配色不在の場合に全
平均色度を優先色度とし、そうでない場合に多重平均色
度を優先色度とする優先色度選択部３５と、多重平均色
度が優先色度で光源ラインに近いならばその色度を推定
光源色度とし、そうでない場合には全平均色度を推定光
源色度とする総合色度判定部３６とを備えている。

【００６４】３７はカラーチャート認識部１４からのカ
ラーチャート認識信号とカラーチャート用光源色度推定
部１８からのカラーチャート用推定光源色度信号と総合
色度判定部３６からの一般画像用推定光源色度信号とを
受けて、撮影された画像がカラーチャート画像であるか
それ以外の一般画像であるかによって推定光源色度を選
択する推定光源色度選択部である。３８は、推定光源色
度選択部３７からの推定光源色度を受け、色度平面上を
適切に分割し各領域に光源を割り振り、推定光源色度が
どの領域に属するかで光源を推定する光源推定部であ
る。３９は、絞り調整機構を制御する絞り調整機構制御
部である。４０は、屋外で空などを撮影したときに特徴
的に現れる現象が起きているかどうか判定する屋外光源
検出部である。屋外光源検出部４０の詳細を示した図３
（ｂ）において、４１は、絞り調整機構制御部からの制
御信号と内部に保持するしきい値とを比較して判定信号
を出力するしきい値処理手段であり、４２は輝度色度デ
ータ記憶部１９から輝度データを読みだして内部に保持
するしきい値と比較して判定信号を出力するしきい値処
理手段であり、４３は輝度色度データ記憶部１９から色
度データを読みだして、その色度データが内部に保持す
る高色温度領域に属するかどうか判定する高色温度色判
定部であり、４４はＡＮＤ回路であり、４５はＡＮＤ回
路４４からの出力が０から１に反転した回数を数えるカ
ウンターであり、４６は、高色温度色判定部４３から出
力される判定信号を数えて、すべての色度データに対す
る判定が終わったら制御信号を出力する検出制御部であ
り、４７は、検出制御部４６からの制御信号を受けて、
カウンター４５からカウントされた数を読みだし、その
値と内部に保持するしきい値とを比較して判定信号を出
力するしきい値処理手段であり、４８は、しきい値処理
手段４１、４７からの判定信号を受けて、被写体に屋外
光源が照射されているかあるかどうかの総合的な判定結
果を出力するＡＮＤ回路である。

【００６５】図１において、４９は、屋外光源検出部４
０からの光源判定制御信号と光源推定部３８からの推定
光源とを受けて、光源を総合的に判定する光源判定部で
ある。

【００６６】以上のように構成された光源推定装置の動
作について説明する。なお、入力される画像信号ＩＳに
ついては、（Ｙ，Ｒ−Ｙ，Ｂ−Ｙ）として説明するが、
これは本発明を拘束するものではない。このことは、以
下の実施例でも同様のことなので、繰り返さない。

【００６７】まず、ＣＣＤ等からの画像信号ＩＳは、サ
ンプリング回路１に入り、適当なサンプリング規則に従
って変換される。その一例としては、図５に示したよう
に画面をｎ×ｍ個のブロックに分割し、図６に示したよ
うに各ブロックから複数（ｋ個）のデータ点を取り出し
て平均しブロック平均 ＜ＩＳ＞ｉ＝Σ（Y_j, R−Y_j, B−Y_j）／k ただし i ＝ 1,2,...,N N ＝ n×m kは各ブロック内でサンプリングされるデータ数 を求めるという方法が考えられる。輝度色度変換部２
は、サンプリング回路１でサンプリングされた画像信号
＜ＩＳ＞ｉ＝（ＹＹｉ，ＲＹＹｉ，ＢＹＹｉ）を受け
て、これを色度信号 ＣＳｉ ＝ （ＢＹｉ，ＲＹｉ） ただし ＢＹｉ ＝ ＢＹＹｉ ／ ＹＹｉ ＲＹｉ ＝ ＲＹＹｉ ／ ＹＹｉ に変換する。また、本実施例では、ＹＹｉが輝度信号と
なる。

【００６８】カラーチャート認識部１４は、一画面分の
サンプリングデータから求められた色度座標を受けて、
それがカラーチャート画像の色度分布であるかどうかの
認識を行なう。以下、カラーチャート認識部１４の動作
について、図８を参照しながら説明する。

【００６９】分散計算手段３は、一画面分のサンプリン
グデータから求められた色度座標ＢＹｉ(i=1,2,...,N)
の分散 ＶＢ ＝ < ( ＢＹｉ−<ＢＹ> )² > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。分散計算手段４は、一画面分のサンプリン
グデータから求められた色度座標ＲＹｉ(i=1,2,...,N)
の分散 ＶＲ ＝ < ( ＲＹｉ−<ＲＹ> )² > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。共分散計算手段５は、一画面分のサンプリ
ングデータから求められた色度信号ＣＳｉ＝(ＢＹｉ,Ｒ
Ｙｉ)から、ＢＹｉ,ＲＹｉの共分散 ＣＶ ＝ < ( ＢＹｉ−<ＢＹ> ) ( ＲＹｉ−<ＲＹ> ) > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。

【００７０】射影手段６は、色度信号ＣＳｉを受けて、
原理の説明で述べた「光源ライン」に垂直な方向(Ｖ
１、Ｖ２)にこれを射影し、その方向の成分すなわち
「光源ライン」からの垂直方向変位 Ｖｉ = Ｖ１・ＢＹｉ ＋ Ｖ２・ＲＹｉ に変換する。ただしここで(Ｖ１、Ｖ２)は２次元の単位
ベクトルとしている。分散計算手段７は、射影手段６か
ら垂直方向変位Ｖｉを受けて、画像信号分散 ＶＶ ＝ < ( Ｖｉ−<Ｖ> )² > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。２次方程式求解手段８は、分散計算手段３
で計算した分散VBと分散計算手段４で計算した分散VRと
共分散計算手段５で計算した共分散CVとを受けて、原理
の説明で述べた、色度信号ＣＳｉの「分布の軸」の傾
き、すなわち２次方程式 CV・a² ＋ (VB−VR)a − CV ＝ ０ の解のうち 2CV・a ＋ VB − VR ≧ ０ を満たすものを計算する。

【００７１】座標変換手段９は、２次方程式求解手段６
で求められた「分布の軸」の傾きaと色度変換部２で計
算された色度信号ＣＳｉとを受けて、色度信号ＣＳｉ＝
(ＢＹｉ、ＲＹｉ)に対して座標変換 ＢＹ’ｉ = Ａ₁₁・ＢＹｉ ＋ Ａ₁₂・ＲＹｉ ＲＹ’ｉ = Ａ₂₁・ＢＹｉ ＋ Ａ₂₂・ＲＹｉ を施し、変換された色度座標(ＢＹ’ｉ，ＲＹ’ｉ)を計
算する。ただしここで、Ａ₁₁、Ａ₁₂、Ａ₂₁、Ａ₂₂は「分
布の軸」が４５゜方向になるように座標軸を回転する２
×２行列Ａの成分 Ａ₁₁ ＝ Ａ₂₂ ＝ (1＋a)／[2(1＋a²)]^1/2 −Ａ₁₂ ＝ Ａ₂₁ ＝ (1−a)／[2(1＋a²)]^1/2 としている。相関係数計算手段１０では、座標変換手段
９から得られる変換された色度座標ＢＹ’ｉとＲＹ’ｉ
との相関係数の絶対値 RC ＝ ｜Cov(BY',RY')／[V(BY')V(RY')]^1/2｜ ただし Cov(BY',RY') ＝ < ( ＢＹｉ−<ＢＹ> ) ( ＲＹｉ−<ＲＹ> ) > V(BY') ＝ < ( ＢＹｉ−<ＢＹ> )² > V(RY') ＝ < ( ＲＹｉ−<ＲＹ> )² > <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。これは原理の説明で述べた「回転相関係
数」の絶対値にほかならない。

【００７２】しきい値処理手段１１は、相関係数計算手
段１０で計算された相関係数RCと内部に蓄えられた相関
係数しきい値θRCとを比較し、 RC ＜ θRC の場合 ＳＣ１＝１ : カラーチャートの可
能性あり そうでない場合 ＳＣ１＝０ : カラーチャートでな
い として、カラーチャート相関係数判定信号ＳＣ１を出力
する。しきい値処理手段１２は、分散計算手段７で計算
された画像信号分散VVと内部に蓄えられた画像分散しき
い値θVVとを比較し、 VV ＞ θVV の場合 ＳＣ２＝１ : カラーチャートの可
能性あり そうでない場合 ＳＣ２＝０ : カラーチャートでな
い として、カラーチャート分散判定信号ＳＣ２を出力す
る。

【００７３】ＡＮＤ回路１３は、しきい値処理手段１１
が出力するカラーチャート相関係数判定信号ＳＣ１とし
きい値処理手段１２が出力するカラーチャート分散判定
信号ＳＣ２との論理積をとり、カラーチャート判定信号
SC: SC = 1 : カラーチャートである SC = 0 : カラーチャートでない を出力する。こうして画像信号から、カラーチャートの
判定がなされる。

【００７４】以上が、カラーチャート認識部１４の動作
である。カラーチャート用光源色度推定部１８は、輝度
色度変換部２からの色度信号ＣＳｉを受けて、その平均
値を計算して出力し、カラーチャート用推定光源色度信
号ＪＣとして出力する。

【００７５】輝度色度データ記憶部１９は、色度信号Ｃ
Ｓｉを色度データとして記憶し、輝度信号ＹＹｉを輝度
データとして記憶する。記憶が終了すると、記憶制御部
２０が輝度色度データ記憶部への輝度データと色度デー
タの書き込みを禁止する。次に、一般画像用光源色度推
定部５０について説明する。

【００７６】光源色度候補計算部２１の内部にある平均
計算手段２２は、輝度色度データ記憶部１９から色度デ
ータを読みだし、全平均色度を計算する。限定領域デー
タ出力部２３は、平均計算手段２２から全平均色度信号
を受けて基準色度とし、輝度色度データ記憶部１９から
色度データを読みだし、色度データの内で、基準色度の
周囲の制限された領域に属するデータのみを出力する。
その一例としては、色度データと基準色度との差δＣＳ
ｉを計算して、内積（δＣＳｉ，δＣＳｉ）とあらかじ
め設定されている値θとを比較して、 （δＣＳｉ，δＣＳｉ）＜θ の場合に領域内に存在と判断して、この場合のみ色度デ
ータを出力する方法が考えられる。領域限定平均計算部
２５は、限定領域データ出力部２３から出力されたデー
タを平均し、２重平均色度とする。限定領域データ出力
部２４は、領域限定平均計算部２５から２重平均色度を
受けて基準色度とし、輝度色度データ記憶部１９から色
度データを読みだし、色度データの内で、基準色度の周
囲の制限された領域に属するデータのみを出力する。領
域限定平均計算部２６は、限定領域データ出力部２４か
ら出力されたデータを平均し、３重平均色度とする。光
源色度候補記憶部２６は、平均計算手段２２からの全平
均色度と領域限定平均計算部２６からの３重平均色度と
を受けて、それぞれを光源色度候補ＳＳ１、ＳＳ２とし
て記憶する。限定領域中心計算部２８は光源色度候補記
憶部２７から光源色度候補ＳＳ２を受け、限定領域中心
色度ＳＳＣとする。支配色存在判定部２９の内部にある
限定領域データ出力部３０は、限定領域中心計算部２８
から限定領域中心色度ＳＳＣを受けて基準色度とし、色
度データ記憶部１９から色度データを読みだし、色度デ
ータの内で、基準色度の周囲の制限された領域に属する
データのみを出力する。カウンター３１は、限定領域デ
ータ出力部から出力されるデータの数を数え、限定領域
データ数Ｎ３とする。支配色存在判定しきい値処理部３
２は、限定領域データ数Ｎ３を受けて、内部に保持する
しきい値θ１と比較し、 Ｎ３≧θ１のとき、Ｊ１＝１（支配色存在） Ｎ３＜θ１のとき、Ｊ１＝０（支配色不在） とする。特定色判定部３３は、推定光源色度記憶部２７
から光源色度候補ＳＳ１、ＳＳ２を受け、内部に保持す
る色度平面上の特定領域に光源色度候補ＳＳ２が入るか
どうかを調べ、 入っている場合には、Ｊ２＝１（ＳＳ２が特定領域の内
部にある） 入っていない場合に、Ｊ２＝０（ＳＳ２が特定領域の外
部にある） とする。光源色度判定部３４の内部にある優先色度選択
部３５は、支配色存在判定しきい値処理部３２からの光
源推定制御信号Ｊ１を受けて、 Ｊ１＝１のとき、Ｊ３＝１（３重平均色度ＳＳ２優先） Ｊ１＝０のとき、Ｊ３＝０（全平均色度ＳＳ１優先） とする。総合色度判定部３６は、特定色判定部３３から
の特定色判定信号Ｊ２と優先色度選択部３５からの優先
色度指定信号Ｊ３と光源色度候補記憶部２７からの光源
色度候補ＳＳ１、ＳＳ２とを受け、 Ｊ２＝１かつＪ３＝１のとき、ＳＳ＝ＳＳ２（３重平均
色度採用） そうでないとき、ＳＳ＝ＳＳ１（全平均色度採用） とし、ＳＳを推定された光源色度として出力する。

【００７７】推定光源色度選択部３７は、カラーチャー
ト認識部１４からのカラーチャート認識信号SCとカラー
チャート用光源色度推定部１８からのカラーチャート用
推定光源色度信号JCと光源色度判定部３４からの一般画
像用推定光源色度信号ＳＳとを受けて、カラーチャート
認識信号SCの値により、 SC = 1 (カラーチャートである) → SJG = JC SC = 0 (カラーチャートである) → SJG = SS として、推定光源色度信号SJGを出力する。

【００７８】光源推定部３８は、あらかじめ色度平面上
を適切に分割して各領域に光源を割り振っておき、推定
光源色度選択部からの推定光源色度ＳＪＧをうけて、推
定光源色度ＳＪＧがどの領域に属するかで光源を推定
し、光源推定結果をＳ１とする。

【００７９】絞り調整機構制御部３９は、輝度色度変換
部２からの輝度信号と色度信号を受け、最適な絞り調整
を行うための絞り調整機構制御信号ＣＩを計算し、絞り
調整機構と、屋外光源検出部４０の内部にあるしきい値
処理手段４１とに対して絞り調整機構制御信号ＣＩを出
力する。ただし、ＣＩは、絞りを最も閉じるときに最大
となる。したがって、Ｆ値が大きくなるとＣＩも大きく
なる。しきい値処理手段４１は、絞り調整機構制御信号
ＣＩと内部に保持するしきい値θCIとを比較し、 ＣＩ≧θCIのとき、ＪＩ１＝１（屋外撮影画像の可能性
あり） そうでないとき、ＪＩ１＝０（屋内撮影画像の可能性あ
り） とする。しきい値処理手段４２は、輝度色度データ記憶
部１９から輝度データＹＹｉを読みだし、内部に保持す
るしきい値θYYと比較し、 ＹＹｉ≧θYYのとき、ＪＹｉ＝１（高輝度色） そうでないとき、ＪＹｉ＝０（高輝度色ではない） とする。高色温度色判定部４３は、輝度色度データ記憶
部１９から色度データＣＳｉを読みだし、あらかじめ設
定されている領域内にあるかどうか調べ、 ＳＣｉが領域内にあるとき、ＪＡｉ＝１（高色温度色） そうでないとき、ＪＡｉ＝０（高色温度色ではない） とする。ＡＮＤ回路４４は、ＪＹｉとＪＡｉが共に１の
ときのみ１を出力し、そうでない場合には０を出力す
る。カウンター４５は、ＡＮＤ回路４４からの出力が０
から１に反転した回数を数える。検出制御部４６は、通
常は０を出力するが、高色温度色判定部４３から出力さ
れる判定信号を数えて、すべての色度データに対する判
定が終わったら制御信号１を出力する。しきい値処理手
段４７は、検出制御部４６から出力される制御信号が１
になったら、カウンター４５からカウントされた数ＮＹ
を読みだし、ＮＹと内部に保持するしきい値θNYとを比
較して、 ＮＹ≧θNYのとき、ＪＩ２＝１（屋外撮影画像の可能性
あり） そうでないとき、ＪＩ２＝０（屋内撮影画像の可能性あ
り） とする。カウンター４５のカウンター値は、しきい値処
理手段４７に信号ＮＹを出力すると０にされる。ＡＮＤ
回路４８は、しきい値処理手段４１からの判定信号ＪＩ
１と、しきい値処理手段４７からの判定信号ＪＩ２とを
受けて、 ＪＩ１＝ＪＩ２＝０のとき、ＪＩ３＝１（屋外撮影画像
である） そうでないとき、ＪＩ３＝０（屋内撮影画像の可能性あ
り） とする。光源判定部４９は、ＡＮＤ回路４８からの光源
判定制御信号ＪＩ３と光源推定部３８からの推定光源Ｓ
１とを受けて、 ＪＩ３＝１のとき、Ｓｆ＝ＯＵＴ（屋外光源） ＪＩ３＝０のとき、Ｓｆ＝Ｓ１ とする。

【００８０】こうして、カラーチャートとそれ以外の一
般画像とを判別し、さらに一般画像の中でも支配色が存
在する画像と、屋外で撮影された画像特有の特徴を持つ
画像と、いずれにもあてはまらない画像とを判別して、
それぞれに適した方法で光源を推定する光源推定装置が
実現される。また、カラーチャート認識部１４からの出
力は画像がカラーチャート画像であるかどうかを表わし
ているので、カラーチャート認識装置としての役割も果
たすことができる。

【００８１】さらに、支配色存在判定部からの出力は画
面上に支配色が存在するかどうかを表しているので、支
配色存在判定装置としての役割も果たすことができる。
また、光源色度判定部３４からの出力は、一般画像に対
する光源色度の推定結果を表すので、光源色度推定装置
としての役割も果たすことができる。

【００８２】なお、「光源ライン」に垂直な方向を与え
るベクトル(Ｖ１,Ｖ２)は、ベクトル(1,1)におおよそ平
行であればよく、厳密に定める必要はない。パラメータ
によってカラーチャート判定精度は多少変化するが、デ
ータ分析の結果、その影響は小さいことがわかってい
る。また、画像分散VVの計算の本質は、画像信号として
（Ｒ，Ｇ，Ｂ）を用いるか（Ｙ，Ｒ−Ｙ，Ｂ−Ｙ）を用
いるかなどには依存しない。

【００８３】また、画像分散計算部１６では、画像信号
を２次元の色度座標に変換した上で画像分散を計算して
いるが、「光源曲線」を「光源曲面」と考え直すなどの
工夫で３次元の画像信号から直接画像分散を計算するこ
ともできる。また、カラーチャート判定条件は、本実施
例に掲げた方法の他にも、多くの方法がある。例えば、
適当な係数α、βを用意して CV = αRC − βVV を計算し、CVとしきい値とを比較してカラーチャート判
定信号を出力することも可能である。

【００８４】また、座標変換手段９で「分布の軸」を４
５゜方向に合わせているのは、４５゜に合わせるのが最
も効果的と考えられるからであって、必ずしも４５゜で
ある必要はない。また、座標変換手段７で用いている２
×２行列Ａの成分に共通な係数１／[2(1＋a²)]^1/2を省
略し、または別のものを用いても最後に得られる効果は
同じである。

【００８５】また、本実施例では座標変換後に再び相関
係数を計算しているが、座標変換後の相関係数は、座標
変換に用いる２×２行列の成分と座標変換前の２つの分
散と座標変換前の共分散とから容易に算出できるため、
必ずしも座標変換を実行する必要はない。座標変換を実
行せずにこれらの値を用いて座標変換後の相関係数を算
出することによって、より計算量の少ない単純な構成に
することも可能である。

【００８６】また、本実施例では相関係数の絶対値を用
いているが、絶対値を用いなくても同様の処理は可能で
ある。本実施例では原理の説明で述べた、色度座標の
「回転相関係数」を用いているが、単なる色度座標の相
関係数を用いても、カラーチャートの認識は可能であ
る。

【００８７】さらに、本実施例では、限定領域中心色度
ＳＳＣを３重平均色度としたが、全平均色度としてもよ
いし、２重平均色度でもよい。２重平均を全平均の代わ
りの光源色度候補ＳＳ１としてもよい。２重平均は、色
度平面上で全平均のまわりの限定された領域にある画像
データの平均なので、画面上に枯草と空とがある場合な
どに、３重平均値ほど枯草の色の近くにはならない。

【００８８】また、支配色存在判定部では、限定領域に
入るデータ数を用いて支配色が存在するかどうかの判定
を行っているが、限定領域に入る画像データの分散が小
さいときに支配色存在と判定し、そうでないときに支配
色不在と判定してもよい。

【００８９】本実施例では、３重平均色度のまわりの画
像データを用いて、画面上に支配色が存在するかどうか
判定したが、３重平均色度を計算するときに使ったデー
タ数を用いても、支配色が存在するかどうかの判定はで
きる。このとき、支配色存在判定部の構成を簡単にする
ことができる。

【００９０】さらに、限定領域データ出力部では、基準
色度からの距離が設定値θ以下であるような色度データ
を出力しているが、基準色度を中心とする多角形内に入
る色度データを出力してもよい。このとき、多角形を決
める複数点をあらかじめ保持しておけば、構成上問題は
ない。

【００９１】本実施例では、屋外光源検出部による判定
結果が「被写体は屋内画像の可能性もある」となったと
きに、カラーチャート認識結果と支配色存在判定結果と
ＧＷＡとに基づく光源推定結果を出力するが、このとき
出力する光源推定結果は、どのような方法で推定した光
源であっても構成上問題はない。また、検出制御部は高
色温度色判定部からの出力を数えているが、輝度データ
に対してしきい値処理するしきい値処理手段４２からの
出力を数えて、輝度データと色度データに対する処理が
終了したかどうか判断するように構成してもよい。これ
らの事柄は、以下の実施例においても同様なので、繰り
返さない。

【００９２】（実施例２）次に、本発明の第２の実施例
の構成について、図面を参照しながら説明する。図９
は、カラーチャート認識装置の構成を示すブロック結線
図である。

【００９３】図９において、１はＣＣＤ等からの画像信
号ＩＳを適当なサンプリング規則に従って変換するサン
プリング回路であり、１００はサンプリング回路１から
サンプリングされた画像信号ＩＳを２つの色度信号に変
換する色度変換部であり、７１は原理の説明で述べた光
源ラインに垂直な方向に色度信号を射影してその成分の
大きさ（すなわち光源ラインからの垂直方向変位）に変
換する射影手段であり、７２は光源ラインに平行な方向
に色度信号を射影してその成分の大きさ（すなわち光源
ラインに沿った平行方向変位）に変換する射影手段であ
り、３は射影手段７１から垂直方向変位を受けてその分
散を計算する分散計算手段であり、４は射影手段７２か
ら平行方向変位を受けてその分散を計算する分散計算手
段であり、５は射影手段７１からの垂直方向変位と射影
手段７２からの平行方向変位とを受けてそれらの共分散
を計算する共分散計算手段であり、８は分散計算手段３
と分散計算手段４と共分散計算手段５とのそれぞれの出
力を受けてそれらの値から構成される係数を持つ２次方
程式を解いて適当な解を出力する２次方程式求解手段で
あり、７３は分散計算手段３と分散計算手段４と共分散
計算手段５と２次方程式求解手段８とのそれぞれの出力
を受けてこれらを用いて回転相関係数を算出して出力す
る演算回路であり、１１と１２とは内部に蓄えられたし
きい値と入力信号とを比較して判定信号を出力するしき
い値処理手段であり、１３はＡＮＤ回路であり、１０１
は本発明の中核をなすカラーチャート判定部、１０２は
統計量計算部、１０３は画像分散計算部である。

【００９４】以上のように構成されたカラーチャート認
識装置の動作について、図１０を用いて説明する。ま
ず、ＣＣＤ等からの画像信号ＩＳは、サンプリング回路
１に入り、適当なサンプリング規則に従って変換され
る。色度変換部１００は、サンプリング回路１でサンプ
リングされた画像信号＜ＩＳ＞ｉ＝（ＹＹｉ, ＲＹＹ
ｉ,ＢＹＹｉ）を受けて、これを色度信号ＣＳｉ＝（Ｂ
Ｙｉ, ＲＹｉ）に変換する。

【００９５】射影手段７１は、色度信号ＣＳｉを受け
て、原理の説明で述べた「光源ライン」に垂直な方向
(Ｖ１，Ｖ２)にこれを射影し、その方向の成分すなわち
「光源ライン」からの垂直方向変位 Ｖｉ ＝ Ｖ１・ＢＹｉ ＋ Ｖ２・ＲＹｉ に変換する。ただしここで(Ｖ１、Ｖ２)は２次元の単位
ベクトルとしている。射影手段７２は、色度信号ＣＳｉ
を受けて、原理の説明で述べた「光源ライン」に平行な
方向(Ｖ２，−Ｖ１)にこれを射影し、その方向の成分す
なわち「光源ライン」からの平行方向変位 Ｕｉ ＝ Ｖ２・ＢＹｉ − Ｖ１・ＲＹｉ に変換する。分散計算手段３は、射影手段７１から垂直
方向変位Ｖｉを受けて、垂直方向画像信号分散 ＶＶ ＝ < ( Ｖｉ−<Ｖ> )² > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。分散計算手段４は、射影手段７２から平行
方向変位Ｕｉを受けて、平行方向画像信号分散 ＶＵ ＝ < ( Ｕｉ−<Ｕ> )² > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。

【００９６】共分散計算手段５は、射影手段７１からの
垂直方向変位Ｖｉと射影手段７２からの平行方向変位Ｕ
ｉとを受けて、これらの共分散 CVU ＝ < ( Ｖｉ−<Ｖ> ) ( Ｕｉ−<Ｕ> ) > ただし、 <ｘ> : 変数ｘの平均値 Σｘ_i／N を計算する。２次方程式求解手段８は、分散計算手段３
で計算した分散VVと分散計算手段４で計算した分散VUと
共分散計算手段５で計算した共分散CVUとを受けて、
「光源ライン」に垂直な方向に対する色度信号ＣＳｉの
「分布の軸」の傾き、すなわち２次方程式 CVU・a² ＋ (VV−VU)a − CVU ＝ ０ の解のうち 2CVU・a ＋ VV − VU ≧ ０ を満たすものを計算する。

【００９７】演算回路７３は、２次方程式求解手段８で
求められた「分布の軸」の傾きaと分散計算手段３で計
算した分散VVと分散計算手段４で計算した分散VUと共分
散計算手段５で計算した共分散CVUとを受けて、変位Ｘ
ｉ＝(Ｖｉ,Ｕｉ)に対して座標変換 Ｖ’ｉ = Ａ₁₁・Ｖｉ ＋ Ａ₁₂・Ｕｉ Ｕ’ｉ = Ａ₂₁・Ｖｉ ＋ Ａ₂₂・Ｕｉ を施した場合の変換された変位Ｘ’=(Ｖ’ｉ，Ｕ’ｉ)
の相関係数の絶対値を計算する。ここで、A₁₁,A₁₂,A₂₁,
A₂₂は「分布の軸」が４５゜方向になるように座標軸を
回転する２×２行列Ａの成分 A₁₁ ＝ A₂₂ ＝ (1＋a)／[2(1＋a²)]^1/2 −A₁₂ ＝ A₂₁ ＝ (1−a)／[2(1＋a²)]^1/2 としている。ただしここで座標変換後の相関係数の絶対
値は座標変換前の分散及び共分散から次の式で計算でき
る。

【００９８】 RC' ＝ ｜Cov(v',u') ／ ［V(v')V(u')］^1/2｜ ただし Cov(v',u') ＝ A₁₁A₂₁VV＋(A₁₁A₂₂＋A₁₂A₂₁)CVU＋A₁₂A₂₂VU V(v') ＝ A₁₁ ²VV＋A₁₁A₁₂CVU＋A₁₂ ²VU V(u') ＝ A₂₁ ²VV＋A₂₁A₂₂CVU＋A₂₂ ²VU これは原理の説明で述べた「回転相関係数」の絶対値に
ほかならない。

【００９９】しきい値処理手段１１は、演算回路７３で
計算された回転相関係数RC'と内部に蓄えられた相関係
数しきい値θRC'とを比較し、 RC' ＜ θRC' の場合 ＳＣ１＝１ : カラーチャートの
可能性あり そうでない場合 ＳＣ１＝０ : カラーチャートで
ない として、カラーチャート相関係数判定信号ＳＣ１を出力
する。しきい値処理手段１２は、分散計算手段３で計算
された画像信号分散VVと内部に蓄えられた画像分散しき
い値θVVとを比較し、 VV ＞ θVV の場合 ＳＣ２＝１ : カラーチャートの
可能性あり そうでない場合 ＳＣ２＝０ : カラーチャートで
ない として、カラーチャート分散判定信号ＳＣ２を出力す
る。

【０１００】ＡＮＤ回路１３は、しきい値処理手段１１
が出力するカラーチャート相関係数判定信号ＳＣ１とし
きい値処理手段１２が出力するカラーチャート分散判定
信号ＳＣ２との論理積をとり、カラーチャート判定信号
SC: SC = 1 : カラーチャートである SC = 0 : カラーチャートでない を出力する。こうして画像信号から、カラーチャートの
判定がなされる。

【０１０１】本実施例の特徴は、実施例１のカラーチャ
ート認識部では分散計算が３回必要なのに対し、色度デ
ータの座標軸を「光源ライン」に垂直な方向と平行な方
向とに取り直して画像分散を計算することにより分散計
算が２回で済み、より計算量が少なく、構成も簡単とな
る点にある。

【０１０２】なお、本実施例では「回転相関係数」の計
算に際して、座標変換を実行する代わりに一次変換前の
分散及び共分散と一次変換後の分散及び共分散との間に
一般的に成立する関係を利用することによって、計算量
を減らし、構成をより単純にしているが、このような構
成を必ずしもとる必要はなく、実施例１のカラーチャー
ト認識部のように座標変換を実行する構成にしてもよ
い。

【０１０３】（実施例３）次に、本発明の第３の実施例
について図面を参照しながら説明する。図１１は、第３
の実施例である支配色存在判定部を備えた画像データ判
定装置の構成を示すブロック図である。

【０１０４】図１１において、１はＣＣＤ等からの画像
信号ＩＳを適当なサンプリング規則にしたがって変換す
るサンプリング回路、１００はサンプリングされた画像
データを色度信号に変換する色度変換部、２００は変換
された色度信号を色度データとして記憶する色度データ
記憶部、２０は画像判定が終了するまで色度データ記憶
部への記憶を禁止する記憶制御部である。２０１は限定
領域の中心となる色度を計算する限定領域中心計算部で
あり、色度データの全平均色度を計算する平均計算手段
２２と、入力された基準色度と色度データ記憶部から読
みだされた色度データとから基準色度のまわりの限定さ
れた領域に属するデータを選択して出力する限定領域デ
ータ出力部２３と、限定領域データ出力部から出力され
る限定領域データの平均を計算する領域限定平均計算部
２５とを備えている。２０２は画面上に支配的な色が存
在するかどうか判定する支配色存在判定部であり、入力
された基準色度と色度データ記憶部から読みだされた色
度データとから基準色度のまわりの限定された領域に属
するデータを選択して出力する限定領域データ出力部３
０と、限定領域データ出力部から出力されるデータの数
をカウントするカウンター３１と、カウンター３１から
の出力が第１の設定値よりも大きい場合に支配色存在と
し、第２の設定値よりも小さい場合にＧＷＡ不成立と
し、その他の場合には支配色不在とする支配色存在判定
しきい値処理部２０３とを備えている。

【０１０５】２０４は支配色存在判定部２０２からの判
定結果を処理してＧＷＡの成立を調べることで光源推定
に適した画像であるかどうかを判定する判定結果処理部
であり、光源ラインに垂直な方向へ射影しその方向の成
分の大きさである変位に変換する射影手段２０５と、色
度データから求められた変位の分散を計算する分散計算
手段２０６と、支配色存在判定しきい値処理部２０３か
らのしきい値制御信号を受けて、支配色が存在する場合
に大きなしきい値を設定し、支配色が不在の場合に小さ
なしきい値を設定し、ＧＷＡ不成立の場合にしきい値を
０に設定するしきい値設定部２０７と、分散計算手段か
らの分散としきい値設定部からのしきい値とを受けて、
分散がしきい値より小さい場合にはＧＷＡ成立とし、そ
の他の場合にはＧＷＡ不成立とするＧＷＡ判定しきい値
処理部２０８とを備えている。

【０１０６】以上のように構成された画像データ判定装
置について、その動作を説明する。まず、ＣＣＤなどか
らの画像信号ＩＳ＝（Ｙ，Ｒ−Ｙ，Ｂ−Ｙ）は、サンプ
リング回路１に入り、適当なサンプリング規則に従って
変換される。色度変換部１００はサンプリング回路１か
らブロック平均（ＹＹｉ，ＲＹＹｉ，ＢＹＹｉ）を受
け、 ＢＹｉ＝ＢＹＹｉ／ＹＹｉ ＲＹｉ＝ＲＹＹｉ／ＹＹｉ を計算し、色度信号ＣＳｉ＝（ＢＹｉ，ＲＹｉ）に変換
する。色度データ記憶部２００は、色度信号ＣＳｉを色
度データとして記憶する。記憶が終了すると、記憶制御
部２０が色度データ記憶部への色度データの書き込みを
禁止する。

【０１０７】限定領域中心計算部２０１の内部にある平
均計算手段２２は、色度データ記憶部２００から色度デ
ータを読みだし、全平均色度を計算する。限定領域デー
タ出力部２３は、平均計算手段２２から全平均色度信号
を受けて基準色度とし、色度データ記憶部２００から色
度データを読みだし、色度データの内で、基準色度の周
囲の制限された領域に属するデータのみを出力する。領
域限定平均計算部２５は、限定領域データ出力部２３か
ら出力されたデータを平均し、２重平均色度とする。支
配色存在判定部２０２の内部にある限定領域データ出力
部３０は、領域限定平均計算部２５から２重平均色度を
受けて基準色度とし、色度データ記憶部２００から色度
データを読みだし、色度データの内で、基準色度の周囲
の制限された領域に属するデータのみを出力する。カウ
ンター３１は、限定領域データ出力部から出力されるデ
ータの数を数え、限定領域データ数Ｎ２とする。無彩色
存在判定しきい値処理部２０３は、限定領域データ数Ｎ
２を受けて、内部に保持するしきい値θ１、θ２と比較
し、 Ｎ２≧θ１のとき、Ｊ１＝１（支配色存在） θ１＞Ｎ２≧θ２のとき、Ｊ１＝０（支配色不在） Ｎ２＜θ２のとき、Ｊ１＝２（ＧＷＡ不成立） とする。判定結果処理部２０４の内部にある射影手段２
０５は、色度データ記憶部２００から色度データＣＳｉ
＝（Ｃ１ｉ，Ｃ２ｉ）、ｉ＝１、・・・ 、Ｎを受けて、図
４の光源ラインに垂直な方向（Ｖ１，Ｖ２）に射影し、
その方向の成分の大きさ、すなわち光源ラインからの変
位 Ｘｉ＝ＢＹｉ・Ｖ１＋ＲＹｉ・Ｖ２ ＜Ｘ＞＝（ΣＸｉ）／Ｎ に変換する。分散計算手段２０６は、射影手段２０５か
ら、変位Ｘｉ、＜Ｘ＞を受けて、分散 ＳＧＭ＝｛Σ（Ｘｉ−＜Ｘ＞）² ｝／Ｎ を計算する。しきい値設定部２０７は、内部に設定値θ
３、θ４を保持しており、支配色存在判定しきい値処理
部２０３からのしきい値制御信号Ｊ１を受けて、 Ｊ１＝１のとき、θｓ＝θ３ Ｊ１＝０のとき、θｓ＝θ４ Ｊ１＝２のとき、θｓ＝０ とする。ただし、θ３≧θ４である。ＧＷＡ判定しきい
値処理部２０８は、分散計算手段２０６からの画像デー
タ分散ＳＧＭとしきい値設定部２０７からのしきい値信
号θｓとを受けて、 ＳＧＭ＜θｓの時、Ｊ４＝１（ＧＷＡ成立） その他の場合には、Ｊ４＝０（ＧＷＡ不成立） とする。

【０１０８】こうして、支配色が存在する画像とそうで
ない画像を判別して、判別した結果を用いてＧＷＡ判定
のしきい値を設定し、垂直分散と設定したしきい値との
大小関係からＧＷＡの成立を判定することで、光源推定
に適した画像を判別する画像データ判定装置が実現され
る。

【０１０９】なお、本実施例では、支配色存在判定部か
ら出力されるしきい値制御信号Ｊ１として、支配色存
在、支配色不在、ＧＷＡ不成立の３通りとしたが、２重
平均のまわりの色度データ数Ｎ２が十分小さい場合に
は、垂直分散が大きくなりＧＷＡ判定部でＧＷＡ不成立
と判定されるケースが多いので、Ｊ１として、支配色存
在、支配色不在の２通りとしてもよい。そして、支配色
存在判定部からの判定結果が支配色存在の場合にＧＷＡ
成立とし、そうでない場合にＧＷＡ不成立とするように
判定結果処理部を構成してもよい。

【０１１０】さらに、支配色存在判定部から出力される
しきい値制御信号Ｊ１は３通り以上としてもよい。この
とき、しきい値設定部の内部に保持する設定値を増やす
ことで、よりきめ細かくＧＷＡ判定用しきい値θｓを設
定できるようになり、画像データ判定精度が向上する。
これらの事柄は、以下の実施例においても同様なので、
繰り返さない。

【０１１１】（実施例４）次に、本発明の第４の実施例
について図面を参照しながら説明する。第４の実施例
は、支配色存在判定部と特定色判定部とを備えた光源推
定装置である。第１の実施例で光源色度推定部について
述べ、第３の実施例で画像データ判定装置について述べ
たが、光源推定装置の一部分と考えたときには、支配色
存在判定部を共通の部分とし、光源色度候補の一つを限
定領域中心色度とすることができる。また、支配色存在
判定部を光源推定部の一部として使う場合には、きめ細
かい判定結果を出力するように支配色存在判定部を構成
した方が、光源推定精度が向上する。そこで、第４の実
施例では、光源色度推定部分と画像データ判定部分を備
え、かつ、推定された光源色度と判定結果を用いて光源
推定を実行する光源推定装置について述べる。

【０１１２】図１２は、第４の実施例である光源推定装
置の構成を示すブロック図である。図１２において、１
はＣＣＤ等からの画像信号ＩＳを適当なサンプリング規
則にしたがって変換するサンプリング回路、１００はサ
ンプリングされた画像データを色度信号に変換する色度
変換部、２００は変換された色度信号を色度データとし
て記憶する色度データ記憶部、２０は画像判定が終了す
るまで色度データ記憶部への記憶を禁止する記憶制御部
である。３０１は光源色度を推定する光源色度推定部で
あり、色度データの全平均色度を計算する平均計算手段
２２と、入力された基準色度と色度データ記憶部から読
みだされた色度データとから基準色度のまわりの限定さ
れた領域に属するデータを選択して出力する限定領域デ
ータ出力部２３、２４と、限定領域データ出力部から出
力される限定領域データの平均を計算する領域限定平均
計算部２５、２６と、平均計算手段からの全平均色度と
領域限定平均計算部からの多重平均色度とを記憶する光
源色度候補記憶部２７と、色度データを黒体輻射からの
光源の色が黒体の温度をパラメータとしたときに色度平
面上に描く軌跡を近似する直線に、光源色度候補が近い
場合に特定色と判定し、そうでない場合に特定色以外と
判定する特定色判定部３３と、支配色不在またはＧＷＡ
不成立の場合に全平均色度を優先色度とし、そうでない
場合に多重平均色度を優先色度とする優先色度選択部３
０２と、全平均色度が優先色度の場合には全平均色度を
推定光源色度とし、多重平均色度が優先色度で、かつ、
特定色判定部からの特定色判定信号が特定色ならば多重
平均色度を推定光源色度とし、いずれの場合にもあては
まらないときには「条件付きで全平均色度」とする総合
色度判定部３６とを備えている。

【０１１３】３０３は支配色存在判定部であり、限定領
域データ出力部２４から出力されるデータの数をカウン
トするカウンター３１と、カウンターからの出力が第１
の設定値よりも大きい場合に支配色存在とし、カウンタ
ーからの出力が第２の設定値よりも小さい場合にＧＷＡ
不成立とし、カウンターからの出力が第２の設定値より
も大きく第３の設定値よりも小さい場合に支配色不在と
し、その他の場合には支配色存在可能性小とする支配色
存在判定しきい値処理部３０４とを備えている。３０５
は、支配色存在判定部３０３からの判定結果を処理して
ＧＷＡの成立を調べることで光源推定に適した画像であ
るかどうかを判定する判定結果処理部であり、色度デー
タを黒体輻射からの光源の色が黒体の温度をパラメータ
としたときに色度平面上に描く軌跡を近似する直線に垂
直な方向へ射影しその方向の成分の大きさである変位に
変換する射影手段２０５と、色度データから求められた
変位の分散を計算する分散計算手段２０６と、支配色存
在判定しきい値処理部３０４からのしきい値制御信号を
受けて、支配色存在の場合に大きなしきい値を設定し、
ＧＷＡ不成立の場合にしきい値を０に設定し、その他の
場合には小さなしきい値を設定するしきい値設定部３０
６と、分散計算手段からの分散としきい値設定部からの
しきい値とを受けて、分散がしきい値より小さい場合に
はＧＷＡ成立とし、その他の場合にはＧＷＡ不成立とす
るＧＷＡ判定しきい値処理部２０８と、総合色度判定部
で判定された推定光源色度を受け色度平面上を適切に分
割し各領域に光源を割り振り、推定光源色度がどの領域
に属するかで光源を推定する光源推定部３０７と、ＧＷ
Ａ判定しきい値処理部からの光源推定制御信号と光源推
定部からの光源推定結果とを用いて総合的な判定を行う
総合判定部３０８と、総合判定部からの総合判定結果を
受け、それが判定不能であった場合には内部に保持され
た光源推定結果を出力する光源推定結果保持部３０９と
を備えている。

【０１１４】以上のように構成された光源推定装置につ
いて、その動作を説明する。まず、ＣＣＤなどからの画
像信号ＩＳ＝（Ｙ，Ｒ−Ｙ，Ｂ−Ｙ）は、サンプリング
回路１に入り、適当なサンプリング規則に従って変換さ
れる。色度変換部１００はサンプリング回路１からブロ
ック平均（ＹＹｉ，ＲＹＹｉ，ＢＹＹｉ）を受け、 ＢＹｉ＝ＢＹＹｉ／ＹＹｉ ＲＹｉ＝ＲＹＹｉ／ＹＹｉ を計算し、色度信号ＣＳｉ＝（ＢＹｉ，ＲＹｉ）に変換
する。色度データ記憶部２００は、色度信号ＣＳｉを色
度データとして記憶する。記憶が終了すると、記憶制御
部２０が色度データ記憶部への色度データの書き込みを
禁止する。

【０１１５】光源色度推定部３０１の内部にある平均計
算手段２２は、色度データ記憶部２００から色度データ
を読みだし、全平均色度を計算する。限定領域データ出
力部２３は、平均計算手段２２から全平均色度信号を受
けて基準色度とし、色度データ記憶部２００から色度デ
ータを読みだし、色度データの内で、基準色度の周囲の
制限された領域に属するデータのみを出力する。領域限
定平均計算部２５は、限定領域データ出力部２３から出
力されたデータを平均し、２重平均色度とする。限定領
域データ出力部２４は、領域限定平均計算部２５から２
重平均色度を受けて基準色度とし、色度データ記憶部２
００から色度データを読みだし、色度データの内で、基
準色度の周囲の制限された領域に属するデータのみを出
力する。領域限定平均計算部２６は、限定領域データ出
力部２４から出力されたデータを平均し、３重平均色度
とする。光源色度候補記憶部２７は、平均計算手段から
の全平均色度と領域限定平均計算部２６からの３重平均
色度とを受けて、それぞれを光源色度候補ＳＳ１、ＳＳ
２として記憶する。

【０１１６】支配色存在判定部３０３の内部にあるカウ
ンター３１は、限定領域データ出力部２４から出力され
るデータの数を数え、限定領域データ数Ｎ２とする。支
配色存在判定しきい値処理部３０４は、限定領域データ
数Ｎ２を受けて、内部に保持するしきい値θ１、θ２、
θ１’と比較し、 Ｎ２≧θ１のとき、Ｊ１＝１（支配色存在） θ１＞Ｎ２≧θ１’のとき、Ｊ１＝３（支配色存在可能
性小） θ１’＞Ｎ２≧θ２のとき、Ｊ１＝０（支配色不在） Ｎ２＜θ２のとき、Ｊ１＝２（ＧＷＡ不成立） とする。

【０１１７】特定色判定部３３は、光源色度候補記憶部
２７から光源色度候補ＳＳ１、ＳＳ２を受け、内部に保
持する色度平面上の特定領域に光源色度候補ＳＳ２が入
るかどうかを調べ、 入っている場合には、Ｊ２＝１（ＳＳ２が特定領域の内
部にある） 入っていない場合に、Ｊ２＝０（ＳＳ２が特定領域の外
部にある） とする。優先色度選択部３０２は、支配色存在判定しき
い値処理部３０４からの光源推定制御信号Ｊ１を受け
て、 Ｊ１＝１またはＪ１＝３のとき、Ｊ３＝１（３重平均色
度ＳＳ２優先） Ｊ１＝０またはＪ１＝２のとき、Ｊ３＝０（全平均色度
ＳＳ１優先） とする。総合色度判定部３６は、特定色判定部からの特
定色判定信号Ｊ２と優先色度選択部からの優先色度指定
信号Ｊ３と光源色度候補記憶部２７からの光源色度候補
ＳＳ１、ＳＳ２とを受け、 Ｊ２＝１かつＪ３＝１のとき、ＳＳ＝ＳＳ２（３重平均
色度採用） ＳＪＪ＝０（条件なし） Ｊ２＝０のとき、ＳＳ＝ＳＳ１（全平均色度採用） ＳＪＪ＝０（条件なし） Ｊ２＝１かつＪ３＝０のとき、ＳＳ＝ＳＳ１（全平均色
度採用） ＳＪＪ＝１（基本的には判定不能） とし、（ＳＳ、ＳＪＪ）を推定された光源色度として出
力する。

【０１１８】判定結果処理部３０５の内部にある射影手
段２０５は、色度データ記憶部２００から色度データＣ
Ｓｉ＝（ＢＹｉ，ＲＹｉ）、ｉ＝１、・・・ 、Ｎを受け
て、図４の光源ラインに垂直な方向（Ｖ１，Ｖ２）に射
影し、その方向の成分の大きさ、すなわち光源ラインか
らの変位 Ｘｉ＝ＢＹｉ・Ｖ１＋ＲＹｉ・Ｖ２ ＜Ｘ＞＝（ΣＸｉ）／Ｎ に変換する。分散計算手段２０６は、射影手段２０５か
ら、変位Ｘｉ、＜Ｘ＞を受けて、分散 ＳＧＭ＝｛Σ（Ｘｉ−＜Ｘ＞）² ｝／Ｎ を計算する。しきい値設定部３０６は、内部に設定値θ
３、θ４を保持しており、支配色存在判定しきい値処理
部３０４からのしきい値制御信号Ｊ１を受けて、 Ｊ１＝１のとき、θｓ＝θ３ Ｊ１＝０またはＪ１＝３のとき、θｓ＝θ４ Ｊ１＝２のとき、θｓ＝０ とする。ただし、θ３≧θ４である。ＧＷＡ判定しきい
値処理部２０８は、分散計算手段２０６からの画像デー
タ分散ＳＧＭとしきい値設定部２０７からのしきい値信
号θｓとを受けて、 ＳＧＭ＜θｓの時、Ｊ４＝１（ＧＷＡ成立） その他の場合には、Ｊ４＝０（ＧＷＡ不成立） とする。

【０１１９】光源推定部３０７は、あらかじめ色度平面
上を適切に分割して各領域に光源を割り振っておき、総
合色度判定部からの推定光源色度ＳＳを受けて、推定光
源色度ＳＳがどの領域に属するかで光源を推定し、光源
推定結果をＳ１とする。そして、光源推定結果Ｓ１と総
合色度判定部からの条件信号ＳＪＪとを出力する。

【０１２０】総合判定部３０８は光源推定部３０７とＧ
ＷＡ判定しきい値処理部２０８とからそれぞれ１次光源
推定結果Ｓ１、条件信号ＳＳＪと、光源推定制御信号Ｊ
４とを受け、 立ち上がり時は、Ｓ２＝Ｓ１ 非立ち上がり時でＪ４＝１（ＧＷＡ成立）かつＳＳＪ＝
０のとき、Ｓ２＝Ｓ１ 非立ち上がり時でＪ４＝０（ＧＷＡ不成立）またはＳＳ
Ｊ＝１のとき、Ｓ２＝判定不能 として、２次光源推定結果Ｓ２を出力する。光源推定結
果保持部３０９は、総合判定部３０８からの２次光源推
定結果Ｓ２を受け、 Ｓ２≠判定不能のとき Ｓｆ ＝Ｓ２ Ｓbuf ＝Ｓ２ Ｓ２＝判定不能のとき Ｓｆ ＝Ｓbuf Ｓbuf ＝Ｓbuf として、２次光源推定結果をＳbuf に保持するととも
に、最終光源推定結果Ｓｆを出力する。

【０１２１】こうして、支配色が存在する画像とそうで
ない画像を判別して、判別した結果を用いてＧＷＡ判定
のしきい値を設定し、垂直分散と設定したしきい値との
大小関係からＧＷＡの成立を判定することで、光源推定
に適した画像を判別し、光源推定に適した画像だけを用
いて光源を推定する光源推定装置が実現される。

【０１２２】なお、サンプリングされた画像信号ＩＳを
輝度信号と２つの色度信号に変換する輝度色度変換部
と、輝度色度変換部で変換された輝度信号と色度信号を
それぞれ輝度データ、色度データとして記憶する輝度色
度データ記憶部と、光源推定が終了するまで輝度色度デ
ータ記憶部への記憶を禁止する記憶制御部と、絞り調整
機構を制御する絞り調整機構制御部と、屋外で空などを
撮影したときに特徴的に現れる現象が起きているかどう
か判定する屋外光源検出部と、光源結果保持部からの光
源推定結果と屋外光源検出部からの検出結果を受けて総
合的に光源を判定する光源判定部とを付加することによ
り、光源推定精度を向上させることができる。輝度色度
変換部と輝度色度データ記憶部と絞り調整機構制御部と
屋外光源検出部の動作は、実施例１と同様である。光源
判定部は、屋外光源検出部で特徴的な屋外撮影画像が検
出できた場合には、光源推定結果を屋外光源とし、そう
でない場合には、光源推定結果保持部から出力される光
源推定結果を出力する。こうすることで、屋外で空など
を撮影したときに正しい光源推定ができる光源推定装置
が実現される。

【０１２３】

【発明の効果】以上のように本発明は、画像信号を適当
なサンプリング規則に従って変換するサンプリング回路
と、前記サンプリングされたＮ個（Ｎは２以上の整数）
の画像信号を色度平面上の座標としてＮ個の色度に変換
する色度変換部と、前記Ｎ個の色度の平均座標を全平均
色度として求め、前記Ｎ個の色度の内、前記全平均色度
の限定領域に存在する色度の平均座標を多重平均色度と
して求め、全平均色度と多重平均色度を光源色度候補と
する光源色度候補計算部と、前記Ｎ個の色度の内前記多
重平均色度を中心とした限定領域に含まれる色度の総数
から、画像中に多く含まれる色を示す支配色が存在する
かを判定する支配色存在判定部と、前記支配色存在判定
部からの判定結果から前記光源色度候補の中から１つを
選択し光源色度とする光源色度判定部と、前記光源色度
が色度平面上のどの領域に属するかで光源を推定する光
源推定部とからなる構成によって、正しく光源を推定す
ることにより、ビデオカメラなどにおいて正しい色調を
再現することができる。

【０１２４】

【０１２５】

【０１２６】

【０１２７】

【０１２８】

【図面の簡単な説明】

【図１】本発明の第１の実施例における光源推定装置の
構成を示すブロック結線図

【図２】同実施例におけるカラーチャート認識部の構成
を示すブロック結線図

【図３】（ａ） 同実施例における光源色度候補計算部
の構成を示すブロック結線図 （ｂ） 同実施例における屋外光源検出部の構成を示す
ブロック結線図

【図４】本発明の原理を説明するための色空間における
「光源ライン」と「光源ライン」に近い特定領域を示す
概念図

【図５】画像データのサンプリング形式の一例を示す概
念図

【図６】画像データのサンプリング形式の一例を示す概
念図

【図７】本発明の原理を説明するための分散−「回転相
関係数」平面上でのカラーチャート画像と一般画像との
分布の概念図

【図８】本発明の第１の実施例におけるカラーチャート
認識部の動作を示すフローチャート

【図９】本発明の第２の実施例におけるカラーチャート
認識装置の構成を示すブロック結線図

【図１０】同実施例におけるカラーチャート認識装置の
動作を示すフローチャート

【図１１】本発明の第３の実施例における画像データ判
定装置の構成を示すブロック図

【図１２】本発明の第４の実施例における光源推定装置
の構成を示すブロック図

【符号の説明】

１ サンプリング回路 ２ 輝度色度変換部 ３ 分散計算手段 ４ 分散計算手段 ５ 共分散計算手段 ６ 射影手段 ７ 分散計算手段 ８ ２次方程式求解手段 ９ 座標変換手段 １０ 相関係数計算手段 １１ しきい値処理手段 １２ しきい値処理手段 １３ ＡＮＤ回路 １４ カラーチャート認識部 １５ 統計量計算部 １６ 画像分散計算部 １７ 平均計算手段 １８ カラーチャート用光源色度推定部 １９ 輝度色度データ記憶部 ２０ 記憶制御部 ２１ 光源色度候補計算部 ２２ 平均計算手段 ２３ 限定領域データ出力部 ２４ 限定領域データ出力部 ２５ 領域限定平均計算部 ２６ 領域限定平均計算部 ２７ 光源色度候補記憶部 ２８ 限定領域中心計算部 ２９ 支配色存在判定部 ３０ 限定領域データ出力部 ３１ カウンター ３２ 支配色存在判定しきい値処理部 ３３ 特定色判定部 ３４ 光源色度判定部 ３５ 優先色度選択部 ３６ 総合色度判定部 ３７ 推定光源色度選択部 ３８ 光源推定部 ３９ 絞り調整機構制御部 ４０ しきい値処理手段 ４１ しきい値処理手段 ４２ しきい値処理手段 ４３ 高色温度判定部 ４４ ＡＮＤ回路 ４５ カウンター ４６ 検出制御部 ４７ しきい値処理手段 ４８ ＡＮＤ回路 ４９ 光源判定部５０ 一般画像用光源色度推定部 ７１ 射影手段 ７２ 射影手段 ７３ 演算回路 １００ 色度変換部 １０１ カラーチャート認識部 １０２ 統計量計算部 １０３ 画像分散計算部 ２００ 色度データ記憶部 ２０１ 限定領域中心計算部 ２０２ 支配色存在判定部 ２０３ 支配色存在判定しきい値処理部 ２０４ 判定結果処理部 ２０５ 射影手段 ２０６ 分散計算手段 ２０７ しきい値設定部 ２０８ ＧＷＡ判定しきい値処理部 ３０１ 光源色度推定部 ３０２ 優先色度選択部 ３０３ 支配色存在判定部 ３０４ 支配色存在判定しきい値処理部 ３０５ 判定結果処理部 ３０６ しきい値設定部 ３０７ 光源推定部 ３０８ 総合判定部 ３０９ 光源推定結果保持部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−49048（ＪＰ，Ａ) 特開 平５−49049（ＪＰ，Ａ) 特開 平５−111059（ＪＰ，Ａ) 特開 昭63−13489（ＪＰ，Ａ) 特開 平３−16494（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 17/02 H04N 9/73

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 画像信号を適当なサンプリング規則に従
   って変換するサンプリング回路と、前記サンプリングさ
   れたＮ個（Ｎは２以上の整数）の画像信号を色度平面上
   の座標としてＮ個の色度に変換する色度変換部と、前記
   Ｎ個の色度の平均座標を全平均色度として求め、前記Ｎ
   個の色度の内、前記全平均色度の限定領域に存在する色
   度の平均座標を多重平均色度として求め、全平均色度と
   多重平均色度を光源色度候補とする光源色度候補計算部
   と、前記Ｎ個の色度の内前記多重平均色度を中心とした
   限定領域に含まれる色度の総数から、画像中に多く含ま
   れる色を示す支配色が存在するかを判定する支配色存在
   判定部と、前記支配色存在判定部からの判定結果から前
   記光源色度候補の中から１つを選択し光源色度とする光
   源色度判定部と、前記光源色度が色度平面上のどの領域
   に属するかで光源を推定する光源推定部とを備えた光源
   推定装置。
2. 【請求項２】 光源色度候補計算部は、Ｎ個の色度の平
   均座標を全平均色度として計算する平均計算手段と、前
   記Ｎ個の色度の内、前記全平均色度または多重平均色度
   の周辺の限定領域に属する色度を選択して出力する限定
   領域データ出力部と、前記限定領域データ出力部から出
   力された色度の平均座標を多重平均色度として計算する
   領域限定平均計算部と、前記全平均色度と前記多重平均
   色度とを記憶して出力する光源色度候補記憶部とを備
   え、前記多重平均色度の周辺の限定領域に属する色度か
   ら多重平均色度を繰り返し求めることを特徴とする請求
   項１記載の光源推定装置。
3. 【請求項３】 光源色度判定部は、前記支配色存在判定
   部からの判定結果が支配色不在の場合に全平均色度を優
   先色度とし、そうでない場合に多重平均色度を優先色度
   とする優先色度選択部と、前記多重平均色度があらかじ
   め色度平面上に設定した領域に含まれる時は特定色と判
   定し、領域に含まれない時は特定色以外と判定する特定
   色判定部と、前記多重平均色度が優先色度で、かつ、前
   記特定色判定部からの判定結果が特定色ならばその色度
   を光源色度とし、そうでない場合には前記全平均色度を
   光源色度とする総合色度判定部とを備えた請求項２に記
   載の光源推定装置。
4. 【請求項４】 前記光源色度判定部からの優先色度が多
   重平均色度で、かつ特 定色以外と判定されたとき、判定
   不能とする総合判定部と、前記総合判定部からの判定結
   果が判定可能な場合は、前記光源推定部からの光源推定
   結果を保持し、判定不能の場合は内部に保持された光源
   推定結果を出力する光源推定結果保持部とを備えた請求
   項３記載の光源推定装置。
5. 【請求項５】 前記Ｎ個の色度がカラーチャートを撮影
   したカラーチャート画像かどうかを色度平面上の分布か
   ら認識するカラーチャート認識部と、前記Ｎ個の色度の
   平均座標を全平均色度として計算するカラーチャート用
   光源色度推定部と、カラーチャート画像が認識された場
   合には全平均色度を光源色度として、そうでない場合に
   は光源色度判定部からの光源色度を光源推定部に出力す
   る推定光源色度選択部とを備えた請求項１記載の光源推
   定装置。
6. 【請求項６】 カラーチャートの認識は、前記Ｎ個の色
   度の色度分布が主成分軸にどの程度沿っているかを表わ
   す回転相関係数が小さく、かつ、前記Ｎ個の色度の分散
   が大きいことを特徴とする請求項５記載の光源推定装
   置。