JP3052592B2 - 光源推定装置 - Google Patents
光源推定装置Info
- Publication number
- JP3052592B2 JP3052592B2 JP4222432A JP22243292A JP3052592B2 JP 3052592 B2 JP3052592 B2 JP 3052592B2 JP 4222432 A JP4222432 A JP 4222432A JP 22243292 A JP22243292 A JP 22243292A JP 3052592 B2 JP3052592 B2 JP 3052592B2
- Authority
- JP
- Japan
- Prior art keywords
- chromaticity
- light source
- unit
- color
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Of Color Television Signals (AREA)
Description
【0001】
【産業上の利用分野】本発明は、ビデオカメラなどにお
いて正しい色調を再現するためのホワイトバランス調整
装置の制御などを行なう、光源推定装置に関するもので
ある。
いて正しい色調を再現するためのホワイトバランス調整
装置の制御などを行なう、光源推定装置に関するもので
ある。
【0002】
【従来の技術】近年、ビデオカメラの普及にともなっ
て、美しい色を得るために撮影条件に追従する手段がま
すます重要になってきている。特に、撮影時の光源を的
確に推定することは、色再現を正確にするために非常に
重要である。
て、美しい色を得るために撮影条件に追従する手段がま
すます重要になってきている。特に、撮影時の光源を的
確に推定することは、色再現を正確にするために非常に
重要である。
【0003】従来、撮影時の光源を推定するための手段
として、異なるスペクトル特性を持った複数の光感応素
子を用いて推定を行なう手段と、画像処理を通して推定
を行なう手段とが知られている。光源推定装置は、一般
にデザイン・コストなどの制約により、光感応素子を用
いた手段から、画像信号を処理して推定する手段(以
下、AWBと呼ぶ)へと移行してきている。
として、異なるスペクトル特性を持った複数の光感応素
子を用いて推定を行なう手段と、画像処理を通して推定
を行なう手段とが知られている。光源推定装置は、一般
にデザイン・コストなどの制約により、光感応素子を用
いた手段から、画像信号を処理して推定する手段(以
下、AWBと呼ぶ)へと移行してきている。
【0004】画像処理によって光源を推定する手法の根
拠は、画面中の被写体の色を混合平均すると無彩色にな
るという仮定(Gray World Assumpt
ion:GWA)である。画面中に十分多くの色が含ま
れていれば、この仮定が成立するため、画像信号から得
られる色情報を混合平均すれば、それは撮影時の光源の
色を表わすはずである。この仮定に基づいて色調整を行
なう手法としては、特開昭56−36291号公報に記
載されたものが知られている。
拠は、画面中の被写体の色を混合平均すると無彩色にな
るという仮定(Gray World Assumpt
ion:GWA)である。画面中に十分多くの色が含ま
れていれば、この仮定が成立するため、画像信号から得
られる色情報を混合平均すれば、それは撮影時の光源の
色を表わすはずである。この仮定に基づいて色調整を行
なう手法としては、特開昭56−36291号公報に記
載されたものが知られている。
【0005】しかしながら、GWAに基づく従来の手法
では、特定の色が画面の広い範囲を占める場合に光源推
定を誤るという欠点があった。
では、特定の色が画面の広い範囲を占める場合に光源推
定を誤るという欠点があった。
【0006】この欠点を解決するものとして、次のよう
な2つの手法が考えられる。まず第1には、画面の色分
布の分散を計算する分散計算部と、分散計算部からの出
力が設定値より大きいか否かによって閾値処理を行なう
閾値処理部とからなる構成によってGWAの成立不成立
を画像ごとに判定し、光源推定結果の採用不採用を制御
するというものである。
な2つの手法が考えられる。まず第1には、画面の色分
布の分散を計算する分散計算部と、分散計算部からの出
力が設定値より大きいか否かによって閾値処理を行なう
閾値処理部とからなる構成によってGWAの成立不成立
を画像ごとに判定し、光源推定結果の採用不採用を制御
するというものである。
【0007】また第2に、すべての画像に対して光源推
定を実行する必要がある電源投入時をも考慮すると、G
WAに基づく光源推定の代わりに、全ての画像に対して
画面上で支配的な色を取り出すような動作をして光源推
定を行う手法が考えられる。
定を実行する必要がある電源投入時をも考慮すると、G
WAに基づく光源推定の代わりに、全ての画像に対して
画面上で支配的な色を取り出すような動作をして光源推
定を行う手法が考えられる。
【0008】これらの手法を用いると、高彩度の色から
の影響を小さくすることができ、光源推定精度を向上さ
せることができる。
の影響を小さくすることができ、光源推定精度を向上さ
せることができる。
【0009】
【発明が解決しようとする課題】しかしながら、枯草が
広い範囲を占める被写体を屋外で撮影した場合のよう
に、画面上の支配的な色(枯草の色)が屋外の光源の色
でも屋内の光源でもない場合には、電源ON時にしばし
ば光源推定を間違えるという課題があった。また、画面
上にあまり鮮やかではない複数の色が存在する場合など
のように、画像全体の色分布をみると光源推定に適した
画像であるようにみえても、支配的な色が存在しない場
合には、しばしば光源推定を間違えるという課題があっ
た。
広い範囲を占める被写体を屋外で撮影した場合のよう
に、画面上の支配的な色(枯草の色)が屋外の光源の色
でも屋内の光源でもない場合には、電源ON時にしばし
ば光源推定を間違えるという課題があった。また、画面
上にあまり鮮やかではない複数の色が存在する場合など
のように、画像全体の色分布をみると光源推定に適した
画像であるようにみえても、支配的な色が存在しない場
合には、しばしば光源推定を間違えるという課題があっ
た。
【0010】
【0011】
【0012】本発明は上記従来の問題点を解決するもの
で、画面上に支配的な色が存在しない場合や屋外光源で
も屋内光源でもない色の占める面積が大きい場合などに
おいても、光源色度を精度よく推定する光源推定装置を
提供することを目的とする。
で、画面上に支配的な色が存在しない場合や屋外光源で
も屋内光源でもない色の占める面積が大きい場合などに
おいても、光源色度を精度よく推定する光源推定装置を
提供することを目的とする。
【0013】
【0014】
【0015】
【課題を解決するための手段】この目的を達成するため
に、光源推定装置は、画像信号を適当なサンプリング規
則に従って変換するサンプリング回路と、サンプリング
回路でサンプリングされた画像信号を色度信号に変換す
る色度変換部と、色度信号を処理して光源色度の候補を
推定する光源色度候補計算部と、光源色度候補を中心と
した限定領域にある色度信号の数を調べて支配色が存在
するかどうかを判定する支配色存在判定部と、光源色度
候補計算部からの光源色度候補と支配色判定部からの光
源推定制御信号を用いて推定光源色度を判定する光源色
度判定部と、色度平面上を分割し各領域に光源を割り振
り、推定された光源色度がどの領域に属するかで光源を
推定する光源推定部とを備えている。
に、光源推定装置は、画像信号を適当なサンプリング規
則に従って変換するサンプリング回路と、サンプリング
回路でサンプリングされた画像信号を色度信号に変換す
る色度変換部と、色度信号を処理して光源色度の候補を
推定する光源色度候補計算部と、光源色度候補を中心と
した限定領域にある色度信号の数を調べて支配色が存在
するかどうかを判定する支配色存在判定部と、光源色度
候補計算部からの光源色度候補と支配色判定部からの光
源推定制御信号を用いて推定光源色度を判定する光源色
度判定部と、色度平面上を分割し各領域に光源を割り振
り、推定された光源色度がどの領域に属するかで光源を
推定する光源推定部とを備えている。
【0016】
【0017】
【0018】
【0019】
【作用】この構成によって、限定領域の色度信号が多い
場合に、画面上に支配的な色が存在すると判定すること
で、画面上に支配的な色が存在するかどうか判定するこ
とができる。そして、上記判定結果を処理することで光
源推定に適した画像を判定することができる。そして、
画面上に支配的な色が存在しない場合などにおいても光
源推定の誤りを抑制することができる光源推定装置が実
現される。さらに、支配的な色が光源の色であるかどう
か判定し、これが成り立たない場合には別の方法で推定
した光源色度候補を用いて光源を推定することで、屋外
光源でも屋内光源でもない色の占める面積が大きい場合
などにおいても光源推定を有効に行なうことができる光
源推定装置が実現される。
場合に、画面上に支配的な色が存在すると判定すること
で、画面上に支配的な色が存在するかどうか判定するこ
とができる。そして、上記判定結果を処理することで光
源推定に適した画像を判定することができる。そして、
画面上に支配的な色が存在しない場合などにおいても光
源推定の誤りを抑制することができる光源推定装置が実
現される。さらに、支配的な色が光源の色であるかどう
か判定し、これが成り立たない場合には別の方法で推定
した光源色度候補を用いて光源を推定することで、屋外
光源でも屋内光源でもない色の占める面積が大きい場合
などにおいても光源推定を有効に行なうことができる光
源推定装置が実現される。
【0020】
【0021】
【0022】
【0023】
【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。
しながら説明する。
【0024】まず、第1の本発明の原理について述べ
る。従来のAWBは、さきに述べたGWAを前提として
いた。しかしながら、赤い服を着た人のズームアップな
どのシーンなどのように、特定の色、特に彩度の高い色
が画面の広い範囲を占める場合には、画面中の色の平均
はその特定の色に近いものとなり、無彩色とはならな
い。このように、GWAは必ずしもすべてのシーンにつ
いて成立するとは限らない。従って、より色再現のよい
AWBを実現するためには、画像ごとにGWAが成立し
ているかどうかを判定し、GWAの成立しない画像を光
源推定の対象から外すことが必要である。
る。従来のAWBは、さきに述べたGWAを前提として
いた。しかしながら、赤い服を着た人のズームアップな
どのシーンなどのように、特定の色、特に彩度の高い色
が画面の広い範囲を占める場合には、画面中の色の平均
はその特定の色に近いものとなり、無彩色とはならな
い。このように、GWAは必ずしもすべてのシーンにつ
いて成立するとは限らない。従って、より色再現のよい
AWBを実現するためには、画像ごとにGWAが成立し
ているかどうかを判定し、GWAの成立しない画像を光
源推定の対象から外すことが必要である。
【0025】広く一般に用いられている照明光源の多く
は、黒体輻射光に近い色を持つ。このことに基づき、黒
体の温度をパラメータとして、黒体輻射光の色を色度平
面上にプロットした軌跡を「黒体輻射曲線」と呼ぶこと
にする。さらに、実際の機器に搭載する際の簡便性を考
え、色度平面上に「黒体輻射曲線」を一次近似する直線
を設定し、これを「光源ライン」と呼ぶことにする。こ
れらを図4に示す。
は、黒体輻射光に近い色を持つ。このことに基づき、黒
体の温度をパラメータとして、黒体輻射光の色を色度平
面上にプロットした軌跡を「黒体輻射曲線」と呼ぶこと
にする。さらに、実際の機器に搭載する際の簡便性を考
え、色度平面上に「黒体輻射曲線」を一次近似する直線
を設定し、これを「光源ライン」と呼ぶことにする。こ
れらを図4に示す。
【0026】画像の色度データを「光源ライン」に垂直
な方向に射影したものの統計的分散を「垂直分散」と呼
ぶことにする。本発明者は、GWAの成立を判定するた
めのパラメータとして、「垂直分散」を設定した。いっ
ぽう、画像の色度データを「光源ライン」に平行な方向
に射影したものの統計的分散を「平行分散」と呼ぶこと
にする。
な方向に射影したものの統計的分散を「垂直分散」と呼
ぶことにする。本発明者は、GWAの成立を判定するた
めのパラメータとして、「垂直分散」を設定した。いっ
ぽう、画像の色度データを「光源ライン」に平行な方向
に射影したものの統計的分散を「平行分散」と呼ぶこと
にする。
【0027】本発明者は、多数の画像データを収集し、
これらを、GWAが成立せず光源推定を誤りやすい画像
と、GWAが成立し光源推定を正しく行える画像とに分
類して分析を行なった。その結果、前者(GWAが成立
しない画像)は後者に比べて、「垂直分散」が大きいと
いう傾向を持つことが明らかとなった。いっぽう、「平
行分散」について同様の分析を行なった結果、このよう
な傾向はみられなかった。従って、「垂直分散」はGW
Aを判定するパラメータとして有効である。
これらを、GWAが成立せず光源推定を誤りやすい画像
と、GWAが成立し光源推定を正しく行える画像とに分
類して分析を行なった。その結果、前者(GWAが成立
しない画像)は後者に比べて、「垂直分散」が大きいと
いう傾向を持つことが明らかとなった。いっぽう、「平
行分散」について同様の分析を行なった結果、このよう
な傾向はみられなかった。従って、「垂直分散」はGW
Aを判定するパラメータとして有効である。
【0028】そこで、「垂直分散」が大きいときにはG
WAが成立していないと判定して光源推定動作を停止
し、その時点での光源推定結果を保持することで、誤り
を低減した光源推定装置の実現が可能である。
WAが成立していないと判定して光源推定動作を停止
し、その時点での光源推定結果を保持することで、誤り
を低減した光源推定装置の実現が可能である。
【0029】ところが、このような光源推定装置には、
カラーチャート撮影時に光源推定動作を停止するという
問題がある。カラーチャートはビデオカメラの商品テス
トなどで頻繁に用いられるので、カラーチャートに対し
て光源推定が停止することは好ましくない。従って、被
写体がカラーチャートであるかどうかを認識する装置が
必要となる。
カラーチャート撮影時に光源推定動作を停止するという
問題がある。カラーチャートはビデオカメラの商品テス
トなどで頻繁に用いられるので、カラーチャートに対し
て光源推定が停止することは好ましくない。従って、被
写体がカラーチャートであるかどうかを認識する装置が
必要となる。
【0030】カラーチャートを撮影した画像の特徴は、
次の2点にまとめられる。 1。高彩度の色が多く分布していること。 2。すべての色相にわたって、ほぼ彩度の等しい色が、
ほぼ等量ずつ分布していること。
次の2点にまとめられる。 1。高彩度の色が多く分布していること。 2。すべての色相にわたって、ほぼ彩度の等しい色が、
ほぼ等量ずつ分布していること。
【0031】以上2点の特徴のうち、1は「垂直分散」
が大きいことが有効な指標となる。また、2は色度平面
上の色分布が円形に近いことが有効な指標となる。従っ
て、「垂直分散が大きく、色分布が円形に近い」画像を
検出すれば、これはカラーチャートの画像であると判断
でき、カラーチャートを認識する装置が実現できる。
が大きいことが有効な指標となる。また、2は色度平面
上の色分布が円形に近いことが有効な指標となる。従っ
て、「垂直分散が大きく、色分布が円形に近い」画像を
検出すれば、これはカラーチャートの画像であると判断
でき、カラーチャートを認識する装置が実現できる。
【0032】本発明者は、2次元のデータの分布が円形
に近いことを検出するためのパラメータとして、次のよ
うに定義するパラメータRを設定した。
に近いことを検出するためのパラメータとして、次のよ
うに定義するパラメータRを設定した。
【0033】2次元データを(xi,yi)とするとき、 R=C(X,Y) ただし、 C(X,Y):2次元データ(Xi,Yi)の相関係数 (Xi,Yi):(xi,yi)から次のように生成される
2次元データ Xi = A11xi + A12yi Yi = A21xi + A22yi A11、A12、A21、A22:「分布の軸」が45゜方向に
なるように座標軸を回転する2×2行列Aの成分 A11 = A22 = (1+a)/[2(1+a2)]1/2 −A12 = A21 = (1−a)/[2(1+a2)]1/2 a:以下に述べる「分布の軸」の傾き 「分布の軸」:2次元データの各点からの距離の平方和
が最小となる直線 「分布の軸」の傾きaは次の方程式で与えられる。
2次元データ Xi = A11xi + A12yi Yi = A21xi + A22yi A11、A12、A21、A22:「分布の軸」が45゜方向に
なるように座標軸を回転する2×2行列Aの成分 A11 = A22 = (1+a)/[2(1+a2)]1/2 −A12 = A21 = (1−a)/[2(1+a2)]1/2 a:以下に述べる「分布の軸」の傾き 「分布の軸」:2次元データの各点からの距離の平方和
が最小となる直線 「分布の軸」の傾きaは次の方程式で与えられる。
【0034】 Cov(x,y)a2+(V(x)−V(y))a−Cov(x,y)=0 2Cov(x,y)+V(x)−V(y)>0 ただし、 Cov(x,y):2次元データ(xi,yi)の共分散 V(x): 1次元データxiの分散 V(y): 1次元データyiの分散 以上が、パラメータRの定義である。ここで定義された
パラメータRを、以下「回転相関係数」と呼ぶことにす
る。なお、ここで定義されている「分布の軸」は一般に
「主成分軸」として知られているものと同一である。
パラメータRを、以下「回転相関係数」と呼ぶことにす
る。なお、ここで定義されている「分布の軸」は一般に
「主成分軸」として知られているものと同一である。
【0035】「回転相関係数」の計算には、まず2次元
データの「分布の軸」を抽出する。「分布の軸」は上記
の通り「2次元データの各点からの距離の平方和が最小
となる直線」と定義される直線で、これは、与えられた
2次元データがどの方向に「細長く」分布しているかを
表わす。次にこの直線が傾き1(45゜の方向)となる
ように座標軸を回転する。このようにしてできた新しい
座標系で、改めて2次元データの相関係数を計算する。
これが「回転相関係数」である。
データの「分布の軸」を抽出する。「分布の軸」は上記
の通り「2次元データの各点からの距離の平方和が最小
となる直線」と定義される直線で、これは、与えられた
2次元データがどの方向に「細長く」分布しているかを
表わす。次にこの直線が傾き1(45゜の方向)となる
ように座標軸を回転する。このようにしてできた新しい
座標系で、改めて2次元データの相関係数を計算する。
これが「回転相関係数」である。
【0036】「回転相関係数」の絶対値が小さいほど、
2次元データの分布は円形に近いと判断できる。以下、
「回転相関係数」が「偏平度」を表わす理由を説明す
る。
2次元データの分布は円形に近いと判断できる。以下、
「回転相関係数」が「偏平度」を表わす理由を説明す
る。
【0037】相関係数は色度BY、RYの相関の強さを
表わすが、かならずしも「偏平度」を表わさない。例え
ば、BY軸に沿って色度が分布している場合、「偏平
度」は大きいが、BY、RYの相関は低くなるため相関
係数は小さくなる。従って、相関係数は「偏平度」を表
わすパラメータとしては不十分である。
表わすが、かならずしも「偏平度」を表わさない。例え
ば、BY軸に沿って色度が分布している場合、「偏平
度」は大きいが、BY、RYの相関は低くなるため相関
係数は小さくなる。従って、相関係数は「偏平度」を表
わすパラメータとしては不十分である。
【0038】これは、色度座標が2つの量からなる座標
値ではなく、色という本来2次元の量を表わすデータで
あることによる。BYとRYとは、もともと相関が存在
するような関係にはない。従って、2次元データの分布
の形状を取り出す統計量が必要となる。
値ではなく、色という本来2次元の量を表わすデータで
あることによる。BYとRYとは、もともと相関が存在
するような関係にはない。従って、2次元データの分布
の形状を取り出す統計量が必要となる。
【0039】いま、「分布の軸」がうまく定義されれ
ば、2次元データの分布の形状だけを取り出すことが可
能である。相関係数では、分布の形状が同じでも、「分
布の軸」の方向によって相関の強さの評価が変わってし
まうため、形状だけの比較は難しかった。「分布の軸」
を揃えて比較すれば、相関係数でも分布の形状を評価す
ることができる。
ば、2次元データの分布の形状だけを取り出すことが可
能である。相関係数では、分布の形状が同じでも、「分
布の軸」の方向によって相関の強さの評価が変わってし
まうため、形状だけの比較は難しかった。「分布の軸」
を揃えて比較すれば、相関係数でも分布の形状を評価す
ることができる。
【0040】従って、1.「分布の軸」を抽出し、2.
これを45゜方向(BY、RYの相関が最も強くなる方
向)に揃えたうえで、3。改めて相関係数を計算すれ
ば、分布の「偏平度」を評価できるわけである。以上
が、「回転相関係数」が「偏平度」を表わす理由であ
る。
これを45゜方向(BY、RYの相関が最も強くなる方
向)に揃えたうえで、3。改めて相関係数を計算すれ
ば、分布の「偏平度」を評価できるわけである。以上
が、「回転相関係数」が「偏平度」を表わす理由であ
る。
【0041】本発明者は、「垂直分散」が大きい多数の
画像について「回転相関係数」を調べ、カラーチャート
を撮影した画像では、日常の風物を撮影した画像よりも
「回転相関係数」の絶対値が著しく小さいという結果を
得た。従って、色度データの「垂直分散」と「回転相関
係数」とを総合的に判断すれば、きわめて高い精度でカ
ラーチャートを認識することができる。しかも、日常の
風物の画像とカラーチャートの画像とでは、図7に示す
ように「回転相関係数」の分布する範囲に著しい差があ
るため、カラーチャートを認識するための「回転相関係
数」のしきい値の設定が非常に簡便にできる。
画像について「回転相関係数」を調べ、カラーチャート
を撮影した画像では、日常の風物を撮影した画像よりも
「回転相関係数」の絶対値が著しく小さいという結果を
得た。従って、色度データの「垂直分散」と「回転相関
係数」とを総合的に判断すれば、きわめて高い精度でカ
ラーチャートを認識することができる。しかも、日常の
風物の画像とカラーチャートの画像とでは、図7に示す
ように「回転相関係数」の分布する範囲に著しい差があ
るため、カラーチャートを認識するための「回転相関係
数」のしきい値の設定が非常に簡便にできる。
【0042】なお、「回転相関係数」の絶対値を用いな
くても同様の処理は可能であるが、絶対値を用いた方が
処理は簡単である。以下、説明を簡単にするために、
「回転相関係数」の絶対値を単に「回転相関係数」と呼
んで説明を行なう。また、「回転相関係数」ではなく、
色度座標BY、RYの単なる相関係数を用いてもカラー
チャートの認識は可能であるが、本発明者の分析によれ
ば、その認識精度は「回転相関係数」を用いる方法より
も低くなることがわかっている。
くても同様の処理は可能であるが、絶対値を用いた方が
処理は簡単である。以下、説明を簡単にするために、
「回転相関係数」の絶対値を単に「回転相関係数」と呼
んで説明を行なう。また、「回転相関係数」ではなく、
色度座標BY、RYの単なる相関係数を用いてもカラー
チャートの認識は可能であるが、本発明者の分析によれ
ば、その認識精度は「回転相関係数」を用いる方法より
も低くなることがわかっている。
【0043】また、「分布の軸」の傾きを計算する際
に、上記のように厳密な方程式を立てて解を求めずに、
例えば a=V(y)/V(x)×(適当な符号) のように、およその値を求めて代用することもできる。
以上が第1の本発明の原理である。
に、上記のように厳密な方程式を立てて解を求めずに、
例えば a=V(y)/V(x)×(適当な符号) のように、およその値を求めて代用することもできる。
以上が第1の本発明の原理である。
【0044】次に、第2の本発明の原理について述べ
る。本発明の光源色度推定部の動作の考え方は、GWA
に基づく光源推定に悪影響を及ぼす高彩度の色を除外す
ることにより、光源色度推定精度を向上させることにあ
る。高彩度の色を除外して光源を推定するためには、色
度平面上で被写体の無彩色の周囲にある色だけから光源
を推定すればよい。問題は、被写体の無彩色の位置が定
められないことにある。
る。本発明の光源色度推定部の動作の考え方は、GWA
に基づく光源推定に悪影響を及ぼす高彩度の色を除外す
ることにより、光源色度推定精度を向上させることにあ
る。高彩度の色を除外して光源を推定するためには、色
度平面上で被写体の無彩色の周囲にある色だけから光源
を推定すればよい。問題は、被写体の無彩色の位置が定
められないことにある。
【0045】本発明者のデータ分析によれば、GWAが
壊れるような画像であっても、ほとんどの場合、主たる
色は無彩色である。したがって、全平均は高彩度色より
も無彩色に近い色度平面上の位置をとる。それゆえ、全
平均のまわりの限定された領域においてのみ、データの
平均をとるとその平均(2重平均)は、高彩度色の影響
が小さくなり、より無彩色へと近づく。さらに、2重平
均のまわりの限定された領域で平均(3重平均)をとる
と、その効果はさらに大きくなる。こうした手続きを繰
り返すことにより、多重平均はほとんど無彩色のみの平
均となり、光源色度推定精度が向上する。
壊れるような画像であっても、ほとんどの場合、主たる
色は無彩色である。したがって、全平均は高彩度色より
も無彩色に近い色度平面上の位置をとる。それゆえ、全
平均のまわりの限定された領域においてのみ、データの
平均をとるとその平均(2重平均)は、高彩度色の影響
が小さくなり、より無彩色へと近づく。さらに、2重平
均のまわりの限定された領域で平均(3重平均)をとる
と、その効果はさらに大きくなる。こうした手続きを繰
り返すことにより、多重平均はほとんど無彩色のみの平
均となり、光源色度推定精度が向上する。
【0046】多重平均値を分析した結果によれば、多重
平均値は、画面上で支配的な色の色度に近くなる。した
がって、無彩色が多い画面では、多重平均値はほとんど
無彩色のみの平均となるし、枯草の色が多い画面では、
多重平均値はほとんど枯草の色のみの平均となる。一
方、画面上に支配的な色が存在しない場合には、多重平
均値は画像の全平均色度のまわりにある色のなかで多く
存在するものの近くになり、どのような色の近くになる
かは一概にはいえない。支配的な色が存在しない画像の
例としては、背景が枯草で、赤い服を着た人をズームア
ップして服の色が画面の半分を占めたような画像が考え
られる。このとき、画像の色分布は枯草の色と服の赤い
色が分布したものになり、支配的な唯一の色は存在しな
い。したがって、支配的な色度に近い値になる特性をも
つ多重平均値は、どこになるかわからない。
平均値は、画面上で支配的な色の色度に近くなる。した
がって、無彩色が多い画面では、多重平均値はほとんど
無彩色のみの平均となるし、枯草の色が多い画面では、
多重平均値はほとんど枯草の色のみの平均となる。一
方、画面上に支配的な色が存在しない場合には、多重平
均値は画像の全平均色度のまわりにある色のなかで多く
存在するものの近くになり、どのような色の近くになる
かは一概にはいえない。支配的な色が存在しない画像の
例としては、背景が枯草で、赤い服を着た人をズームア
ップして服の色が画面の半分を占めたような画像が考え
られる。このとき、画像の色分布は枯草の色と服の赤い
色が分布したものになり、支配的な唯一の色は存在しな
い。したがって、支配的な色度に近い値になる特性をも
つ多重平均値は、どこになるかわからない。
【0047】これらのことから、多重平均値は、画面上
に支配的な色が存在するときに有効であるといえる。し
たがって、画面上に支配的な色が存在する場合に多重平
均値を用いて光源色度の推定を実行し、そうでない場合
にはGWAに基づいて画像データの全平均を用いて光源
色度の推定を実行することで、光源色度推定精度が向上
する。
に支配的な色が存在するときに有効であるといえる。し
たがって、画面上に支配的な色が存在する場合に多重平
均値を用いて光源色度の推定を実行し、そうでない場合
にはGWAに基づいて画像データの全平均を用いて光源
色度の推定を実行することで、光源色度推定精度が向上
する。
【0048】多重平均値による光源色度推定が有効な画
像の例としては、ビルのように無彩色に近い色の背景が
あって、木の緑が小さな面積を占めるようなものがあげ
られる。この場合、画像データの全平均の色度は、無彩
色に比べて低色温度側になり、多重平均値は無彩色に近
くなる。そして、無彩色は光源の色を反映するので、多
重平均値を用いれば正しい光源推定ができるが、全平均
を用いると誤った光源推定をすることになる。
像の例としては、ビルのように無彩色に近い色の背景が
あって、木の緑が小さな面積を占めるようなものがあげ
られる。この場合、画像データの全平均の色度は、無彩
色に比べて低色温度側になり、多重平均値は無彩色に近
くなる。そして、無彩色は光源の色を反映するので、多
重平均値を用いれば正しい光源推定ができるが、全平均
を用いると誤った光源推定をすることになる。
【0049】第1の本発明の原理のところで、「垂直分
散が大きいときにはGWAが成立していないと判定して
光源推定動作を停止し、その時点での光源推定結果を保
持することで、誤りを低減した光源推定装置の実現が可
能である」ことを述べた。そのときには、画像と垂直分
散の関係については述べなかった。そこで、彩度の高い
服を着た人のバストショットのような被写体を例にとっ
て、画像と垂直分散の関係を分析しながら、この装置の
有効性について述べる。このような被写体では、画面か
らサンプリングした色のいくつかの彩度が比較的高くな
り、サンプリングデータの色度平面上での広がりが大き
くなって、垂直分散が大きくなる。したがって、上記装
置の内部では、被写体がGWA適用限界の外にあると判
定する。一方、上記被写体に対してGWAに基づく光源
推定を実行すると、画面全体の平均の色が服などの色に
強く引かれた色になるために、光源推定を誤りやすい。
以上のことから、上記装置が有効であることを確認でき
る。
散が大きいときにはGWAが成立していないと判定して
光源推定動作を停止し、その時点での光源推定結果を保
持することで、誤りを低減した光源推定装置の実現が可
能である」ことを述べた。そのときには、画像と垂直分
散の関係については述べなかった。そこで、彩度の高い
服を着た人のバストショットのような被写体を例にとっ
て、画像と垂直分散の関係を分析しながら、この装置の
有効性について述べる。このような被写体では、画面か
らサンプリングした色のいくつかの彩度が比較的高くな
り、サンプリングデータの色度平面上での広がりが大き
くなって、垂直分散が大きくなる。したがって、上記装
置の内部では、被写体がGWA適用限界の外にあると判
定する。一方、上記被写体に対してGWAに基づく光源
推定を実行すると、画面全体の平均の色が服などの色に
強く引かれた色になるために、光源推定を誤りやすい。
以上のことから、上記装置が有効であることを確認でき
る。
【0050】さらに、多重平均値とGWA適用限界の関
係について考える。多重平均値の特徴は、画像データの
全平均が無彩色の近いときに高彩度の色を除外すること
にあった。したがって、高彩度の色が画面上にあってG
WAが成り立たない場合にも、支配的な色が無彩色なら
ば、全平均が無彩色に近くなるので、多重平均値を用い
て光源推定を実行できる。このことから、画像がGWA
適用限界の外にあっても、多重平均値を用いて光源が推
定できる場合があるといえる。そのため、多重平均値を
用いれば、支配的な色が存在する画像に対してGWA判
定の条件を緩めることができる。したがって、支配的な
色が存在すると判定された画像に対して、GWA適用限
界内にあるかどうかの判定を行うための垂直分散のしき
い値を大きくすることで、画像データ判定精度を向上さ
せることができる。さらに、支配的な色が存在する画像
に対して多重平均値を用いて光源を推定することで、光
源推定精度を向上させることができる。
係について考える。多重平均値の特徴は、画像データの
全平均が無彩色の近いときに高彩度の色を除外すること
にあった。したがって、高彩度の色が画面上にあってG
WAが成り立たない場合にも、支配的な色が無彩色なら
ば、全平均が無彩色に近くなるので、多重平均値を用い
て光源推定を実行できる。このことから、画像がGWA
適用限界の外にあっても、多重平均値を用いて光源が推
定できる場合があるといえる。そのため、多重平均値を
用いれば、支配的な色が存在する画像に対してGWA判
定の条件を緩めることができる。したがって、支配的な
色が存在すると判定された画像に対して、GWA適用限
界内にあるかどうかの判定を行うための垂直分散のしき
い値を大きくすることで、画像データ判定精度を向上さ
せることができる。さらに、支配的な色が存在する画像
に対して多重平均値を用いて光源を推定することで、光
源推定精度を向上させることができる。
【0051】一方、データ分析によれば、支配的な無彩
色が存在しない画像は、支配的な無彩色が存在する画像
に比べてGWA適用限界の範囲が小さい。そのため、支
配的な色が存在する画像と支配的な色が存在しない画像
とを同一のしきい値を用いてGWA適用限界内にあるか
どうか判定すると、支配的な色が存在しない画像に対し
て判定誤りを生じる場合がある。この問題は、支配的な
色が存在する画像とそうでない画像を区別して、支配的
な色が存在する画像に対してはGWA適用限界を広げ、
そうでない画像に対してはGWA適用限界を狭くするこ
とで解決できる。
色が存在しない画像は、支配的な無彩色が存在する画像
に比べてGWA適用限界の範囲が小さい。そのため、支
配的な色が存在する画像と支配的な色が存在しない画像
とを同一のしきい値を用いてGWA適用限界内にあるか
どうか判定すると、支配的な色が存在しない画像に対し
て判定誤りを生じる場合がある。この問題は、支配的な
色が存在する画像とそうでない画像を区別して、支配的
な色が存在する画像に対してはGWA適用限界を広げ、
そうでない画像に対してはGWA適用限界を狭くするこ
とで解決できる。
【0052】なお、以上の説明から、画像がGWA適用
限界の外にあっても、画像データの全平均が無彩色の近
くにあるときに、多重平均値を用いた光源推定方法が有
効な場合があることが明らかになった。したがって、多
重平均値を用いた光源推定方法が有効であるための必要
条件として、画像データの全平均が無彩色に近いという
ことがあるといえる。これは、GWAがほぼ成り立つこ
とであり、拡張GWAと呼んだ方が適当であるが、以下
では説明を簡単にするために、これを単にGWAと呼ぶ
ことにする。このとき、全平均値や多重平均値を用いた
光源推定を前提に考えると、GWA適用限界内にある画
像が光源推定に適した画像であるといえる。
限界の外にあっても、画像データの全平均が無彩色の近
くにあるときに、多重平均値を用いた光源推定方法が有
効な場合があることが明らかになった。したがって、多
重平均値を用いた光源推定方法が有効であるための必要
条件として、画像データの全平均が無彩色に近いという
ことがあるといえる。これは、GWAがほぼ成り立つこ
とであり、拡張GWAと呼んだ方が適当であるが、以下
では説明を簡単にするために、これを単にGWAと呼ぶ
ことにする。このとき、全平均値や多重平均値を用いた
光源推定を前提に考えると、GWA適用限界内にある画
像が光源推定に適した画像であるといえる。
【0053】ここで、画面上に支配的な色が存在するか
どうかの判定方法について考える。画面上に2つ以上の
大きな面積をしめる色が存在する場合には、支配的な色
が存在するとはいえない。このような場合には、色度平
面上で全平均色度やその付近の色度のまわりにある画像
データは少なくなる。一方、画面上に大きな面積を占め
る色が1つしか存在しない場合には、色度平面上で全平
均色度やその付近の色度のまわりにある画像データは多
くなる。したがって、画面上に支配的な色が存在するか
どうかは、色度平面上で、全平均色度やその付近を基準
色度とし、基準色度のまわりにある画像データの数を調
べることで判定できる。
どうかの判定方法について考える。画面上に2つ以上の
大きな面積をしめる色が存在する場合には、支配的な色
が存在するとはいえない。このような場合には、色度平
面上で全平均色度やその付近の色度のまわりにある画像
データは少なくなる。一方、画面上に大きな面積を占め
る色が1つしか存在しない場合には、色度平面上で全平
均色度やその付近の色度のまわりにある画像データは多
くなる。したがって、画面上に支配的な色が存在するか
どうかは、色度平面上で、全平均色度やその付近を基準
色度とし、基準色度のまわりにある画像データの数を調
べることで判定できる。
【0054】なお、多重平均色度のまわりにある画像デ
ータ数が十分少ない場合には、画面からサンプリングし
た画像データが色度平面上で広がっていることを表すの
で、GWA適用限界の外にあると判定することができ
る。多重平均色度は、画面上で支配的な色の近くになる
性質があるので、多重平均色度のまわりにある画像デー
タ数が少ない場合には支配的な色が存在しないといえ
る。このことから、支配的な色が存在する画像がGWA
適用限界内にあり、そうでない画像はGWA適用限界の
外にあると考えられる。したがって、支配的な色が存在
する画像を調べ、その条件を満たす画像がGWA適用限
界内にあると判定することができ、さらに、光源推定に
適した画像であると判定することができる。
ータ数が十分少ない場合には、画面からサンプリングし
た画像データが色度平面上で広がっていることを表すの
で、GWA適用限界の外にあると判定することができ
る。多重平均色度は、画面上で支配的な色の近くになる
性質があるので、多重平均色度のまわりにある画像デー
タ数が少ない場合には支配的な色が存在しないといえ
る。このことから、支配的な色が存在する画像がGWA
適用限界内にあり、そうでない画像はGWA適用限界の
外にあると考えられる。したがって、支配的な色が存在
する画像を調べ、その条件を満たす画像がGWA適用限
界内にあると判定することができ、さらに、光源推定に
適した画像であると判定することができる。
【0055】ところで、支配色が無彩色ではない場合に
は、支配色に近くなる多重平均値は光源の色度を表さな
い。電源ON時でなければ、支配色が無彩色ではない可
能性が大きい場合には光源推定結果を保持すればよい。
しかし、電源ON時には、必ず光源推定をしなければな
らない。そこで、支配色が無彩色ではない場合に、サン
プリングされた画像データの分布の重心を表す全平均を
用いると光源を正しく推定することができることがあ
る。この例としては、屋外で、空と大きい面積を占める
枯草とを同時に撮影したシーンがある。このとき、全平
均色度は枯草と空の色度の中間になるが、多重平均値は
枯草の色に近くなって低色温度側によってしまう。そし
て、多重平均値を用いると光源推定を誤ってしまうが、
全平均色度を用いると正しい光源推定ができる。
は、支配色に近くなる多重平均値は光源の色度を表さな
い。電源ON時でなければ、支配色が無彩色ではない可
能性が大きい場合には光源推定結果を保持すればよい。
しかし、電源ON時には、必ず光源推定をしなければな
らない。そこで、支配色が無彩色ではない場合に、サン
プリングされた画像データの分布の重心を表す全平均を
用いると光源を正しく推定することができることがあ
る。この例としては、屋外で、空と大きい面積を占める
枯草とを同時に撮影したシーンがある。このとき、全平
均色度は枯草と空の色度の中間になるが、多重平均値は
枯草の色に近くなって低色温度側によってしまう。そし
て、多重平均値を用いると光源推定を誤ってしまうが、
全平均色度を用いると正しい光源推定ができる。
【0056】なお、多重平均色度が無彩色であるかどう
か判定する方法としては、図4に示した光源ラインの近
くに特定領域を設定し、その特定領域に入るかどうかに
よって判定する方法が考えられる。以上が第2の本発明
の原理である。
か判定する方法としては、図4に示した光源ラインの近
くに特定領域を設定し、その特定領域に入るかどうかに
よって判定する方法が考えられる。以上が第2の本発明
の原理である。
【0057】さらに、第3の本発明の原理について述べ
る。屋外光源下の白色板の色温度は高い。一方、蛍光灯
下の白色板の色温度は低い。本発明者の分析によれば、
屋外撮影時に画面中に空が入ると、空の色は高色温度
で、輝度が高いことが明らかになっている。しかし、高
色温度で輝度が高い色を含む画像が、必ずしも屋外で撮
影されているとは限らない。これは、蛍光灯下で撮影し
た明るい青色のものも、高色温度で輝度が高くなるから
である。
る。屋外光源下の白色板の色温度は高い。一方、蛍光灯
下の白色板の色温度は低い。本発明者の分析によれば、
屋外撮影時に画面中に空が入ると、空の色は高色温度
で、輝度が高いことが明らかになっている。しかし、高
色温度で輝度が高い色を含む画像が、必ずしも屋外で撮
影されているとは限らない。これは、蛍光灯下で撮影し
た明るい青色のものも、高色温度で輝度が高くなるから
である。
【0058】ところで、蛍光灯下で撮影した青色も屋外
で撮影した空も高輝度となるが、両者の絶対的な明るさ
は異なる。絶対的な明るさが違うのに、両者とも輝度が
高くなる理由は、撮影時の絞り調整の状態が異なること
にある。一般に、光源を直接映さない限り、蛍光灯下で
は、絞り状態を表すF値が一定値以上にはならない。ま
た、蛍光灯を直接映した場合には、F値は大きくなる
が、高輝度部分は低色温度の色となる。したがって、F
値が一定値以上で、高輝度かつ高色温度の色が含まれて
いれば、そのときの撮影環境は屋外であると判定でき
る。なお、本発明者の分析によれば、屋外で撮影した画
像中で高輝度かつ高色温度となる色は、空の色だけでは
なく、白い洋服の色などもある。
で撮影した空も高輝度となるが、両者の絶対的な明るさ
は異なる。絶対的な明るさが違うのに、両者とも輝度が
高くなる理由は、撮影時の絞り調整の状態が異なること
にある。一般に、光源を直接映さない限り、蛍光灯下で
は、絞り状態を表すF値が一定値以上にはならない。ま
た、蛍光灯を直接映した場合には、F値は大きくなる
が、高輝度部分は低色温度の色となる。したがって、F
値が一定値以上で、高輝度かつ高色温度の色が含まれて
いれば、そのときの撮影環境は屋外であると判定でき
る。なお、本発明者の分析によれば、屋外で撮影した画
像中で高輝度かつ高色温度となる色は、空の色だけでは
なく、白い洋服の色などもある。
【0059】以上のことから、高輝度かつ高色温度の色
を含み、F値が大きい状態は、屋外で空などを撮影した
ときにのみ特徴的に現れるといえる。本発明の屋外光源
検出部は、このような画像を検出する部分である。検出
には、絞り調整機構制御部からの制御信号をしきい値処
理した信号と、画像データから得られる輝度データと色
度データとを用いる。以上が第3の本発明の原理であ
る。
を含み、F値が大きい状態は、屋外で空などを撮影した
ときにのみ特徴的に現れるといえる。本発明の屋外光源
検出部は、このような画像を検出する部分である。検出
には、絞り調整機構制御部からの制御信号をしきい値処
理した信号と、画像データから得られる輝度データと色
度データとを用いる。以上が第3の本発明の原理であ
る。
【0060】(実施例1)次に、本発明の第一の実施例
の構成について、図面を参照しながら説明する。図1
は、本発明の光源推定装置の構成を示すブロック結線図
である。
の構成について、図面を参照しながら説明する。図1
は、本発明の光源推定装置の構成を示すブロック結線図
である。
【0061】図1において、1はCCD等からの画像信
号ISを適当なサンプリング規則に従って変換するサン
プリング回路であり、2はサンプリング回路1からサン
プリングされた画像信号ISを輝度信号と2つの色度信
号に変換する輝度色度変換部であり、14は被写体がカ
ラーチャートであるかどうか判定するカラーチャート認
識部である。カラーチャート認識部の詳細を示した図2
において、3は一方の色度信号の分散を計算する分散計
算手段であり、4は他方の色度信号の分散を計算する分
散計算手段であり、5は2つの色度信号の共分散を計算
する共分散計算手段であり、6は原理の説明で述べた光
源ラインに垂直な方向に色度信号を射影してその成分の
大きさ(すなわち光源ラインからの垂直方向変位)に変
換する射影手段であり、7は射影手段6から垂直方向変
位を受けてその分散を計算する分散計算手段であり、8
は分散計算手段3と分散計算手段4と共分散計算手段5
とのそれぞれの出力を受けてそれらの値から構成される
係数を持つ2次方程式を解いて適当な解を出力する2次
方程式求解手段であり、9は色度変換部2で計算された
色度座標値に対して2次方程式求解手段8の出力に応じ
た適当な座標変換を施す座標変換手段であり、10は座
標変換手段9の出力からその相関係数を計算する相関係
数計算手段であり、11と12とは内部に蓄えられたし
きい値と入力信号とを比較して判定信号を出力するしき
い値処理手段であり、13は通常のAND回路であり、
14はカラーチャート認識部であり、15は統計量計算
部であり、16は画像分散計算部である。
号ISを適当なサンプリング規則に従って変換するサン
プリング回路であり、2はサンプリング回路1からサン
プリングされた画像信号ISを輝度信号と2つの色度信
号に変換する輝度色度変換部であり、14は被写体がカ
ラーチャートであるかどうか判定するカラーチャート認
識部である。カラーチャート認識部の詳細を示した図2
において、3は一方の色度信号の分散を計算する分散計
算手段であり、4は他方の色度信号の分散を計算する分
散計算手段であり、5は2つの色度信号の共分散を計算
する共分散計算手段であり、6は原理の説明で述べた光
源ラインに垂直な方向に色度信号を射影してその成分の
大きさ(すなわち光源ラインからの垂直方向変位)に変
換する射影手段であり、7は射影手段6から垂直方向変
位を受けてその分散を計算する分散計算手段であり、8
は分散計算手段3と分散計算手段4と共分散計算手段5
とのそれぞれの出力を受けてそれらの値から構成される
係数を持つ2次方程式を解いて適当な解を出力する2次
方程式求解手段であり、9は色度変換部2で計算された
色度座標値に対して2次方程式求解手段8の出力に応じ
た適当な座標変換を施す座標変換手段であり、10は座
標変換手段9の出力からその相関係数を計算する相関係
数計算手段であり、11と12とは内部に蓄えられたし
きい値と入力信号とを比較して判定信号を出力するしき
い値処理手段であり、13は通常のAND回路であり、
14はカラーチャート認識部であり、15は統計量計算
部であり、16は画像分散計算部である。
【0062】図1において、17は輝度色度変換部2か
らの色度座標値を受けてその平均値を計算する平均計算
手段であり、18は平均計算手段17からなるカラーチ
ャート用光源色度推定部である。19は輝度色度変換部
2で変換された輝度信号と色度信号をそれぞれ輝度デー
タ、色度データとして記憶する輝度色度データ記憶部、
20は画像判定が終了するまで輝度色度データ記憶部へ
の記憶を禁止する記憶制御部である。50は一般画像用
光源色度推定部で次のものから構成されており、21は
光源色度の候補を推定する光源色度候補計算部であり、
光源色度候補計算部の詳細を示した図3(a)におい
て、22は色度データの全平均を計算する平均計算手段
であり、23、24は、入力された基準色度と輝度色度
データ記憶部から読みだされた色度データとから基準色
度のまわりの限定された領域に属するデータを選択して
出力する限定領域データ出力部であり、25、26は、
限定領域データ出力部から出力された限定領域データの
平均を計算する領域限定平均計算部であり、27は、平
均計算手段からの全平均色度と領域限定平均計算部から
の多重平均色度とを記憶する光源色度候補記憶部であ
る。
らの色度座標値を受けてその平均値を計算する平均計算
手段であり、18は平均計算手段17からなるカラーチ
ャート用光源色度推定部である。19は輝度色度変換部
2で変換された輝度信号と色度信号をそれぞれ輝度デー
タ、色度データとして記憶する輝度色度データ記憶部、
20は画像判定が終了するまで輝度色度データ記憶部へ
の記憶を禁止する記憶制御部である。50は一般画像用
光源色度推定部で次のものから構成されており、21は
光源色度の候補を推定する光源色度候補計算部であり、
光源色度候補計算部の詳細を示した図3(a)におい
て、22は色度データの全平均を計算する平均計算手段
であり、23、24は、入力された基準色度と輝度色度
データ記憶部から読みだされた色度データとから基準色
度のまわりの限定された領域に属するデータを選択して
出力する限定領域データ出力部であり、25、26は、
限定領域データ出力部から出力された限定領域データの
平均を計算する領域限定平均計算部であり、27は、平
均計算手段からの全平均色度と領域限定平均計算部から
の多重平均色度とを記憶する光源色度候補記憶部であ
る。
【0063】図1において、28は光源色度候補計算部
からの多重平均色度を受けて記憶する限定領域中心計算
部である。29は限定領域にある色度データの数を調べ
て支配色が存在するかどうかを判定する支配色存在判定
部であり、入力された基準色度と色度データ記憶部から
読みだされた色度データとから基準色度のまわりの限定
された領域に属するデータを選択して出力する限定領域
データ出力部30と、限定領域データ出力部から出力さ
れるデータの数をカウントするカウンター31と、カウ
ンターからの出力が設定値よりも大きい場合に支配色存
在とし、その他の場合には支配色不在とする支配色存在
判定しきい値処理部32とを備えている。33は光源色
度候補が光源ラインに近いかどうかを判定する特定色判
定部である。34は光源色度候補から光源色度を推定す
る光源色度判定部であり、支配色存在判定しきい値処理
部32からの光源推定制御信号が支配色不在の場合に全
平均色度を優先色度とし、そうでない場合に多重平均色
度を優先色度とする優先色度選択部35と、多重平均色
度が優先色度で光源ラインに近いならばその色度を推定
光源色度とし、そうでない場合には全平均色度を推定光
源色度とする総合色度判定部36とを備えている。
からの多重平均色度を受けて記憶する限定領域中心計算
部である。29は限定領域にある色度データの数を調べ
て支配色が存在するかどうかを判定する支配色存在判定
部であり、入力された基準色度と色度データ記憶部から
読みだされた色度データとから基準色度のまわりの限定
された領域に属するデータを選択して出力する限定領域
データ出力部30と、限定領域データ出力部から出力さ
れるデータの数をカウントするカウンター31と、カウ
ンターからの出力が設定値よりも大きい場合に支配色存
在とし、その他の場合には支配色不在とする支配色存在
判定しきい値処理部32とを備えている。33は光源色
度候補が光源ラインに近いかどうかを判定する特定色判
定部である。34は光源色度候補から光源色度を推定す
る光源色度判定部であり、支配色存在判定しきい値処理
部32からの光源推定制御信号が支配色不在の場合に全
平均色度を優先色度とし、そうでない場合に多重平均色
度を優先色度とする優先色度選択部35と、多重平均色
度が優先色度で光源ラインに近いならばその色度を推定
光源色度とし、そうでない場合には全平均色度を推定光
源色度とする総合色度判定部36とを備えている。
【0064】37はカラーチャート認識部14からのカ
ラーチャート認識信号とカラーチャート用光源色度推定
部18からのカラーチャート用推定光源色度信号と総合
色度判定部36からの一般画像用推定光源色度信号とを
受けて、撮影された画像がカラーチャート画像であるか
それ以外の一般画像であるかによって推定光源色度を選
択する推定光源色度選択部である。38は、推定光源色
度選択部37からの推定光源色度を受け、色度平面上を
適切に分割し各領域に光源を割り振り、推定光源色度が
どの領域に属するかで光源を推定する光源推定部であ
る。39は、絞り調整機構を制御する絞り調整機構制御
部である。40は、屋外で空などを撮影したときに特徴
的に現れる現象が起きているかどうか判定する屋外光源
検出部である。屋外光源検出部40の詳細を示した図3
(b)において、41は、絞り調整機構制御部からの制
御信号と内部に保持するしきい値とを比較して判定信号
を出力するしきい値処理手段であり、42は輝度色度デ
ータ記憶部19から輝度データを読みだして内部に保持
するしきい値と比較して判定信号を出力するしきい値処
理手段であり、43は輝度色度データ記憶部19から色
度データを読みだして、その色度データが内部に保持す
る高色温度領域に属するかどうか判定する高色温度色判
定部であり、44はAND回路であり、45はAND回
路44からの出力が0から1に反転した回数を数えるカ
ウンターであり、46は、高色温度色判定部43から出
力される判定信号を数えて、すべての色度データに対す
る判定が終わったら制御信号を出力する検出制御部であ
り、47は、検出制御部46からの制御信号を受けて、
カウンター45からカウントされた数を読みだし、その
値と内部に保持するしきい値とを比較して判定信号を出
力するしきい値処理手段であり、48は、しきい値処理
手段41、47からの判定信号を受けて、被写体に屋外
光源が照射されているかあるかどうかの総合的な判定結
果を出力するAND回路である。
ラーチャート認識信号とカラーチャート用光源色度推定
部18からのカラーチャート用推定光源色度信号と総合
色度判定部36からの一般画像用推定光源色度信号とを
受けて、撮影された画像がカラーチャート画像であるか
それ以外の一般画像であるかによって推定光源色度を選
択する推定光源色度選択部である。38は、推定光源色
度選択部37からの推定光源色度を受け、色度平面上を
適切に分割し各領域に光源を割り振り、推定光源色度が
どの領域に属するかで光源を推定する光源推定部であ
る。39は、絞り調整機構を制御する絞り調整機構制御
部である。40は、屋外で空などを撮影したときに特徴
的に現れる現象が起きているかどうか判定する屋外光源
検出部である。屋外光源検出部40の詳細を示した図3
(b)において、41は、絞り調整機構制御部からの制
御信号と内部に保持するしきい値とを比較して判定信号
を出力するしきい値処理手段であり、42は輝度色度デ
ータ記憶部19から輝度データを読みだして内部に保持
するしきい値と比較して判定信号を出力するしきい値処
理手段であり、43は輝度色度データ記憶部19から色
度データを読みだして、その色度データが内部に保持す
る高色温度領域に属するかどうか判定する高色温度色判
定部であり、44はAND回路であり、45はAND回
路44からの出力が0から1に反転した回数を数えるカ
ウンターであり、46は、高色温度色判定部43から出
力される判定信号を数えて、すべての色度データに対す
る判定が終わったら制御信号を出力する検出制御部であ
り、47は、検出制御部46からの制御信号を受けて、
カウンター45からカウントされた数を読みだし、その
値と内部に保持するしきい値とを比較して判定信号を出
力するしきい値処理手段であり、48は、しきい値処理
手段41、47からの判定信号を受けて、被写体に屋外
光源が照射されているかあるかどうかの総合的な判定結
果を出力するAND回路である。
【0065】図1において、49は、屋外光源検出部4
0からの光源判定制御信号と光源推定部38からの推定
光源とを受けて、光源を総合的に判定する光源判定部で
ある。
0からの光源判定制御信号と光源推定部38からの推定
光源とを受けて、光源を総合的に判定する光源判定部で
ある。
【0066】以上のように構成された光源推定装置の動
作について説明する。なお、入力される画像信号ISに
ついては、(Y,R−Y,B−Y)として説明するが、
これは本発明を拘束するものではない。このことは、以
下の実施例でも同様のことなので、繰り返さない。
作について説明する。なお、入力される画像信号ISに
ついては、(Y,R−Y,B−Y)として説明するが、
これは本発明を拘束するものではない。このことは、以
下の実施例でも同様のことなので、繰り返さない。
【0067】まず、CCD等からの画像信号ISは、サ
ンプリング回路1に入り、適当なサンプリング規則に従
って変換される。その一例としては、図5に示したよう
に画面をn×m個のブロックに分割し、図6に示したよ
うに各ブロックから複数(k個)のデータ点を取り出し
て平均しブロック平均 <IS>i=Σ(Yj, R−Yj, B−Yj)/k ただし i = 1,2,...,N N = n×m kは各ブロック内でサンプリングされるデータ数 を求めるという方法が考えられる。輝度色度変換部2
は、サンプリング回路1でサンプリングされた画像信号
<IS>i=(YYi,RYYi,BYYi)を受け
て、これを色度信号 CSi = (BYi,RYi) ただし BYi = BYYi / YYi RYi = RYYi / YYi に変換する。また、本実施例では、YYiが輝度信号と
なる。
ンプリング回路1に入り、適当なサンプリング規則に従
って変換される。その一例としては、図5に示したよう
に画面をn×m個のブロックに分割し、図6に示したよ
うに各ブロックから複数(k個)のデータ点を取り出し
て平均しブロック平均 <IS>i=Σ(Yj, R−Yj, B−Yj)/k ただし i = 1,2,...,N N = n×m kは各ブロック内でサンプリングされるデータ数 を求めるという方法が考えられる。輝度色度変換部2
は、サンプリング回路1でサンプリングされた画像信号
<IS>i=(YYi,RYYi,BYYi)を受け
て、これを色度信号 CSi = (BYi,RYi) ただし BYi = BYYi / YYi RYi = RYYi / YYi に変換する。また、本実施例では、YYiが輝度信号と
なる。
【0068】カラーチャート認識部14は、一画面分の
サンプリングデータから求められた色度座標を受けて、
それがカラーチャート画像の色度分布であるかどうかの
認識を行なう。以下、カラーチャート認識部14の動作
について、図8を参照しながら説明する。
サンプリングデータから求められた色度座標を受けて、
それがカラーチャート画像の色度分布であるかどうかの
認識を行なう。以下、カラーチャート認識部14の動作
について、図8を参照しながら説明する。
【0069】分散計算手段3は、一画面分のサンプリン
グデータから求められた色度座標BYi(i=1,2,...,N)
の分散 VB = < ( BYi−<BY> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。分散計算手段4は、一画面分のサンプリン
グデータから求められた色度座標RYi(i=1,2,...,N)
の分散 VR = < ( RYi−<RY> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。共分散計算手段5は、一画面分のサンプリ
ングデータから求められた色度信号CSi=(BYi,R
Yi)から、BYi,RYiの共分散 CV = < ( BYi−<BY> ) ( RYi−<RY> ) > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。
グデータから求められた色度座標BYi(i=1,2,...,N)
の分散 VB = < ( BYi−<BY> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。分散計算手段4は、一画面分のサンプリン
グデータから求められた色度座標RYi(i=1,2,...,N)
の分散 VR = < ( RYi−<RY> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。共分散計算手段5は、一画面分のサンプリ
ングデータから求められた色度信号CSi=(BYi,R
Yi)から、BYi,RYiの共分散 CV = < ( BYi−<BY> ) ( RYi−<RY> ) > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。
【0070】射影手段6は、色度信号CSiを受けて、
原理の説明で述べた「光源ライン」に垂直な方向(V
1、V2)にこれを射影し、その方向の成分すなわち
「光源ライン」からの垂直方向変位 Vi = V1・BYi + V2・RYi に変換する。ただしここで(V1、V2)は2次元の単位
ベクトルとしている。分散計算手段7は、射影手段6か
ら垂直方向変位Viを受けて、画像信号分散 VV = < ( Vi−<V> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。2次方程式求解手段8は、分散計算手段3
で計算した分散VBと分散計算手段4で計算した分散VRと
共分散計算手段5で計算した共分散CVとを受けて、原理
の説明で述べた、色度信号CSiの「分布の軸」の傾
き、すなわち2次方程式 CV・a2 + (VB−VR)a − CV = 0 の解のうち 2CV・a + VB − VR ≧ 0 を満たすものを計算する。
原理の説明で述べた「光源ライン」に垂直な方向(V
1、V2)にこれを射影し、その方向の成分すなわち
「光源ライン」からの垂直方向変位 Vi = V1・BYi + V2・RYi に変換する。ただしここで(V1、V2)は2次元の単位
ベクトルとしている。分散計算手段7は、射影手段6か
ら垂直方向変位Viを受けて、画像信号分散 VV = < ( Vi−<V> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。2次方程式求解手段8は、分散計算手段3
で計算した分散VBと分散計算手段4で計算した分散VRと
共分散計算手段5で計算した共分散CVとを受けて、原理
の説明で述べた、色度信号CSiの「分布の軸」の傾
き、すなわち2次方程式 CV・a2 + (VB−VR)a − CV = 0 の解のうち 2CV・a + VB − VR ≧ 0 を満たすものを計算する。
【0071】座標変換手段9は、2次方程式求解手段6
で求められた「分布の軸」の傾きaと色度変換部2で計
算された色度信号CSiとを受けて、色度信号CSi=
(BYi、RYi)に対して座標変換 BY’i = A11・BYi + A12・RYi RY’i = A21・BYi + A22・RYi を施し、変換された色度座標(BY’i,RY’i)を計
算する。ただしここで、A11、A12、A21、A22は「分
布の軸」が45゜方向になるように座標軸を回転する2
×2行列Aの成分 A11 = A22 = (1+a)/[2(1+a2)]1/2 −A12 = A21 = (1−a)/[2(1+a2)]1/2 としている。相関係数計算手段10では、座標変換手段
9から得られる変換された色度座標BY’iとRY’i
との相関係数の絶対値 RC = |Cov(BY',RY')/[V(BY')V(RY')]1/2| ただし Cov(BY',RY') = < ( BYi−<BY> ) ( RYi−<RY> ) > V(BY') = < ( BYi−<BY> )2 > V(RY') = < ( RYi−<RY> )2 > <x> : 変数xの平均値 Σxi/N を計算する。これは原理の説明で述べた「回転相関係
数」の絶対値にほかならない。
で求められた「分布の軸」の傾きaと色度変換部2で計
算された色度信号CSiとを受けて、色度信号CSi=
(BYi、RYi)に対して座標変換 BY’i = A11・BYi + A12・RYi RY’i = A21・BYi + A22・RYi を施し、変換された色度座標(BY’i,RY’i)を計
算する。ただしここで、A11、A12、A21、A22は「分
布の軸」が45゜方向になるように座標軸を回転する2
×2行列Aの成分 A11 = A22 = (1+a)/[2(1+a2)]1/2 −A12 = A21 = (1−a)/[2(1+a2)]1/2 としている。相関係数計算手段10では、座標変換手段
9から得られる変換された色度座標BY’iとRY’i
との相関係数の絶対値 RC = |Cov(BY',RY')/[V(BY')V(RY')]1/2| ただし Cov(BY',RY') = < ( BYi−<BY> ) ( RYi−<RY> ) > V(BY') = < ( BYi−<BY> )2 > V(RY') = < ( RYi−<RY> )2 > <x> : 変数xの平均値 Σxi/N を計算する。これは原理の説明で述べた「回転相関係
数」の絶対値にほかならない。
【0072】しきい値処理手段11は、相関係数計算手
段10で計算された相関係数RCと内部に蓄えられた相関
係数しきい値θRCとを比較し、 RC < θRC の場合 SC1=1 : カラーチャートの可
能性あり そうでない場合 SC1=0 : カラーチャートでな
い として、カラーチャート相関係数判定信号SC1を出力
する。しきい値処理手段12は、分散計算手段7で計算
された画像信号分散VVと内部に蓄えられた画像分散しき
い値θVVとを比較し、 VV > θVV の場合 SC2=1 : カラーチャートの可
能性あり そうでない場合 SC2=0 : カラーチャートでな
い として、カラーチャート分散判定信号SC2を出力す
る。
段10で計算された相関係数RCと内部に蓄えられた相関
係数しきい値θRCとを比較し、 RC < θRC の場合 SC1=1 : カラーチャートの可
能性あり そうでない場合 SC1=0 : カラーチャートでな
い として、カラーチャート相関係数判定信号SC1を出力
する。しきい値処理手段12は、分散計算手段7で計算
された画像信号分散VVと内部に蓄えられた画像分散しき
い値θVVとを比較し、 VV > θVV の場合 SC2=1 : カラーチャートの可
能性あり そうでない場合 SC2=0 : カラーチャートでな
い として、カラーチャート分散判定信号SC2を出力す
る。
【0073】AND回路13は、しきい値処理手段11
が出力するカラーチャート相関係数判定信号SC1とし
きい値処理手段12が出力するカラーチャート分散判定
信号SC2との論理積をとり、カラーチャート判定信号
SC: SC = 1 : カラーチャートである SC = 0 : カラーチャートでない を出力する。こうして画像信号から、カラーチャートの
判定がなされる。
が出力するカラーチャート相関係数判定信号SC1とし
きい値処理手段12が出力するカラーチャート分散判定
信号SC2との論理積をとり、カラーチャート判定信号
SC: SC = 1 : カラーチャートである SC = 0 : カラーチャートでない を出力する。こうして画像信号から、カラーチャートの
判定がなされる。
【0074】以上が、カラーチャート認識部14の動作
である。カラーチャート用光源色度推定部18は、輝度
色度変換部2からの色度信号CSiを受けて、その平均
値を計算して出力し、カラーチャート用推定光源色度信
号JCとして出力する。
である。カラーチャート用光源色度推定部18は、輝度
色度変換部2からの色度信号CSiを受けて、その平均
値を計算して出力し、カラーチャート用推定光源色度信
号JCとして出力する。
【0075】輝度色度データ記憶部19は、色度信号C
Siを色度データとして記憶し、輝度信号YYiを輝度
データとして記憶する。記憶が終了すると、記憶制御部
20が輝度色度データ記憶部への輝度データと色度デー
タの書き込みを禁止する。次に、一般画像用光源色度推
定部50について説明する。
Siを色度データとして記憶し、輝度信号YYiを輝度
データとして記憶する。記憶が終了すると、記憶制御部
20が輝度色度データ記憶部への輝度データと色度デー
タの書き込みを禁止する。次に、一般画像用光源色度推
定部50について説明する。
【0076】光源色度候補計算部21の内部にある平均
計算手段22は、輝度色度データ記憶部19から色度デ
ータを読みだし、全平均色度を計算する。限定領域デー
タ出力部23は、平均計算手段22から全平均色度信号
を受けて基準色度とし、輝度色度データ記憶部19から
色度データを読みだし、色度データの内で、基準色度の
周囲の制限された領域に属するデータのみを出力する。
その一例としては、色度データと基準色度との差δCS
iを計算して、内積(δCSi,δCSi)とあらかじ
め設定されている値θとを比較して、 (δCSi,δCSi)<θ の場合に領域内に存在と判断して、この場合のみ色度デ
ータを出力する方法が考えられる。領域限定平均計算部
25は、限定領域データ出力部23から出力されたデー
タを平均し、2重平均色度とする。限定領域データ出力
部24は、領域限定平均計算部25から2重平均色度を
受けて基準色度とし、輝度色度データ記憶部19から色
度データを読みだし、色度データの内で、基準色度の周
囲の制限された領域に属するデータのみを出力する。領
域限定平均計算部26は、限定領域データ出力部24か
ら出力されたデータを平均し、3重平均色度とする。光
源色度候補記憶部26は、平均計算手段22からの全平
均色度と領域限定平均計算部26からの3重平均色度と
を受けて、それぞれを光源色度候補SS1、SS2とし
て記憶する。限定領域中心計算部28は光源色度候補記
憶部27から光源色度候補SS2を受け、限定領域中心
色度SSCとする。支配色存在判定部29の内部にある
限定領域データ出力部30は、限定領域中心計算部28
から限定領域中心色度SSCを受けて基準色度とし、色
度データ記憶部19から色度データを読みだし、色度デ
ータの内で、基準色度の周囲の制限された領域に属する
データのみを出力する。カウンター31は、限定領域デ
ータ出力部から出力されるデータの数を数え、限定領域
データ数N3とする。支配色存在判定しきい値処理部3
2は、限定領域データ数N3を受けて、内部に保持する
しきい値θ1と比較し、 N3≧θ1のとき、J1=1(支配色存在) N3<θ1のとき、J1=0(支配色不在) とする。特定色判定部33は、推定光源色度記憶部27
から光源色度候補SS1、SS2を受け、内部に保持す
る色度平面上の特定領域に光源色度候補SS2が入るか
どうかを調べ、 入っている場合には、J2=1(SS2が特定領域の内
部にある) 入っていない場合に、J2=0(SS2が特定領域の外
部にある) とする。光源色度判定部34の内部にある優先色度選択
部35は、支配色存在判定しきい値処理部32からの光
源推定制御信号J1を受けて、 J1=1のとき、J3=1(3重平均色度SS2優先) J1=0のとき、J3=0(全平均色度SS1優先) とする。総合色度判定部36は、特定色判定部33から
の特定色判定信号J2と優先色度選択部35からの優先
色度指定信号J3と光源色度候補記憶部27からの光源
色度候補SS1、SS2とを受け、 J2=1かつJ3=1のとき、SS=SS2(3重平均
色度採用) そうでないとき、SS=SS1(全平均色度採用) とし、SSを推定された光源色度として出力する。
計算手段22は、輝度色度データ記憶部19から色度デ
ータを読みだし、全平均色度を計算する。限定領域デー
タ出力部23は、平均計算手段22から全平均色度信号
を受けて基準色度とし、輝度色度データ記憶部19から
色度データを読みだし、色度データの内で、基準色度の
周囲の制限された領域に属するデータのみを出力する。
その一例としては、色度データと基準色度との差δCS
iを計算して、内積(δCSi,δCSi)とあらかじ
め設定されている値θとを比較して、 (δCSi,δCSi)<θ の場合に領域内に存在と判断して、この場合のみ色度デ
ータを出力する方法が考えられる。領域限定平均計算部
25は、限定領域データ出力部23から出力されたデー
タを平均し、2重平均色度とする。限定領域データ出力
部24は、領域限定平均計算部25から2重平均色度を
受けて基準色度とし、輝度色度データ記憶部19から色
度データを読みだし、色度データの内で、基準色度の周
囲の制限された領域に属するデータのみを出力する。領
域限定平均計算部26は、限定領域データ出力部24か
ら出力されたデータを平均し、3重平均色度とする。光
源色度候補記憶部26は、平均計算手段22からの全平
均色度と領域限定平均計算部26からの3重平均色度と
を受けて、それぞれを光源色度候補SS1、SS2とし
て記憶する。限定領域中心計算部28は光源色度候補記
憶部27から光源色度候補SS2を受け、限定領域中心
色度SSCとする。支配色存在判定部29の内部にある
限定領域データ出力部30は、限定領域中心計算部28
から限定領域中心色度SSCを受けて基準色度とし、色
度データ記憶部19から色度データを読みだし、色度デ
ータの内で、基準色度の周囲の制限された領域に属する
データのみを出力する。カウンター31は、限定領域デ
ータ出力部から出力されるデータの数を数え、限定領域
データ数N3とする。支配色存在判定しきい値処理部3
2は、限定領域データ数N3を受けて、内部に保持する
しきい値θ1と比較し、 N3≧θ1のとき、J1=1(支配色存在) N3<θ1のとき、J1=0(支配色不在) とする。特定色判定部33は、推定光源色度記憶部27
から光源色度候補SS1、SS2を受け、内部に保持す
る色度平面上の特定領域に光源色度候補SS2が入るか
どうかを調べ、 入っている場合には、J2=1(SS2が特定領域の内
部にある) 入っていない場合に、J2=0(SS2が特定領域の外
部にある) とする。光源色度判定部34の内部にある優先色度選択
部35は、支配色存在判定しきい値処理部32からの光
源推定制御信号J1を受けて、 J1=1のとき、J3=1(3重平均色度SS2優先) J1=0のとき、J3=0(全平均色度SS1優先) とする。総合色度判定部36は、特定色判定部33から
の特定色判定信号J2と優先色度選択部35からの優先
色度指定信号J3と光源色度候補記憶部27からの光源
色度候補SS1、SS2とを受け、 J2=1かつJ3=1のとき、SS=SS2(3重平均
色度採用) そうでないとき、SS=SS1(全平均色度採用) とし、SSを推定された光源色度として出力する。
【0077】推定光源色度選択部37は、カラーチャー
ト認識部14からのカラーチャート認識信号SCとカラー
チャート用光源色度推定部18からのカラーチャート用
推定光源色度信号JCと光源色度判定部34からの一般画
像用推定光源色度信号SSとを受けて、カラーチャート
認識信号SCの値により、 SC = 1 (カラーチャートである) → SJG = JC SC = 0 (カラーチャートである) → SJG = SS として、推定光源色度信号SJGを出力する。
ト認識部14からのカラーチャート認識信号SCとカラー
チャート用光源色度推定部18からのカラーチャート用
推定光源色度信号JCと光源色度判定部34からの一般画
像用推定光源色度信号SSとを受けて、カラーチャート
認識信号SCの値により、 SC = 1 (カラーチャートである) → SJG = JC SC = 0 (カラーチャートである) → SJG = SS として、推定光源色度信号SJGを出力する。
【0078】光源推定部38は、あらかじめ色度平面上
を適切に分割して各領域に光源を割り振っておき、推定
光源色度選択部からの推定光源色度SJGをうけて、推
定光源色度SJGがどの領域に属するかで光源を推定
し、光源推定結果をS1とする。
を適切に分割して各領域に光源を割り振っておき、推定
光源色度選択部からの推定光源色度SJGをうけて、推
定光源色度SJGがどの領域に属するかで光源を推定
し、光源推定結果をS1とする。
【0079】絞り調整機構制御部39は、輝度色度変換
部2からの輝度信号と色度信号を受け、最適な絞り調整
を行うための絞り調整機構制御信号CIを計算し、絞り
調整機構と、屋外光源検出部40の内部にあるしきい値
処理手段41とに対して絞り調整機構制御信号CIを出
力する。ただし、CIは、絞りを最も閉じるときに最大
となる。したがって、F値が大きくなるとCIも大きく
なる。しきい値処理手段41は、絞り調整機構制御信号
CIと内部に保持するしきい値θCIとを比較し、 CI≧θCIのとき、JI1=1(屋外撮影画像の可能性
あり) そうでないとき、JI1=0(屋内撮影画像の可能性あ
り) とする。しきい値処理手段42は、輝度色度データ記憶
部19から輝度データYYiを読みだし、内部に保持す
るしきい値θYYと比較し、 YYi≧θYYのとき、JYi=1(高輝度色) そうでないとき、JYi=0(高輝度色ではない) とする。高色温度色判定部43は、輝度色度データ記憶
部19から色度データCSiを読みだし、あらかじめ設
定されている領域内にあるかどうか調べ、 SCiが領域内にあるとき、JAi=1(高色温度色) そうでないとき、JAi=0(高色温度色ではない) とする。AND回路44は、JYiとJAiが共に1の
ときのみ1を出力し、そうでない場合には0を出力す
る。カウンター45は、AND回路44からの出力が0
から1に反転した回数を数える。検出制御部46は、通
常は0を出力するが、高色温度色判定部43から出力さ
れる判定信号を数えて、すべての色度データに対する判
定が終わったら制御信号1を出力する。しきい値処理手
段47は、検出制御部46から出力される制御信号が1
になったら、カウンター45からカウントされた数NY
を読みだし、NYと内部に保持するしきい値θNYとを比
較して、 NY≧θNYのとき、JI2=1(屋外撮影画像の可能性
あり) そうでないとき、JI2=0(屋内撮影画像の可能性あ
り) とする。カウンター45のカウンター値は、しきい値処
理手段47に信号NYを出力すると0にされる。AND
回路48は、しきい値処理手段41からの判定信号JI
1と、しきい値処理手段47からの判定信号JI2とを
受けて、 JI1=JI2=0のとき、JI3=1(屋外撮影画像
である) そうでないとき、JI3=0(屋内撮影画像の可能性あ
り) とする。光源判定部49は、AND回路48からの光源
判定制御信号JI3と光源推定部38からの推定光源S
1とを受けて、 JI3=1のとき、Sf=OUT(屋外光源) JI3=0のとき、Sf=S1 とする。
部2からの輝度信号と色度信号を受け、最適な絞り調整
を行うための絞り調整機構制御信号CIを計算し、絞り
調整機構と、屋外光源検出部40の内部にあるしきい値
処理手段41とに対して絞り調整機構制御信号CIを出
力する。ただし、CIは、絞りを最も閉じるときに最大
となる。したがって、F値が大きくなるとCIも大きく
なる。しきい値処理手段41は、絞り調整機構制御信号
CIと内部に保持するしきい値θCIとを比較し、 CI≧θCIのとき、JI1=1(屋外撮影画像の可能性
あり) そうでないとき、JI1=0(屋内撮影画像の可能性あ
り) とする。しきい値処理手段42は、輝度色度データ記憶
部19から輝度データYYiを読みだし、内部に保持す
るしきい値θYYと比較し、 YYi≧θYYのとき、JYi=1(高輝度色) そうでないとき、JYi=0(高輝度色ではない) とする。高色温度色判定部43は、輝度色度データ記憶
部19から色度データCSiを読みだし、あらかじめ設
定されている領域内にあるかどうか調べ、 SCiが領域内にあるとき、JAi=1(高色温度色) そうでないとき、JAi=0(高色温度色ではない) とする。AND回路44は、JYiとJAiが共に1の
ときのみ1を出力し、そうでない場合には0を出力す
る。カウンター45は、AND回路44からの出力が0
から1に反転した回数を数える。検出制御部46は、通
常は0を出力するが、高色温度色判定部43から出力さ
れる判定信号を数えて、すべての色度データに対する判
定が終わったら制御信号1を出力する。しきい値処理手
段47は、検出制御部46から出力される制御信号が1
になったら、カウンター45からカウントされた数NY
を読みだし、NYと内部に保持するしきい値θNYとを比
較して、 NY≧θNYのとき、JI2=1(屋外撮影画像の可能性
あり) そうでないとき、JI2=0(屋内撮影画像の可能性あ
り) とする。カウンター45のカウンター値は、しきい値処
理手段47に信号NYを出力すると0にされる。AND
回路48は、しきい値処理手段41からの判定信号JI
1と、しきい値処理手段47からの判定信号JI2とを
受けて、 JI1=JI2=0のとき、JI3=1(屋外撮影画像
である) そうでないとき、JI3=0(屋内撮影画像の可能性あ
り) とする。光源判定部49は、AND回路48からの光源
判定制御信号JI3と光源推定部38からの推定光源S
1とを受けて、 JI3=1のとき、Sf=OUT(屋外光源) JI3=0のとき、Sf=S1 とする。
【0080】こうして、カラーチャートとそれ以外の一
般画像とを判別し、さらに一般画像の中でも支配色が存
在する画像と、屋外で撮影された画像特有の特徴を持つ
画像と、いずれにもあてはまらない画像とを判別して、
それぞれに適した方法で光源を推定する光源推定装置が
実現される。また、カラーチャート認識部14からの出
力は画像がカラーチャート画像であるかどうかを表わし
ているので、カラーチャート認識装置としての役割も果
たすことができる。
般画像とを判別し、さらに一般画像の中でも支配色が存
在する画像と、屋外で撮影された画像特有の特徴を持つ
画像と、いずれにもあてはまらない画像とを判別して、
それぞれに適した方法で光源を推定する光源推定装置が
実現される。また、カラーチャート認識部14からの出
力は画像がカラーチャート画像であるかどうかを表わし
ているので、カラーチャート認識装置としての役割も果
たすことができる。
【0081】さらに、支配色存在判定部からの出力は画
面上に支配色が存在するかどうかを表しているので、支
配色存在判定装置としての役割も果たすことができる。
また、光源色度判定部34からの出力は、一般画像に対
する光源色度の推定結果を表すので、光源色度推定装置
としての役割も果たすことができる。
面上に支配色が存在するかどうかを表しているので、支
配色存在判定装置としての役割も果たすことができる。
また、光源色度判定部34からの出力は、一般画像に対
する光源色度の推定結果を表すので、光源色度推定装置
としての役割も果たすことができる。
【0082】なお、「光源ライン」に垂直な方向を与え
るベクトル(V1,V2)は、ベクトル(1,1)におおよそ平
行であればよく、厳密に定める必要はない。パラメータ
によってカラーチャート判定精度は多少変化するが、デ
ータ分析の結果、その影響は小さいことがわかってい
る。また、画像分散VVの計算の本質は、画像信号として
(R,G,B)を用いるか(Y,R−Y,B−Y)を用
いるかなどには依存しない。
るベクトル(V1,V2)は、ベクトル(1,1)におおよそ平
行であればよく、厳密に定める必要はない。パラメータ
によってカラーチャート判定精度は多少変化するが、デ
ータ分析の結果、その影響は小さいことがわかってい
る。また、画像分散VVの計算の本質は、画像信号として
(R,G,B)を用いるか(Y,R−Y,B−Y)を用
いるかなどには依存しない。
【0083】また、画像分散計算部16では、画像信号
を2次元の色度座標に変換した上で画像分散を計算して
いるが、「光源曲線」を「光源曲面」と考え直すなどの
工夫で3次元の画像信号から直接画像分散を計算するこ
ともできる。また、カラーチャート判定条件は、本実施
例に掲げた方法の他にも、多くの方法がある。例えば、
適当な係数α、βを用意して CV = αRC − βVV を計算し、CVとしきい値とを比較してカラーチャート判
定信号を出力することも可能である。
を2次元の色度座標に変換した上で画像分散を計算して
いるが、「光源曲線」を「光源曲面」と考え直すなどの
工夫で3次元の画像信号から直接画像分散を計算するこ
ともできる。また、カラーチャート判定条件は、本実施
例に掲げた方法の他にも、多くの方法がある。例えば、
適当な係数α、βを用意して CV = αRC − βVV を計算し、CVとしきい値とを比較してカラーチャート判
定信号を出力することも可能である。
【0084】また、座標変換手段9で「分布の軸」を4
5゜方向に合わせているのは、45゜に合わせるのが最
も効果的と考えられるからであって、必ずしも45゜で
ある必要はない。また、座標変換手段7で用いている2
×2行列Aの成分に共通な係数1/[2(1+a2)]1/2を省
略し、または別のものを用いても最後に得られる効果は
同じである。
5゜方向に合わせているのは、45゜に合わせるのが最
も効果的と考えられるからであって、必ずしも45゜で
ある必要はない。また、座標変換手段7で用いている2
×2行列Aの成分に共通な係数1/[2(1+a2)]1/2を省
略し、または別のものを用いても最後に得られる効果は
同じである。
【0085】また、本実施例では座標変換後に再び相関
係数を計算しているが、座標変換後の相関係数は、座標
変換に用いる2×2行列の成分と座標変換前の2つの分
散と座標変換前の共分散とから容易に算出できるため、
必ずしも座標変換を実行する必要はない。座標変換を実
行せずにこれらの値を用いて座標変換後の相関係数を算
出することによって、より計算量の少ない単純な構成に
することも可能である。
係数を計算しているが、座標変換後の相関係数は、座標
変換に用いる2×2行列の成分と座標変換前の2つの分
散と座標変換前の共分散とから容易に算出できるため、
必ずしも座標変換を実行する必要はない。座標変換を実
行せずにこれらの値を用いて座標変換後の相関係数を算
出することによって、より計算量の少ない単純な構成に
することも可能である。
【0086】また、本実施例では相関係数の絶対値を用
いているが、絶対値を用いなくても同様の処理は可能で
ある。本実施例では原理の説明で述べた、色度座標の
「回転相関係数」を用いているが、単なる色度座標の相
関係数を用いても、カラーチャートの認識は可能であ
る。
いているが、絶対値を用いなくても同様の処理は可能で
ある。本実施例では原理の説明で述べた、色度座標の
「回転相関係数」を用いているが、単なる色度座標の相
関係数を用いても、カラーチャートの認識は可能であ
る。
【0087】さらに、本実施例では、限定領域中心色度
SSCを3重平均色度としたが、全平均色度としてもよ
いし、2重平均色度でもよい。2重平均を全平均の代わ
りの光源色度候補SS1としてもよい。2重平均は、色
度平面上で全平均のまわりの限定された領域にある画像
データの平均なので、画面上に枯草と空とがある場合な
どに、3重平均値ほど枯草の色の近くにはならない。
SSCを3重平均色度としたが、全平均色度としてもよ
いし、2重平均色度でもよい。2重平均を全平均の代わ
りの光源色度候補SS1としてもよい。2重平均は、色
度平面上で全平均のまわりの限定された領域にある画像
データの平均なので、画面上に枯草と空とがある場合な
どに、3重平均値ほど枯草の色の近くにはならない。
【0088】また、支配色存在判定部では、限定領域に
入るデータ数を用いて支配色が存在するかどうかの判定
を行っているが、限定領域に入る画像データの分散が小
さいときに支配色存在と判定し、そうでないときに支配
色不在と判定してもよい。
入るデータ数を用いて支配色が存在するかどうかの判定
を行っているが、限定領域に入る画像データの分散が小
さいときに支配色存在と判定し、そうでないときに支配
色不在と判定してもよい。
【0089】本実施例では、3重平均色度のまわりの画
像データを用いて、画面上に支配色が存在するかどうか
判定したが、3重平均色度を計算するときに使ったデー
タ数を用いても、支配色が存在するかどうかの判定はで
きる。このとき、支配色存在判定部の構成を簡単にする
ことができる。
像データを用いて、画面上に支配色が存在するかどうか
判定したが、3重平均色度を計算するときに使ったデー
タ数を用いても、支配色が存在するかどうかの判定はで
きる。このとき、支配色存在判定部の構成を簡単にする
ことができる。
【0090】さらに、限定領域データ出力部では、基準
色度からの距離が設定値θ以下であるような色度データ
を出力しているが、基準色度を中心とする多角形内に入
る色度データを出力してもよい。このとき、多角形を決
める複数点をあらかじめ保持しておけば、構成上問題は
ない。
色度からの距離が設定値θ以下であるような色度データ
を出力しているが、基準色度を中心とする多角形内に入
る色度データを出力してもよい。このとき、多角形を決
める複数点をあらかじめ保持しておけば、構成上問題は
ない。
【0091】本実施例では、屋外光源検出部による判定
結果が「被写体は屋内画像の可能性もある」となったと
きに、カラーチャート認識結果と支配色存在判定結果と
GWAとに基づく光源推定結果を出力するが、このとき
出力する光源推定結果は、どのような方法で推定した光
源であっても構成上問題はない。また、検出制御部は高
色温度色判定部からの出力を数えているが、輝度データ
に対してしきい値処理するしきい値処理手段42からの
出力を数えて、輝度データと色度データに対する処理が
終了したかどうか判断するように構成してもよい。これ
らの事柄は、以下の実施例においても同様なので、繰り
返さない。
結果が「被写体は屋内画像の可能性もある」となったと
きに、カラーチャート認識結果と支配色存在判定結果と
GWAとに基づく光源推定結果を出力するが、このとき
出力する光源推定結果は、どのような方法で推定した光
源であっても構成上問題はない。また、検出制御部は高
色温度色判定部からの出力を数えているが、輝度データ
に対してしきい値処理するしきい値処理手段42からの
出力を数えて、輝度データと色度データに対する処理が
終了したかどうか判断するように構成してもよい。これ
らの事柄は、以下の実施例においても同様なので、繰り
返さない。
【0092】(実施例2)次に、本発明の第2の実施例
の構成について、図面を参照しながら説明する。図9
は、カラーチャート認識装置の構成を示すブロック結線
図である。
の構成について、図面を参照しながら説明する。図9
は、カラーチャート認識装置の構成を示すブロック結線
図である。
【0093】図9において、1はCCD等からの画像信
号ISを適当なサンプリング規則に従って変換するサン
プリング回路であり、100はサンプリング回路1から
サンプリングされた画像信号ISを2つの色度信号に変
換する色度変換部であり、71は原理の説明で述べた光
源ラインに垂直な方向に色度信号を射影してその成分の
大きさ(すなわち光源ラインからの垂直方向変位)に変
換する射影手段であり、72は光源ラインに平行な方向
に色度信号を射影してその成分の大きさ(すなわち光源
ラインに沿った平行方向変位)に変換する射影手段であ
り、3は射影手段71から垂直方向変位を受けてその分
散を計算する分散計算手段であり、4は射影手段72か
ら平行方向変位を受けてその分散を計算する分散計算手
段であり、5は射影手段71からの垂直方向変位と射影
手段72からの平行方向変位とを受けてそれらの共分散
を計算する共分散計算手段であり、8は分散計算手段3
と分散計算手段4と共分散計算手段5とのそれぞれの出
力を受けてそれらの値から構成される係数を持つ2次方
程式を解いて適当な解を出力する2次方程式求解手段で
あり、73は分散計算手段3と分散計算手段4と共分散
計算手段5と2次方程式求解手段8とのそれぞれの出力
を受けてこれらを用いて回転相関係数を算出して出力す
る演算回路であり、11と12とは内部に蓄えられたし
きい値と入力信号とを比較して判定信号を出力するしき
い値処理手段であり、13はAND回路であり、101
は本発明の中核をなすカラーチャート判定部、102は
統計量計算部、103は画像分散計算部である。
号ISを適当なサンプリング規則に従って変換するサン
プリング回路であり、100はサンプリング回路1から
サンプリングされた画像信号ISを2つの色度信号に変
換する色度変換部であり、71は原理の説明で述べた光
源ラインに垂直な方向に色度信号を射影してその成分の
大きさ(すなわち光源ラインからの垂直方向変位)に変
換する射影手段であり、72は光源ラインに平行な方向
に色度信号を射影してその成分の大きさ(すなわち光源
ラインに沿った平行方向変位)に変換する射影手段であ
り、3は射影手段71から垂直方向変位を受けてその分
散を計算する分散計算手段であり、4は射影手段72か
ら平行方向変位を受けてその分散を計算する分散計算手
段であり、5は射影手段71からの垂直方向変位と射影
手段72からの平行方向変位とを受けてそれらの共分散
を計算する共分散計算手段であり、8は分散計算手段3
と分散計算手段4と共分散計算手段5とのそれぞれの出
力を受けてそれらの値から構成される係数を持つ2次方
程式を解いて適当な解を出力する2次方程式求解手段で
あり、73は分散計算手段3と分散計算手段4と共分散
計算手段5と2次方程式求解手段8とのそれぞれの出力
を受けてこれらを用いて回転相関係数を算出して出力す
る演算回路であり、11と12とは内部に蓄えられたし
きい値と入力信号とを比較して判定信号を出力するしき
い値処理手段であり、13はAND回路であり、101
は本発明の中核をなすカラーチャート判定部、102は
統計量計算部、103は画像分散計算部である。
【0094】以上のように構成されたカラーチャート認
識装置の動作について、図10を用いて説明する。ま
ず、CCD等からの画像信号ISは、サンプリング回路
1に入り、適当なサンプリング規則に従って変換され
る。色度変換部100は、サンプリング回路1でサンプ
リングされた画像信号<IS>i=(YYi, RYY
i,BYYi)を受けて、これを色度信号CSi=(B
Yi, RYi)に変換する。
識装置の動作について、図10を用いて説明する。ま
ず、CCD等からの画像信号ISは、サンプリング回路
1に入り、適当なサンプリング規則に従って変換され
る。色度変換部100は、サンプリング回路1でサンプ
リングされた画像信号<IS>i=(YYi, RYY
i,BYYi)を受けて、これを色度信号CSi=(B
Yi, RYi)に変換する。
【0095】射影手段71は、色度信号CSiを受け
て、原理の説明で述べた「光源ライン」に垂直な方向
(V1,V2)にこれを射影し、その方向の成分すなわち
「光源ライン」からの垂直方向変位 Vi = V1・BYi + V2・RYi に変換する。ただしここで(V1、V2)は2次元の単位
ベクトルとしている。射影手段72は、色度信号CSi
を受けて、原理の説明で述べた「光源ライン」に平行な
方向(V2,−V1)にこれを射影し、その方向の成分す
なわち「光源ライン」からの平行方向変位 Ui = V2・BYi − V1・RYi に変換する。分散計算手段3は、射影手段71から垂直
方向変位Viを受けて、垂直方向画像信号分散 VV = < ( Vi−<V> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。分散計算手段4は、射影手段72から平行
方向変位Uiを受けて、平行方向画像信号分散 VU = < ( Ui−<U> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。
て、原理の説明で述べた「光源ライン」に垂直な方向
(V1,V2)にこれを射影し、その方向の成分すなわち
「光源ライン」からの垂直方向変位 Vi = V1・BYi + V2・RYi に変換する。ただしここで(V1、V2)は2次元の単位
ベクトルとしている。射影手段72は、色度信号CSi
を受けて、原理の説明で述べた「光源ライン」に平行な
方向(V2,−V1)にこれを射影し、その方向の成分す
なわち「光源ライン」からの平行方向変位 Ui = V2・BYi − V1・RYi に変換する。分散計算手段3は、射影手段71から垂直
方向変位Viを受けて、垂直方向画像信号分散 VV = < ( Vi−<V> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。分散計算手段4は、射影手段72から平行
方向変位Uiを受けて、平行方向画像信号分散 VU = < ( Ui−<U> )2 > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。
【0096】共分散計算手段5は、射影手段71からの
垂直方向変位Viと射影手段72からの平行方向変位U
iとを受けて、これらの共分散 CVU = < ( Vi−<V> ) ( Ui−<U> ) > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。2次方程式求解手段8は、分散計算手段3
で計算した分散VVと分散計算手段4で計算した分散VUと
共分散計算手段5で計算した共分散CVUとを受けて、
「光源ライン」に垂直な方向に対する色度信号CSiの
「分布の軸」の傾き、すなわち2次方程式 CVU・a2 + (VV−VU)a − CVU = 0 の解のうち 2CVU・a + VV − VU ≧ 0 を満たすものを計算する。
垂直方向変位Viと射影手段72からの平行方向変位U
iとを受けて、これらの共分散 CVU = < ( Vi−<V> ) ( Ui−<U> ) > ただし、 <x> : 変数xの平均値 Σxi/N を計算する。2次方程式求解手段8は、分散計算手段3
で計算した分散VVと分散計算手段4で計算した分散VUと
共分散計算手段5で計算した共分散CVUとを受けて、
「光源ライン」に垂直な方向に対する色度信号CSiの
「分布の軸」の傾き、すなわち2次方程式 CVU・a2 + (VV−VU)a − CVU = 0 の解のうち 2CVU・a + VV − VU ≧ 0 を満たすものを計算する。
【0097】演算回路73は、2次方程式求解手段8で
求められた「分布の軸」の傾きaと分散計算手段3で計
算した分散VVと分散計算手段4で計算した分散VUと共分
散計算手段5で計算した共分散CVUとを受けて、変位X
i=(Vi,Ui)に対して座標変換 V’i = A11・Vi + A12・Ui U’i = A21・Vi + A22・Ui を施した場合の変換された変位X’=(V’i,U’i)
の相関係数の絶対値を計算する。ここで、A11,A12,A21,
A22は「分布の軸」が45゜方向になるように座標軸を
回転する2×2行列Aの成分 A11 = A22 = (1+a)/[2(1+a2)]1/2 −A12 = A21 = (1−a)/[2(1+a2)]1/2 としている。ただしここで座標変換後の相関係数の絶対
値は座標変換前の分散及び共分散から次の式で計算でき
る。
求められた「分布の軸」の傾きaと分散計算手段3で計
算した分散VVと分散計算手段4で計算した分散VUと共分
散計算手段5で計算した共分散CVUとを受けて、変位X
i=(Vi,Ui)に対して座標変換 V’i = A11・Vi + A12・Ui U’i = A21・Vi + A22・Ui を施した場合の変換された変位X’=(V’i,U’i)
の相関係数の絶対値を計算する。ここで、A11,A12,A21,
A22は「分布の軸」が45゜方向になるように座標軸を
回転する2×2行列Aの成分 A11 = A22 = (1+a)/[2(1+a2)]1/2 −A12 = A21 = (1−a)/[2(1+a2)]1/2 としている。ただしここで座標変換後の相関係数の絶対
値は座標変換前の分散及び共分散から次の式で計算でき
る。
【0098】 RC' = |Cov(v',u') / [V(v')V(u')]1/2| ただし Cov(v',u') = A11A21VV+(A11A22+A12A21)CVU+A12A22VU V(v') = A11 2VV+A11A12CVU+A12 2VU V(u') = A21 2VV+A21A22CVU+A22 2VU これは原理の説明で述べた「回転相関係数」の絶対値に
ほかならない。
ほかならない。
【0099】しきい値処理手段11は、演算回路73で
計算された回転相関係数RC'と内部に蓄えられた相関係
数しきい値θRC'とを比較し、 RC' < θRC' の場合 SC1=1 : カラーチャートの
可能性あり そうでない場合 SC1=0 : カラーチャートで
ない として、カラーチャート相関係数判定信号SC1を出力
する。しきい値処理手段12は、分散計算手段3で計算
された画像信号分散VVと内部に蓄えられた画像分散しき
い値θVVとを比較し、 VV > θVV の場合 SC2=1 : カラーチャートの
可能性あり そうでない場合 SC2=0 : カラーチャートで
ない として、カラーチャート分散判定信号SC2を出力す
る。
計算された回転相関係数RC'と内部に蓄えられた相関係
数しきい値θRC'とを比較し、 RC' < θRC' の場合 SC1=1 : カラーチャートの
可能性あり そうでない場合 SC1=0 : カラーチャートで
ない として、カラーチャート相関係数判定信号SC1を出力
する。しきい値処理手段12は、分散計算手段3で計算
された画像信号分散VVと内部に蓄えられた画像分散しき
い値θVVとを比較し、 VV > θVV の場合 SC2=1 : カラーチャートの
可能性あり そうでない場合 SC2=0 : カラーチャートで
ない として、カラーチャート分散判定信号SC2を出力す
る。
【0100】AND回路13は、しきい値処理手段11
が出力するカラーチャート相関係数判定信号SC1とし
きい値処理手段12が出力するカラーチャート分散判定
信号SC2との論理積をとり、カラーチャート判定信号
SC: SC = 1 : カラーチャートである SC = 0 : カラーチャートでない を出力する。こうして画像信号から、カラーチャートの
判定がなされる。
が出力するカラーチャート相関係数判定信号SC1とし
きい値処理手段12が出力するカラーチャート分散判定
信号SC2との論理積をとり、カラーチャート判定信号
SC: SC = 1 : カラーチャートである SC = 0 : カラーチャートでない を出力する。こうして画像信号から、カラーチャートの
判定がなされる。
【0101】本実施例の特徴は、実施例1のカラーチャ
ート認識部では分散計算が3回必要なのに対し、色度デ
ータの座標軸を「光源ライン」に垂直な方向と平行な方
向とに取り直して画像分散を計算することにより分散計
算が2回で済み、より計算量が少なく、構成も簡単とな
る点にある。
ート認識部では分散計算が3回必要なのに対し、色度デ
ータの座標軸を「光源ライン」に垂直な方向と平行な方
向とに取り直して画像分散を計算することにより分散計
算が2回で済み、より計算量が少なく、構成も簡単とな
る点にある。
【0102】なお、本実施例では「回転相関係数」の計
算に際して、座標変換を実行する代わりに一次変換前の
分散及び共分散と一次変換後の分散及び共分散との間に
一般的に成立する関係を利用することによって、計算量
を減らし、構成をより単純にしているが、このような構
成を必ずしもとる必要はなく、実施例1のカラーチャー
ト認識部のように座標変換を実行する構成にしてもよ
い。
算に際して、座標変換を実行する代わりに一次変換前の
分散及び共分散と一次変換後の分散及び共分散との間に
一般的に成立する関係を利用することによって、計算量
を減らし、構成をより単純にしているが、このような構
成を必ずしもとる必要はなく、実施例1のカラーチャー
ト認識部のように座標変換を実行する構成にしてもよ
い。
【0103】(実施例3)次に、本発明の第3の実施例
について図面を参照しながら説明する。図11は、第3
の実施例である支配色存在判定部を備えた画像データ判
定装置の構成を示すブロック図である。
について図面を参照しながら説明する。図11は、第3
の実施例である支配色存在判定部を備えた画像データ判
定装置の構成を示すブロック図である。
【0104】図11において、1はCCD等からの画像
信号ISを適当なサンプリング規則にしたがって変換す
るサンプリング回路、100はサンプリングされた画像
データを色度信号に変換する色度変換部、200は変換
された色度信号を色度データとして記憶する色度データ
記憶部、20は画像判定が終了するまで色度データ記憶
部への記憶を禁止する記憶制御部である。201は限定
領域の中心となる色度を計算する限定領域中心計算部で
あり、色度データの全平均色度を計算する平均計算手段
22と、入力された基準色度と色度データ記憶部から読
みだされた色度データとから基準色度のまわりの限定さ
れた領域に属するデータを選択して出力する限定領域デ
ータ出力部23と、限定領域データ出力部から出力され
る限定領域データの平均を計算する領域限定平均計算部
25とを備えている。202は画面上に支配的な色が存
在するかどうか判定する支配色存在判定部であり、入力
された基準色度と色度データ記憶部から読みだされた色
度データとから基準色度のまわりの限定された領域に属
するデータを選択して出力する限定領域データ出力部3
0と、限定領域データ出力部から出力されるデータの数
をカウントするカウンター31と、カウンター31から
の出力が第1の設定値よりも大きい場合に支配色存在と
し、第2の設定値よりも小さい場合にGWA不成立と
し、その他の場合には支配色不在とする支配色存在判定
しきい値処理部203とを備えている。
信号ISを適当なサンプリング規則にしたがって変換す
るサンプリング回路、100はサンプリングされた画像
データを色度信号に変換する色度変換部、200は変換
された色度信号を色度データとして記憶する色度データ
記憶部、20は画像判定が終了するまで色度データ記憶
部への記憶を禁止する記憶制御部である。201は限定
領域の中心となる色度を計算する限定領域中心計算部で
あり、色度データの全平均色度を計算する平均計算手段
22と、入力された基準色度と色度データ記憶部から読
みだされた色度データとから基準色度のまわりの限定さ
れた領域に属するデータを選択して出力する限定領域デ
ータ出力部23と、限定領域データ出力部から出力され
る限定領域データの平均を計算する領域限定平均計算部
25とを備えている。202は画面上に支配的な色が存
在するかどうか判定する支配色存在判定部であり、入力
された基準色度と色度データ記憶部から読みだされた色
度データとから基準色度のまわりの限定された領域に属
するデータを選択して出力する限定領域データ出力部3
0と、限定領域データ出力部から出力されるデータの数
をカウントするカウンター31と、カウンター31から
の出力が第1の設定値よりも大きい場合に支配色存在と
し、第2の設定値よりも小さい場合にGWA不成立と
し、その他の場合には支配色不在とする支配色存在判定
しきい値処理部203とを備えている。
【0105】204は支配色存在判定部202からの判
定結果を処理してGWAの成立を調べることで光源推定
に適した画像であるかどうかを判定する判定結果処理部
であり、光源ラインに垂直な方向へ射影しその方向の成
分の大きさである変位に変換する射影手段205と、色
度データから求められた変位の分散を計算する分散計算
手段206と、支配色存在判定しきい値処理部203か
らのしきい値制御信号を受けて、支配色が存在する場合
に大きなしきい値を設定し、支配色が不在の場合に小さ
なしきい値を設定し、GWA不成立の場合にしきい値を
0に設定するしきい値設定部207と、分散計算手段か
らの分散としきい値設定部からのしきい値とを受けて、
分散がしきい値より小さい場合にはGWA成立とし、そ
の他の場合にはGWA不成立とするGWA判定しきい値
処理部208とを備えている。
定結果を処理してGWAの成立を調べることで光源推定
に適した画像であるかどうかを判定する判定結果処理部
であり、光源ラインに垂直な方向へ射影しその方向の成
分の大きさである変位に変換する射影手段205と、色
度データから求められた変位の分散を計算する分散計算
手段206と、支配色存在判定しきい値処理部203か
らのしきい値制御信号を受けて、支配色が存在する場合
に大きなしきい値を設定し、支配色が不在の場合に小さ
なしきい値を設定し、GWA不成立の場合にしきい値を
0に設定するしきい値設定部207と、分散計算手段か
らの分散としきい値設定部からのしきい値とを受けて、
分散がしきい値より小さい場合にはGWA成立とし、そ
の他の場合にはGWA不成立とするGWA判定しきい値
処理部208とを備えている。
【0106】以上のように構成された画像データ判定装
置について、その動作を説明する。まず、CCDなどか
らの画像信号IS=(Y,R−Y,B−Y)は、サンプ
リング回路1に入り、適当なサンプリング規則に従って
変換される。色度変換部100はサンプリング回路1か
らブロック平均(YYi,RYYi,BYYi)を受
け、 BYi=BYYi/YYi RYi=RYYi/YYi を計算し、色度信号CSi=(BYi,RYi)に変換
する。色度データ記憶部200は、色度信号CSiを色
度データとして記憶する。記憶が終了すると、記憶制御
部20が色度データ記憶部への色度データの書き込みを
禁止する。
置について、その動作を説明する。まず、CCDなどか
らの画像信号IS=(Y,R−Y,B−Y)は、サンプ
リング回路1に入り、適当なサンプリング規則に従って
変換される。色度変換部100はサンプリング回路1か
らブロック平均(YYi,RYYi,BYYi)を受
け、 BYi=BYYi/YYi RYi=RYYi/YYi を計算し、色度信号CSi=(BYi,RYi)に変換
する。色度データ記憶部200は、色度信号CSiを色
度データとして記憶する。記憶が終了すると、記憶制御
部20が色度データ記憶部への色度データの書き込みを
禁止する。
【0107】限定領域中心計算部201の内部にある平
均計算手段22は、色度データ記憶部200から色度デ
ータを読みだし、全平均色度を計算する。限定領域デー
タ出力部23は、平均計算手段22から全平均色度信号
を受けて基準色度とし、色度データ記憶部200から色
度データを読みだし、色度データの内で、基準色度の周
囲の制限された領域に属するデータのみを出力する。領
域限定平均計算部25は、限定領域データ出力部23か
ら出力されたデータを平均し、2重平均色度とする。支
配色存在判定部202の内部にある限定領域データ出力
部30は、領域限定平均計算部25から2重平均色度を
受けて基準色度とし、色度データ記憶部200から色度
データを読みだし、色度データの内で、基準色度の周囲
の制限された領域に属するデータのみを出力する。カウ
ンター31は、限定領域データ出力部から出力されるデ
ータの数を数え、限定領域データ数N2とする。無彩色
存在判定しきい値処理部203は、限定領域データ数N
2を受けて、内部に保持するしきい値θ1、θ2と比較
し、 N2≧θ1のとき、J1=1(支配色存在) θ1>N2≧θ2のとき、J1=0(支配色不在) N2<θ2のとき、J1=2(GWA不成立) とする。判定結果処理部204の内部にある射影手段2
05は、色度データ記憶部200から色度データCSi
=(C1i,C2i)、i=1、・・・ 、Nを受けて、図
4の光源ラインに垂直な方向(V1,V2)に射影し、
その方向の成分の大きさ、すなわち光源ラインからの変
位 Xi=BYi・V1+RYi・V2 <X>=(ΣXi)/N に変換する。分散計算手段206は、射影手段205か
ら、変位Xi、<X>を受けて、分散 SGM={Σ(Xi−<X>)2 }/N を計算する。しきい値設定部207は、内部に設定値θ
3、θ4を保持しており、支配色存在判定しきい値処理
部203からのしきい値制御信号J1を受けて、 J1=1のとき、θs=θ3 J1=0のとき、θs=θ4 J1=2のとき、θs=0 とする。ただし、θ3≧θ4である。GWA判定しきい
値処理部208は、分散計算手段206からの画像デー
タ分散SGMとしきい値設定部207からのしきい値信
号θsとを受けて、 SGM<θsの時、J4=1(GWA成立) その他の場合には、J4=0(GWA不成立) とする。
均計算手段22は、色度データ記憶部200から色度デ
ータを読みだし、全平均色度を計算する。限定領域デー
タ出力部23は、平均計算手段22から全平均色度信号
を受けて基準色度とし、色度データ記憶部200から色
度データを読みだし、色度データの内で、基準色度の周
囲の制限された領域に属するデータのみを出力する。領
域限定平均計算部25は、限定領域データ出力部23か
ら出力されたデータを平均し、2重平均色度とする。支
配色存在判定部202の内部にある限定領域データ出力
部30は、領域限定平均計算部25から2重平均色度を
受けて基準色度とし、色度データ記憶部200から色度
データを読みだし、色度データの内で、基準色度の周囲
の制限された領域に属するデータのみを出力する。カウ
ンター31は、限定領域データ出力部から出力されるデ
ータの数を数え、限定領域データ数N2とする。無彩色
存在判定しきい値処理部203は、限定領域データ数N
2を受けて、内部に保持するしきい値θ1、θ2と比較
し、 N2≧θ1のとき、J1=1(支配色存在) θ1>N2≧θ2のとき、J1=0(支配色不在) N2<θ2のとき、J1=2(GWA不成立) とする。判定結果処理部204の内部にある射影手段2
05は、色度データ記憶部200から色度データCSi
=(C1i,C2i)、i=1、・・・ 、Nを受けて、図
4の光源ラインに垂直な方向(V1,V2)に射影し、
その方向の成分の大きさ、すなわち光源ラインからの変
位 Xi=BYi・V1+RYi・V2 <X>=(ΣXi)/N に変換する。分散計算手段206は、射影手段205か
ら、変位Xi、<X>を受けて、分散 SGM={Σ(Xi−<X>)2 }/N を計算する。しきい値設定部207は、内部に設定値θ
3、θ4を保持しており、支配色存在判定しきい値処理
部203からのしきい値制御信号J1を受けて、 J1=1のとき、θs=θ3 J1=0のとき、θs=θ4 J1=2のとき、θs=0 とする。ただし、θ3≧θ4である。GWA判定しきい
値処理部208は、分散計算手段206からの画像デー
タ分散SGMとしきい値設定部207からのしきい値信
号θsとを受けて、 SGM<θsの時、J4=1(GWA成立) その他の場合には、J4=0(GWA不成立) とする。
【0108】こうして、支配色が存在する画像とそうで
ない画像を判別して、判別した結果を用いてGWA判定
のしきい値を設定し、垂直分散と設定したしきい値との
大小関係からGWAの成立を判定することで、光源推定
に適した画像を判別する画像データ判定装置が実現され
る。
ない画像を判別して、判別した結果を用いてGWA判定
のしきい値を設定し、垂直分散と設定したしきい値との
大小関係からGWAの成立を判定することで、光源推定
に適した画像を判別する画像データ判定装置が実現され
る。
【0109】なお、本実施例では、支配色存在判定部か
ら出力されるしきい値制御信号J1として、支配色存
在、支配色不在、GWA不成立の3通りとしたが、2重
平均のまわりの色度データ数N2が十分小さい場合に
は、垂直分散が大きくなりGWA判定部でGWA不成立
と判定されるケースが多いので、J1として、支配色存
在、支配色不在の2通りとしてもよい。そして、支配色
存在判定部からの判定結果が支配色存在の場合にGWA
成立とし、そうでない場合にGWA不成立とするように
判定結果処理部を構成してもよい。
ら出力されるしきい値制御信号J1として、支配色存
在、支配色不在、GWA不成立の3通りとしたが、2重
平均のまわりの色度データ数N2が十分小さい場合に
は、垂直分散が大きくなりGWA判定部でGWA不成立
と判定されるケースが多いので、J1として、支配色存
在、支配色不在の2通りとしてもよい。そして、支配色
存在判定部からの判定結果が支配色存在の場合にGWA
成立とし、そうでない場合にGWA不成立とするように
判定結果処理部を構成してもよい。
【0110】さらに、支配色存在判定部から出力される
しきい値制御信号J1は3通り以上としてもよい。この
とき、しきい値設定部の内部に保持する設定値を増やす
ことで、よりきめ細かくGWA判定用しきい値θsを設
定できるようになり、画像データ判定精度が向上する。
これらの事柄は、以下の実施例においても同様なので、
繰り返さない。
しきい値制御信号J1は3通り以上としてもよい。この
とき、しきい値設定部の内部に保持する設定値を増やす
ことで、よりきめ細かくGWA判定用しきい値θsを設
定できるようになり、画像データ判定精度が向上する。
これらの事柄は、以下の実施例においても同様なので、
繰り返さない。
【0111】(実施例4)次に、本発明の第4の実施例
について図面を参照しながら説明する。第4の実施例
は、支配色存在判定部と特定色判定部とを備えた光源推
定装置である。第1の実施例で光源色度推定部について
述べ、第3の実施例で画像データ判定装置について述べ
たが、光源推定装置の一部分と考えたときには、支配色
存在判定部を共通の部分とし、光源色度候補の一つを限
定領域中心色度とすることができる。また、支配色存在
判定部を光源推定部の一部として使う場合には、きめ細
かい判定結果を出力するように支配色存在判定部を構成
した方が、光源推定精度が向上する。そこで、第4の実
施例では、光源色度推定部分と画像データ判定部分を備
え、かつ、推定された光源色度と判定結果を用いて光源
推定を実行する光源推定装置について述べる。
について図面を参照しながら説明する。第4の実施例
は、支配色存在判定部と特定色判定部とを備えた光源推
定装置である。第1の実施例で光源色度推定部について
述べ、第3の実施例で画像データ判定装置について述べ
たが、光源推定装置の一部分と考えたときには、支配色
存在判定部を共通の部分とし、光源色度候補の一つを限
定領域中心色度とすることができる。また、支配色存在
判定部を光源推定部の一部として使う場合には、きめ細
かい判定結果を出力するように支配色存在判定部を構成
した方が、光源推定精度が向上する。そこで、第4の実
施例では、光源色度推定部分と画像データ判定部分を備
え、かつ、推定された光源色度と判定結果を用いて光源
推定を実行する光源推定装置について述べる。
【0112】図12は、第4の実施例である光源推定装
置の構成を示すブロック図である。図12において、1
はCCD等からの画像信号ISを適当なサンプリング規
則にしたがって変換するサンプリング回路、100はサ
ンプリングされた画像データを色度信号に変換する色度
変換部、200は変換された色度信号を色度データとし
て記憶する色度データ記憶部、20は画像判定が終了す
るまで色度データ記憶部への記憶を禁止する記憶制御部
である。301は光源色度を推定する光源色度推定部で
あり、色度データの全平均色度を計算する平均計算手段
22と、入力された基準色度と色度データ記憶部から読
みだされた色度データとから基準色度のまわりの限定さ
れた領域に属するデータを選択して出力する限定領域デ
ータ出力部23、24と、限定領域データ出力部から出
力される限定領域データの平均を計算する領域限定平均
計算部25、26と、平均計算手段からの全平均色度と
領域限定平均計算部からの多重平均色度とを記憶する光
源色度候補記憶部27と、色度データを黒体輻射からの
光源の色が黒体の温度をパラメータとしたときに色度平
面上に描く軌跡を近似する直線に、光源色度候補が近い
場合に特定色と判定し、そうでない場合に特定色以外と
判定する特定色判定部33と、支配色不在またはGWA
不成立の場合に全平均色度を優先色度とし、そうでない
場合に多重平均色度を優先色度とする優先色度選択部3
02と、全平均色度が優先色度の場合には全平均色度を
推定光源色度とし、多重平均色度が優先色度で、かつ、
特定色判定部からの特定色判定信号が特定色ならば多重
平均色度を推定光源色度とし、いずれの場合にもあては
まらないときには「条件付きで全平均色度」とする総合
色度判定部36とを備えている。
置の構成を示すブロック図である。図12において、1
はCCD等からの画像信号ISを適当なサンプリング規
則にしたがって変換するサンプリング回路、100はサ
ンプリングされた画像データを色度信号に変換する色度
変換部、200は変換された色度信号を色度データとし
て記憶する色度データ記憶部、20は画像判定が終了す
るまで色度データ記憶部への記憶を禁止する記憶制御部
である。301は光源色度を推定する光源色度推定部で
あり、色度データの全平均色度を計算する平均計算手段
22と、入力された基準色度と色度データ記憶部から読
みだされた色度データとから基準色度のまわりの限定さ
れた領域に属するデータを選択して出力する限定領域デ
ータ出力部23、24と、限定領域データ出力部から出
力される限定領域データの平均を計算する領域限定平均
計算部25、26と、平均計算手段からの全平均色度と
領域限定平均計算部からの多重平均色度とを記憶する光
源色度候補記憶部27と、色度データを黒体輻射からの
光源の色が黒体の温度をパラメータとしたときに色度平
面上に描く軌跡を近似する直線に、光源色度候補が近い
場合に特定色と判定し、そうでない場合に特定色以外と
判定する特定色判定部33と、支配色不在またはGWA
不成立の場合に全平均色度を優先色度とし、そうでない
場合に多重平均色度を優先色度とする優先色度選択部3
02と、全平均色度が優先色度の場合には全平均色度を
推定光源色度とし、多重平均色度が優先色度で、かつ、
特定色判定部からの特定色判定信号が特定色ならば多重
平均色度を推定光源色度とし、いずれの場合にもあては
まらないときには「条件付きで全平均色度」とする総合
色度判定部36とを備えている。
【0113】303は支配色存在判定部であり、限定領
域データ出力部24から出力されるデータの数をカウン
トするカウンター31と、カウンターからの出力が第1
の設定値よりも大きい場合に支配色存在とし、カウンタ
ーからの出力が第2の設定値よりも小さい場合にGWA
不成立とし、カウンターからの出力が第2の設定値より
も大きく第3の設定値よりも小さい場合に支配色不在と
し、その他の場合には支配色存在可能性小とする支配色
存在判定しきい値処理部304とを備えている。305
は、支配色存在判定部303からの判定結果を処理して
GWAの成立を調べることで光源推定に適した画像であ
るかどうかを判定する判定結果処理部であり、色度デー
タを黒体輻射からの光源の色が黒体の温度をパラメータ
としたときに色度平面上に描く軌跡を近似する直線に垂
直な方向へ射影しその方向の成分の大きさである変位に
変換する射影手段205と、色度データから求められた
変位の分散を計算する分散計算手段206と、支配色存
在判定しきい値処理部304からのしきい値制御信号を
受けて、支配色存在の場合に大きなしきい値を設定し、
GWA不成立の場合にしきい値を0に設定し、その他の
場合には小さなしきい値を設定するしきい値設定部30
6と、分散計算手段からの分散としきい値設定部からの
しきい値とを受けて、分散がしきい値より小さい場合に
はGWA成立とし、その他の場合にはGWA不成立とす
るGWA判定しきい値処理部208と、総合色度判定部
で判定された推定光源色度を受け色度平面上を適切に分
割し各領域に光源を割り振り、推定光源色度がどの領域
に属するかで光源を推定する光源推定部307と、GW
A判定しきい値処理部からの光源推定制御信号と光源推
定部からの光源推定結果とを用いて総合的な判定を行う
総合判定部308と、総合判定部からの総合判定結果を
受け、それが判定不能であった場合には内部に保持され
た光源推定結果を出力する光源推定結果保持部309と
を備えている。
域データ出力部24から出力されるデータの数をカウン
トするカウンター31と、カウンターからの出力が第1
の設定値よりも大きい場合に支配色存在とし、カウンタ
ーからの出力が第2の設定値よりも小さい場合にGWA
不成立とし、カウンターからの出力が第2の設定値より
も大きく第3の設定値よりも小さい場合に支配色不在と
し、その他の場合には支配色存在可能性小とする支配色
存在判定しきい値処理部304とを備えている。305
は、支配色存在判定部303からの判定結果を処理して
GWAの成立を調べることで光源推定に適した画像であ
るかどうかを判定する判定結果処理部であり、色度デー
タを黒体輻射からの光源の色が黒体の温度をパラメータ
としたときに色度平面上に描く軌跡を近似する直線に垂
直な方向へ射影しその方向の成分の大きさである変位に
変換する射影手段205と、色度データから求められた
変位の分散を計算する分散計算手段206と、支配色存
在判定しきい値処理部304からのしきい値制御信号を
受けて、支配色存在の場合に大きなしきい値を設定し、
GWA不成立の場合にしきい値を0に設定し、その他の
場合には小さなしきい値を設定するしきい値設定部30
6と、分散計算手段からの分散としきい値設定部からの
しきい値とを受けて、分散がしきい値より小さい場合に
はGWA成立とし、その他の場合にはGWA不成立とす
るGWA判定しきい値処理部208と、総合色度判定部
で判定された推定光源色度を受け色度平面上を適切に分
割し各領域に光源を割り振り、推定光源色度がどの領域
に属するかで光源を推定する光源推定部307と、GW
A判定しきい値処理部からの光源推定制御信号と光源推
定部からの光源推定結果とを用いて総合的な判定を行う
総合判定部308と、総合判定部からの総合判定結果を
受け、それが判定不能であった場合には内部に保持され
た光源推定結果を出力する光源推定結果保持部309と
を備えている。
【0114】以上のように構成された光源推定装置につ
いて、その動作を説明する。まず、CCDなどからの画
像信号IS=(Y,R−Y,B−Y)は、サンプリング
回路1に入り、適当なサンプリング規則に従って変換さ
れる。色度変換部100はサンプリング回路1からブロ
ック平均(YYi,RYYi,BYYi)を受け、 BYi=BYYi/YYi RYi=RYYi/YYi を計算し、色度信号CSi=(BYi,RYi)に変換
する。色度データ記憶部200は、色度信号CSiを色
度データとして記憶する。記憶が終了すると、記憶制御
部20が色度データ記憶部への色度データの書き込みを
禁止する。
いて、その動作を説明する。まず、CCDなどからの画
像信号IS=(Y,R−Y,B−Y)は、サンプリング
回路1に入り、適当なサンプリング規則に従って変換さ
れる。色度変換部100はサンプリング回路1からブロ
ック平均(YYi,RYYi,BYYi)を受け、 BYi=BYYi/YYi RYi=RYYi/YYi を計算し、色度信号CSi=(BYi,RYi)に変換
する。色度データ記憶部200は、色度信号CSiを色
度データとして記憶する。記憶が終了すると、記憶制御
部20が色度データ記憶部への色度データの書き込みを
禁止する。
【0115】光源色度推定部301の内部にある平均計
算手段22は、色度データ記憶部200から色度データ
を読みだし、全平均色度を計算する。限定領域データ出
力部23は、平均計算手段22から全平均色度信号を受
けて基準色度とし、色度データ記憶部200から色度デ
ータを読みだし、色度データの内で、基準色度の周囲の
制限された領域に属するデータのみを出力する。領域限
定平均計算部25は、限定領域データ出力部23から出
力されたデータを平均し、2重平均色度とする。限定領
域データ出力部24は、領域限定平均計算部25から2
重平均色度を受けて基準色度とし、色度データ記憶部2
00から色度データを読みだし、色度データの内で、基
準色度の周囲の制限された領域に属するデータのみを出
力する。領域限定平均計算部26は、限定領域データ出
力部24から出力されたデータを平均し、3重平均色度
とする。光源色度候補記憶部27は、平均計算手段から
の全平均色度と領域限定平均計算部26からの3重平均
色度とを受けて、それぞれを光源色度候補SS1、SS
2として記憶する。
算手段22は、色度データ記憶部200から色度データ
を読みだし、全平均色度を計算する。限定領域データ出
力部23は、平均計算手段22から全平均色度信号を受
けて基準色度とし、色度データ記憶部200から色度デ
ータを読みだし、色度データの内で、基準色度の周囲の
制限された領域に属するデータのみを出力する。領域限
定平均計算部25は、限定領域データ出力部23から出
力されたデータを平均し、2重平均色度とする。限定領
域データ出力部24は、領域限定平均計算部25から2
重平均色度を受けて基準色度とし、色度データ記憶部2
00から色度データを読みだし、色度データの内で、基
準色度の周囲の制限された領域に属するデータのみを出
力する。領域限定平均計算部26は、限定領域データ出
力部24から出力されたデータを平均し、3重平均色度
とする。光源色度候補記憶部27は、平均計算手段から
の全平均色度と領域限定平均計算部26からの3重平均
色度とを受けて、それぞれを光源色度候補SS1、SS
2として記憶する。
【0116】支配色存在判定部303の内部にあるカウ
ンター31は、限定領域データ出力部24から出力され
るデータの数を数え、限定領域データ数N2とする。支
配色存在判定しきい値処理部304は、限定領域データ
数N2を受けて、内部に保持するしきい値θ1、θ2、
θ1’と比較し、 N2≧θ1のとき、J1=1(支配色存在) θ1>N2≧θ1’のとき、J1=3(支配色存在可能
性小) θ1’>N2≧θ2のとき、J1=0(支配色不在) N2<θ2のとき、J1=2(GWA不成立) とする。
ンター31は、限定領域データ出力部24から出力され
るデータの数を数え、限定領域データ数N2とする。支
配色存在判定しきい値処理部304は、限定領域データ
数N2を受けて、内部に保持するしきい値θ1、θ2、
θ1’と比較し、 N2≧θ1のとき、J1=1(支配色存在) θ1>N2≧θ1’のとき、J1=3(支配色存在可能
性小) θ1’>N2≧θ2のとき、J1=0(支配色不在) N2<θ2のとき、J1=2(GWA不成立) とする。
【0117】特定色判定部33は、光源色度候補記憶部
27から光源色度候補SS1、SS2を受け、内部に保
持する色度平面上の特定領域に光源色度候補SS2が入
るかどうかを調べ、 入っている場合には、J2=1(SS2が特定領域の内
部にある) 入っていない場合に、J2=0(SS2が特定領域の外
部にある) とする。優先色度選択部302は、支配色存在判定しき
い値処理部304からの光源推定制御信号J1を受け
て、 J1=1またはJ1=3のとき、J3=1(3重平均色
度SS2優先) J1=0またはJ1=2のとき、J3=0(全平均色度
SS1優先) とする。総合色度判定部36は、特定色判定部からの特
定色判定信号J2と優先色度選択部からの優先色度指定
信号J3と光源色度候補記憶部27からの光源色度候補
SS1、SS2とを受け、 J2=1かつJ3=1のとき、SS=SS2(3重平均
色度採用) SJJ=0(条件なし) J2=0のとき、SS=SS1(全平均色度採用) SJJ=0(条件なし) J2=1かつJ3=0のとき、SS=SS1(全平均色
度採用) SJJ=1(基本的には判定不能) とし、(SS、SJJ)を推定された光源色度として出
力する。
27から光源色度候補SS1、SS2を受け、内部に保
持する色度平面上の特定領域に光源色度候補SS2が入
るかどうかを調べ、 入っている場合には、J2=1(SS2が特定領域の内
部にある) 入っていない場合に、J2=0(SS2が特定領域の外
部にある) とする。優先色度選択部302は、支配色存在判定しき
い値処理部304からの光源推定制御信号J1を受け
て、 J1=1またはJ1=3のとき、J3=1(3重平均色
度SS2優先) J1=0またはJ1=2のとき、J3=0(全平均色度
SS1優先) とする。総合色度判定部36は、特定色判定部からの特
定色判定信号J2と優先色度選択部からの優先色度指定
信号J3と光源色度候補記憶部27からの光源色度候補
SS1、SS2とを受け、 J2=1かつJ3=1のとき、SS=SS2(3重平均
色度採用) SJJ=0(条件なし) J2=0のとき、SS=SS1(全平均色度採用) SJJ=0(条件なし) J2=1かつJ3=0のとき、SS=SS1(全平均色
度採用) SJJ=1(基本的には判定不能) とし、(SS、SJJ)を推定された光源色度として出
力する。
【0118】判定結果処理部305の内部にある射影手
段205は、色度データ記憶部200から色度データC
Si=(BYi,RYi)、i=1、・・・ 、Nを受け
て、図4の光源ラインに垂直な方向(V1,V2)に射
影し、その方向の成分の大きさ、すなわち光源ラインか
らの変位 Xi=BYi・V1+RYi・V2 <X>=(ΣXi)/N に変換する。分散計算手段206は、射影手段205か
ら、変位Xi、<X>を受けて、分散 SGM={Σ(Xi−<X>)2 }/N を計算する。しきい値設定部306は、内部に設定値θ
3、θ4を保持しており、支配色存在判定しきい値処理
部304からのしきい値制御信号J1を受けて、 J1=1のとき、θs=θ3 J1=0またはJ1=3のとき、θs=θ4 J1=2のとき、θs=0 とする。ただし、θ3≧θ4である。GWA判定しきい
値処理部208は、分散計算手段206からの画像デー
タ分散SGMとしきい値設定部207からのしきい値信
号θsとを受けて、 SGM<θsの時、J4=1(GWA成立) その他の場合には、J4=0(GWA不成立) とする。
段205は、色度データ記憶部200から色度データC
Si=(BYi,RYi)、i=1、・・・ 、Nを受け
て、図4の光源ラインに垂直な方向(V1,V2)に射
影し、その方向の成分の大きさ、すなわち光源ラインか
らの変位 Xi=BYi・V1+RYi・V2 <X>=(ΣXi)/N に変換する。分散計算手段206は、射影手段205か
ら、変位Xi、<X>を受けて、分散 SGM={Σ(Xi−<X>)2 }/N を計算する。しきい値設定部306は、内部に設定値θ
3、θ4を保持しており、支配色存在判定しきい値処理
部304からのしきい値制御信号J1を受けて、 J1=1のとき、θs=θ3 J1=0またはJ1=3のとき、θs=θ4 J1=2のとき、θs=0 とする。ただし、θ3≧θ4である。GWA判定しきい
値処理部208は、分散計算手段206からの画像デー
タ分散SGMとしきい値設定部207からのしきい値信
号θsとを受けて、 SGM<θsの時、J4=1(GWA成立) その他の場合には、J4=0(GWA不成立) とする。
【0119】光源推定部307は、あらかじめ色度平面
上を適切に分割して各領域に光源を割り振っておき、総
合色度判定部からの推定光源色度SSを受けて、推定光
源色度SSがどの領域に属するかで光源を推定し、光源
推定結果をS1とする。そして、光源推定結果S1と総
合色度判定部からの条件信号SJJとを出力する。
上を適切に分割して各領域に光源を割り振っておき、総
合色度判定部からの推定光源色度SSを受けて、推定光
源色度SSがどの領域に属するかで光源を推定し、光源
推定結果をS1とする。そして、光源推定結果S1と総
合色度判定部からの条件信号SJJとを出力する。
【0120】総合判定部308は光源推定部307とG
WA判定しきい値処理部208とからそれぞれ1次光源
推定結果S1、条件信号SSJと、光源推定制御信号J
4とを受け、 立ち上がり時は、S2=S1 非立ち上がり時でJ4=1(GWA成立)かつSSJ=
0のとき、S2=S1 非立ち上がり時でJ4=0(GWA不成立)またはSS
J=1のとき、S2=判定不能 として、2次光源推定結果S2を出力する。光源推定結
果保持部309は、総合判定部308からの2次光源推
定結果S2を受け、 S2≠判定不能のとき Sf =S2 Sbuf =S2 S2=判定不能のとき Sf =Sbuf Sbuf =Sbuf として、2次光源推定結果をSbuf に保持するととも
に、最終光源推定結果Sfを出力する。
WA判定しきい値処理部208とからそれぞれ1次光源
推定結果S1、条件信号SSJと、光源推定制御信号J
4とを受け、 立ち上がり時は、S2=S1 非立ち上がり時でJ4=1(GWA成立)かつSSJ=
0のとき、S2=S1 非立ち上がり時でJ4=0(GWA不成立)またはSS
J=1のとき、S2=判定不能 として、2次光源推定結果S2を出力する。光源推定結
果保持部309は、総合判定部308からの2次光源推
定結果S2を受け、 S2≠判定不能のとき Sf =S2 Sbuf =S2 S2=判定不能のとき Sf =Sbuf Sbuf =Sbuf として、2次光源推定結果をSbuf に保持するととも
に、最終光源推定結果Sfを出力する。
【0121】こうして、支配色が存在する画像とそうで
ない画像を判別して、判別した結果を用いてGWA判定
のしきい値を設定し、垂直分散と設定したしきい値との
大小関係からGWAの成立を判定することで、光源推定
に適した画像を判別し、光源推定に適した画像だけを用
いて光源を推定する光源推定装置が実現される。
ない画像を判別して、判別した結果を用いてGWA判定
のしきい値を設定し、垂直分散と設定したしきい値との
大小関係からGWAの成立を判定することで、光源推定
に適した画像を判別し、光源推定に適した画像だけを用
いて光源を推定する光源推定装置が実現される。
【0122】なお、サンプリングされた画像信号ISを
輝度信号と2つの色度信号に変換する輝度色度変換部
と、輝度色度変換部で変換された輝度信号と色度信号を
それぞれ輝度データ、色度データとして記憶する輝度色
度データ記憶部と、光源推定が終了するまで輝度色度デ
ータ記憶部への記憶を禁止する記憶制御部と、絞り調整
機構を制御する絞り調整機構制御部と、屋外で空などを
撮影したときに特徴的に現れる現象が起きているかどう
か判定する屋外光源検出部と、光源結果保持部からの光
源推定結果と屋外光源検出部からの検出結果を受けて総
合的に光源を判定する光源判定部とを付加することによ
り、光源推定精度を向上させることができる。輝度色度
変換部と輝度色度データ記憶部と絞り調整機構制御部と
屋外光源検出部の動作は、実施例1と同様である。光源
判定部は、屋外光源検出部で特徴的な屋外撮影画像が検
出できた場合には、光源推定結果を屋外光源とし、そう
でない場合には、光源推定結果保持部から出力される光
源推定結果を出力する。こうすることで、屋外で空など
を撮影したときに正しい光源推定ができる光源推定装置
が実現される。
輝度信号と2つの色度信号に変換する輝度色度変換部
と、輝度色度変換部で変換された輝度信号と色度信号を
それぞれ輝度データ、色度データとして記憶する輝度色
度データ記憶部と、光源推定が終了するまで輝度色度デ
ータ記憶部への記憶を禁止する記憶制御部と、絞り調整
機構を制御する絞り調整機構制御部と、屋外で空などを
撮影したときに特徴的に現れる現象が起きているかどう
か判定する屋外光源検出部と、光源結果保持部からの光
源推定結果と屋外光源検出部からの検出結果を受けて総
合的に光源を判定する光源判定部とを付加することによ
り、光源推定精度を向上させることができる。輝度色度
変換部と輝度色度データ記憶部と絞り調整機構制御部と
屋外光源検出部の動作は、実施例1と同様である。光源
判定部は、屋外光源検出部で特徴的な屋外撮影画像が検
出できた場合には、光源推定結果を屋外光源とし、そう
でない場合には、光源推定結果保持部から出力される光
源推定結果を出力する。こうすることで、屋外で空など
を撮影したときに正しい光源推定ができる光源推定装置
が実現される。
【0123】
【発明の効果】以上のように本発明は、画像信号を適当
なサンプリング規則に従って変換するサンプリング回路
と、前記サンプリングされたN個(Nは2以上の整数)
の画像信号を色度平面上の座標としてN個の色度に変換
する色度変換部と、前記N個の色度の平均座標を全平均
色度として求め、前記N個の色度の内、前記全平均色度
の限定領域に存在する色度の平均座標を多重平均色度と
して求め、全平均色度と多重平均色度を光源色度候補と
する光源色度候補計算部と、前記N個の色度の内前記多
重平均色度を中心とした限定領域に含まれる色度の総数
から、画像中に多く含まれる色を示す支配色が存在する
かを判定する支配色存在判定部と、前記支配色存在判定
部からの判定結果から前記光源色度候補の中から1つを
選択し光源色度とする光源色度判定部と、前記光源色度
が色度平面上のどの領域に属するかで光源を推定する光
源推定部とからなる構成によって、正しく光源を推定す
ることにより、ビデオカメラなどにおいて正しい色調を
再現することができる。
なサンプリング規則に従って変換するサンプリング回路
と、前記サンプリングされたN個(Nは2以上の整数)
の画像信号を色度平面上の座標としてN個の色度に変換
する色度変換部と、前記N個の色度の平均座標を全平均
色度として求め、前記N個の色度の内、前記全平均色度
の限定領域に存在する色度の平均座標を多重平均色度と
して求め、全平均色度と多重平均色度を光源色度候補と
する光源色度候補計算部と、前記N個の色度の内前記多
重平均色度を中心とした限定領域に含まれる色度の総数
から、画像中に多く含まれる色を示す支配色が存在する
かを判定する支配色存在判定部と、前記支配色存在判定
部からの判定結果から前記光源色度候補の中から1つを
選択し光源色度とする光源色度判定部と、前記光源色度
が色度平面上のどの領域に属するかで光源を推定する光
源推定部とからなる構成によって、正しく光源を推定す
ることにより、ビデオカメラなどにおいて正しい色調を
再現することができる。
【0124】
【0125】
【0126】
【0127】
【0128】
【図1】本発明の第1の実施例における光源推定装置の
構成を示すブロック結線図
構成を示すブロック結線図
【図2】同実施例におけるカラーチャート認識部の構成
を示すブロック結線図
を示すブロック結線図
【図3】(a) 同実施例における光源色度候補計算部
の構成を示すブロック結線図 (b) 同実施例における屋外光源検出部の構成を示す
ブロック結線図
の構成を示すブロック結線図 (b) 同実施例における屋外光源検出部の構成を示す
ブロック結線図
【図4】本発明の原理を説明するための色空間における
「光源ライン」と「光源ライン」に近い特定領域を示す
概念図
「光源ライン」と「光源ライン」に近い特定領域を示す
概念図
【図5】画像データのサンプリング形式の一例を示す概
念図
念図
【図6】画像データのサンプリング形式の一例を示す概
念図
念図
【図7】本発明の原理を説明するための分散−「回転相
関係数」平面上でのカラーチャート画像と一般画像との
分布の概念図
関係数」平面上でのカラーチャート画像と一般画像との
分布の概念図
【図8】本発明の第1の実施例におけるカラーチャート
認識部の動作を示すフローチャート
認識部の動作を示すフローチャート
【図9】本発明の第2の実施例におけるカラーチャート
認識装置の構成を示すブロック結線図
認識装置の構成を示すブロック結線図
【図10】同実施例におけるカラーチャート認識装置の
動作を示すフローチャート
動作を示すフローチャート
【図11】本発明の第3の実施例における画像データ判
定装置の構成を示すブロック図
定装置の構成を示すブロック図
【図12】本発明の第4の実施例における光源推定装置
の構成を示すブロック図
の構成を示すブロック図
1 サンプリング回路 2 輝度色度変換部 3 分散計算手段 4 分散計算手段 5 共分散計算手段 6 射影手段 7 分散計算手段 8 2次方程式求解手段 9 座標変換手段 10 相関係数計算手段 11 しきい値処理手段 12 しきい値処理手段 13 AND回路 14 カラーチャート認識部 15 統計量計算部 16 画像分散計算部 17 平均計算手段 18 カラーチャート用光源色度推定部 19 輝度色度データ記憶部 20 記憶制御部 21 光源色度候補計算部 22 平均計算手段 23 限定領域データ出力部 24 限定領域データ出力部 25 領域限定平均計算部 26 領域限定平均計算部 27 光源色度候補記憶部 28 限定領域中心計算部 29 支配色存在判定部 30 限定領域データ出力部 31 カウンター 32 支配色存在判定しきい値処理部 33 特定色判定部 34 光源色度判定部 35 優先色度選択部 36 総合色度判定部 37 推定光源色度選択部 38 光源推定部 39 絞り調整機構制御部 40 しきい値処理手段 41 しきい値処理手段 42 しきい値処理手段 43 高色温度判定部 44 AND回路 45 カウンター 46 検出制御部 47 しきい値処理手段 48 AND回路 49 光源判定部50 一般画像用光源色度推定部 71 射影手段 72 射影手段 73 演算回路 100 色度変換部 101 カラーチャート認識部 102 統計量計算部 103 画像分散計算部 200 色度データ記憶部 201 限定領域中心計算部 202 支配色存在判定部 203 支配色存在判定しきい値処理部 204 判定結果処理部 205 射影手段 206 分散計算手段 207 しきい値設定部 208 GWA判定しきい値処理部 301 光源色度推定部 302 優先色度選択部 303 支配色存在判定部 304 支配色存在判定しきい値処理部 305 判定結果処理部 306 しきい値設定部 307 光源推定部 308 総合判定部 309 光源推定結果保持部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−49048(JP,A) 特開 平5−49049(JP,A) 特開 平5−111059(JP,A) 特開 昭63−13489(JP,A) 特開 平3−16494(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 17/02 H04N 9/73
Claims (6)
- 【請求項1】 画像信号を適当なサンプリング規則に従
って変換するサンプリング回路と、前記サンプリングさ
れたN個(Nは2以上の整数)の画像信号を色度平面上
の座標としてN個の色度に変換する色度変換部と、前記
N個の色度の平均座標を全平均色度として求め、前記N
個の色度の内、前記全平均色度の限定領域に存在する色
度の平均座標を多重平均色度として求め、全平均色度と
多重平均色度を光源色度候補とする光源色度候補計算部
と、前記N個の色度の内前記多重平均色度を中心とした
限定領域に含まれる色度の総数から、画像中に多く含ま
れる色を示す支配色が存在するかを判定する支配色存在
判定部と、前記支配色存在判定部からの判定結果から前
記光源色度候補の中から1つを選択し光源色度とする光
源色度判定部と、前記光源色度が色度平面上のどの領域
に属するかで光源を推定する光源推定部とを備えた光源
推定装置。 - 【請求項2】 光源色度候補計算部は、N個の色度の平
均座標を全平均色度として計算する平均計算手段と、前
記N個の色度の内、前記全平均色度または多重平均色度
の周辺の限定領域に属する色度を選択して出力する限定
領域データ出力部と、前記限定領域データ出力部から出
力された色度の平均座標を多重平均色度として計算する
領域限定平均計算部と、前記全平均色度と前記多重平均
色度とを記憶して出力する光源色度候補記憶部とを備
え、前記多重平均色度の周辺の限定領域に属する色度か
ら多重平均色度を繰り返し求めることを特徴とする請求
項1記載の光源推定装置。 - 【請求項3】 光源色度判定部は、前記支配色存在判定
部からの判定結果が支配色不在の場合に全平均色度を優
先色度とし、そうでない場合に多重平均色度を優先色度
とする優先色度選択部と、前記多重平均色度があらかじ
め色度平面上に設定した領域に含まれる時は特定色と判
定し、領域に含まれない時は特定色以外と判定する特定
色判定部と、前記多重平均色度が優先色度で、かつ、前
記特定色判定部からの判定結果が特定色ならばその色度
を光源色度とし、そうでない場合には前記全平均色度を
光源色度とする総合色度判定部とを備えた請求項2に記
載の光源推定装置。 - 【請求項4】 前記光源色度判定部からの優先色度が多
重平均色度で、かつ特 定色以外と判定されたとき、判定
不能とする総合判定部と、前記総合判定部からの判定結
果が判定可能な場合は、前記光源推定部からの光源推定
結果を保持し、判定不能の場合は内部に保持された光源
推定結果を出力する光源推定結果保持部とを備えた請求
項3記載の光源推定装置。 - 【請求項5】 前記N個の色度がカラーチャートを撮影
したカラーチャート画像かどうかを色度平面上の分布か
ら認識するカラーチャート認識部と、前記N個の色度の
平均座標を全平均色度として計算するカラーチャート用
光源色度推定部と、カラーチャート画像が認識された場
合には全平均色度を光源色度として、そうでない場合に
は光源色度判定部からの光源色度を光源推定部に出力す
る推定光源色度選択部とを備えた請求項1記載の光源推
定装置。 - 【請求項6】 カラーチャートの認識は、前記N個の色
度の色度分布が主成分軸にどの程度沿っているかを表わ
す回転相関係数が小さく、かつ、前記N個の色度の分散
が大きいことを特徴とする請求項5記載の光源推定装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4222432A JP3052592B2 (ja) | 1992-08-21 | 1992-08-21 | 光源推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4222432A JP3052592B2 (ja) | 1992-08-21 | 1992-08-21 | 光源推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0670345A JPH0670345A (ja) | 1994-03-11 |
JP3052592B2 true JP3052592B2 (ja) | 2000-06-12 |
Family
ID=16782308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4222432A Expired - Fee Related JP3052592B2 (ja) | 1992-08-21 | 1992-08-21 | 光源推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3052592B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003085989A1 (fr) * | 2002-04-04 | 2003-10-16 | Nikon Corporation | Dispositif de traitement d'images, programme de traitement d'images et procede de traitement d'images |
JP2004080402A (ja) | 2002-08-19 | 2004-03-11 | Nec Viewtechnology Ltd | ダイナミックホワイトバランス調整回路及びマルチ画面表示装置 |
WO2013145295A1 (ja) | 2012-03-30 | 2013-10-03 | 富士通株式会社 | カラーチャート検出装置、カラーチャート検出方法及びカラーチャート検出用コンピュータプログラム |
WO2016158812A1 (ja) * | 2015-04-01 | 2016-10-06 | コニカミノルタ株式会社 | 測色装置および測色方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62134778A (ja) * | 1985-12-06 | 1987-06-17 | Nec Corp | カラ−パタ−ン検出方法及び装置 |
JPH02205984A (ja) * | 1989-02-06 | 1990-08-15 | Canon Inc | 画像処理装置 |
-
1992
- 1992-08-21 JP JP4222432A patent/JP3052592B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0670345A (ja) | 1994-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10542243B2 (en) | Method and system of light source estimation for image processing | |
JP6478129B2 (ja) | 方法、プロセッサ、モバイルデバイス、プログラムおよびコンピュータ可読記憶媒体 | |
US10013764B2 (en) | Local adaptive histogram equalization | |
EP0519761B1 (en) | Devices for judging quality of an image | |
US20200154086A1 (en) | White Balance Method for Image and Terminal Device | |
US8233094B2 (en) | Methods, systems and apparatuses for motion detection using auto-focus statistics | |
US20140125836A1 (en) | Robust selection and weighting for gray patch automatic white balancing | |
WO2022257396A1 (zh) | 图像中的色边像素点的确定方法、确定装置和计算机设备 | |
CN108063934B (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
Li et al. | Color constancy using achromatic surface | |
JP3052592B2 (ja) | 光源推定装置 | |
Mazin et al. | Estimation of illuminants from projections on the planckian locus | |
CN104883520A (zh) | 图像处理装置和图像处理装置的控制方法 | |
US10499047B2 (en) | Image processing apparatus, image processing system, and non-transitory computer readable medium | |
JP5265338B2 (ja) | イルミナントの推定 | |
CN112995635B (zh) | 图像的白平衡处理方法、装置、电子设备和存储介质 | |
CN112995633B (zh) | 图像的白平衡处理方法、装置、电子设备和存储介质 | |
CN115426487A (zh) | 色彩校正矩阵调整方法、装置、电子设备及可读存储介质 | |
CN112243118B (zh) | 白平衡校正方法、装置、设备及存储介质 | |
KR100695128B1 (ko) | 컬러 영상으로부터의 조명색 추출 방법 | |
JPH0549049A (ja) | カラーチヤート認識装置とgwa判定装置と光源推定装置 | |
KR100230446B1 (ko) | 칼라 화상으로부터 조명의 칼라를 결정하는 방법 | |
CN112995634B (zh) | 图像的白平衡处理方法、装置、电子设备和存储介质 | |
JP2506584B2 (ja) | 画像判定装置 | |
CN111275725B (zh) | 图像的色温与色调的确定方法及装置、存储介质、终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080407 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |