JP2006135962A

JP2006135962A - 画像の白色点を推定するための方法およびシステム

Info

Publication number: JP2006135962A
Application number: JP2005309704A
Authority: JP
Inventors: Xuemei Zhang; シューメイ・チャン
Original assignee: Agilent Technologies Inc
Current assignee: Agilent Technologies Inc
Priority date: 2004-11-01
Filing date: 2005-10-25
Publication date: 2006-05-25
Also published as: GB0522304D0; TW200623900A; GB2419769A; CN1770876B; KR20060052353A; US20060092171A1; CN1770876A

Abstract

【課題】白色点の推定の精度を向上させる。
【解決手段】画像のそれぞれの色平面について、該色平面内の選択されたピクセル対の間の差分値を求める。該ピクセル対は、隣接したピクセルでもよいし、隣接していないピクセルでもよい。それぞれの色平面について、該ピクセルの差分値に基づく統計値を用いて、白色点を推定する。
【選択図】図１

Description

本発明は、画像の白色点を推定するための方法およびシステムに関する。

異なるタイプの光源は、デジタルカメラまたはスキャナなどのデジタルデバイスが、シーン(scene, 場面)の色をどのように捕捉するかに影響を与える。タングステンライトなどの暖色光を放射する光源は、寒色光を放射する光源と、光源に依存した色の変化が異なる。何ら処理をしなければ、光源に依存した色の変化により、捕捉された画像中に好ましくないカラーキャスト(color cast,色カブリ)が生じるおそれがある。

画像における光源の影響を低減するために、システムは、捕捉した画像を処理する時に、ホワイトバランス(white balance)すなわち光源補正を採用する。ホワイトバランスは、典型的には、２ステップのプロセスである。第１のステップは、白色点の推定(white point estimation)を含み、ここで、シーンまたは画像の光源のスペクトルが推定される。代替的に、システムによっては、シーンにおける白い面(white surface)に対するデジタルデバイスの反応を求めることによって、白色点を推定する。

第２のステップでは、推定した白色点に基づいて、画像内の色値を調節する。色の調節は、いくつかの技術のうちの１つを使用して行うことができる。ある技術では、センサの色空間内のピクセル値を独立してスケーリングする。別の技術では、各識別された光源について異なる３×３線形変換を適用する。

どの色調節技術を使用しても、調節の効果は、白色点推定の精度の影響を受ける。白色点推定が、画像内の白色面の色値を適切に表現していれば、人間の眼には、画像中の対象物の色は、より調和したものとして映る。ホワイトバランスが、より精度の高い白色点推定に基づいていれば、シーンの光源が異なっても、その影響を低減することができる。

本発明は、画像の白色点を推定するための方法およびシステムを提供する。画像の色平面のそれぞれについて、同じ色平面内の選択されたピクセル対の間の差分値を求める。該ピクセル対は、隣接するピクセルを含んでいてもよいし、または隣接していないピクセルを含んでもよい。その後、それぞれの色平面のピクセル差分値に基づいた統計値を使用して、白色点を推定する。

本発明は、次に記述する本発明の実施形態の詳細な説明を、図面と共に参照すれば、最良に理解されよう。

以下の説明は、当業者が、本発明による実施形態を作成および使用することができるように提示され、特許出願およびその要件を考慮して提供されるものである。当業者には、開示された実施形態に対する種々の変更が明らかであろう。また、本明細書の一般的な原理は、他の実施形態にも適用されることができる。したがって、本発明は、示された実施形態に限定されるものではなく、本発明には、特許請求の範囲および本明細書に記述する原理および特徴に従った、最も広い範囲が与えられるべきである。

次に図面、特に図１を参照すると、本発明の一実施形態による白色点推定の第１の方法のフローチャートが示されている。図１の実施形態は、画像全体について、単一の一貫した光源を仮定している。しかし、本発明による他の実施形態は、この仮定に限定されるものではない。たとえば、画像において、２つまたは２つ以上の色の異なる光源が空間的に存在する場合、本発明による実施形態は、該画像内のサブ領域について図１の方法を行い、それぞれの光源を別個に推定することができる。

最初に、ブロック１００に示すように、画像の一部についてのピクセル値を受け取る。その後、１つの色平面内の２つの選択されたピクセル間の差分値を求める（ブロック１０２）。たとえば、本発明の一実施形態では、画像中の各ピクセルは、赤、緑、青の色値を含む。ブロック１０２では、たとえば赤色の平面など、３つの色平面のうちの１つにおける２つのピクセル間の差分値を求める。

差分値は、式（Ａ_λ１−Ａ’_λ１）で表されることができる。該式で、Ａ_λ１は、或るピクセルについての波長λにおける表面反射率に等しく、Ａ’_λ１は、他のピクセルについての同じ波長における表面反射率に等しい。本発明の一実施形態では、２つの水平方向で隣接するピクセル間の差分値を計算する。本発明の他の実施形態では、２つの垂直方向で隣接するピクセルを使用して該差分値を算出する。本発明の他の実施形態では、画像内の任意の場所のピクセルを使用して該差分値を計算することができる。

次にブロック１０４では、該差分値の絶対値を得る。したがって、式（Ａ_λ１−Ａ’_λ１）は、｜（Ａ_λ１―Ａ’_λｌ）｜となる。その後、該差分値の絶対値を、同じ色平面内のピクセルに関する差分値の絶対値の統計値に含める。ブロック１０６に示すように、統計値も、メモリに記憶される。

図１の実施形態では、統計値は、同じ色平面内のピクセルの差分値の絶対値の平均として実現される。下記の［数１］に示す式は、差分値の絶対値の平均を表しており、ｘは、或る１つのピクセルの色値を表し、ｘ’は、他のピクセルの色値を表す。たとえば、ｘとｘ’は、ＲＧＢカラー画像内の２つのピクセルに関する赤色値、または緑色値、または青色値を表すことができる。本発明による他の実施形態では、統計値は、たとえば、差分値の平方、中央値、複数の解像度スケールに対するピクセルの差などの他のタイプの統計値で実現されることができる。

ブロック１０８では、該１つの色平面内の選択されたピクセルについて、さらなる差分値を計算する必要があるかどうかについて決定する。必要であれば、プロセスはブロック１０２に戻り、同じ色平面内の選択されたピクセルについて、すべての所望の差分値を求めるまで、該プロセスを継続する。同じ色平面内の選択されたピクセルに対してすべての所望の差分値が求められたならば、ブロック１１０において、他に分析すべき色平面があるかどうかについて判断する。該分析すべき色平面がある場合、該方法は、ブロック１１２において、次の色平面に移る。その後、該方法はブロック１０２に戻り、ここで、該次の色平面内の選択されたピクセルを処理する。

すべての色平面内で選択されたピクセルについて、すべての所望の差分値が求められたならば、ブロック１１４で、画像全体について処理を行ったかどうかについて判断する。まだ処理されていない場合、方法はブロック１００に戻り、画像全体が処理されるまで繰り返す。本発明の一実施形態では、画像全体を分析したならば、差分値の絶対値の最終的に計算された平均値（下記の［数２］に示す）を使用して、白色点を推定する。本発明の他の実施形態では、差分値の絶対値の平均値を、既知の光源と関連づけられた値と比較することで、光源の種類を判断し、該既知の光源についての白色点を、該白色点の推定に使用する。その後、これらの白色点の推定値を使用して、ホワイトバランスおよび色補正を行う（ブロック１１６）。

図２Ａから図２Ｂは、本発明の一実施形態による、画像の白色点推定に関する第２の方法のフローチャートを示す。図１の実施形態と同様に、画像全体について単一の一貫した光源を仮定している。しかしながら、本発明の他の実施形態はこの仮定に制限されない。たとえば、画像内に、複数の色が異なる光源が空間的に存在する場合、本発明の実施形態では、画像内のサブ領域で図２の方法を行い、それぞれの光源を別個に推定することができる。

最初に、ブロック２００で、画像の一部についてのピクセル値を受け取る。その後、１つの色平面内の１つの方向で、２つのピクセル間の差分値を求める（ブロック２０２）。たとえば、本発明の一実施形態では、２つの水平方向に隣接するピクセル間で差分値を計算する。本発明の他の実施形態では、２つの垂直方向に隣接するピクセルを使用して差分値を算出する。

その後、該差分値の絶対値を得て、該得た絶対値を、該差分値の絶対値の平均に含め、該平均値を、メモリに記憶する（ブロック２０４、２０６）。図２の実施形態では、差分値の絶対値の平均を統計値として使用したが、本発明の他の実施形態では、白色点推定に、異なる値の異なる統計値を使用することができる。

次にブロック２０８では、同じ色平面内の別の方向で、２つのピクセル間の差分値を算出する。たとえば、本発明の一実施形態では、ブロック２０２で算出される差分値は、水平方向のピクセル間の差であり、ブロック２０８で計算される差分値は、垂直方向のピクセル間の差である。

その後、ブロック２１０に示すように、第２の差分値の絶対値を得る。第２の差分値の絶対値を、別の平均に含め、該第２の平均値を、メモリに記憶する（ブロック２１２）。ブロック２１４では、該選択されている色平面内のピクセルについて、さらなる差分値を計算する必要があるかどうかについて判断する。計算する必要があれば、プロセスはブロック２０２に戻り、同じ色平面内の選択されたピクセルについて、すべての所望の差分値を算出するまで、該プロセスが継続する。

同じ色平面内のピクセルについてすべての所望の差分値が算出されたならば、ブロック２１６で、分析すべき別の色平面があるかどうかについて判断する。分析すべき別の色平面があるならば、該方法は、次の色平面に移り（ブロック２１８）、ブロック２０２に戻る。その後、該次の色平面内のピクセルについての差分値を処理する。

すべての色平面内の選択されたピクセルについてすべての所望の差分値が算出されたならば、ブロック２２０で、画像全体について処理を行ったかどうかについて判断する。まだ処理されていない場合、該方法はブロック２００に戻り、画像全体が処理されるまで繰り返される。画像全体を分析したならば、ブロック２２２で、２つの平均値を比較する。

ブロック２２４で、該２つの平均値の間に、「有意(significant)」な差が２つの平均値の間にあるかどうかについて判断する。「有意」と考えられる２つの平均値間の差の大きさは、用途によって決められる。たとえば、２つの平均値間の有意な差は、画像が高度に構成されており、白色点推定に十分な数の面(surface)がシーン内に存在しないことを示す可能性がある。

２つの平均値間に有意な差が存在しなければ、該一組の平均値の一方または両方を使用して、ホワイトバランスおよび色補正を行う（ブロック２２６）。しかし、２つの平均値間に有意な差が存在する場合、プロセスはブロック２２８に移り、デフォルトの白色点を使用して、ホワイトバランスおよび色補正を行う。

図２および図３に示す方法は、白色点を推定するために、ピクセルの差分値の統計値を使用する。本発明のいくつかの実施形態では、主な色は、空、芝生、布片などの画像内の大きな連続領域の色である。したがって、相関する色を伴うピクセルは、空間的に隣り合っている傾向がある。画像中の１つまたは複数の主な色の影響は、近傍ピクセルなど近くにあるピクセル間のピクセル差を使用して白色点を推定することにより、無視することができる。

図３を参照すると、図１と図２の方法を実現するために使用することのできるシステムの構成図が示されている。本発明の一実施形態では、イメージャ（imager, 図示せず）はラスタ方式でピクセル色値を出力し、１度に１本または複数の水平線を出力する。本発明の他の実施形態は、たとえばピクセル色値のブロックごとに、異なる方法でピクセル色値を出力してもよい。

さらに、デジタルカメラなどの一部のデジタルデバイスは、センサの上にカラーモザイクアレイを使用して色を捕捉する。これにより、それぞれのピクセル位置の色値は、３つではなく１つだけになる。たとえば、ＲＧＢセンサの上にカラーモザイクアレイを使用すると、ピクセルは、赤と緑と青の３つの色値ではなく、赤、または、緑、青のいずれかの色値を有するようになる。図１および図２に示す方法は、同じ色平面内のピクセルについてのピクセル差分値を計算するので、図１および図２の方法は、カラーモザイクアレイを使用したシステムにおいても使用されることができる。

システム３００は、コントローラ３０２、色処理部３０８、バッファ３０６、計算回路３１０、３１２、３１４、および、記憶回路３１６、３１８、３２０を含む。コントローラ３０２は、ライン３０４を介して、画像または画像の一部のピクセル値を受け取る。コントローラ３０２は、バッファ３０６にピクセル値を記憶する。

色処理部３０８は、バッファ３０６からピクセルデータを読みだし、色ごとに値を分離する。たとえば、ＲＧＢイメージャの場合、色処理部３０８は、それぞれのピクセルに関連づけられた赤色値、緑色値、青色値を分離する。また、色処理部３０８は、所望の数のピクセルについて、差分値の絶対値を算出する。画像または画像の一部について計算する差分値の絶対値の数は、用途に基づいて異なる。

その後、それぞれの差分値の絶対値を、計算回路３１０、３１２、３１４に入力する。たとえば、ＲＧＢ画像の場合、赤に関するそれぞれの差分値の絶対値を、計算回路３１０に入力し、緑に関するそれぞれの差分値の絶対値を、計算回路３１２に入力し、青に関するそれぞれの差分値の絶対値を、計算回路３１４に入力する。計算回路３１０、３１２、３１４は、該ピクセル差分値を使用して、統計値を計算する。

本発明の一実施形態では、計算回路３１０、３１２、３１４は、それぞれのカラー信号について、走行平均(running average)を計算し、その総計を、記憶回路３１６、３１８、３２０に記憶する。画像全体の処理が終わると、それぞれの記憶回路３１６、３１８、３２０から、平均値を出力し、白色点の推定に使用する。上述のように、本発明の他の実施形態では、該計算回路は、ピクセル差分値を使用して異なる統計値を計算してもよい。

図４は、図１および図２の白色点推定方法を示すのに使用される画像をグラフィカルに示す。本発明の一実施形態によれば、ピクセル差分値は、近傍ピクセルについて計算される。したがって、画像４００の場合、まずピクセル４０２、４０４のピクセル差分値を計算することによって、第１の水平線のピクセルを処理する。ついで、ピクセル４０４、４０６についてピクセル差分値を計算する。画像４００中の第１の水平線の最後のピクセル差分値（ピクセル４１０、４１２）を計算するまで、このプロセスは継続する。その後、イメージャは、画像４００中の第２の水平線を出力し、画像全体の分析が終わるまで該プロセスが繰り返される。

本発明の他の実施形態では、ピクセル差分値は、水平方向および垂直方向などの２つの方向で計算する。したがって、ピクセル４０２について２つのピクセル差分値を計算する。すなわち、１つの差分値は、ピクセル４０２と４１４の差であり、もう１つは、ピクセル４０２と４０４の差である。この場合も、画像４００中のすべてのピクセルについてプロセスを繰り返す。

本発明の他の実施形態では、選択したピクセルについて、４つのピクセルの差分値を計算する。たとえば、ピクセル４１６に関するピクセル差分値は、ピクセル対４１６と４１４、ピクセル対４１６と４１８、ピクセル対４１６と４２０、ピクセル対４１６と４０４に関するそれぞれの差分値を含むことができる。他の例としては、ピクセル４１６に関するピクセル差分値は、ピクセル対４１６と４０２、ピクセル対４１６と４０６、ピクセル対４１６と４２２、ピクセル対４１６と４２４を使用したそれぞれの差分値を含むことができる。

また、本発明の他の実施形態では、隣接していないピクセルについてピクセル差分値を計算する。ピクセル差分値は、１つまたは複数のピクセルが間に挟まれた２つの選択されたピクセル間で計算される。たとえば、ピクセル４０４に関するピクセル差分値は、ピクセル４０４と４１０について計算してもよい。または、ピクセル４０２に関するピクセル差分値は、ピクセル４０２と４０６の差分値、およびピクセル４０２と４２４のピクセル差分値を含んでいてもよい。また他の例として、ピクセル４２２に関するピクセル差分値は、ピクセル４２２と４２６の差分値、ピクセル４２２と４１０の差分値を含んでいてもよい。このように、白色点推定に隣接ピクセルを使用するかまたは隣接していないピクセルを使用するか、および、画像内でどの位置のピクセルを選択するかは柔軟に決めることができ、用途によって異なる。

本発明の一実施形態による、画像白色点推定の第１の方法のフローチャートを示す図。本発明の一実施形態による、画像白色点推定の第２の方法のフローチャートを示す図である。本発明の一実施形態による、画像白色点推定の第２の方法のフローチャートを示す図である。図１および図２の方法を実現するのに使用することのできるシステムの構成図。図１および図２の白色点推定手法を示すのに使用される画像のグラフィカルな図。

符号の説明

３００システム
３０２コントローラ
３０６バッファ
３０８色処理
３１０計算回路
３１２計算回路
３１４計算回路
３１６記憶回路
３１８記憶回路
３２０記憶回路
４００画像

Claims

画像（４００）の白色点を推定するためのシステム（３００）であって、
同じ色平面内の複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出するよう動作可能な処理回路（３０８）と、
前記複数の差分値を使用して、１つまたは複数の統計値を計算するよう動作可能な計算回路（３１０）と、
を備える、システム。
前記画像（４００）内の複数のピクセルの少なくとも一部を記憶するよう動作可能なメモリ（３０６）をさらに備える、
請求項１に記載のシステム。
前記複数の差分値の統計値を１つまたは複数記憶するよう動作可能な記憶回路（３１６）をさらに備える、
請求項１または２に記載のシステム。
画像（４００）の白色点を推定する方法であって、
前記画像（４００）の色平面内の複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することと、
前記複数の差分値を使用して、統計値を計算することと、
を含む、方法。
前記画像（４００）の色平面内の複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することと、前記複数の差分値を使用して、統計値を計算することとを、前記画像（４００）のすべての色平面内の複数の選択されたピクセル対について繰り返すことをさらに含む、
請求項４に記載の方法。
前記画像（４００）の色平面内の複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することは、前記画像（４００）の色平面の第１の方向で、複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することを含む、
請求項５に記載の方法。
１）前記画像（４００）の色平面の第２の方向で、複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することと、
２）前記複数の差分値を使用して、統計値を計算することと、
前記画像（４００）内のすべての色平面内の複数の選択されたピクセル対について、前記１）および２）の手順を繰り返すことと、
をさらに含む、請求項６に記載の方法。
それぞれの前記色平面について、前記第１の方向に関連付けられた統計値と、前記第２の方向に関連付けられた統計値とを比較することと、
前記２つの統計値の間で差が存在するかどうかを判断することと、
前記２つの統計値の間に差がある場合、前記差が既定値を超えているかどうかを判断することと、
をさらに含む、請求項７に記載の方法。
前記色平面内の複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することは、それぞれの該ピクセル対におけるピクセルが、隣接したピクセル（４０２、４０４）を含む色平面内において、該複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することを含む、
請求項４から８のいずれかに記載の方法。
前記色平面内の複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することは、それぞれの該ピクセル対におけるピクセルが、隣接していないピクセル（４０２、４１０）を含む色平面内において、該複数の選択されたピクセル対について、該ピクセル対の間の差分値を算出することを含む、
請求項４から８のいずれかに記載の方法。