JP5870598B2 - 画像のホワイトバランス処理方法及び装置 - Google Patents

Description

本発明は、画像処理に関し、特に、画像のホワイトバランス処理方法及び装置に関する。

画像処理においては、通常、ホワイトバランス処理及び/または色増強処理が必要となる。

特に、ホワイトボード画像を撮像した場合も、ホワイトバランス処理といった色補正処理が必要となることが多い。

従来、ホワイトバランス処理に関する技術が提案されている。Zhengyou Zhang及びLi-wei HeによるWhiteboard Scanning and Image Enhancement, TechnicalReportMSR-TR-2003-39,Microsoftの技術レポートにおいては、領域識別及びホワイトバランス処理等を含むホワイトボード処理技術が提案されている。該ホワイトバランス処理方法は、ホワイトボードを複数の断片に分割し、各断片の画素を輝度順に並べ替えてから、各断片の背景色を算出または推測することで、全体のホワイトボードの背景色を構成し、該背景色を用いてホワイトバランス処理を行っている。

Jun-yan Huo, Yi-lin Chang, Jing Wang, 及びXiao-xia Weiらによる、Robust Automatic White Balance Algorithm using Gray Color Points in Images.2006,IEEE Consumer Electronics,２００６年５月第５２巻第２期５４１−５４６ページの文献（非特許文献１参照）においては、ＹＵＶ空間からグレーカラーポイントを検索してホワイトバランス処理を行うアルゴリズムが記載されている。ＹＵＶ色空間において、

との条件でグレーカラーポイントを検索し、グレーカラーポイントが見つかったら、色差情報が得られ、ホワイトバランス処理が行われる。

なお、「White balancing a image」という題目の米国特許公開公報ＵＳ２００４０２０８３６３Ａ１（特許文献１参照）には、人間顔を用いてホワイトバランス処理を行う方法が記載されている。人間の肌は、予め定義された色範囲があり、顔識別により人間顔を検索することで、肌色が得られ、得られた肌色と、以前の実験データの肌色との差により、ホワイトバランス処理がなされている。

例えば、ホワイトボード共有システム（複数の会議室が共通のホワイトボードを遠隔的に共有するシステム）により撮像された画像においては、例えば撮像ヘッドのホワイトバランスの不正確により、ホワイトボード色にずれが生じ、撮像ヘッドで撮像された画像は、常に、ホワイトバランス補正を行う必要がある。

なお、従来のホワイトバランスシステムにおいては、通常、一つの共通の色補正パラメータにより、画像中の全画素の色補正を行っている。

しかしながら、出願人は、例えば複雑な光線の下で撮像された、例えばホワイトボード画像には、通常、図１に示されたように、ある部分が明るく、ある部分が暗く、ある部分は色調が暖かく、ある部分は色調が冷たいことを見出した。この場合、単一の全体色補正パラメータで補正を行うと、偏った色をよく補正することができず、自然効果に合ったホワイトボード画像を得ることができない。

本発明は、上述した問題点に鑑みてなされたものである。本発明の一の態様では、画像から背景画素を抽出する背景抽出手段と、前記背景画素に基づいて、背景代表色を取得する背景代表色取得手段と、所期背景色と前記背景代表色に基づいて、背景画素の全体倍率を決定する全体倍率演算手段と、前記全体倍率に基づいて、前記背景画素の各々の原色を１次調整した背景画素色を取得する第１色調整手段と、前記背景画素に対し、前記１次調整した背景画素色に基づいて、所期最終背景色を決定し、該所期最終背景色と原色に基づいて、該背景画素の正確倍率を決定する背景正確倍率演算手段と、前記背景画素の正確倍率に基づいて、前記背景画素の各々の原色を調整する正確色調整手段と、を有する画像のホワイトバランス処理装置を提供している。

また、本発明の他の態様では、画像から背景画素を抽出するステップと、前記背景画素に基づいて、背景代表色を取得するステップと、所期背景色と前記背景代表色に基づいて、背景画素の全体倍率を決定するステップと、前記全体倍率により、前記背景画素の各々の原色を１次調整した背景画素色を取得するステップと、前記背景画素に対し、前記１次調整した背景画素色に基づいて、所期最終背景色を決定し、該所期最終背景色と原色に基づいて、該背景画素の正確倍率を決定するステップと、前記背景画素の正確倍率に基づいて、前記背景画素の各々の原色を調整するステップと、を有する画像のホワイトバランス処理方法を提供している。

また、本発明のさらに他の態様では、画像から背景画素を抽出し、前記背景画素に基づいて、背景代表色を取得し、所期背景色と前記背景代表色に基づいて、背景画素の全体倍率を決定し、前記全体倍率により、前記背景画素の各々の原色を１次調整した背景画素色を取得し、前記背景画素に対し、前記所期背景色の所定の色特性を満足するように、前記１次調整した背景画素色を調整して、所期最終背景色を取得する、画像の背景画素の色調整方法を提供している。

本発明によれば、全体的な調整と精細な画素毎の調整の２段階の調整により、ホワイトバランス処理を行うため、より自然に忠実なホワイトボード画像を得ることができる。

最初のホワイトボード及び複雑な光線の下で撮像ヘッドにより撮像されたホワイトボード画像を示す略図である。 本発明の一の実施例に係る画像のホワイトバランス処理方法の全体フローチャートである。 本発明の他の実施例に係る画像のホワイトバランス処理方法の全体フローチャートである。 本発明の一の実施例に係る背景画素の正確補正倍率を分割平均により調整する場合に分割サイズの例を示す略図である。 各画素の正確補正倍率に基づいて、各画素の色を補正する動作を示す略図である。 本発明の一の実施例に係る画像のホワイトバランス処理装置のブロック図である。 本発明の一の実施例に係る本発明を実施可能なコンピュータシステムを示す図である。

以下、当業者の理解の便宜上、図面及び具体的な実施例から、本発明をさらに詳細に説明する。

先ず、本発明の全体構想を説明する。例えば、複雑な状況下のホワイトボード画像のアンバランスを考慮すると、全体色補正によっては、要求を満たす色補正ができないと考えられる。このため、本発明は、所期の補正目標に近づくように全体的な色補正を行なう第１の段階と、所期の補正目標を満足するように画素毎の精細な色補正を行う第２の段階との２段階で調整を行っている。

以下、理解の便宜上、ホワイトボード画像に対するホワイトバランス処理を例として説明を行うが、本発明はこれに限るものではなく、例えば、紙質文字材に対する撮像処理等の、他の必要とするホワイトバランス処理に適用してもよい。

なお、以下の説明において、画素色は、ＲＧＢ表示方法で表されているが、これは単なる例に過ぎず、本発明はこれに限らず、ＨＳＶ、ＨＬＳ等の他の表示方法も本発明に用いられてもよい。

図２は、本発明の一の実施例に係る画像のホワイトバランス処理方法の全体フローチャートである。

ステップＳ２１０において、画像から背景画素を抽出する。通常の各種画像２値化方法により、どの画素が背景であるか及びどの画素が前景であるかを判断することができる。例えば、通常、背景とするホワイトボードの輝度は、前景の輝度よりも大きいため、経験や実験等により所定の閾値を選択し、該所定の閾値よりも高い輝度の画素を背景画素とし、該所定の閾値よりも低い輝度の画素を前景画素としている。なお、例えば、背景技術部分で言及した背景画素抽出方法等、他の背景画素抽出方法も本発明に用いられてもよい。

ステップＳ２２０において、抽出された背景画素に基づいて、背景代表色を取得する。いわゆる背景代表色とは、大半の背景画素の色特徴を代表可能な色をいう。例えば、全背景画素の色平均値を算出して背景代表色としてもよい。また、例えば、全背景画素を輝度順に並べ替え、輝度値が真ん中にある画素色を背景代表色としてもよい。また、例えば、背景画素の平均色を算出する前に、いわゆる「外れ点（outlier）」という所期背景画素の範囲から著しく外れた点を前もって除去してもよい。或いは全画素の平均値を求める代わりに、画像の分割を行い、各セクションから１つまたは複数の画素を選択して、選択された画素に基づいて画素色の平均値や中間値を求めて、それを背景代表色としてもよい。

ステップＳ２３０において、所期背景色と背景代表色に基づいて、背景画素の全体倍率を決定する。

所期背景色については、ホワイトボードを例にすると、通常の環境光下のホワイトボード色をいう。所期背景色は、例えば、あるホワイトボード色は白とし、あるホワイトボード色は灰色とする等、経験値によって決めてもよい。また、例えば、理想の光の下で、性能に優れたカメラでホワイトボードを撮像し、得られた画像に基づいて、所期背景色を決定してもよい。各種所期背景色の取得方法は、すべて本発明に用いられてもよく、本発明はこのような取得方法に制限されるものではない。

平均背景色をCaverageとすると、Caverage=(Raverage, Gaverage, Baverage)となり、所期背景色をCexpectedとすると、Cexpected=(Rexpected, Gexpected, Bexpected)となる。

例として、例えば、ホワイトボード共有システムにおいて、所期背景色Cexpectedは、Ｒ＝Ｇ＝Ｂ（標準グレイ）であり、かつ色強度は、２００である。もちろん、これは単なる例に過ぎず、所期背景色は、使用されている環境及び／又はシステムによって、その他の値に設定されてもよい。

全体倍率は、Ｋ１とした場合、例えば、式（１）

で表されるように、所期背景色と平均色の比の値に基づいて、得られる。

以上は、最も簡単な全体倍率Ｋ１の算出方法であり、異なる環境下の具体的な計算方法は異なってよく、例えば、比例値を算出後、正規化等を行ってもよい。

全体倍率Ｋ１は、背景画素のＲＧＢ値の１次調整に用いられ、所期背景色に近くなるようにするものである。

ステップＳ２４０において、全体倍率に基づいて、各背景画素の原色の１次調整を行い、１次調整した背景画素色を取得する。

各背景画素の原色、例えばカメラで撮影した画像の色を、Ｃ（ｉ，ｊ）とし、全体調整した色をCtemp(ｉ,j)とすると、式（２）

より、全体調整した色が得られる。

ステップＳ２５０において、各背景画素に対し、該１次調整した背景画素の色に基づき、所期最終背景色を決定し、該所期最終背景色と原色に基づき、該背景画素の正確倍率を決定する。

全体倍率に基づいて調整した背景色は、完全に所期背景色に調整されたものではなく、照射領域によって照度差があるため、所望の色属性を有するまで、さらに正確な微調整を行う必要がある。

所期背景色の所望の色属性は、環境によって異なる場合がある。例えば、ホワイトボード共有システムにおいては、Ｒ，Ｇ，Ｂの強度が等しくなることが望まれ、また、他の場合においては、Ｒ，Ｇ，Ｂの強度が、２：１：１の比例や、その他の比例を満足することが望まれる。また、例えば、ＧがＲとＢの平均よりも大きくなることが望まれる場合もある。

一つの実施例として、ホワイトボード共有システムにおいて、下記式（３）

で示されたように、Ｒ＝Ｇ＝Ｂ＝（Ｒ+Ｇ+Ｂ）/３となるように、全体調整した色Ctemp(ｉ,j)の調整が行われ、所期最終背景色Cbgadjusted(ｉ,j)が得られる。

さらに、各背景画素の所期最終背景色Cbgadjusted(ｉ,j)と原色C(ｉ,j)に基づいて、例えば、下記式（４）

に基づいて、背景画素の正確倍率Ｋ２(ｉ,j)が得られる。

また、選択的には、前述のように各背景画素の正確倍率Ｋ２(ｉ,j)が得られた後、各背景画素に対し、周囲の背景画素の正確倍率に基づき、その正確倍率を調整することで、可能なノイズ影響等を除去することができる。また、例として、前記背景画素の正確倍率Ｋ２(ｉ,j)に対して分割平均を行い、可能なノイズ影響をフィルタリングし、式（５）

で表されるように、補正後の正確倍率Ｋ３(ｉ,j)を得てもよい。

式中、(ｉ,j)は、正確倍率が補正される目標画素であり、(m，n)は、画素(ｉ,j)の補正に関わる背景画素であり、ｋは、分割サイズを表し、ｋは、正の整数である。Ｋ＝２の場合、分割は例として図４に示された通りである。ここで、Ｋ３と表記した位置は、正確倍率を補正しようとする目標画素を示し、空白位置は、前景画素を示している。

なお、該分割平均法については、平均値を算出する時に、例えば距離が近いほど、重みを大きくする等、異なる距離の画素に一定の重み係数を付与してもよい。

ステップＳ２６０において、各背景画素の正確倍率に基づいて、各背景画素の原色の調整を行う。例えば、各背景画素の最終正確倍率とその原色との乗算を行い、背景画素のホワイトバランス結果を得てもよい。

ここで、単純に背景画素のホワイトバランス処理を行う場合は、正確倍率を算出せずに、直接ステップＳ２５０で各画素の所期最終背景色を決定してから、該画素を該所期最終背景色に直接調整してもよい。存在しうるノイズを除去するように、さらに例えば分割平均を行う等、周囲画素による調整を行う場合は、画素の正確倍率ではなく、直接画素色に対して分割平均を行ってもよい。

なお、多くの場合は、前景画素に対してもホワイトバランス処理を施してよい。この場合、前記背景画素の正確倍率が用いられることになる。

図３は、本発明の他の実施例に係る、画像のホワイトバランス処理方法の全体フローチャートである。ここでは、背景画素にも前景画素にもホワイトバランス処理を施している。

図３に示されたステップＳ３１０〜Ｓ３６０は、図２に示したステップＳ２１０〜Ｓ２６０とほぼ同じであるため、ここではその説明を省略することとする。図３に示されたホワイトバランス処理方法と、図２に示されたホワイトバランス処理方法との相違点は、ステップＳ３７０とステップＳ３８０が追加されたことにある。以下、それぞれについて詳細に説明する。

ステップＳ３７０において、各前景画素に対し、周囲の背景画素の正確倍率及び／又は正確倍率が演算で既に算出された周囲の前景画素の正確倍率に基づき、該各前景画素の正確倍率を求める。

例えば、各前景画素の正確倍率は、直接得られないため、式（６）

に示されたように、周囲の画素の調整倍率の平均値から求められる。

式中、（ｉ、ｊ）は、正確調整倍率が求められる前景画素であり、（ｍ、ｎ）は、背景画素、或いは正確調整倍率が既にわかる前景画素であり、ｋは、周囲画素の選択範囲を示し、ｋは、正の整数である。

上記式（６）は、単なる例に過ぎず、平均値を算出する時には、例えば距離の近い画素の重みを大きくする等、距離の異なる画素に一定の重み係数を付加するようにしてもよい。

ステップＳ３８０において、各前景画素の正確倍率に基づいて、各前景画素の色調整を行う。例えば、下記式（７）

により、最終調整した画素の色が得られる。

式中、Ｃ（ｉ、ｊ）は、画素（ｉ、ｊ）の原色であり、例えば、撮像ヘッドで撮像した色を示し、Cadjusted（ｉ、ｊ）は、調整した色を示す。

図５は、各画素の正確補正倍率に基づいて、各画素の色を補正する動作の略図である。図５に示されるように、偏った色の原画像は、正確倍率補正に基づいて、優れた効果を有する調整した画像が得られた。

前記図３に示された画像のホワイトバランス処理方法の実行工程は、単なる例に過ぎず、各工程は、前述のような時間順で行わなくてもよく、工程順は、例えば、ステップＳ３７０は、ステップＳ３６０の前に行うように変更してもよいし、例えばステップＳ３６０とステップＳ３８０は統合し、ともに最終の正確倍率に基づいて背景画素と前景画素を含む全画素の初期色の調整を行い、ホワイトバランス処理後の結果を得るように工程の統合を行ってもよい。以上のように、図３により説明したホワイトバランス処理方法は、単なる例に過ぎず、当業者の理解を容易にするためのものであり、本発明は、これに限るものではない。

なお、本発明のさらに他の実施例では、画像から背景画素を抽出し、抽出された背景画素に基づいて、背景代表色を取得し、所期背景色と背景代表色に基づいて、背景画素の全体倍率を決定し、全体倍率に基づいて、各背景画素の原色を１次調整し、１次調整した背景画素色を取得し、各背景画素に対し、所期背景色の所定の色特性を満足するように、前記１次調整した背景画素色を調整して、所期最終背景色を取得する画像の背景画素の色調整方法を提供している。

図６は、本発明の一の実施例における、画像のホワイトバランス処理装置６００のブロック図である。

該画像のホワイトバランス処理装置６００は、画像から背景画素を抽出する背景抽出部６０１と、抽出された背景画素に基づいて背景代表色を取得する背景代表色取得部６０２と、所期背景色と背景代表色に基づいて背景画素の全体倍率を決定する全体倍率演算部６０３と、全体倍率に基づいて、各背景画素の原色を１次調整し、１次調整した背景画素色を取得する第１色調整部６０４と、各背景画素に対し、該１次調整した背景画素色に基づき、所期最終背景色を決定し、該所期最終背景色と原色に基づいて該背景画素の正確倍率を決定する背景正確倍率演算部６０５と、各背景画素の正確倍率に基づいて各背景画素の原色の調整を行う正確色調整部６０５と、を有する。

該画像のホワイトバランス処理装置６００は、各前景画素に対し、周囲の背景画素の正確倍率及び／又は正確倍率が演算で既に得られた周囲の前景画素の正確倍率に基づき、各前景画素の正確倍率を算出する前景正確倍率演算部をさらに有し、前記正確色調整部は、各前景画素の正確倍率に基づいて、各前景画素の色調整を行ってもよい。

背景代表色取得部は、抽出された背景画素に基づいて背景平均色を背景代表色として算出する、或いは、抽出された各背景画素を輝度順に並べ替えて、真ん中の画素色を背景代表色としてもよい。

前記画像は、ホワイトボードを撮像して得られる画像であり、前記画像のホワイトバランス処理装置は、所定の条件下で空白のホワイトボードを撮像して得られる画像に基づき、前記所期背景色を取得する所期色取得部をさらに有してもよい。

前記背景正確倍率演算部は、各背景画素に対し、所期背景色の所定の色特性を満足するように、前記１次調整した背景画素色の調整を行い、所期最終背景色を取得する第２色調整部を有してもよい。

該画像のホワイトバランス処理装置は、各背景画素に対し、周囲の背景画素の正確倍率に基づき、それぞれの画素の正確倍率を調整する正確倍率調整部をさらに有してもよい。

図７は、本発明の一の実施例における、本発明を実施可能なコンピュータシステム７００を示した図である。

図７を参照して前記画像のホワイトバランス処理装置を実現可能なハードウェアの配置の例を説明する。ＣＰＵ（中央処理ユニット）７０１は、ＲＯＭ（読み出し専用記憶装置）７０２や格納部７０８に格納されているプログラムにより、各種処理を行う。例えば、ＣＰＵは、上記実施例における画像のホワイトバランス処理方法のプログラムを実行し、ＲＡＭ７０３は、ＣＰＵ７０１より実行されるプログラムやデータ等を適切に格納する。ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３は、バス７０４により接続されている。

ＣＰＵ７０１は、バス７０４により、入出力インターフェース７０５に接続されている。キーボード、マウス、マイク等を含む入力部７０６と、モニタ、スピーカ等を含む出力部７０７は、入出力インターフェース７０５に接続されている。ＣＰＵ７０１は、入力部７０６からの指令に応じて各種処理を行い、出力部７０７へ処理結果を出力する。

入出力インターフェース７０５に接続されている格納部７０８は例えばハードディスクを有し、ＣＰＵ７０１より実行されるプログラムと各種データを格納する。通信部７０９は、例えばインターネットや、ローカル・エリア・ネットワーク等のネットワークにより外部装置との通信を行う。

入出力インターフェース７０５に接続されているドライバ７１０は、磁気ディスクや、光ディスクや、MOや、半導体メモリ等のような移動媒体７１１を駆動し、これらに記録されているプログラムやデータ等を取得する。得られたプログラムやデータは、必要に応じて、格納部７０８に転送され格納される。

以上の具体的な実施例により、本発明の基本原理について説明したが、当業者であれば、本発明の方法及び装置の全部、またはすべてのステップや手段を理解したうえ、任意の演算装置（プロセッサ、記憶媒体を含む）や、演算装置のネットワークで、ハードウェア、ファームウェア、ソフトウェアや、これらの組み合わせにより実現することができ、本発明の説明のもと、彼らの基本的プログラミング技能から実現することができる。

このため、本発明の目的は、任意の演算装置上で１つのプログラムまたは１セットのプログラムを実行することにより実現可能となる。前記演算装置は、公知の汎用装置でよい。このため、本発明の目的も、単に前記方法や装置を実現可能なプログラムコードを含むプログラム製品を提供することにより実現することができる。換言すると、このようなプログラム製品も本発明を構成しており、このようなプログラム製品が記録された記録媒体も本発明を構成することになる。前記記録媒体は、公知の任意の記録媒体、或いは将来開発される任意の記録媒体でもよいことは言うまでもない。

ここで、本発明の装置と方法において、各手段や各工程は、分割及び／又は新たな組み合わせを行ってもよいことは勿論である。このような分割及び／又は新たな組み合わせも、本発明と等価の技術思想と見なすべきである。なお、前記一連の処理を実行する工程は、説明順から、自然に時間順で実行されているが、必ずしも時間順で行う必要はなく、実行順を変えてもよい。

本発明の保護範囲は、前述の具体的な実施例によって、制限されるものではなく、当業者が設計要求や他の要素に応じて、様々な修正や、組み合わせ、サブ組み合わせや、代替が可能なことは、言うまでもない。本発明の精神と原則を逸脱しない範囲内の修正や、同等の代替や、改善等は、すべて本発明の保護範囲内となるべきである。

本発明は、画像処理に関し、特に、画像のホワイトバランス処理方法及び装置に関する分野に利用可能である。

米国特許公開公報ＵＳ２００４０２０８３６３Ａ１

Robust Automatic White Balance Algorithm using Gray Color Points in Images.2006,IEEE Consumer Electronics,２００６年５月第５２巻第２期５４１−５４６ページ

Claims (7)

1. 画像から背景画素を抽出する背景抽出手段と、
   前記背景画素に基づいて、背景代表色を取得する背景代表色取得手段と、
   通常の環境光下のホワイトボード色である所期背景色と前記背景代表色に基づいて、背景画素の全体倍率を決定する全体倍率演算手段と、
   前記全体倍率に基づいて、前記背景画素の各々の原色を１次調整した背景画素色を取得する第１色調整手段と、
   前記背景画素に対し、前記１次調整した背景画素色に基づいて、所期最終背景色を決定し、該所期最終背景色と原色に基づいて、該背景画素の正確倍率を決定する背景正確倍率演算手段と、
   前記背景画素の正確倍率に基づいて、前記背景画素の各々の原色を調整する正確色調整手段と、
   前景画素に対し、周囲の背景画素の正確倍率及び／又は正確倍率が演算で既に得られた周囲の前景画素の正確倍率に基づき、前景画素の各々の正確倍率を算出する前景正確倍率演算手段と、を有し、
   前記正確色調整手段は、前記前景画素の各々の正確倍率に基づいて、前記前景画素の各々の色を調整することを特徴とする画像のホワイトバランス処理装置。
2. 前記背景代表色取得手段は、前記背景画素に基づいて背景平均色を前記背景代表色として算出する、或いは各背景画素を輝度順に並べ替えて、真ん中の画素色を前記背景代表色とすることを特徴とする請求項１に記載の画像のホワイトバランス処理装置。
3. 前記画像は、ホワイトボードを撮像して得られる画像であり、
   前記画像のホワイトバランス処理装置は、所定の条件下で所定の要件を満たすカメラを用いて空白のホワイトボードを撮像して得られる画像に基づいて、前記所期背景色を取得する所期色取得手段をさらに有することを特徴とする請求項１に記載の画像のホワイトバランス処理装置。
4. 前記背景正確倍率演算手段は、前記背景画素に対し、前記所期背景色の所定の色特性を満足するように、前記１次調整した背景画素色を調整して、前記所期最終背景色を取得する第２色調整手段を有することを特徴とする請求項１に記載の画像のホワイトバランス処理装置。
5. 前記背景画素に対し、周囲の背景画素の正確倍率に基づいて、正確倍率を調整する正確倍率調整手段をさらに有することを特徴とする請求項４に記載の画像のホワイトバランス処理装置。
6. 画像から背景画素を抽出するステップと、
   前記背景画素に基づいて、背景代表色を取得するステップと、
   通常の環境光下のホワイトボード色である所期背景色と前記背景代表色に基づいて、背景画素の全体倍率を決定するステップと、
   前記全体倍率に基づいて、前記背景画素の各々の原色を１次調整した背景画素色を取得するステップと、
   前記背景画素に対し、前記１次調整した背景画素色に基づいて、所期最終背景色を決定し、該所期最終背景色と原色に基づいて、該背景画素の正確倍率を決定するステップと、
   前記背景画素の正確倍率に基づいて、前記背景画素の各々の原色を調整するステップと、
   前景画素に対し、周囲の背景画素の正確倍率及び／又は正確倍率が演算で既に得られた周囲の前景画素の正確倍率に基づき、前景画素の各々の正確倍率を算出するステップと、
   前記前景画素の各々の正確倍率に基づいて、前記前景画素の各々の色を調整するステップと、を有することを特徴とする画像のホワイトバランス処理方法。
7. 前記背景画素に基づいて背景平均色を前記背景代表色として算出する、或いは各背景画素を輝度順に並べ替えて、真ん中の画素色を前記背景代表色とすることを特徴とする請求項６に記載の画像のホワイトバランス処理方法。