JP4462956B2 - 色補正 - Google Patents

Description

本発明は、色補正に関する。

色補正とは、画像又は映像マテリアルの作製において用いられる、元のマテリアルにおける任意の色を他の対応する色に置換する技術である。このような処理が必要な２つ具体例は、異なる照明の条件下で撮影された場面の外観を合わせることが必要な場合、単に芸術的な理由で画像の外観を変更する場合がある。特に後者の状況では、「補正」という用語は、必ずしも、元の色が本質的に間違っていることを意味するものではない。すなわち、当分野で（及び本出願で）用いられる「色補正（colour correction）」という表現は、実際には、「色変更（colour alteration）」というより広い意味で用いられる。

画像の色特性（colour property）は、通常「色空間」と呼ばれる次のような表現のうちの１つで表現される。すなわち、これらの表現とは、三原色の貢献度を表す値の組（例えば、赤、緑、青：ＲＧＢ）、輝度（luminance value：Ｌ）及び２つの色差値（例えば、colour difference value：Ｃｂ、Ｃｒ）、又は輝度（Ｌ）、色相（hue value：Ｈ）及び彩度（saturation value：Ｓ）等である。実際の画像（テストパターンではない。）では、「色」と知覚されるものは、色空間内の単一の点には対応せず、したがって、通常は上述のような値の厳密な、単一の組として定義することはできない。すなわち、画像又は映像を見る人間は、色空間内の一定の範囲内の値に対応する色を同じ「色」として知覚する。例えば、大体赤い自動車の画像は、局所的な照明の具合、撮像の角度、及び自動車の各部分の汚れ具合等に依存する一定の範囲内の「赤」に対応する値を有する。したがって、自動車の「赤」に対して色補正を適用する場合、実際には、自動車が示す「赤」色の全てを含むように色空間内の範囲が定義される。そして、補正処理を実行すると、ソース領域は、色空間内の他の類似する（ターゲット）領域にマッピングされる。このような手法により領域全体をマッピングすると、ターゲット領域における陰となって変化した色は、対応するソース領域の陰となって変化した色にマッピングされる。

このように、色補正により、画像における１以上の色特性が変更される。例えば、彩度及び輝度（intensity value）を変更することなく、色相を変更することもできる。

色補正は、通常、デジタル領域で実行される。米国特許第６，４３４，２６６号明細書には、ソース画像の各画素値をＲＧＢ表現からＬ，Ｓ，Ｈ表現に変換するデジタル色補正装置が開示されている。Ｌ，Ｓ，Ｈ値は、画素毎に、「補正すべき色」のソース範囲として定義されたＬ，Ｓ，Ｈ値の範囲と比較される。画素値がそのソース範囲内にあると判定されると、その画素値は、「ターゲット」範囲内の画素値に置換される。

本発明に係るデジタル画像処理装置は、入力画像に対して画素に基づく色補正を加えて出力画像を生成するデジタル画像処理装置において、それぞれが色空間内の範囲（locus）に関連付けられ、それぞれが色マッピング処理に関連付けられた２以上の色補正処理を行う色補正論理手段を備え、色補正処理は、複数の連続する色補正処理のシーケンスとして構成され、各色補正処理の結果が、シーケンス内の次の色補正処理に入力され、各色補正処理は、各画素が色空間内のそれぞれの範囲内にあるか否かを判定し、画素が範囲内にある場合、画素に色マッピング処理を施し、シーケンスの第１の色補正処理より後の各色補正処理は、シーケンス内の先行する色補正処理に関連する色空間内の範囲に関しては、色マッピング処理を禁止する。

色補正処理を連続して行う色補正装置では、色空間の領域に対して矛盾する補正が適用され、望ましくない結果が生じることがある。本発明では、連続する処理のシーケンスのうちの第１の色補正処理より後の各色補正処理において、先行する色補正処理に関連する色空間内の範囲に関しては、色マッピング処理を禁止することにより、このような問題を効率的に且つ非常に単純な構成で解決することができる。

本発明のこの他の側面及び特徴は、添付の特許請求の範囲において定義されている。

以下に説明する実施例は、ハードウェアで実現してもよく、セミプログラマブルハードウェア（例えば、特定用途向け集積回路又はフィールドプログラマブルゲートアレー等）で実現してもよく、汎用データ処理装置上で実行されるソフトウェアで実現してもよく、或いはこれらを組み合わせて実現してもよい。本発明をソフトウェアで実現する場合、このソフトウェアは、例えばディスクストレージ媒体、読出専用メモリ等のストレージ媒体（図示せず）に格納してもよく、及び／又は例えばインターネット接続等の伝送媒体（図示せず）を介して伝送してもよい。

本発明に基づく色補正装置の構成を図１に示す。この色補正装置は、入力プロセッサ１０と、プリプロセッサ２０と、混合器（mixer arrangement）３０と、ポストプロセッサ４０と、出力プロセッサ５０と、バイパスバッファ６０と、混合コントローラ７０と、バイパスコントローラ８０とを備える。

入力プロセッサ１０には、ビデオデータが４：２：２フォーマットのＹ，Ｃ（輝度、色差）データとして供給される。入力プロセッサ１０は、このビデオデータをプリプロセッサ２０及びバイパスバッファ６０に供給する。入力プロセッサ１０は、更に、入力ビデオ信号の色差成分をアップサンプリングして、４：４：４フォーマットのＹ，Ｃデータに変換するアップサンプリング段を備える。

プリプロセッサ２０は、色差成分の直交座標−極座標変換（rectangular to polar conversion）を行い、ビデオの「輝度、彩度、色相（luminance, saturation, hue：ＬＳＨ）」表現を生成する（もちろん、直交座標−極座標変換では、輝度は変更されず、色情報のみが変更される）。ＬＳＨ表現のデータは、混合器３０及び混合コントローラ７０に供給される。

混合コントローラ７０は、この色補正装置によって変更すべき色空間内の領域を定義するキーパラメータに応じて動作する。混合コントローラ７０は、現在の画素に関するＬ，Ｓ，Ｈ値が、変更するように定義された色空間内の領域内にあるか否かを検出する。そして、混合コントローラ７０は、現在の画素を変更すべきか否かを定義し、及び幾つかの実施例においては、実行すべき変更の程度を定義するキー値ｋを生成する。このキー値は、混合器３０に供給される。

また、混合コントローラ７０は、この色補正装置によって実質的に変更しない全ての画素を定義する情報をバイパスコントローラ８０に供給する。バイパスコントローラ８０は、バイパス制御信号を生成して出力プロセッサ５０に供給し、出力プロセッサ５０は、このバイパス制御信号を用い、変更しない画素に対しては、バイパスバッファ６０にバッファリングされている入力データ（変更されていない）を出力データとして出力する。このように、入力プロセッサ１０、プリプロセッサ２０、混合器３０、及びポストプロセッサ４０において実行されるフィルタリング及び他の処理は、実際には変更が必要とされていない画素に対しては適用されない。

混合器３０は、現在の画素のＬ，Ｓ，Ｈの値と、この画素に関するキー値ｋとが供給される。キー値ｋは、その画素に適用される変更、すなわち色補正処理の程度を制御するものである。実行される変更の程度は、このキー値ｋに比例する。ｋ＝０の場合、画素に対するいかなる変更も施されない。ｋ＝１の場合、所定の変更量の全てで変更が行われる。０＜ｋ＜１の場合、この値に比例した所定の変更量で変更が行われる。

図１では、混合コントローラ７０と混合器３０からなる１段の処理段を示しているが、好ましい実施例としては、このような処理段を連続的に６段設ける。

ポストプロセッサ４０は、極座標−直交座標変換（polar to rectangular conversion）を実行して、４：４：４フォーマットのＹ，Ｃに戻すとともに、混合器３０によって生成される所謂「無効な（illegal）」色を取り除く制限機能（along with a limiting function）を実行する。無効な色とは、有効（legal）とみなされる色の範囲外となる色であり、これは、一般的に所謂「色立体（colour cube）」の範囲を外れる色である。

最後に、出力プロセッサ５０は、上述したバイパス混合機能を実行し、及びダウンサンプリング機能を実行して、４：２：２フォーマットのＹ，Ｃに戻す。

図１に示すように、この色補正装置は、アップサンプリング、直交座標−極座標変換、極座標−直交座標変換、ダウンサンプリングによって生じる処理遅延を相対的に補償するための複数の遅延器も備えている。

キー値ｋ及び所謂「ソフト」キー値を用いて色補正を定義する手法について、図２を用いて説明する。

色空間（例えば、直交ＣｒＣｂ空間）内の領域又は場所（locus）９２は、所定の量（例えば、この具体例では、１に等しい、最大キー値）に等しいキー値を有するよう定義される。この領域から十分離れた領域、例えば位置（position）９６において、キー値を他の所定の値、例えば０に設定する。色変更９４は、このキー値が設定された領域に関して定義される。この色変更９４により、領域９２は、対応する領域９２’にマッピングされる。

ここで、現在の画素について、この画素の色属性（この場合、ＣｂとＣｒ）を、キー値が設定された領域と比較する。この現在の画素の色属性が、キー値が設定された領域内にある場合、この画素に色変更９４を適用する。また、現在の画素に対するキー値が０の場合、色補正又は色変更は行わない。

なお、「完全変更（full change）」及び「全く変更なし（no change at all）」のいずれも表さないキー値を設定することもできる。これは、この実施例では、０より大きく１より小さいキー値を用いることにより達成される。例えば、０＜ｋ＜１のキー値を有する領域９８は、ここでは「ソフト」領域と呼び、図２では影付きの領域で表している。

ソフト領域では、部分的な色補正処理を実行する。すなわち、ソフト領域に対応する色属性を有する画素には、色変更９４の一部が適用される。遷移の量、すなわち割合は、キー値に比例するように便宜的に設定することができる。

部分的な色の遷移をどのように取り扱うかについては、後に詳細に説明する。

図３は、混合器３０及び混合コントローラ７０の具体的な構成を示すブロック図である。

一連の混合器３１、３２、３３、・・・が用いられる。実際には、各混合器の出力を次段の混合器の入力とする６個の混合器を用いる。各混合器３１、３２、３３、・・・は、それぞれキー信号ｋ_１、ｋ_２、ｋ_３、・・・を使用する。

第１の混合器３１用のキー信号ｋ_１は、第１のキー生成器７１によって生成される。同様に、第２の混合器３２用のキー信号ｋ_ｖは、第２のキー生成器７２によって生成される。第１のキー生成器７１からのキー信号ｋ_１と、第２のキー生成器７２からのキー信号ｋ_ｖは、キー修正論理回路（key modifying logic）７３に供給される。キー修正論理回路７３は、２つの出力信号、すなわち、第２の混合器３２を制御するために実際に用いられるキー信号ｋ_２と、事実上、キー値の「累計（running total）」を示すキー信号ｋ_ｆとを生成し、このキー信号ｋ_ｆは、シーケンス内の次段のキー修正論理回路に供給される。キー値ｋ_２は、（修正されている可能性がある）画素データと同時に第２の混合器３２に供給されるように、遅延器７４によって遅延される。

更に次の処理段では、第３のキー生成器７５は、キー信号ｋ_ｖを、補償遅延器７６を介して、第２のキー修正論理回路７７に供給する。この第２のキー修正論理回路７７には、前段のキー修正論理回路７３からキー値の累計を示すキー信号ｋ_ｆも供給されている。第２のキー修正論理回路７７は、キー信号ｋ_３を、遅延器７８を介して第３の混合器３３に供給する。

キー生成及びキー修正論理回路は、基本的に、混合処理のシーケンスにおいて、先行する混合処理で変更された色空間内の位置が、後に再び変更されることがないように動作する。したがって、色空間内のある位置に関して、前のキー生成器がキー値１（完全変更）を生成した場合、後のキー生成器は、その色空間内の位置に関して、０ではないキー値を生成することはできない。一方、色空間内のある位置に関して、部分的な変更を表すキー値が生成された場合、後のキー修正論理回路では、更なる部分的な修正が許される。「累計」キー値ｋ_ｆは、シーケンス内の先行するキー生成器によってその画素に適用された変更の総量を表す。すなわち、第１のキー生成器７１が現在の画素に対して例えばキー値０．２を生成し、第２のキー生成器７２がその画素に対してキー値０．１を生成した場合、第３のキー生成器７５に渡される累計キー値は０．３となる。したがって、第３の処理段のキー修正論理回路７７によって許可される最大キー値は、（１−０．３）＝０．７となる。

上述のように、キー生成処理に対応する６個の混合器を連続的に設けることが望ましいが、図３では、図を簡潔にするために、３個の混合処理段のみを示している。したがって、最終段のキー修正論理回路７７は、キー信号ｋ_ｆを（遅延器７９を介して）バイパスコントローラ８０に出力する。

図４は、例えば第１、第２、第３のキー生成器７１、７２、７５等のキー生成器の構成を示すブロック図である。

キー生成器には、現在の画素に関する輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）及び彩度（Ｓ）データが供給される。キー値ｋ_ｖは、現在の画素に関するこれらの属性と、１３個の定数Ｃ_１〜Ｃ_１３に基づいて生成される。例えば、図４に示す具体例では、中間値Ｉ_１〜Ｉ_８は次のようにして定められる。

Ｉ_１＝Ｃ_１２＋（Ｃ_１＊Ｃ_ｂ）＋（Ｃ_２＊Ｃ_ｒ）
Ｉ_２＝Ｃ_１３＋（Ｃ_３＊Ｃ_ｂ）＋（Ｃ_４＊Ｃ_ｒ）
ここで、出力Ｉ_１、Ｉ_２は、画素の色相の回転を表す。

「負の非加法的多重化（negative non additive multiplexing：以下、ＮＥＧＮＡＭという。）」と呼ぶ演算は、ＮＥＧＮＡＭに対する入力のうち、数値的に小さい方を出力することを意味する。したがって、Ｉ_３及びＩ_４は次のようになる。

Ｉ_３＝Ｉ_１とＩ_２の小さい方に、オーバフローを防止する制限処理（limiting operation）を施した値
Ｉ_４＝１−（Ｃ_５＋√（Ｉ_１ ^２＋Ｉ_２ ^２））にシフト処理と制限処理を施した値
シフト処理を行う理由は次の通りである。すなわち、不必要な処理オーバヘッドを避けるために、Ｃ_１〜Ｃ_４を用いて適用すべき利得（gain）を、分数成分（fractional component）と２の累乗成分（power-of-two component）という２つの部分に分割する。分数成分は、Ｃ_１〜Ｃ_４によって乗算され、２の累乗成分は、ビットシフトされる。

Ｉ_５＝Ｃ_８＊（ＡＢＳ（Ｙ＋Ｃ_６）＋Ｃ_７）に、オーバフローを防止する制限処理を施した値
Ｉ_６＝Ｃ_１１＊（ＡＢＳ（Ｓ＋Ｃ_９）＋Ｃ_１０）に、オーバフローを防止する制限処理を施した値
ここで、Ｉ_５を輝度キーとみなし、Ｉ_６を彩度キーとみなすことができる。

Ｉ_７＝Ｉ_３又はＩ_４
Ｉ_７をＩ_３とするかＩ_４とするかは、演算モードが、キーが設定された領域が色空間内の扇形の領域を表す「扇形モード（sector mode）」であるか、キーが設定された領域が色空間内の楕円の領域を表す「楕円モード（ellipse mode）」であるかに基づいて定められる。すなわち、扇形モードの場合はＩ_３を選択し、楕円モードの場合はＩ_４を選択する。

Ｉ_８＝（Ｉ_７と（Ｉ_５とＩ_６の小さい方））の小さい方
そして、このＩ_８を「シフト及びソフト化（shifted and softened）」することにより、キー値ｋ_ｖが得られる。シフト及びソフト化処理により、補正される領域の境界にキーのエッジが揃うようにキーのエッジを修正することができる。

図５は、累計キー値ｋ_ｆと、新たに生成されるキー値ｋ_ｖとに関する処理を説明するための図である。この実施例では、この処理は、ハードウェア内で実行されるが、図５では、上述したキー修正論理回路をプログラミング可能なデータ処理装置として実現した場合に処理がどのように実行されるかを示している。このプログラミング可能なデータ処理装置は、例えば読出専用メモリ又はディスクストレージ媒体等のストレージ媒体に格納されたプログラム又はインターネット接続等のネットワークを介して受信したプログラムを実行する。

ステップ１００において、処理が開始され、現在の画素の累計キー値ｋ_ｆを０に設定する。ステップ１１０において、第１のキー生成器７１は、第１のキー値ｋ_ｖを生成する。ステップ１２０において、ｋ_ｖと（１−ｋ_ｆ）を比較する。そして、ｋ_ｖ＞（１−ｋ_ｆ）の場合、ステップ１４０において、（１−ｋ_ｆ）すなわちその画素に適用できるキーの残量を混合器３１に供給する。一方、（１−ｋ_ｆ）≧ｋ_ｖの場合（１段目のキー生成段では必ずこうなる）、ステップ１３０において、ｋ_ｖをそのまま混合器３１に供給する。

ステップ１５０において、累計キー値ｋ_ｆにｋ_ｖの値を加算する。この和が１を超えた場合は、累計キー値ｋ_ｆを最大値である１とする。ステップ１６０において、混合処理のシーケンスが完了したか否かが判定され、シーケンスが完了している場合、処理はここで終了する。シーケンスが完了していない場合、処理はステップ１７０に進み、次のキー生成処理段に関する処理が開始され、ステップ１１０からの処理が繰り返される。

累計キー値ｋ_ｆと、新たに生成されたキー値ｋ_ｖとに関する処理を以下の表に示す。

図６は、キー修正論理回路７３、７７、・・・のハードウェア構成を示すブロック図である。

累計キー値ｋ_ｆは、（１−ｋ_ｆ）を算出する減算器２００と、加算器２２０とに並列に供給される。

減算器２００は、（１−ｋ_ｆ）の値を第１の入力としてＮＥＧＮＡＭ２１０に供給する。ＮＥＧＮＡＭ２１０には、第２の入力として、新たに生成されたキー値ｋ_ｖが供給されている。ＮＥＧＮＡＭ２１０は、ｋ_ｖと（１−ｋ_ｆ）の小さい方を現在の混合器によって用いる現在のキー値ｋ_ｖとして出力する。ＮＥＧＮＡＭ２１０からの出力信号は、加算器２２０にも供給され、加算器２２０は、ＮＥＧＮＡＭ２１０からのキー値ｋ_ｖを、現在の累計キー値ｋ_ｆに加算して、新たな累計キー値ｋ_ｆを算出する。

図７は、キー修正論理回路の第２の実施例を示しており、このキー修正論理回路は、先の実施例におけるキー値に加えて、「累計」バイパス値Ｅ_ｘｖも算出する。

上述のように、変更されない画素に対しては、色補正装置の処理が透明（transparent）であることを確実にするために、最終的な累計キー値ｋ_ｆからバイパス機能のための制御信号を生成する。すなわち、いずれかの混合処理段において画素に何らかの変更が施された場合（すなわち、その画素についてｋ_ｆ＞０である場合）、混合器のシーケンスからの出力信号を出力画素として用いる。一方、その画素についてｋ_ｆ＝０である場合、これは、その画素が色補正処理において変更されていないことを意味し、したがって、元の画素の（バッファリングされている）バイパス画素の値を出力画素として用いる。

なお、次のような例外的な処理を行うこともできる。すなわち、混合処理のシーケンスのより初期の処理段の１つを用いて、色空間内の特定の領域に関しては、いかなる変更も行われないようにすることができる。これは、その領域に関するキーを生成するが、対応する混合器を制御するパラメータを、変更がないように設定することによって実現される。上述のように、キー修正論理回路と累計キーｋ_ｆを用いているために、これにより、シーケンス内の後続する混合器によって、色空間のその領域が再び変更されることを防ぐことができる。

ｋ_ｆのみに基づく基本的な「バイパス」法では、色空間における変更から除外された領域に対応するこのような「除外（excluded）」画素は、バイパスバッファからではなく、一連の混合器から出力される。しかしながら、色空間内のその領域に対応する画素は、変更されていないため、バッファリングされた画素を出力画素として用いる方がより適切である。

図７に示すように、各処理段において、前のＥ_ｘｆの値と、ｋ_ｖ（現在のキー修正論理回路から出力され、現在の混合器を制御するために用いられる）及びフラグＥ_ｘｖ（現在のキー生成器が「除外」の動作モードのときハイに設定される）の倫理積（ＡＮＤ）結合との論理和（ＯＲ）演算によって累計除外フラグＥ_ｘｆが導出される。

この構成により、除外モードに設定されたキー生成器は、現在の画素のキー値のＭＳＢがこのキー生成器によって１に設定されている場合、Ｅ_ｘｆをハイに設定する。このロジックでは、Ｅ_ｘｆが一旦ハイに生成されると、後段のキー修正論理回路は、Ｅ_ｘｆをローに戻すことはできない。

図８は、バイパスコントローラの構成を示すブロック図である。バイパスコントローラには、入力として、累計キー値ｋ_ｆと、累計除外フラグＥ_ｘｆとが供給される。バイパスコントローラは、次のような式に基づいて出力信号を生成する。

ｎｂｙｐａｓｓ＝（ｋ_ｆが０ではない）ＡＮＤ（ＮＯＴ Ｅ_ｘｆ）
すなわち、キーが０ではなく、除外フラグがハイに設定されていない場合、（バッファリングされている）バイパス画素は選択されない。

図９は、図１に示す混合器３０の一部の構成を詳細に示すブロック図である。混合器３０は、色相、彩度及び輝度に対する所望の加法的変更（additive changes）並びに彩度及び輝度に対する乗法的変更（multiplicative changes）を生じさせることができる色補正論理回路を備える。混合器３０の論理回路は、極座標領域（polar domain）で動作する。

混合器３０は、入力初期値として、プリプロセッサ２０からの色相、彩度及び輝度の値と、混合コントローラ７０からのキー値ｋ（現在の画素が色補正されているか、及び色補正されているならばどの程度されているかを定義する）と、色相、彩度及び輝度に関する加法的デルタ（additive delta）並びに彩度及び輝度に関する利得（gain）とを含む所望の変更子（modifier）とが供給されている。

論理回路５０２は、色相を変更する。論理回路５０２は、色相における加法的（シフト）変更のみに関係している。論理回路５０２は、色空間内のソフト領域（０＜ｋ＜１の領域）における滑らかな色の遷移を実現するために必要な複数の式を表にしたルックアップテーブル（look-up table：ＬＵＴ）５２０を備える。なお、色空間のソフト領域を介して初期の色相から所望の色相に滑らかに遷移させるためには、極座標領域において彩度及び色相も変更する必要がある。これについては、図１０ａ、図１０ｂ、図１１ａ、図１１ｂ、図１２を参照して後に説明する。ルックアップテーブル５２０の内容については、図１４及び図１５を参照して後に説明する。ルックアップテーブル５２０は、入力としてキー値ｋが供給され、出力を生成し、この出力は、関連した加算器５２２によって、入力色相と加算される。これにより出力色相が生成される。

論理回路５０４は、彩度を変更する。彩度用の論理回路５４０は、加法的（シフト）変更と、乗法的（利得）変更の両方に関係する。上述したように、入力色相から所望の色相に滑らかに遷移させるためには、ソフト領域において彩度も変更する必要があり、論理回路５０４は、このような変更も行う。

論理回路５０４は、ルックアップテーブル５４０を備え、彩度の乗法的変更を行うとともに、ソフト領域における滑らかな変化を実現するために、上述した色相の変更も行う。ルックアップテーブル５４０は、入力としてキー値ｋが供給され、出力を生成して乗算器５４２に供給し、乗算器５４２は、ルックアップテーブル５４０の出力に入力彩度を乗算する。そして、この乗算処理の結果は、加算器５４６に供給され、加算器５４６は、所望の加法的変更の結果を加算する。所望の加法的な彩度の変更δＳａｔは、第１の入力として乗算器５４４に供給される。乗算器５４４には、第２の入力としてキー値ｋが供給されている。乗算器５４４は、δＳａｔとｋとを乗算し、得られる積を加算器５４６に供給し、加算器５４６は、乗算器５４４の出力と乗算器５４２の出力を加算する。このようにして、彩度に関する加法的変更と乗法的変更との和が出力彩度となる。

論理回路５０６は、輝度を変更する。輝度用の論理回路５６０は、加法的（シフト）変更と、乗法的（利得）変更の両方に関係する。論理回路５０６は、彩度用の論理回路５０４とは異なるルックアップテーブルデータを用いる他は、彩度用の論理回路５０４と同様に動作する。論理回路５０６は、ルックアップテーブル５６０を備え、輝度の変更を行うとともに、ソフト領域における滑らかな変化を実現するために、上述した色相の変更もを行う。ルックアップテーブル５６０の内容については、図１６を参照して後に説明する。ルックアップテーブル５６０は、入力としてキー値ｋが供給され、出力を生成して乗算器５６２に供給し、乗算器５６２は、ルックアップテーブル５６０の出力に入力輝度を乗算する。この乗算処理の結果は、加算器５６６に供給され、加算器５６６は、所望の加法的変更の結果を加算する。所望の加法的な輝度の変更δＹは、第１の入力として乗算器５６に供給される。乗算器５６４には、第２の入力としてキー値ｋが供給されている。乗算器５６４は、δＹとｋとを乗算し、得られる積を加算器５６６に供給し、加算器５６６は、乗算器５６４の出力と乗算器５６２の出力を加算する。このようにして、輝度に関する加法的変更と乗法的変更との和が出力彩度となる。

そして、出力色相、出力彩度、出力輝度は、シーケンス内の次段の混合器に供給され、若しくはこの混合器が最終段の混合器である場合には、ポストプロセッサ４０に供給される。

ルックアップテーブルのデータは、フィールド、フレーム等毎に供給するようにしてもよい。これらのデータは、混合器内のデータ生成器（図示せず）において生成してもよく、外部データ処理装置（図示せず）から供給してもよい。

以下、色相の変更にルックアップテーブルを用いる理由の一部について説明する。基本的には、デルタＣｂ及びデルタＣｒ加法的ベクトル変換を用い、Ｃｂ，Ｃｒ領域において色相変更を簡単に加えることは不可能だと考えられている。この背景となる理由は次の通りである。

輝度及び彩度における加法的デルタ変更は、簡単な加法的論理回路で行うことができるが、色相はより複雑である。色相は、極座標領域とも直交座標（Ｃｂ，Ｃｒ）領域ともみなすことができる。

図１０ａは、直交座標領域において色相をシフトさせようとする簡単な加法的論理回路を示している。このような論理回路は、スポット的な色補正、すなわち色空間内の一点によって表される色の補正又は変更に対しては機能するが、色空間内のより広い領域を補正するときには、彩度の誤った値が出力される。（なお、色を見る者が単一の「色」として知覚できるものは、通常、色空間内である領域を占めるものである。）、図１０ｂに示すように、加法的補正量を直交座標領域で設定すると、例えばスポット的な色６２０（対応する色６２０’にマッピングされる）は、正しく補正されるが、このような補正は、通常、例えば色６１０（補正された色６１０’にマッピングされる）及び色６３０（補正された色６３０’にマッピングされる）等の同じ領域内の他のスポット的な色に対しては極めて不適切な補正となる。これは、色６１０’、６３０’の彩度が入力色６１０、６３０の彩度と大きく異なってしまうためである。

この問題は、色相（極座標）領域における処理によって軽減される。図１１ａは、極座標領域において色相をシフトさせる簡単な加法的論理回路を示している。ここでは、色相の変更は、直交座標領域における回転を表している。この処理により、色空間の領域内の異なる位置における正しい彩度が維持され、例えば色６１０は、正しく色６１０”にマッピングされ、色６３０は、正しく色６３０”にマッピングされる。

しかしながら、極座標領域における処理では、他の問題が生じる。特に、典型的には補正する領域のエッジ周辺に設定される色補正の「ソフト」領域（０＜ｋ＜１の領域）では、好ましくない色「レインボー」効果が生じることがある。この理由については、図１２を参照して説明する。

図１２は、極座標領域において表される色相のシフトを示している。色相のシフトは、最も単純には、角度７２０による色相の回転として説明することができ、これにより（例えば）入力色７１０は、補正された色７１０’に変更される。

極座標領域において実行される色相の回転を用いた基本的な構成では、「ソフト」領域（０＜ｋ＜１の領域）を補正すると、次の式によって示されるような角度による部分的な回転が行われる。

色相回転角＝ｋ．（角度７２０）
したがって、例えばキー値が０．３の場合、色７１０が回転され、補正された色７１０”となる。これは、角度７２０の３０％に相当する角度による回転を表している。

しかしながら、ソフト領域では、主観的には、Ｃｂ，Ｃｒ平面において元の色と補正された色との間に線分７４０を引く部分的な補正の方がより望ましい。したがって、キー値が０．３の場合、主観的には、色７１０を色７１０”’に補正することがより望ましい。

これは、ソフト領域においては、色相だけではなく、彩度（彩度は、原点から線分７４０までの距離によって表される）も変わることを意味する。

このような処理は、直交座標（Ｃｂ，Ｃｒ）領域で動作し、回転させるのに必要なハードウェアを用いることによって実現できるが、多くのハードウェアが必要となり、望ましくない。図１３は、直交座標領域においてこの回転を実行するのに適した実現可能な論理回路の構成を示すブロック図ある。この処理は、所望の色相変更のサイン及びコサインの算出を含み、一般的に、ハードウェア又は処理演算の観点からは、非常に高価なものである。一方、この実施例は、より安価なハードウェア又は処理演算で実現できる、より単純な技術を提供する。

上述のように、色相の変更を極座標領域において行う場合、特に０＜ｋ＜１によって色相が変更される場合には、主観的には、色相に加えて彩度も変更することが望ましい。ソフト領域における色相及び彩度のデルタを記述する式は複雑であるため、この処理は、ルックアップテーブルを用いた方が容易に実現できる。

図１４は、図９に示す混合器のソフト領域における色相変更に関連した部分の構成をブロック図である。ルックアップテーブル５２０は、色相のシフトに必要な変更値を提供し、ルックアップテーブル５４０は、彩度の変更に必要な変更値を提供する。これらのルックアップテーブル５２０、５４０のいずれにも入力としてキー値ｋが供給される。ルックアップテーブルの値（彩度及び色相の両方）を生成するための式は、図１５を参照して後に説明する。なお、図１４に示す変更された彩度は、必ずしも最終的な出力彩度ではなく、この彩度は、元の彩度の利得又はデルタに対する所望の直接的な変更によって修正してもよい。色相ルックアップテーブルは、変更キー値に関する線分７４０に沿った線形の遷移が実現されるように色相を変更するために用いられる。図１４に示す２つのルックアップテーブル５２０、５４０の内容は、図１５に示す幾何図形と周知の三角恒等式（trigonometrical identities）とを用いて生成することができる。図１５は、直交座標（Ｃｂ，Ｃｒ）領域における色補正処理を示している。以下、図１５を説明する。

変数「Ｉ」は、色補正処理によって生じる全変更、すなわちｋ＝１の場合の変更を表している。

変数「Δｈｕｅ」は、色補正処理によって生じる全色相回転、すなわちｋ＝１の場合の色相の回転を表している。

変数「ｉ」は、部分的なｋの値、すなわち０＜ｋ＜１の場合に生じる増加的な（ベクトル）変更を表している。

変数「ｓ」は、この０＜ｋ＜１の場合における望ましい彩度を表している。

変数「θ」は、０＜ｋ＜１の場合に必要とされる色相の変更（回転）を表している。

変数「Ｓａｔ」は、現在の画素の彩度を表している。

キー値が増加するにつれて、直交座標領域において初期の色から補正される色への直線的な遷移を確実にするためには、次の式を用いる必要がある。

ｉ＝Ｉ．ｋ
彩度ルックアップテーブル５４０を導き出すために、次の式が必要とされる。

したがって、彩度ルックアップテーブル５４０の内容は、次のように定義される。

この値は、現在の画素の彩度Ｓａｔによって乗算される。ルックアップテーブルへの入力は、角度θであるように見えるが、入力は、実際には入力キー値ｋの関数である。以下、このことを、色相ルックアップテーブル５２０の生成に関連して説明する。

色相ルックアップテーブル５２０に対しては、次の式が必要とされる。

式（１）及び式（２）を上述の式に代入し、ｔａｎ（θ）について解くと、以下のような解が得られる。

これは、角度θが上述の式の左辺のアークタンジェントであることを意味する。色相ルックアップテーブル５２０においては、このことを用いて、キー値ｋを入力とし、角度θを出力とする。そして、この出力角度θを入力色相の角度に加え、修正された色相を生成する。

また、この式は、キー値ｋを彩度ルックアップテーブル５４０用の角度θに関連付けるためにも用いられる。これは、彩度ルックアップテーブル５４０の入力がｋであってもよいことを意味する。

タンジェントは、連続関数ではないため、及びゼロ除算エラーを回避することが重要であるので、ルックアップテーブルの内容を算出するファームウェアにおいては、幾つかの例外が必要となる。これらの例外を以下に示す。

これらの例外は、以下のような手続きによって処理することができる。
（１）Δｈｕｅ＜−１８０°の場合、Δｈｕｅに３６０°を加算する。
（２）Δｈｕｅ＞１８０°の場合、Δｈｕｅから３６０°を減算する。
（３）Δｈｕｅの絶対値＞１７９．９°（すなわち略１８０°）の場合
・ｋ＜０．５であれば、色相変更のルックアップテーブル（ＬＵＴ）の値を０に設定し、彩度変更のＬＵＴの値を（１−２ｋ）に設定する。
・この他（すなわちｋ≧０．５）の場合、色相変更のルックアップテーブル（ＬＵＴ）値をΔｈｕｅに設定し、彩度変更のＬＵＴの値を（２ｋ−１）に設定する。
（４）ｋ＝０の場合、色相変更のＬＵＴの値を０に設定し、彩度変更のＬＵＴの値を１に設定する。また、ｋが正確に１である場合、色相変更のＬＵＴの値をΔｈｕｅに設定し、彩度変更のＬＵＴの値を１に設定する。
（５）

の場合、色相変更のＬＵＴの値を９０°に設定しなければならない。なお、この式のｘが略０（すなわち、０の所定量ＳＭＡＬＬＮＵＭＢＥＲ内）である場合も、色相変更のルックアップテーブルを９０°に設定しなければならない。

この実施例では、１０ビットの色相値を用いる。このことは、色相回転の３６０°が十進数の１０２４に対応することを意味する。したがって、最小色相変化は、１／１０２４で表される。

このことは、９０°と次の角度間の最も小さい近似値を、９０−（３６０／１０２４）＝８９．６４８４３７５とすることができることを意味する。

この値のタンジェントは、１６２．９７２６１６４である。

これを１／ｘとすると、ｘ＝０．００６１３６００１５８＝ＳＭＡＬＬＮＵＢＢＥＲが得られる。

このような規準及び例外を用いることにより、色相及び彩度のルックアップテーブルを構築することができ、このルックアップテーブルは、直交座標領域における線形変換のための正確な値を提供できるとともに、論理回路自体は処理を極座標領域で行うことができる。

上述した論理回路は、加法的変更を行うためには有効である。なお、図９に示す論理回路で実現されるように、乗法的デルタを生成することも有益である。

図１６は、彩度及び輝度に対する乗法的変更を実現する論理回路の構成を示すブロック図である。上述のように、乗法的変更は色相には関連しないので、この論理回路は、彩度及び輝度に対してのみ適用される。乗算器の数を少なくするために、これらの変更は、ルックアップテーブル９２０及び乗算器９４０を用いて実現される。図１６に示すように、ルックアップテーブル９２０から出力された適切な値は、乗算器９４０に供給され、乗算器９４０は、この値と入力値とを乗算して適切な出力値を生成する。彩度の場合も、輝度の場合も、利得は、ルックアップテーブル９２０内に組み込まれている。彩度の場合、利得は、ルックアップテーブル９２０の内容に所望の利得を乗算する（但し、ｋ＝０は、キーがオフのときのための単位利得として残す）ことにより得られ、適切なルックアップテーブル値を乗算器９４０に供給して、入力彩度と乗算することによって得られる。乗算器９４０からは、修正された彩度が出力される。なお、彩度については、ルックアップテーブル９２０及び乗算器９４０は、図９では、ルックアップテーブル５４０及び乗算器５４２として実現されている。彩度用のルックアップテーブル９２０は、所望の彩度の利得を提供する目的と、色相に関連した彩度の修正を提供する目的の２つの目的を有している。

輝度の場合、ルックアップテーブル９２０の内容は、次のような式によって表すことができる。

１＋ｋ＊（所望の輝度利得−１）
そして、ルックアップテーブル９２０は、入力としてキー値ｋが供給され、出力を生成して乗算器９４０に供給し、乗算器９４０は、この出力値と入力輝度とを乗算して、修正された輝度を出力する。なお、輝度については、ルックアップテーブル９２０及び乗算器９４０は、図９では、ルックアップテーブル５６０及び乗算器５６２として実現されている。

上述した本発明の実施例では、本発明の少なくとも一部は、ソフトウェア制御のデータ処理装置を用いて実現されているが、このようなソフトウェア制御を実現するコンピュータプログラム、及びこのようなコンピュータプログラムを提供するストレージ媒体又は伝送媒体も本発明の側面として含まれる。

ここでは、添付の図面を参照して本発明の実施の形態を例示的に詳細に説明したが、本発明はこれらの詳細な具体例に制限されるものではなく、当業者は、特許請求の範囲に定義されている本発明の範囲及び思想から逸脱することなく、ここに説明した実施の形態を様々に変更及び修正することができる。

本発明に基づく色補正装置の構成を示すブロック図である。 色空間におけるソフト領域の処理を説明するための図である。 混合器の構成を示すブロック図である。 キー生成器の構成を示すブロック図である。 キーを用いた処理を説明するためのフローチャートである。 キー修正論理回路の第１の具体例を示す図である。 キー修正論理回路の第２の具体例を示す図である。 バイパスコントローラの構成を示す図である。 混合器の内部構成を示すブロック図である。 直交座標領域における色相の回転に関する問題を説明するための図である。 直交座標領域における色相の回転に関する問題を説明するための図である。 極座標領域における色相の回転を説明するための図である。 極座標領域における色相の回転を説明するための図である。 ソフト領域における色相の回転を説明するための図である。 直交座標領域における色相の回転のための可能な構成を示すブロック図である。 極座標領域における色相の回転のための構成を示すブロック図である。 ルックアップテーブル値の導出の手法を説明するための図である。 輝度修正のためのルックアップテーブルの手法を説明するための図である。

Claims (10)

1. 入力画像に対して画素に基づく色補正を加えて出力画像を生成するデジタル画像処理装置において、
   それぞれが色空間内の一部の異なる領域に対応し、かつ、それぞれが対応する色マッピング処理を実行する２以上の色補正処理を行う色補正論理手段を備え、上記各領域は、上記各色補正処理により実行される上記各色マッピング処理における補正量を定義するキー値を有し、当該キー値は所定の最大値を有し、
   上記２以上の色補正処理は、当該２以上の色補正処理のうち一の色補正処理の結果がその次の色補正処理に入力されるように、一連の色補正処理として構成され、
   上記一連の色補正処理における各色補正処理は、上記入力画像の各画素が上記各色補正処理に対応する上記色空間内の上記領域内にあるか否かを判定し、該画素が該領域内にある場合、該画素に上記色マッピング処理を施し、
   上記一連の色補正処理のうち最初の色補正処理より後の各色補正処理は、該一連の色補正処理における先行する色補正処理により上記色マッピング処理が施された後の領域内にある画素に関しては、当該先行する色補正処理に対応する上記領域が有するキー値の合計が上記最大値以上となる場合には、上記色マッピング処理を阻止することを特徴とするデジタル画像処理装置。
2. 上記各色補正処理は、個別の色補正プロセッサによって実行されることを特徴とする請求項１記載のデジタル画像処理装置。
3. 上記各色補正処理のうち少なくとも１つに対応する色空間内の上記領域は、上記キー値の最大値により定義される補正量のうち一部について上記色マッピング処理が実行されるソフト領域を含むことを特徴とする請求項１記載のデジタル画像処理装置。
4. 上記一の色補正処理において上記ソフト領域について上記色マッピング処理が行われ、かつ、当該一の色補正処理に後続する色補正処理に対応する上記領域が、当該一の色補正処理における上記ソフト領域に重なる場合には、当該後続する色補正処理により実行される色マッピング処理は、当該ソフト領域に重なる領域においては、上記キー値の最大値により定義される補正量のうち一部の補正量に限定されることを特徴とする請求項３記載のデジタル画像処理装置。
5. 上記キー値は、色マッピング処理が行われないことを示す最小値から、上記最大値までの間で可変されることを特徴とする請求項３記載のデジタル画像処理装置。
6. 上記一連の色補正処理における先行する色補正処理における関連する全ての色補正処理における各キー値の合計が上記最小値及び上記最大値の間にある領域に関しては、後続する上記色補正処理による色マッピング処理が、当該キー値の合計に応じて上記一部について阻止されることを特徴とする請求項５記載のデジタル画像処理装置。
7. 上記後続する色補正処理は、上記色空間内の各領域に関する先行する色補正処理によって適用されたキー値の累計を算出し、該キー値の累計と、上記最大値との差を超えない範囲内で色マッピング処理を実行することを特徴とする請求項６記載のデジタル画像処理装置。
8. 入力画像に対して画素に基づく色補正を加えて出力画像を生成するデジタル画像処理方法において、
   それぞれが色空間内の一部の異なる領域に対応し、かつ、それぞれが対応する色マッピング処理を実行する２以上の色補正処理を行うステップを有し、上記各領域は、上記各色補正処理により実行される上記各色マッピング処理における補正量を定義するキー値を有し、当該キー値は所定の最大値を有し、
   上記２以上の色補正処理は、当該２以上の色補正処理のうち一の色補正処理の結果がその次の色補正処理に入力されるように、一連の色補正処理として構成され、
   上記一連の色補正処理における各色補正処理は、上記入力画像の各画素が上記各色補正処理に対応する上記色空間内の上記領域内にあるか否かを判定し、該画素が該領域内にある場合、該画素に上記色マッピング処理を施し、
   上記一連の色補正処理のうち最初の色補正処理より後の各色補正処理は、該一連の色補正処理における先行する色補正処理により上記色マッピング処理が施された後の領域内にある画素に関しては、当該先行する色補正処理に対応する上記領域が有するキー値の合計が上記最大値以上となる場合には、上記色マッピング処理を阻止することを特徴とするデジタル画像処理方法。
9. 請求項８記載のデジタル画像処理方法をコンピュータに実行させるプログラム。
10. 請求項９記載のプログラムを記録した記録媒体。

Images