JP2008294932A - 色処理方法および装置 - Google Patents

Abstract

【課題】 カラーチャートの色域外の色を精度良く予測し、最適化の際のターゲットデータとして加えることで、カラーチャートの色域外の色を良好に再現する。
【解決手段】 撮像手段によって撮影された画像に対して行う色処理に用いる色処理パラメータを生成するための色処理方法であって、前記撮像手段によって撮影された画像のデータを入力する工程と、前記データに対応するターゲットデータを入力する工程と、前記データおよびターゲットデータに基づき、新たなデータ及びターゲットデータの組を生成する生成工程と、前記データを前記ターゲットデータに変換するための色処理パラメータを生成する色処理パラメータ生成工程とを有する。
【選択図】 図１

Description

本発明は色処理パラメータを生成するものに関する。

従来のデジタルカメラにおいては、デジタルカメラ内部にあらかじめ複数の色処理パラメータを保持し、その中から１つを選択し、選択したモードに応じた色処理パラメータを使用して、撮影した画像データの色処理を行っていた。

しかしながら、従来のデジタルカメラにおいては、あらかじめ用意されているモードのみしか設定できず、ユーザの好みの色再現を実現することが出来ない。

そこで、発明者は特許文献１において、デジタルカメラの色再現をユーザの好みによって自由に設定できるような装置を提供することを目的として、色処理パラメータカスタマイズ装置を提案した。

この装置においては、肌色や空・草の色、原色などを含むカラーチャートをデジタルカメラで撮影したときの撮影データを、自分が好ましいと思う色（ターゲットデータ）に近づかせることができる色処理パラメータを求めることができる。
特開２００４−３４１９２３号公報

しかし、この装置においては、カラーチャートで再現可能な色域内に関しては良好な色再現が可能であるが、カラーチャートの色域外に関しては、必ずしも良好な色再現は出来ず、精度が悪くなってしまうという改善の余地があった。

一般にデジタルカメラの色再現範囲はカラーチャートの色再現範囲よりも大きいため、カラーチャートの色再現範囲外で上記問題が発生してしまっていた。

本発明は上記問題に鑑みてなされたものであり、カラーチャートの色域外の色を精度良く予測し、最適化の際のターゲットデータとして加えることで、カラーチャートの色域外の色を良好に再現することを目的とする。

上記目的を達成するために、本発明は、撮像手段によって撮影された画像に対して行う色処理に用いる色処理パラメータを生成するための色処理方法であって、前記撮像手段によって撮影された画像のデータを入力する工程と、前記データに対応するターゲットデータを入力する工程と、前記データおよびターゲットデータに基づき、新たなデータ及びターゲットデータの組を生成する生成工程と、前記データを前記ターゲットデータに変換するための色処理パラメータを生成する色処理パラメータ生成工程とを有することを特徴とする。

以上説明したように本発明によれば、カラーチャートの色域外の色を精度良く予測し、最適化の際のターゲットデータとして加えることで、カラーチャートの色域外の色も良好に再現することが可能となる。

（実施形態１）
本実施形態のシステム構成を図１に示す。

図１において、１はデジタルカメラ、２は色補正パラメータカスタマイズ装置、３は色票である。

１０１は撮影レンズとＣＣＤ等の画像センサよりなる撮像手段である。１０２は画像データおよび色処理パラメータの外部とのインターフェイスであるデータ入出力手段である。１０３は撮像手段で取得した被写体像から、色処理パラメータ保持手段１０４に格納された色処理パラメータを用いて処理を行い、画像データを形成する画像処理手段である。１０４は色処理パラメータを保持する色処理パラメータ保持手段である。１０５は撮影中の画像を表示する液晶ディスプレイ等の表示手段である。２０１は画像データおよび色処理パラメータ、ターゲットデータの外部とのインターフェイスであるデータ入出力手段である。

２０２は撮像手段で取得した被写体像から、色処理パラメータ保持手段２０６に格納された色処理パラメータを用いて処理を行い、画像データを形成する画像処理手段である。２０３はデータ入出力手段２０１から入力した画像データの各パッチのＲＧＢ平均値を算出する平均値算出手段である。

２０４はＲＧＢ値予測手段であり、入力データ、ターゲットデータ保持手段２０７に保持されている入力データ、ターゲットデータを用いて、任意の分光特性を持つパッチを撮影した場合の画像データのＲＧＢ値を予測する。そして、予測したＲＧＢ値を任意の分光特性のＸＹＺ値もしくはＬａｂ値とともに入力データ、ターゲットデータ保持手段２０７に追加格納する。

２０５は色処理パラメータ保持手段２０６に格納されている色処理パラメータを例えばＤＬＳ法などを用いて最適化するパラメータ最適化手段である。

２０６はデジタルカメラの色処理パラメータを保持する色処理パラメータ保持手段である。２０７は入力データ、およびターゲットデータを保持する入力データ、ターゲットデータ保持手段である。２０８は入力データおよびターゲットデータをＣＩＥＬＡＢで規定される色空間のａｂ平面上にプロットしたデータを表示し、ターゲットデータを必要に応じてＵＩ上で好みの色になるように変更することの出来る変更手段である。

＜デジタルカメラ１での処理＞
まず撮影においては、ユーザは不図示の電源スイッチをＯＮにした後、撮像手段１０１を通して取得した画像データから色処理パラメータ保持手段１０４に格納されたパラメータを使用して、画像処理手段１０３で表示用画像を生成する。生成された画像は同時に表示手段１０５に表示される。ユーザは表示手段１０５に表示された画像を見て、カメラの構図を決め、不図示のシャッターボタンを押し、撮影を行う。

シャッターボタンが押されると、撮像手段１０１で取得した画像データから色処理パラメータ保持手段１０４に格納されたパラメータを使用して、画像処理手段１０３により色、明るさの処理等が行われ、データ入出力手段１０２から出力される。このとき、ケーブルなどを介して色処理パラメータ編集装置に直接データを出力しても良いし、コンパクトフラッシュ（登録商標）などの記録媒体に出力しても良い。またこのとき、色処理パラメータ保持手段１０４に、撮像手段１０１から取得した画像データをそのままデータ入出力手段１０２に出力するようなパラメータを設定すれば、撮像手段１０１を通して取得した画像データそのものを取得することが出来る。

＜色票３＞
図２に色票３の例を示す。色票３は、グレタグマクベス社のＣｏｌｏｒＣｈｅｃｋｅｒ ｆｏｒ ＤＣ（２４０色）など色設計に用いるチャートを使用するとよい。

＜色処理パラメータ編集装置２＞
図３に色処理パラメータ編集装置２における処理の流れを示す。

ステップＳ１において、色域外データの予測を行う。ステップＳ１の動作の詳細は、図４〜６を用いて後述する。ステップＳ２において、色処理パラメータを最適化し、３ＤＬＵＴを生成する。ステップＳ２の動作の詳細は、図７を用いて後述する。ステップＳ３において、ステップＳ２において生成され色処理パラメータ保持手段２０６に格納された３ＤＬＵＴを、データ入出力手段２０１がデジタルカメラ１にアップロードする。

＜予測手段２０４での処理＞
図４に予測手段２０４での処理の流れを示す。図４は図３のステップＳ１を詳細に示したものである。

ステップＳ１１において、デジタルカメラ１を用いて色票３を撮影することにより得られた各パッチのＲＧＢ平均値を取得する。

色票３を撮影する際は、画像処理手段１０３は、撮像手段１０１から取得した画像データをそのままデータ入出力手段１０２に出力するパラメータを用いる。例えば、ガンマ処理であればガンマ値１に、マトリックス処理であれば、単位行列を用いる。

ステップＳ１２において、色票３の各パッチ及び撮影光源の分光特性の測定値を取得する。

ステップＳ１３において、ステップＳ１２で取得した各パッチの分光特性、撮影光源の分光特性および撮像装置１のフィルタの分光特性から、各パッチのＲＧＢ値を算出する。図５に示すように、撮影光源の分光特性、パッチの分光特性および撮像装置１のフィルタの分光特性を、各波長において掛け算をした後に積分値を求める。

ステップＳ１４において、Ｓ１１で取得したＲＧＢ値とＳ１３で算出したＲＧＢ値とから、色処理パラメータの最適化を行う。ステップＳ１１で取得したＲＧＢ値とステップＳ１３で算出したＲＧＢ値は同じパッチから取得したものであるが値は異なっているので、その差を吸収するためのマトリックスを色処理パラメータとして求める。

最適化の際には、ステップＳ１１で取得したＲＧＢデータを色処理パラメータを用いて演算し、ＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定してＣＩＥＬＡＢに変換したデータを（Ｌ＊ｉ、ａ＊ｉ、ｂ＊ｉ）とする。色処理パラメータには、３ｘ３のマトリックスや、３ｘ９のマトリックス、３ｘ１９のマトリックスなどを用いる。また、ステップＳ１３で取得したＲＧＢ値をＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定してＣＩＥＬＡＢに変換したデータを（Ｌ＊Ｔｉ、ａ＊Ｔｉ、ｂ＊Ｔｉ）とする。そして、ＤＬＳ法などを用いて全ての色処理後の入力データ（Ｌ＊ｉ、ａ＊ｉ、ｂ＊ｉ）が対応するターゲットデータ（Ｌ＊Ｔｉ、ａ＊Ｔｉ、ｂ＊Ｔｉ）になるべく近くなるように色処理パラメータを最適化する。

このとき、各色パッチの評価関数をＥｉ、全体の評価関数をＥとし、

を最小とするようなパラメータを算出する。

また、各色パッチに重みを個別に設定しても良い。そのときの評価関数は重み値をｗｉとすると、以下のようになる。

ステップＳ１５において、任意の分光特性、撮像装置１のフィルタの分光特性から、この任意の分光特性を有する色を撮影した場合のＲＧＢ値を予測するとともに、ＸＹＺ値を算出する。

ステップＳ１４までの処理により、色票３の各パッチの分光分布と、各パッチを撮像装置１で撮影した際のＲＧＢ値の関係（色処理パラメータ）を求めることができた。そこで、この関係を用いて色票３には含まれていないパッチの分光分布を撮像装置１で撮影した場合のＲＧＢ値を予測する。

また、図６に示すように、色票３には含まれていないパッチの分光分布に等色関数を掛け算することによりＸＹＺ値を求める。

求めたＲＧＢデータとＸＹＺ値をそれぞれＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定し、ＣＩＥＬＡＢに変換したものの組をそれぞれ入力データ、ターゲットデータとして入力データ、ターゲットデータ保持手段２０７に格納する。

＜色処理パラメータ最適化方法＞
図７に色処理パラメータ最適化方法を示す。図７は、図３のステップＳ２を詳細に示したものである。

ステップＳ２１において、画像入出力手段２０１において色票３の画像データを入力する。ケーブルなどを介してデジタルカメラから直接読み込んでも良いし、コンパクトフラッシュ（登録商標）などの記録媒体から読み込むようにしても良い。入力する画像データは色票３を撮影した画像である。

ステップＳ２２において、平均値算出手段２０３において入力した画像データの各パッチのＲＧＢ平均値を求める。

ステップＳ２３において、画像処理手段２０２においてあらかじめ色処理パラメータ保持手段２０６に設定されている色処理パラメータを使用して、ＲＧＢ平均値に対して色処理を行う。ここで、色処理パラメータは３ｘ３のマトリックスや、３ｘ９のマトリックス、３ｘ１９のマトリックスなどが考えられる。なお、ステップＳ１４で生成したマトリックスを使用しても構わない。

そして、処理後のＲＧＢデータをＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定し、ＣＩＥＬＡＢに変換したものを入力データとして入力データ、ターゲットデータ保持手段２０７に格納する。

変換式を以下に示す。

（ＲＧＢ→ＣＩＥＸＹＺへの変換式）

（ＣＩＥＸＹＺ→ＣＩＥＬＡＢへの変換式）

但し、Ｘｎ、Ｙｎ、Ｚｎは撮影時の照明の色温度から算出した値。

ステップＳ２４において、色票３の各パッチに対応するターゲットデータを入力する。ターゲットデータは、入力データ、ターゲットデータ保持手段２０７から取得する。さらに、入力データ、ターゲットデータ保持手段２０７から、色票３には含まれていないパッチの入力データとターゲットデータを取得する。

ステップＳ２５において、ステップＳ２４で取得した入力データ、ターゲットデータを変更手段２０８で表示する。変更手段２０８での表示例を図９に示し、詳細を後述する。

ステップＳ２６において、変更手段２０８上で必要に応じてターゲットデータを編集する。このとき、たとえば肌色の赤味を強めたり、空の青色を強めたりといった編集をするとよい。

ステップＳ２７において、パラメータ最適化手段２０５において、色処理パラメータの最適化を行う。

最適化の際には、各入力ＲＧＢデータをＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定してＣＩＥＬＡＢに変換したデータを（Ｌ＊ｉ、ａ＊ｉ、ｂ＊ｉ）、対応する各ターゲットデータを（Ｌ＊Ｔｉ、ａ＊Ｔｉ、ｂ＊Ｔｉ）とする。

そして、ＤＬＳ法などを用いて全ての色処理後の入力データが対応するターゲットデータになるべく近くなるように色処理パラメータ（３ｘ３のマトリックスや、３ｘ９のマトリックス、３ｘ１９のマトリックス）を最適化する。

このとき、各色パッチの評価関数をＥｉ、全体の評価関数をＥとし、

を最小とするようなパラメータを算出するようにすると良い。また、各色パッチに重みを個別に設定しても良い。そのときの評価関数は重み値をｗｉとすると、

のように算出される。

ステップＳ２８において、先に最適化した色処理パラメータを使用して、３ＤＬＵＴを作成する。デジタルカメラの入力ＲＧＢデータが１０ビット（０−１０２３）、３ＤＬＵＴのスライス数が１７であると仮定した場合の作成方法を以下に示す。
（Ｒ，Ｇ，Ｂ）＝
（０，０，０）、（０，０，６４）、（０，０，１２８）、‥‥、
（０，０，１０２３）、（０，６４，０）、（０，６４，６４）、‥‥、
（０，６４，１０２３）、（０，１２８，０）、（０，１２８，６４）、‥‥、（１０２３，１０２３，１０２３）
の４９１３個（＝１７ｘ１７ｘ１７個）のデータを順番に入力する。最適化された色処理パラメータを用いてＲ’Ｇ’Ｂ’値を算出した後に前記Ｒ’Ｇ’Ｂ’値をＩＥＣ６１９６６−２−１で規定されるｓＲＧＢと仮定してＣＩＥＬＡＢに変換したＬ＊ａ＊ｂ＊値を算出する。

そして、算出された４９１３組の（Ｒ、Ｇ、Ｂ）−（Ｌ＊、ａ＊、ｂ＊）の組を３ＤＬＵＴとして色処理パラメータ保持手段２０６に格納する。

ここで、ステップＳ１４、１５、１６、１７におけるＲ’Ｇ’Ｂ’値の算出方法、およびＲＧＢ→ＣＩＥＸＹＺ、ＣＩＥＸＹＺ→ＣＩＥＬＡＢへの変換式を以下に示す。

（Ｒ’Ｇ’Ｂ’値の算出方法）
色処理パラメータには、たとえば３ｘ３のマトリックスや、３ｘ９のマトリックス、３ｘ１９のマトリックスなどが考えられる。そして、以下の式に従ってそれぞれＲ’Ｇ’Ｂ’値を算出する。

まず、入力ＲＧＢ値を正規化する。正規化は入力ＲＧＢ値が１０ビットの場合には各値を１０２３（＝２^１０−１）で割る。次に、以下の（１５）〜（１７）のいずれかの式を用いてＲ’Ｇ’Ｂ’を算出する。

ただし、Ｍ１：３ｘ３マトリックス、Ｍ２：３ｘ９マトリックス、Ｍ３：３ｘ１９マトリックスである。

＜変更手段２０８での表示例＞
図９に変更手段２０８での表示例を示す。

表示手段２０８上には、各パッチの入力データ（縁の黒い点）２０８１、ターゲットデータ（縁の白い点）２０８２が表示されている。データ自体は、ＣＩＥＬＡＢで規定された空間の、ａ＊ｂ＊平面、Ｌ＊ａ＊平面、Ｌ＊ｂ＊平面のいずれかにマッピングしたものを表示している。

ターゲットデータはポインタ２０８３で変更することが出来るようにすると、画面上で視覚的にターゲットが変更できて良い。

なお、デジタルカメラと色処理パラメータ編集装置におけるデータのやり取りをコンパクトフラッシュ（登録商標）などの記録媒体を用いて行っても良い。

また、評価関数として（１）または（２）であらわされる式を使用していたが、下記の式で表される△Ｅ９４を使用しても良いことは言うまでもない。

但し、

Ｗｉは各パッチの重み値
また前述した実施形態のうち、色処理パラメータ編集装置の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施形態機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

たとえば、画像処理をコンピュータにインストールされたドライバソフト上で行うものも含まれる。またこの場合、前記ソフトウエアのプログラムコード自体が前述した実施形態の機能を実現することになる。そして、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

実施形態１のシステム構成を示す図 色票３の例を示す図 色処理パラメータ編集装置２における処理の流れを示す図。 ＲＧＢ値予測手段２０４での予測の流れを示す図 撮影光源の分光分布、色票３のあるパッチの分光分布、撮像装置１のＲＧＢフィルタの分光分布から、ＲＧＢを算出する方法を示す図 色票３のあるパッチの分光分布、等色関数からＸＹＺ値を算出する方法を示す図 色処理パラメータ最適化の流れを示す図 入力データ、ターゲットデータをテキストファイルから読み込む場合のテキストデータの例を示す図 変更手段２０８の例を示す図

Claims (6)

1. 撮像手段によって撮影された画像に対して行う色処理に用いる色処理パラメータを生成するための色処理方法であって、
   前記撮像手段によって撮影された画像のデータを入力する工程と、
   前記データに対応するターゲットデータを入力する工程と、
   前記データおよびターゲットデータに基づき、新たなデータ及びターゲットデータの組を生成する生成工程と、
   前記データを前記ターゲットデータに変換するための色処理パラメータを生成する色処理パラメータ生成工程とを有することを特徴とする色処理方法。
2. 前記色処理パラメータ生成工程は、前記データを前記生成された色処理パラメータで処理することにより得られたデータと、前記ターゲットデータとの差が小さくなるように、前記色処理パラメータを生成することを特徴とする請求項１記載の色処理方法。
3. 前記生成工程は、前記入力したデータの分光特性と、撮影時の光源の分光特性と、前記撮像手段のフィルタの分光特性から算出したデータに基づき色処理パラメータを算出し、
   前記算出された色処理パラメータと、前記入力したデータの分光特性と、撮影時の光源の分光特性と、前記撮像手段のフィルタの分光特性を用いて任意の分光特性に対応する前記あらたなデータおよびターゲットデータの組を生成することを特徴とする請求項１記載の色処理方法。
4. 前記撮像手段のフィルタはＲ、Ｇ、Ｂのフィルタであることを特徴とする請求項３に記載の色処理方法。
5. 請求項１乃至請求項４のいずれかに記載の画像処理方法を、コンピュータに実現させるためのプログラム。
6. 撮像手段によって撮影された画像に対して行う色処理に用いる色処理パラメータを生成するための色処理装置であって、
   前記撮像手段によって撮影された画像のデータを入力する手段と、
   前記データに対応するターゲットデータを入力する手段と、
   前記データおよびターゲットデータに基づき、新たなデータ及びターゲットデータの組を生成する生成手段と、
   前記データを前記ターゲットデータに変換するための色処理パラメータを生成する色処理パラメータ生成手段とを有することを特徴とする色処理装置。

Images