JP2006060776A

JP2006060776A - 分光反射率候補算出方法、色変換方法、分光反射率候補算出装置、色変換装置、分光反射率候補算出プログラム、色変換プログラム

Info

Publication number: JP2006060776A
Application number: JP2005131078A
Authority: JP
Inventors: Takayuki Hasegawa; 隆行長谷川
Original assignee: Toppan Printing Co Ltd
Current assignee: Toppan Inc
Priority date: 2004-08-23
Filing date: 2005-04-28
Publication date: 2006-03-02
Anticipated expiration: 2025-04-28
Also published as: JP4715288B2

Abstract

【課題】所望の照明光源下における色再現推定対象物の測色値を高精度に推定する。
【解決手段】分光反射率が異なる色票を配した標準板を色再現推定対象物と同一の画像入力条件で入力した際の色票の画像データを取得し、各色票に対応するセンサ応答値を画像データから抽出した従属変数と、各色票の分光反射率、分光反射率を特定次元の線形結合で表現する基底関数から作成した独立変数と、を用いて最適化法を施し、物体の分光反射率を特定次元の線形結合で表現する基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成し、前記変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する。また、前記分光反射率候補から測色値候補をもとめ、重み付けをして目的とする測色値を推定する。
【選択図】図１

Description

本発明は、被写体をディジタルスチルカメラやディジタルビデオカメラやスキャナー等のディジタル画像入力機器で撮影することによって得られた画像から、任意の照明光の下における被写体の色を撮像系に依存しない測色値として算出し、画像を測色的に得る色変換装置に関する。被写体の色を測色的に推定することにより、例えば、撮像特性に固有でない測色的に定義された被写体の画像の蓄積や、被写体の画像データの色や明るさを補正するカラー画像処理等を好適に行うことが可能である。

撮像系により撮影された画像データは、撮像系固有の情報、例えば画素値Ｒ、Ｇ、Ｂ等として記述されるのが一般的である。これらの画像データを測色画像データに変換する方法としては、おおよそ以下のような状況であった。

まず、広く一般的に使用されているＲ、Ｇ、Ｂ、３チャンネルのディジタル画像入力機器にあっては、撮影により得られた撮像系の応答信号値と被写体の測色値との対応関係を、行列演算により定義する手法が用いられる。（例えば、特許文献１参照。）この手法では、撮像系の分光感度特性と撮影時照明光源の分光特性との分光積が人間の目の分光感度特性と被写体の色再現を決定するために使用される照明光源との分光積の線形変換により表される場合には、被写体の測色値を正確に算出することが可能である。

しかし、上記条件を好適に満たす分光特性を持つ撮像系を使用したとしても、撮影時に使用される照明、及び被写体の色再現を決定するために使用される照明の両者、またはいずれかが他のものに置き換えられた場合には、撮像系の応答信号値から被写体の測色値を正確に算出することは不可能となる。

そのため、撮像系の応答信号値と被写体の測色値との対応関係を定義する行列を重回帰分析等の統計的手法により決定し、被写体の測色値を推定する手法がしばしば用いられるが、十分な推定精度を得るには至っていなかった。

また、撮影により４チャンネル以上の情報を取得することにより、より正確に被写体の測色値を取得する手法も存在する。例えば、（ａ）画像入力機器内部の受光素子に４種類以上のカラーフィルタを設置する、（ｂ）単色の画像入力機器を使用し、画像入力機器、または照明光源の前面に４種類以上のカラーフィルタを順次設置して撮影を行う、（ｃ）３チャンネルの画像入力機器を使用し被写体を撮影し、画像入力機器、または照明光源の前面に１種類以上のカラーフィルタを順次設置して撮影を行い、フィルタ無しで撮影した画像と合わせて４チャンネル以上の画像情報を取得する、等の手法が採られる。

これらの手法では、撮影により得られた画像情報から、重回帰分析等の統計的手法による被写体の測色値推定、または、被写体の分光反射率を推定する統計モデルを用いることによる被写体の測色値推定、等が可能である。

しかしながら、上記（ａ）の手法は、画像の空間解像度が低下すること、価格が高額になること、等の問題を有していた。また、上記（ｂ）や（ｃ）の手法においては、画像入力機器以外の外部装置が必要となること、機器が高額であること、装置の重量及び大きさが増加すること、動画への応用が困難であること、等が問題となっていた。

特開２００２−１８５８０３号公報（第３−４頁）

本発明は前記従来の技術が持つ諸問題に鑑みなされたものであって、画像入力機器の外部に専用の機器を必要とすること無く、低コストで簡便に、しかも高精度で所望の照明光源下における被写体（色再現推定対象物）の測色値を推定することができ、その結果を利用して、撮像系に固有の各特性に影響を受けない色としての測色画像データを撮影された画像から求めることを可能とする分光反射率候補算出方法や色変換方法、そして分光反射率候補算出装置や色変換装置、並びに分光反射率候補算出プログラムや色変換プログラムを提供することを目的とする。

前記課題を解決するために提供する本発明の第１の発明は、ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出方法であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を色再現推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出して従属変数を作成する従属変数作成ステップと、前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成ステップと、前記従属変数と独立変数とを用いて最適化法を施すことにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成ステップと、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、を有する分光反射率候補算出方法である。

また、本発明の第２の発明は、ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出方法であって、分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件下で入力した画像データから得られるセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成ステップと、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、を有する分光反射率候補算出方法である。

また、本発明の第３の発明は、色再現推定対象物の画像を含む画像データを、所望の照明光源下における色再現推定対象物の画像を含む測色画像データへ変換する色変換方法であって、請求項１または２記載の分光反射率候補算出方法によって分光反射率候補を算出するステップと、色再現推定対象物の色再現を定義するために使用する照明光源の分光分布特性と人間の視感度特性を用い、前記分光反射率候補の測色値を算出する測色値候補算出ステップと、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出ステップと、前記測色値候補及び前記存在確率係数に基づき、色再現推定対象物の画像データを測色画像データへ変換する変換ステップと、を有する色変換方法である。

また、本発明の第４の発明は、画像入力機器によって得られた色再現推定対象物の画像を含む画像データから色再現推定対象物の分光反射率候補を算出する分光反射率候補算出装置であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を色再現推定対象物と同一の画像入力条件で入力する画像入力手段と、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出して従属変数を作成する従属変数作成手段と、前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成手段と、前記従属変数と独立変数とを用いて最適化法を施すことにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成手段と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、を有する分光反射率候補算出装置である。

また、本発明の第５の発明は、画像入力機器によって得られた色再現推定対象物の画像を含む画像データから色再現推定対象物の分光反射率候補を算出する分光反射率候補算出装置であって、分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件で入力でき、その画像入力の際の入射光に対する分光感度特性及び画像入力に用いる照明光源の分光分布特性が既知である画像入力手段と、分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件下で入力した画像データから得られるセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成手段と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、を有する分光反射率候補算出装置である。

また、本発明の第６の発明は、画像入力機器によって得られた色再現推定対象物の画像を含む画像データから色再現推定対象物の分光反射率候補を算出し、該分光反射率候補を用いて前記画像データを測色画像データへ変換する画像入力装置であって、請求項４または５に記載の分光反射率候補算出装置より、色再現推定対象物の分光反射率候補を取得する分光反射率候補取得手段と、色再現推定対象物の色再現を定義するために使用する照明光源の分光分布特性と人間の視感度特性を用い、前記分光反射率候補の測色値を算出する測色値候補算出手段と、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出手段と、前記測色値候補及び前記存在確率係数に基づき、色再現推定対象物の画像を含む画像データを測色画像データへ変換する画像変換手段と、を有する色変換装置である。

また、本発明の第７の発明は、ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出装置のコンピュータに実行させるプログラムであって、分光反射率が異なる複数の色票を同一の面上に配した標準板を色再現推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出して従属変数を作成する従属変数作成処理と、前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成処理と、前記従属変数と独立変数とを用いて最適化法を施すことにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成処理と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、を有する分光反射率候補算出プログラムである。

また、本発明の第８の発明は、ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出装置のコンピュータに実行させるプログラムであって、分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件下で入力した画像データから得られるセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成処理と、前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、を有する分光反射率候補算出プログラムである。

また、本発明の第９の発明は、色再現推定対象物の画像を含む画像データを、所望の照明光源下における色再現推定対象物の画像を含む測色画像データへ変換する色変換装置のコンピュータに実行させるプログラムであって、請求項１または２記載の分光反射率候補算出方法によって分光反射率候補を算出する処理と、色再現推定対象物の色再現を定義するために使用する照明光源の分光分布特性と人間の視感度特性を用い、前記分光反射率候補の測色値を算出する測色値候補算出処理と、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出処理と、前記測色値候補及び前記存在確率係数に基づき、色再現推定対象物の画像データを測色画像データへ変換する変換処理と、を有する色変換プログラムである。

本発明によれば、請求項１または請求項２に示す分光反射率候補算出方法、あるいは請求項４または請求項５に示す分光反射率候補算出装置、あるいは請求項７または請求項８に示す分光反射率候補算出プログラムによって、画像入力機器によって得られた被写体（色再現推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数に基づき、被写体の分光反射率となり得る分光反射率候補を高い精度で算出することができる。

また、本発明の請求項３に示す色変換方法、あるいは請求項６に示す色変換装置、あるいは請求項９に示す色変換プログラムによって、前記分光反射率候補を用いて、被写体（色再現推定対象物）の色再現を定義するために使用する照明光源の分光分布特性、人間の視感度特性、及び、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数に基づき、画像入力機器により入力された画像データを任意の照明光源下における被写体（色再現推定対象物）の色再現を最もよく示す測色画像データへ変換することができる。この測色画像データは、画像入力機器固有の特性に依存しない色が定義されたデータとなり、測色的な取り扱いが可能となる。

以上説明したように、本発明によれば、画像入力機器によって得られた被写体（色再現推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数に基づき、被写体の分光反射率となり得る分光反射率候補を算出し、前記分光反射率候補を用いて、被写体の色再現を定義するために使用する照明光源の分光分布特性、人間の視感度特性、及び、複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数に基づき、撮像系により撮影された画像データを任意の照明光源下における被写体の色再現を示す測色画像データへ変換することができる。これによって、前記のような専用の多チャンネル画像入力機器を敢えて用いることもなく、撮影で得られた画像データを測色データへ変換する方法及び装置を提供することができた。

＜１．構成＞
以下、本発明に係る装置構成について一実施形態を例示し、図面を参照しつつ、より詳細に説明する。尚、本実施の形態では画像入力機器としてディジタルカメラを用いた説明となっているが、後段に示すように、スキャナーなどにも応用が可能であり、その都度、適宜読み替えて実施することができる。

図１は、本発明の一実施形態に係る色変換装置の構成を示す説明図である。同図において、１は同一平面上に分光分布の異なる複数の色票が配列された標準板であり、空間内の測定対象位置に、撮像手段の方向へ前記色票を有する面を向けて設置する。それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び分光反射率が実質一様となるように作成されている。なお、撮像系の分光感度特性、及び撮影時に用いる照明光源の分光分布特性が既知であれば、標準板１の使用は省略し、分光反射率が既知である物体ひとつを代替として用いることも可能である。

また、２は照明光源であり、標準板１を照射する。

また、３はディジタルカメラである。ここでは、Ｒ、Ｇ、Ｂの３チャンネルの光センサが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイルに記録する撮像手段と、撮像手段の露光条件であるシャッタースピードと絞り値を制御して、撮影に好適な露光条件を設定する設定手段とを兼ね備えたディジタルカメラである。

また、４は撮像手段で得られた画像ファイルを入力して、撮像系の特性を示す撮像系変換係数を算出する解析手段であり、計算機（コンピュータ）が用いられる。また、撮影された画像ファイルは計算機４によって、撮像系固有の画像データから測色データへ変換される。

＜２．動作＞
２−１．全体動作
以下、本発明に係る色変換方法や色変換装置の一例について、図面を参照しつつ、全体の処理のステップあるいは全体の動作について説明する。図２は、本実施形態に係る測色的撮像装置を用いた全体の動作フローを示すブロック図である。

（ｓ１）ユーザが、標準板１を測定対象位置に設置し、標準板１の色票面が適切な明るさとなるよう照明光源２を設置し、ディジタルカメラ３をディジタルカメラ３の撮像範囲で標準板１が適切な大きさに撮影される測定位置に設置する。

（ｓ２）ユーザが、標準板１の表面から反射される光がディジタルカメラの適正露光範囲に収まるようディジタルカメラ３の露光条件であるシャッタースピードと絞り値を設定する。

（ｓ３）ユーザが、ディジタルカメラ３のシャッターを切り、ディジタルカメラ３が撮影を行う。また、同様の手順により、同一の照明光源２、及び同一の露光条件の下で、撮影の本来の対象となる被写体を撮影し、画像ファイルに記録する。

（ｓ４）ユーザが、ディジタルカメラ３に記録された画像ファイルを計算機４へ入力する。

（ｓ５）計算機４は、物体の分光反射率を特定の次元で表現するための基底関数と、標準板１の各色票の分光反射率データと、ディジタルカメラ３の階調特性データに基づき、画像ファイル内に記録された標準板１の画像データに対応して解析処理を行い、被写体の分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を、ディジタルカメラが出力する画素値をディジタルカメラへの入射光のエネルギー量に線形となるように変換した線形階調データ（以下、センサ応答値）に変換する画像入力機器用変換行列を出力する。

（ｓ６）計算機４が、解析処理で計算された画像入力機器用変換行列と、物体の分光反射率特性を統計的に表すための統計量データに基づき、ｓ４で入力したディジタルカメラ３からの画像ファイルの画像データを測色データへ変換する。

なお、上記ｓ１からｓ６は、部分的に、または全体的に、ユーザ（人間）の作業によるのではなく、自動で処理することも可能である。省力化や迅速化のためには、一般にその方が好ましい。また、ｓ３では標準板１と被写体を同一条件下で別途撮影し、異なる画像ファイルとして記憶したが、被写体を撮影する際に空間的に十分な余裕があれば、そこに標準板１を設置し、標準板１と被写体の画像データを一度の撮影によって得ることも可能である。

２−２．解析処理
以下、本発明に係る色変換方法や色変換装置の一例における、被写体の分光反射率とディジタルカメラのセンサ応答値とを対応付ける画像入力機器用変換係数を算出する解析処理について、図３のフローチャートに基づいて説明する。

（ｓ７）ディジタルカメラ３で撮影した標準板１を含む画像データが記載された画像ファイルから、画像データを読み込む。

（ｓ８）標準板１の画像データをモニタ上に表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より画像データ内の各色票の位置を特定し、それぞれの色票における中心付近の一定領域の画素について画素値を得る。

（ｓ９）ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、ｓ８で得られた全ての画素値を線形化し、センサ応答値を得る。

（ｓ１０）各色票についてセンサ応答値の平均値を取り、それらの値を行列として配列したセンサ応答行列を得る。例えば、Ｒ、Ｇ、Ｂの３チャンネルからなるディジタルカメラ、及び、Ｌ個の色票を有する標準板を使用したとすれば、センサ応答行列Ｙは３行Ｌ列の行列として（１）式と表される。請求項における従属変数がこのＹに当たる。

（ｓ１１）予め記憶してある、標準板１の各色票の分光反射率データ、例えば、波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされたＬ個の３６次元ベクトルと、同様に波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた、被写体の分光反射率をＮ次元の線形結合で表現するためのＮ個の正規直行基底関数をＮ個の３６次元ベクトルで表した基底関数ベクトルとから、線形結合における基底関数への係数を配列したＮ行Ｌ列の係数行列Ｘを（２）式のように作成する。請求項における独立変数がこのＸに当たる。

ただし、ｂは分光反射率の基底関数ベクトル、ｒは色票の分光反射率ベクトルを表す。また、Ｔは行列の転置を表す。なお、標準板１の設計にあたっては、標準板１の各色票は、その分光反射率が基底関数ベクトルｂのＮ次元線形結合として十分な精度で表されるよう、例えば実在する物体サンプルの中から該当するものを予め選択しておくか、あるいは、例えば実在する染色材料と媒体とから予め作成しておく。また、色票の数Ｌは基底関数ベクトルの数Ｎ以上とし、Ｌ個の色票の分光反射率が波長空間に張る部分空間はＮ個の基底関数ベクトルが張る空間と実質的に等価となるよう色票の選択または作成を行っておく。

（フローチャートのｓ１２）ｓ１０で算出されたセンサ応答行列Ｙを従属変数行列、ｓ１１で算出された係数行列Ｘを独立変数行列として、線形重回帰分析を行い、得られた偏回帰係数からなる３行Ｎ列の行列を、分光反射率を特定の次元の線形結合で表現した際の基底関数ベクトルに対する係数をセンサ応答値に変換する画像入力機器用変換行列Ｍとする。

なお、ｓ１２では線形重回帰分析により画像入力機器用変換行列Ｍを決定したが、照明光源２の分光分布、及びディジタルカメラ３の分光感度特性が既知である場合には、標準板１を用いること無く、この行列を計算により導出することも可能である。画像入力機器用変換行列Ｍは分光反射率を特定の次元の線形結合で表現した際の基底関数ベクトルに対する係数をセンサ応答値に変換するので、（３）式と等価である。

ただし、Ｆはディジタルカメラ３の分光感度特性を表す３６行３列の行列で、各列はＲ、Ｇ、Ｂそれぞれのチャンネルにおける分光感度特性を正規化した３６次元ベクトルから成る。

また、Ｅは照明光源２の分光分布データを対角成分に持つ３６行３６列の対角行列である。また、ＢはＮ個の基底関数ベクトルのそれぞれを各列に持つ３６行Ｎ列の行列である。ここで、Ｆの各列は、ディジタルカメラの分光感度特性の測定値に正規化のための係数を乗じたものであり、その係数は、例えば、分光反射率が３６次元ベクトルｒで表される物体を標準板１の代わりに撮影し、ｓ８〜ｓ１０と同様の方法で画像データ内においてその物体に対応する画素位置の平均センサ応答Ｒ、Ｇ、Ｂを算出し、（４）式が成り立つように決定すれば良い。

２−３．画像変換処理
以下、本発明に係る色変換方法あるいは色変換装置の一例における、解析処理で算出された画像入力機器用変換行列Ｍを用い、ディジタルカメラ３からの画像ファイルの画像データを測色データへ変換する画像変換処理について、図４のフローチャートに基づいて説明する。

（ｓ１３）ディジタルカメラ３で撮影した被写体を含む画像データが記載された画像ファイルから、画像データを読み込む。

（ｓ１４）ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係をあらかじめ記録した階調特性データを用い、画像データの各画素の画素値を線形化し、それをベクトルとして表したセンサ応答ベクトル（５）式を得る。

（ｓ１５）センサ応答ベクトルｔから、そのセンサ応答ベクトルが得られた画素に対応する位置における被写体の分光反射率を、以下の手順により推定する。まず、物体の分光反射率ｒ（３６次元ベクトル）を、Ｎ個の基底関数ベクトルの線形結合として、Ｎ個の基底関数ベクトルのそれぞれを各列に持つ３６行Ｎ列の行列Ｂと、各基底関数ベクトルに対する係数から成るＮ行１列の係数ベクトルｗにより、（６）式と表すことにすれば、

分光反射率の推定は係数ベクトルｗの推定と等価である。分光反射率ｒを持つ被写体を撮影した際に得られるセンサ応答ベクトルｔは、画像入力機器用変換行列Ｍにより、（７）式と表すことができ、

画像入力機器用変換行列ＭをＭの第１列から第３列までの要素から成る行列Ｍ_ｌとＭの第４列から第Ｎ列までの要素から成るＭ_ｈとに分解して（８）式とし、

また同様に、係数ベクトルｗもｗの第１行から第３行までの要素から成るベクトルｗ_ｌとｗの第４行から第Ｎ行の要素から成るベクトルｗ_ｈとに分解して（９）式とすれば、

行列Ｍ_ｌは３行３列の正方行列なので、その逆行列Ｍ_ｌ ^−１が存在し、（１０）式を得る。

従って、撮影で得られたセンサ応答ベクトルｔを与える分光反射率の推定値ｒ’として、（１１）式を得る。

ただし、行列Ｂ_ｌは行列Ｂの第１列から第３列までの要素から成る行列であり、また、Ｂ_ｈは行列Ｂの第４列から第Ｎ列までの要素から成る行列である。ここで、任意の値から成るａ個の異なるベクトルｗ_ｈから、ａ個の分光反射率推定値ｒ’を算出し、その中で実在可能なもの、すなわち、分光反射率の値が０以上１以下のものを選択し、選択されたｃ個のｒ’を分光反射率候補とする。また、得られた分光反射率候補のうち、ｊ番目の分光反射率候補に対応するｗ_ｈをｗ_ｈ，ｊとし、（１２）式により決定されるｗ_ｌ，ｊとｗ_ｈ，ｊとから、

ｊ番目の分光反射率候補に対応する係数ベクトルｗ_ｊを（１３）式とする。

これをｃ個全ての分光反射率候補に対して得る。なお、初期値で与えるａ個のベクトルｗ_ｈとしては、例えば、Ｎ個の基底関数ベクトルの線形結合により得られるｒが０から１の制限内でなるべく広い範囲の値を取ることができるようｗ_ｈの各成分の上限と下限を定め、各成分についてその範囲を等間隔にサンプリングし、サンプリングされた値の全組み合わせを用いれば良い。

（ｓ１６）波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた、被写体の色再現を定義するために使用される照明光源の分光分布データと、同じく波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた人間の視感度特性を表すＣＩＥ１９３１標準観測者等色関数を用い、ｃ個全ての分光反射率候補の測色値を、ＣＩＥＬＡＢ値として得る。

（ｓ１７）物体の分光反射率をＮ個の基底関数ベクトルの線形結合により表現する際の係数ベクトルを実在する物体のｐ個の分光反射率データについて予め算出した母集団係数ベクトルに基づき、ｓ１５で得られた係数ベクトルから、同じくｓ１５で得られたｃ個の分光反射率候補が物体の分光反射率として実在し得る確率に基づく存在確率係数ωを、（１４）式として決定する。

ただし、ω_ｊはｊ番目の分光反射率候補に対する存在確率係数、ｖ_ｋ，ｉはｋ番目の母集団係数ベクトルにおけるｉ次元目の要素、ｗ_ｊ，ｉはｊ番目の係数ベクトルｗ_ｊにおけるｉ次元目の要素、σ_ｉ ^２は全母集団係数ベクトルにおけるｉ次元目の要素の分散である。また、Ωは、（１５）式とするための正規化係数である。

なお、母集団係数ベクトルを算出する際の分光反射率データとしては、それぞれに値が異なり、実在する物体の分光反射率を広く網羅するものを用いることが望ましい。

（ｓ１８）ｓ１６で得られたｃ個のＣＩＥＬＡＢ値のそれぞれに、ｓ１７で得られた存在確率係数の対応するものを乗じた後その平均値を取って重み付け平均値とし、センサ応答ベクトルｔに対応する測色データを得る。

＜３．変形例＞
以上本発明に係る色変換方法及び色変換装置について例を挙げてその実施形態を説明したが、それ以外にも例えば次のような変形例も考えられる。

（ａ）解析手段すなわち測色値候補算出手段と存在確率係数算出手段において、照明光源２の分光分布、及びディジタルカメラ３の分光感度特性が既知である場合、分光反射率が既知の物体を撮影しなくとも、撮影時のディジタルカメラ３の設定条件であるシャッタースピードと絞り値、ディジタルカメラ３と被写体との距離、及び照明光源２の放射強度等の情報に基づき、計算により、あるいは事前に対応テーブルを作成しておくことにより、行列Ｆに含まれる正規化係数を算出し、画像入力機器用変換行列Ｍを決定することも好ましい。

（ｂ）画像変換手段において、ＣＩＥ１９３１の２度視野標準観測者の等色関数の代わりに、ＣＩＥ１９６４の１０度視野補助標準観測者の等色関数を用いることも好ましい。

（ｃ）標準板の色票の数、扱う全ての分光データの波長範囲及び波長間隔等は固定ではなく、適正な推定精度が得られる範囲内であれば、必要に応じて選択することも好ましい。

（ｄ）分光反射率を表すために用いる線形結合における基底関数ベクトルは、物体の物理的属性や、光学的属性等（例えば、繊維、印刷物、プラスチック、絵画等）に分類して導出しておき、撮影の本来の対象となる被写体の属性に応じて適宜選択することも好ましい。また、これに応じて、標準板の色票の分光特性、及び母集団係数ベクトルもそれぞれの属性に応じて適正なものを用いることも好ましい。

（ｅ）解析手段において、画像データ中の標準板の位置指定をユーザが行うことを必要とせず、画像データを分析し、標準板の位置を自動的に検出する処理を行う機能を解析手段の中へ組み込むことも好ましい。

（ｆ）標準板の画像データには画像入力機器のノイズが含まれることがあるため、解析手段の中に、色票部をサンプリングした後の画素値、または階調線形化を施した後のセンサ応答値から、ノイズ成分を除去（もしくは低減）する処理を組み込んでおくことも好ましい。

（ｇ）解析手段、及び画像変換手段は、必ずしも計算機を用いずとも、独立した専用の装置を設けるか、あるいは画像入力機器と一体に組み込んでおくことも好ましい。

（ｈ）画像変換手段が出力する測色データの記述方法はＣＩＥＬＡＢ値によるものには限らず、例えばＣＩＥＸＹＺ三刺激値等の非デバイス依存色を用いるか、あるいは、例えばｓＲＧＢのような非デバイス依存色との対応関係が明確に定義されているデバイス依存色を用いることも好ましい。

（ｉ）画像入力機器は、必ずしもディジタルスチルカメラやディジタルビデオカメラ等のディジタルカメラでなくても良く、前記技術は、イメージスキャナ等、画像データを取得できるものであれば応用が可能である。

（ｊ）画像入力機器は必ずしもＲ、Ｇ、Ｂの３チャンネルカメラでなくても良く、前記の技術はチャンネル数が３以外の場合においても応用が可能である。

（ｋ）前記の例では、画像変換手段における測色データとしてＣＩＥＬＡＢ均等色空間における値を用いているが、それ以外の均等色空間を用いることも好ましい。また、均等色空間に限らず、例えばＣＩＥＸＹＺ三刺激値等を用いることが好ましい場合もある。

（ｌ）前記の例では、画像変換手段における存在確率係数の算出に用いるσ^２を全母集団係数ベクトルにおける分散としているが、推定精度をより高めるためにこの値を最適化パラメータとした最適化を行うことも好ましい。

（ｍ）前記の例では、被写体を撮影した画像データのそれぞれの画素に対して分光反射率候補の算出、及び測色値の算出を行っているが、より高速な処理を実現するため、前期技術を応用して、例えばＩＣＣカラープロファイル等の形式による色変換テーブルを作成し、前記プロファイルを同一撮影条件下で撮影された全ての画像に適用することも好ましい。

本発明に係る色変換装置の一例について、その概略構成を模式的に示す説明図である。本発明に係る色変換装置の一例について、その全体の動作を説明するフローチャートである。本発明に係る色変換装置の一例について、解析手段が行う処理を説明するフローチャートである。本発明に係る色変換装置の一例について、画像変換手段が行う処理を説明するフローチャート。

符号の説明

１・・・標準板
２・・・撮影時照明光源
３・・・撮像手段（ディジタルカメラ）
４・・・解析手段（計算機）

Claims

ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出方法であって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を色再現推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出して従属変数を作成する従属変数作成ステップと、
前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成ステップと、
前記従属変数と独立変数とを用いて最適化法を施すことにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成ステップと、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、
を有する分光反射率候補算出方法。
ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出方法であって、
分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件下で入力した画像データから得られるセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成ステップと、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出ステップと、
を有する分光反射率候補算出方法。
色再現推定対象物の画像を含む画像データを、所望の照明光源下における色再現推定対象物の画像を含む測色画像データへ変換する色変換方法であって、
請求項１または２記載の分光反射率候補算出方法によって分光反射率候補を算出するステップと、
色再現推定対象物の色再現を定義するために使用する照明光源の分光分布特性と人間の視感度特性を用い、前記分光反射率候補の測色値を算出する測色値候補算出ステップと、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出ステップと、
前記測色値候補及び前記存在確率係数に基づき、色再現推定対象物の画像データを測色画像データへ変換する変換ステップと、
を有する色変換方法。
画像入力機器によって得られた色再現推定対象物の画像を含む画像データから色再現推定対象物の分光反射率候補を算出する分光反射率候補算出装置であって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を色再現推定対象物と同一の画像入力条件で入力する画像入力手段と、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出して従属変数を作成する従属変数作成手段と、
前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成手段と、
前記従属変数と独立変数とを用いて最適化法を施すことにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成手段と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、
を有する分光反射率候補算出装置。
画像入力機器によって得られた色再現推定対象物の画像を含む画像データから色再現推定対象物の分光反射率候補を算出する分光反射率候補算出装置であって、
分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件で入力でき、その画像入力の際の入射光に対する分光感度特性及び画像入力に用いる照明光源の分光分布特性が既知である画像入力手段と、
分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件下で入力した画像データから得られるセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成手段と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出手段と、
を有する分光反射率候補算出装置。
画像入力機器によって得られた色再現推定対象物の画像を含む画像データから色再現推定対象物の分光反射率候補を算出し、該分光反射率候補を用いて前記画像データを測色画像データへ変換する画像入力装置であって、
請求項４または５に記載の分光反射率候補算出装置より、色再現推定対象物の分光反射率候補を取得する分光反射率候補取得手段と、
色再現推定対象物の色再現を定義するために使用する照明光源の分光分布特性と人間の視感度特性を用い、前記分光反射率候補の測色値を算出する測色値候補算出手段と、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出手段と、
前記測色値候補及び前記存在確率係数に基づき、色再現推定対象物の画像を含む画像データを測色画像データへ変換する画像変換手段と、
を有する色変換装置。
ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出装置のコンピュータに実行させるプログラムであって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を色再現推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出して従属変数を作成する従属変数作成処理と、
前記標準板上の各色票の分光反射率、及び分光反射率を特定の次元の線形結合で表現するための基底関数を用いて、独立変数を作成する独立変数作成処理と、
前記従属変数と独立変数とを用いて最適化法を施すことにより、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換するための変換係数を作成する画像入力機器用変換係数作成処理と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、
を有する分光反射率候補算出プログラム。
ディジタル画像入力機器から得られた色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率となり得る候補を算出する分光反射率候補算出装置のコンピュータに実行させるプログラムであって、
分光反射率が既知である物体を色再現推定対象物と同一の画像入力条件下で入力した画像データから得られるセンサ応答値と、画像入力機器の分光感度特性と、画像入力時に使用する照明光源の分光分布特性と、分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、物体の分光反射率を特定の次元の線形結合で表現する際の基底関数に対する係数を画像入力機器のセンサ応答値に変換する変換係数を作成する画像入力機器用変換係数作成処理と、
前記画像入力機器用変換係数と、物体の分光反射率を特定の次元の線形結合で表現するための基底関数とに基づき、センサ応答値に対応する分光反射率の候補を算出する分光反射率候補算出処理と、
を有する分光反射率候補算出プログラム。
色再現推定対象物の画像を含む画像データを、所望の照明光源下における色再現推定対象物の画像を含む測色画像データへ変換する色変換装置のコンピュータに実行させるプログラムであって、
請求項１または２記載の分光反射率候補算出方法によって分光反射率候補を算出する処理と、
色再現推定対象物の色再現を定義するために使用する照明光源の分光分布特性と人間の視感度特性を用い、前記分光反射率候補の測色値を算出する測色値候補算出処理と、
複数の分光反射率データから成る分光反射率母集団データを特定の次元の線形結合で表現する際の基底関数に対する係数を用い、前記分光反射率候補の存在確率係数を算出する存在確率係数算出処理と、
前記測色値候補及び前記存在確率係数に基づき、色再現推定対象物の画像データを測色画像データへ変換する変換処理と、
を有する色変換プログラム。