JP4798354B2

JP4798354B2 - 分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラム

Info

Publication number: JP4798354B2
Application number: JP2006025849A
Authority: JP
Inventors: 隆行長谷川
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2006-02-02
Filing date: 2006-02-02
Publication date: 2011-10-19
Anticipated expiration: 2026-02-02
Also published as: JP2007208708A

Description

本発明は、例えばディジタルスチルカメラ、ディジタルビデオカメラ、スキャナ装置を含む画像入力機器により被写体を撮影することによって得られた画像から、画像の各画素に対応する位置での被写体の分光反射率を推定する分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラムに関する。分光反射率は画像入力機器や画像入力時の光源に依存しない、被写体固有の色情報であり、分光反射率によって画像を定義することにより、例えば、画像入力時の被写体の状況を正確に記録し、蓄積することや、また、蓄積した分光反射率画像から、所望の光源下で人間が被写体を観察したときに知覚する色を予測し、モニタや印刷物上で再現するカラー画像処理等を好適に行うことが可能である。

物体の色特性は、その物体の分光反射率によって表される。一方、その物体を画像入力機器により撮影して得られる画像データは、例えば画素値Ｒ、Ｇ、Ｂ等として記述されるのが一般的であるが、これらの画像データは被写体の分光反射率だけでなく、画像入力機器や画像入力時の光源の特性にも依存する。従って、物体自体の色特性を取得するためには、画像データから被写体の分光反射率を推定する必要があり、その方法としてはおおよそ以下のような状況であった。

先ず、可視光波長領域にわたり、透過波長帯の異なる複数の狭帯域フィルタを用いて順次撮影を行う分光画像撮影技術が広く知られている。この方法では、単色の画像入力機器を使用し、画像入力機器、または照明光源の前面に狭帯域フィルタを順次設置しながら撮影することにより、数十チャンネルの画像を取得し、そこから被写体の分光反射率の推定を行う（例えば、特許文献１を参照）。しかしながら、この方法では、（ａ）狭帯域フィルタを用いるため光量が不足すること、（ｂ）価格が高額になること、（ｃ）装置の重量及び大きさが増加すること、（ｄ）動画への対応が困難であること、等が問題となっていた。

また、分光反射率を基底ベクトルの低次元線形和によって近似する分光反射率低次元線形モデルを用いることにより、撮影チャンネル数を低減する方法もある。分光反射率低次元線形モデルの詳細については後述する。この方法では、線形モデルの次数と等しいチャンネル数の画像データを取得することにより、画像データから基底ベクトルの係数への線形変換を行い、分光反射率を推定することが可能である。一般的に、分光反射率低次元線形モデルに必要とされる次元数は５〜８程度とされており、分光反射率を推定するためにはこれと同数のチャンネル数の画像データを取得すればよい。そのため、フィルタの分光特性は必ずしも狭帯域でなくてもよく、前述の（ａ）の問題は解決できるが、（ｂ）、（ｃ）、（ｄ）については同様の問題を抱えていた。
特開２００１−９９７１０号公報

本発明は前記従来の技術が持つ諸問題に鑑みなされたものであって、画像入力機器の外部に専用の機器を必要とすることなく、低コストで簡便に、しかも高精度で画像入力機器や画像入力時の光源に依存しない、被写体固有の色情報である分光反射率を推定し算出でき、これによって定義された分光反射率画像を取得することを可能にする分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラムを提供することを目的とする。

前記課題を解決するために提供する本発明の第１の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出ステップと、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出ステップと、前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップとを有する分光反射率推定方法である。

また、本発明の第２の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出ステップと、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出ステップと、前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップとを有する分光反射率推定方法である。

また、本発明の第３の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得手段と、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出手段と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出手段と、前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段とを有する分光反射率推定装置である。

また、本発明の第４の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を前記分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出手段と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出手段と、前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段とを有する分光反射率推定装置である。

また、本発明の第５の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法をコンピュータに実行させるプログラムであって、分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出処理と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出処理と、前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理とを有する分光反射率推定プログラムである。

また、本発明の第６の発明は、画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法をコンピュータに実行させるプログラムであって、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を前記分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出処理と、前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出処理と、前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理とを有する分光反射率推定プログラムである。

本発明によれば、請求項１または請求項２に示す分光反射率推定方法、あるいは請求項３または請求項４に示す分光反射率推定装置、あるいは請求項５または請求項６に示す分光反射率推定プログラムによって、画像入力機器によって得られた被写体（分光反射率推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数に基づき、前記被写体の分光反射率を高い精度で算出し、分光反射率画像を得ることが可能となる。

すなわち、画像入力機器によって得られた被写体（分光反射率推定対象物）の画像データから、分光反射率を特定の次元の線形結合で表現するための基底関数に基づき、前記被写体の分光反射率を推定し、前記画像入力機器によって得られた画像データを、画像入力機器や画像入力時の光源に依存しない、被写体固有の色情報である分光反射率によって定義された分光反射率画像データに変換できる。これにより前記のような専用の多チャンネル画像入力機器を敢えて用いることなく、撮影で得られた画像データを分光反射率画像データへ変換できる分光反射率推定方法、分光反射率推定装置および分光反射率推定プログラムを提供できる効果がある。

（実施例１）
以下、本発明の実施例１の分光反射率推定方法が適用される分光反射率推定装置について図面を参照し説明する。尚、本実施例１では画像入力機器としてディジタルカメラを用いた説明となっているが、後段に示すように、スキャナ等にも応用が可能であり、その都度、適宜読み替えて実施することが出来る。

図１は、本実施例１の分光反射率推定方法が適用される分光反射率推定装置の構成を示す説明図である。同図において、１は同一平面上に分光分布の異なる複数の色票が配列された標準板であり、空間内の測定対象位置にディジタルカメラ３の方向へ前記色票を有する面を向けて設置する。それぞれの色票の表面の反射特性は、拡散性が高く、同一色票内ではその拡散性及び分光反射率が実質一様となるように作成されている。なお、ディジタルカメラ３の分光感度特性、及び撮影時に用いる照明光源の分光分布特性が既知であれば、標準板１の使用は省略することも可能である。２は照明光源であり、標準板１を照射する。ディジタルカメラ３は、Ｒ、Ｇ、Ｂの３チャンネルの光センサが検出した電位信号を処理して、各画素のＲＧＢ階調値をカラー画像データとして画像ファイルに記録する撮像手段と、前記撮像手段の露光条件であるシャッタースピードと絞り値を制御して、撮影に好適な露光条件を設定する設定手段とを備えている。

４は計算機（センサ応答値抽出手段、仮想センサ応答値算出手段、センサ応答値非線形変換関数作成手段、線形結合係数算出行列作成手段、分光反射率線形結合係数算出手段、分光反射率推定手段、センサ応答値算出手段）である。計算機４は、ディジタルカメラ３で得られた画像ファイルを入力して、画像データのチャンネル数を仮想的に増加させるチャンネル数仮想増加モジュールを生成し、また、チャンネル数を増加させた画像データを分光反射率画像に変換する際に用いる線形結合係数算出行列を決定する解析手段と、画像データを分光反射率画像データへ変換する画像変換手段とを備えている。

次に動作について説明する。
以下、本実施例１に係る分光反射率推定方法が適用される分光反射率推定装置の動作について説明する。図２は、分光反射率推定装置において分光反射率推定を行うための概略的な手順を示すフローチャートである。
先ず、ユーザが標準板１を測定対象位置に設置し、標準板１の色票面が適切な明るさとなるよう照明光源２を設置し、ディジタルカメラ３の撮像範囲で標準板１が適切な大きさに撮影されるような測定位置にディジタルカメラ３を設置する（ステップＳ１）。
次に、ユーザは、標準板１の表面から反射される光がディジタルカメラ３の適正露光範囲に収まるようディジタルカメラ３の露光条件であるシャッタースピードと絞り値を設定する（ステップＳ２）。
その後、ユーザはディジタルカメラ３のシャッターを切り、ディジタルカメラ３による撮影を行う。また、同様の手順により、同一の照明光源２、及び同一の露光条件の下で、撮影の本来の対象となる被写体を撮影し画像ファイルに記録する（ステップＳ３）。

そして、ユーザが、ディジタルカメラ３に記録された画像ファイルを計算機４へ入力する（ステップＳ４）。計算機４は、ディジタルカメラ３の階調特性データと、標準板１の各色票の分光反射率データと、仮想的な分光特性を持つ仮想分光フィルタデータと、物体の分光反射率を特定の次元で表現するための基底ベクトルとに基づき、画像ファイル内に記録された標準板１の画像データに対応して解析処理を行う。この解析処理では、ディジタルカメラ３から得られる画像データのチャンネル数を仮想的に増加させるチャンネル数仮想増加モジュールと、チャンネル数を増加させた画像データの各画素におけるセンサ応答ベクトル（ディジタルカメラが出力する画素値をディジタルカメラへの入射光のエネルギー量に線形となるように変換した線形階調データ）を、被写体の分光反射率を特定の次元の線形結合で表現するための基底ベクトルに対する係数に変換する線形結合係数算出行列を出力する（ステップＳ５）。
次に、計算機４は、ディジタルカメラ３の階調特性データと、前記解析処理で出力されたチャンネル数仮想増加モジュール及び線形結合係数算出行列と、物体の分光反射率を特定の次元で表現するための基底ベクトルに基づき、ステップＳ４で入力したディジタルカメラ３からの画像ファイルの画像データを分光反射率画像データへ変換する（ステップＳ６）。

なお、上記ステップＳ１からステップＳ６は、部分的に、または全体的に、ユーザの作業によるのではなく自動で処理することも可能である。省力化や迅速化のためには、一般にその方が好ましい。また、ステップＳ３では標準板１と被写体を同一条件下で別途撮影し、異なる画像ファイルとして記憶したが、被写体を撮影する際に空間的に十分な余裕があれば、そこに標準板１を設置し、標準板１と被写体の画像データを一度の撮影によって得ることも可能である。

次に、前記ステップＳ５における線形結合係数算出行列を算出する解析処理について説明する。
図３（ａ）、（ｂ）は、この線形結合係数算出行列を算出する解析処理の動作を示すフローチャートである。
以下、ディジタルカメラ３から得られる画像ファイルの画像データのチャンネル数を仮想的に増加させるチャンネル数仮想増加モジュールを生成し、チャンネル数を増加させた画像データの各画素におけるセンサ応答ベクトルを、被写体の分光反射率を特定の次元の線形結合で表現するための基底ベクトルに対する係数に変換する線形結合係数算出行列を算出する解析処理について、図３（ａ）、（ｂ）のフローチャートに基づいて説明する。
図３（ａ）のフローチャートに示すように、先ず、ディジタルカメラ３で撮影した標準板１を含む画像データが記載された画像ファイルから画像データを読み込む（ステップＳ７）。

次に、標準板１の画像データをモニタ上に表示し、撮影された画像内の標準板の位置をユーザに指定させ、この指定位置より画像データ内の各色票の位置を特定し、それぞれの色票における中心付近の一定領域の画素について画素値を得る（ステップＳ８）。

そして、ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係を予め記録した階調特性データを用い、ステップＳ８で得られた全ての画素値を線形化したものをセンサ応答値とし、色票毎にその平均値を取る（ステップＳ９、センサ応答値抽出ステップ、センサ応答値抽出処理）。なお、センサ応答値はチャンネル毎に得られるため、以下では計算の便宜上、センサ応答値をベクトル化し、センサ応答ベクトルとする。たとえば、Ｒ、Ｇ、Ｂの３チャンネルのディジタルカメラにおいては、各チャンネルのセンサ応答値をそれぞれＲ、Ｇ、Ｂとすれば、センサ応答ベクトルｔ_ＲＧＢは式(１)で定義される。

なお、照明光源２の分光特性とディジタルカメラ３の分光感度特性が既知である場合には、標準板１の撮影を行わずとも、予め測定し、記憶してある標準板の分光反射率データから、計算によりセンサ応答ベクトルｔ_ＲＧＢを求めることができる。例えば、分光データを、波長域３８０ｎｍから７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた離散データとして扱えば、センサ応答ベクトルｔ_ＲＧＢは式（２）により算出することができる。

ただし、ｆ_Ｒ、ｆ_Ｇ、ｆ_ＢはＲ、Ｇ、Ｂ各チャンネルの分光感度特性を表し、ｔ_ＲＧＢの取る値のレンジが実際の画像から求めたセンサ応答ベクトルと一致するように正規化した３６次元ベクトル、Ｅは照明光源の分光特性を対角成分に持つ３６行３６列対角行列、ｒは分光反射率を表す３６次元ベクトル（以下、分光反射率ベクトル）である。また、Ｔは行列の転置を表す。

次に、予め記憶してある、Ｌ個の色票から成る標準板１の各色票の分光反射率ベクトルと、Ｐ個の仮想的な分光フィルタの３６次元ベクトル（以下、仮想分光フィルタベクトル）とから、標準板１のそれぞれの色票に対して、仮想的なセンサ応答ベクトルｔ_ｈを式（３）により算出する（ステップＳ１０、仮想センサ応答値算出ステップ、仮想センサ応答値算出処理）。

ただし、ｈは仮想分光フィルタベクトルを表す。
ここで、仮想分光フィルタベクトルは、ディジタルカメラ３の分光感度特性と照明光源２の分光特性の分光積と線形独立である限り、各要素に任意の値を取ることができるベクトルである。この条件は、式（４）で表される。

ただし、ｈ_ｐはｐ番目の仮想分光フィルタベクトル、Ｍ_３×３は任意の要素から成る３行３列の行列である。
仮想分光フィルタの具体的な例としては、例えばＰ＝３であれば、適当な照明光源の分光特性とＣＩＥ１９３１の２度視野標準観測者の等色関数との分光積等を用いることができる。

次に、ステップＳ９で得たＬ個のセンサ応答ベクトルｔ_ＲＧＢをステップＳ１０で得たＬ個の仮想センサ応答ベクトルｔ_ｈに非線形に変換するモデルを構築することにより、本来、ディジタルカメラ１で得られた３チャンネルの画像データから、仮想的に（３＋Ｐ）チャンネルの画像データを生成する、チャンネル数仮想増加モジュールを作成する（ステップＳ１１、センサ応答値非線形変換関数作成ステップ、センサ応答値非線形変換関数作成処理）。非線形変換モデルとしては例えば、式（５）等が該当する。

ただし、Ｍ_３×１１は３行１１列の行列であり、Ｌ個のセンサ応答ベクトルとＬ個の仮想センサ応答ベクトルを教師データとしてモデルの誤差が最小となるように決定する。
なお、ここでの非線形変換モデルは式（５）に限定されるものではなく、例えば式（５）に異なる次数の項を追加したものや、任意の非線形関数を使用したもの、あるいはルックアップテーブル形式のもの等、十分な変換精度が得られる非線形変換モデルであれば、何を使用しても構わない。ここでは、一般的な形として、非線形変換モデルを関数Ａで表し、非線形変換処理を式（６）で表す。

次に、図３（ｂ）のフローチャートに示すように、ステップＳ１１で得たチャンネル数仮想増加モジュールを用い、ステップＳ９で得たＬ個のセンサ応答ベクトルｔ_ＲＧＢと、ステップＳ１０で得たＬ個の仮想センサ応答ベクトルｔ_ｈとから、式（７）により、総合センサ応答行列Ｔ_Ｓを作成する（ステップＳ１２、線形結合係数算出行列作成ステップ、線形結合係数算出行列作成処理）。

そして、標準板１の各色票の分光反射率ベクトルと、色票の分光反射率を特定の次元の線形結合で表現するための基底ベクトルとに基づき、式（８）により線形結合係数行列Ｃを作成する（ステップＳ１３、線形結合係数算出行列作成ステップ、線形結合係数算出行列作成処理）。

ただし、ｂは分光反射率の基底ベクトルであり、ｒは色票の分光反射率ベクトルを表す。一般に、分光反射率基底ベクトルｂは複数の分光反射率ベクトルから主成分分析等の処理により導出される正規直行ベクトルであり、寄与率の高いＮ個の基底ベクトルによって分光反射率を式（９）の低次元線形モデルで表すのに使用される。

ただし、ｃは分光反射率基底ベクトルに対する係数である。一般に、分光反射率を式（９）の低次元線形モデルで表すための次数Ｎは５から８程度であるとされている。
なお、標準板１の設計にあたっては、標準板１の各色票は、その分光反射率が分光反射率基底ベクトルｂのＮ次元線形結合として十分な精度で表されるよう、例えば実在する物体サンプルの中から該当するものを予め選択しておくか、あるいは、例えば実在する染色材料と媒体とから予め作成しておく。また、色票の数Ｌは分光反射率線形モデルの次数Ｎ以上とし、Ｌ個の色票の分光反射率が波長空間に張る部分空間はＮ個の分光反射率基底ベクトルが張る空間と実質的に等価となるよう色票の選択または作成を行なっておく。

次に、ステップＳ１２で得た総合センサ応答行列Ｔ_Ｓと、ステップＳ１３で得た線形結合係数行列Ｃとから、線形結合係数算出行列Ｄを作成する（ステップＳ１４）。行列Ｔ_Ｓ、Ｃ、Ｄの関係は式（１０）で表される。

線形結合係数算出行列Ｄは、線形結合係数行列Ｃを従属変数行列、総合センサ応答行列Ｔ_Ｓを独立変数行列として、重回帰分析により算出する。式（１０）より、線形結合係数算出行列Ｄを決定するために必要かつ十分な仮想分光フィルタの数Ｐは（Ｎ-３）であるため、ステップＳ１０において仮想センサ応答ベクトルを算出する際のフィルタ数は（Ｎ-３）とすればよい。
なお、ここでは線形重回帰分析により線形結合係数算出行列Ｄを決定したが、照明光源２の分光特性、及びディジタルカメラ３の分光感度特性が既知である場合には、標準板１を撮影した画像データに基づくことなく、この行列を計算により導出することも可能である。総合センサ応答行列Ｔ_Ｓは式（１１）によって表される。

Ｐ＝Ｎ-３の条件下では、式（１１）における行列Ｘは正方行列となるので、その逆行列をＤとすれば良い。

次に、前記解析処理で算出されたチャンネル数仮想増加モジュールと線形結合係数算出行列を用い、ディジタルカメラ３から得られる画像ファイルの画像データを分光反射率画像データに変換する図２のステップＳ６で示される画像変換処理について説明する。図４は、この分光反射率推定方法が適用される分光反射率推定装置における前記画像変換処理を示すフローチャートである。
先ず、ディジタルカメラ３で撮影した被写体を含む画像データが記載された画像ファイルから、画像データを読み込む（ステップＳ１５）。
次に、ディジタルカメラ３への入射光のエネルギー量とディジタルカメラ３が出力する画素値との非線形な関係を予め記録した階調特性データを用い、ステップＳ１５で得られた前記被写体を含む画像データの全ての画素値を線形化し、各画素のセンサ応答ベクトルを得る（ステップＳ１６）。
そして、解析処理で得たチャンネル数仮想増加モジュールを用い、画像データのチャンネル数を仮想的に増加させる（ステップＳ１７、分光反射率線形結合係数算出ステップ、分光反射率線形結合係数算出処理）。すなわち、画像データのある一画素のセンサ応答ベクトルをｔ_ＲＧＢ、式（６）により算出した仮想センサ応答ベクトルをｔ_ｈとし、その画素における総合センサ応答ベクトルｔ_Ｓを式（１２）で表す。

これを画像データの全ての画素に適用することにより、Ｒ、Ｇ、Ｂの３チャンネルのディジタルカメラで撮影された画像データは、仮想的に（３＋Ｐ）チャンネルの画像データとして扱うことが可能となる。

次に、ステップＳ１７で得た全ての画素の総合センサ応答ベクトルｔ_Ｓから、解析処理で得た線形結合係数算出行列Ｄを用い、式（１３）により、分光反射率を式（９）により低次元線形モデルで表す際の基底ベクトルに対する係数（線形結合係数）ｃに変換する（ステップＳ１８、分光反射率線形結合係数算出ステップ、）分光反射率線形結合係数算出処理）。

そして、ステップＳ１８で得た全ての画素の線形結合係数ｃから、分光反射率基底ベクトルｂを用い、式（９）の分光反射率低次元線形モデルにより、被写体の分光反射率を算出し、分光反射率画像を得る（ステップＳ１９、分光反射率推定ステップ、分光反射率推定処理）。

以上説明したように、本実施例１によれば、専用の多チャンネル画像入力機器を用いることなく、低コストで簡便に、しかも高精度でディジタルラメラ３や画像入力時の光源に依存しない、被写体固有の色情報である分光反射率を推定し算出でき、これによって定義された分光反射率画像を取得することが可能になる効果がある。

（実施例２）
この実施例２の分光反射率推定方法が適用される分光反射率推定装置では、分光反射率画像を分光画像ファイルとして保存する際、各画素の分光反射率を分光反射率ベクトルにより記述するのではなく、線形結合係数により記述するようにしてもよい。この結果、画像データの容量を圧縮できる効果が得られる。この場合、分光反射率基底ベクトルを分光画像ファイル内、または異なるファイルに別途記録しておくことにより、各画素の線形結合係数から式（９）を用いて分光反射率を算出することができる。

また、標準板の色票の数、扱う全ての分光データの波長範囲及び波長間隔等は固定ではなく、適正な推定精度が得られる範囲内であれば、必要に応じて選択するようにしてもよい。

また、分光反射率を表すために用いる線形結合における基底ベクトルは、物体の物理的属性や、光学的属性等（例えば、繊維、印刷物、プラスチック、絵画等）に分類して導出しておき、撮影の本来の対象となる被写体の属性に応じて適宜選択することにより、算出される分光反射率の精度をより向上させることが可能である。この場合、被写体と同じ属性を持ち、かつ、部位毎、または個体毎に分光反射率が異なる物体サンプルを用意し、事前にその分光反射率を測定しておく。なお、ここで得られる分光反射率データは、なるべく多く、かつ広く変化に富むことが望ましい。

また、解析手段において、画像データ中の標準板の位置指定をユーザが行うことを必要とせず、画像データを分析し、標準板の位置を自動的に検出する処理を行う機能を解析手段の中へ組み込むようにしてもよい。

また、標準板の画像データには画像入力機器のノイズが含まれることがあるため、解析手段の中に、色票部をサンプリングした後の画素値、またはセンサ応答値から、ノイズ成分を除去（もしくは低減）する処理を組み込むようにしてもよい。

また、解析手段、及び画像変換手段は、必ずしも計算機を用いずとも、独立した専用の装置を設けるか、あるいは画像入力機器と一体に組み込むようにしてもよい。

また、画像入力機器は、必ずしもディジタルスチルカメラやディジタルビデオカメラ等のディジタルカメラでなくても良く、前記技術は、イメージスキャナ等、画像データを取得できるものであれば応用が可能である。

また、画像入力機器は必ずしもＲ、Ｇ、Ｂの３チャンネルカメラでなくても良く、チャンネル数が４以外の場合においても応用が可能である。

また、前記実施例１では、被写体を撮影した画像データのそれぞれの画素に対して分光反射率の算出を行っているが、より高速な処理を実現するため、データ変換テーブルを作成し、同一撮影条件下で撮影された全ての画像に適用するようにしてもよい。

本発明の実施例１の分光反射率推定方法が適用される分光反射率推定装置の構成を示す説明図である。本発明の実施例１の分光反射率推定方法が適用される分光反射率推定装置において分光反射率推定を行うための概略的な手順を示すフローチャートである。本発明の実施例１の分光反射率推定方法が適用される分光反射率推定装置における線形結合係数算出行列を算出する解析処理の動作を示すフローチャートである。本発明の実施例１の分光反射率推定方法が適用される分光反射率推定装置における画像変換処理を示すフローチャートである。

符号の説明

１……標準板、２……照明光源、３……ディジタルカメラ、４……計算機（センサ応答値抽出手段、仮想センサ応答値算出手段、センサ応答値非線形変換関数作成手段、線形結合係数算出行列作成手段、分光反射率線形結合係数算出手段、分光反射率推定手段、センサ応答値算出手段）。

Claims

画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得ステップと、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出ステップと、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出ステップと、
前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、
前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップと、
を有する分光反射率推定方法。
画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法であって、
前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出ステップと、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出ステップと、
前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成ステップと、
前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成ステップと、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出ステップと、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定ステップと、
を有する分光反射率推定方法。
画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得手段と、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出手段と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出手段と、
前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、
前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段と、
を有する分光反射率推定装置。
画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定装置であって、
前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出手段と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出手段と、
前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成手段と、
前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成手段と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出手段と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定手段と、
を有する分光反射率推定装置。
画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法をコンピュータに実行させるプログラムであって、
分光反射率が異なる複数の色票を同一の面上に配した標準板を前記分光反射率推定対象物と同一の画像入力条件で入力し、入力された該標準板の複数の色票の画像データを取得する画像データ取得処理と、
前記標準板の各色票に対応するセンサ応答値を前記画像データから抽出するセンサ応答値抽出処理と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記標準板の各色票の分光反射率データとから、各色票の仮想センサ応答値を得る仮想センサ応答値算出処理と、
前記標準板の各色票のセンサ応答値を各色票の仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、
前記標準板の各色票のセンサ応答値及び仮想センサ応答値と、該標準板の各色票の分光反射率データと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理と、
を有する分光反射率推定プログラム。
画像入力機器から得られた分光反射率推定対象物の画像を含む画像データから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定方法をコンピュータに実行させるプログラムであって、
前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、異なる複数の分光反射率データとから、前記画像入力機器で該分光反射率を持つ物体を前記分光反射率推定対象物と同一の画像入力条件で入力したときのセンサ応答値を算出するセンサ応答値算出処理と、
前記画像入力機器の分光感度特性と画像入力時に使用する照明光源の分光特性との分光積と分光空間において線形独立となる分光特性を持つ仮想分光フィルタデータと、前記分光反射率データとから、前記分光反射率データの仮想センサ応答値を得る仮想センサ応答値算出処理と、
前記分光反射率データのセンサ応答値を仮想センサ応答値に変換する非線形関数を作成するセンサ応答値非線形変換関数作成処理と、
前記分光反射率データと、前記画像入力機器の分光感度特性データと、画像入力時に使用する照明光源の分光特性データと、前記仮想分光フィルタデータと、分光反射率を特定の次元の線形結合で表現するための基底関数とを用い、センサ応答値と仮想センサ応答値とから分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する線形結合係数算出行列を作成する線形結合係数算出行列作成処理と、
前記画像入力機器の前記分光反射率推定対象物のセンサ応答値から前記非線形関数によって前記分光反射率推定対象物の仮想センサ応答値を算出し、該センサ応答値と該仮想センサ応答値とから、前記線形結合係数算出行列を用い、分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数を算出する分光反射率線形結合係数算出処理と、
前記分光反射率を特定の次元の線形結合で表現するための基底関数に対する係数と、分光反射率を特定の次元の線形結合で表現するための基底関数とから、前記分光反射率推定対象物の分光反射率を推定する分光反射率推定処理と、
を有する分光反射率推定プログラム。